본문 바로가기 사이드메뉴 바로가기 주메뉴 바로가기

주메뉴영역

주메뉴영역

혁신으로 세상을 바꾸는 융복합 대학, DIGIST
Innovative University Changing the World through Convergence
이 페이지를 SNS로 퍼가기

Research

시각인지 인공지능 성능을 2배 이상 높인 환경 적응 신경망 개발

  • 조회. 210
  • 등록일. 2021.07.14
  • 작성자. 대외협력팀

DGIST 임성훈 교수팀, 영상의 촬영 환경인 도메인 정보를 분리, 변환해 이미지 도메인 간 차이를 줄이는 딥러닝 기술 개발
이미지 변환, 도메인 적응 등 인공지능 기반 시각인지 분야 발전에 획기적 기여 예상돼

 

DGIST 정보통신융합전공 임성훈 교수(우), 제1저자 이승훈 학위연계과정생(좌)
[DGIST 정보통신융합전공 임성훈 교수(우), 제1저자 이승훈 학위연계과정생(좌)]

 


 DGIST는 정보통신융합전공 임성훈 교수 연구팀이 딥러닝 기술을 활용해 복잡하고 다양한 이미지에서 영상의 환경 정보를 분리, 변환하는 인공지능 신경망 모듈을 개발했다고 14일(수) 밝혔다. 향후 이미지 변환, 도메인 적응1) 등 인공지능 분야 발전에 획기적인 기여가 기대된다.

 최근 인공지능 기술에 바탕이 되는 딥러닝 기술이 점점 고도화되면서 이미지를 생성하고 변환하는 딥러닝 연구가 활발하다. 기존의 연구는 여러 비슷한 특징을 가진 이미지의 집합인 도메인(Domain)에서 공통으로 나타나는 이미지 정보를 찾는 것에만 초점이 맞춰져 왔었다. 이 때문에 이미지 정보를 제대로 활용하기 어려워 적용 가능한 데이터와 모델의 성능에 한계가 있었다. 또한 활용한 이미지 정보를 선형적으로 단순하게 구성해, 한 이미지로 변환된 이미지 하나만을 얻을 수 있는 등의 한계가 있다.

 이에 임성훈 교수 연구팀은 이미지 정보의 구성이 도메인마다 다를 수 있고 선형적 구성처럼 단순한 구성이 아닐 것이라는 가설을 세웠다. 연구팀은 이미지 정보를 전체적인 형태 정보와 스타일 정보로 뚜렷하게 나눌 수 있는 분리기를 설계했다. 이를 이용해 도메인마다 다른 가중치를 사용해 도메인 간의 차이를 반영할 수 있게 했다. 또한 분리된 이미지 정보들 간의 연관성을 이용해 각 이미지 구성에 알맞은 스타일 정보를 찾는 새로운 신경망 구조를 개발하는 데 성공했다.

 연구팀이 개발한 신경망은 한 모델로도 여러 도메인의 이미지 변환이 자유자재로 가능한 장점이 있다. 이에 시각 인지 문제에 연구팀이 개발한 도메인 적응 알고리즘을 적용했을 때, 기존보다 2배 높은 정확도를 보일 수 있었다.

 DGIST 정보통신융합전공 임성훈 교수는 “이번 연구를 통해 개발한 신경망은 이미지 정보에 대한 새로운 분석이 담긴 신경망”이라며 “향후 관련 기술을 좀 더 개선한다면 많은 분야들에 적용되어 인공지능 분야의 발전에 긍정적인 영향을 줄 것으로 기대된다”고 말했다.

 한편, 이번 연구 결과는 제1저자인 정보통신융합전공 이승훈 학위연계과정생이 참여했다. 아울러 인공지능 분야 최우수 국제학술지 ‘IEEE Conference on Computer Vision and Pattern Recognition’에 게재 및 6월 25일(금) 온라인 발표됐다.

---
1) 도메인 적응(Domain Adaptation) : 여러 도메인에서도 모델의 성능을 높게 유지하는 것을 목표로 하는 연구

 

· · ·

 

연구결과개요

 

DRANet: Disentangling Representation and Adaptation Networks for Unsupervised Cross-Domain Adaptation
Seunghun Lee, Sunghyun Cho, Sunghoon Im
(IEEE Conference on Computer Vision and Pattern Recognition, 
Online published on 29 March, 2021)


 딥러닝의 많은 발전에도 도메인의 차이로 발생하는 성능 저하가 여전히 문제가 되고 있다. 이 문제를 해결하기 위해 대부분의 연구는 여러 도메인에서 공통으로 나타나는 이미지 정보를 찾는 것에 초점을 맞춰왔다. 하지만 기존 방법은 학습되는 공통적인 정보가 추상적인 경우가 많고, 적용 가능한 데이터와 모델의 성능에 한계가 있다. 
 본 연구에서는 이미지 정보를 전체적인 형태 정보와 스타일 정보로 나누고 도메인마다 다른 가중치를 적용하여, 다른 도메인으로의 이미지 변환을 자유자재로 할 수 있는 신경망을 제안하였다. 또한 이미지 정보들 간의 연관성을 이용해 각 이미지 구성에 알맞은 스타일 정보를 찾는 모듈을 고안하여 단순한 데이터셋과 복잡한 데이터셋 모두 도메인 적응에 적용하여 기존보다 높은 성능을 보였다.

 

 

· · ·
 

연구결과문답


Q. 이번 성과 무엇이 다른가?
기존의 연구들에서는 이미지 정보를 추상적인 정보로 둔 채로 이미지 변환, 도메인 적응 등의 문제를 해결하려 했다. 이미지 정보가 추상적이기 때문에 활용하기 어렵고 여러 데이터에 적용할 때도 성능에 한계가 있었다. 이번 연구는 이미지 정보를 이미지의 형태 정보와 스타일 정보로 뚜렷하게 나눌 수 있는 가설을 제안하여 활용하기 쉽게 하였고, 여러 데이터에 적용하여 실험적으로도 기존의 한계를 극복할 수 있음을 증명하였다.

Q. 어디에 쓸 수 있나?
딥러닝 모델을 학습하기 위해 충분한 양의 데이터가 필요하지만, 실제 상황에서는 데이터가 부족한 경우가 많다. 본 연구에서 고안된 신경망은 새로운 데이터들도 기존 데이터들을 활용하여 자유자재로 이미지 변환을 할 수 있기 때문에 데이터 확보에 효과적이다. 

Q. 실용화까지 필요한 시간은?
본 연구에서 고안된 신경망은 당장 사용이 가능하지만, 안정적으로 좋은 결과를 얻기 위해 어떤 점을 개선해야 할지 연구 중이다.

Q. 실용화를 위한 과제는?
실험에서 다양한 데이터에 대한 적용이 가능함은 보였으나, 정말 일반적으로 적용하였을 때도 성능을 유지할 수 있는지는 의문이다. 이에 대해서 좀 더 다양한 데이터에 대한 실험과 일반화를 위한 연구가 필요할 것이다.

Q. 연구를 시작한 계기는?
이미지 변환, 도메인 적응 등의 문제를 해결하기 위해 활발하게 연구가 진행되고 있으나 여전히 이미지 정보에 대한 분석 없이 추상적으로 해결하는 연구가 대부분이다. 기존의 연구들을 살펴보면서 이미지 정보에 대한 분석 없이는 한계가 있을 것이라 생각하였고, 도메인 간의 차이도 결국 스타일의 차이가 큰 몫을 할 것이라는 생각을 하게 되었다. 이 생각을 바탕으로 아이디어를 구체화하고 여러 가설을 세우면서 연구를 시작하게 되었다.

Q. 어떤 의미가 있는가?
한 모델로도 이미지 변환이 자유자재로 가능하며, 이미지 정보를 기존과 같이 추상적인 정보가 아니라 이미지의 형태 정보, 스타일 정보로 뚜렷하게 분리하고 활용할 수 있는 점에서 의미가 있다.

Q. 꼭 이루고 싶은 목표는?
더 복잡하고 다양한 상황에서도 적용 가능한 신경망을 개발하는 것이 목표이다.

 

· · ·


그림 설명


[그림 1] DGIST 임성훈 교수 연구팀이 고안한 신경망 구조

관련사진2. DGIST 임성훈 교수 연구팀이 고안한 신경망 구조

(그림설명) 인코더(E)에서 영상 정보 추출, 분리기(S)가 추출된 영상 정보를 영상의 형태 정보와 스타일(환경) 정보로 분리하고 생성기(G)가 각 스타일의 이미지를 생성하는 구조이다.

 

[그림 2] 각 도메인의 이미지를 다른 도메인의 이미지로 변환한 결과

관련사진3. 각 도메인의 이미지를 다른 도메인의 이미지로 변환한 결과


(그림설명) Source 도메인의 이미지의 숫자는 유지하며 Target 도메인의 이미지의 스타일을 반영하여 이미지를 생성하고 있다.

 

[그림 3] 복잡한 구성의 이미지에 대한 이미지 변환 결과

관련사진4. 복잡한 구성의 이미지에 대한 이미지 변환 결과


(그림설명) 복잡한 구성의 이미지도 다른 도메인의 이미지로 변환하고 있다.

 

 

DGIST Scholar Researcher Page Banner(Kor)_2

 

콘텐츠 담당 담당부서  :   대외협력팀 ㅣ 053-785-1135