용량이 작아도 화질을 높일 수 있을까?
용량이 작아도 화질을 높일 수 있을까?
  • 이웃집편집장
  • 승인 2022.06.22 21:57
  • 조회수 1187
  • 댓글 0
이 기사를 공유합니다

(왼쪽부터). DGIST 전기전자컴퓨터공학과 진경환 교수, 정보통신융합연구소 이재원 연구원. 출처 : DGIST
(왼쪽부터). DGIST 전기전자컴퓨터공학과 진경환 교수, 정보통신융합연구소 이재원 연구원. 출처 : DGIST

DGIST 전기전자컴퓨터공학과 진경환 교수와 정보통신융합연구소 이재원 연구원이 해상도 증대를 위한 Bicubic interpolation 기술보다 해상력은 높고, 기존 딥러닝 기술 대비 메모리와 속도가 절반 이상 절감된 기술을 개발했습니다.

 

Bicubic interpolation 은 디스플레이 기기마다 다른 해상도를 보상하기 위한 개발된 신호처리 기반의 기술을 의미하는데요. Bicubic interpolation 은 메모리가 적게 들고, 속도가 빠르지만 이미지의 해상도가 저하되는 화질열화 현상이 심하게 나타납니다.

 

이를 극복하기 위해 딥러닝 기반의 초고해상도 기술들이 등장했습니다. 이미지 초고해상도 기술은 디스플레이, 카메라, cctv 등과 같이 일상생활과 밀접한 관련이 있죠. 예를 들어 스마트폰에서는 화면을 확대해야 하는 경우가 많은데 이런 상황에서 기존 bicubic 보간보다 뚜렷한 영상을 고해상도화 해야만 합니다. 디스플레이 역시 제품마다 해상도가 다른데 이를 보상하기 위한 DDI scaler 의 소프트웨어 알고리즘으로 사용될 수 있습니다.

 

하지만, 딥러닝 기반의 초고해상도 기술은 임의 스케일에 대해 동작하지 못하고, 특정 스케일에 대해서만 동작이 원활하다는 단점을 지니고 있습니다. 최근 이에 대한 해결책으로 함축 표현 신경망 기술이 주목을 받고 있습니다.

bicubic 보간법과의 비교. 저해상도 인풋 이미지| bicubic interpolation 이미지(기존 TV/모니터)| 제안되는 LTE 고해상도 영상. 출처 : DGIST
bicubic 보간법과의 비교. 저해상도 인풋 이미지| bicubic interpolation 이미지(기존 TV/모니터)| 제안되는 LTE 고해상도 영상. 출처 : DGIST

함축 표현 신경망 기술에도 고주파 성분을 잡아내지 못하고, 메모리의 크기와 신호의 속도 측면에서 크게 불리하다는 문제점이 있는데요. 진경환 교수 연구팀에서 이러한 문제를 해결하기 위해 퓨리에 해석 기반 함축 표현 신경망 기술을 개발했습니다.

기존 인공지능 기술과의 성능 비교. MetaSR (기존 기술 1) 의 경우에는 체크보드 아티팩트가 일어나는 것을 알 수 있고, LIIF (기존 기술 2) 는 퓨리에 정보를 이용하지 않기 때문에 신호의 고주파 성분을 잡아내지 못하고 있다. 하지만 LTE (본 기술) 은 체크보드 아티팩트가 없으면서 이미지의 고주파 성분을 잡아내는 것을 알 수 있다. 출처 : DGIST
기존 인공지능 기술과의 성능 비교. MetaSR (기존 기술 1) 의 경우에는 체크보드 아티팩트가 일어나는 것을 알 수 있고, LIIF (기존 기술 2) 는 퓨리에 정보를 이용하지 않기 때문에 신호의 고주파 성분을 잡아내지 못하고 있다. 하지만 LTE (본 기술) 은 체크보드 아티팩트가 없으면서 이미지의 고주파 성분을 잡아내는 것을 알 수 있다. 출처 : DGIST

해당 기술은 이미지의 주파수를 직접적으로 추출하는데요. 화질 복원에 있어서 고주파수를 복원하는 데 용이합니다. 이미지의 화질을 높이기 위해서는 고주파수 복원이 반드시 필요하므로 CCTV, 디스플레이, 카메라 등과 같은 영상 또는 사진 관련 제품들에 필수적인 기술이라고 할 수 있습니다.

 

진경환 교수는 “해당 기술의 개발을 통해 짧은 시간 내에 적은 양의 메모리만으로도 임의 스케일에 대한 화질 개선이 이루어 질 수 있다. 이로 인해 영상 또는 사진 관련 제품의 알고리즘을 통한 화질 개선, 소프트웨어의 경량화가 이루어질 것으로 기대된다.”고 밝혔습니다.

 

연구성과는 비전 기술 분야 국제 컨퍼런스 ‘IEEE/CVF 2022 Conference on Computer Vision and Pattern Recognition’에 6월 게재됐습니다.

논문명 : Local Texture Estimator for Implicit Representation Function


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.

  • 충청남도 보령시 큰오랏3길
  • 법인명 : 이웃집과학자 주식회사
  • 제호 : 이웃집과학자
  • 청소년보호책임자 : 정병진
  • 등록번호 : 보령 바 00002
  • 등록일 : 2016-02-12
  • 발행일 : 2016-02-12
  • 발행인 : 김정환
  • 편집인 : 정병진
  • 이웃집과학자 모든 콘텐츠(영상,기사, 사진)는 저작권법의 보호를 받은바, 무단 전재와 복사, 배포 등을 금합니다.
  • Copyright © 2016-2022 이웃집과학자. All rights reserved. mail to contact@scientist.town
ND소프트