DGIST 전기전자컴퓨터공학과 진경환 교수와 정보통신융합연구소 이재원 연구원이 해상도 증대를 위한 Bicubic interpolation 기술보다 해상력은 높고, 기존 딥러닝 기술 대비 메모리와 속도가 절반 이상 절감된 기술을 개발했습니다.
Bicubic interpolation 은 디스플레이 기기마다 다른 해상도를 보상하기 위한 개발된 신호처리 기반의 기술을 의미하는데요. Bicubic interpolation 은 메모리가 적게 들고, 속도가 빠르지만 이미지의 해상도가 저하되는 화질열화 현상이 심하게 나타납니다.
이를 극복하기 위해 딥러닝 기반의 초고해상도 기술들이 등장했습니다. 이미지 초고해상도 기술은 디스플레이, 카메라, cctv 등과 같이 일상생활과 밀접한 관련이 있죠. 예를 들어 스마트폰에서는 화면을 확대해야 하는 경우가 많은데 이런 상황에서 기존 bicubic 보간보다 뚜렷한 영상을 고해상도화 해야만 합니다. 디스플레이 역시 제품마다 해상도가 다른데 이를 보상하기 위한 DDI scaler 의 소프트웨어 알고리즘으로 사용될 수 있습니다.
하지만, 딥러닝 기반의 초고해상도 기술은 임의 스케일에 대해 동작하지 못하고, 특정 스케일에 대해서만 동작이 원활하다는 단점을 지니고 있습니다. 최근 이에 대한 해결책으로 함축 표현 신경망 기술이 주목을 받고 있습니다.
함축 표현 신경망 기술에도 고주파 성분을 잡아내지 못하고, 메모리의 크기와 신호의 속도 측면에서 크게 불리하다는 문제점이 있는데요. 진경환 교수 연구팀에서 이러한 문제를 해결하기 위해 퓨리에 해석 기반 함축 표현 신경망 기술을 개발했습니다.
해당 기술은 이미지의 주파수를 직접적으로 추출하는데요. 화질 복원에 있어서 고주파수를 복원하는 데 용이합니다. 이미지의 화질을 높이기 위해서는 고주파수 복원이 반드시 필요하므로 CCTV, 디스플레이, 카메라 등과 같은 영상 또는 사진 관련 제품들에 필수적인 기술이라고 할 수 있습니다.
진경환 교수는 “해당 기술의 개발을 통해 짧은 시간 내에 적은 양의 메모리만으로도 임의 스케일에 대한 화질 개선이 이루어 질 수 있다. 이로 인해 영상 또는 사진 관련 제품의 알고리즘을 통한 화질 개선, 소프트웨어의 경량화가 이루어질 것으로 기대된다.”고 밝혔습니다.
연구성과는 비전 기술 분야 국제 컨퍼런스 ‘IEEE/CVF 2022 Conference on Computer Vision and Pattern Recognition’에 6월 게재됐습니다.
논문명 : Local Texture Estimator for Implicit Representation Function