성균관대학교 전자전기공학부 박은병, 고종환 교수 연구팀은 뉴럴 네트워크와 전통적인 자료구조인 그리드 방식의 표현 방법을 융합하는 새로운 3차원 미디어 표현 방법론을 제안했습니다.
3차원 이미지 혹은 비디오 등을 표현하는데 있어서 일반적으로 그리드에서 특징벡터를 추출한뒤 뉴럴 네트워크가 이를 처리하는 방식이 사용되는데요. 본 연구에서 제안하는 방식은 뉴럴 네트워크의 각 레이어 마다 모듈레이션 방식으로 특징 벡터를 융합했습니다.
연구팀이 새로 개발한 방식을 이미지, 비디오, 3차원 모델, 3차원 비디오 등 다양한 미디어 데이터에 적용한 결과 그 성능이 매우 우수하며 또한 매우 적응 네트워크의 크기로 우수한 신호 복원 능력을 보여줬습니다.
성균관대 박은병 교수는 “기존의 방식에서 벗어나 두 가지 표현방법을 융합한 새로운 방법론이며, 전통적인 그리드 자료구조를 활용해 뉴럴 네트워크를 적절히 제어할 수 있는 방식으로, 최근 각광받고 있는 NeRF나 생성 모델 등에 매우 효과적으로 사용될 수 있을 것”이라고 말했습니다.
연구팀의 이번 연구 결과는 NeurIPS, ICML과 더불어 기계학습 분야 학술대회 'ICLR 2024 (International Conference on Learning Representations)'에 게재 승인됐는데요. 제출된 논문의 상위 6%에 해당하는 spotlight에도 선정됐습니다.
논문명: Coordinate-Aware Modulation for Neural Fields
저작권자 © 이웃집과학자 무단전재 및 재배포 금지
