강화학습이란?

• 최적제어 이론에서 출발한 기계학습의 한 영역으로, 지난 20여년 동안 꾸준히 연구된 분야입니다. 
• 딥러닝 기반 강화학습 알고리즘은 최근 알파고와 같은 전략탐색문제, 로봇 제어, 응급실 비상 대응시스템과 같은 의료 진단 등 다양한 분야에 적용되고 있습니다. 
• 그러나 학습을 위해 많은 양의 경험과 시간이 필요하고 환경의 변화에 유연하게 대처하지 못하는 등 최신 강화학습 알고리즘으로도 해결하지 못하는 근본적인 이슈들이 여전히 존재합니다.
• 반면 인간의 강화학습은 극히 제한된 경험으로도 빠르게 학습하며 외부 환경변화에 전략적으로 대처하고 문제를 해결하는 능력을 보여줍니다.  

뭘 발견했는데?

• KAIST 바이오및뇌공학과 이상완 교수 연구팀이 영국 케임브리지 대학, 구글 딥마인드와의 공동연구를 통해 차세대 뇌 기반 인공지능 시스템 설계의 방향을 제시했다고 합니다. 
• <사이언스 로보틱스>에 게재된 이번 연구에서는 인간의 두뇌가 기존의 인공지능 알고리즘이 해결하지 못하는 부분을 해결할 수 있다는 사실에 기반하여 진행된 신경과학-인공지능 융합 연구입니다. 
• 연구팀은 이번 연구에서 강화학습 등의 개별 인공지능 알고리즘이 해결하지 못하는 공학적 문제를 인간의 두뇌가 이미 해결하고 있다는 사실에 기반하여 '전두엽 메타 제어' 이론을 제안했습니다. 

'전두엽 메타 제어' 이론?

• 인간의 강화학습은 '전두엽 메타 제어'를 통해 다양한 학습시스템을 경쟁적, 협력적으로 운영한다고 합니다. 그 결과 제한된 경험과 두뇌의 조건에도 외부 환경에 따라 학습 및 의사 결정 과정의 최적 균형점을 찾아간다고 알려져 있습니다.
• '전두엽 메타 제어'의 핵심 역시 인간의 두뇌처럼, 중뇌 도파민-복외측전전두피질 네트워크에서 외부 환경에 대한 학습의 신뢰도를 스스로 평가할 수 있는 보상 예측 신호와 같은 정보를 처리해, 이 정보들을 경쟁적, 협력적 통합하는 프로세스를 통해 외부 환경에 가장 적합한 학습ㆍ추론 전략을 찾는 것입니다. 

특이한 점은?

• 이러한 원리를 단일 인공지능 알고리즘이나 로봇 설계에 적용하면 외부 상황 변화에 강인하게 성능, 효율, 속도 세 조건 사이의 균형점을 유지하는 최적의 제어시스템을 설계할 수 있습니다. 
• 또한, 다수의 인공지능 개체가 협력하는 상황에서 서로의 전략을 이용함으로써 협력과 경쟁 사이의 균형점을 유지할 수 있습니다.

이 연구가 왜 중요하지?

• 성능, 효율, 속도의 균형적 설계와 같은 다양한 공학적 난제를 해결할 수 있는 신경과학 기반의 강화학습 이론을 제안한 연구입니다. 
• 이 연구를 통해 새로운 인공지능 알고리즘 설계에 긍정적인 영향을 줄 것으로 기대됩니다. 

"현대 인공지능의 우수한 성능은 사람의 행동수준 관찰 뿐 아니라 두뇌의 저수준 신경 시스템을 알고리즘으로 구현해 적극적으로 발전시킨 결과라고 보고 있습니다. 이번 연구는 계산신경 과학에 기반한 결과로 현대 딥러닝과 강화학습에서 겪는 성능, 효율, 속도 사이의 난제를 해결하는 실마리가 될 수 있고, 새로운 인공지능 알고리즘 설계에 많은 영감을 줄 것입니다"

-이지항 박사-

"연구를 하다보면 우리의 두뇌는 공학적 난제를 의외로 쉽게 해결하고 있음을 알 수 있습니다. 이 원리를 인공지능 알고리즘 설계에 적용하는 뇌 기반 인공지능 연구는 구글 딥마인드, MIT, 캘리포니아 공과대학, UCL 등 해외 유수 기관에서도 관심을 두는 신경과학-인공지능 융합 연구분야입니다. 장기적으로는 차세대 인공지능 핵심 연구분야 중 하나로 자리잡을 것으로 기대합니다"

-이상완 교수- 
 

함예솔 다른기사 보기