사람의 뇌파를 소리로 변환하는 날이 머지않아 보입니다. 과학자들은 최근 인간의 두뇌 활동을 측정해 소리로 변환하는 실험에 성공했습니다.
미국 캘리포니아주립대학교 신경과학연구소 연구팀은 루게릭병 등으로 말을 하는 데 어려움을 겪는 환자들을 돕기 위해 뇌파를 소리로 바꾸는 실험을 진행했습니다. 이들 환자들은 팔다리뿐만 아니라 성대근육도 점차로 굳어가기 때문에 말하는 데 어려움을 겪고 있습니다.
현재 루게릭병(amyotrophic lateral sclerosis:ALS) 등으로 고통받는 환자들은 의사소통을 하기 위해 스피치 시뮬레이션 방법을 사용하고 있습니다. 안구운동으로 문서를 작성해 편지를 쓰는 방법입니다. 하지만 이 방법은 효율성에서 한계가 있습니다. 보통 사람은 평균 분당 150단어를 말합니다. 하지만 스피치 시뮬레이션으로는 분당 10단어 정도만 타인에게 전달할 수 있습니다. 환자들을 위한 의사소통 기술이 환자들의 생각의 속도를 따라가지 못하는 것이죠.
그동안 이를 극복하기 위한 시도들이 있었지만 성공을 거두지 못했습니다. 말하기라는 인간의 행동은 입술과 턱, 혀, 성대 등과 관련된 복잡한 물리적 과정인데요. 이처럼 복잡한 말하기 과정을 기계를 사용해 실현시키는 데 상당한 애로사항이 따랐기 때문입니다.
연구팀은 이 문제 해결을 위해 인간의 뇌에 집중했습니다. 연구팀은 인간의 뇌파를 읽어 기계로 변환시킨다면 말하기 행동에 따른 복잡한 물리적 과정의 구현이 없이도 의사소통이 가능하게 될 것이라는 가정을 세웠습니다.
연구팀은 실험을 위해 UCSF간질센터를 방문해 말하기가 가능한 5명의 참가자를 모집했습니다. 연구팀은 5명의 참가자들의 뇌에 전극을 삽입하고 수백 문장을 큰 소리로 읽도록 요청했습니다. 그리곤 언어 활동과 관련된 뇌 부위의 반응을 문서화했죠.
연구팀은 녹음되고 문서화된 데이터들을 바탕으로 뇌활동 트랙을 맵핑했습니다. 그리고 해당 트랙에 가상의 사람 목소리를 입혔죠. 가상의 사람 목소리는 기계학습 알고리즘을 통해 사람의 두뇌와 컴퓨터 인터페이스를 연결하는 작업을 점차 강화해 나갔는데요. 그 결과 실험 참가자들의 목소리와 비슷한 사운드를 구현해내는 데 성공했다고 합니다.
연구팀은 뇌파의 활동을 관찰해 가상의 목소리로 사운드를 구현한 결과를 장애가 없는 1,755명에게 들려줬습니다. 그 결과 참가자의 43%가 기계가 내는 문장들을 정확히 이해할 수 있었다고 합니다. 또 참가자의 70% 가량이 기계가 내는 단어들의 의미를 파악할 수 있었습니다.
연구팀은 "성대의 움직임과 사람의 말소리의 관계는 상당히 복잡하기 때문에 뇌의 모션을 인코딩했다"며 "연구 결과의 정확성은 실시간 대화과정을 거치면서 놀라운 정도로 개선이 될 것"이라고 설명했습니다.
##참고자료##
- Gopala K.
Anumanchipalli et al, “Speech synthesis from neural decoding of spoken sentences”, Nature, 568( 2019): 493-498.
