9월 16일 인천대학교에서 열린 AI 전문가 초청 특강에서 고려대학교 인공지능학과 이성환 교수가 강연하고 있다.

인천대학교(총장 이인재) AI/SW교육원은 지난 9월 16일(수) 오후 4시 교내 컨벤션센터에서 고려대학교 인공지능학과 이성환 교수를 초청해 「생각을 읽고 목소리를 생성하는 Brain-to-Speech 인공지능 연구 현황 및 전망」을 주제로 2026학년도 2학기 AI 전문가 초청 특강을 성황리에 개최했다고 밝혔다.

이번 특강은 인공지능과 뇌공학이 결합해 새로운 의사소통 방식이 현실화되고 있는 흐름 속에서, 국내 뇌-컴퓨터 인터페이스(BCI) 연구를 이끌어 온 석학의 연구 성과를 직접 듣고 인공지능 기술의 미래를 함께 조망하기 위해 마련됐다. 이날 특강에는 교수, 직원, 조교, 학생 등 100여 명이 참석했다.

이성환 교수는 뇌-컴퓨터 인터페이스와 패턴인식 분야의 국내 대표 연구자로, 최근 과학기술정보통신부가 선정한 ‘20인의 글로벌 석학'에 이름을 올렸으며 전산학 분야 최고 수준의 논문 실적을 보유하고 있다. 한국인공지능학회 초대 회장을 역임했고, IEEE 펠로우, IAPR 펠로우, 한국과학기술한림원 정회원으로 활동하고 있다.

이 교수는 먼저 뇌 신호로부터 사용자의 의도를 읽어 근육의 움직임 없이도 외부 기기와 상호작용할 수 있게 하는 뇌-컴퓨터 인터페이스의 개념과 발전 과정을 소개했다. 1924년 독일의 생리학자 한스 베르거가 사람의 두피에서 처음 뇌 신호를 측정한 이후 BCI 기술이 발전해 온 과정을 짚었고, 두피에 전극을 붙여 측정하는 뇌전도(EEG) 방식이 시간 해상도가 높고 휴대성이 좋아 실시간 응용 기술 개발에 적합하다고 설명했다.

이어 말을 하지 않고 머릿속으로 상상만 할 때 나타나는 뇌 신호를 분석해 사용자의 목소리로 음성을 만들어 내는 'Brain-to-Speech' 기술을 설명했다. 이 교수는 이 기술이 손과 목소리를 쓰지 않고도 의사소통을 가능하게 해 환자 의사소통 지원, 언어 재활 치료, 스마트홈 기기 제어, 로봇 제어 등 다양한 분야에 활용될 수 있다고 강조했다. 또한 화면이나 외부 자극이 필요한 기존 BCI 스펠러와 달리, 사용자가 말하려는 내용 자체를 상상하는 것만으로 직관적인 의사소통이 가능하다는 점을 차별점으로 꼽았다.

특히 이 교수 연구팀이 개발한 연구 성과들이 소개돼 참석자들의 큰 관심을 받았다. 연구팀은 단어 단위의 발화 상상 뇌 신호를 사용자의 목소리로 변환하는 생성적 적대 신경망(GAN) 기반 'NeuroTalk' 기술을 개발했다. 이 기술은 실제 발화 시 뇌 신호를 활용한 전이 학습으로 성능을 높였으며, 학습하지 않은 새로운 단어까지 음성으로 합성할 수 있는 가능성을 확인했다. 최근에는 음소 단위 학습으로 학습 데이터에 없는 문장까지 생성하는 '열린 어휘(Open-vocabulary)' 방식으로 연구를 확장하고 있다. 이날 강연에서는 뇌 신호만으로 AI 음성비서와 스마트홈 기기를 제어하는 시연 영상도 공개됐다.

이 교수는 실어증이나 마비말장애 등으로 말하기가 어려운 환자를 위한 의사소통 보조 실증 시스템도 소개했다. 환자가 "화장실에 가고 싶다"고 상상하면 시스템이 이를 실시간으로 분류해 "보호자를 불러드릴까요?"라고 되묻고, 환자가 상상으로 "네"라고 답하면 보호자에게 도움 요청이 전달되는 방식이다. 거동이 불편한 실어증 환자가 참여한 시연 영상도 함께 공개됐다.

이 교수는 이런 연구의 가장 큰 어려움으로 데이터 확보를 꼽았다. 연구팀은 언어 전달 약자를 포함해 일반인과 환자 수십 명을 대상으로 발화, 발화 상상, 오발화 등 다양한 뇌 신호 데이터를 구축했다.

이 교수는 향후 연구 방향으로 수술 없이 상상만으로 자유로운 대화가 가능한 인터페이스를 제시하며, 모자나 안경처럼 착용하기 편한 형태로 발전하길 기대한다고 밝혔다. 이를 위해 대규모 뇌 신호 데이터를 학습해 뇌 신호와 언어의 잠재 공간을 정렬한 '뉴럴 파운데이션 모델'을 개발하고, 감정과 상태까지 반영해 문장을 교정하며 음성을 생성하는 단계적 프레임워크를 만들 계획이라고 밝혔다. 나아가 스스로 오류를 진단하고 개선하는 자가진화형 에이전트 기반 시스템을 개발해 임상 환경에서 환자를 대상으로 실증하겠다고 설명했다.

강연 후 질의응답에서는 여러 질문이 이어졌다. 억양 구현이 가능한지 묻는 질문에 이 교수는 억양이 가장 어려운 부분이지만 다른 사람의 억양을 입히는 방식으로 접근할 수 있다고 답했다. 다국어 사용자의 뇌 신호가 언어에 따라 어떻게 다른지 묻는 질문에는 아직 직접 비교 실험을 하지는 않았지만 차이가 있을 것으로 보이며, 영어·한국어·중국어 등을 비교하는 연구가 필요하다고 답했다. 또한 이 교수가 2015년경 발표한 뇌파 기반 외골격 로봇 제어 연구가 언급되기도 했다.

이현규 AI/SW교육원 원장은 "생각만으로 목소리를 되찾게 해 주는 기술은 인공지능이 사람의 삶을 얼마나 깊이 바꿀 수 있는지 보여주는 사례"라며 "앞으로도 구성원들이 최신 AI 연구와 산업 현장을 가까이에서 접할 수 있는 특강을 꾸준히 마련하겠다"고 말했다.

한편 AI/SW교육원은 오는 11월 11일(수) ㈜네비웍스 원준희 대표이사를 초청해 「알고리즘 전쟁과 소프트웨어 중심 국방의 미래 비전」을 주제로 AI 전문가 초청 특강을 이어갈 예정이다.