HYPER Special
Issues & Trend
HY Insight
Lab
Story

세계를 이끄는 음성학 연구,
소통을 말하다

영어영문학과 조태홍 교수 & 한양 음성‧언어인지과학 연구소

  • 글 이연주
  • 사진 이현구
세계 수준의 연구 인프라를 구축하고 있는 ‘한양 음성·언어인지과학 연구소(HIPCS)’ 모습.
‘Eye scan’과 ‘Ice can’, ‘발암’과 ‘바람’. 이처럼 비슷한 말소리는 화자의 발화에 따라 그 의미가 달라진다. 음성학은 인간의 말소리와 이를 인식하는 과정을 토대로 의사소통을 연구하는 학문이다. 영어영문학과 조태홍 교수는 음성‧언어인지과학 연구소를 통해 전 세계 최초로 조음 기관의 움직임을 직접 기록‧관찰하여 말소리 특질을 데이터베이스로 집약하는 등 음성학 연구를 선도하고 있다.

‘한양 음성·언어인지과학 연구소’(Hanyang Institute for Phonetics and Cognitive Science of Language, 이하 HIPCS) 소개를 부탁드립니다.

HIPCS는 2008년 3월 수행인문학연구소로 시작했습니다. 2018년 음성학과 언어인지과학의 융합 역량을 갖춘 국제적 인문학 중심 연구소로 발전하기 위해 ‘음성‧언어인지과학 연구소’로 전면 개편됐죠. 현재 해외 연구위원 및 교내 연구위원, 외부 연구위원 등 세계적으로 경쟁력을 갖춘 교수진을 비롯해 연구교수와 박사후 연구원, 학생 연구원까지 총 29명이 참여하고 있습니다. 언어학과 심리인지과학, 컴퓨터공학 및 전문 연구 인력을 중심으로 다학제적 연구팀을 구축했습니다. HIPCS는 인문사회연구소 지원사업을 통해 21세기 한국어 발화와 인지의 역동성 연구를 수행하고 있습니다. 전 세계 언어학 사상 최초로 과학적이고 실증적인 방법으로 21세기 한국어 조음의 음향적 특질과 조음의 역학적 특질을 통합적으로 기록하는 음성언어 데이터베이스(K-DAD, Korean Dynamic Articulatory Database)를 구축하고 있지요. 또 K-DAD를 웹 서비스로 제공해 전 세계에 유포할 계획입니다. 한국어 말소리에 대한 학문적 관심도를 증진하고, 한국어 지식 기반을 제공해 후속 연구를 촉발시키는 등 한국어의 세계화에 기여하는 연구소가 되고자 합니다.

‘음성학’이란 무엇이고, 어떠한 가치를 지니나요?

세밀한 정보를 만들어 내는 인간의 음성 통제 능력이 조음 기관의 움직임을 미세하게 조율하고, 여기에 언어학적 정보(화자가 전달하고자 하는 의미)를 담아 청자에게 전달함으로써 인간의 의사소통이 이뤄집니다. 보통 ‘말소리’는 단어의 뜻이나 문장의 의미를 전달하기 위한 매개로만 생각하기 쉽지요. 하지만 음성학을 연구한다는 것은 이 말소리의 구체적인 특성을 세밀하게 분석해 그 언어학적 의미를 도출하는 과정을 의미합니다. 인간의 커뮤니케이션에서 핵심적 도구인 말소리에 초점을 맞춘 학문이죠. 말소리가 화자의 혀, 입술, 성대 등 조음 기관을 통해 어떻게 생성되는지, 그 소리가 공기라는 매개체를 통해 어떻게 상대방의 청각 기관에 도달하고, 어떻게 언어학적 메시지로 이해되는지를 연구합니다. 즉, 음성학이란 말소리 생성에서부터 전달, 그리고 인식에 이르는 전 과정을 다루는 학문입니다. 따라서 음성학 연구에는 언어학적 정보뿐만 아니라, 조음 기관의 움직임을 활용해 말소리에 추가적인 정보(예, 감정)를 담는 비언어학적 정보까지 모두 포함됩니다. 인간의 의사소통 방식을 이해하는 데 매우 기본이 되는 학문이고, 넓게는 인간됨의 본질을 연구하는 학문이라고 할 수 있습니다.

HIPCS는 언어학과 심리인지과학, 컴퓨터공학 및 전문 연구 인력을 중심으로 다학제적 연구팀을 구축했다. 사진은 구성원들 모습.

HIPCS가 세계 수준의 연구 인프라를 구축하고 있다고 들었습니다. 어떤 장비를 보유하고 계신지, 또 주요 장비가 어떤 연구에 활용되는지 설명을 부탁드립니다.

HIPCS는 국제적 수준의 연구 결과물을 얻기 위해 최첨단 음성실험 장비와 뇌‧언어인지 실험장비를 구축했습니다. 그중 ‘전자자기조음측정기 듀얼 시스템’은 전압 변화를 바탕으로 조음 기관의 움직임을 직접 기록하고 실험자의 성도 내에서 발음 운동을 측정, 분석하는 장비입니다. 조음 데이터베이스 구축과 향후 웹 서비스 활용에 매우 중요한 장비로, 전 세계에서 극소수의 연구기관만이 보유한 최첨단 장비죠. ‘뇌파측정기’는 언어 및 발음에 대한 뇌의 반응을 측정하고 특정 언어 자극과 발음에 따른 뇌의 전기적 활동을 확인합니다. 이 시스템은 음성학뿐만 아니라 신경언어학을 비롯한 심리학, 인지과학 등 여러 분야에 걸쳐 언어 처리의 인지 작용을 규명하는 데 사용됩니다. ‘안구운동측정기’는 시각과 청각 사이의 상호작용을 이해하는 데 중요하게 활용되고, 특히 언어학 및 음성학, 신경언어학, 그리고 인지심리학 분야에 걸쳐 언어 인식과 처리 메커니즘을 밝혀내는 데 활용됩니다. 이 밖에도 ‘전문 녹음 스튜디오’를 비롯해 ‘공기역학 음성측정기’, ‘전자성문개폐측정기’ 등을 통해 21세기 한국어의 세대별 지역별 역동성을 기록하고, 발성과 관련된 메커니즘과 물리적 과정을 깊이 있게 이해할 수 있도록 도와줄 인프라를 마련했습니다.

해외 유수 연구기관과 협력해 국제적인 연구를 펼치고 있는 것으로 압니다. HIPCS의 국제 협력 현황이 궁금합니다.

HIPCS는 해외 주요 대학과 국제 공동연구를 비롯해 국제 저명 학술지 공동 게재를 전개해 가며 긴밀한 연구 네트워크를 형성하고 있습니다. 남유럽에 위치한 몰타공화국의 몰타대학과 심리언어학, 인지과학, 뇌 과학 관련 공동연구를 진행 중인데, 향후 유럽연합의 ERC(European Research Council) 연구비 수주에도 참여해 연구를 지속할 계획입니다. 또 미국 텍사스대학과는 미국 NSF(National Science Foundation) 연구비를 공동 수주해 인공언어 실험 및 아이 트레킹 연구를 추진하고 있습니다. 이외에도 미국의 UCLA, MIT, 캔자스대학, 영국의 에든버러대학과 같은 음성학 분야 주요 대학과 협력하며 저명 학술지 공동 집필과 국제 공동연구를 활발히 추진하고 있습니다. 공고한 해외 연구 네트워크에 더해 캐나다 토론토대학 아동심리연구소와 MOU를 체결하고 인공언어습득 공동연구를 추진할 계획이며, 홍콩 중문대학 언어학과와 한국어 관련 공동연구 및 중국어 기반의 데이터베이스를 확장해 갈 계획입니다.

HIPCS는 음성·언어인지과학 국제 심포지엄인 ‘히스폰콕(Hanyang International Symposium on Phonetics and Cognitive Sciences of Language; HISPhonCog)’ 개최를 비롯해 세계적 규모의 학술대회인 ‘랩폰(Laboratory Phonology Conference; LabPhon)’을 유치했습니다. HIPCS가 추진한 국제학술대회에 대해 소개해 주세요.

우선, ‘히스폰콕’은 영어영문학과와 HIPCS가 자체적으로 기획한 세계 규모의 인문학 국제학술대회입니다. 2018년과 2019년에 대회를 개최한 이후 코로나 팬데믹을 지나 2023년 다시 학문 교류의 장을 열었습니다. HIPCS의 역량을 통해 학술 교류의 장을 마련하고 세계적인 석학들이 한양대에 모여 인문학 연구를 확장하도록 장려했다는 점에서 의미가 남다릅니다. 특히 올해 6월에는 세계적 규모의 국제학술대회 ‘랩폰19(제19회 실험음운론 국제학술대회)’도 개최했습니다. 38년의 역사를 자랑하는, 언어학 기반 실험음성학 분야 최고의 학술대회입니다. 올해 랩폰19에서는 음성학과 실험음운론 분야의 세계적 석학 11명이 초청 강연과 논평을 진행했고, 전 세계 23개국 158개 연구기관에서 350명의 연구자가 참여했습니다. 한양대 참석자를 포함해 400여 명의 연구자가 한자리에 모인 가운데 성황리에 진행됐지요. 세계적 수준의 국제학술대회 유치를 통해 HIPCS가 세계 언어학 분야를 선도하고, 동서양 언어학 연구 균형을 유지하는 아시아 허브로서 중요한 역할을 수행하게 될 것으로 기대합니다.

그밖에 HIPCS의 성과 및 자랑거리를 말씀해 주세요.

HIPCS는 국제 학술지 <Journal of Phonetics>(SSCI급)의 편집장인 저를 비롯해 국제 학술지 <Language and Speech>(SSCI급) 편집장인 몰타대학 인지과학과 홀거 미터러(Holger Mitterer) 교수 같은 세계적 석학 교수가 연구 프로젝트 리더로 함께합니다. 음성학 분야의 세계적 연구 수준을 자랑할 수밖에 없지요. 미국 언어학 명문대학인 버팔로대학 출신의 리처드 햇처(Richard Hatcher) 교수도 HIPCS의 전임 연구 인력으로 임용돼 HIPCS의 연구 자생력 구축의 기반을 마련했습니다. 또한 최근 한국연구재단을 통해 글로벌리서치네트워크사업 및 해외 공동연구 지원사업으로 국제적 공동연구를 강화하고 있습니다. 한양대 QS 평가 ‘언어학 분야 100위 권 진입’, ‘현대언어학 분야 50위 권 진입’ 등의 성과에 HIPCS의 세계적 연구 성과와 히스폰콕 국제학술대회 개최가 상당 부분 기여했다고 생각합니다.

마지막으로 향후 연구실 운영 계획 및 목표를 말씀해 주세요.

HIPCS는 1~2단계에 걸친 조음 운동학 데이터베이스를 구축해 웹 서비스를 실시하고, 발화·인지 학제 간 연구 결과를 전 세계 학계와 공유하고 있습니다. 그동안의 노하우를 바탕으로 ‘언어학 중심의 학제 간 연구 프로젝트’를 구상 중입니다. 이를 위해 5년간 총 200만 유로, 한화 약 25억 원의 연구비가 지원되는 ERC ‘통합 보조금(Consolidator Grant)’ 프로그램에 지원할 예정입니다. 이 밖에도 HIPCS의 안정적인 연구 자생력 확보를 위한 구체적인 방안을 수립해 추진하고 있습니다. 1단계로 모국어로서의 한국어 조음 데이터베이스 구축을 완료하고, 2단계로 제2언어로서의 글로벌 한국어 데이터베이스를 구축해 이를 빅데이터 규모로 확장, 자생력을 강화할 예정입니다. 또 해외 연구 네트워크를 바탕으로 세계적인 음성학 연구기관인 미국 MIT, UCLA 음성학연구실(Phonetics Lab)과 국제 연구협력 MOU를 체결하는 한편, 미국 텍사스대학과 미국 NSF로부터 수주한 공동연구를 확장할 계획입니다. 이러한 연구와 협력은 HIPCS가 21세기 한국어 음성 발화 및 인지 연구의 국제적 허브 역할을 담당하고 언어학 중심의 학제 간 연구를 특성화하는 기반이 될 것입니다.

‘한양 음성‧언어인지과학 연구소’ 조태홍 교수는?
  • 미국 UCLA 언어학(음성학) 박사 학위 취득(PhD in Linguistics)
  • 막스프랑크연구소(Max Planck Institute for Psycholinguistics) 전임 연구원
  • 2005~현재, 한양대학교 영어영문학과 교수
  • 2014~현재, <Studies in Laboratory Phonology>(독일 Language Science Press) 공동 편집인
  • 2016~현재, <Journal of Phonetics>(SSCI Q1, A&HCI, Elsevier) 총책임 편집장(Editor-in-Chief)
  • 2016~현재, <Laboratory Phonology>(SSCI) 편집위원(Editorial Board)
  • 2012~2016, 2020~현재, 국제실험음운론학회(The Association for Laboratory Phonology, Council) 상임이사 및 총무이사
  • 2023~현재, 국제음성학회(International Phonetic Association (IPA), Permanent Council) 상임이사
  • SSCI급 국제학술지에 최근 5년간 논문 20여 편 게재(20여 년간 80여 편 게재)
  • 2023 Elsevier 세계 최상위 2% 연구자 선정(국내 인문계열 한국인 교수 유일)
  • 2023 백남석학상 최우수 석학 교수 선정
HIPCS는 세계 수준의 최첨단장비를 바탕으로 21세기 한국어의 발화와 인지 역동성 연구를 수행하고 있다.
HIPCS는 음성·언어인지과학 국제 심포지엄인 ‘히스폰콕(HISPhonCog)’ 추진, 음성학 최고 석학들이 함께하는 국제 학술대회 ‘랩폰19(LabPhon19)’ 유치 등 세계적 위상을 자랑한다.
한국어 교육과
음성 인식
기술 개발에 기여
리처드 햇처(Richard Hatcher)연구교수

“HIPCS에 참여한 가장 큰 이유는 세계 저명 학자이신 조태홍 교수님과 함께 연구할 수 있을 뿐 아니라, 최첨단 연구 시설과 자원을 통해 연구의 질을 높일 수 있기 때문입니다. 저는 연구교수로서 한국어 억양(Intonation)에 대한 연구를 지속할 예정입니다. 현재 한국어 억양 대부분은 20~30년 전 화자의 패턴에 기반하고 있어요. 따라서 젊은 세대 화자들과의 비교를 통해 한국어 억양의 변화와 발전을 이해하고, 언어 변화 원리와 메커니즘을 밝히는 데 기여하고 싶습니다. 또한 이러한 연구 결과를 바탕으로 한국어 교육과 음성 인식 기술 개발에 도움을 줄 수 있는 실질적인 응용 방안을 모색하고자 합니다.”

언어 능력 및
인지 발달에 적합한
교육적 방법 제안
이지영영어영문학과 박사과정 3기

“HIPCS는 세계 수준의 역량과 인프라를 지닌 연구소입니다. 이곳에서 제 연구 목표를 이루고자 합니다. 자폐 스펙트럼 장애(ASD)를 가진 한국인 아동, 청소년의 언어 및 음성적인 특성, 그들의 의사소통 및 인지 메커니즘을 이해하기 위한 연구를 진행 중입니다. 이를 토대로 언어 및 의사소통의 어려움을 극복하게 돕고 싶어요. 한국어를 사용하는 ASD 화자가 문장을 분명하게 말하는 과정에서 사용할 운율 전략을 분석하고, 개개인의 언어 능력과 인지 발달 수준에 적합한 교육적 개입 방법을 제안하고자 합니다. 더 나아가 AI를 활용해 모바일 앱이나 온라인 플랫폼 등에 그 중재 방법을 적용하고 싶습니다.”

더 많은 사람이
한국어에 흥미를
느끼게 하는 연구자
신재은영어영문학과 석사과정 3기

“우리 연구소의 큰 장점이자 성장을 이끈 요소 중 하나는 매주 금요일에 진행되는 랩 세미나입니다. 여러 석‧박사 및 포닥 연구원의 연구와 논문을 함께 살펴보며 의견을 나누는 시간을 통해서 사고의 폭이 넓어졌고, 새로운 배움을 얻게 됐죠. 또 한국에서 유일하게 언어 및 음성학 관련 첨단 실험장비를 보유하고 있어 연구의 질이 다르다는 점도 HIPCS의 큰 장점 중 하나입니다. 존경하는 교수님과 연구진들을 통해 호기심에 대한 답을 찾아가고 있습니다. 석사를 마친 후 해외에서 박사과정을 진행하며 한국어 관련 언어 현상을 밝히고 많은 사람이 한국어에 흥미를 느끼게 하는 연구자가 되고 싶습니다.”