KR20180100780A - 퇴행성 질환의 조기 발견을 위한 언어능력진단 시스템, 방법 및 이를 제공하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 판독가능한 기록매체 - Google Patents

Abstract

퇴행성 질환의 조기 발견을 위한 언어능력진단 시스템, 방법 및 이를 제공하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 판독가능한 기록매체가 개시된다. 퇴행성 질환의 조기 발견을 위한 언어능력진단 시스템은 언어 인지 반응의 결과로 나타나는 뇌전도의 사건관련전위(event-related potentials, 이하 ERP) 를 측정하는 뇌전도측정부, 상기 뇌전도측정부로부터 측정된 ERP 신호, 측정대상의 개인정보 및 전문가로부터의 언어능력진단결과를 목록화하여 저장하는 데이터베이스부, 상기 데이터베이스부에 저장된 ERP 신호와 언어능력진단결과를 딥러닝 기반으로 학습하여 ERP 신호에 따른 언어능력진단 모델을 생성하는 학습부로서, 상기 학습부는 상기 ERP 신호로부터 한국어의 통사적 특징에 따른 언어능력 진단결과를 학습하는 상기 학습부 및 상기 뇌전도측정부로부터 측정된 ERP 신호를 상기 언어능력진단 모델에 입력하여 측정대상의 언어능력의 손상여부를 진단하는 진단부를 포함한다. 따라서, 한국어의 통사적 특징을 반영한 ERP 신호에 따른 언어능력진단결과를 학습하여 이를 측정대상의 언어능력을 진단하는데 이용함으로써 한국어 특징적인 언어구조를 반영한 언어처리능력의 진단시스템을 제공할 수 있다.

Description

퇴행성 질환의 조기 발견을 위한 언어능력진단 시스템, 방법 및 이를 제공하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 판독가능한 기록매체{SYSTEM AND METHOD OF DIAGNOSING LINGUISTIC ABILITY FOR EARLY DETECTION OF NEURODEGENERATIVE DISEASES, AND COMPUTER READABLE MEDIUM FOR PERFORMING THE METHOD}

본 발명은 퇴행성 질환의 조기 발견을 위한 언어능력진단 시스템, 방법 및 이를 제공하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 판독가능한 기록매체에 관한 것으로서, 보다 상세하게는 뇌전도 측정결과를 이용하여 언어능력의 손상여부를 진단하는, 퇴행성 질환의 조기 발견을 위한 언어능력진단 시스템, 방법 및 이를 제공하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 판독가능한 기록매체이다.

언어능력은 다양한 뇌영역의 활성화가 요구되는 고차원적 인지기능이다. 따라서, 이러한 언어능력에 대한 진단이 퇴행성 질환을 조기에 발견하고 향후 질환의 진행상태를 예측하는데 중요한 지표가 될 수 있다.

한편, 고령이 될수록 언어능력이 감소한다는 연구가 영어권 국가를 대상으로 다양하게 진행되어왔다. 이러한 기존 연구를 살펴보면, 언어능력 중 단어보다는 문장 수준에서 연구했을 때 노화에 따른 언어능력 감퇴를 잘 예측하는 것으로 보고되고 있다. 또한, 이러한 문장수준에서의 언어능력은 그 통사적 복잡성이 증가할수록 노화에 따른 언어능력 감퇴를 보다 민감하게 예측하는 것으로 보고되고 있다.

그러나, 이러한 연구는 영어권 국가에서의 연구로서 한국어를 사용하는 노년층의 언어처리능력의 감퇴를 살펴보기 위한 한국어 특징적 언어구조를 반영한 진단 시스템이 필요한 실정이다.

한국공개특허 제2014-0077694호

본 발명의 일 측면은 한국어의 통사적 특징이 반영된, ERP 신호에 따른 언어능력진단결과를 학습하여 언어능력진단 모델을 생성하고 이러한 언어능력진단모델에 측정된 ERP 신호를 입력하여 측정대상의 언어능력의 손상여부를 진단하는 퇴행성 질환의 조기 발견을 위한 언어능력진단 시스템 및 방법을 제공하고자 한다.

본 발명의 일 측면에 따른 퇴행성 질환의 조기 발견을 위한 언어능력진단 시스템은 언어 인지 반응의 결과로 나타나는 뇌전도의 사건관련전위(event-related potentials,이하 ERP) 를 측정하는 뇌전도측정부, 상기 뇌전도측정부로부터 측정된 ERP 신호, 측정대상의 개인정보 및 전문가로부터의 언어능력진단결과를 목록화하여 저장하는 데이터베이스부, 상기 데이터베이스부에 저장된 ERP 신호와 언어능력진단결과를 딥러닝 기반으로 학습하여 ERP 신호에 따른 언어능력진단 모델을 생성하는 학습부로서, 상기 학습부는 상기 ERP 신호로부터 한국어의 통사적 특징에 따른 언어능력 진단결과를 학습하는 상기 학습부 및 상기 뇌전도측정부로부터 측정된 ERP 신호를 상기 언어능력진단 모델에 입력하여 측정대상의 언어능력의 손상여부를 진단하는 진단부를 포함한다.

한편, 학습부는 상기 데이터베이스부에 저장된 ERP 신호에서 상기 한국어의 통사적 특징과 관련된 ERP 신호를 추출하고 상기 추출된 ERP 신호에 따른 언어능력진단 결과를 학습할 수 있다.

또한, 학습부는 적어도 하나 이상의 컨볼루셔널 레이어(convolutional layer), 풀링 레이어(pooling layer) 및 최종 판별을 담당하는 풀 커넥티드 레이어(full-connected layer)를 포함하는 컨볼루셔널 뉴럴 네트워크(convolutional neural network; CNN)로 구성되고, 상기 ERP 신호가 상기 적어도 하나 이상의 컨볼루셔널 레이어, 풀링 레이어, 풀 커넥티드 레이어에 순차적으로 적용되어 출력된 결과가 상기 ERP 신호에 대응하는 언어능력진단 결과로 출력되도록 상기 적어도 하나 이상의 컨볼루셔널 레이어의 필터를 학습하고 각 컨볼루셔널 레이어의 특징맵을 저장할 수 있다.

또한, 한국어의 통사적 특징은 조사 또는 어순이고, 상기 학습부는 조사 오류 또는 어순의 변화에 따른 언어능력진단 결과를 학습하기 위해, 상기 조사를 포함한 명사절과 관련된 적어도 하나 이상의 ERP 신호를 추출하고 상기 추출된 ERP 신호의 적어도 하나 이상을 선택하여 해당 ERP 신호에 따른 언어능력진단 결과를 학습할 수 있다.

또한, 상기 한국어의 통사적 특징은 경어법 서술어이고, 상기 학습부는 상기 경어법 서술어와 관련된 적어도 하나 이상의 ERP 신호를 추출하고 상기 추출된 ERP 신호에 따른 언어능력진단 결과를 학습할 수 있다.

본 발명의 다른 측면에 따른 퇴행성 질환의 조기 발견을 위한 언어능력진단방법은 측정대상의 언어 인지 반응의 결과로 나타나는 뇌전도의 사건관련전위 신호(event-related potentials, 이하 ERP)를 기초로 언어능력의 손상 여부를 진단하는 퇴행성 질환의 조기 발견을 위한 언어능력진단 방법으로서, 상기 ERP 신호, 측정대상의 개인정보 및 전문가로부터의 언어능력진단결과를 목록화하여 저장하고, 상기 저장된 ERP 신호 및 언어능력진단 결과를 딥러닝 기반으로 학습하되, 상기 ERP 신호로부터 한국어의 통사적 특징에 따른 언어능력진단 결과를 학습하고, 상기 학습결과를 이용하여 상기 ERP 신호에 따른 언어능력진단 모델을 생성하고, ERP 신호를 상기 언어능력진단 모델에 입력하여 측정대상의 언어능력의 손상여부를 진단할 수 있다.

한편, ERP 신호로부터 한국어의 통사적 특징에 따른 언어능력진단결과를 학습하는 것은, 상기 ERP 신호에서 상기 한국어의 통사적 특징과 관련된 ERP 신호를 추출하고, 상기 추출된 ERP 신호에 따른 언어능력진단 결과를 학습하는 것일 수 있다.

또한, 저장된 ERP 신호 및 언어능력진단 결과를 딥러닝 기반으로 학습하는 것은, 적어도 하나 이상의 컨볼루셔널 레이어(convolutional layer), 풀링 레이어(pooling layer) 및 최종 판별을 담당하는 풀 커넥티드 레이어(full-connected layer) 를 포함하는 컨볼루셔널 뉴럴 네트워크(convolutional neural network; CNN)를 이용하는 것이고, 상기 ERP 신호가 상기 적어도 하나 이상의 컨볼루셔널 레이어, 풀링 레이어, 풀 커넥티드 레이어에 순차적으로 적용되어 출력된 결과가 상기 ERP 신호에 대응하는 언어능력진단 결과로 출력되도록 상기 적어도 하나 이상의 컨볼루셔널 레이어의 필터를 학습하고 각 컨볼루셔널 레이어의 특징맵을 저장하는 것일 수 있다.

또한, ERP 신호로부터 한국어의 통사적 특징에 따른 언어능력진단결과를 학습하는 것은, 조사 오류 또는 어순의 변화에 따른 언어능력진단 결과를 학습하기 위해 상기 조사를 포함한 명사절과 관련된 적어도 하나 이상의 ERP 신호를 추출하고, 상기 추출된 ERP 신호의 적어도 하나 이상을 선택하여 해당 ERP 신호에 따른 언어능력진단 결과를 학습하는 것일 수 있다.

또한, ERP 신호로부터 한국어의 통사적 특징에 따른 언어능력진단결과를 학습하는 것은, 경어법 서술어와 관련된 적어도 하나 이상의 ERP 신호를 추출하고 해당 ERP 신호에 따른 언어능력진단 결과를 학습하는 것일 수 있다.

본 발명의 또 다른 측면에 따라 전술한 퇴행성 질환의 조기발견을 위한 언어능력진단 방법을 제공하는, 컴퓨터 프로그램이 기록된 컴퓨터로 판독가능한 기록매체를 포함할 수 있다.

상술한 본 발명에 따르면, 한국어의 통사적 특징이 반영된, ERP 신호에 따른 언어능력진단결과를 학습하여 이를 측정대상의 언어능력을 진단하는데 이용함으로써 한국어 특징적인 언어구조를 반영한 언어처리능력의 진단시스템을 제공할 수 있다.

도 1 은 본 발명의 일 실시예에 따른 언어능력진단 시스템의 구성을 도시한 도면이다.
도 2 는 도 1 에 도시된 뇌전도측정부에서 측정된 ERP 신호의 일 예를 도시한 도면이다.
도 3 은 컨볼루셔널 뉴럴 네트워크에서 ERP 신호를 학습하는 과정의 일 예를 도시한 도면이다.
도 4 는 도 1 에 도시된 학습부에서 ERP 신호를 학습하는 과정을 도시한 도면이다.
도 5 는 본 발명의 다른 실시예에 따른 언어능력진단 방법을 도시한 순서도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계 및 동작은 하나 이상의 다른 구성요소, 단계 및 동작의 존재 또는 추가를 배제하지 않는다.

도 1 은 본 발명의 일 실시예에 따른 언어능력진단 시스템의 구성을 도시한 도면이다.

도 1을 참조하면, 본 실시예에 따른 언어능력진단 시스템은 뇌전도측정부(10)와 언어능력진단장치(100)를 포함한다.

뇌전도측정부(10)는 적어도 하나 이상의 뇌파 측정기로 구성될 수 있다. 뇌파 측정기는 비침습형 방식으로 사람의 뇌파를 측정하고, 측정된 뇌파 데이터를 언어능력진단장치로 실시간 무선으로 전송하는 장치이다.

한편, 뇌전도측정부(10)에서 측정되는 뇌파는 뇌전도(electroencephalogram;EEG)로서, 뇌 신경세포의 전기적활동을 두뇌의 표면에서 측정한 매우 작은 신호이고 특정한 인지반응의 결과로 나타나는 신호이다. 이러한 뇌전도를 측정하기 위해 뇌전도측정부(10)는 사용자가 휴대 및 착용가능한 형태로 제공되며, 바람직하게는 안경 또는 헤드셋의 형태로 제공될 수 있다. 예컨대, 안경형태로 제공되는 뇌전도측정부(10)는 유양돌기부 또는 관자놀이 부분에 부착된 기준채널전극(REF), 코받침부분에 부착된 접지채널전극(GND), 및 뇌파측정용 전극을 포함할 수 있다.

뇌전도측정부(10)는 뇌파 측정기에서 측정된 뇌전도를 필터링 및 가공하는 과정을 수행할 수 있다. 구체적으로, 뇌전도측정부는 전파정류(full-wave rectification) 필터 또는 저역통과필터(low-pass filter) 를 포함하여 뇌전도신호로부터 1차적인 잡음제거를 수행할 수 있다.

또한, 뇌전도측정부(10)는 언어인지 반응의 결과로 나타나는 신호로서, 추후 언어능력진단장치(100)에서 언어능력을 진단하는데 사용될 사건관련전위 신호(event-related potentials, 이하 ERP) 신호를 측정한다. 한편, 언어인지와 관련한 ERP 신호의 성분은 N400 과 P600 이 있다. 구체적으로, N400 은 대체적으로 의미처리(semantic processing) 와 관련된 오류 및 위반이 있는 언어자극이 있는 경우에 나타나는 성분으로서, 노년층에서 청년층에 비해 진폭이 저하되고 정점출현시각이 지연되는 특징이 있다. P600 은 통사처리를 반영하는 성분이다.

이러한 뇌전도측정부(10)에서 측정된 ERP 신호의 예는 도 2 에 도시되어있다. 도 2 를 참조하면, 도 2 의 (a) 는 의미처리에 오류가 있는 언어에 대한 청각자극후 증가한 N400 성분(210)을 도시한 도면으로서, 도 2 의 (a) 에 따르면 N400 성분(210)은 주로 inferior frontal 영역에서 나타남을 알 수 있다. 도 2 의 (b) 는 의미처리와 통사처리에 모두 오류가 있는 언어에 대한 청각자극후 증가한 N400 성분(210)과 P600 성분(220)을 도시한 도면으로서, 도 2 의 (b) 에 따르면 P600 성분(220)은 주로 middle temporal gyus 영역에서 나타남을 알 수 있다.

한편, 이러한 ERP 신호는 측정대상간의 개인차에 따라 그 변화특성의 차이가 크므로 ERP 신호만으로는 언어능력 손상여부를 판단하기 어려운 실정이다. 따라서, 본 실시예에 따른 언어능력진단장치(100)는 언어능력 진단대상그룹의 ERP 신호를 추출하고 이렇게 추출된 ERP 신호를 측정대상의 개인정보 및 전문가로부터의 언어능력진단결과와 함께 데이터베이스화한다. 또한, 본 실시예에 따른 언어능력진단장치(100)는 이러한 데이터베이스를 학습하여 보다 정확한 뇌파기반 언어능력진단모델을 생성한다. 이렇게 생성된 언어능력진단모델에 측정된 뇌파를 입력시키면 최종적으로 측정대상의 언어능력의 손상여부에 대해 보다 정확한 진단결과가 나올 수 있다.

언어능력진단장치(100)는 뇌파를 기반으로 언어능력의 손상여부를 진단하기 위해 구성된 플랫폼으로서, 컴퓨터 시스템의 기반이 되는 하드웨어 또는 소프트웨어, 응용 프로그램이 실행될 수 있는 기초를 이루는 컴퓨터 시스템일 수 있다. 예컨대, 상기 장치(100)는 운영체계, 컴퓨터 시스템의 보조 프로그램, 그리고 마이크로프로세서, 논리연산을 수행하고 컴퓨터 내의 데이터 이동을 관장하는 마이크로 칩(IC) 등으로 구성될 수 있다.

또한, 상기 장치(100)는 뇌파를 기반으로 언어능력의 손상여부를 진단하는 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며 상기 뇌파를 기반으로한 언어능력손상정도의 진단은 이러한 소프트웨어에 의해 제어될 수 있다.

상기 장치(100)는 별도의 장치이거나 단말기의 일부 모듈일 수 있다. 상기 장치는 고정되거나 이동성을 가질 수 있으며, 서버(server) 또는 엔진(engine)형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), MT(mobile terminal), UT(user terminal), SS(subscriber station), 무선기기(wireless device), PDA(personal digital assistant), 무선 모뎀(wireless modem), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.

특히, 본 실시예에 따른 언어능력진단장치(100)는 뇌전도측정부(10)에서 측정된 뇌파 데이터를 가공하여 데이터베이스를 구축하고, 데이터베이스화된 뇌파 데이터를 학습하여 한국어의 통사적 특징이 반영된 언어능력 진단모델을 생성하고, 이를 이용해 측정된 뇌파에 따른 언어능력의 손상여부를 진단하는 장치이다.

이를 위해 상기 장치(100)는 데이터베이스부(110), 학습부(120) 및 진단부(130)를 포함한다.

데이터베이스부(110)는 뇌전도측정부(10)에서 측정된 ERP 신호를 수신하고 이를 측정대상의 개인정보 및 전문가로부터의 언어능력진단결과와 함께 목록화하여 저장한다. 데이터베이스부(110)는 언어능력진단 대상그룹의 ERP 신호 뿐만 아니라 동일반응에 대해서도 측정되는 ERP 신호에 영향을 줄 수 있는 요소, 예컨대 연령, 성별, 인종과 같은 측정대상의 개인정보를 함께 저장한다. 또한, 데이터베이스부(110)는 각 측정대상의 전문의의 판단에 따른 언어능력 진단결과를 함께 저장한다.

학습부(120)는 데이터베이스화된 치매평가대상그룹의 ERP 신호, 개인정보 및 언어능력진단결과를 딥러닝 기반으로 학습하여 ERP 신호에 따른 언어능력진단모델을 생성한다.

한편, 딥러닝 시스템이란, 사람의 개입이 필요한 기존의 지도학습(supervised learning) 보다 능동적인 비지도 학습(unsupervised learning) 이 결합되어 컴퓨터가 스스로 학습할 수 있는 인공지능 기술을 이용한 학습 시스템으로서, 구체적으로 뉴럴 네트워크(neural network) 에 기반한 일련의 기계학습 알고리즘이 사용될 수 있다.

뉴럴 네트워크는 연결선으로 연결된 많은수의 인공 뉴런(neuron)들을 이용하여 생물학적인 시스템의 계산능력을 모방하도록 구현된 연산모델로서, 연결 강도(가중치)를 갖는 연결선을 통해 인간의 인지작용이나 학습과정을 수행한다. 이러한 뉴럴 네트워크는 일반적으로 입력층, 은닉층 및 출력층을 포함하며, 은닉층은 필요에 따라서 적어도 하나 이상의 층으로 구성될 수 있다.

뉴럴 네트워크들의 종류는 단일 방향 로직의 하나 또는 두개의 계층을 갖는 것, 복잡한 다중 입력을 갖는 것, 다양한 방향으로 피드백 루프를 갖는 것 및 많은 계층을 갖는 것을 기준으로 분류될 수 있으며 본 실시예에 따른 학습부(120)는 이러한 뉴럴 네트워크 중 컨볼루셔널 뉴럴 네트워크(convolutional neural network; CNN)로 구성될 수 있다.

컨볼루셔널 뉴럴 네트워크는 개별 뉴런들이 시야에서 중첩되는 영역들에 응답하는 방식으로 타일처럼 연결되는 피드-포워드 인공 뉴럴 네트워크(feed-forward neral network) 의 한 종류이다. 이러한 컨볼루셔널 뉴럴 네트워크는 적어도 하나 이상의 컨볼루셔널 레이어(convolutional layer), 풀링 레이어(pooling layer) 및 최종 판별을 담당하는 풀 커넥티드 레이어(full-connecter layer) 로 구성된다.

이러한 컨볼루셔널 뉴럴 네트워크를 통한 ERP 신호를 학습하는 과정을 살펴보면 도 3 과 같다. 도 3을 참조하면, 본 실시예의 학습부(120)를 구성하는 컨볼루셔널 뉴럴 네트워크는 제 1 컨볼루셔널 레이어(321) 및 제 1 풀링 레이어(322)의 적어도 하나의 제 1 레이어 페어를 포함하고, 제 2 컨볼루셔널 레이어(331) 및 제 2 풀링 레이어(332)의 적어도 하나의 제 2 레이어 페어를 포함한다. 도 3 에는 제 1 레이어 페어 및 제 2 레이어 페어만이 도시되어 있으나, 적어도 하나 이상의 추가적인 레이어 페어가 포함될 수 있음은 물론이고 최종적으로 이들 레이어 페어는 최종 판별을 담당하는 풀 커넥티드 레이어(미도시)와 연결된다.

먼저, 입력 신호인 ERP 신호(310)는 제 1 컨볼루셔널 레이어(321)에 입력되고 제 1 컨볼루셔널 레이어(321)는 ERP 신호의 특징맵(feature map)들을 출력(321a)한다. 제 1 컨볼루셔널 레이어(321)는 입력 신호와 미리 저장된 ?터, 또는 로컬 웨이트 커널들(local weight kernel)과의 컨볼루션 연산을 수행하여 그 결과물로서 특징맵(321a)들을 출력한다. 여기서 컨볼루션 연산은 제 3 의 함수를 생산하는 두 함수들의 수학적 동작이고, 제 3 의 함수는 원래의 두 함수들 중 하나의 변화된 총량에 대응하는 함수로서 두 함수들 사이의 영역을 중첩하여 원래의 함수들 중 하나의 변형된 버전을 보여준다. 즉, 제 1 컨볼루셔널 레이어(321)는 ERP 신호(310)와 미리 저장된 필터와의 컨볼루션 연산을 통해 입력 ERP 신호(310)의 왜곡된 feature 를 갖는 특징맵(321a)들을 출력한다.

제 1 풀링 레이어(322)는 이렇게 출력된 특징맵(321a)들에 대해 서브샘플링과 같은 동작을 통해 특징맵의 차원을 줄인다(322a).

이렇게 제 1 컨볼루셔널 레이어(321) 및 제 1 풀링 레이어(322)의 제 1 레이어 페어에 의한 출력은 다시 제 2 레이어 페어의 입력으로 인가되고 제 2 레이어 페어는 상술한 제 1 레이어 페어와 동일한 과정을 반복하여 최종적으로 풀 커넥티드 레이어에 제 2 레이어페어의 출력신호를 인가한다.

이러한 컨볼루셔널 뉴럴 네트워크를 통한 ERP 신호 학습은 상술한 바와 같은 제 1 레이어 페어 및 제 2 레이어 페어에 의해 도출된 신호가 풀 커넥티드 레이어의 최종 출력층에서 입력 ERP 신호에 대응하는 전문가로부터의 언어능력진단결과가 출력되도록 각 레이어의 필터셋과 모델 파라미터를 결정하고, 이러한 필터셋, 모델 파라미터, 특징맵들을 저장하는 과정을 통해 이루어진다. 즉, 학습부(120)는 컨볼루셔널 뉴럴 네트워크에 ERP 신호를 입력하고 적어도 하나 이상의 컨볼루셔널 레이어, 풀링 레이어, 풀 커넥티드 레이어에 순차적으로 적용되어 출력된 결과가 상기 ERP 신호에 대응하는 언어능력진단 결과로 출력되도록 적어도 하나 이상의 컨볼루셔널 레이어의 필터들의 세트인 필터셋을 학습하고 각 컨볼루셔널 레이어의 특징맵을 저장한다.

특히, 본 실시예에 따른 학습부(120)는 ERP 신호로부터 한국어의 통사적 특징에 따른 언어능력 진단결과를 학습한다.

한국어는 주어-목적어-서술어(Subject-Object-Verb; SOV) 의 기본어순을 갖는 동사 후치어(verb-final language) 이다. 또한, 서술어가 문장의 마지막에 위치해야하는 규칙을 제외하면 다른 문장성분은 비교적 자유로운 이동이 가능한 자유어순(free word order) 언어에 속한다. 이러한 자유어순이 가능한 이유는 바로 한국어에 '조사(case marker)' 라는 형태소가 존재하기 때문이다. 즉, 조사가 문장 성분의 의미역(thematic role) 을 정의해주는 역할을 하기 때문에 어순에 의존하는 영어와는 달리 명사 뒤에 주격조사가 붙는지 목적격 조사가 붙는지에 따라 문장 내에서의 명사의 역할이 정의되는 구조이다.

따라서, 본 실시예에 따른 학습부(120)는 여타 다른 언어와는 차별화되는 한국어만의 통사적 특징(syntactic feature) 이 반영되도록 ERP 신호에 따른 언어능력진단결과를 학습한다.

이를 위해, 학습부(120)는 먼저 데이터베이스부(110)에 저장된 ERP 신호에서 한국어의 통사적 특징과 관련된 ERP 신호를 추출하고 상기 추출된 ERP 신호에 따른 언어능력진단결과를 학습한다.

먼저, 한국어의 통사적 특징 중 하나로서 '조사'를 고려해볼 수 있다. 이러한 '조사'에 의한 오류들을 살펴보면 예컨대, 1) "철수가 밥께서 먹다" 와 같은 랜덤조건, 2) "철수가 밥가 먹다" 와 같은 두개의 주격조사 조건, 3) "철수를 밥을 먹다" 와 같은 두개의 목적격조사 조건, 4) "밥이 철수를 먹다" 와 같은 주격-목적격 명사구의 생물성 위반(animacy violation) 조건이 있을 수 있다. 본 실시예에 따른 학습부(120)는 상술한 조사와 관련된 오류가 포함된 언어자극에 의한 ERP 신호를 추출하기 위해, ERP 신호 내에서 조사를 포함한 명사절과 관련된 ERP 신호만을 별도로 추출한다. 예컨대, 조사오류가 포함된 "철수가(NP1) 밥가(NP2) 거실에서(NP3) 먹다(V)" 의 언어자극에 의한 ERP 신호에서 NP1, NP2, NP3 와 관련된 ERP 신호만을 추출하고 해당 ERP 신호에 따른 언어능력진단 결과를 학습하는 것이다.

이러한 한국어 통사적 특징을 반영한 학습방법은 도 4 와 같다. 도 4 를 참조하면, 본 실시예에 따른 입력 신호(410)는 각 채널의 ERP 신호가 y축 방향으로 축적되어 구성하거나 각 채널의 신호를 시간-주파수 타일로 관측할 수 있는 스펙트로그램을 사용한다. 학습부(120)는 입력 신호(410)에서 NP1(411), NP2(412), NP3(413) 와 관련된 ERP 신호(도 4 의 y1, y2) 를 추출한다. 학습부는 이렇게 추출된 ERP 신호(y1,y2) 중 적어도 하나 이상을 컨볼루셔널 레이어(421)의 입력신호로 인가하여 다수의 특징맵을 생성하게 하고, 적어도 하나 이상의 레이어 페어(컨볼루셔널 레이어 및 풀링 레이어로 구성됨; 420,430)를 거쳐 풀 커넥티드 레이어(440)에서 출력된 결과가 출력단 (450)에서 해당 ERP 신호에 대응되는 언어능력진단결과로 도출될 수 있도록 각 컨볼루셔널 레이어(421)의 필터 및 이에 의한 특징맵 세트를 조정 및 저장한다. 한편, 학습부(120)는 둘 이상의 ERP 신호를 입력신호로 인가할 경우, 사전에 저장된 파라미터로 ERP 신호의 선택 및 조합을 정의하고, 둘 이상의 ERP 신호에 동일한 계수를 갖는 필터셋과 특징맵 세트를 저장하여 학습한다. 또한, 학습부(120)는 하나의 특징맵을 생성하는 경우에는 ERP 신호 중 NP1(411), NP2(412), NP3(413) 에 해당하는 영역에 적용하는 필터와 타 영역에 적용되는 필터를 달리 하여 학습할 수 있다.

또한, 한국어의 통사적 특징 중 하나로서 '경어법 서술어'를 고려해볼 수 있다. 경어법은 조사, 어휘, 서술어 변형 등 다양하게 구현될 수 있으나, 본 실시예에 따른 학습부(120)는 이 중 서술어의 경어법 불일치 오류와 관련된 ERP 신호를 학습한다. 이러한 서술어의 경어법 불일치 오류는 예컨대, "교수님이(NP1) 이메일을(NP2) 받았어(V)" 일 수 있다. 따라서, 본 실시예에 따른 학습부(120)는 이러한 서술어의 경어법 불일치 오류가 포함된 언어자극에 의한 ERP 신호를 학습하기 위해 명사절 대신 경어법 서술어 영역(V)과 관련된 적어도 하나 이상의 ERP 신호를 추출하고 추출된 ERP 신호에 따른 언어능력 진단 결과를 학습한다.

또한, 한국어의 통사적 특징 중 하나로서 '어순'을 고려해볼 수 있다. 한국어는 자유어순언어로서 주어-목적어-동사의 어순이 전형적인 어순이지만 목적어-주어-동사의 어순도 가능하다. 본 실시예에 따른 학습부(120)는 어순의 조작과 관련한 ERP 신호에 따른 언어능력진단결과를 학습하기 위해 조사를 포함한 명사절과 관련된 적어도 하나 이상의 ERP 신호를 추출하고 상기 추출된 ERP 신호의 적어도 하나 이상을 선택하여 해당 ERP 신호에 따른 언어능력진단 결과를 학습한다. 한편, 어순과 관련한 ERP 신호를 학습하는 학습부(120)는 하나의 특징맵을 생성할 경우 각 명사절 영역에 같은 필터계수를 적용할 수도 있으나 서로 다른 필터계수를 적용할 수 있다.

학습부(120)는 상술한 바와 같은 방식으로 ERP 신호에 따른 언어능력진단결과를 딥러닝 기반으로 학습하고, 학습 결과로서 ERP 신호에 따른 언어능력진단 모델을 생성한다. 언어능력진단 모델은 학습부(120)에 의한 학습에 따라 얻어진 각 레이어의 필터셋 및 특징맵을 포함할 수 있다.

진단부(130)는 학습부(120)에 의해 생성된 언어능력 진단 모델을 이용하여 측정대상의 언어능력 손상여부를 진단한다. 구체적으로, 진단부(130)는 측정대상의 ERP 신호를 언어능력 진단모델에 입력하여 해당 ERP 신호를 각 레이어에 순차적으로 적용하고 그 적용결과 풀 커넥티드 레이어에서 출력된 값을 언어능력의 손상여부의 결과로서 출력한다.

한편, 본 실시예에서는 학습부(120)의 딥러닝 방식으로서 CNN 방식을 기준으로 설명하였으나, RNN(Recurrent Neural Network) 등 다른 방식의 딥러닝 기법을 사용할 수 있음은 물론이다.

도 5 는 본 발명의 다른 실시예에 따른 언어능력진단 방법을 도시한 순서도이다.

도 5 를 참조하면, 본 실시예에 따른 언어능력진단 방법은 측정대상의 언어인지 반응의 결과로 나타나는 뇌전도의 사건관련전위신호(event-related potentials, 이하 ERP)를 기초로 언어능력의 손상 여부를 진단하는 방법이다.

이러한 언어능력진단방법은 먼저, ERP 신호, 측정대상의 개인정보 및 전문가로부터의 언어능력진단결과를 목록화하여 저장하는 데이터베이스화를 수행한다(510). 이때, 측정대상의 개인정보는 동일반응에 대해서도 측정되는 ERP 신호에 영향을 줄 수 있는 요소로서, 예컨대, 연령, 성별, 인종과 같은 정보를 포함할 수 있다.

ERP 신호와 이에 대응되는 정보에 대해 데이터베이스화가 완료되면(510), ERP 신호에 따른 언어능력진단결과가 딥러닝 기반으로 학습된다(520). 상기 딥러닝 기반의 학습은 컨볼루셔널 뉴럴 네트워크(convolutional neural network; CNN)의 방식으로 이루어질 수 있다.

구체적으로, ERP 신호 및 언어능력진단 결과를 컨볼루셔널 뉴럴 네트워크의 방식으로 학습하는 것은, ERP 신호가 적어도 하나 이상의 컨볼루셔널 레이어(convolutional layer), 풀링 레이어(pooling layer), 풀 커넥티드 레이어(full-connected layer)에 순차적으로 적용되어 출력된 결과가 ERP 신호에 대응하는 언어능력진단 결과로 출력되도록 적어도 하나 이상의 컨볼루셔널 레이어의 필터셋을 학습하고 각 컨볼루셔널 레이어에서 출력된 특징맵을 저장하는 과정을 통해 이루어진다.

특히, 본 실시예에서는 한국어의 통사적 특징이 반영될 수 있도록 ERP 신호에서 한국어의 통사적 특징과 관련된 ERP 신호영역을 추출하고, 추출된 ERP 신호에 대한 언어능력진단 결과를 학습한다. 구체적으로, 본 실시예에서는 조사를 포함한 명사절과 관련된 적어도 하나 이상의 ERP 신호를 추출하고 추출된 ERP 신호의 적어도 하나 이상을 선택하여 해당 ERP 신호에 따른 언어능력진단 결과를 학습함으로써, 한국어의 통사적 특징 중 조사와 어순의 특징이 반영된 ERP 신호에 따른 언어능력진단결과를 학습할 수 있다. 또한, 본 실시예에서는 경어법 서술어와 관련된 적어도 하나 이상의 ERP 신호를 추출하고 해당 ERP 신호에 따른 언어능력진단결과를 학습함으로써 한국어의 통사적 특징 중 경어법 서술어의 특징이 반영된 ERP 신호에 따른 언어능력진단결과를 학습할 수 있다.

상술한 ERP 신호에 따른 언어능력진단결과가 학습되면(520), 이를 이용하여 언어능력진단 모델을 생성하고(530), 측정된 ERP 신호가 입력되면(540) 이를 언어능력진단 모델에 인가함으로써 최종적인 언어능력진단 결과를 출력한다(550,560). 구체적으로, 본 실시예에서는 상술한 학습결과인 각 컨볼루셔널 레이어의 필터셋과 특징맵들을 포함한 언어능력진단 모델을 생성(530)한다. 이렇게 생성된 언어능력진단 모델에 측정 ERP 신호를 인가하고 순차적으로 각 계층에 적용함으로써 최종적으로 언어능력 손상정도에 대한 출력결과를 얻는 것이다(540,550,560).

상술한 본 발명에 따르면, 한국어의 통사적 특징을 반영한 ERP 신호에 따른 언어능력진단결과를 학습하여 이를 측정대상의 언어능력을 진단하는데 이용함으로써 한국어 특징적인 언어구조를 반영한 언어처리능력의 진단시스템을 제공할 수 있다.

이와 같은, 언어능력진단 시스템과 이를 위한 방법은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

10: 뇌전도측정부
110:데이터베이스부
120: 학습부
130: 진단부

Claims (11)

1. 언어 인지 반응의 결과로 나타나는 뇌전도의 사건관련전위(event-related potentials,이하 ERP) 를 측정하는 뇌전도측정부;
   상기 뇌전도측정부로부터 측정된 ERP 신호, 측정대상의 개인정보 및 전문가로부터의 언어능력진단결과를 목록화하여 저장하는 데이터베이스부;
   상기 데이터베이스부에 저장된 ERP 신호와 언어능력진단결과를 딥러닝 기반으로 학습하여 ERP 신호에 따른 언어능력진단 모델을 생성하는 학습부로서, 상기 학습부는 상기 ERP 신호로부터 한국어의 통사적 특징에 따른 언어능력 진단결과를 학습하는 상기 학습부; 및
   상기 뇌전도측정부로부터 측정된 ERP 신호를 상기 언어능력진단 모델에 입력하여 측정대상의 언어능력의 손상여부를 진단하는 진단부를 포함하는 퇴행성 질환의 조기발견을 위한 언어능력진단 시스템.
2. 제 1 항에 있어서,
   상기 학습부는
   상기 데이터베이스부에 저장된 ERP 신호에서 상기 한국어의 통사적 특징과 관련된 ERP 신호를 추출하고 상기 추출된 ERP 신호에 따른 언어능력진단 결과를 학습하는 퇴행성 질환의 조기발견을 위한 언어능력진단 시스템.
3. 제 2 항에 있어서,
   상기 학습부는
   적어도 하나 이상의 컨볼루셔널 레이어(convolutional layer), 풀링 레이어(pooling layer) 및 최종 판별을 담당하는 풀 커넥티드 레이어(full-connected layer)를 포함하는 컨볼루셔널 뉴럴 네트워크(convolutional neural network; CNN)로 구성되고,
   상기 ERP 신호가 상기 적어도 하나 이상의 컨볼루셔널 레이어, 풀링 레이어, 풀 커넥티드 레이어에 순차적으로 적용되어 출력된 결과가 상기 ERP 신호에 대응하는 언어능력진단 결과로 출력되도록 상기 적어도 하나 이상의 컨볼루셔널 레이어의 필터를 학습하고 각 컨볼루셔널 레이어의 특징맵을 저장하는 퇴행성 질환의 조기발견을 위한 언어능력진단 시스템.
4. 제 3 항에 있어서,
   상기 한국어의 통사적 특징은 조사 또는 어순이고,
   상기 학습부는 조사 오류 또는 어순의 변화에 따른 언어능력진단 결과를 학습하기 위해, 상기 조사를 포함한 명사절과 관련된 적어도 하나 이상의 ERP 신호를 추출하고 상기 추출된 ERP 신호의 적어도 하나 이상을 선택하여 해당 ERP 신호에 따른 언어능력진단 결과를 학습하는 퇴행성 질환의 조기발견을 위한 언어능력진단 시스템.
5. 제 3 항에 있어서,
   상기 한국어의 통사적 특징은 경어법 서술어이고,
   상기 학습부는 상기 경어법 서술어와 관련된 적어도 하나 이상의 ERP 신호를 추출하고 상기 추출된 ERP 신호에 따른 언어능력진단 결과를 학습하는 퇴행성 질환의 조기발견을 위한 언어능력진단 시스템.
6. 측정대상의 언어 인지 반응의 결과로 나타나는 뇌전도의 사건관련전위 신호(event-related potentials, 이하 ERP)를 기초로 언어능력의 손상 여부를 진단하는 퇴행성 질환의 조기발견을 위한 언어능력진단 방법에 있어서,
   상기 ERP 신호, 측정대상의 개인정보 및 전문가로부터의 언어능력진단결과를 목록화하여 저장하고,
   상기 저장된 ERP 신호 및 언어능력진단 결과를 딥러닝 기반으로 학습하되, 상기 ERP 신호로부터 한국어의 통사적 특징에 따른 언어능력진단 결과를 학습하고,
   상기 학습결과를 이용하여 상기 ERP 신호에 따른 언어능력진단 모델을 생성하고,
   ERP 신호를 상기 언어능력진단 모델에 입력하여 측정대상의 언어능력의 손상여부를 진단하는 퇴행성 질환의 조기발견을 위한 언어능력진단 방법.
7. 제 6 항에 있어서,
   상기 ERP 신호로부터 한국어의 통사적 특징에 따른 언어능력진단결과를 학습하는 것은,
   상기 ERP 신호에서 상기 한국어의 통사적 특징과 관련된 ERP 신호를 추출하고,
   상기 추출된 ERP 신호에 따른 언어능력진단 결과를 학습하는 것인 퇴행성 질환의 조기발견을 위한 언어능력진단 방법.
8. 제 7 항에 있어서,
   상기 저장된 ERP 신호 및 언어능력진단 결과를 딥러닝 기반으로 학습하는 것은,
   적어도 하나 이상의 컨볼루셔널 레이어(convolutional layer), 풀링 레이어(pooling layer) 및 최종 판별을 담당하는 풀 커넥티드 레이어(full-connected layer) 를 포함하는 컨볼루셔널 뉴럴 네트워크(convolutional neural network; CNN)를 이용하는 것이고,
   상기 ERP 신호가 상기 적어도 하나 이상의 컨볼루셔널 레이어, 풀링 레이어, 풀 커넥티드 레이어에 순차적으로 적용되어 출력된 결과가 상기 ERP 신호에 대응하는 언어능력진단 결과로 출력되도록 상기 적어도 하나 이상의 컨볼루셔널 레이어의 필터를 학습하고 각 컨볼루셔널 레이어의 특징맵을 저장하는 것인 퇴행성 질환의 조기발견을 위한 언어능력진단 방법.
9. 제 8 항에 있어서,
   상기 ERP 신호로부터 한국어의 통사적 특징에 따른 언어능력진단결과를 학습하는 것은,
   조사 오류 또는 어순의 변화에 따른 언어능력진단 결과를 학습하기 위해 상기 조사를 포함한 명사절과 관련된 적어도 하나 이상의 ERP 신호를 추출하고,
   상기 추출된 ERP 신호의 적어도 하나 이상을 선택하여 해당 ERP 신호에 따른 언어능력진단 결과를 학습하는 것인 퇴행성 질환의 조기발견을 위한 언어능력진단 방법.
10. 제 8 항에 있어서,
    상기 ERP 신호로부터 한국어의 통사적 특징에 따른 언어능력진단결과를 학습하는 것은,
    경어법 서술어와 관련된 적어도 하나 이상의 ERP 신호를 추출하고 해당 ERP 신호에 따른 언어능력진단 결과를 학습하는 것인 퇴행성 질환의 조기발견을 위한 언어능력진단 방법.
11. 제 6 항 내지 제 10 항 중 어느 하나의 항에 따라 퇴행성 질환의 조기 발견을 위한 언어능력진단 방법을 제공하는, 컴퓨터 프로그램이 기록된 컴퓨터로 판독가능한 기록매체.

Images