KR101271314B1 - 뇌파기반 혀-기계 인터페이스 장치, 뇌파기반 혀-기계 인터페이스 방법, 뇌파기반 혀-기계 인터페이스를 이용한 구동장치 및 뇌파기반 혀-기계 인터페이스를 이용한 구동장치의 동작방법 - Google Patents

Abstract

두피에서 신호를 측정하여 편리성 및 위생성이 강화된 뇌파기반 혀-기계 인터페이스 및 이를 이용한 구동장치 및 구동장치 동작방법이 개시된다. 뇌파기반 혀-기계 인터페이스 장치는 두피에 부착된 복수의 전극을 포함하고, 각 전극은 측정된 뇌파에 상응하는 전압을 제공하는 뇌파신호 검출부 및 상기 뇌파신호 검출부로부터 제공된 적어도 2개의 전압 차에 기초하여 혀의 위치를 판단하는 판단부를 포함한다.
따라서, 척추 부상이나 퇴행성 신경 질환을 앓는 경우 또는 마비 환자들에게 큰 도움을 줄 수 있다. 또한, 혀의 움직임을 이용하여 좌/우 180도에 이르는 범위를 기계에 제공할 수 있고 각도의 연속적인 입력이 가능하기 때문에 구동장치와 연결되었을 때, 차량의 핸들과 같이 구동장치를 부드럽게 동작시킬 수 있다는 장점을 가지고있다. 또한, 상기 인터페이스는 두피에서 신호를 측정하므로 혀나 입 안에 센서를 부착하는 기존의 혀-기반 인터페이스들에 비해 편리성 및 위생성 측면에서 장점을 갖는다. 또한, 기존의 뇌파 장비를 그대로 이용하기 때문에, 다른 뇌파 기반 뇌-컴퓨터 인터페이스 기술과도 완벽하게 호환이 가능하다.

Description

뇌파기반 혀-기계 인터페이스 장치, 뇌파기반 혀-기계 인터페이스 방법, 뇌파기반 혀-기계 인터페이스를 이용한 구동장치 및 뇌파기반 혀-기계 인터페이스를 이용한 구동장치의 동작방법{AN EEG-BASED TONGUE-MACHINE INTERFACE APPARATUS, AN EEG-BASED TONGUE-MACHINE INTERFACE METHOD, DRIVING APPARATUS USING AN EEG-BASED TONGUE-MACHINE INTERFACE AND OPERATION METHOD OF DRIVING APPARATUS USING AN EEG-BASED TONGUE-MACHINE INTERFACE}

본 발명은 HMI(Human Machine Interface)에 관한 것으로, 더욱 상세하게는 뇌파기반 혀-기계 인터페이스 장치, 뇌파기반 혀-기계 인터페이스 방법, 뇌파기반 혀-기계 인터페이스를 이용한 구동장치 및 뇌파기반 혀-기계 인터페이스를 이용한 구동장치의 동작방법에 관한 것이다.

종래의 장애인용 전동 운행장치는 구동륜에 모터를 장설하고 이를 조종간(joystick)을 통해 조종하도록 되어있어 사용자가 전동 운행장치 조종시에 필히 손이나 발로 조종간을 조작해야 하므로 척추 부상이나 퇴행성 신경 질환을 앓는 사용자들은 전동 운행장치의 사용이 어려웠다.

종래에도 상기의 문제를 해소하고자 구동장치 예를 들어, 휠체어의 제어를 혀나 신체의 일부로 스위치를 조작하거나 머리에 광원을 장착하여 순차적으로 주사되는 광전 릴레이를 구동시키는 방식과 입으로 불어서 압력 스위치를 조작하는 방식이 개발되었다.

그러나 이러한 방식들은 장치의 장착이 용이하지 않으며 사용자가 일정기간 훈련을 거쳐야 만이 사용 가능한 단점이 있다. 또한, 혀-기계 인터페이스들은 혀의 위치를 측정하기 위해 혀를 비롯한 입의 안쪽에 센서를 위치시켜야 했기 때문에, 편의성 및 위생성의 측면에서 좋지 않았다.

또한, 인터페이스 측면에서 뇌파 센서를 이용하는 기존의 인터페이스들(예를 들면 왼쪽/오른쪽 손에 대한 운동 심상이나 구강내 치아를 깨무는 이물기 동작시 활성화되는 근전도 신호를 기반으로 한 인터페이스)은 구동장치가 일정한 곡률을 가진 경로를 움직일 때, 직진-회전-직전의 과정을 반복해야 하는 번거로움이 있었다. 이와 같이 기존의 인터페이스들은 연속적인 입력이 불가하고 2~3가지 상태만을 제공할 수 있다는 단점이 있었다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 편리성 및 위생성이 강화된 뇌파기반 혀-기계 인터페이스 장치를 제공하는데 있다.

또한, 본 발명의 다른 목적은 편리성 및 위생성이 강화된 뇌파기반 혀-기계 인터페이스 방법을 제공하는데 있다.

또한, 본 발명의 또 다른 목적은 상기한 뇌파기반 혀-기계 인터페이스를 이용한 구동장치를 제공하는데 있다.

또한, 본 발명의 또 다른 목적은 상기한 뇌파기반 혀-기계 인터페이스를 이용한 구동장치의 동작방법을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 뇌파기반 혀-기계 인터페이스 장치는, 두피에 부착된 복수의 전극을 포함하고, 각 전극은 측정된 뇌파에 상응하는 전압을 제공하는 뇌파신호 검출부 및 상기 뇌파신호 검출부로부터 제공된 적어도 2개의 전압 차에 기초하여 혀의 위치를 판단하는 판단부를 포함한다. 상기 뇌파기반 혀-기계 인터페이스 장치는 상기 뇌파신호 검출부로부터 제공된 뇌파에 상응하는 전압을 증폭하는 증폭부를 더 포함할 수 있다. 상기 뇌파신호 검출부는 혀의 위치 판단을 위한 기준 전압을 제공하는 기준전극과, 접지 전압을 제공하는 접지전극과, 두피의 제1 위치에 부착되고, 상기 제1 위치에서 측정된 뇌파에 상응하는 제1 전압을 제공하는 제1 전극 및 두피의 제2 위치에 부착되고, 상기 제2 위치에서 측정된 뇌파에 상응하는 제2 전압을 제공하는 제2 전극을 포함할 수 있다. 상기 판단부는 상기 기준 전압과 상기 제1 전압을 비교하여 제1 전압차와 상기 기준 전압과 상기 제2 전압을 비교하여 제2 전압차를 산출한 후, 산출된 상기 제1 전압차와 상기 제2 전압차를 비교하여 제3 전압차를 산출하고 상기 제3 전압차에 기초하여 혀의 위치를 판단할 수 있다. 또한, 상기 판단부는 산출된 제3 전압차를 이에 상응하는 각도로 변환할 수 있다. 또한, 상기 판단부는 수학식

(여기서,

은 혀가 왼쪽 볼에 위치되었을 때의 제1 전압차와 제2전압차를 비교하여 산출된 제3전압차,

는 혀가 앞쪽 입술에 위치되었을 때의 제1 전압차와 제2 전압차를 비교하여 산출된 제3 전압차,

은 혀가 오른쪽 볼에 위치되었을 때의 제1 전압차와 제2 전압차를 비교하여 산출된 제3 전압차,

는 현재 측정된 뇌파에 상응하는 제3 전압차를 의미)을 이용하여 상기 제3 전압차를 각도로 변환할 수 있다. 또한, 상기 판단부는 주성분 분석법(Principle Component Analysis) 및 Fukunaga-Koontz변환을 기초로하여 미리 결정된 특징 벡터를 이용하여 혀의 위치를 판단할 수 있다.

또한, 본 발명의 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 뇌파기반 혀-기계 인터페이스 방법은, 두피에 부착된 복수의 전극으로부터 측정된 뇌파에 상응하는 전압을 획득하는 단계 및 상기 획득된 뇌파에 상응하는 전압의 차를 구하고 상기 전압의 차에 기초하여 혀의 위치를 판단하는 단계를 포함한다. 상기 뇌파기반 혀-기계 인터페이스 방법은 상기 두피에 부착된 복수의 전극으로부터 측정된 뇌파에 상응하는 전압을 획득한 후, 상기 획득한 전압을 증폭시키는 단계를 더 포함할 수 있다. 상기 두피에 부착된 전극에서 측정된 뇌파에 상응하는 전압을 획득하는 단계는 혀의 위치 판단을 위한 기준 전압, 접지 전압, 두피의 제1 위치에서 측정된 뇌파에 상응하는 제1 전압 및 두피의 제2 위치에서 측정된 뇌파에 상응하는 제2 전압을 획득할 수 있다. 상기 획득한 뇌파에 상응하는 전압의 차를 구하고 상기 전압의 차에 기초하여 혀의 위치를 판단하는 단계는 상기 기준 전압과 상기 제1 전압을 비교하여 제1 전압차와 상기 기준 전압과 상기 제2 전압을 비교하여 제2 전압차를 산출한 후, 산출된 상기 제1 전압차와 상기 제2 전압차를 비교하여 제3 전압차를 산출하고 상기 제3 전압차에 기초하여 혀의 위치를 판단하는 단계를 포함할 수 있다. 상기 획득한 뇌파에 상응하는 전압의 차를 구하고 상기 전압의 차에 기초하여 혀의 위치를 판단하는 단계는 산출된 제3 전압차를 이에 상응하는 각도로 변환하는 것을 포함할 수 있다. 또한, 상기 획득한 뇌파에 상응하는 전압의 차를 구하고 상기 전압의 차에 기초하여 혀의 위치를 판단하는 단계는 수학식

(여기서,

은 혀가 왼쪽 볼에 위치되었을 때의 제1 전압차와 제2전압차를 비교하여 산출된 제3전압차,

는 혀가 앞쪽 입술에 위치되었을 때의 제1 전압차와 제2 전압차를 비교하여 산출된 제3 전압차,

은 혀가 오른쪽 볼에 위치되었을 때의 제1 전압차와 제2 전압차를 비교하여 산출된 제3 전압차,

는 현재 측정된 뇌파에 상응하는 제3 전압차를 의미)을 이용하여 상기 제3 전압차를 각도로 변환하는 단계를 포함할 수 있다. 또한, 상기 획득한 뇌파에 상응하는 전압의 차를 구하고 상기 전압의 차에 기초하여 혀의 위치를 판단하는 단계는 주성분 분석법(Principle Component Analysis) 및 Fukunaga-Koontz변환을 기초로하여 미리 결정된 특징 벡터를 이용하여 혀의 위치를 판단할 수 있다.

또한, 본 발명의 또 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 뇌파기반 혀-기계 인터페이스를 이용한 구동장치는 복수의 전극으로부터 측정된 뇌파에 상응하는 적어도 2개의 전압 차에 기초하여 혀의 위치를 판단하고, 판단된 혀의 위치 정보를 제공하는 인터페이스와, 상기 인터페이스로부터 제공된 상기 혀의 위치 정보에 상응하는 구동제어신호를 제공하는 제어부 및 제공받은 상기 구동제어신호에 기초하여 구동력을 제공하는 구동부를 포함한다. 상기 인터페이스는 두피에 부착된 상기 복수의 전극을 포함하고, 각 전극은 측정된 뇌파에 상응하는 전압을 제공하는 뇌파신호 검출부 및 상기 뇌파신호 검출부로부터 제공된 적어도 2개의 전압 차에 기초하여 혀의 위치를 판단하는 판단부를 포함할 수 있다. 또한, 상기 인터페이스는 산출된 전압의 차를 각도로 변환할 수 있다. 상기 구동부는 상기 구동장치를 연속적인 각도로 구동 가능하게 할 수 있다. 상기 인터페이스는 사용자의 이물기에 상응하는 근전도 신호를 측정하고, 측정된 근전도 신호에 기초하여 인터페이스 정지 및 구동장치의 기준점 갱신 명령으로 판단하고, 판단된 상기 인터페이스 정지 및 구동장치의 기준점 갱신 명령을 상기 제어부에 제공할 수 있다. 또한, 상기 인터페이스는 이물기에 상응하는 근전도 신호가 제공되는 시간이 미리 설정된 시간이상 지속 될 경우 상기 구동장치가 정차에서 운행 또는 운행에서 정차로 변경을 지시하는 상태 변경 명령으로 판단할 수 있다. 상기 제어부는 상기 정지 명령, 상기 구동장치의 기준점 갱신 명령, 또는 상기 상태 변경 명령에 상응하는 구동제어신호를 제공할 수 있다.

또한, 본 발명의 또 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 뇌파기반 혀-기계 인터페이스를 이용한 구동장치 동작방법은, 측정된 근전도 신호에 기초하여 상기 구동장치의 상태 변경 명령을 판단하는 단계와, 상기 상태 변경 명령이 상기 구동장치의 구동을 지시하는 경우, 두피에 부착된 복수의 전극에서 측정된 뇌파에 상응하는 전압을 획득하는 단계와, 상기 획득한 뇌파에 상응하는 전압의 차를 구하고 상기 전압의 차에 기초하여 혀의 위치를 판단하는 단계 및 상기 판단된 혀의 위치에 상응하는 구동제어신호를 제공하는 단계를 포함한다. 상기 측정된 근전도 신호에 기초하여 상기 구동장치의 상태 변경 명령을 판단하는 단계는 사용자의 이물기에 상응하는 근전도 신호를 측정하는 단계와, 측정된 근전도 신호에 기초하여 상기 구동장치의 정지 및 구동장치의 기준점 갱신 명령을 판단하는 단계를 포함할 수 있다. 또한, 상기 측정된 근전도 신호에 기초하여 상기 구동장치의 상태 변경 명령을 판단하는 단계는 상기 근전도 신호가 제공되는 시간이 미리 설정된 시간 이상 지속될 경우 상기 구동장치가 정차에서 운행 또는 운행에서 정차로 변경을 지시하는 상태 변경 명령으로 판단할 수 있다.

상기와 같은 본 발명에 따른 뇌파기반 혀-기계 인터페이스 장치, 뇌파기반 혀-기계 인터페이스 방법, 뇌파기반 혀-기계 인터페이스를 이용한 구동장치 및 뇌파기반 혀-기계 인터페이스를 이용한 구동장치의 동작방법에 따르면, 혀의 움직임에 따라 복수의 전극으로부터 뇌파에 상응하는 전압을 획득하고, 회득한 전압의 차에 기초하여 혀의 위치를 판단하고 구동제어신호를 생성한 후, 이를 구동장치에 제공하면 구동장치는 제공받은 구동제어신호에 따라 동작 된다.

따라서, 혀는 뇌와 거리가 매우 가깝게 위치하기 때문에 척추 부상이나 퇴행성 신경 질환을 앓는 환자들의 경우 또는 마비 환자들의 경우에도 혀의 운동성을 잃지 않는 경우가 많아 상기 환자들에게 큰 도움을 줄 수 있다. 또한, 혀의 움직임을 이용하여 좌/우 180도에 이르는 범위를 기계에 제공할 수 있고 각도의 연속적인 입력이 가능하기 때문에 구동장치와 연결되었을 때, 차량의 핸들과 같이 구동장치를 부드럽게 동작 시킬 수 있다는 장점을 가지고 있다. 또한, 상기 인터페이스는 두피에서 신호를 측정하므로 혀나 입 안에 센서를 부착하는 기존의 혀-기반 인터페이스들에 비해 편리성 및 위생성 측면에서 장점을 갖는다. 또한, 기존의 뇌파 장비를 그대로 이용하기 때문에, 다른 뇌파 기반 뇌-컴퓨터 인터페이스 기술과도 완벽하게 호환이 가능하다.

도 1은 본 발명의 일 실시예에 따른 뇌파기반 혀-기계 인터페이스 장치의 구성을 나타내는 블록도이다.
도 2는 혀의 움직임에 따른 뇌파 변화를 측정하기 위한 회로도 및 두피에서의 전극의 부착 위치를 나타낸다.
도 3은 혀의 위치에 따른 제1 채널(

)과 제2 채널(

)에서의 전압 변화를 나타내는 그래프이다.
도 4는 혀의 위치 판별을 위한 모델 학습 과정을 설명하기 위한 그래프이다.
도 5는 혀의 위치에 따른 뇌파측정 결과를 나타내는 그래프이다.
도 6은 도 5의 혀의 위치에 따른 뇌파측정 결과에서 왼쪽 귀(LE)와 오른쪽 귀(RE)에서 측정된 신호를 2차원 상에 표시한 그래프이다.
도 7은 본 발명의 일 실시예에 따른 뇌파기반 혀-기계 인터페이스 방법을 나타내는 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 뇌파기반 혀-기계 인터페이스를 이용한 구동장치의 구성을 나타내는 블록도이다.
도 9는 본 발명의 일 실시예에 따른 뇌파기반 혀-기계 인터페이스를 이용한 구동장치의 성능을 향상시키는 방법을 나타내는 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 뇌파기반 혀-기계 인터페이스를 이용한 구동장치의 동작방법을 나타내는 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 뇌파기반 혀-기계 인터페이스를 이용한 휠체어를 사용자가 조종하는 것을 나타내는 개념도이다.
도 12는 본 발명의 일 실시예에 따른 뇌파기반 혀-기계 인터페이스를 이용한 휠체어의 이동 경로의 예시를 나타내는 개념도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 뇌파기반 혀-기계 인터페이스 장치의 구성을 나타내는 블록도이다. 도 2는 본 발명의 일 실시예에 따른 혀의 움직임에 따른 뇌파 변화를 측정하기 위한 회로도 및 두피에서의 전극의 부착 위치를 나타낸다. 도 3은 혀의 위치에 따른 제1 채널(

)과 제2 채널(

)에서의 전압 변화를 나타내는 그래프이다. 도 4는 혀의 위치 판별을 위한 모델 학습 과정을 설명하기 위한 그래프이다. 도 5는 혀의 위치에 따른 뇌파측정 결과를 나타내는 그래프이다. 도 6은 도 5의 혀의 위치에 따른 뇌파측정 결과에서 왼쪽 귀(LE)와 오른쪽 귀(RE)에서 측정된 신호를 2차원 상에 표시한 그래프이다.

도 1 내지 6을 참조하면, 본 발명의 일 실시예에 따른 뇌파기반 혀-기계 인터페이스 장치는 뇌파신호 검출부(110), 증폭부(120) 및 판단부(130)를 포함할 수 있다.

뇌파신호 검출부(110)는 혀를 볼에 접촉시키는 경우, 뇌파신호상에서 전압이 복수의 전극으로부터 나타나는데 이와 같은 뇌파신호에 상응하는 전압을 검출한다. 구체적으로 혀를 왼쪽 볼에 접촉시키면, 머리의 왼쪽에 위치한 전극들에서는 전압의 감소가 나타나고 오른쪽에 위치한 전극들에서는 전압의 증가가 나타난다. 또한, 혀를 오른쪽 볼에 접촉시키면, 머리의 오른쪽에 위치한 전극들에서는 전압의 감소가 나타나고 왼쪽에 위치한 전극들에서는 전압의 증가가 나타난다. 이러한 변화는 혀의 위치와 선형적으로 비례 하기 때문에, 좌/우측 전극의 전압 차를 계산하면 혀의 위치를 예측할 수 있다.

예를 들어, 도 2에 도시된 바와 같이 뇌파신호 검출부(110)에서 뇌파에 상응하는 전압의 증감을 극대화시키기 위해, 기준 전극(reference) 및 접지 전극(ground)은 머리의 앞뒤를 가로지르는 방향으로 위치시키고, 정수리 부분(Cz, International 10-20 system 기준)을 기준 전극으로, 이마(Afz)와 뒷 목(POz) 부분을 접지 전극으로 잡고, 왼쪽 귀(LE, T7으로 대체 가능)와 오른쪽 귀(RE, T8로 대체 가능)의 위치에서 신호를 측정 및 분석할 수 있다.

이하 왼쪽 귀에서 측정된 뇌파신호를 '제1 채널(

)'로, 오른쪽 귀에서 측정된 뇌파신호를 '제2 채널(

)'로 표기하기로 한다. 또한, 인터페이스 장치는 두피에 전극을 위치시켜 뇌파신호를 측정할 수 있다. 따라서 혀의 위치를 측정하기 위해 입 안에 센서를 위치시킬 필요가 없어 편리하고 위생적이다.

증폭부(120)는 뇌파신호 검출부(110)에서 검출한 뇌파신호에 상응하는 전압을 증폭시킨다. 여기서, 뇌파신호 검출부(110)에서 검출된 전압은 그 크기가 미약하여 검출 오류를 발생시킬 수 있기 때문에 보다 정확한 뇌파 신호의 분석을 위해 검출전압을 미리 설정된 크기 이상으로 증폭하는 과정이 필요할 수 있고, 이와 같은 경우 상기 증폭부(120)가 사용된다. 만약, 뇌파신호 검출부(110)에서 검출된 전압의 크기가 미리 설정된 크기 이상인 경우에는 검출 전압의 증폭을 수행하지 않아도 무방하며 이와 같은 경우에는 증폭부(120)가 뇌파기반 혀-기계 인터페이스 장치에서 제외될 수도 있다.

판단부(130)는 복수의 전극으로부터 전압을 감지하여 전압 차를 계산하고 혀의 위치를 예측한다. 판단부(130)의 기능을 구체적으로 설명하기 위해 이하 측정실험 내용을 설명하기로 한다.

혀의 위치에 따른 전압의 변화

도 3을 참조하면, (a)는 피험자에게 요구한 혀의 움직임, (b)는 제1 채널(

)에서의 전압변화, (c)는 제2 채널(

)에서의 전압변화, (d)는 제1 채널(

)과 제2 채널(

)간의 전압 차를 나타낸다. 피험자는 0초부터 6초 사이에 혀를 볼에 붙인 상태에서 오른쪽에서 왼쪽으로 서서히 움직이도록 요구 받았다. 또한 8초에서 14초 사이에서는 반대로 혀를 볼에 붙인 상태로 왼쪽에서 오른쪽으로 서서히 움직이도록 요구 받았다. 실험 결과에서 볼 수 있듯이, 혀를 오른쪽에서 왼쪽으로 서서히 이동시킴에 따라 제1 채널(

)에서의 전압은 서서히 감소하고, 제2 채널(

)에서의 전압은 서서히 증가하는 것을 볼 수 있으며, 이 변화는 혀의 위치와 선형적인 비례 관계를 갖는다.

선형 모델을 이용한 혀의 위치 판별

혀의 움직임에 의한 전압의 변화 자체는 일반적인 현상이지만, 그 강도나 위치적인 특성은 피험자에 따라 또한 측정 시점에 따라 달라질 수 있다. 이러한 변화를 반영하기 위해, 인터페이스를 이용하기 직전에 측정된 전압 차를 혀의 위치에 대한 각도로 변환시키는 모델을 학습하는 과정이 필요하다. 본 측정실험에서는 피험자가 왼쪽 볼, 오른쪽 볼, 앞쪽 입술에 혀를 위치시켰을 때의 전압을 측정하고, 이를 바탕으로 분석 모델을 학습하도록 하였다.

또한, 학습 과정은 하기의 4가지 상태에 따라 뇌파신호를 측정하는 과정을 갖는다. 첫 번째 단계는 턱에 힘을 주어 씹는 동작(Clenching으로 표시된 부분)이다. 이러한 동작을 할 때, 혀는 볼에서 떨어진 상태에 있으므로, 이 상태에서의 뇌파신호를 측정의 기준점(baseline)으로 삼을 수 있다. 또한 구강내 치아를 깨무는 이물기 동작시 활성화되는 근전도 신호의 증가 자체를 새로운 종류의 명령으로 인식하는 것 또한 가능하다.

두 번째 단계에서는 혀를 왼쪽 볼에 접촉시켰을 때(Left로 표시된 부분), 세 번째 단계에서는 혀를 앞쪽 입술에 접촉시켰을 때(Front로 표시된 부분), 네 번째 단계에서는 혀를 오른쪽 볼에 접촉시켰을 때(Right로 표시된 부분)의 뇌파신호를 측정한 것을 나타낸다.

도 4의 (a)는 제1 채널(

)에서 측정된 뇌파에 상응하는 전압(410)과 이를 저주파 필터로 처리한 뇌파에 상응하는 전압(420)을 나타낸다. 이때 가시성을 높이기 위해, 420을 위쪽으로 약간 이동시켰다. (b)는 제2 채널(

)에서 측정된 뇌파신호(430)와 저주파 필터로 처리한 뇌파신호(440)를 나타낸다. 이때 측정된 뇌파신호(도 4의 (a)및(b))를 0.25~0.5초 마다 구간 평균을 계산하여 그 차를 구하면 (c)와 같이 단계적으로 증가하는 패턴을 얻어낼 수 있다. 먼저 제1 채널과 제2 채널의 전압의 크기를 기준전극과 비교하여 구하고, 각 단계에서 제1 채널과 제2 채널간의 전압차 평균값을 각각

,

,

이라 정의한다. 제1 채널과 제2 채널의 전압차 평균값이

인 경우 왼쪽 볼에 혀가 위치한 것으로 판단,

인 경우 앞쪽 입술에 혀가 위치한 것으로 판단,

인 경우 오른쪽 볼에 혀가 위치한 것으로 판단할 수 있다.

혀를 왼쪽에서 오른쪽으로 움직여 전압 차가

에서

로 변해갈 때, 전압의 변화량은 혀의 각도에 선형적으로 비례한다. 그러나 혀를 왼쪽에서 앞쪽으로 움직일 때의 전압 변화량인

-

와 앞쪽에서 오른쪽으로 움직일 때의 전압 변화량인

-

은 서로 같지 않은 경우가 많다. 이를 위해 혀가 왼쪽에 위치할 때와 오른쪽에 위치할 때에 서로 다른 식을 적용하여, 새로 들어온 신호의 전압 차를

라 했을 때, 혀의 각도는 하기의 수학식 1을 산출하여 구할 수 있다.

도 4의 (d)에 도시한 바와 같이, 혀가 왼쪽에 있을 때

는

(즉 -90 도)에서 0도 사이의 범위를 갖고 오른쪽에 있을 때는 0도에서

(즉 90도)의 범위를 갖는다.

도 4의 (e)는 (c)에서 나타낸 전압 차를 (d)의 각도로 변환하기 위한 모델로서, 측정된 전압 차가 (c)의 수직 축 위의 한 점으로 나타날 때, 이 점과 같은 높이를 갖는 (e)의 색상과 동일한 (d)의 방향이 예측된 혀의 위치가 된다.

도 4의 (f)는 구강내 치아를 깨무는 이물기 동작시 활성화되는 근전도 신호를 인식하기 위해 측정된 고주파 성분의 분산 값을 나타낸다. 구강내 치아를 깨무는 이물기 동작시 활성화되는 근전도 신호는 뇌파 채널상에서 급격한 진폭의 증가가 있을 때 나타난다.

주성분 분석법 및 Fukunaga - Koontz 변환을 이용한 혀의 위치 판별 성능향상

상기에서 설명한 바와 같이 왼쪽 귀 및 오른쪽 귀에서 측정된 뇌파 신호만으로도 뇌파기반 혀-기계 인터페이스를 구성할 수 있으나, 이 경우 장비에 따라 신호의 전압이 서서히 증가하거나 감소하는 선형적인 잡음인 드리프트(drift)에 의해 뇌파기반 혀-기계 인터페이스 장치가 가리키는 각도가 서서히 한 쪽으로 치우치는 문제가 발생한다. 이러한 문제는 2개 이상의 채널로부터 혀에 관련된 정보만을 추출하는 방법 즉, 주성분 분석법(Principle Component Analysis)을 통해 해결할 수 있다.

도 5를 참조하면, 혀를 왼쪽, 앞쪽, 오른쪽에 대는 행동을 8회 반복하는 동안 왼쪽 귀(LE), 오른쪽 귀(RE) 및 두피의 각 지점에서 측정된 뇌파신호를 나타낸 것이다. 아래쪽의 라벨(label)은 각 시간에 피험자가 어느 위치에 혀를 위치하고 있었는지를 나타낸다. 빨간색은 피험자가 혀를 왼쪽 볼에, 녹색인 영역은 혀를 입술에, 파란색인 영역은 혀를 오른쪽 볼에 접촉시키고 있었음을 의미한다.

8회의 반복 시행에 대해 혀가 왼쪽에서 오른쪽 앞쪽으로 이동해갈 때 머리의 왼쪽에 위치한 전극들(LE~P7)에서는 불연속적인 전압의 증가를, 오른쪽에 위치한 전극들 (RE~P8)에서는 전압의 감소를 확인할 수 있다. 또한 시행이 반복될 때마다, 각 전극의 전압이 서서히 증가 혹은 감소하는 드리프트(drift) 현상 또한 확인할 수 있다(P7, RE에서는 감소, T8, P8에서는 증가 등).

본 발명에서는 이러한 문제를 해결하기 위해 혀의 움직임에 의한 전압 변화만을 추출하고, 드리프트(drift)에 의한 변화는 무시하는 주성분 분석법(Principle Component Analysis)을 이용하였다.

도 6을 참조하면, 혀가 왼쪽에서 오른쪽으로 움직일 때, 왼쪽 귀에서 측정된 전압은 점차 증가하고, 오른쪽 귀에서 측정된 전압은 점차 감소하므로, 전압을 나타내는 점은 도 6의 2차원 공간상에서 오른쪽 아래 방향 (

)으로 이동해간다.

도 6에서 각 점의 색은 도 5와 마찬가지로 빨간 색은 왼쪽 볼, 녹색은 앞쪽 입술, 파란 색은 오른쪽 볼에 혀를 접촉 시켰음을 의미한다. 만약 드리프트(drift)의 영향이 없다면, 시행이 반복되더라도 전압을 나타내는 점이 같은 위치에 분포하고 있어야 한다. 하지만 드리프트(drift)의 영향으로 전압를 나타내는 점이 왼쪽 아래 방향 (

)으로 서서히 이동하는 것을 볼 수 있다. 만약

의 방향의 변화에 대해서는 민감하면서,

의 방향에 대한 변화를 무시할 수 있는 새로운 방향을 찾은 뒤, 새로운 신호가 입력되었을 때 얻어진 방향에 대해 투사한 값을 혀의 위치를 알아내기 위한 특징 값(feature)으로 사용한다면, 뇌파기반 혀-기계 인터페이스 장치의 성능을 향상시킬 수 있을 것이다.

이러한 특징 벡터는 다음 과정을 통해 얻을 수 있다. 우선 학습 과정 동안, 혀로 왼쪽(L), 앞쪽(F), 오른쪽(R) 볼을 가리키는 시행을 3~4회 수행하며 뇌파신호를 수집한다. 시행 1 동안 측정된 왼쪽, 앞쪽, 오른쪽에 해당하는 뇌파신호를 각각

라 하자. 마찬가지로 시행 2 동안 측정된 뇌파신호를

라하고, 이를 S회까지 반복 시행하여 마지막 시행 S에서 측정된 신호를

라 하자.

이때, 혀의 움직임에 따른 점의 이동 방향

는 각각의 시행에서 혀가 왼쪽, 앞쪽 및 오른쪽으로 이동해갈 때의 분포로부터 알아낼 수 있다. 이를 위해 먼저, s번째 시행에 대한 분포를 하기의 수학식 2와 같이 나타낸다.

그 다음, 여러 시행에 대한 분포를 종합적으로 분석하기 위해, 각 시행에 대한 공분산 행렬을 합하는 하기의 수학식 3에 대한 계산을 수행한다.

상기 수학식 3 중 cov()가 신호에 대한 공분산 행렬을 구해주는 연산자일 때,

의 최대 고유값에 대한 고유 벡터

는 혀가 움직일 때의 점의 이동 방향을 나타낸다.

는 혀의 움직임에 대해 민감하게 반응하는 유용한 특징 벡터이지만, 드리프트(drift)에 대한 영향을 최소화하는 효과는 없다.

혀의 움직임에 대해서는 민감하게 반응하면서도, 드리프트(drift)에 대해 둔감하게 반응하는 새로운 벡터를 찾기 위해, 시행이 진행됨에 따라 나타나는 드리프트(drift)의 영향을 표현하는 분포를 구할 필요가 있다. 이를 위해,

을 구할 때 각각의 시행 내부에서 혀의 움직임에 따른 이동 분포를 구한 것과는 반대로, 같은 혀의 위치에 해당하는 점들이 시행이 진행되어 감에 따라 이동할 때 보이는 분포를 구해야 하며, 이는 하기의 수학식 4를 통해 산출될 수 있다.

상기 수학식 4 중

은 혀로 왼쪽 볼에 접촉시킨 동안 드리프트(drift)에 의해 나타난 변화를, 마찬가지로

과

은 혀로 입술 및 오른쪽 볼에 접촉시킨 동안 나타난 변화를 의미한다. 세 조건에 대한 드리프트(drift)의 영향을 종합하기 위해, 각 조건에 대한 공분산 행렬을 하기의 수학식 5와 같이 합한다.

상기 수학식 5에서

의 최대 고유값에 대한 고유 벡터는 드리프트(drift)에 대한 영향을 나타내는 벡터

와 같다.

본 발명에서 찾고자 하는 특징 벡터는 혀의 움직임에 대한 변화를 최대화하면서, 드리프트(drift)에 대한 변화를 최소화하는 방향을 가져야 하므로, 위의 두 공분산 행렬에 다음과 같은 Fukunaga-Koontz 변환을 이용하여, 고유 벡터 행렬 W을 다음과 같이 구한 후,

에 대해 최대의 고유값을 갖고,

에 대해 최소의 고유값을 갖는 고유 벡터

를 구하면, 위의 조건을 만족시키는 유용한 특징 벡터로 이용할 수 있다.

상기의 수학식 6에서

및

는 대각 행렬이며, I는 고유 행렬이다. 위의 과정을 통해 얻어진 벡터

에 새롭게 측정된 신호 벡터

를 사영시켜 얻어진 특징값

는 도 3에서 사용된 좌/우측 채널 간의 전압 차 대신 적용되어, 혀의 위치를 더 정확하게 파악하는 데 이용될 수 있다.

다시 도 1을 참조하면, 상기 인터페이스 장치의 판단부(130)는 전술한 바와 같이 주성분 분석법(Principle Component Analysis) 및 Fukunaga-Koontz변환을 이용하여 혀의 위치를 더 정확하게 판단할 수 있다.

도 7은 본 발명의 일 실시예에 따른 뇌파기반 혀-기계 인터페이스 방법을 나타내는 흐름도이다.

도 7을 참조하면, 본 발명의 일 실시예에 따른 뇌파기반 혀-기계 인터페이스는 두피에 부착된 복수의 전극으로부터 뇌파신호를 획득한다(단계 710). 여기서 기준 전극(reference) 및 접지 전극(ground)은 머리의 앞뒤를 가로지르는 방향으로 위치시키는 것이 바람직하다.

이후, 뇌파기반 혀-기계 인터페이스 장치는 획득한 뇌파신호 상에서 나타나는 전압을 증폭시킨다(720). 만약, 복수의 전극으로부터 획득한 전압의 크기가 미리 설정된 크기 이상인 경우에는 전압의 증폭을 수행하지 않아도 무방하다.

이후, 뇌파기반 혀-기계 인터페이스 장치는 획득한 뇌파신호 상에 나타나는 전압의 차를 구한다(단계 730). 혀를 입안에서 움직이는 경우 혀의 움직임에 따른 뇌파신호 상의 전압변화가 발생하는데, 혀를 왼쪽 볼에 접촉시키면 머리의 왼쪽에 위치한 전극들에서는 전압의 감소가, 머리의 오른쪽에 위치한 전극들에서는 전압의 증가가 관측된다. 또한, 혀를 오른쪽 볼에 접촉시키면, 머리의 오른쪽에 위치한 전극들에서는 전압의 감소가 관측되고 머리의 왼쪽에 위치한 전극들에서는 전압의 증가가 관측된다. 따라서 뇌파기반 혀-기계 인터페이스 장치는 상기와 같이 혀가 한쪽으로 움직일 때 관측되는 전압들을 획득하고 획득된 전압들의 차를 구하는 것이다.

이후, 뇌파기반 혀-기계 인터페이스 장치는 상기 전압들의 차에 기초하여 혀의 위치를 판단한다(단계 740). 여기서 뇌파기반 혀-기계 인터페이스 장치는 측정된 전압 차에 기초하여 혀의 위치에 상응하는 각도 정보로 변환할 수 있다. 예를 들어, 뇌파기반 혀-기계 인터페이스 장치는 측정된 전압 차에 기초하여 혀의 위치를 왼쪽(-90 도), 앞쪽(0 도), 오른쪽(90 도)으로 판단할 수도 있고, 혀의 위치를 -90도에서 90도 사이의 특정 각도로 더욱 세분화하여 판단할 수도 있다.

또한, 혀의 위치를 판단하는 것의 정확도를 높이기 위해 전술한 바와 같이 주성분 분석법(Principle Component Analysis) 및 Fukunaga-Koontz 변환(Fukunaga-Koontz transform)을 이용할 수 있다.

이후, 뇌파기반 혀-기계 인터페이스 장치는 판단된 혀의 위치에 대한 정보를 제공한다(단계 750).

혀의 움직임에 의한 전압변화는 일반적이지만, 그 강도나 위치적 특성은 피험자 또는 측정 시점에 따라 달라지기 때문에 인터페이스를 이용하기 직전에 측정된 전압 차를 혀의 위치에 따른 각도로 변화 시키는 모델을 학습하는 과정을 거친다.

또한, 혀의 위치를 판단하는 것의 정확도를 높이기 위해 전술한 바와 같이 주성분 분석법(Principle Component Analysis) 및 Fukunaga-Koontz 변환(Fukunaga-Koontz transform)을 이용할 수 있다.

도 8은 본 발명의 일 실시예에 따른 뇌파기반 혀-기계 인터페이스를 이용한 구동장치의 구성을 나타내는 블록도이다.

도 8을 참조하면, 뇌파기반 혀-기계 인터페이스를 이용한 구동장치는 뇌파신호 검출부(810), 증폭부(820), 제어부(830), 구동부(840)를 포함할 수 있다.

먼저, 뇌파신호 검출부(810)는 도 1에서 전술한 바와 같이 혀를 볼에 접촉시키는 경우, 뇌파신호에 상응하는 전압의 증감 패턴이 나타나는데 이와 같은 뇌파신호에 상응하는 전압증감 패턴을 검출한다.

증폭부(820)는 뇌파신호 검출부(810)에서 검출한 뇌파신호에 상응하는 전압을 증폭시킨다. 만약, 뇌파신호 검출부에서 검출된 전압의 크기가 미리 설정된 크기 이상인 경우에는 검출 전압의 증폭을 수행하지 않아도 무방하며 이와 같은 경우에는 증폭부(820)가 뇌파기반 혀-기계 인터페이스 장치에서 제외될 수도 있다.

제어부(830)는 판단모듈(835)을 포함할 수 있다. 판단모듈(835)은 전압의 변화를 감지하여 차를 계산하고 혀의 위치를 예측한다. 여기서 혀의 움직임에 의한 전압의 변화 자체는 일반적인 현상이지만, 그 강도나 위치적 특성은 피험자에 따라 또는 측정 시점에 따라 달라질 수 있다.

또한, 선형적인 잡음인 드리프트(drift)에 의해 뇌파기반 혀-기계 인터페이스가 가리키는 각도가 서서히 한쪽으로 치우치는 문제가 발생하기 때문에 혀의 위치를 예측하는 성능을 향상시키기 위해, 도 5 및 도 6을 참조하여 설명한 주성분 분석법(Principle Component Analysis) 및 Fukunaga-Koontz 변환을 이용할 수 있다.

제어부(830)는 판단모듈(835)로부터 혀의 위치에 따른 연속적인 전압의 변화를 이용하므로, 볼의 왼쪽(-90도)부터 오른쪽(90도)까지의, 연속적인 각도를 인식할 수 있다. 이러한 특성은 자동차 핸들과 비슷하기 때문에 예를 들면, 휠체어의 조종에 적합하다. 제어부(830)는 -90도에서 90도의 범위를 갖는 뇌파기반 혀-기계 인터페이스의 결과 값에 cos함수를 취한 후, 그 결과 값에 상응하는 구동제어신호를 뇌파기반 혀-기계 인터페이스를 이용한 구동장치의 구동부에 제공한다.

구동부(840)는 상기 제어부(830)로부터 제공된 구동제어신호에 기초하여 구동력을 제공하여 뇌파기반 혀-기계 인터페이스를 이용한 구동장치를 이동시킬 수 있다.

따라서, 뇌파기반 혀-기계 인터페이스는 혀의 움직임을 이용하여 좌/우 180도에 이르는 구동제어신호를 구동장치에 제공할 수 있고 각도의 연속적인 입력이 가능하기 때문에, 구동장치와 연결되었을 때 차량의 핸들과 같이 구동장치를 부드럽게 동작 시킬 수 있다는 장점을 가지고 있다.

도 9는 본 발명의 일 실시예에 따른 뇌파기반 혀-기계 인터페이스를 이용한 구동장치의 성능을 향상시키는 방법을 나타내는 흐름도이다.

구동장치는 원하는 방향으로 정확히 이동하는 것도 중요하지만, 사용자가 원할 때 즉각적으로 정지하는 기능도 편의성 및 안정성 측면에서 반드시 필요하다. 구강내 치아를 깨무는 이물기 동작시 활성화되는 근전도 신호는 그 신호가 명확하고 발생시키기도 쉽기 때문에 구동장치를 즉각적으로 정지시키기 위한 목적에 적합하다.

이하 도 9를 참조하여 구동장치 중 휠체어를 예로 들어 설명하도록 한다.

구강내 치아를 깨무는 이물기 동작시 활성화되는 근전도 신호는 뇌파 채널 상에서 급격한 진폭의 증가로 나타나며, 이러한 진폭의 증가는 채널이 턱에 가까울수록 더 분명하게 나타난다. 구강내 치아를 깨무는 이물기 동작시 활성화되는 근전도 신호가 발생했는지 여부는 각 채널이 갖는 고주파 성분(8Hz 이상)의 분산 값의 합을 비교하여 판단할 수 있다. 즉, 도 4의 모델 학습과정에서 턱에 힘을 줄 때(도 4에서 Clenching으로 표시된 영역)의 뇌파 신호도 함께 측정하여, 측정하는 동안 얻어진 분산 값의 평균을 구하여 저장한다. 이 후 뇌파기반 혀-기계 인터페이스의 이용 도중 저장된 값 이상의 분산이 관측되면, 이를 비상 정지 신호로 인식, 휠체어를 멈추게 한다.

휠체어가 운행상태 일 때 휠체어를 정지시키고자 하는 경우 상기한 바와 같이 씹는 동작을 정지 명령으로 인식한다. 정지 상태를 오랫동안 지속시키기 위하여 씹는 동작을 유지해야 한다면 상당히 불편하기 때문에 휠체어를 정지 시킨 상태에서 말을 하거나, 음식을 먹으려 할 때에는 휠체어의 정지 상태를 오랫동안 지속시킬 필요가 있다. 따라서 휠체어가 운행상태 일 때, 구강내 치아를 깨무는 이물기 동작시 활성화되는 근전도 신호가 3초 이상 지속되면, 뇌파기반 혀-기계 인터페이스의 상태가 변경되도록 하였다.

즉 뇌파기반 혀-기계 인터페이스가 정차 상태일 경우(단계 910) 휠체어는 정차상태이다. 이 경우 뇌파기반 혀-기계 인터페이스는 구강내 치아를 깨무는 이물기 동작시 활성화되는 근전도 신호의 길이가 3초 이상이 되는지 판단한다(단계 920). 근전도 신호의 길이가 3초 이상이 되지 않는다면 인터페이스는 계속 정차상태에 있게 되고(단계 910), 근전도 신호의 길이가 3초 이상이 된다면 휠체어의 기준점을 갱신하고(단계 930) 뇌파기반 혀-기계 인터페이스를 운행 상태로 변경시킨다(단계 940).

여기서 기준점을 갱신하는 이유는, 주성분 분석법(Principle Component Analysis) 및 Fukunaga-Koontz 변환을 이용한 혀의 위치 판별 성능향상에 관한 부분에서 설명한 바와 같이 드리프트(drift)가 누적되면 뇌파기반 혀-기계 인터페이스의 정상적인 사용이 불가능해지는 현상이 발생하는데, 구강내 치아를 깨무는 이물기 동작시 활성화되는 근전도 신호가 발생할 때마다 신호의 휠체어의 기준점을 갱신(뇌파 장비의 0점을 재설정)하면 드리프트(drift)의 영향을 초기화 시킬 수 있다. 따라서 드리프트(drift)의 누적으로 인해 휠체어가 동작 불가능 상태로 되는 것을 막을 수 있다.

뇌파기반 혀-기계 인터페이스가 운행상태로 변경된 경우, 구강내 치아를 깨무는 이물기 동작시 활성화되는 근전도 신호가 발생하는지 판단한다(단계 950).

근전도 신호가 발생하는 경우 휠체어는 정지시키고(단계 960), 휠체어의 기준점을 갱신한다(단계 970). 이후 근전도 신호의 길이가 3초 이상인지 판단한다(단계 980). 근전도 신호의 길이가 3초 이상이 아닌 경우 뇌파기반 혀-기계 인터페이스는 운행상태를 유지하고, 휠체어는 정지 한 상태로 있게 된다. 또한, 근전도 신호가 다시 발생하는지 판단한다(단계 950). 근전도 신호의 길이가 3초 이상인 경우 뇌파기반 혀-기계 인터페이스는 정차상태로 변경 되고 휠체어는 정차상태로 변경된다(단계 910).

뇌파기반 혀-기계 인터페이스가 운행상태로 변경된 경우(단계 940), 구강내 치아를 깨무는 이물기 동작시 활성화되는 근전도 신호가 발생하지 않으면 휠체어가 사용자의 혀의 위치에 따라 구동한다(단계 990).

휠체어의 구동방법에 대하여 도 10을 참조하여 설명하면, 먼저 본 발명의 일 실시예에 따른 뇌파기반 혀-기계 인터페이스는 두피에 부착된 복수의 전극에서 측정된 뇌파에 상응하는 전압을 획득한다(단계 991). 여기서 기준 전극(reference) 및 접지 전극(ground)은 머리의 앞뒤를 가로지르는 방향으로 위치시키는 것이 바람직하다.

이후, 뇌파기반 혀-기계 인터페이스는 획득한 뇌파에 상응하는 전압을 증폭시킨다(992). 만약, 복수의 전극으로부터 획득한 전압의 크기가 미리 설정된 크기 이상인 경우에는 전압의 증폭을 수행하지 않아도 무방하다.

이후, 인터페이스는 획득한 뇌파에 상응하는 전압의 차를 구한다(단계 993).

이후, 인터페이스는 상기 전압의 차를 획득하고 획득한 전압의 차의 결과에 기초하여 혀의 위치를 판단한다(단계 994). 여기서 인터페이스는 측정된 전압 차에 기초하여 혀의 위치에 상응하는 각도 정보로 변환할 수 있다. 예를 들어, 인터페이스는 측정된 전압 차에 기초하여 혀의 위치를 왼쪽(-90 도), 앞쪽(0 도), 오른쪽(90 도)으로 판단할 수도 있고, 혀의 위치를 -90도에서 90도 사이의 특정 각도로 더욱 세분화하여 판단할 수도 있다.

또한, 혀의 위치를 판단하는 것의 정확도를 높이기 위해 전술한 바와 같이 주성분 분석법(Principle Component Analysis) 및 Fukunaga-Koontz 변환을 이용할 수 있다.

단계 994까지의 방법을 통해 얻어진 뇌파기반 혀-기계 인터페이스는 혀의 위치에 따른 연속적인 전압의 변화를 이용하므로 볼의 왼쪽(-90 도)으로부터 오른쪽(90도)까지의 연속적인 각도를 인식할 수 있다. 따라서 뇌파기반 혀-기계 인터페이스는 단계 994에서 혀의 위치를 판단한 경우 혀의 위치에 상응하는 구동제어신호를 생성한다(단계 995).

또한, 뇌파기반 혀-기계 인터페이스가 단계 995에서 구동제어신호를 생성한 경우, 생성된 구동제어신호를 구동장치에 제공한다(단계 996).

도 11은 본 발명의 일 실시예에 따른 뇌파기반 혀-기계 인터페이스를 이용한 휠체어를 사용자가 조종하는 것을 나타내는 개념도이다. 도 11에 도시된 바와 같이, 본 발명의 일 실시예에 따른 혀-기계 인터페이스를 이용한 휠체어는 사용자가 손이나 발로 조종간을 조작할 필요 없이 혀의 움직임과 구강내 치아를 깨무는 이물기 동작시 활성화 되는 근전도 신호를 기반으로 조종이 가능하므로 척추 부상이나 퇴행성 신경 질환을 앓는 사용자들에게 유용하다.

도 12는 본 발명의 일 실시예에 따른 뇌파기반 혀-기계 인터페이스를 이용한 휠체어의 이동 경로의 예시를 나타내는 개념도이다. 도 12를 참조하면, 좌측의 그림은 왼쪽/오른쪽 등 불연속적인 명령만을 인식할 수 있는 전동 휠체어가 곡선 경로를 이동할 때의 경로를 나타낸다. 즉, 곡선경로를 이동할 때에는 직진-(정지)-우회전-직진-우회전-직진을 번갈아 가며 입력하는 과정을 반복해야 하고, 명령을 바꿀 때마다 휠체어가 불필요하게 정지하는 문제가 있었다.

도 12의 우측의 그림은 본 발명의 일 실시예에 따른 뇌파기반 혀-기계 인터페이스를 이용한 휠체어의 이동 경로를 나타낸다. 우측의 그림에서 보이는 바와 같이 자동차 핸들을 조종하는 것처럼 혀를 한번 오른쪽으로 이동시켰다가 돌아오는 것만으로도 부드럽게 곡선 경로를 통과할 수 있다. 따라서, 뇌파 센서를 이용하는 기존의 인터페이스들(좌/우측 손에 대한 운동 심상이나 구강내 치아를 깨무는 이물기 동작시 활성화되는 근전도 신호를 기반으로 한 인터페이스들)에 비해 구동장치를 부드럽고 섬세하게 동작 시킬 수 있다는 효과가 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

110: 뇌파신호 검출부
120: 증폭부
130: 판단부
810: 뇌파신호 검출부
820: 증폭부
830: 제어부
835: 판단모듈
840: 구동부

Claims (23)

1. 두피에 부착된 복수의 전극을 포함하고, 각 전극은 측정된 뇌파에 상응하는 전압을 제공하는 뇌파신호 검출부; 및
   상기 뇌파신호 검출부로부터 제공된 복수의 전압들을 획득하고 획득된 상기 복수의 전압들을 비교하여 전압차를 산출하고 산출된 상기 전압차에 기초하여 혀의 위치를 판단하는 판단부를 포함하되,
   상기 판단부는 주성분 분석법(Principle Component Analysis) 및 Fukunaga-Koontz변환을 기초로 하여 미리 결정된 특징 벡터를 이용하여 혀의 위치를 판단하는 것을 특징으로 하는 뇌파기반 혀-기계 인터페이스 장치.
2. 제 1항에 있어서, 뇌파기반 혀-기계 인터페이스 장치는,
   상기 뇌파신호 검출부로부터 제공된 뇌파에 상응하는 전압을 증폭하는 증폭부를 더 포함하는 것을 특징으로 하는 뇌파기반 혀-기계 인터페이스 장치.
3. 제 1항에 있어서,
   상기 뇌파신호 검출부는 혀의 위치 판단을 위한 기준 전압을 제공하는 기준전극;
   접지 전압을 제공하는 접지전극;
   두피의 제1 위치에 부착되고, 상기 제1 위치에서 측정된 뇌파에 상응하는 제1 전압을 제공하는 제1 전극; 및
   두피의 제2 위치에 부착되고, 상기 제2 위치에서 측정된 뇌파에 상응하는 제2 전압을 제공하는 제2 전극을 포함하는 것을 특징으로 하는 뇌파기반 혀-기계 인터페이스 장치.
4. 제 3항에 있어서,
   상기 판단부는 상기 기준 전압과 상기 제1 전압을 비교하여 제1 전압차와 상기 기준 전압과 상기 제2 전압을 비교하여 제2 전압차를 산출한 후, 산출된 상기 제1 전압차와 상기 제2 전압차를 비교하여 제3 전압차를 산출하고 상기 제3 전압차에 기초하여 혀의 위치를 판단하는 것을 특징으로 하는 뇌파기반 혀-기계 인터페이스 장치.
5. 삭제
6. 제 4항에 있어서,
   상기 판단부는 수학식

   

   (여기서,

   

   은 혀가 왼쪽 볼에 위치되었을 때의 제1 전압차와 제2 전압차를 비교하여 산출된 제3전압차,

   

   는 혀가 앞쪽 입술에 위치되었을 때의 제1 전압차와 제2 전압차를 비교하여 산출된 제3 전압차,

   

   은 혀가 오른쪽 볼에 위치되었을 때의 제1 전압차와 제2 전압차를 비교하여 산출된 제3 전압차,

   

   는 현재 측정된 뇌파에 상응하는 제3 전압차를 의미)을 이용하여 상기 제3 전압차를 혀가 위치한 각도로 변환하는 것을 특징으로 하는 뇌파기반 혀-기계 인터페이스 장치.
7. 삭제
8. 두피에 부착된 복수의 전극으로부터 측정된 뇌파에 상응하는 전압을 획득하는 단계; 및
   상기 획득된 뇌파에 상응하는 복수의 전압을 비교하여 전압차를 산출하고 산출된 상기 전압차에 기초하여 혀의 위치를 판단하는 단계를 포함하되,
   상기 획득된 뇌파에 상응하는 복수의 전압을 비교하여 전압차를 산출하고 산출된 상기 전압차에 기초하여 혀의 위치를 판단하는 단계는,
   주성분 분석법(Principle Component Analysis) 및 Fukunaga-Koontz변환을 기초로 하여 미리 결정된 특징 벡터를 이용하여 혀의 위치를 판단하는 것을 특징으로 하는 뇌파기반 혀-기계 인터페이스 방법.
9. 제 8항에 있어서, 뇌파기반 혀-기계 인터페이스 방법은,
   상기 두피에 부착된 복수의 전극으로부터 측정된 뇌파에 상응하는 전압을 획득하는 단계 이후, 상기 획득한 전압을 증폭시키는 단계를 더 포함하는 것을 특징으로 하는 뇌파기반 혀-기계 인터페이스 방법.
10. 제 8항에 있어서, 상기 두피에 부착된 복수의 전극으로부터 측정된 뇌파에 상응하는 전압을 획득하는 단계는,
    혀의 위치 판단을 위한 기준 전압, 접지 전압, 두피의 제1 위치에서 측정된 뇌파에 상응하는 제1 전압 및 두피의 제2 위치에서 측정된 뇌파에 상응하는 제2 전압을 획득하는 것을 특징으로 하는 뇌파기반 혀-기계 인터페이스 방법.
11. 제 10항에 있어서, 상기 획득된 뇌파에 상응하는 복수의 전압을 비교하여 전압차를 산출하고 산출된 상기 전압차에 기초하여 혀의 위치를 판단하는 단계는,
    상기 기준 전압과 상기 제1 전압을 비교하여 제1 전압차와 상기 기준 전압과 상기 제2 전압을 비교하여 제2 전압차를 산출한 후, 산출된 상기 제1 전압차와 상기 제2 전압차를 비교하여 제3 전압차를 산출하고 상기 제3 전압차에 기초하여 혀의 위치를 판단하는 단계를 포함하는 것을 특징으로 하는 뇌파기반 혀-기계 인터페이스 방법.
12. 삭제
13. 제 11항에 있어서, 상기 획득된 뇌파에 상응하는 복수의 전압을 비교하여 전압차를 산출하고 산출된 상기 전압차에 기초하여 혀의 위치를 판단하는 단계는,
    수학식

    

    (여기서,

    

    은 혀가 왼쪽 볼에 위치되었을 때의 제1 전압차와 제2 전압차를 비교하여 산출된 제3 전압차,

    

    는 혀가 앞쪽 입술에 위치되었을 때의 제1 전압차와 제2 전압차를 비교하여 산출된 제3 전압차,

    

    은 혀가 오른쪽 볼에 위치되었을 때의 제1 전압차와 제2 전압차를 비교하여 산출된 제3 전압차,

    

    는 현재 측정된 뇌파에 상응하는 제3 전압차를 의미)을 이용하여 상기 제3 전압차를 혀가 위치한 각도로 변환하는 단계를 포함하는 것을 특징으로 하는 뇌파기반 혀-기계 인터페이스 방법.
    
    
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제

Images