KR102094936B1

KR102094936B1 - Bci 시스템의 신뢰성 향상 방법

Info

Publication number: KR102094936B1
Application number: KR1020180010241A
Authority: KR
Inventors: 전성찬; 안민규
Original assignee: 광주과학기술원; 한동대학교 산학협력단
Priority date: 2017-12-06
Filing date: 2018-01-26
Publication date: 2020-05-27
Also published as: KR20190067069A

Abstract

뇌-컴퓨터 인터페이스 시스템의 신뢰도 향상을 위한 방법이 개시된다. 본 발명의 일 실시 예에 따른 뇌-컴퓨터 인터페이스 시스템의 신뢰성 향상을 위한 방법은, 제1 자가 성능 진단을 수행하는 단계, 상기 자가 성능 진단 결과를 포함하는 데이터에 기초하여 BCI 시스템의 적합여부를 판정하는 제1 예측시스템을 구성하는 단계, 상기 BCI 시스템에 적용하기 위해 사용자의 뇌파에 따른 사용자의 의도가 저장되는 분류기를 구성하는 단계, 사용자의 뇌파에 따라 BCI 시스템의 출력값을 도출하는 단계, 상기 출력값의 신뢰성을 측정하는 단계 및 상기 출력값의 사용여부를 결정하는 단계를 포함한다.

Description

BCI 시스템의 신뢰성 향상 방법{Method for Enhancing Reliability of BCI System}

본 발명은 BCI에 대한 것으로서, 보다 상세하게는 자가 성능 진단을 통해 BCI 사용시 사용자의 의도를 정확히 분류할 수 있는 방법에 대한 것이다.

모터 이미지 기반의 뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI)가 점차 보편화되어 가고 있으며, 최근 수십 년 간 연구자들은 소기의 성과를 거두었으며, 의사소통, 제어, 재활, 엔터테인먼트와 같은 다양한 애플리케이션에 대한 뇌-컴퓨터 인터페이스의 실현 가능성을 입증하였다.

뇌-컴퓨터 인터페이스의 이러한 발전에도 불구하고 뇌-컴퓨터 인터페이스가 공개 시장으로 나아갈 수 있기 전에 극복해야 할 장애물이 여전히 남아있다. 보고된 바에 따르면, 뇌-컴퓨터 인터페이스 사용자의 약 10% ~ 30%는 뇌-컴퓨터 인터페이스 시스템을 실행하는 데 중요한 분류 가능한 뇌 신호를 변조하지 않는 것으로 밝혀졌다. 이러한 현상을 뇌-컴퓨터 인터페이스 문맹(BCI-illiteracy)라고 한다.

최근 몇 년 동안 연구자들은 뇌-컴퓨터 인터페이스 문맹 퇴치 현상과 제어 패러다임, 시스템 피드백 양식, 알고리즘 및 훈련 프로토콜의 맥락에서 현재 뇌-컴퓨터 인터페이스 시스템을 개선하기 위한 기술을 연구했다.

최근 연구에 따르면, 연구자들은 이 문제를 다른 관점에서 접근해오고 있다. 하나는 "성능변화의 가장 좋은 상관관계는 무엇인가"라는 질문에 답하는 것을 목표로 한다. 그러한 연구의 목적은 다음과 같이 요약될 수 있다. 1) 낮은 성능을 보이는 사용자에게 어떠한 특징이 있는지 확인하는 것, 2) 이러한 특징이 왜 존재하는 지 확인하는 것, 3) 뇌-컴퓨터 인터페이스를 사용하기 전에 미리 상관관계를 사용하여 낮은 성능을 보이는 사용자를 분류하는 것

성능 변화를 해결하기 위해 많은 아이디어가 제안되었다. 이러한 아이디어들은 인간의 두뇌가 자신의 경험을 반영하고, 배우며, 심지어 적응할 수 있다는 사실에 근거한다. 실제로 고전 신호 처리 방법은 이 측면을 간과하여 고정 디코더보다 더 우수한 특징 추출기 또는 분류기를 설계하는데 주력하였다.

최근에는 뇌-컴퓨터 인터페이스 시스템 설계가 사용자의 두뇌 상태를 학습하는 것과 함께 뇌-컴퓨터 인터페이스를 제어하는 방법을 배우는 과정인 동시 적응(co-adaptation) 개념을 채택하고 있다. 그러나, 이러한 성능 변화에 대한 이러한 연구들에서, 뇌의 기능은 심각하게 고려되지 않았다.

대한민국등록특허공보 10-1553256 의 전문

본 발명의 일 실시 예에 따른 뇌-컴퓨터 인터페이스 시스템의 신뢰성 향상을 위한 방법은 자가 성능 진단 단계를 포함하여 뇌-컴퓨터 인터페이스 시스템의 신뢰성 향상시킬 수 있는 방법을 제안한다.

본 발명의 일 실시 예에 따른 뇌-컴퓨터 인터페이스 시스템의 신뢰성 향상을 위한 방법은, 제1 자가 성능 진단을 수행하는 단계, 상기 자가 성능 진단 결과를 포함하는 데이터에 기초하여 BCI 시스템의 적합여부를 판정하는 제1 예측시스템을 구성하는 단계, 상기 BCI 시스템에 적용하기 위해 사용자의 뇌파에 따른 사용자의 의도가 저장되는 분류기를 구성하는 단계, 사용자의 뇌파에 따라 BCI 시스템의 출력값을 도출하는 단계, 상기 출력값의 신뢰성을 측정하는 단계 및 상기 출력값의 사용여부를 결정하는 단계를 포함한다.

본 발명의 일 실시 예에 따른 뇌-컴퓨터 인터페이스 시스템의 신뢰성 향상을 위한 방법은 자가 성능 진단 단계를 포함하여 뇌-컴퓨터 인터페이스 시스템의 신뢰성 향상시킬 수 있다.

도 1은 본 발명의 일 실시 예에 따른 뇌-컴퓨터 인터페이스 시스템의 자가 성능 예측 프로세스를 나타낸다.
도 2는 특정 기준에 따라 분류된 여러 그룹의 정확도 비교를 보여준다.
도 3은 상관관계 분석 결과를 나타낸다.
도 4는 시도 횟수에 따른 각 값들의 변화를 나타낸다.
도 5는 세가지 방법의 상관관계 계수 비교를 보여준다.
도 6은 실시예에 따라 BCI 시스템의 신뢰도를 향상시키기 위한 방법을 나타내는 흐름도이다.

이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 그러나 본 발명의 사상은 이하의 실시예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명 사상의 범위 내에 포함된다고 할 것이다.

첨부 도면은 발명의 사상을 이해하기 쉽게 표현하기 위하여 전체적인 구조를 설명함에 있어서는 미소한 부분은 구체적으로 표현하지 않을 수도 있고, 미소한 부분을 설명함에 있어서는 전체적인 구조는 구체적으로 반영되지 않을 수도 있다. 또한, 설치 위치 등 구체적인 부분이 다르더라도 그 작용이 동일한 경우에는 동일한 명칭을 부여함으로써, 이해의 편의를 높일 수 있도록 한다. 또한, 동일한 구성이 복수 개가 있을 때에는 어느 하나의 구성에 대해서만 설명하고 다른 구성에 대해서는 동일한 설명이 적용되는 것으로 하고 그 설명을 생략한다.

일반적으로 뇌-컴퓨터 인터페이스 시스템의 피드백 양식은 중요하게 고려된다. 마찬가지로 사용자 피드백 또한 시스템 피드백만큼 중요할 수 있다. 몇몇 연구에서 사용자의 피드백을 평가하였는데 이러한 기존의 연구들은 뇌-컴퓨터 인터페이스 성능과의 상관관계를 측정하기 위해 간접적인 방법을 사용하였으나, 피험자가 운동 심상(motor imagery) 과제를 수행하는 동안에 변수의 변화에 대하여는 조사되지 않았다.

본 발명에서는 뇌-컴퓨터 인터페이스 시스템을 사용하기 전에 사용자의 성능을 예측하는 것이다. 바람직하게는, 사용자가 직접 성능을 예측할 수 있도록 하는 것도 포함한다. 뇌는 외부 환경에 적응할 수 있다. 이러한 뇌의 기능은 뇌-컴퓨터 인터페이스 시스템의 동시 적응 학습 알고리즘에 도입되었다. 마찬가지로, 사용자는 자신의 뇌-컴퓨터 인터페이스 성능을 직접 예측할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 뇌-컴퓨터 인터페이스 시스템의 자가 성능 예측 프로세스를 나타낸다.

구체적으로 설명하면, 먼저 모니터 화면에 시각적인 지시가 표시된다. 각 시험 시작에 십자가가 2초 동안 나타난 다음 왼쪽 또는 오른쪽으로 향하는 텍스트가 3초동안 표시된다. 피실험자는 운동 심상 단계에서 제시된 방향에 따라 왼쪽 또는 오른쪽 움직임을 상상하도록 요청 받는다. 운동 심상 단계 직후에 십자가가 다시 2초동안 나타난다. 따라서, 각 시험의 총 시간은 7초이며, 시험간 간격은 0.1초에서 0.8초 사이에서 무작위로 설정된다. 각 시도에서 각 조건(왼쪽 또는 오른쪽)에 대해 20회 시행한 결과를 수집하였으며, 각 시도가 끝날 때마다 다음 시도를 수행할 수 있는지 여부를 묻는다. 모든 피실험자는 5분에서 6분 사이에 약 2분의 휴식시간을 갖는다.

설문지가 피실험자에게 제공된다. 피실험자는 사전 작업 질문지를 작성하고 난 뒤, 운동 심상 과제를 시작한다. 각 시도에서의 신체적, 정신적, 감정적 상태와 운동 심상 점수에 대한 피드백을 얻기 위해 각 시도의 끝에서 반복적으로 설문이 수행된다. 피실험자는 운동 심상의 쉬움 정도를 1에서 5까지 점수화하고, 분류 정확도의 예측을 50%와 100% 사이에서 점수화한다.

운동 심상 분류 정확도는 공통 공간 패턴(Common Spatial Pattern, CSP) 및 피셔 선형 판별 분석(Fisher Linear Discriminant Analysis, FLDA)를 사용하여 일반적인 방법으로 계산된다. 통계적으로 합당한 정확성을 위해 여러 그룹의 교육 및 시험 시도가 여러 번(예를 들어 120회 반복) 생성되며, 최종 정확성은 교차 유효성 확인 방법을 통해 얻을 수 있다. 상세한 절차는 아래와 같다.

먼저, 특정 주파수 밴드(예를 들어 8-30Hz) 및 시간 구간(일 세트 큐 뒤 0.4-2.4 초)으로 뇌파검사 신호를 필터링한다. 이는 뇌-컴퓨터 인터페이스의 운동 심상의 주요 특징으로 알려져 있는 알파/베타의 유익한 이벤트 관련 동기화를 포함하기 위한 것이다.

필터링된 에포크를 사용하여, 교차 유효성 검사 기술을 적용하여 분류 정확도에 대한 통계적으로 합리적인 추정치를 산출한다. 이 단계는 구체적으로 다음의 단계를 포함한다. 모든 시도는 동일한 크기의 10개 하위 집합으로 그룹화된다. 이 10개의 하위 집합은 7개의 학습 하위 집합과 3개의 하위 집합으로 구분된다. 따라서 가능한 세퍼레이션의 총 수는 120개이다. 각 세퍼레이션마다 10개의 가장 중요한 공간 필터가 공통 공간 패턴에 의해 학습 시도에서 추출된 다음, 피셔 선형 판별 분석을 통한 클래스 세퍼레이션 라인이 생성된다. 이렇게 획득한 10개의 공간 필터와 세퍼레이션 라인을 해당 테스트 시도에 적용하여 correct rate(정확한 에포크 수를 전체 에포크 수로 나눈 값)을 추정한다. 이러한 절차는 다른 세퍼레이션을 위해 반복된다. 마지막으로 모든 correct rate의 평균값을 구하고, 구해진 평균값을 운동 심상 분류 정확도로 정의한다.

도 2는 특정 기준에 따라 분류된 여러 그룹의 정확도 비교를 보여준다.

(a) ~ (e)는 성별, 연령, 커피, 알코올 및 담배에 따라 분류된 그룹의 정확도 비교를 보여준다. 육체 및 정신 상태의 상관관계 분석에서 (f)에서 보듯이 항목 중 어느 것도 서로 높은 상관계가 있었으나, 분류 정확도와 유의미한 상관관계가 없었다.

도 3은 상관관계 분석 결과를 나타낸다.

대부분의 측정은 분류 정확도와 양의 상관관계가 있었으나, 이 상관관계의 정도(강도)는 측정에 의존하여 변화하였다. 이러한 결과를 토대로 테스크를 진행하는 동안 피실험자는 어느 정도 운동 심상의 숙달 정도를 더 정확하게 예측할 수 있다고 추론된다.

도 4는 시도 횟수에 따른 각 값들의 변화를 나타낸다.

(A)는 피실험자들이 사전 과제에서부터 5번째 과제에 이르기까지 각 테스크에 참여할 때 자기 예측이 어떻게 변화하는지를 보여준다. 상관관계 계수의 증가 경향은 명확하게 관찰되었으며, (B)에서 사전 과제 기대치(r=0.03)에서 제1 기대치 값(r=0.23) 및 제2 기대치 값(r=0.54)로 크게 뛰었음을 확인할 수 있다.

마찬가지로 (C)와 같이 오류값(Root Mean Square Error)은 사전 테스크에서 3회 실행까지 급격히 감소한 다음 약간 변동한 것을 확인할 수 있다.

도 5는 세가지 방법의 상관관계 계수 비교를 보여준다.

도 5에 도시된 바와 같이, 자기 예측이 기존의 예측자와 비교할만함을 알 수 있다. 또한, 본 발명에서 제시하는 자기 예측의 경우 시스템 설치 또는 복잡한 두뇌 이미징을 위한 긴 준비가 필요 없기 때문에 뇌-컴퓨터 인터페이스 성능을 쉽고 빠르게 예측할 수 있다.

도 6은 실시예에 따라 BCI 시스템의 신뢰도를 향상시키기 위한 방법을 나타내는 흐름도이다.

도 6를 참조하면, 실시예에 따른 BCI 시스템의 신뢰성 향상 방법은 크게 두가지 단계로 구성될 수 있으며, 이는 예측시스템을 구성하여 사용자가 BCI 시스템에 적합한지의 여부를 판단하는 S1 내지 S4 단계와, 상기 S1 내지 S4 단계를 통해 특징점을 갖는 뇌파를 발생하는 사용자에 대해 학습단계를 수행하고, 실제 사용단계에서 BCI 시스템 출력값에 대한 신뢰도를 측정하는 D1 내지 D5의 단계로 이루어질 수 있다.

실시예에 따른 BCI 시스템의 신뢰성 향상 방법을 구체적으로 설명한다. 본 발명의 일 실시 예에 따른 BCI 시스템은 예측시스템 구성을 위한 자가 성능 진단을 수행한다(S1). 자가 성능 진단은 상술한 바와 같이 피실험자에게 제공한 설문지에 대한 응답을 획득하고 이를 점수화한 것에 기초하여 수행할 수 있다.

BCI 시스템은 BCI의 적합 여부를 판정하는 예측시스템을 구성한다(S2). 예측시스템은 기존의 예측시스템 구성을 위한 신경생리 데이터, 심리적 데이터 및 해부학적 데이터뿐 아니라, S1 단계에서 획득한 자가 성능 진단 데이터를 포함하여 구성될 수 있다.

이는, 실제 BCI 시스템을 사용하지 않고 뇌파를 측정함으로써 이루어지는 단계이며, 사용자의 BCI 시스템에 대한 잠재적인 성능을 확인하여 사용자에게 적합한 BCI 시스템을 선택하기 위한 과정이다.

예측시스템의 성능은 사용자의 뇌파 중에서 알파파와 쎄타파의 상관관계를 통해 도출될 수 있으며, 알파파 또는 쎄타파가 발생되는 상대적인 양을 토대로 하여 비교적 알파파가 높고 쎄타파가 낮게 나타나는 사용자에 대해 BCI 시스템에 적합한 것으로 판단할 수 있다.

그리고, 상기 예측시스템을 통해 뚜렷한 뇌파가 발생되지 않는 사용자에 대해서는 바이오피드백과 같은 뇌파신호 유발 연습을 통해 뇌파 발생 훈련을 실시하는 단계(S3)를 수행하여 BCI 시스템에서 적합한 출력값이 나올 수 있도록 적응시키는 과정을 수행할 수 있다. 또한, 뇌파의 속성이 전혀 다를 경우 사용자에 적합한 명령 패러다임을 갖는 다른 BCI 시스템을 선택하여 이를 적용하는 단계(S4)를 수행할 수 있다.

이어서, 상기 S1 내지 S4 단계를 통해 BCI 시스템에서 분석될 수 있는 뚜렷한 뇌파를 발생하는 사용자에 대해 사용자의 뇌파를 분석하여 사용자에게 최적화된 분류기를 만든다(D1). 분류기는 만드는 단계는 학습 단계와 사용 단계로 구분될 수 있다. 사용자의 뇌파는 함수에 의해 디코딩되어 사용자의 뇌파에 따른 출력값(y, 사용자의 의도)이 저장될 수 있다.

이어서, 상기 분류기를 통해 사용자의 실제 뇌파를 측정하는 사용단계를 수행할 수 있다. 사용단계에서의 사용자 뇌파는 함수에 의해 디코딩되어 사용자의 뇌파에 따른 출력값(y', 사용자의 의도)을 도출할 수 있다(D2). D2 단계는 사용자가 실제적으로 BCI 시스템을 사용하면서 출력값을 나타내는 단계이며, 사용단계에서는 사용자의 정신 상태에 따라 뇌파의 속성이 가변되며, 이에 따라 사용자의 의도(y')는 학습단계에서 입력된 사용자의 의도(y)와는 다르게 나타날 수 있다.

그리고, 생성된 분류기에 따라 BCI 시스템의 성능이 낮다고 판단되는 경우, BCI 시스템은 추가적인 자가 성능 진단을 수행한다(D3). 여기에서 수행되는 자가 성능 진단은 상술한 S1 단계와 같이 설문지를 통해 사용자로부터 응답을 수신하고, 이를 점수화한 것에 기초하여 수행될 수 있다.

본 발명의 일 실시 예에 따른 BCI 시스템은 D3 단계에서의 자가 성능 진단 결과를 반영하여 BCI 시스템의 출력값 신뢰성 판정을 위한 새로운 예측시스템을 구성한다(D4). 이 단계에서 새로운 예측시스템을 통한 사용자의 의도(y')에 대한 신뢰도가 높게 측정되는 경우에 BCI 시스템에서 이를 출력값으로 표시하게 된다.

그러나, BCI 시스템에서 사용자의 의도와는 다른 결과가 도출되는 신뢰도가 낮은 상태로 판정되면, 사용자의 정신적인 상태가 불안정하여 분류기가 분석할 수 있을 정도의 뚜렷한 특징을 나타내고 있지 않은 것으로 판단할 수 있다. 사용자의 이러한 상태가 발견되면, 신뢰도가 낮을 경우 나타나는 BCI 시스템의 출력값은 사용하지 않거나, 사용자의 의한 재입력을 요청하거나 단계(D5)를 수행하여, 사용자의 의도와 일치하는 BCI 시스템의 출력값을 얻을 수 있다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims

뇌파를 이용하여 사용자의 BCI 시스템 출력값에 대한 신뢰성을 개선하는 방법으로서,
제1 자가 성능 진단을 수행하는 단계;
상기 제1 자가 성능 진단의 결과를 포함하는 데이터에 기초하여 BCI 시스템의 적합여부를 판정하는 제1 예측시스템을 구성하는 단계;
상기 BCI 시스템에 적용하기 위해 사용자의 뇌파에 따른 사용자의 의도가 저장되는 분류기를 구성하는 단계;
사용자의 뇌파에 따라 BCI 시스템의 출력값을 도출하는 단계;
상기 출력값의 신뢰성을 측정하는 단계; 및
상기 출력값의 사용여부를 결정하는 단계를 포함하고,
상기 제1 자가 성능 진단은,
피실험자에게 제공한 설문에 대한 응답을 점수화한 것에 기초하여 수행되는
BCI 시스템의 신뢰성 향상 방법.
제 1 항에 있어서,
상기 BCI 시스템에서 사용자의 의도와는 다른 결과가 도출되는 경우, 제2 자가 성능 진단을 수행하는 단계 및 상기 제2 자가 성능 진단의 결과를 포함하는 데이터에 기초하여 BCI 시스템의 적합여부를 판정하는 제2 예측시스템을 구성하는 단계를 포함하는
BCI 시스템의 신뢰성 향상 방법.