KR20190067069A

KR20190067069A - Method for Enhancing Reliability of BCI System

Info

Publication number: KR20190067069A
Application number: KR1020180010241A
Authority: KR
Inventors: 전성찬; 안민규
Original assignee: 광주과학기술원; 한동대학교 산학협력단
Priority date: 2017-12-06
Filing date: 2018-01-26
Publication date: 2019-06-14
Also published as: KR102094936B1

Abstract

Disclosed is a method for improving the reliability of a BCI system. According to one embodiment of the present invention, the method for improving the reliability of a BCI system comprises the steps of: performance a first self-performance diagnosis; configuring a first predication system for determining whether the BCI system is suitable based on data including the first self-performance diagnosis; configuring a classifier in which intention of a user according to brainwave of the user is stored for application to the BCI system; deriving an output value of the BCI system according to the brainwave of the user; measuring the reliability of the output value; and determining whether to use the output value.

Description

{Method for Enhancing Reliability of BCI System}

본 발명은 BCI에 대한 것으로서, 보다 상세하게는 자가 성능 진단을 통해 BCI 사용시 사용자의 의도를 정확히 분류할 수 있는 방법에 대한 것이다. The present invention relates to a BCI, and more particularly, to a method for accurately classifying a user's intention when using BCI through self-performance diagnosis.

모터 이미지 기반의 뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI)가 점차 보편화되어 가고 있으며, 최근 수십 년 간 연구자들은 소기의 성과를 거두었으며, 의사소통, 제어, 재활, 엔터테인먼트와 같은 다양한 애플리케이션에 대한 뇌-컴퓨터 인터페이스의 실현 가능성을 입증하였다.Brain-computer interfaces (BCI) based on motor images are becoming increasingly popular. In recent decades, researchers have achieved the desired results and have found that for many applications such as communication, control, rehabilitation and entertainment Demonstrating the feasibility of a brain-computer interface.

뇌-컴퓨터 인터페이스의 이러한 발전에도 불구하고 뇌-컴퓨터 인터페이스가 공개 시장으로 나아갈 수 있기 전에 극복해야 할 장애물이 여전히 남아있다. 보고된 바에 따르면, 뇌-컴퓨터 인터페이스 사용자의 약 10% ~ 30%는 뇌-컴퓨터 인터페이스 시스템을 실행하는 데 중요한 분류 가능한 뇌 신호를 변조하지 않는 것으로 밝혀졌다. 이러한 현상을 뇌-컴퓨터 인터페이스 문맹(BCI-illiteracy)라고 한다.Despite these advances in the brain-computer interface, there are still obstacles to overcome before the brain-computer interface can move into the open market. It has been reported that about 10% to 30% of brain-computer interface users do not modulate classifiable brain signals that are crucial to the execution of brain-computer interface systems. This phenomenon is called brain-computer interface illiteracy (BCI-illiteracy).

최근 몇 년 동안 연구자들은 뇌-컴퓨터 인터페이스 문맹 퇴치 현상과 제어 패러다임, 시스템 피드백 양식, 알고리즘 및 훈련 프로토콜의 맥락에서 현재 뇌-컴퓨터 인터페이스 시스템을 개선하기 위한 기술을 연구했다.In recent years, researchers have explored techniques for improving current brain-computer interface systems in the context of brain-computer interface illiteracy and control paradigms, system feedback forms, algorithms, and training protocols.

최근 연구에 따르면, 연구자들은 이 문제를 다른 관점에서 접근해오고 있다. 하나는 "성능변화의 가장 좋은 상관관계는 무엇인가"라는 질문에 답하는 것을 목표로 한다. 그러한 연구의 목적은 다음과 같이 요약될 수 있다. 1) 낮은 성능을 보이는 사용자에게 어떠한 특징이 있는지 확인하는 것, 2) 이러한 특징이 왜 존재하는 지 확인하는 것, 3) 뇌-컴퓨터 인터페이스를 사용하기 전에 미리 상관관계를 사용하여 낮은 성능을 보이는 사용자를 분류하는 것According to recent research, researchers have been approaching this issue from a different perspective. One aims to answer the question "What is the best correlation of performance change?" The purpose of such a study can be summarized as follows. 2) to determine why these features are present; 3) to use the correlation prior to using the brain-computer interface to show low performance users To classify

성능 변화를 해결하기 위해 많은 아이디어가 제안되었다. 이러한 아이디어들은 인간의 두뇌가 자신의 경험을 반영하고, 배우며, 심지어 적응할 수 있다는 사실에 근거한다. 실제로 고전 신호 처리 방법은 이 측면을 간과하여 고정 디코더보다 더 우수한 특징 추출기 또는 분류기를 설계하는데 주력하였다.Many ideas have been proposed to address performance changes. These ideas are based on the fact that human brains can reflect, learn, and even adapt their experiences. In fact, the classical signal processing method overlooked this aspect and focused on designing a feature extractor or classifier superior to a fixed decoder.

최근에는 뇌-컴퓨터 인터페이스 시스템 설계가 사용자의 두뇌 상태를 학습하는 것과 함께 뇌-컴퓨터 인터페이스를 제어하는 방법을 배우는 과정인 동시 적응(co-adaptation) 개념을 채택하고 있다. 그러나, 이러한 성능 변화에 대한 이러한 연구들에서, 뇌의 기능은 심각하게 고려되지 않았다.Recently, the concept of co-adaptation, which is the process of learning how to control the brain-computer interface with the brain-computer interface system design, learns the user's brain state. However, in these studies of this performance change, brain function was not seriously considered.

대한민국등록특허공보 10-1553256 의 전문Korean Patent Registration No. 10-1553256

본 발명의 일 실시 예에 따른 뇌-컴퓨터 인터페이스 시스템의 신뢰성 향상을 위한 방법은 자기 성능 진단 단계를 포함하여 뇌-컴퓨터 인터페이스 시스템의 신뢰성 향상시킬 수 있는 방법을 제안한다.A method for improving the reliability of a brain-computer interface system according to an embodiment of the present invention includes a step of diagnosing a magnetic performance, thereby proposing a method for improving the reliability of a brain-computer interface system.

본 발명의 일 실시 예에 따른 뇌-컴퓨터 인터페이스 시스템의 신뢰성 향상을 위한 방법은, 제1 자가 성능 진단을 수행하는 단계, 상기 자기 성능 진단 결과를 포함하는 데이터에 기초하여 BCI 시스템의 적합여부를 판정하는 제1 예측시스템을 구성하는 단계, 상기 BCI 시스템에 적용하기 위해 사용자의 뇌파에 따른 사용자의 의도가 저장되는 분류기를 구성하는 단계, 사용자의 뇌파에 따라 BCI 시스템의 출력값을 도출하는 단계, 상기 출력값의 신뢰성을 측정하는 단계 및 상기 출력값의 사용여부를 결정하는 단계를 포함한다.A method for improving the reliability of a brain-computer interface system according to an embodiment of the present invention includes performing a first self-performance diagnosis, determining whether the BCI system is suitable based on data including the self- Constructing a first prediction system for constructing a first prediction system for constructing a first prediction system for constructing a first prediction system for constructing a first prediction system for constructing a first prediction system for generating a BCI system, And determining whether to use the output value.

본 발명의 일 실시 예에 따른 뇌-컴퓨터 인터페이스 시스템의 신뢰성 향상을 위한 방법은 자기 성능 진단 단계를 포함하여 뇌-컴퓨터 인터페이스 시스템의 신뢰성 향상시킬 수 있다.The method for improving the reliability of the brain-computer interface system according to an embodiment of the present invention can improve the reliability of the brain-computer interface system including the magnetic performance diagnosis step.

도 1은 본 발명의 일 실시 예에 따른 뇌-컴퓨터 인터페이스 시스템의 자가 성능 예측 프로세스를 나타낸다.
도 2는 특정 기준에 따라 분류된 여러 그룹의 정확도 비교를 보여준다.
도 3은 상관관계 분석 결과를 나타낸다.
도 4는 시도 횟수에 따른 각 값들의 변화를 나타낸다.
도 5는 세가지 방법의 상관관계 계수 비교를 보여준다.
도 6은 실시예에 따라 BCI 시스템의 신뢰도를 향상시키기 위한 방법을 나타내는 흐름도이다.1 shows a self-performance prediction process of a brain-computer interface system according to an embodiment of the present invention.
Figure 2 shows a comparison of the accuracy of several groups categorized according to certain criteria.
Fig. 3 shows the result of correlation analysis.
FIG. 4 shows the change of each value according to the number of attempts.
Figure 5 shows a comparison of the correlation coefficients of the three methods.
6 is a flow chart illustrating a method for improving the reliability of a BCI system according to an embodiment.

이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 그러나 본 발명의 사상은 이하의 실시예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명 사상의 범위 내에 포함된다고 할 것이다. Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings. It should be understood, however, that there is no intention to limit the invention to the embodiments described below, and that those skilled in the art, upon reading and understanding the spirit of the invention, It is to be understood that this is also included within the scope of the present invention.

첨부 도면은 발명의 사상을 이해하기 쉽게 표현하기 위하여 전체적인 구조를 설명함에 있어서는 미소한 부분은 구체적으로 표현하지 않을 수도 있고, 미소한 부분을 설명함에 있어서는 전체적인 구조는 구체적으로 반영되지 않을 수도 있다. 또한, 설치 위치 등 구체적인 부분이 다르더라도 그 작용이 동일한 경우에는 동일한 명칭을 부여함으로써, 이해의 편의를 높일 수 있도록 한다. 또한, 동일한 구성이 복수 개가 있을 때에는 어느 하나의 구성에 대해서만 설명하고 다른 구성에 대해서는 동일한 설명이 적용되는 것으로 하고 그 설명을 생략한다. The accompanying drawings are merely exemplary and are not to be construed as limiting the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Further, even if specific parts such as installation positions are different, the same names are given when the functions are the same, so that the convenience of understanding can be improved. When there are a plurality of identical configurations, only one configuration will be described, and the same description will be applied to the other configurations, and a description thereof will be omitted.

일반적으로 뇌-컴퓨터 인터페이스 시스템의 피드백 양식은 중요하게 고려된다. 마찬가지로 사용자 피드백 또한 시스템 피드백만큼 중요할 수 있다. 몇몇 연구에서 사용자의 피드백을 평가하였는데 이러한 기존의 연구들은 뇌-컴퓨터 인터페이스 성능과의 상관관계를 측정하기 위해 간접적인 방법을 사용하였으나, 피험자가 운동 심상(motor imagery) 과제를 수행하는 동안에 변수의 변화에 대하여는 조사되지 않았다.In general, the feedback form of the brain-computer interface system is considered important. Likewise, user feedback can be as important as system feedback. In some studies, user feedback was assessed. These previous studies used indirect methods to measure correlations with brain-computer interface performance. However, while the subjects performed motor imagery tasks, Were not investigated.

본 발명에서는 뇌-컴퓨터 인터페이스 시스템을 사용하기 전에 사용자의 성능을 예측하는 것이다. 바람직하게는, 사용자가 직접 성능을 예측할 수 있도록 하는 것도 포함한다. 뇌는 외부 환경에 적응할 수 있다. 이러한 뇌의 기능은 뇌-컴퓨터 인터페이스 시스템의 동시 적응 학습 알고리즘에 도입되었다. 마찬가지로, 사용자는 자신의 뇌-컴퓨터 인터페이스 성능을 직접 예측할 수 있다.The present invention predicts a user's performance before using a brain-computer interface system. Preferably, it also includes enabling the user to directly predict the performance. The brain can adapt to the external environment. These brain functions were introduced into the simultaneous adaptive learning algorithm of the brain-computer interface system. Similarly, the user can directly predict his / her brain-computer interface performance.

도 1은 본 발명의 일 실시 예에 따른 뇌-컴퓨터 인터페이스 시스템의 자가 성능 예측 프로세스를 나타낸다.1 shows a self-performance prediction process of a brain-computer interface system according to an embodiment of the present invention.

구체적으로 설명하면, 먼저 모니터 화면에 시각적인 지시가 표시된다. 각 시험 시작에 십자가가 2초 동안 나타난 다음 왼쪽 또는 오른쪽으로 향하는 텍스트가 3초동안 표시된다. 피실험자는 운동 심상 단계에서 제시된 방향에 따라 왼쪽 또는 오른쪽 움직임을 상상하도록 요청 받는다. 운동 심상 단계 직후에 십자가가 다시 2초동안 나타난다. 따라서, 각 시험의 총 시간은 7초이며, 시험간 간격은 0.1초에서 0.8초 사이에서 무작위로 설정된다. 각 시도에서 각 조건(왼쪽 또는 오른쪽)에 대해 20회 시행한 결과를 수집하였으며, 각 시도가 끝날 때마다 다음 시도를 수행할 수 있는지 여부를 묻는다. 모든 피실험자는 5분에서 6분 사이에 약 2분의 휴식시간을 갖는다.More specifically, a visual instruction is first displayed on the monitor screen. At the start of each test, a cross appears for two seconds, then left or right text is displayed for three seconds. The subject is asked to imagine left or right movement according to the direction presented in the motion image phase. Immediately after the motion image phase, the cross appears again for 2 seconds. Thus, the total time for each test is 7 seconds, and the interval between tests is randomly set between 0.1 and 0.8 seconds. For each trial, the results of 20 trials for each condition (left or right) were collected and asked if the next attempt could be performed at the end of each trial. All subjects had approximately two minutes of rest between 5 and 6 minutes.

설문지가 피실험자에게 제공된다. 피실험자는 사전 작업 질문지를 작성하고 난 뒤, 운동 심상 과제를 시작한다. 각 시도에서의 신체적, 정신적, 감정적 상태와 운동 심상 점수에 대한 피드백을 얻기 위해 각 시도의 끝에서 반복적으로 설문이 수행된다. 피실험자는 운동 심상의 쉬움 정도를 1에서 5까지 점수화하고, 분류 정확도의 예측을 50%와 100% 사이에서 점수화한다. Questionnaires are provided to the subjects. After completing the pre-work questionnaire, the subject starts the exercise image task. The questionnaire is repeated at the end of each attempt to obtain feedback on physical, mental, and emotional states and motor image scores in each attempt. The subjects scored the ease of movement image from 1 to 5 and scored the prediction accuracy of classification accuracy between 50% and 100%.

운동 심상 분류 정확도는 공통 공간 패턴(Common Spatial Pattern, CSP) 및 피셔 선형 판별 분석(Fisher Linear Discriminant Analysis, FLDA)를 사용하여 일반적인 방법으로 계산된다. 통계적으로 합당한 정확성을 위해 여러 그룹의 교육 및 시험 시도가 여러 번(예를 들어 120회 반복) 생성되며, 최종 정확성은 교차 유효성 확인 방법을 통해 얻을 수 있다. 상세한 절차는 아래와 같다.The motion image classification accuracy is calculated in a conventional manner using a Common Spatial Pattern (CSP) and a Fisher Linear Discriminant Analysis (FLDA). For statistically reasonable accuracy, multiple groups of training and testing attempts are generated several times (for example, 120 times), and the final accuracy can be obtained through cross validation methods. The detailed procedure is as follows.

먼저, 특정 주파수 밴드(예를 들어 8-30Hz) 및 시간 구간(일 세트 큐 뒤 0.4-2.4 초)으로 뇌파검사 신호를 필터링한다. 이는 뇌-컴퓨터 인터페이스의 운동 심상의 주요 특징으로 알려져 있는 알파/베타의 유익한 이벤트 관련 동기화를 포함하기 위한 것이다. First, the EEG signal is filtered with a specific frequency band (for example, 8-30 Hz) and a time interval (0.4-2.4 seconds after a set cue). This is to include the beneficial event-related synchronization of the alpha / beta, which is known as the main feature of the motion image of the brain-computer interface.

필터링된 에포크를 사용하여, 교차 유효성 검사 기술을 적용하여 분류 정확도에 대한 통계적으로 합리적인 추정치를 산출한다. 이 단계는 구체적으로 다음의 단계를 포함한다. 모든 시도는 동일한 크기의 10개 하위 집합으로 그룹화된다. 이 10개의 하위 집합은 7개의 학습 하위 집합과 3개의 하위 집합으로 구분된다. 따라서 가능한 세퍼레이션의 총 수는 120개이다. 각 세퍼레이션마다 10개의 가장 중요한 공간 필터가 공통 공간 패턴에 의해 학습 시도에서 추출된 다음, 피셔 선형 판별 분석을 통한 클래스 세퍼레이션 라인이 생성된다. 이렇게 획득한 10개의 공간 필터와 세퍼레이션 라인을 해당 테스트 시도에 적용하여 correct rate(정확한 에포크 수를 전체 에포크 수로 나눈 값)을 추정한다. 이러한 절차는 다른 세퍼레이션을 위해 반복된다. 마지막으로 모든 correct rate의 평균값을 구하고, 구해진 평균값을 운동 심상 분류 정확도로 정의한다.Using filtered epochs, cross-validation techniques are applied to produce statistically reasonable estimates of classification accuracy. This step specifically includes the following steps. All attempts are grouped into ten subsets of the same size. These 10 subsets are divided into 7 learning subsets and 3 subsets. Therefore, the total number of possible separations is 120. The 10 most important spatial filters for each separation are extracted from the learning attempt by a common spatial pattern, and then a class separation line is generated through the Fisher's linear discriminant analysis. The 10 spatial filters and separation lines thus obtained are applied to the test attempt to estimate the correct rate (the number of correct epochs divided by the total number of epochs). This procedure is repeated for other separations. Finally, the mean value of all correct rates is obtained, and the obtained mean value is defined as the motion image classification accuracy.

도 2는 특정 기준에 따라 분류된 여러 그룹의 정확도 비교를 보여준다.Figure 2 shows a comparison of the accuracy of several groups categorized according to certain criteria.

(a) ~ (e)는 성별, 연령, 커피, 알코올 및 담배에 따라 분류된 그룹의 정확도 비교를 보여준다. 육체 및 정신 상태의 상관관계 분석에서 (f)에서 보듯이 항목 중 어느 것도 서로 높은 상관계가 있었으나, 분류 정확도와 유의미한 상관관계가 없었다.(a) to (e) show a comparison of the accuracy of groups classified by gender, age, coffee, alcohol and tobacco. In the correlation analysis of physical and mental states, as shown in (f), none of the items had a high correlation with each other, but there was no significant correlation with classification accuracy.

도 3은 상관관계 분석 결과를 나타낸다.Fig. 3 shows the result of correlation analysis.

대부분의 측정은 분류 정확도와 양의 상관관계가 있었으나, 이 상관관계의 정도(강도)는 측정에 의존하여 변화하였다. 이러한 결과를 토대로 테스크를 진행하는 동안 피실험자는 어느 정도 운동 심상의 숙달 정도를 더 정확하게 예측할 수 있다고 추론된다.Most of the measurements had a positive correlation with classification accuracy, but the degree (intensity) of this correlation varied depending on the measurement. Based on these results, it can be deduced that the subject can predict the degree of mastery of the motion image more accurately during the course of the task.

도 4는 시도 횟수에 따른 각 값들의 변화를 나타낸다.FIG. 4 shows the change of each value according to the number of attempts.

(A)는 피실험자들이 사전 과제에서부터 5번째 과제에 이르기까지 각 테스크에 참여할 때 자기 예측이 어떻게 변화하는지를 보여준다. 상관관계 계수의 증가 경향은 명확하게 관찰되었으며, (B)에서 사전 과제 기대치(r=0.03)에서 제1 기대치 값(r=0.23) 및 제2 기대치 값(r=0.54)로 크게 뛰었음을 확인할 수 있다.(A) shows how self-forecasting changes as subjects participate in each task from pre-task to task 5. The increasing tendency of the correlation coefficient was clearly observed and in (B), it was confirmed that the first expectation value (r = 0.23) and the second expectation value (r = 0.54) .

마찬가지로 (C)와 같이 오류값(Root Mean Square Error)은 사전 테스크에서 3회 실행까지 급격히 감소한 다음 약간 변동한 것을 확인할 수 있다. Similarly, as shown in (C), the error value (Root Mean Square Error) sharply decreases from the previous task to three runs, and then slightly changed.

도 5는 세가지 방법의 상관관계 계수 비교를 보여준다.Figure 5 shows a comparison of the correlation coefficients of the three methods.

도 5에 도시된 바와 같이, 자기 예측이 기존의 예측자와 비교할만함을 알 수 있다. 또한, 본 발명에서 제시하는 자기 예측의 경우 시스템 설치 또는 복잡한 두뇌 이미징을 위한 긴 준비가 필요 없기 때문에 뇌-컴퓨터 인터페이스 성능을 쉽고 빠르게 예측할 수 있다.As shown in FIG. 5, it can be seen that the magnetic prediction is comparable to the existing predictor. In addition, the magnetic prediction presented in the present invention can predict the brain-computer interface performance easily and quickly since there is no need for system installation or long preparation for complicated brain imaging.

도 6은 실시예에 따라 BCI 시스템의 신뢰도를 향상시키기 위한 방법을 나타내는 흐름도이다.6 is a flow chart illustrating a method for improving the reliability of a BCI system according to an embodiment.

도 6를 참조하면, 실시예에 따른 BCI 시스템의 신뢰성 향상 방법은 크게 두가지 단계로 구성될 수 있으며, 이는 예측시스템을 구성하여 사용자가 BCI 시스템에 적합한지의 여부를 판단하는 S1 내지 S4 단계와, 상기 S1 내지 S4 단계를 통해 특징점을 갖는 뇌파를 발생하는 사용자에 대해 학습단계를 수행하고, 실제 사용단계에서 BCI 시스템 출력값에 대한 신뢰도를 측정하는 D1 내지 D5의 단계로 이루어질 수 있다. Referring to FIG. 6, the method for improving the reliability of the BCI system according to the embodiment can be composed of two steps, S1 to S4 for determining whether the user is suitable for the BCI system by constructing a prediction system, Steps D1 to D5 may be performed to perform a learning step for a user generating EEG having feature points through steps S1 to S4 and to measure the reliability of the BCI system output value in an actual use step.

실시예에 따른 BCI 시스템의 신뢰성 향상 방법을 구체적으로 설명한다. 본 발명의 일 실시 예에 따른 BCI 시스템은 예측시스템 구성을 위한 자가 성능 진단을 수행한다(S1). 자가 성능 진단은 상술한 바와 같이 피실험자에게 제공한 설문지에 대한 응답을 획득하고 이를 점수화한 것에 기초하여 수행할 수 있다.A method for improving the reliability of the BCI system according to the embodiment will be described in detail. The BCI system according to an embodiment of the present invention performs a self-performance diagnosis for a prediction system configuration (S1). The self-performance diagnosis can be performed on the basis of obtaining a response to the questionnaire provided to the subject and scoring it as described above.

BCI 시스템은 BCI의 적합 여부를 판정하는 예측시스템을 구성한다(S2). 예측시스템은 기존의 예측시스템 구성을 위한 신경생리 데이터, 심리적 데이터 및 해부학적 데이터뿐 아니라, S1 단계에서 획득한 자가 성능 진단 데이터를 포함하여 구성될 수 있다.The BCI system constitutes a prediction system for judging whether the BCI is suitable (S2). The prediction system can be configured to include the neural physiological data, psychological data, and anatomical data for the existing prediction system configuration, as well as the self-performance diagnostic data obtained in step S1.

이는, 실제 BCI 시스템을 사용하지 않고 뇌파를 측정함으로써 이루어지는 단계이며, 사용자의 BCI 시스템에 대한 잠재적인 성능을 확인하여 사용자에게 적합한 BCI 시스템을 선택하기 위한 과정이다. This is a step that is performed by measuring the EEG without using the actual BCI system, and is a process for selecting the BCI system suitable for the user by confirming the potential performance of the user's BCI system.

예측시스템의 성능은 사용자의 뇌파 중에서 알파파와 쎄타파의 상관관계를 통해 도출될 수 있으며, 알파파 또는 쎄타파가 발생되는 상대적인 양을 토대로 하여 비교적 알파파가 높고 쎄타파가 낮게 나타나는 사용자에 대해 BCI 시스템에 적합한 것으로 판단할 수 있다. The performance of the prediction system can be derived from the correlation between the alpha waves and theta waves in the user's brain waves and the users with relatively high alpha waves and low theta waves based on the relative amounts of alpha waves or theta waves, It can be judged to be suitable for the system.

그리고, 상기 예측시스템을 통해 뚜렷한 뇌파가 발생되지 않는 사용자에 대해서는 바이오피드백과 같은 뇌파신호 유발 연습을 통해 뇌파 발생 훈련을 실시하는 단계(S3)를 수행하여 BCI 시스템에서 적합한 출력값이 나올 수 있도록 적응시키는 과정을 수행할 수 있다. 또한, 뇌파의 속성이 전혀 다를 경우 사용자에 적합한 명령 패러다임을 갖는 다른 BCI 시스템을 선택하여 이를 적용하는 단계(S4)를 수행할 수 있다.For a user who does not generate a clear EEG through the prediction system, an EEG training exercise is performed through EEG induction exercises such as biofeedback (S3), so that a suitable output value can be obtained in a BCI system Process can be performed. In addition, if the EEG characteristics are completely different, a different BCI system having a command paradigm suitable for the user may be selected and applied (S4).

이어서, 상기 S1 내지 S4 단계를 통해 BCI 시스템에서 분석될 수 있는 뚜렷한 뇌파를 발생하는 사용자에 대해 사용자의 뇌파를 분석하여 사용자에게 최적화된 분류기를 만든다(D1). 분류기는 만드는 단계는 학습 단계와 사용 단계로 구분될 수 있다. 사용자의 뇌파는 함수에 의해 디코딩되어 사용자의 뇌파에 따른 출력값(y, 사용자의 의도)이 저장될 수 있다. Next, the user's brain wave is analyzed for a user generating a distinct brain wave that can be analyzed in the BCI system through steps S1 through S4, thereby creating a classifier optimized for the user (D1). The classifier can be divided into a learning phase and a use phase. The user's brain wave is decoded by the function and the output value (y, user's intention) according to the user's brain wave can be stored.

이어서, 상기 분류기를 통해 사용자의 실제 뇌파를 측정하는 사용단계를 수행할 수 있다. 사용단계에서의 사용자 뇌파는 함수에 의해 디코딩되어 사용자의 뇌파에 따른 출력값(y', 사용자의 의도)을 도출할 수 있다(D2). D2 단계는 사용자가 실제적으로 BCI 시스템을 사용하면서 출력값을 나타내는 단계이며, 사용단계에서는 사용자의 정신 상태에 따라 뇌파의 속성이 가변되며, 이에 따라 사용자의 의도(y')는 학습단계에서 입력된 사용자의 의도(y)와는 다르게 나타날 수 있다. Then, a use step of measuring a user's actual brain wave through the classifier may be performed. The user's brain wave in the use phase is decoded by the function, and the output value (y ', user's intention) according to the user's brain wave can be derived (D2). In step D2, the user actually uses the BCI system to represent the output value. In the use phase, the property of the brain wave is varied according to the mental state of the user. Accordingly, the user's intention (y ' May be different from intention (y) of FIG.

그리고, 생성된 분류기에 따라 BCI 시스템의 성능이 낮다고 판단되는 경우, BCI 시스템은 추가적인 자가 성능 진단을 수행한다(D3). 여기에서 수행되는 자가 성능 진단은 상술한 S1 단계와 같이 설문지를 통해 사용자로부터 응답을 수신하고, 이를 점수화한 것에 기초하여 수행될 수 있다.If it is determined that the performance of the BCI system is low according to the generated classifier, the BCI system performs additional self-performance diagnosis (D3). The self-performance diagnosis performed here may be performed based on receiving a response from the user through the questionnaire and scoring it, as in step S1 described above.

본 발명의 일 실시 예에 따른 BCI 시스템은 D3 단계에서의 자가 성능 진단 결과를 반영하여 BCI 시스템의 출력값 신뢰성 판정을 위한 새로운 예측시스템을 구성한다(D4). 이 단계에서 새로운 예측시스템을 통한 사용자의 의도(y')에 대한 신뢰도가 높게 측정되는 경우에 BCI 시스템에서 이를 출력값으로 표시하게 된다. The BCI system according to an embodiment of the present invention constructs a new prediction system for determining the reliability of the output value of the BCI system by reflecting the self-performance diagnosis result at the step D3 (D4). In this stage, when the reliability of the user's intention (y ') through the new prediction system is measured to be high, the BCI system displays it as an output value.

그러나, BCI 시스템에서 사용자의 의도와는 다른 결과가 도출되는 신뢰도가 낮은 상태로 판정되면, 사용자의 정신적인 상태가 불안정하여 분류기가 분석할 수 있을 정도의 뚜렷한 특징을 나타내고 있지 않은 것으로 판단할 수 있다. 사용자의 이러한 상태가 발견되면, 신뢰도가 낮을 경우 나타나는 BCI 시스템의 출력값은 사용하지 않거나, 사용자의 의한 재입력을 요청하거나 단계(D5)를 수행하여, 사용자의 의도와 일치하는 BCI 시스템의 출력값을 얻을 수 있다.However, if the BCI system is judged to have low reliability, which is different from the intention of the user, it can be judged that the mental state of the user is unstable and does not show a distinct characteristic that the classifier can analyze . If such a state of the user is found, the output value of the BCI system which appears when the reliability is low is not used, or the user re-input is requested or the step D5 is performed to obtain the output value of the BCI system matching the user's intention .

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. The present invention described above can be embodied as computer-readable codes on a medium on which a program is recorded. The computer readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of the computer readable medium include a hard disk drive (HDD), a solid state disk (SSD), a silicon disk drive (SDD), a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, , And may also be implemented in the form of a carrier wave (e.g., transmission over the Internet).

따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.Accordingly, the above description should not be construed in a limiting sense in all respects and should be considered illustrative. The scope of the present invention should be determined by rational interpretation of the appended claims, and all changes within the scope of equivalents of the present invention are included in the scope of the present invention.

Claims

A method for improving reliability of a user's BCI system output value using brain waves,
Performing performance diagnosis by a first person;
Constructing a first prediction system for determining whether the BCI system is suitable based on data including the magnetic performance diagnosis result;
Configuring a classifier in which a user's intention according to a user's brain wave is stored for application to the BCI system;
Deriving an output value of the BCI system according to a user's brain wave;
Measuring reliability of the output value; And
Determining whether to use the output value
How to Improve the Reliability of BCI System.

The method according to claim 1,
Performing a second magnetic performance diagnosis when a result different from the intention of the user is derived in the BCI system and determining whether the BCI system is suitable based on the data including the second magnetic performance diagnosis result, Comprising the step of constructing a prediction system
How to Improve the Reliability of BCI System.