KR100546770B1 - Method for discriminating yes/no decision of human being based on spatio-temporal relationship of brain waves - Google Patents

Method for discriminating yes/no decision of human being based on spatio-temporal relationship of brain waves Download PDF

Info

Publication number
KR100546770B1
KR100546770B1 KR1020010051001A KR20010051001A KR100546770B1 KR 100546770 B1 KR100546770 B1 KR 100546770B1 KR 1020010051001 A KR1020010051001 A KR 1020010051001A KR 20010051001 A KR20010051001 A KR 20010051001A KR 100546770 B1 KR100546770 B1 KR 100546770B1
Authority
KR
South Korea
Prior art keywords
cognitive
negative
brain waves
affirmation
subject
Prior art date
Application number
KR1020010051001A
Other languages
Korean (ko)
Other versions
KR20030016921A (en
Inventor
김민준
신승철
송윤선
유창수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020010051001A priority Critical patent/KR100546770B1/en
Publication of KR20030016921A publication Critical patent/KR20030016921A/en
Application granted granted Critical
Publication of KR100546770B1 publication Critical patent/KR100546770B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

본 발명은 컴퓨터 인터페이스를 위해 뇌파의 시공간적 상호관계를 분석하여 사람의 긍정 또는 부정의 의사를 알아내는 방법에 대한 것으로, 상기 방법은 (a) 적어도 두 곳 이상으로부터 피검자의 뇌파를 측정하는 단계; (b) 상기 뇌파에 혼입되어 있는 잡파를 제거하는 단계; (c) 상기 피검자가 인지적 긍정/부정의 의사 결정을 내렸는지 여부를 판별하는 단계; (d) 상기 피검자가 인지적 긍정/부정의 의사 결정을 내린 경우, 상기 뇌파의 시공간적 특징을 나타내는 동기율(synchronization rate), 편향성(polarity) 평균, 편향성 요동폭, 상호상관도(cross-correlation), 및 정규화된 상호상관도(normalized cross-correlation) 변수를 계산하는 단계; 및 (e) 이미 학습이 되어 있는 인공신경회로망에 상기 (d) 단계에서 계산된 변수들을 입력하여 사용자의 인지적 긍정/부정 의사를 분별하는 단계를 포함한다.The present invention relates to a method of determining the intention of human positive or negative by analyzing the temporal and spatial correlation of brain waves for a computer interface, the method comprising the steps of (a) measuring the brain waves of the subject from at least two places; (b) removing the honhap mixed in the brain waves; (c) determining whether the subject has made a cognitive affirmative / negative decision; (d) when the subject makes a cognitive affirmative / negative decision, a synchronization rate, a polarity mean, a deflection fluctuation width, and cross-correlation representing the spatiotemporal characteristics of the brain waves. Computing a normalized cross-correlation variable; And (e) inputting the variables calculated in step (d) to an artificial neural network that has already been learned to discriminate the cognitive affirmation / negative intention of the user.

Description

뇌파의 시공간적 상호관계를 이용한 인지적 긍정/부정 의사 분별 방법{Method for discriminating yes/no decision of human being based on spatio-temporal relationship of brain waves}Method for discriminating yes / no decision of human being based on spatio-temporal relationship of brain waves}

도 1은 본 발명에 따른 사용자의 인지적 긍정/부정 의사의 분별을 위해 두 지점에서 측정된 뇌파의 일례를 보여주는 도면이다.1 is a view showing an example of the EEG measured at two points for the discrimination of the cognitive affirmation / denial of the user according to the present invention.

도 2는 본 발명에 따른 사용자의 인지적 긍정/부정 의사의 분별을 위해 세 지점 이상에서 측정된 뇌파의 일례를 보여주는 도면이다.2 is a view showing an example of the EEG measured at three or more points for the discrimination of the cognitive affirmation / denial of the user according to the present invention.

도 3은 본 발명의 바람직한 실시예에 따른 인지적 긍정/부정 의사의 분별 방법을 보여주는 흐름도이다.3 is a flowchart illustrating a method of discriminating a cognitive affirmative / negative doctor according to a preferred embodiment of the present invention.

도 4는 도 3에 도시된 뇌파의 시공간적 상호관계의 계산 및 특징 검출 단계에 대한 상세 흐름도이다.FIG. 4 is a detailed flowchart of the calculation and feature detection step of the spatiotemporal correlation of the brain waves shown in FIG. 3.

도 5는 도 3에 도시된 사용자의 긍정/부정 의사 분별 단계에 사용되는 인공신경회로망을 보여주는 도면이다.FIG. 5 is a diagram illustrating an artificial neural network used in the affirmative / negative pseudo-discrimination step of the user illustrated in FIG. 3.

도 6은 본 발명에 따른 사용자의 인지적 긍정/부정 의사의 분별 방법을 컴퓨터 인터페이스에 이진 트리 형식으로 적용한 일례를 보여주는 흐름도이다.6 is a flowchart illustrating an example of applying a user's cognitive affirmation / denial pseudo discrimination method in a binary tree format to a computer interface.

본 발명은 생체신호를 이용한 기기 조작 및 컴퓨터 인터페이스(Human Computer Interface: HCI)에 관한 것으로, 특히 뇌파(brain wave)를 이용하는 컴퓨터 인터페이스(Brain Computer Interface: BCI)에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to device manipulation and computer interface (HCI) using biosignals, and more particularly, to a computer interface (BCI) using brain waves.

생체신호를 이용한 기기 조작 기술 또는 생체신호 기반 컴퓨터 인터페이스 기술 등은, 장애자를 위한 인터페이스 기술로서 현재 활발히 연구되어 오고 있다. 그리고, 이와 같은 기술은 향후 키보드, 마우스, 음성인식의 뒤를 잇는 새로운 컴퓨터 인터페이스 기술로 발전할 가능성이 높다. 특히, 뇌파를 이용하는 컴퓨터 인터페이스 기술은 사람의 생각을 읽을 수 있다는 측면에서 기술의 파급효과가 매우 클 것으로 전망된다.Device manipulation technology using bio-signals or bio-signal-based computer interface technologies have been actively studied as interface technologies for the handicapped. In addition, such a technology is likely to evolve into a new computer interface technology that follows keyboard, mouse, and voice recognition in the future. In particular, computer interface technology using brain waves is expected to have a great ripple effect in terms of reading human thoughts.

컴퓨터 인터페이스 용도로 연구되고 있는 생체신호로는 뇌파(EEG), 안전도(EOG), 근전도(EMG) 등이 있다. 현재까지 연구 개발되어 있는 생체신호를 이용한 인터페이스 기술은 미리 정해진 약속에 따라 의도적으로 생체신호를 발생시켜 신호를 전달하는 방식을 주로 사용하고 있다. 예를 들면, 어떤 기능을 활성화시키기 위해 그 기능을 나타내는 아이콘을 계속 주시한다든지, 커서가 원하는 아이콘 위에 위치했을 때 눈을 깜박이거나 이를 다무는 등, 사람의 의사와 직접적으로 관련이 없는 의도적인 행동을 함으로써 원하는 기능을 수행하는 방식이 사용되고 있다. Biosignals being studied for computer interfaces include EEG, EEG, and EMG. The interface technology using biosignals, which has been researched and developed to date, mainly uses a method of intentionally generating a biosignal and delivering a signal according to a predetermined promise. Intentional behavior that is not directly related to a person's wishes, for example, to keep an eye on the icon representing a function to activate a function or to blink or close the eye when the cursor is over the desired icon. By doing so, a method of performing a desired function is used.

그러나, 이러한 생체신호 관련 기기조작 방법은 사람의 의사와 직접적인 관련이 없는 임의의 약속에 의해 인위적으로 발생되는 생체 신호를 이용하기 때문에, 사용자는 항상 인위적인 행위를 염두에 두고 있어야 하며, 또한 장치의 원활한 사용을 위해서는 일정 수준의 훈련이 필요한 문제점을 가지고 있다. 따라서, 이와 같은 방식은 일반인이 범용으로 사용하기 어려운 문제점을 가지고 있다.However, since the method of operating a biosignal-related device uses a biosignal artificially generated by an appointment that is not directly related to the human intention, the user should always keep in mind the artificial behavior and also There is a problem that requires a certain level of training for use. Therefore, such a method has a problem that is difficult for the general public to use.

그 이외의 뇌파 관련 컴퓨터 인터페이스 기술로는, 수면, 마취상태 등과 같은 특수한 상황의 뇌파를 감지하여 이용하는 장치와, 대한민국 특허 등록번호 제 10-0291596에 개시된 방법과 같이 사용자의 감성 상태를 판단, 대응하는 장치가 있고, 1997년 7월 15일, Smyth에 의해 취득된 미국특허 제5,649,061호, "DEVICE AND METHOD FOR ESTIMATING A MENTAL DECISION"에 개시된 방법과 같이 특정 상황을 반복해서 발생시켜 얻은 뇌파의 유발전위(Event Related Potential: ERP)를 이용하는 장치 등이 있다. Other EEG-related computer interface technologies include a device for detecting and using EEG in a special situation such as sleep and anesthesia, and determining and responding to a user's emotional state as in the method disclosed in Korean Patent Registration No. 10-0291596. EEG potential of the EEG obtained by repeating a specific situation, such as the method described in US Patent No. 5,649,061, entitled "DEVICE AND METHOD FOR ESTIMATING A MENTAL DECISION," issued July 15, 1997, obtained by Smyth. Event Related Potential (ERP).

그러나, 수면, 마취 상태 등과 같은 특수한 상황의 뇌파를 감지하는 장치는, 사람이 활동하고 있는 상황에서 수행되는 다양한 형태의 명령을 처리할 수 없기 때문에, 컴퓨터 인터페이스에 직접 적용하기에는 무리가 따른다. 그리고, 대한민국 특허 등록번호 제 10-0291596호에 개시된 방법은 좋아함(like), 싫어함(dislike)과 같은 사용자의 감성적 긍정/부정 상태를 판단하기 때문에, 맞다(yes), 틀리다(no)와 같은 인지적 긍정/부정 상태의 판단이 필요한 여러 가지 상황에 다양하게 적용하기 힘든 단점이 있다. 그리고, 위에서 언급된 기술들은 복잡한 작업을 거쳐 수행되기 때문에 실시간으로 처리하기 힘들다는 단점이 있다. 특히, 미합중국 특허 제5,649,061호와 같이 유발전위를 이용하는 방법은, 머리의 움직임과 각도의 측정에 의한 시선 추적 및 뇌파 측정을 통한 유발 전위의 발생이 필수적으로 요구되므 로, 현재의 기술로는 이를 실시간에 처리할 수 없는 문제점이 있다. However, devices for detecting brain waves in special situations, such as sleep and anesthesia, cannot handle various types of commands performed in a situation in which a person is active, which makes it difficult to apply them directly to a computer interface. In addition, since the method disclosed in Korean Patent Registration No. 10-0291596 determines a user's emotional positive / negative state such as like or dislike, it is recognized as yes or wrong. There is a drawback that it is difficult to apply variously to various situations that require judgment of enemy positive / negative status. In addition, the above-mentioned techniques are difficult to process in real time because they are performed through complex tasks. In particular, the method using the induced potential, such as U.S. Patent No. 5,649,061, requires the generation of induced potential through eye tracking and EEG measurement by measuring head movement and angle. There is a problem that cannot be handled.

본 발명이 이루고자 하는 기술적 과제는, 의도적인 생체신호의 발생 없이 사람의 인지적 긍정/부정 의사를 실시간으로 분별할 수 있는 방법을 제공하는데 있다.An object of the present invention is to provide a method for real-time discrimination of human cognitive affirmation / negative intention without generating intentional biosignal.

상기의 과제를 이루기 위하여 본 발명에 의한 뇌파의 시공간적 상호관계를 이용한 인지적 긍정/부정 의사의 분별 방법은, (a) 적어도 두 곳 이상으로부터 피검자의 뇌파를 측정하는 단계; (b) 상기 뇌파에 혼입되어 있는 잡파를 제거하는 단계; (c) 상기 피검자가 인지적 긍정/부정의 의사 결정을 내렸는지 여부를 판별하는 단계; (d) 상기 피검자가 인지적 긍정/부정의 의사 결정을 내린 경우, 상기 뇌파의 시공간적 특징을 나타내는 동기율(synchronization rate), 편향성(polarity) 평균, 편향성 요동폭, 상호상관도(cross-correlation), 및 정규화된 상호상관도(normalized cross-correlation) 변수를 계산하는 단계; 및 (e) 이미 학습이 되어 있는 인공신경회로망에 상기 (d) 단계에서 계산된 변수들을 입력하여 사용자의 인지적 긍정/부정 의사를 분별하는 단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, the cognitive affirmative / negative doctor's classification method using the spatiotemporal correlation of brain waves according to the present invention comprises the steps of: (a) measuring the brain waves of the subject from at least two places; (b) removing the honhap mixed in the brain waves; (c) determining whether the subject has made a cognitive affirmative / negative decision; (d) when the subject makes a cognitive affirmative / negative decision, a synchronization rate, a polarity mean, a deflection fluctuation width, and cross-correlation representing the spatiotemporal characteristics of the brain waves. Computing a normalized cross-correlation variable; And (e) inputting the variables calculated in step (d) to an artificial neural network that has already been learned to discriminate the cognitive affirmation / negative intention of the user.

상기의 과제를 이루기 위하여 본 발명에 의한 컴퓨터와의 인터페이스 방법은, (a) 사용자에게 인지적 긍정/부정 의사를 필요로 하는 질문을 제기하는 단계; (b) 상기 사용자로부터 취득된 뇌파의 시공간적 상호관계를 나타내는 적어도 둘 이상의 변수를 계산하고, 계산된 상기 변수를 이미 학습이 되어 있는 인공신경회로망에 입력하여 상기 사용자의 인지적 긍정/부정 의사를 분별하는 단계; (c) 상기 분별된 결과에 의해 소정의 기능이 선택될 때까지 상기 (a) 및 상기 (b) 단계를 반복하여 수행하는 단계; 및 (d) 상기 (b) 또는 상기 (c) 단계의 수행 결과, 상기 소정의 기능이 선택되면 선택된 상기 기능을 실행하는 단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, the present invention provides a method for interfacing with a computer, the method comprising: (a) asking a user a question requiring cognitive affirmation / denial; (b) calculating at least two or more variables indicative of the spatiotemporal interrelationships of the brain waves acquired from the user, and inputting the calculated variables into an already learned artificial neural network to discern the cognitive affirmation / negative intention of the user Doing; (c) repeating steps (a) and (b) until a predetermined function is selected based on the classified result; And (d) executing the selected function when the predetermined function is selected as a result of performing the step (b) or (c).

이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the present invention.

도 1은 본 발명에 따른 사용자의 인지적인 긍정/부정 의사의 분별을 위해 두 지점에서 측정된 뇌파의 일례를 보여주는 도면이다. 도 1을 참조하면, 본 발명에 따른 뇌파의 측정은 주로 머리(1)의 좌우 앞부분(예를 들면, 국제 전극 배치법에서 Fp1과 Fp2, 또는 F3과 F4 지점)을 포함하는 적어도 두 곳 이상에서 수행된다. 측정 위치에는 뇌파 측정 센서(11, 12, 13)(예를 들면, cup electrode)가 놓여지고, 이 센서(11, 12, 13)를 통해 입력된 뇌파 신호는 증폭기(18, 19)를 통해 소정의 비율로 증폭되어 기록된다. 이와 같은 뇌파의 측정 부위와 측정 전극 수는 적용하는 장치의 용도에 따라서 조절 가능하다. 1 is a view showing an example of EEG measured at two points for the discrimination of the cognitive affirmation / denial of the user according to the present invention. Referring to FIG. 1, the measurement of the EEG according to the present invention is mainly performed at least two places including the left and right front portions of the head 1 (for example, Fp1 and Fp2 or F3 and F4 points in the international electrode placement method). do. EEG measuring sensors 11, 12 and 13 (e.g., cup electrodes) are placed at the measurement positions, and the EEG signals input through the sensors 11, 12 and 13 are predetermined through the amplifiers 18 and 19. Amplified at the ratio of and recorded. The measurement site of the EEG and the number of measurement electrodes can be adjusted according to the use of the apparatus to be applied.

아래에서 상세히 설명하겠지만, 뇌파측정시에는 안전도(EOG), 근전도(EMG), 심전도(ECG) 등 사람의 의사와 관련 없는 생체신호와, 기계적, 전기적인 잡음(noise)이 뇌파와 함께 혼입되어 들어오기 때문에, 이와 같은 잡파들이 소정의 과정을 거쳐 제거된다. 이와 같은 잡파의 제거 후, 두 뇌파 신호(s1, s2)의 시공간적 특징을 나타낼 수 있는 변수인 동기율(synchronization rate), 편향성(polarity) 평균, 편향성 요동폭, 상호상관도(cross-correlation), 정규화된 상호상관도(normalized cross-correlation)가 각각 계산되고, 뇌파의 시공간적 특징을 나타내는 변수를 기초로 하여 사용자의 인지적 긍정/부정 의사가 분별된다. As will be described in detail below, the EEG, electrocardiogram (ECG), electrocardiogram (ECG), and other biological signals unrelated to human intention, and mechanical and electrical noise are mixed with EEG. As it comes in, such miscellaneous waves are removed through a predetermined process. After the removal of such crosstalks, variables such as synchronization rate, polarity mean, deflection fluctuation width, cross-correlation, and the like that may represent the spatiotemporal characteristics of the two EEG signals s1 and s2, Normalized cross-correlation is calculated for each, and the user's cognitive affirmation / negative intention is discriminated based on variables representing the temporal and temporal characteristics of the EEG.

도 2는 본 발명에 따른 사용자의 긍정/부정 의사의 분별을 위해 3개 지점 이 상에서 측정된 뇌파(s1, s2, s3, …, sz)의 일례를 보여주는 도면이다. 본 발명에 따른 사용자의 긍정/부정 의사 분별 방법에서는, 예를 들어 3 개의 뇌파 신호(s1, s2, s3)가 취득된 경우, 3개의 신호(s1, s2, s3)로 구성할 수 있는, (s1, s2), (s1, s3), (s2, s3)의 세 개의 데이터 쌍에 대한 동기율, 편향성 평균, 편향성 요동폭, 상호상관도, 정규화된 상호상관도를 각각 계산한다. 그 결과, 세 신호(s1, s2, s3)가 가지고 있는 뇌파의 시공간적 특징이 추출되어, 사용자의 인지적 긍정/부정 의사가 분별된다. 2 is a view showing an example of the EEG (s1, s2, s3, ..., sz) measured more than three points for the discrimination of affirmative / negative doctors of the user according to the present invention. In the positive / negative pseudo-classification method of the user according to the present invention, for example, when three brain wave signals s1, s2, s3 are acquired, three signals s1, s2, s3 can be configured. The synchronization rate, bias average, deflection fluctuation width, cross-correlation, and normalized cross-correlation for three data pairs s1, s2), (s1, s3), and (s2, s3) are calculated, respectively. As a result, the spatiotemporal characteristics of the brain waves of the three signals s1, s2, and s3 are extracted, and the user's cognitive affirmation / negative intention is discriminated.

도 3은 본 발명의 바람직한 실시예에 따른 인지적 긍정/부정 의사의 분별 방법을 보여주는 흐름도이다. 도 3을 참조하면, 본 발명에 따른 인지적 긍정/부정 의사의 분별 방법은, 먼저 도 1 및 도 2에 도시된 바와 같이 사람의 뇌파를 측정한다(10 단계). 뇌파가 측정되면, 측정된 뇌파 신호에 포함된 잡파를 제거한다(20 단계). 여기서, 잡파 제거란, 뇌파 측정시 혼입되어 들어오는 안전도(EOG), 근전도(EMG), 심전도(ECG) 등 사람의 의사와 관련 없는 생체신호와, 기계적, 전기적인 잡음(noise)을 제거하는 과정으로서, 측정된 신호 중 뇌파 신호 이외의 불필요한 신호는 모두 제거되어, 순수한 뇌파 신호만 남게 된다. 이와 같이 잡파가 제거된 후에는, 사용자가 인지적 긍정/부정에 관한 의사를 결정했는지 여부가 판별된다(30 단계). 판별 결과, 만약 사용자가 인지적 긍정/부정에 관한 의사를 결정하지 않았으면 뇌파의 측정이 계속해서 수행된다. 그리고, 만약 사용자가 인지적 긍정/부정에 관한 의사를 결정했으면 상기 의사의 긍정/부정 여부를 분별하기 위한 뇌파의 시공간적 상호관계 계산 및 특징 추출이 수행된다(40 단계). 아래에서 상세히 설명되겠지만, 뇌파 신호의 동기율, 편향성 평균, 편향성 요동폭, 상호상관도, 정규화된 상호상관도의 계산에 의해 뇌파의 시공간적 특징이 추출되며, 취득된 뇌파의 개수에 따라서 계산되는 각 변수의 개수가 달라질 수 있다. 상기와 같은 변수들의 계산에 의해 뇌파의 시공간적 특징이 추출되면, 추출된 특징을 바탕으로 사용자가 긍정의 의사를 결정했는지 부정의 의사를 결정했는지 여부가 분별된다(50 단계). 추출된 뇌파의 시공간적 특징을 이용해서 사용자의 인지적인 긍정/부정의 의사를 분별하는 방법으로는, 선형결정함수, 신경회로망 등과 같은 분별 방법이 사용된다. 3 is a flowchart illustrating a method of discriminating a cognitive affirmative / negative doctor according to a preferred embodiment of the present invention. Referring to FIG. 3, in the cognitive affirmation / negative doctor's classification method, first, the human brain wave is measured as shown in FIGS. 1 and 2 (10). When the EEG is measured, the harmonics included in the measured EEG signal are removed (step 20). Here, the noise removal is a process of removing biological signals, mechanical, and electrical noise that are not related to human intention, such as safety (EOG), electromyography (EMG), and electrocardiogram (ECG), which are mixed when measuring EEG. As a result, all unnecessary signals other than the EEG signal are removed from the measured signals, leaving only the pure EEG signal. After the harmonics are removed in this manner, it is determined whether the user has made a decision about cognitive affirmation / denial (step 30). As a result of the determination, if the user has not made a decision about cognitive affirmation / negation, the measurement of the EEG continues. If the user determines a decision regarding cognitive affirmation / negation, the brain-space time-space correlation calculation and feature extraction are performed to discriminate whether the doctor is positive or negative (step 40). As will be described in detail below, the spatiotemporal characteristics of EEG are extracted by calculation of the EEG signal's synchronization rate, deflection mean, deflection fluctuation width, cross-correlation, and normalized cross-correlation, and are calculated according to the number of acquired EEG. The number of variables can vary. When the spatiotemporal feature of the EEG is extracted by the calculation of the variables as described above, it is discriminated based on the extracted feature whether the user has determined the positive intention or the negative intention (step 50). A classification method such as a linear decision function, a neural network, or the like is used as a method of discriminating a user's cognitive affirmation / negative intention using the spatiotemporal characteristics of the extracted brain waves.

도 4는 도 3에 도시된 뇌파의 시공간적 상호관계의 계산 및 특징 검출 단계(40 단계)에 대한 상세 흐름도이다. 도 4를 참조하면, 상기 단계(40 단계) 에서는 먼저 몇 개의 뇌파가 측정되었는지가 판별된다(41 단계). 판별 결과, 도 1에 도시된 바와 같이 두 지점에서 뇌파가 측정되었으면, 두 뇌파 신호에 대한 동기율, 편향성 평균, 편향성 요동폭, 상호상관도, 정규화된 상호상관도를 각각 계산함으로써, 상기 두 뇌파 신호의 시공간적 상호관계를 계산하고, 해당 뇌파 신호의 특징을 추출한다(42 단계). 그리고, 상기 판별 결과 도 2에 도시된 바와 같이 세 지점 이상에서 뇌파가 측정되었으면, 각 측정 신호들을 중복되지 않는 복수 개의 데이터 쌍으로 분류한다(43 단계). 예를 들어, 3 개의 뇌파 신호(s1, s2, s3)가 취득된 경우, 이들 뇌파 신호(s1, s2, s3)는 (s1, s2), (s1, s3), (s2, s3)의 데이터 쌍으로 분류된다(43 단계). 이어서, 각 데이터 쌍((s1, s2), (s1, s3), (s2, s3))을 구성하는 두 뇌파 신호들에 대한 동기율, 편향성 평균, 편향성 요동폭, 상호상관도, 정 규화된 상호상관도를 상기 데이터 쌍별로 각각 계산함으로써, 각 데이터 쌍이 가지고 있는 뇌파의 시공간적 상호관계를 계산하고, 해당 뇌파 신호의 특징을 추출한다(44 단계).FIG. 4 is a detailed flowchart of the calculation and feature detection step (step 40) of the temporal and spatial correlation of the brain waves shown in FIG. 3. Referring to FIG. 4, in step 40, it is first determined how many brain waves are measured (step 41). As a result of the determination, when EEG is measured at two points as shown in FIG. 1, the two EEGs are calculated by calculating synchronization rate, deflection mean, deflection fluctuation width, cross-correlation, and normalized cross-correlation for two EEG signals, respectively. The spatial and temporal correlation of the signal is calculated and the features of the EEG signal are extracted (step 42). If the EEG is measured at three or more points as shown in FIG. 2, the measurement signals are classified into a plurality of non-overlapping data pairs (step 43). For example, when three EEG signals s1, s2, s3 are acquired, these EEG signals s1, s2, s3 are data of (s1, s2), (s1, s3), (s2, s3). Are classified into pairs (step 43). Then, synchronization rate, deflection mean, deflection fluctuation width, cross-correlation, and normalization for the two EEG signals constituting each data pair ((s1, s2), (s1, s3), (s2, s3)). By calculating the cross-correlation for each data pair, the temporal and spatial correlation of the brain waves of each data pair is calculated, and the characteristics of the EEG signal are extracted (step 44).

뇌파의 시공간적 상호관계의 계산은, 뇌파의 시공간적 상호관계를 정량화 하는 변수들의 계산으로 이루어진다. 본 발명에서 뇌파가 가지고 있는 특징을 추출하기 위해 계산하는 변수에는 동기율(synchronization Rate), 편향성(polarity) 평균, 편향성 요동폭, 상호상관도(cross-correlation), 정규화된 상호상관도(normalized cross-correlation)의 5가지 변수가 있다. The calculation of the temporal and spatial correlation of EEG consists of the calculation of variables that quantify the temporal and spatial correlation of EEG. Variables calculated to extract features of EEG in the present invention include a synchronization rate, a polarity average, a deflection fluctuation width, a cross-correlation, and a normalized cross. There are five variables of -correlation.

동기율은 두 곳에서 측정된 뇌파(도 1의 s1, s2 참조)가 같이 증가하거나 같이 감소하는 정도를 나타내는 변수이고, 편향성은 두 곳에서 측정된 뇌파 성분(s1, s2)으로 구성되는 위상 공간에서의 회전 방향을 의미한다. 이는, 측정이 이루어진 두 곳 중에서 어느 곳이 먼저 활성화되는지를 나타내는데 사용된다. 이와 같은 동기율과 편향성은 다음과 같다.Synchronization rate is a variable indicating the degree to which the EEG measured at two places (see s1 and s2 in FIG. 1) increases or decreases together, and the bias is a phase space composed of the EEG components (s1 and s2) measured at two places. The direction of rotation in. This is used to indicate which of the two places where the measurement is made is activated first. This motivation and bias are as follows.

[수학식 1][Equation 1]

Figure 112001021166023-pat00001
Figure 112001021166023-pat00001

[수학식 2][Equation 2]

Figure 112001021166023-pat00002
Figure 112001021166023-pat00002

위의 [수학식 1]은 동기율을, [수학식 2]는 편향성을 각각 나타낸다. 여기 서, s1과 s2는 두 위치에서 측정된 뇌파 신호이고, 벡터 s는 s1과 s2로 이루어진 2차원 벡터이다. 동기율의 정의에서 사용된 H(x)는 x가 음수이거나 0일 때는 0의 값을 가지고, 양수일 때는 1의 값을 갖는 스텝 함수(step function)이고, w는 동기율을 계산하는 구간 크기이다. 편향성의 정의에 사용된 단위 벡터 θ는 s1과 s2로 이루어지는 위상 공간에서 원점을 중심으로 시계반대방향으로 회전하는 단위 벡터이다. 편향성 평균은 일정 구간에 있는 편향성들의 평균값을 의미하고, 편향성 요동폭은 일정 구간에 있는 편향성의 표준편차 등으로 표현될 수 있다. [Equation 1] represents the synchronization rate, and [Equation 2] represents the deflection. Here, s1 and s2 are brain wave signals measured at two positions, and vector s is a two-dimensional vector composed of s1 and s2. H (x) used in the definition of synchronization rate is a step function that has a value of 0 when x is negative or 0, and a value of 1 when positive, and w is the interval size for calculating the synchronization rate. . The unit vector θ used to define the deflection is a unit vector that rotates counterclockwise around the origin in the phase space consisting of s1 and s2. The deflection mean may mean an average value of deflections in a certain section, and the deflection fluctuation width may be expressed as a standard deviation of deflection in a certain section.

상호상관도는 두 뇌파 신호 각각이 상대 뇌파 신호와 상관된 정도를 나타내는 변수로서, 신호처리 분야에서 사용되는 일반적인 정의를 따른다. 정규화된 상호상관도 역시 신호처리 분야에서 사용되는 일반적인 정의를 따르며, 이는 상호상관도에서 두 신호(s1, s2) 각각의 자체상관도(auto-correlation) 값의 곱의 제곱근으로 나누어준 값으로 정의된다. Cross-correlation is a variable that indicates the degree to which two EEG signals correlate with relative EEG signals, and follows the general definition used in the field of signal processing. Normalized cross-correlation also follows the common definition used in the field of signal processing, which is defined as the square root of the product of the auto-correlation values of each of the two signals (s1, s2) in the cross-correlation diagram. do.

이와 같은 계산 방법에 의해 구해진 5 가지 변수(즉, 동기율, 편향성 평균, 편향성 요동폭, 상호상관도, 정규화된 상호상관도)는 각각 선형결정함수, 신경회로망 등과 같은 분별 방법에 뇌파의 특징을 나타내는 변수로 적용되어, 사용자의 인지적 긍정/부정 의사를 분별하게 된다. The five variables (i.e. synchronism rate, bias average, deflection fluctuation width, cross-correlation, and normalized cross-correlation) obtained by this calculation method are used to classify the characteristics of EEG into classification methods such as linear decision function and neural network. It is applied as a variable to indicate the user's cognitive affirmation / negative intention.

사용자의 인지적 긍정/부정 의사의 분별하는데 사용되는 특징으로는, 위에서 언급한 여러 변수 중에서 한 변수(예를 들면, 동기율)를 단독으로 사용하거나, 여러 변수(예를 들면, 동기율과 편향성 평균)를 복합하여 사용할 수 있으며, 한 가지 종류의 변수에 있어서도 변수의 계산에 사용된 매개변수(parameter), 예를 들면 구 간 크기를 달리한 계산한 값들을 사용(예를 들면, 0.5초 구간에 대한 편향성 평균과 0.25초 구간에 대한 편향성 평균 사용)할 수도 있고, 각 변수들의 시간에 대한 변화 양상을 보여주는 특징들의 시계열(time series)을 사용(예를 들면, 0.5초 전부터 0.1초 간격으로 계산한 동기율 시계열 사용)할 수도 있다. 그리고, 도 2와 같이 측정 부위가 세 곳 이상인 경우에는, 각 데이터 쌍별로 계산된 변수들을 각각 사용할 수도 있다. 이 때, 사용자의 인지적 긍정/부정 의사의 분별하는데 사용되는 특징은 적용장치의 효율성 등을 고려하여 조절할 수 있다. Features used to discern the user's cognitive affirmation / negative intentions include the use of one of the variables mentioned above (e.g., motivational rate) alone, or several variables (e.g., motivational rate and bias). Average), and for one type of variable, the parameters used to calculate the variable, for example, calculated values with different section sizes (for example, 0.5 second intervals) Using a time series of features that show the variation over time of each variable (e.g., computed at intervals of 0.1 seconds before 0.5 seconds). You can also use a synchronization time series. In addition, when there are three or more measurement sites as shown in FIG. 2, variables calculated for each data pair may be used. At this time, the features used to discern the cognitive affirmation / denial of the user can be adjusted in consideration of the efficiency of the application device.

도 5는 도 3에 도시된 사용자의 긍정/부정 의사 분별 단계에 사용되는 인공신경회로망을 보여주는 도면이다. 앞에서 설명한 바와 같이, 동기율, 편향성 평균, 편향성 요동폭, 상호상관도, 정규화된 상호상관도와 같은 뇌파의 시공간적 특징을 나타내는 변수들이 계산이 되면(도 3의 40 단계 참조), 본 발명에 의한 사용자의 긍정/부정 의사 분별 방법에서는 이 변수들을 각각 선형결정함수, 신경회로망 등과 같은 분별 방법에 적용하여 사용자의 인지적 긍정/부정 의사를 분별하게 된다(도 3의 50 단계 참조). 도 5를 참조하면, 인공신경회로망은 입력층(input layer ; 51), 은닉층(hidden layer ; 52), 및 출력층(node level output layer ; 53)을 포함하는 다중 퍼셉트론(multilayer perceptron)으로 구성된다. 도 3 및 도 4에 도시된 방법에 의해 뇌파의 시공간적 특징을 나타내는 변수들(예를 들면, 동기율, 편향성 평균, 편향성 요동폭, 상호상관도, 정규화된 상호상관도)이 계산되면, 상기 변수들은 인공신경회로망의 입력층(51)으로 입력되어 인공신경회로망의 학습이 시작된다. 여기서, 인공신경회로망의 학습은 공지의 오차 역전파 알고리즘(error backpropagation algorithm) 등을 통해 이루어지며, 이미 학습이 되어 있는 인공신경회로망의 경우 상기 입력층(51)을 통해 입력되는 변수들에 응답해서 사용자의 인지적 긍정/부정 의사가 판별되고, 판별된 데이터가 출력층(53)을 통해 출력된다.FIG. 5 is a diagram illustrating an artificial neural network used in the affirmative / negative pseudo-discrimination step of the user illustrated in FIG. 3. As described above, when variables representing the temporal and temporal characteristics of EEG such as synchronization rate, deflection mean, deflection fluctuation width, cross-correlation, and normalized cross-correlation are calculated (see step 40 of FIG. 3), the user according to the present invention In the positive / negative pseudo classification method of, these variables are applied to classification methods such as linear decision function and neural network, respectively, to discriminate the cognitive positive / negative intention of the user (see step 50 of FIG. 3). Referring to FIG. 5, the artificial neural network includes a multilayer perceptron including an input layer 51, a hidden layer 52, and a node level output layer 53. When the variables (eg, synchronism rate, deflection mean, deflection fluctuation width, cross-correlation degree, normalized cross-correlation degree) representing the spatiotemporal characteristics of EEG are calculated by the method illustrated in FIGS. 3 and 4, the variable They are input to the input layer 51 of the artificial neural network and the learning of the artificial neural network begins. Here, the learning of the artificial neural network is performed through a known error backpropagation algorithm, and the like, in the case of the artificial neural network that has already been learned, in response to variables input through the input layer 51. A cognitive affirmation / denial intention of the user is determined, and the determined data is output through the output layer 53.

도 6은 본 발명에 따른 사용자의 인지적 긍정/부정 의사의 분별 방법을 컴퓨터 인터페이스에 이진 트리 형식으로 적용한 일례를 보여주는 흐름도이다. 도 6을 참조하면, 컴퓨터는 먼저 사용자에게 인지적 긍정/부정 의사가 필요한 질문 1을 제기한다(100 단계). 이어서, 사용자가 상기 질문 1에 응답해서 인지적 긍정/부정의 의사를 결정하게 되면, 질문 1에 대한 사용자의 인지적 긍정/부정 의사가 분별된다(101 단계). 분별 결과, 만약 사용자가 긍정의 의사를 결정한 것으로 판단되면 컴퓨터는 사용자에게 질문 2-1을 제기한다(111 단계). 그리고 만약 사용자가 부정의 의사를 결정한 것으로 판단되면 컴퓨터는 사용자에게 질문 2-2를 제기한다(112 단계). 6 is a flowchart illustrating an example of applying a user's cognitive affirmation / denial pseudo discrimination method in a binary tree format to a computer interface. Referring to FIG. 6, the computer first asks the user a question 1 that requires a cognitive affirmation / denial (step 100). Subsequently, when the user determines the cognitive affirmation / negative intention in response to the question 1, the user's cognitive affirmation / negative intention to the question 1 is discerned (step 101). As a result of the discrimination, if it is determined that the user has made a positive decision, the computer raises the question 2-1 to the user (step 111). If it is determined that the user has decided to cheat, the computer raises Question 2-2 to the user (step 112).

111 단계에서 질문 2-1이 제기되면, 사용자는 상기 질문에 응답해서 인지적 긍정/부정의 의사를 결정하고, 사용자의 인지적 긍정/부정 의사 결정에 대한 분별이 수행된다(121 단계). 분별 결과, 만약 사용자가 긍정의 의사를 결정한 것으로 판단되면, 컴퓨터는 소정의 기능이 선택될 때까지 사용자에게 다음 질문을 계속해서 제기한다. 이렇게 구성된 2진 트리를 계속 따라가다가 소정의 기능에 이르게 되면(181 단계, 182 단계, …, 또는 189 단계), 해당 기능을 수행할 수 있도록 컴퓨터의 기능이 활성화된다. 이와 같이 소정의 기능이 컴퓨터 내에서 활성화되면 선택된 기능을 수행한다(191 단계, 192 단계, …, 또는 199 단계). When question 2-1 is raised in step 111, the user responds to the question to determine a cognitive affirmation / negative decision, and a classification of the user's cognitive affirmation / negative decision is performed (step 121). As a result of the discrimination, if it is determined that the user has made a positive decision, the computer continues to raise the next question to the user until the predetermined function is selected. When following the binary tree thus constructed and reaching a predetermined function (step 181, step 182, ..., or step 189), the function of the computer is activated to perform the function. When the predetermined function is activated in the computer as described above, the selected function is performed (step 191, 192, ..., or 199).

예를 들어, 컴퓨터가 "문서 편집을 하시겠습니까?"라는 질문을 질문 1로서 제기한 후(100 단계 참조), 사용자가 내린 긍정/부정 의사가 긍정으로 판단된 경우, 컴퓨터는 "문서 편집기 A를 사용하시겠습니까?"라는 질문을 질문 2-1로서 제시한다(111 단계 참조). 이 경우, 사용자가 긍정의 의사를 나타낸 것으로 판별되면 컴퓨터는 상기 질문 2-1에 의해 도출되는 최종 결과로서 문서 편집기 A를 활성화시키고, 실행시켜 준다(181, 191 단계 참조). 그리고, 만약 질문 2-1에 대해 사용자가 부정의 의사를 나타낸 것으로 판별되면, "문서 편집기 B를 사용하시겠습니까?" 라는 또 다른 문제를 제기하고, 상기 질문에 대한 사용자의 긍정/부정 의사 판단 결과에 따라 문서 편집기 B를 실행시켜 주거나, 또 다른 질문을 제기한다. For example, if the computer raises the question "Do you want to edit the document?" As Question 1 (see step 100), then if the user's affirmative / negative decision is affirmative, the computer uses "Document Editor A." Would you like to do it? "As question 2-1 (see step 111). In this case, if it is determined that the user has indicated affirmative intention, the computer activates and executes the text editor A as the final result derived by question 2-1 (see steps 181 and 191). And, if it is determined that the user indicated negative intent to question 2-1, "Would you like to use text editor B?" Raises another question, and executes the text editor B or raises another question according to the user's affirmative / negative decision result.

이와 같이, 본 발명에 따른 사용자의 인지적 긍정/부정 의사 결정 방법을 컴퓨터 인터페이스에 적용시키면 기존의 생체신호를 이용한 컴퓨터 인터페이스 기술 등과는 달리, 미리 정해져 있는 의도적인 행위를 하지 않고도 사람의 의사결정을 포착할 수 있다. 그리고, 미합중국 특허 제5,649,061호 및 대한민국 특허 등록번호 제 10-0291596호에 개시된 방법에 비해 긍정/부정 의사 분별 속도가 빠른 장점을 가지고 있다. 따라서, 생체신호 기반 컴퓨터 인터페이스 기술, 특히 뇌파 기반 컴퓨터 인터페이스 기술의 편의성을 향상시켜서, 장애인은 물론, 일반인도 손쉽게 사용할 수 있는 뇌파 기반 컴퓨터 인터페이스를 구현할 수 있다. As described above, when the user's cognitive affirmation / decision making method according to the present invention is applied to a computer interface, unlike a conventional computer interface technology using a biosignal, a human decision can be made without a predetermined intentional action. Can be captured. In addition, compared to the methods disclosed in US Patent No. 5,649,061 and Korean Patent Registration No. 10-0291596, it has an advantage of a faster speed of discrimination of false positives / false negatives. Therefore, by improving the convenience of the biosignal-based computer interface technology, in particular EEG-based computer interface technology, it is possible to implement an EEG-based computer interface that can be easily used by the general public as well as the disabled.

특히, 인지적 긍정/부정 의사가 인간의 가장 기본적인 의사라는 측면에서 이를 이용한 컴퓨터 인터페이스에 대해 구체적으로 예시되었으나, 그밖에도 상기 인터페이스는 현재 사용되고 있는 다른 시스템에도 접목이 용이하며, 다른 여러 장치 의 제어에도 본 발명을 적용할 수 있다. In particular, although the cognitive affirmative / negative doctor has been specifically illustrated for the computer interface using the same in terms of being the most basic human doctor, the interface can be easily applied to other systems that are currently used, and it is also possible to control other devices. The present invention can be applied.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.The invention can also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may also be implemented in the form of a carrier wave (for example, transmission over the Internet). Include. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

이상에 설명한 바와 같이, 본 발명에 의한 뇌파의 시공간적 상호관계를 이용한 긍정/부정 의사 분별 방법에 의하면, 본 발명은 사람이 생각할 때 자연스럽게 발생하는 뇌파의 특징, 즉 뇌파의 시공간적 상호관계를 분석하여, 인간의 가장 기본적인 의사 중의 하나인 인지적 긍정/부정 의사를 분별한다. 이는, 의사 전달을 위해서 미리 정한 약속대로 인위적인 생체신호를 발생시키는 형태가 아니기 때문에, 회로의 구성이 간단하고, 상기 긍정/부정의 의사 분별을 실시간으로 구현할 수 있다. 따라서, 컴퓨터 인터페이스 등에 쉽게 응용될 수 있다.As described above, according to the positive / negative pseudo-discrimination method using the spatiotemporal correlation of brain waves according to the present invention, the present invention analyzes the characteristics of brain waves that occur naturally when a person thinks, that is, the spatiotemporal correlation of brain waves. Discern cognitive affirmations, one of the most basic human doctors. Since it is not a form of generating an artificial bio-signal according to a predetermined promise for communication, the circuit configuration is simple and the positive / negative pseudo classification can be realized in real time. Therefore, it can be easily applied to a computer interface or the like.

Claims (11)

삭제delete 삭제delete 삭제delete 삭제delete (a) 적어도 두 곳 이상으로부터 피검자의 뇌파를 측정하는 단계;(a) measuring the brain waves of the subject from at least two places; (b) 상기 뇌파에 혼입되어 있는 잡파를 제거하는 단계;(b) removing the honhap mixed in the brain waves; (c) 상기 피검자가 인지적 긍정/부정의 의사 결정을 내렸는지 여부를 판별하는 단계;(c) determining whether the subject has made a cognitive affirmative / negative decision; (d) 상기 피검자가 인지적 긍정/부정의 의사 결정을 내린 경우, 상기 뇌파의 시공간적 특징을 나타내는 동기율(synchronization rate), 편향성(polarity) 평균, 편향성 요동폭, 상호상관도(cross-correlation), 및 정규화된 상호상관도(normalized cross-correlation) 변수를 계산하는 단계; 및(d) when the subject makes a cognitive affirmative / negative decision, a synchronization rate, a polarity mean, a deflection fluctuation width, and cross-correlation representing the spatiotemporal characteristics of the brain waves. Computing a normalized cross-correlation variable; And (e) 입력층(input layer), 은닉층(hidden layer) 및 출력층(node level output layer)으로 구성된 다중 퍼셉트론(multilayer perceptron)으로 구성되고 이미 학습이 되어 있는 인공신경회로망에, 상기 (d) 단계에서 계산된 변수들을 입력하며, (e) An artificial neural network, which is composed of a multilayer perceptron composed of an input layer, a hidden layer, and a node level output layer and is already trained, in step (d). Enter the calculated variables, 학습이 되어 있는 상기 인공신경회로망은 상기 입력층을 통해 입력되는 상기 변수들에 응답해서 사용자의 인지적 긍정/부정 의사를 분별하고, 상기 분별 결과를 상기 출력층을 통해 출력하는 것을 특징으로 하는 뇌파의 시공간적 상호관계를 이용한 인지적 긍정/부정 의사 분별 방법.The neural network, which has been learned, discriminates the cognitive affirmation / negativeness of the user in response to the variables input through the input layer, and outputs the fractionation result through the output layer. Cognitive Positive / Negative Pseudo Discrimination Using Spatio-temporal Interrelationship. 제 5 항에 있어서, The method of claim 5, 상기 (e) 단계에서 상기 인공신경회로망은 상기 변수 들 중 어느 하나의 변수를 단독으로 사용하여 상기 피검자의 상기 인지적 긍정/부정 의사를 분별하는 것을 특징으로 하는 뇌파의 시공간적 상호관계를 이용한 인지적 긍정/부정 의사 분별 방법.In the step (e), the artificial neural network discriminates the cognitive affirmation / negative intention of the subject by using any one of the variables alone. Positive / Negative Pseudo Discrimination. 제 5 항에 있어서, The method of claim 5, 상기 (e) 단계에서 상기 인공신경회로망은 상기 변수 들 중 적어도 둘 이상의 변수를 복합적으로 사용하여 상기 피검자의 상기 인지적 긍정/부정의 의사를 분별하는 것을 특징으로 하는 뇌파의 시공간적 상호관계를 이용한 인지적 긍정/부정 의사 분별 방법.In step (e), the artificial neural network discriminates the cognitive affirmation / negative intention of the subject by using at least two or more variables among the variables. Positive / Negative Pseudo Discrimination. 제 6 항 또는 제 7 항에 있어서, The method according to claim 6 or 7, 상기 (e)단계에서 상기 인공신경회로망은 상기 변수에 대해 매개변수를 달리하여 계산한 수치를 사용하여 상기 피검자의 상기 인지적 긍정/부정 의사를 분별하는 것을 특징으로 하는 뇌파의 시공간적 상호관계를 이용한 인지적 긍정/부정 의사 분별 방법.In the step (e), the artificial neural network distinguishes the subject's cognitive affirmation / negative intention by using a numerical value calculated by varying a parameter with respect to the variable. Cognitive Positive / Negative Pseudo Discrimination. 제 6 항 또는 제 7 항에 있어서, The method according to claim 6 or 7, 상기 (e)단계에서 상기 인공신경회로망은 상기 변수에 대해 시계열을 달리하여 계산한 수치를 사용하여 상기 피검자의 상기 인지적 긍정/부정 의사를 분별하는 것을 특징으로 하는 뇌파의 시공간적 상호관계를 이용한 인지적 긍정/부정 의사 분별 방법.In the step (e), the artificial neural network discriminates the cognitive affirmation / negative intention of the subject by using a numerical value calculated by varying the time series for the variable. Positive / Negative Pseudo Discrimination. 프로세서를 구비한 컴퓨터 시스템에 있어서:In a computer system with a processor: (a) 사용자에게 인지적 긍정/부정 의사를 필요로 하는 질문을 제기하는 단계; (a) asking a user a question requiring cognitive affirmation / negative will; (b) 상기 사용자로부터 취득된 뇌파의 시공간적 상호관계를 나타내는 적어도 둘 이상의 변수를 계산하고, 계산된 상기 변수를 이미 학습이 되어 있는 인공신경회로망에 입력하여 상기 사용자의 인지적 긍정/부정 의사를 분별하는 단계; (b) calculating at least two or more variables indicative of the spatiotemporal interrelationships of the brain waves acquired from the user, and inputting the calculated variables into an already learned artificial neural network to discern the cognitive affirmation / negative intention of the user Doing; (c) 상기 분별된 결과에 의해 소정의 기능이 선택될 때까지 상기 (a) 및 상기 (b) 단계를 반복하여 수행하는 단계; 및 (c) repeating steps (a) and (b) until a predetermined function is selected based on the classified result; And (d) 상기 (b) 또는 상기 (c) 단계의 수행 결과, 상기 소정의 기능이 선택되면 선택된 상기 기능을 실행하는 단계를 포함하는 것을 특징으로 하는 컴퓨터와의 인터페이스 방법.and (d) executing the selected function if the predetermined function is selected as a result of performing step (b) or (c). (a) 적어도 두 곳 이상으로부터 피검자의 뇌파를 측정하는 단계;(a) measuring the brain waves of the subject from at least two places; (b) 상기 뇌파에 혼입되어 있는 잡파를 제거하는 단계;(b) removing the honhap mixed in the brain waves; (c) 상기 피검자가 인지적 긍정/부정의 의사 결정을 내렸는지 여부를 판별하는 단계;(c) determining whether the subject has made a cognitive affirmative / negative decision; (d) 상기 피검자가 인지적 긍정/부정의 의사 결정을 내린 경우, 상기 뇌파의 시공간적 특징을 나타내는 동기율(synchronization rate), 편향성(polarity) 평균, 편향성 요동폭, 상호상관도(cross-correlation), 및 정규화된 상호상관도(normalized cross-correlation) 변수를 계산하는 단계; 및(d) when the subject makes a cognitive affirmative / negative decision, a synchronization rate, a polarity mean, a deflection fluctuation width, and cross-correlation representing the spatiotemporal characteristics of the brain waves. Computing a normalized cross-correlation variable; And (e) 이미 학습이 되어 있는 인공신경회로망에 상기 (d) 단계에서 계산된 변수들을 입력하여 사용자의 인지적 긍정/부정 의사를 분별하는 단계를 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.(e) inputting the variables calculated in step (d) to an artificial neural network that has already been learned, and using a computer to record a program for executing a step of discriminating a user's cognitive affirmation / negativeness on a computer. Recording media.
KR1020010051001A 2001-08-23 2001-08-23 Method for discriminating yes/no decision of human being based on spatio-temporal relationship of brain waves KR100546770B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020010051001A KR100546770B1 (en) 2001-08-23 2001-08-23 Method for discriminating yes/no decision of human being based on spatio-temporal relationship of brain waves

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020010051001A KR100546770B1 (en) 2001-08-23 2001-08-23 Method for discriminating yes/no decision of human being based on spatio-temporal relationship of brain waves

Publications (2)

Publication Number Publication Date
KR20030016921A KR20030016921A (en) 2003-03-03
KR100546770B1 true KR100546770B1 (en) 2006-01-25

Family

ID=27720504

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010051001A KR100546770B1 (en) 2001-08-23 2001-08-23 Method for discriminating yes/no decision of human being based on spatio-temporal relationship of brain waves

Country Status (1)

Country Link
KR (1) KR100546770B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612046B1 (en) 2003-12-22 2006-08-14 한국전자통신연구원 Method and appratus for recognizing positive/negative intention using fine change of gamma wave of brain wave
KR101238780B1 (en) * 2011-03-03 2013-03-04 서울대학교산학협력단 Devices and methods for readiness potential-based brain-computer interface
WO2018021603A1 (en) * 2016-07-29 2018-02-01 한양대학교 에리카산학협력단 Electronic device driving device using brainwave

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990039692A (en) * 1997-11-13 1999-06-05 정선종 EEG method for discrimination of positive / negative emotional state
KR20000006606A (en) * 1999-03-23 2000-02-07 박병운 Real-time brain wave analysis system using FFT and method thereof
KR20010057875A (en) * 1999-12-23 2001-07-05 오길록 Apparatus and method for making a judgement on positive and negative intention by using the EEG

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990039692A (en) * 1997-11-13 1999-06-05 정선종 EEG method for discrimination of positive / negative emotional state
KR20000006606A (en) * 1999-03-23 2000-02-07 박병운 Real-time brain wave analysis system using FFT and method thereof
KR20010057875A (en) * 1999-12-23 2001-07-05 오길록 Apparatus and method for making a judgement on positive and negative intention by using the EEG

Also Published As

Publication number Publication date
KR20030016921A (en) 2003-03-03

Similar Documents

Publication Publication Date Title
Bousseta et al. EEG based brain computer interface for controlling a robot arm movement through thought
Haag et al. Emotion recognition using bio-sensors: First steps towards an automatic system
US20150134580A1 (en) Method And System For Training A Neural Network
US5447166A (en) Neurocognitive adaptive computer interface method and system based on on-line measurement of the user's mental effort
Acır et al. Automatic classification of auditory brainstem responses using SVM-based feature selection algorithm for threshold detection
SG172262A1 (en) Device and method for generating a representation of a subject's attention level
Taherisadr et al. ECG-based driver inattention identification during naturalistic driving using Mel-frequency cepstrum 2-D transform and convolutional neural networks
Nuamah et al. Electroencephalography (EEG) classification of cognitive tasks based on task engagement index
Cai et al. Machine-learning approaches for recognizing muscle activities involved in facial expressions captured by multi-channels surface electromyogram
US20220051586A1 (en) System and method of generating control commands based on operator's bioelectrical data
Hsu Brain–computer interface: the next frontier of telemedicine in human–computer interaction
Kumar et al. A framework for a real time intelligent and interactive Brain Computer Interface
Milan et al. Adaptive brain interfaces for physically-disabled people
Singh et al. A deep neural network approach for P300 detection-based BCI using single-channel EEG scalogram images
KR100546770B1 (en) Method for discriminating yes/no decision of human being based on spatio-temporal relationship of brain waves
Blankertz et al. Detecting mental states by machine learning techniques: the berlin brain–computer interface
Robert-Béla et al. An analysis of Electro-oculogram signals processing using Artificial Neural Networks
Adam et al. Evaluation of different time domain peak models using extreme learning machine-based peak detection for EEG signal
KR102142183B1 (en) Method for estimating emotion based on psychological activity and biosignal of user and system therefor
Rao et al. Statistical pattern recognition and machine learning in brain–computer interfaces
Brandão et al. Controlling devices using biological signals
Ho et al. Brain-wave bio potentials based mobile robot control: wavelet-neural network pattern recognition approach
Salimi-Khorshidi et al. Fusion of classic P300 detection methods’ inferences in a framework of fuzzy labels
Bhatnagar et al. Linear discriminant analysis classifies the EEG spectral features obtained from three class motor imagination
Nataraj et al. Thought-actuated wheelchair navigation with communication assistance using statistical cross-correlation-based features and extreme learning machine

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
E902 Notification of reason for refusal
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20040824

Effective date: 20051130

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090102

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee