KR100546770B1 - Method for discriminating yes/no decision of human being based on spatio-temporal relationship of brain waves - Google Patents
Method for discriminating yes/no decision of human being based on spatio-temporal relationship of brain waves Download PDFInfo
- Publication number
- KR100546770B1 KR100546770B1 KR1020010051001A KR20010051001A KR100546770B1 KR 100546770 B1 KR100546770 B1 KR 100546770B1 KR 1020010051001 A KR1020010051001 A KR 1020010051001A KR 20010051001 A KR20010051001 A KR 20010051001A KR 100546770 B1 KR100546770 B1 KR 100546770B1
- Authority
- KR
- South Korea
- Prior art keywords
- cognitive
- negative
- brain waves
- affirmation
- subject
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Psychology (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Psychiatry (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Human Computer Interaction (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
본 발명은 컴퓨터 인터페이스를 위해 뇌파의 시공간적 상호관계를 분석하여 사람의 긍정 또는 부정의 의사를 알아내는 방법에 대한 것으로, 상기 방법은 (a) 적어도 두 곳 이상으로부터 피검자의 뇌파를 측정하는 단계; (b) 상기 뇌파에 혼입되어 있는 잡파를 제거하는 단계; (c) 상기 피검자가 인지적 긍정/부정의 의사 결정을 내렸는지 여부를 판별하는 단계; (d) 상기 피검자가 인지적 긍정/부정의 의사 결정을 내린 경우, 상기 뇌파의 시공간적 특징을 나타내는 동기율(synchronization rate), 편향성(polarity) 평균, 편향성 요동폭, 상호상관도(cross-correlation), 및 정규화된 상호상관도(normalized cross-correlation) 변수를 계산하는 단계; 및 (e) 이미 학습이 되어 있는 인공신경회로망에 상기 (d) 단계에서 계산된 변수들을 입력하여 사용자의 인지적 긍정/부정 의사를 분별하는 단계를 포함한다.The present invention relates to a method of determining the intention of human positive or negative by analyzing the temporal and spatial correlation of brain waves for a computer interface, the method comprising the steps of (a) measuring the brain waves of the subject from at least two places; (b) removing the honhap mixed in the brain waves; (c) determining whether the subject has made a cognitive affirmative / negative decision; (d) when the subject makes a cognitive affirmative / negative decision, a synchronization rate, a polarity mean, a deflection fluctuation width, and cross-correlation representing the spatiotemporal characteristics of the brain waves. Computing a normalized cross-correlation variable; And (e) inputting the variables calculated in step (d) to an artificial neural network that has already been learned to discriminate the cognitive affirmation / negative intention of the user.
Description
도 1은 본 발명에 따른 사용자의 인지적 긍정/부정 의사의 분별을 위해 두 지점에서 측정된 뇌파의 일례를 보여주는 도면이다.1 is a view showing an example of the EEG measured at two points for the discrimination of the cognitive affirmation / denial of the user according to the present invention.
도 2는 본 발명에 따른 사용자의 인지적 긍정/부정 의사의 분별을 위해 세 지점 이상에서 측정된 뇌파의 일례를 보여주는 도면이다.2 is a view showing an example of the EEG measured at three or more points for the discrimination of the cognitive affirmation / denial of the user according to the present invention.
도 3은 본 발명의 바람직한 실시예에 따른 인지적 긍정/부정 의사의 분별 방법을 보여주는 흐름도이다.3 is a flowchart illustrating a method of discriminating a cognitive affirmative / negative doctor according to a preferred embodiment of the present invention.
도 4는 도 3에 도시된 뇌파의 시공간적 상호관계의 계산 및 특징 검출 단계에 대한 상세 흐름도이다.FIG. 4 is a detailed flowchart of the calculation and feature detection step of the spatiotemporal correlation of the brain waves shown in FIG. 3.
도 5는 도 3에 도시된 사용자의 긍정/부정 의사 분별 단계에 사용되는 인공신경회로망을 보여주는 도면이다.FIG. 5 is a diagram illustrating an artificial neural network used in the affirmative / negative pseudo-discrimination step of the user illustrated in FIG. 3.
도 6은 본 발명에 따른 사용자의 인지적 긍정/부정 의사의 분별 방법을 컴퓨터 인터페이스에 이진 트리 형식으로 적용한 일례를 보여주는 흐름도이다.6 is a flowchart illustrating an example of applying a user's cognitive affirmation / denial pseudo discrimination method in a binary tree format to a computer interface.
본 발명은 생체신호를 이용한 기기 조작 및 컴퓨터 인터페이스(Human Computer Interface: HCI)에 관한 것으로, 특히 뇌파(brain wave)를 이용하는 컴퓨터 인터페이스(Brain Computer Interface: BCI)에 관한 것이다.BACKGROUND OF THE
생체신호를 이용한 기기 조작 기술 또는 생체신호 기반 컴퓨터 인터페이스 기술 등은, 장애자를 위한 인터페이스 기술로서 현재 활발히 연구되어 오고 있다. 그리고, 이와 같은 기술은 향후 키보드, 마우스, 음성인식의 뒤를 잇는 새로운 컴퓨터 인터페이스 기술로 발전할 가능성이 높다. 특히, 뇌파를 이용하는 컴퓨터 인터페이스 기술은 사람의 생각을 읽을 수 있다는 측면에서 기술의 파급효과가 매우 클 것으로 전망된다.Device manipulation technology using bio-signals or bio-signal-based computer interface technologies have been actively studied as interface technologies for the handicapped. In addition, such a technology is likely to evolve into a new computer interface technology that follows keyboard, mouse, and voice recognition in the future. In particular, computer interface technology using brain waves is expected to have a great ripple effect in terms of reading human thoughts.
컴퓨터 인터페이스 용도로 연구되고 있는 생체신호로는 뇌파(EEG), 안전도(EOG), 근전도(EMG) 등이 있다. 현재까지 연구 개발되어 있는 생체신호를 이용한 인터페이스 기술은 미리 정해진 약속에 따라 의도적으로 생체신호를 발생시켜 신호를 전달하는 방식을 주로 사용하고 있다. 예를 들면, 어떤 기능을 활성화시키기 위해 그 기능을 나타내는 아이콘을 계속 주시한다든지, 커서가 원하는 아이콘 위에 위치했을 때 눈을 깜박이거나 이를 다무는 등, 사람의 의사와 직접적으로 관련이 없는 의도적인 행동을 함으로써 원하는 기능을 수행하는 방식이 사용되고 있다. Biosignals being studied for computer interfaces include EEG, EEG, and EMG. The interface technology using biosignals, which has been researched and developed to date, mainly uses a method of intentionally generating a biosignal and delivering a signal according to a predetermined promise. Intentional behavior that is not directly related to a person's wishes, for example, to keep an eye on the icon representing a function to activate a function or to blink or close the eye when the cursor is over the desired icon. By doing so, a method of performing a desired function is used.
그러나, 이러한 생체신호 관련 기기조작 방법은 사람의 의사와 직접적인 관련이 없는 임의의 약속에 의해 인위적으로 발생되는 생체 신호를 이용하기 때문에, 사용자는 항상 인위적인 행위를 염두에 두고 있어야 하며, 또한 장치의 원활한 사용을 위해서는 일정 수준의 훈련이 필요한 문제점을 가지고 있다. 따라서, 이와 같은 방식은 일반인이 범용으로 사용하기 어려운 문제점을 가지고 있다.However, since the method of operating a biosignal-related device uses a biosignal artificially generated by an appointment that is not directly related to the human intention, the user should always keep in mind the artificial behavior and also There is a problem that requires a certain level of training for use. Therefore, such a method has a problem that is difficult for the general public to use.
그 이외의 뇌파 관련 컴퓨터 인터페이스 기술로는, 수면, 마취상태 등과 같은 특수한 상황의 뇌파를 감지하여 이용하는 장치와, 대한민국 특허 등록번호 제 10-0291596에 개시된 방법과 같이 사용자의 감성 상태를 판단, 대응하는 장치가 있고, 1997년 7월 15일, Smyth에 의해 취득된 미국특허 제5,649,061호, "DEVICE AND METHOD FOR ESTIMATING A MENTAL DECISION"에 개시된 방법과 같이 특정 상황을 반복해서 발생시켜 얻은 뇌파의 유발전위(Event Related Potential: ERP)를 이용하는 장치 등이 있다. Other EEG-related computer interface technologies include a device for detecting and using EEG in a special situation such as sleep and anesthesia, and determining and responding to a user's emotional state as in the method disclosed in Korean Patent Registration No. 10-0291596. EEG potential of the EEG obtained by repeating a specific situation, such as the method described in US Patent No. 5,649,061, entitled "DEVICE AND METHOD FOR ESTIMATING A MENTAL DECISION," issued July 15, 1997, obtained by Smyth. Event Related Potential (ERP).
그러나, 수면, 마취 상태 등과 같은 특수한 상황의 뇌파를 감지하는 장치는, 사람이 활동하고 있는 상황에서 수행되는 다양한 형태의 명령을 처리할 수 없기 때문에, 컴퓨터 인터페이스에 직접 적용하기에는 무리가 따른다. 그리고, 대한민국 특허 등록번호 제 10-0291596호에 개시된 방법은 좋아함(like), 싫어함(dislike)과 같은 사용자의 감성적 긍정/부정 상태를 판단하기 때문에, 맞다(yes), 틀리다(no)와 같은 인지적 긍정/부정 상태의 판단이 필요한 여러 가지 상황에 다양하게 적용하기 힘든 단점이 있다. 그리고, 위에서 언급된 기술들은 복잡한 작업을 거쳐 수행되기 때문에 실시간으로 처리하기 힘들다는 단점이 있다. 특히, 미합중국 특허 제5,649,061호와 같이 유발전위를 이용하는 방법은, 머리의 움직임과 각도의 측정에 의한 시선 추적 및 뇌파 측정을 통한 유발 전위의 발생이 필수적으로 요구되므 로, 현재의 기술로는 이를 실시간에 처리할 수 없는 문제점이 있다. However, devices for detecting brain waves in special situations, such as sleep and anesthesia, cannot handle various types of commands performed in a situation in which a person is active, which makes it difficult to apply them directly to a computer interface. In addition, since the method disclosed in Korean Patent Registration No. 10-0291596 determines a user's emotional positive / negative state such as like or dislike, it is recognized as yes or wrong. There is a drawback that it is difficult to apply variously to various situations that require judgment of enemy positive / negative status. In addition, the above-mentioned techniques are difficult to process in real time because they are performed through complex tasks. In particular, the method using the induced potential, such as U.S. Patent No. 5,649,061, requires the generation of induced potential through eye tracking and EEG measurement by measuring head movement and angle. There is a problem that cannot be handled.
본 발명이 이루고자 하는 기술적 과제는, 의도적인 생체신호의 발생 없이 사람의 인지적 긍정/부정 의사를 실시간으로 분별할 수 있는 방법을 제공하는데 있다.An object of the present invention is to provide a method for real-time discrimination of human cognitive affirmation / negative intention without generating intentional biosignal.
상기의 과제를 이루기 위하여 본 발명에 의한 뇌파의 시공간적 상호관계를 이용한 인지적 긍정/부정 의사의 분별 방법은, (a) 적어도 두 곳 이상으로부터 피검자의 뇌파를 측정하는 단계; (b) 상기 뇌파에 혼입되어 있는 잡파를 제거하는 단계; (c) 상기 피검자가 인지적 긍정/부정의 의사 결정을 내렸는지 여부를 판별하는 단계; (d) 상기 피검자가 인지적 긍정/부정의 의사 결정을 내린 경우, 상기 뇌파의 시공간적 특징을 나타내는 동기율(synchronization rate), 편향성(polarity) 평균, 편향성 요동폭, 상호상관도(cross-correlation), 및 정규화된 상호상관도(normalized cross-correlation) 변수를 계산하는 단계; 및 (e) 이미 학습이 되어 있는 인공신경회로망에 상기 (d) 단계에서 계산된 변수들을 입력하여 사용자의 인지적 긍정/부정 의사를 분별하는 단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, the cognitive affirmative / negative doctor's classification method using the spatiotemporal correlation of brain waves according to the present invention comprises the steps of: (a) measuring the brain waves of the subject from at least two places; (b) removing the honhap mixed in the brain waves; (c) determining whether the subject has made a cognitive affirmative / negative decision; (d) when the subject makes a cognitive affirmative / negative decision, a synchronization rate, a polarity mean, a deflection fluctuation width, and cross-correlation representing the spatiotemporal characteristics of the brain waves. Computing a normalized cross-correlation variable; And (e) inputting the variables calculated in step (d) to an artificial neural network that has already been learned to discriminate the cognitive affirmation / negative intention of the user.
상기의 과제를 이루기 위하여 본 발명에 의한 컴퓨터와의 인터페이스 방법은, (a) 사용자에게 인지적 긍정/부정 의사를 필요로 하는 질문을 제기하는 단계; (b) 상기 사용자로부터 취득된 뇌파의 시공간적 상호관계를 나타내는 적어도 둘 이상의 변수를 계산하고, 계산된 상기 변수를 이미 학습이 되어 있는 인공신경회로망에 입력하여 상기 사용자의 인지적 긍정/부정 의사를 분별하는 단계; (c) 상기 분별된 결과에 의해 소정의 기능이 선택될 때까지 상기 (a) 및 상기 (b) 단계를 반복하여 수행하는 단계; 및 (d) 상기 (b) 또는 상기 (c) 단계의 수행 결과, 상기 소정의 기능이 선택되면 선택된 상기 기능을 실행하는 단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, the present invention provides a method for interfacing with a computer, the method comprising: (a) asking a user a question requiring cognitive affirmation / denial; (b) calculating at least two or more variables indicative of the spatiotemporal interrelationships of the brain waves acquired from the user, and inputting the calculated variables into an already learned artificial neural network to discern the cognitive affirmation / negative intention of the user Doing; (c) repeating steps (a) and (b) until a predetermined function is selected based on the classified result; And (d) executing the selected function when the predetermined function is selected as a result of performing the step (b) or (c).
이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the present invention.
도 1은 본 발명에 따른 사용자의 인지적인 긍정/부정 의사의 분별을 위해 두 지점에서 측정된 뇌파의 일례를 보여주는 도면이다. 도 1을 참조하면, 본 발명에 따른 뇌파의 측정은 주로 머리(1)의 좌우 앞부분(예를 들면, 국제 전극 배치법에서 Fp1과 Fp2, 또는 F3과 F4 지점)을 포함하는 적어도 두 곳 이상에서 수행된다. 측정 위치에는 뇌파 측정 센서(11, 12, 13)(예를 들면, cup electrode)가 놓여지고, 이 센서(11, 12, 13)를 통해 입력된 뇌파 신호는 증폭기(18, 19)를 통해 소정의 비율로 증폭되어 기록된다. 이와 같은 뇌파의 측정 부위와 측정 전극 수는 적용하는 장치의 용도에 따라서 조절 가능하다. 1 is a view showing an example of EEG measured at two points for the discrimination of the cognitive affirmation / denial of the user according to the present invention. Referring to FIG. 1, the measurement of the EEG according to the present invention is mainly performed at least two places including the left and right front portions of the head 1 (for example, Fp1 and Fp2 or F3 and F4 points in the international electrode placement method). do.
아래에서 상세히 설명하겠지만, 뇌파측정시에는 안전도(EOG), 근전도(EMG), 심전도(ECG) 등 사람의 의사와 관련 없는 생체신호와, 기계적, 전기적인 잡음(noise)이 뇌파와 함께 혼입되어 들어오기 때문에, 이와 같은 잡파들이 소정의 과정을 거쳐 제거된다. 이와 같은 잡파의 제거 후, 두 뇌파 신호(s1, s2)의 시공간적 특징을 나타낼 수 있는 변수인 동기율(synchronization rate), 편향성(polarity) 평균, 편향성 요동폭, 상호상관도(cross-correlation), 정규화된 상호상관도(normalized cross-correlation)가 각각 계산되고, 뇌파의 시공간적 특징을 나타내는 변수를 기초로 하여 사용자의 인지적 긍정/부정 의사가 분별된다. As will be described in detail below, the EEG, electrocardiogram (ECG), electrocardiogram (ECG), and other biological signals unrelated to human intention, and mechanical and electrical noise are mixed with EEG. As it comes in, such miscellaneous waves are removed through a predetermined process. After the removal of such crosstalks, variables such as synchronization rate, polarity mean, deflection fluctuation width, cross-correlation, and the like that may represent the spatiotemporal characteristics of the two EEG signals s1 and s2, Normalized cross-correlation is calculated for each, and the user's cognitive affirmation / negative intention is discriminated based on variables representing the temporal and temporal characteristics of the EEG.
도 2는 본 발명에 따른 사용자의 긍정/부정 의사의 분별을 위해 3개 지점 이 상에서 측정된 뇌파(s1, s2, s3, …, sz)의 일례를 보여주는 도면이다. 본 발명에 따른 사용자의 긍정/부정 의사 분별 방법에서는, 예를 들어 3 개의 뇌파 신호(s1, s2, s3)가 취득된 경우, 3개의 신호(s1, s2, s3)로 구성할 수 있는, (s1, s2), (s1, s3), (s2, s3)의 세 개의 데이터 쌍에 대한 동기율, 편향성 평균, 편향성 요동폭, 상호상관도, 정규화된 상호상관도를 각각 계산한다. 그 결과, 세 신호(s1, s2, s3)가 가지고 있는 뇌파의 시공간적 특징이 추출되어, 사용자의 인지적 긍정/부정 의사가 분별된다. 2 is a view showing an example of the EEG (s1, s2, s3, ..., sz) measured more than three points for the discrimination of affirmative / negative doctors of the user according to the present invention. In the positive / negative pseudo-classification method of the user according to the present invention, for example, when three brain wave signals s1, s2, s3 are acquired, three signals s1, s2, s3 can be configured. The synchronization rate, bias average, deflection fluctuation width, cross-correlation, and normalized cross-correlation for three data pairs s1, s2), (s1, s3), and (s2, s3) are calculated, respectively. As a result, the spatiotemporal characteristics of the brain waves of the three signals s1, s2, and s3 are extracted, and the user's cognitive affirmation / negative intention is discriminated.
도 3은 본 발명의 바람직한 실시예에 따른 인지적 긍정/부정 의사의 분별 방법을 보여주는 흐름도이다. 도 3을 참조하면, 본 발명에 따른 인지적 긍정/부정 의사의 분별 방법은, 먼저 도 1 및 도 2에 도시된 바와 같이 사람의 뇌파를 측정한다(10 단계). 뇌파가 측정되면, 측정된 뇌파 신호에 포함된 잡파를 제거한다(20 단계). 여기서, 잡파 제거란, 뇌파 측정시 혼입되어 들어오는 안전도(EOG), 근전도(EMG), 심전도(ECG) 등 사람의 의사와 관련 없는 생체신호와, 기계적, 전기적인 잡음(noise)을 제거하는 과정으로서, 측정된 신호 중 뇌파 신호 이외의 불필요한 신호는 모두 제거되어, 순수한 뇌파 신호만 남게 된다. 이와 같이 잡파가 제거된 후에는, 사용자가 인지적 긍정/부정에 관한 의사를 결정했는지 여부가 판별된다(30 단계). 판별 결과, 만약 사용자가 인지적 긍정/부정에 관한 의사를 결정하지 않았으면 뇌파의 측정이 계속해서 수행된다. 그리고, 만약 사용자가 인지적 긍정/부정에 관한 의사를 결정했으면 상기 의사의 긍정/부정 여부를 분별하기 위한 뇌파의 시공간적 상호관계 계산 및 특징 추출이 수행된다(40 단계). 아래에서 상세히 설명되겠지만, 뇌파 신호의 동기율, 편향성 평균, 편향성 요동폭, 상호상관도, 정규화된 상호상관도의 계산에 의해 뇌파의 시공간적 특징이 추출되며, 취득된 뇌파의 개수에 따라서 계산되는 각 변수의 개수가 달라질 수 있다. 상기와 같은 변수들의 계산에 의해 뇌파의 시공간적 특징이 추출되면, 추출된 특징을 바탕으로 사용자가 긍정의 의사를 결정했는지 부정의 의사를 결정했는지 여부가 분별된다(50 단계). 추출된 뇌파의 시공간적 특징을 이용해서 사용자의 인지적인 긍정/부정의 의사를 분별하는 방법으로는, 선형결정함수, 신경회로망 등과 같은 분별 방법이 사용된다. 3 is a flowchart illustrating a method of discriminating a cognitive affirmative / negative doctor according to a preferred embodiment of the present invention. Referring to FIG. 3, in the cognitive affirmation / negative doctor's classification method, first, the human brain wave is measured as shown in FIGS. 1 and 2 (10). When the EEG is measured, the harmonics included in the measured EEG signal are removed (step 20). Here, the noise removal is a process of removing biological signals, mechanical, and electrical noise that are not related to human intention, such as safety (EOG), electromyography (EMG), and electrocardiogram (ECG), which are mixed when measuring EEG. As a result, all unnecessary signals other than the EEG signal are removed from the measured signals, leaving only the pure EEG signal. After the harmonics are removed in this manner, it is determined whether the user has made a decision about cognitive affirmation / denial (step 30). As a result of the determination, if the user has not made a decision about cognitive affirmation / negation, the measurement of the EEG continues. If the user determines a decision regarding cognitive affirmation / negation, the brain-space time-space correlation calculation and feature extraction are performed to discriminate whether the doctor is positive or negative (step 40). As will be described in detail below, the spatiotemporal characteristics of EEG are extracted by calculation of the EEG signal's synchronization rate, deflection mean, deflection fluctuation width, cross-correlation, and normalized cross-correlation, and are calculated according to the number of acquired EEG. The number of variables can vary. When the spatiotemporal feature of the EEG is extracted by the calculation of the variables as described above, it is discriminated based on the extracted feature whether the user has determined the positive intention or the negative intention (step 50). A classification method such as a linear decision function, a neural network, or the like is used as a method of discriminating a user's cognitive affirmation / negative intention using the spatiotemporal characteristics of the extracted brain waves.
도 4는 도 3에 도시된 뇌파의 시공간적 상호관계의 계산 및 특징 검출 단계(40 단계)에 대한 상세 흐름도이다. 도 4를 참조하면, 상기 단계(40 단계) 에서는 먼저 몇 개의 뇌파가 측정되었는지가 판별된다(41 단계). 판별 결과, 도 1에 도시된 바와 같이 두 지점에서 뇌파가 측정되었으면, 두 뇌파 신호에 대한 동기율, 편향성 평균, 편향성 요동폭, 상호상관도, 정규화된 상호상관도를 각각 계산함으로써, 상기 두 뇌파 신호의 시공간적 상호관계를 계산하고, 해당 뇌파 신호의 특징을 추출한다(42 단계). 그리고, 상기 판별 결과 도 2에 도시된 바와 같이 세 지점 이상에서 뇌파가 측정되었으면, 각 측정 신호들을 중복되지 않는 복수 개의 데이터 쌍으로 분류한다(43 단계). 예를 들어, 3 개의 뇌파 신호(s1, s2, s3)가 취득된 경우, 이들 뇌파 신호(s1, s2, s3)는 (s1, s2), (s1, s3), (s2, s3)의 데이터 쌍으로 분류된다(43 단계). 이어서, 각 데이터 쌍((s1, s2), (s1, s3), (s2, s3))을 구성하는 두 뇌파 신호들에 대한 동기율, 편향성 평균, 편향성 요동폭, 상호상관도, 정 규화된 상호상관도를 상기 데이터 쌍별로 각각 계산함으로써, 각 데이터 쌍이 가지고 있는 뇌파의 시공간적 상호관계를 계산하고, 해당 뇌파 신호의 특징을 추출한다(44 단계).FIG. 4 is a detailed flowchart of the calculation and feature detection step (step 40) of the temporal and spatial correlation of the brain waves shown in FIG. 3. Referring to FIG. 4, in
뇌파의 시공간적 상호관계의 계산은, 뇌파의 시공간적 상호관계를 정량화 하는 변수들의 계산으로 이루어진다. 본 발명에서 뇌파가 가지고 있는 특징을 추출하기 위해 계산하는 변수에는 동기율(synchronization Rate), 편향성(polarity) 평균, 편향성 요동폭, 상호상관도(cross-correlation), 정규화된 상호상관도(normalized cross-correlation)의 5가지 변수가 있다. The calculation of the temporal and spatial correlation of EEG consists of the calculation of variables that quantify the temporal and spatial correlation of EEG. Variables calculated to extract features of EEG in the present invention include a synchronization rate, a polarity average, a deflection fluctuation width, a cross-correlation, and a normalized cross. There are five variables of -correlation.
동기율은 두 곳에서 측정된 뇌파(도 1의 s1, s2 참조)가 같이 증가하거나 같이 감소하는 정도를 나타내는 변수이고, 편향성은 두 곳에서 측정된 뇌파 성분(s1, s2)으로 구성되는 위상 공간에서의 회전 방향을 의미한다. 이는, 측정이 이루어진 두 곳 중에서 어느 곳이 먼저 활성화되는지를 나타내는데 사용된다. 이와 같은 동기율과 편향성은 다음과 같다.Synchronization rate is a variable indicating the degree to which the EEG measured at two places (see s1 and s2 in FIG. 1) increases or decreases together, and the bias is a phase space composed of the EEG components (s1 and s2) measured at two places. The direction of rotation in. This is used to indicate which of the two places where the measurement is made is activated first. This motivation and bias are as follows.
[수학식 1][Equation 1]
[수학식 2][Equation 2]
위의 [수학식 1]은 동기율을, [수학식 2]는 편향성을 각각 나타낸다. 여기 서, s1과 s2는 두 위치에서 측정된 뇌파 신호이고, 벡터 s는 s1과 s2로 이루어진 2차원 벡터이다. 동기율의 정의에서 사용된 H(x)는 x가 음수이거나 0일 때는 0의 값을 가지고, 양수일 때는 1의 값을 갖는 스텝 함수(step function)이고, w는 동기율을 계산하는 구간 크기이다. 편향성의 정의에 사용된 단위 벡터 θ는 s1과 s2로 이루어지는 위상 공간에서 원점을 중심으로 시계반대방향으로 회전하는 단위 벡터이다. 편향성 평균은 일정 구간에 있는 편향성들의 평균값을 의미하고, 편향성 요동폭은 일정 구간에 있는 편향성의 표준편차 등으로 표현될 수 있다. [Equation 1] represents the synchronization rate, and [Equation 2] represents the deflection. Here, s1 and s2 are brain wave signals measured at two positions, and vector s is a two-dimensional vector composed of s1 and s2. H (x) used in the definition of synchronization rate is a step function that has a value of 0 when x is negative or 0, and a value of 1 when positive, and w is the interval size for calculating the synchronization rate. . The unit vector θ used to define the deflection is a unit vector that rotates counterclockwise around the origin in the phase space consisting of s1 and s2. The deflection mean may mean an average value of deflections in a certain section, and the deflection fluctuation width may be expressed as a standard deviation of deflection in a certain section.
상호상관도는 두 뇌파 신호 각각이 상대 뇌파 신호와 상관된 정도를 나타내는 변수로서, 신호처리 분야에서 사용되는 일반적인 정의를 따른다. 정규화된 상호상관도 역시 신호처리 분야에서 사용되는 일반적인 정의를 따르며, 이는 상호상관도에서 두 신호(s1, s2) 각각의 자체상관도(auto-correlation) 값의 곱의 제곱근으로 나누어준 값으로 정의된다. Cross-correlation is a variable that indicates the degree to which two EEG signals correlate with relative EEG signals, and follows the general definition used in the field of signal processing. Normalized cross-correlation also follows the common definition used in the field of signal processing, which is defined as the square root of the product of the auto-correlation values of each of the two signals (s1, s2) in the cross-correlation diagram. do.
이와 같은 계산 방법에 의해 구해진 5 가지 변수(즉, 동기율, 편향성 평균, 편향성 요동폭, 상호상관도, 정규화된 상호상관도)는 각각 선형결정함수, 신경회로망 등과 같은 분별 방법에 뇌파의 특징을 나타내는 변수로 적용되어, 사용자의 인지적 긍정/부정 의사를 분별하게 된다. The five variables (i.e. synchronism rate, bias average, deflection fluctuation width, cross-correlation, and normalized cross-correlation) obtained by this calculation method are used to classify the characteristics of EEG into classification methods such as linear decision function and neural network. It is applied as a variable to indicate the user's cognitive affirmation / negative intention.
사용자의 인지적 긍정/부정 의사의 분별하는데 사용되는 특징으로는, 위에서 언급한 여러 변수 중에서 한 변수(예를 들면, 동기율)를 단독으로 사용하거나, 여러 변수(예를 들면, 동기율과 편향성 평균)를 복합하여 사용할 수 있으며, 한 가지 종류의 변수에 있어서도 변수의 계산에 사용된 매개변수(parameter), 예를 들면 구 간 크기를 달리한 계산한 값들을 사용(예를 들면, 0.5초 구간에 대한 편향성 평균과 0.25초 구간에 대한 편향성 평균 사용)할 수도 있고, 각 변수들의 시간에 대한 변화 양상을 보여주는 특징들의 시계열(time series)을 사용(예를 들면, 0.5초 전부터 0.1초 간격으로 계산한 동기율 시계열 사용)할 수도 있다. 그리고, 도 2와 같이 측정 부위가 세 곳 이상인 경우에는, 각 데이터 쌍별로 계산된 변수들을 각각 사용할 수도 있다. 이 때, 사용자의 인지적 긍정/부정 의사의 분별하는데 사용되는 특징은 적용장치의 효율성 등을 고려하여 조절할 수 있다. Features used to discern the user's cognitive affirmation / negative intentions include the use of one of the variables mentioned above (e.g., motivational rate) alone, or several variables (e.g., motivational rate and bias). Average), and for one type of variable, the parameters used to calculate the variable, for example, calculated values with different section sizes (for example, 0.5 second intervals) Using a time series of features that show the variation over time of each variable (e.g., computed at intervals of 0.1 seconds before 0.5 seconds). You can also use a synchronization time series. In addition, when there are three or more measurement sites as shown in FIG. 2, variables calculated for each data pair may be used. At this time, the features used to discern the cognitive affirmation / denial of the user can be adjusted in consideration of the efficiency of the application device.
도 5는 도 3에 도시된 사용자의 긍정/부정 의사 분별 단계에 사용되는 인공신경회로망을 보여주는 도면이다. 앞에서 설명한 바와 같이, 동기율, 편향성 평균, 편향성 요동폭, 상호상관도, 정규화된 상호상관도와 같은 뇌파의 시공간적 특징을 나타내는 변수들이 계산이 되면(도 3의 40 단계 참조), 본 발명에 의한 사용자의 긍정/부정 의사 분별 방법에서는 이 변수들을 각각 선형결정함수, 신경회로망 등과 같은 분별 방법에 적용하여 사용자의 인지적 긍정/부정 의사를 분별하게 된다(도 3의 50 단계 참조). 도 5를 참조하면, 인공신경회로망은 입력층(input layer ; 51), 은닉층(hidden layer ; 52), 및 출력층(node level output layer ; 53)을 포함하는 다중 퍼셉트론(multilayer perceptron)으로 구성된다. 도 3 및 도 4에 도시된 방법에 의해 뇌파의 시공간적 특징을 나타내는 변수들(예를 들면, 동기율, 편향성 평균, 편향성 요동폭, 상호상관도, 정규화된 상호상관도)이 계산되면, 상기 변수들은 인공신경회로망의 입력층(51)으로 입력되어 인공신경회로망의 학습이 시작된다. 여기서, 인공신경회로망의 학습은 공지의 오차 역전파 알고리즘(error backpropagation algorithm) 등을 통해 이루어지며, 이미 학습이 되어 있는 인공신경회로망의 경우 상기 입력층(51)을 통해 입력되는 변수들에 응답해서 사용자의 인지적 긍정/부정 의사가 판별되고, 판별된 데이터가 출력층(53)을 통해 출력된다.FIG. 5 is a diagram illustrating an artificial neural network used in the affirmative / negative pseudo-discrimination step of the user illustrated in FIG. 3. As described above, when variables representing the temporal and temporal characteristics of EEG such as synchronization rate, deflection mean, deflection fluctuation width, cross-correlation, and normalized cross-correlation are calculated (see
도 6은 본 발명에 따른 사용자의 인지적 긍정/부정 의사의 분별 방법을 컴퓨터 인터페이스에 이진 트리 형식으로 적용한 일례를 보여주는 흐름도이다. 도 6을 참조하면, 컴퓨터는 먼저 사용자에게 인지적 긍정/부정 의사가 필요한 질문 1을 제기한다(100 단계). 이어서, 사용자가 상기 질문 1에 응답해서 인지적 긍정/부정의 의사를 결정하게 되면, 질문 1에 대한 사용자의 인지적 긍정/부정 의사가 분별된다(101 단계). 분별 결과, 만약 사용자가 긍정의 의사를 결정한 것으로 판단되면 컴퓨터는 사용자에게 질문 2-1을 제기한다(111 단계). 그리고 만약 사용자가 부정의 의사를 결정한 것으로 판단되면 컴퓨터는 사용자에게 질문 2-2를 제기한다(112 단계). 6 is a flowchart illustrating an example of applying a user's cognitive affirmation / denial pseudo discrimination method in a binary tree format to a computer interface. Referring to FIG. 6, the computer first asks the user a
111 단계에서 질문 2-1이 제기되면, 사용자는 상기 질문에 응답해서 인지적 긍정/부정의 의사를 결정하고, 사용자의 인지적 긍정/부정 의사 결정에 대한 분별이 수행된다(121 단계). 분별 결과, 만약 사용자가 긍정의 의사를 결정한 것으로 판단되면, 컴퓨터는 소정의 기능이 선택될 때까지 사용자에게 다음 질문을 계속해서 제기한다. 이렇게 구성된 2진 트리를 계속 따라가다가 소정의 기능에 이르게 되면(181 단계, 182 단계, …, 또는 189 단계), 해당 기능을 수행할 수 있도록 컴퓨터의 기능이 활성화된다. 이와 같이 소정의 기능이 컴퓨터 내에서 활성화되면 선택된 기능을 수행한다(191 단계, 192 단계, …, 또는 199 단계). When question 2-1 is raised in
예를 들어, 컴퓨터가 "문서 편집을 하시겠습니까?"라는 질문을 질문 1로서 제기한 후(100 단계 참조), 사용자가 내린 긍정/부정 의사가 긍정으로 판단된 경우, 컴퓨터는 "문서 편집기 A를 사용하시겠습니까?"라는 질문을 질문 2-1로서 제시한다(111 단계 참조). 이 경우, 사용자가 긍정의 의사를 나타낸 것으로 판별되면 컴퓨터는 상기 질문 2-1에 의해 도출되는 최종 결과로서 문서 편집기 A를 활성화시키고, 실행시켜 준다(181, 191 단계 참조). 그리고, 만약 질문 2-1에 대해 사용자가 부정의 의사를 나타낸 것으로 판별되면, "문서 편집기 B를 사용하시겠습니까?" 라는 또 다른 문제를 제기하고, 상기 질문에 대한 사용자의 긍정/부정 의사 판단 결과에 따라 문서 편집기 B를 실행시켜 주거나, 또 다른 질문을 제기한다. For example, if the computer raises the question "Do you want to edit the document?" As Question 1 (see step 100), then if the user's affirmative / negative decision is affirmative, the computer uses "Document Editor A." Would you like to do it? "As question 2-1 (see step 111). In this case, if it is determined that the user has indicated affirmative intention, the computer activates and executes the text editor A as the final result derived by question 2-1 (see
이와 같이, 본 발명에 따른 사용자의 인지적 긍정/부정 의사 결정 방법을 컴퓨터 인터페이스에 적용시키면 기존의 생체신호를 이용한 컴퓨터 인터페이스 기술 등과는 달리, 미리 정해져 있는 의도적인 행위를 하지 않고도 사람의 의사결정을 포착할 수 있다. 그리고, 미합중국 특허 제5,649,061호 및 대한민국 특허 등록번호 제 10-0291596호에 개시된 방법에 비해 긍정/부정 의사 분별 속도가 빠른 장점을 가지고 있다. 따라서, 생체신호 기반 컴퓨터 인터페이스 기술, 특히 뇌파 기반 컴퓨터 인터페이스 기술의 편의성을 향상시켜서, 장애인은 물론, 일반인도 손쉽게 사용할 수 있는 뇌파 기반 컴퓨터 인터페이스를 구현할 수 있다. As described above, when the user's cognitive affirmation / decision making method according to the present invention is applied to a computer interface, unlike a conventional computer interface technology using a biosignal, a human decision can be made without a predetermined intentional action. Can be captured. In addition, compared to the methods disclosed in US Patent No. 5,649,061 and Korean Patent Registration No. 10-0291596, it has an advantage of a faster speed of discrimination of false positives / false negatives. Therefore, by improving the convenience of the biosignal-based computer interface technology, in particular EEG-based computer interface technology, it is possible to implement an EEG-based computer interface that can be easily used by the general public as well as the disabled.
특히, 인지적 긍정/부정 의사가 인간의 가장 기본적인 의사라는 측면에서 이를 이용한 컴퓨터 인터페이스에 대해 구체적으로 예시되었으나, 그밖에도 상기 인터페이스는 현재 사용되고 있는 다른 시스템에도 접목이 용이하며, 다른 여러 장치 의 제어에도 본 발명을 적용할 수 있다. In particular, although the cognitive affirmative / negative doctor has been specifically illustrated for the computer interface using the same in terms of being the most basic human doctor, the interface can be easily applied to other systems that are currently used, and it is also possible to control other devices. The present invention can be applied.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.The invention can also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may also be implemented in the form of a carrier wave (for example, transmission over the Internet). Include. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
이상에 설명한 바와 같이, 본 발명에 의한 뇌파의 시공간적 상호관계를 이용한 긍정/부정 의사 분별 방법에 의하면, 본 발명은 사람이 생각할 때 자연스럽게 발생하는 뇌파의 특징, 즉 뇌파의 시공간적 상호관계를 분석하여, 인간의 가장 기본적인 의사 중의 하나인 인지적 긍정/부정 의사를 분별한다. 이는, 의사 전달을 위해서 미리 정한 약속대로 인위적인 생체신호를 발생시키는 형태가 아니기 때문에, 회로의 구성이 간단하고, 상기 긍정/부정의 의사 분별을 실시간으로 구현할 수 있다. 따라서, 컴퓨터 인터페이스 등에 쉽게 응용될 수 있다.As described above, according to the positive / negative pseudo-discrimination method using the spatiotemporal correlation of brain waves according to the present invention, the present invention analyzes the characteristics of brain waves that occur naturally when a person thinks, that is, the spatiotemporal correlation of brain waves. Discern cognitive affirmations, one of the most basic human doctors. Since it is not a form of generating an artificial bio-signal according to a predetermined promise for communication, the circuit configuration is simple and the positive / negative pseudo classification can be realized in real time. Therefore, it can be easily applied to a computer interface or the like.
Claims (11)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020010051001A KR100546770B1 (en) | 2001-08-23 | 2001-08-23 | Method for discriminating yes/no decision of human being based on spatio-temporal relationship of brain waves |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020010051001A KR100546770B1 (en) | 2001-08-23 | 2001-08-23 | Method for discriminating yes/no decision of human being based on spatio-temporal relationship of brain waves |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20030016921A KR20030016921A (en) | 2003-03-03 |
KR100546770B1 true KR100546770B1 (en) | 2006-01-25 |
Family
ID=27720504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020010051001A KR100546770B1 (en) | 2001-08-23 | 2001-08-23 | Method for discriminating yes/no decision of human being based on spatio-temporal relationship of brain waves |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100546770B1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100612046B1 (en) | 2003-12-22 | 2006-08-14 | 한국전자통신연구원 | Method and appratus for recognizing positive/negative intention using fine change of gamma wave of brain wave |
KR101238780B1 (en) * | 2011-03-03 | 2013-03-04 | 서울대학교산학협력단 | Devices and methods for readiness potential-based brain-computer interface |
WO2018021603A1 (en) * | 2016-07-29 | 2018-02-01 | 한양대학교 에리카산학협력단 | Electronic device driving device using brainwave |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR19990039692A (en) * | 1997-11-13 | 1999-06-05 | 정선종 | EEG method for discrimination of positive / negative emotional state |
KR20000006606A (en) * | 1999-03-23 | 2000-02-07 | 박병운 | Real-time brain wave analysis system using FFT and method thereof |
KR20010057875A (en) * | 1999-12-23 | 2001-07-05 | 오길록 | Apparatus and method for making a judgement on positive and negative intention by using the EEG |
-
2001
- 2001-08-23 KR KR1020010051001A patent/KR100546770B1/en not_active IP Right Cessation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR19990039692A (en) * | 1997-11-13 | 1999-06-05 | 정선종 | EEG method for discrimination of positive / negative emotional state |
KR20000006606A (en) * | 1999-03-23 | 2000-02-07 | 박병운 | Real-time brain wave analysis system using FFT and method thereof |
KR20010057875A (en) * | 1999-12-23 | 2001-07-05 | 오길록 | Apparatus and method for making a judgement on positive and negative intention by using the EEG |
Also Published As
Publication number | Publication date |
---|---|
KR20030016921A (en) | 2003-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bousseta et al. | EEG based brain computer interface for controlling a robot arm movement through thought | |
Haag et al. | Emotion recognition using bio-sensors: First steps towards an automatic system | |
US20150134580A1 (en) | Method And System For Training A Neural Network | |
US5447166A (en) | Neurocognitive adaptive computer interface method and system based on on-line measurement of the user's mental effort | |
Acır et al. | Automatic classification of auditory brainstem responses using SVM-based feature selection algorithm for threshold detection | |
SG172262A1 (en) | Device and method for generating a representation of a subject's attention level | |
Taherisadr et al. | ECG-based driver inattention identification during naturalistic driving using Mel-frequency cepstrum 2-D transform and convolutional neural networks | |
Nuamah et al. | Electroencephalography (EEG) classification of cognitive tasks based on task engagement index | |
Cai et al. | Machine-learning approaches for recognizing muscle activities involved in facial expressions captured by multi-channels surface electromyogram | |
US20220051586A1 (en) | System and method of generating control commands based on operator's bioelectrical data | |
Hsu | Brain–computer interface: the next frontier of telemedicine in human–computer interaction | |
Kumar et al. | A framework for a real time intelligent and interactive Brain Computer Interface | |
Milan et al. | Adaptive brain interfaces for physically-disabled people | |
Singh et al. | A deep neural network approach for P300 detection-based BCI using single-channel EEG scalogram images | |
KR100546770B1 (en) | Method for discriminating yes/no decision of human being based on spatio-temporal relationship of brain waves | |
Blankertz et al. | Detecting mental states by machine learning techniques: the berlin brain–computer interface | |
Robert-Béla et al. | An analysis of Electro-oculogram signals processing using Artificial Neural Networks | |
Adam et al. | Evaluation of different time domain peak models using extreme learning machine-based peak detection for EEG signal | |
KR102142183B1 (en) | Method for estimating emotion based on psychological activity and biosignal of user and system therefor | |
Rao et al. | Statistical pattern recognition and machine learning in brain–computer interfaces | |
Brandão et al. | Controlling devices using biological signals | |
Ho et al. | Brain-wave bio potentials based mobile robot control: wavelet-neural network pattern recognition approach | |
Salimi-Khorshidi et al. | Fusion of classic P300 detection methods’ inferences in a framework of fuzzy labels | |
Bhatnagar et al. | Linear discriminant analysis classifies the EEG spectral features obtained from three class motor imagination | |
Nataraj et al. | Thought-actuated wheelchair navigation with communication assistance using statistical cross-correlation-based features and extreme learning machine |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
J201 | Request for trial against refusal decision | ||
AMND | Amendment | ||
E902 | Notification of reason for refusal | ||
B601 | Maintenance of original decision after re-examination before a trial | ||
J301 | Trial decision |
Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20040824 Effective date: 20051130 |
|
S901 | Examination by remand of revocation | ||
GRNO | Decision to grant (after opposition) | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20090102 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |