KR101811365B1 - 뇌파의 인과적 연결성을 이용한 뇌지문 탐지 장치 및 방법 - Google Patents
뇌파의 인과적 연결성을 이용한 뇌지문 탐지 장치 및 방법 Download PDFInfo
- Publication number
- KR101811365B1 KR101811365B1 KR1020160105488A KR20160105488A KR101811365B1 KR 101811365 B1 KR101811365 B1 KR 101811365B1 KR 1020160105488 A KR1020160105488 A KR 1020160105488A KR 20160105488 A KR20160105488 A KR 20160105488A KR 101811365 B1 KR101811365 B1 KR 101811365B1
- Authority
- KR
- South Korea
- Prior art keywords
- brain
- brain regions
- eeg
- causal connectivity
- measurement
- Prior art date
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 204
- 230000001364 causal effect Effects 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims description 43
- 238000005259 measurement Methods 0.000 claims abstract description 89
- 230000000007 visual effect Effects 0.000 claims abstract description 45
- 230000004913 activation Effects 0.000 claims abstract description 41
- 238000001514 detection method Methods 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 9
- 230000004397 blinking Effects 0.000 claims description 8
- 230000001054 cortical effect Effects 0.000 claims description 5
- 230000000763 evoking effect Effects 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims description 4
- 238000003325 tomography Methods 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims 1
- 230000001149 cognitive effect Effects 0.000 abstract description 4
- 230000000638 stimulation Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 210000004761 scalp Anatomy 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 210000001525 retina Anatomy 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 210000000133 brain stem Anatomy 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000001328 optic nerve Anatomy 0.000 description 2
- 230000003925 brain function Effects 0.000 description 1
- 210000000974 brodmann area Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005714 functional activity Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000002739 subcortical effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- A61B5/048—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
- A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
-
- A61B5/04012—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/378—Visual stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4884—Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
- G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
- G06F2218/16—Classification; Matching by matching signal segments
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Theoretical Computer Science (AREA)
- Psychiatry (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Psychology (AREA)
- Computer Security & Cryptography (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Physiology (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Hospice & Palliative Care (AREA)
Abstract
뇌지문 탐지 시, 기설정된 시각 자극을 디스플레이의 화면에 출력하고, 디스플레이의 화면에 출력된 시각자극의 적어도 일부를 선택적으로 주시하는 측정 대상의 인지적 뇌파 신호에 기초하여 기설정된 복수의 뇌 지역 중 둘 이상의 뇌 지역 간의 인과적 연결성(causal connectivity)을 검출하고, 검출된 인과적 연결성에 기초하여 뇌 지역간 인과적 연결성의 활성화 패턴을 인식하고, 인식된 뇌 지역간 인과적 연결성의 활성화 패턴을 뇌지문으로 사용하여 측정 대상을 식별한다.
Description
본 발명은 뇌파의 인과적 연결성을 이용하여 뇌지문을 탐지하는 뇌지문 탐지 장치 및 방법에 관한 것이다.
뇌의 전기적 활동을 측정하여 뇌파를 획득하고, 뇌파의 주파수(frequency) 및 진폭(amplitude) 등의 특성을 검출하여 각 파형의 의미를 알아내고자 하는 연구가 계속되고 있다. 최근들어 뇌파를 이용한 연구 중 뇌지문 기술이 주목받고 있으나, 현재까지 초보적인 단계에 머무르고 있다.
이와 관련하여, 대한민국 공개특허 제10-2004-0019013호(발명의 명칭: 뇌지문의 채취와, 뇌기능의 측정, 평가 및 분석을 위한 장치 및 방법)에서는, 피검자가 자극에 대한 지식을 가지고 있는 경우 자극으로서 피검자의 특정 뇌반응의 영향에 대해 조사중인 상황에 관련된 탐색 자극(probe stimuli), 상황에 관련 없는 무관련 자극(irrelevant stimuli), 및 피검자에게 주목할 만한 것으로 확인된 특징과 조사중인 상황에 관련 있는 특징 중 적어도 하나를 갖는 목표 자극(target stimuli)을 포함하는 자극을 피검자에게 제공하고, 목표 자극과 기타 자극을 구별하여 명백한 반응을 통해 전달하는 것을 포함하는 태스크를 할당하고, 각각의 자극에 응답하는 피검자로부터의 전기적인 뇌반응을 검출하고, 특정 뇌반응 내의 것을 밝혀내기 위해 전기적인 뇌반응을 분석하고, 탐색 자극에 응답하는 특정 뇌반응의 유무에 기초하여 피검자의 뇌에 정보의 존재 유무를 검출하기 위해 탐색 자극, 무관련 자극 및 목표 자극에 기인한 상기 전기적인 뇌반응을 비교하는, 피검자의 뇌에 저장된 정보를 검출하는 방법을 개시하고 있다.
이처럼 기존의 뇌지문 기술은 뇌파 신호를 단순히 피검자의 상태, 거짓말 여부 또는 뇌에 저장된 임의의 정보의 유무를 유추하는 조건 정도로서 이용한다는 한계가 있었다.
한편, 뇌파 신호의 인지적 속성(cognitive property)에 따른 매개 변수들을 분석하여 뇌와 기계 간 인터페이스를 처리하는 다양한 기술들이 개발되고 있다. 이러한 뇌파 신호의 인지적 속성으로서, 제시된 자극이나 사건과 관련되어 나타나는 뇌전위인 사건 관련 전위(Event-Related Potential, ERP)를 이용할 수 있다. 사건 관련 전위를 지문과 같이 측정 대상을 구분할 수 있는 고유의 식별 정보(즉, 뇌지문)로서 이용할 수 있는 뇌지문 기술 및 이러한 뇌지문 기술을 실제 뇌-기계 인터페이스에 적용할 수 있는 방법에 대한 요구가 커지고 있다.
본 발명의 일 실시예는 측정 대상마다 다르게 측정되는 뇌파의 인지적 특정 성분을 검출하여 뇌지문으로서 인식하는 뇌지문 탐지 장치 및 방법을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기와 같은 기술적 과제를 달성하기 위한 본 발명의 일 측면에 따른 뇌지문 탐지 장치는, 기설정된 시각 자극을 출력하는 디스플레이; 상기 시각 자극의 적어도 일부를 선택적으로 주시하는 측정 대상의 뇌파 신호에 기초하여 측정 대상 별 고유의 뇌지문을 탐지하여 측정 대상을 식별하는 뇌지문 탐지 프로그램이 저장된 메모리; 및 상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 뇌지문 탐지 프로그램의 실행에 대응하여, 상기 뇌파 신호에 기초하여 기설정된 복수의 뇌 지역 중 둘 이상의 뇌 지역 간의 인과적 연결성(causal connectivity)을 검출하고, 상기 인과적 연결성에 기초하여 뇌 지역 간 인과적 연결성의 활성화 패턴을 인식하고, 상기 인식된 뇌 지역 활성화 패턴을 뇌지문으로 사용하여 해당 측정 대상을 식별한다.
또한 본 발명의 다른 측면에 따른 뇌지문 탐지 장치를 통한 뇌지문 탐지 방법은, 기설정된 시각 자극을 디스플레이의 화면에 출력하는 단계; 상기 디스플레이의 화면에 출력된 시각자극의 적어도 일부를 선택적으로 주시하는 측정 대상의 뇌파 신호에 기초하여 기설정된 복수의 뇌 지역 중 둘 이상의 뇌 지역 간의 인과적 연결성(causal connectivity)을 검출하는 단계; 상기 검출된 인과적 연결성에 기초하여 뇌 지역 간 인과적 연결성의 활성화 패턴을 인식하는 단계; 및 상기 인식된 뇌 지역 간 인과적 연결성의 활성화 패턴을 뇌지문으로 사용하여 상기 측정 대상을 식별하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자 별로 고유한 뇌파의 인과적 연결성 패턴을 인식하여 뇌지문으로 사용함으로써, 의도적으로 시각 자극의 선택적인 부분을 주시할 때 발생하는 사용자 고유의 뇌파의 인과적 연결성만으로 복수의 사용자를 정확하게 구별할 수 있다.
그리고, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 점멸하는 라인 배열을 뇌파 유도용 시각 자극으로 구현함으로써, 사용자 식별이 필요한 다양한 장비들에 시각 자극 수단을 간편하게 구현할 수 있으며 이를 통해 뇌지문 탐지 장치와 다른 장비들을 용이하게 연동할 수 있다.
도 1은 본 발명의 일 실시예에 따른 뇌지문 탐지 장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 시각 자극용 라인 배열의 일례를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 측정 대상 별 뇌파에 따른 활성화 부위 및 활성화 부위 간 인과적 연결성을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 뇌파 인과적 연결성을 이용한 뇌지문 탐지 과정을 설명하기 위한 개념도이다.
도 5는 본 발명의 일 실시예에 따른 뇌지문 탐지 방법을 설명하기 위한 순서도이다.
도 2는 본 발명의 일 실시예에 따른 시각 자극용 라인 배열의 일례를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 측정 대상 별 뇌파에 따른 활성화 부위 및 활성화 부위 간 인과적 연결성을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 뇌파 인과적 연결성을 이용한 뇌지문 탐지 과정을 설명하기 위한 개념도이다.
도 5는 본 발명의 일 실시예에 따른 뇌지문 탐지 방법을 설명하기 위한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)' 또는 ‘모듈’이란, 하드웨어 또는 소프트웨어에 의해 실현되는 유닛(unit), 양방을 이용하여 실현되는 유닛을 포함하며, 하나의 유닛이 둘 이상의 하드웨어를 이용하여 실현되어도 되고, 둘 이상의 유닛이 하나의 하드웨어에 의해 실현되어도 된다.
도 1은 본 발명의 일 실시예에 따른 뇌지문 탐지 장치의 구성을 나타내는 도면이다. 그리고 도 2는 본 발명의 일 실시예에 따른 시각 자극용 라인 배열의 일례를 나타낸 도면이다.
도 1에 도시한 바와 같이, 뇌지문 탐지 장치(100)는 디스플레이(110), 뇌파측정기(120), 메모리(130), 프로세서(140)를 포함한다. 또한, 뇌지문 탐지 장치(100)는 연동된 다양한 다른 장비들과 신호를 송수신할 수 있는 통신 모듈(150)을 더 포함할 수 있다.
디스플레이(110)는 프로세서(140)의 제어에 따라 측정 대상에게 임의의 특성의 뇌파 발생을 유도하는 시각 자극을 출력한다.
이때, 디스플레이(110)는 각 설정된 주파수로 점멸(flickering)하는 둘 이상의 라인(line)으로 구성된 라인 배열을 화면에 출력할 수 있다. 디스플레이(110)의 화면 상에는 라인 배열이 꽉 차게 또는 일정 크기로 배치될 수 있다. 이러한 경우, 디스플레이(110) 상에 출력된 라인 배열의 크기는 디스플레이(110)를 주시하는 측정 대상의 거시적 안구 운동(macroscopic eye-movement)이 필요없는 크기로 설계될 수 있다. 더불어, 디스플레이(110)가 설치되는 위치 또한 측정 대상의 거시적 안구 운동이 필요치 않도록 적합한 거리에 설치될 수 있다. 디스플레이(110)는LCD(liquid crystal display) 장치, LED(light emitting diode) 장치, 터치스크린 등 소재와 크기에 관계없이 화면 상에 발광 라인의 출력이 가능한 모든 장치 또는 수단을 포함한다.
뇌파 측정기(120)는 디스플레이(110) 상에 출력된 시각 자극을 주시하는 측정 대상의 뇌파 신호(Electroencephalogram, EEG)를 측정한다. 이때, 뇌파 측정기(120)는 측정 대상의 뇌에서 발생하는 정상 상태 시각 유발 전위(Steady State Visual Evoked Potential, SSVEP)를 측정할 수 있다.
뇌파 측정기(120)는 접촉식 또는 비접촉식으로 뇌파를 측정할 수 있으며, 이러한 측정 방식의 종류는 한정되지 않고 다양한 방식을 사용할 수 있다. 또한 뇌파 측정기(120)는 뇌파 측정 전극 등의 측정 수단을 포함하는 뇌파 측정 장비 그 자체이거나 또는 뇌파 측정 장비와 연결되어 그 동작을 제어하여 측정된 뇌파 신호를 획득할 수 있다. 이때, 뇌지문 탐지 장치(100)의 구성 중 뇌파 측정기(120)를 포함한 적어도 일 구성은 뇌파 측정 장비와 일체형으로 구현될 수 있다. 예를 들어, 뇌파 측정 장비는 복수의 위치에 뇌파 측정 수단(즉, 측정 전극 등)이 장착된 헤드셋 형태로 구현될 수 있다.
뇌파 측정기(120)는 측정 대상의 기설정된 복수의 뇌 지역에서의 뇌파 크기를 시간 축에서 연속하여 측정한다. 이때, 뇌파 측정기(120)의 뇌파 측정 수단은 측정 대상의 뇌 부위 중 기설정된 복수의 뇌 지역에 각각 대응하는 위치에서 작용할 수 있다. 예를 들어, 뇌파 측정기(120)는 국제 10-20 전극 배치 시스템(International 10-20 sensor placement system) 등을 적용하여 측정대상의 뇌 부위 중 기설정된 복수의 채널에서 뇌파 신호를 측정할 수 있다.
참고로, 측정 대상이 사전에 설정된 복수의 형상 중 임의의 형상을 연상(즉, 의도)하면서 디스플레이(110)에 출력된 라인 배열을 주시할 경우, 라인 배열 중 측정 대상이 연상한 형상에 대응된 적어도 하나의 라인의 점멸 주파수에 의한 주파수 특성을 갖는 뇌파 신호가 측정될 수 있다. 이때, 뇌파를 측정하는 복수의 뇌 지역은 측정 대상의 뇌 부위 중 시각 정보의 처리를 담당하는 후두엽 상의 복수의 지역으로 설정될 수 있으며, 이에 한정되지 않는다.
메모리(130)에는 뇌파 측정기(120)를 통해 측정된 뇌파 신호에 기초하여 측정 대상 별 고유의 뇌지문을 탐지하여 측정 대상을 식별하는 뇌지문 탐지 프로그램이 저장되어 있다. 참고로, 메모리(130)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.
프로세서(140)는 메모리(130)에 저장된 프로그램을 실행하여 그에 따른 처리들을 수행한다.
프로세서(140)는 뇌지문 탐지 프로그램의 실행에 대응하여 다음과 같은 처리(또는 동작)를 수행한다.
프로세서(140)는 디스플레이(110) 상에 기설정된 시각 자극이 출력되도록 제어한다. 이때, 프로세서(140)는 디스플레이(110)에 라인 배열을 시각 자극으로서 출력할 경우, 라인 배열의 각 라인 별 점멸 주파수를 설정하되 각 라인들이 서로 상이한 주파수로 점멸되도록 제어할 수 있다.
참고로, 디스플레이(110)에 출력되는 라인 배열은 시각 자극을 통해 측정 대상의 뇌파 신호(EEG)를 유도하기 위한 것으로서, 각 라인이 일정 휘도(예를 들어, 평균 휘도 136 cd/m2)로 발광할 수 있다. 이때, 각 라인은 적색 또는 녹색 중 어느 하나의 색으로 표시될 수 있으며, 이는 사람의 망막(retina)의 중심안와(fovea)에 상대적으로 많이 분포되어 있는 시신경 원추 세포(cone cell)가 적색 및 녹색을 감지하는 세포들이기 때문이다. 또한, 라인 배열의 각 라인들은 백색 혹은 회색으로 표시되는 것도 가능하며, 이는 망막의 대부분의 위치에 넓게 분포하고 있는 간상체(rod cell)를 이용하기 위해서이다. 이 밖에도, 라인 배열의 각 라인들의 색은 시각이 인식할 수 있는 모든 종류의 색으로 표시될 수 있다.
프로세서(140)는 디스플레이(110)의 화면 상에 각 라인들이 일정 간격으로 배치된 라인 배열을 출력할 수 있다. 이때, 라인들 간의 간격은 정신물리학적으로 의미가 있는 것으로, 사전에 실험을 통한 결과에 기초하여 설정될 수 있다. 즉, 라인 간에 충분한 시각적 구분 분해능을 가질 수 있도록 일정 간격으로 배치된다. 예를 들어, 라인 배열의 최대 크기(또는 길이)에 의한 시야각(visual angle)이 8° 내지 10° 이하로 구성되도록 라인 간의 간격을 설정할 수 있다. 이는, 안구 망막에 맺히는 상(image)이 맹점(blind spot)에 떨어지지 않고, 모든 라인의 빛이 시신경이 온전하게 검출되게 하기 위함이다. 즉, 라인 배열에 의한 시각 자극이 측정 대상의 망막의 맹점 영역에는 이르지 않으면서, 시각 정보 처리가 가장 정교하게 일어나는 중심안와(fovea) 영역의 중심에 맺히도록 설정된다.
예를 들어, 프로세서(140)는 라인 배열의 둘 이상의 라인들이 격자형으로 배치되어 출력되도록 제어할 수 있다. 즉, 도 2에 도시한 바와 같이, 라인 배열은 둘 이상의 라인들이 격자형(grid-shaped)으로 배치될 수 있다.
도 2의 (a) 및 (b)에서는, 라인 배열(P10)이 3개의 행(R1 내지 R3) 라인 및 3개의 열(C1 내지 C3) 라인이 행렬 형태로 배치된 것을 예로서 나타내었다. 이처럼, 라인 배열(P10)은 각각 상이한 주파수로 점멸하는 복수의 행 및 열을 포함하되, 행 라인 또는 열 라인이 각각 하나 이상의 열 라인 또는 행 라인과 교차되도록 배치되고, 행 라인 별로 또는 열 라인 별로 서로 일정 간격 이격될 수 있다.
이러한 3*3 격자형 라인 배열은 초소형으로 구현이 가능하면서도 다양한 형상(예를 들어, 문자 및 숫자 등)을 모두 표현할 수 있어 어떠한 장비에든 용이하게 적용할 수 있다. 다만 본 발명의 일 실시예에 따른 라인 배열의 형태 및 포함되는 라인의 개수는 이에 한정되지 않는다. 라인 배열에 포함되는 라인의 개수가 늘어날수록 측정 대상이 연상할 수 있는 형상의 개수가 많아지며, 좀 더 정교하고 다양한 형상을 연상할 수 있는 효과가 있다.
프로세서(140)는 복수의 점멸 주파수를 라인 배열의 각 라인에 랜덤하게 할당할 수 있다. 이때, 프로세서(140)는 점멸 주파수를 측정 대상의 뇌파 신호(EEG) 중 정상 상태 시각 유발 전위(SSVEP)를 유도하는데 효과적인 주파수(예를 들어, 5 내지 7.5 Hz)로 설정할 수 있다. 참고로, SSVEP 성분은 반복적인 시각 자극에 반응하는 뇌파를 이용한 성분로서, 예를 들어 점멸 자극을 보고 있으면 그 자극의 점멸 주파수와 동일한 주파수를 가진 뇌파가 물리적으로 유도된다.
도 2의 (a)에서는 라인 배열(P10) 중 제 1 행(R1) 라인은 5Hz, 제 2 행(R2) 라인은 6Hz, 제 3 행(R3) 라인은 7Hz로 점멸하도록 설정된 것을 나타내었다. 그리고, 라인 배열(P10) 중 제 1 열(C1) 라인은 5.5 Hz, 제 2 열(C2) 라인은 6.5 Hz, 제 3 열(C1) 라인은 7.5Hz로 점멸하도록 설정된 것을 나타내었다. 이처럼, 라인 배열(P10)의 모든 라인들은 각각 상이한 점멸 주파수로 설정된다.
또한, 프로세서(140)는 라인 배열(P10)의 라인 별로 지정된 점멸 주파수를 유지하며, 깜빡이는 자극을 전체 열 라인과 행 라인에서 지속적으로 유지하며 제시한다.
도 2의 (a)에서와 같이, 라인 배열에 포함된 모든 라인들이 각각 고유의 점멸 주파수로 지속적으로 깜박이는 상태에서, 도 2의 (b)에서와 같이 측정 대상의 주의 집중이 임의의 형상(예를 들어, 도 2의 (b)에서는 "T" 형상인 것을 나타냄)에 대응하는 라인에 주어지게 되면, 측정 대상 뇌파의 주도적인 특징 속성은 제 1 행(R1) 라인과 제 2 열(C2) 라인의 점멸 주파수 성분 또는 그 성분 조합에 대응된다. 이와 같은, 측정 대상이 연상할 수 있는 형상(예를 들어, 글자)은 격자 라인 배열이 이룰 수 있는 모든 조합에 의한 형상이라면 무엇이든 가능하다.
참고로, 프로세서(140)는 라인 별 점멸 주파수를 고주파로 설정하여 측정 대상의 눈의 피로를 감소시킬 수 있으며, 라인들의 휘도 차에 의한 임의의 효과를 배제하기 위하여 모든 라인들의 휘도를 동일하게 설정할 수 있다.
다시 도 1로 돌아가서, 측정 대상이 임의의 형상을 연상하며 디스플레이(110)에 출력된 시각 자극을 주시한 상태에서, 프로세서(140)는 뇌파 측정기(120)를 통해 측정된 측정 대상의 뇌파 신호를 수신한다. 그러면, 프로세서(140)는 수신된 뇌파 신호에 기초하여 기설정된 복수의 뇌 지역 중 둘 이상의 뇌 지역 간(예를 들어, 브로드만 영역 (Brodmann area))의 인과적 연결성(causal connectivity)을 검출한다.
이때, 프로세서(140)는 기설정된 복수의 뇌 지역 별로 측정된 센서 레벨의 뇌파 신호에 기초하여 뇌파 신호원 국소화(EEG source localization) 분석을 수행한다. 참고로, 프로세서(140)를 통해 처리되는 뇌파 신호는 측정 대상이 임의의 설정된 형상을 연상하며 디스플레이(110)의 시각 자극의 특정 라인 조합을 주시할 때 발생된 뇌파이다. 이는 사용자마다의 인지적 속성에 따라, 뇌파에 유의한 차이를 유발한다. 이를 통해, 디스플레이(110)의 라인 배열을 주시한 상태의 측정 대상의 복수의 뇌 지역 중 활성화된 뇌 지역을 검출할 수 있다. 그리고 프로세서(140)는 가장 활성화된 뇌 지역부터 가장 큰 인과적 연결성을 보이는 둘 이상의 뇌 지역을 순차적으로 선택한다.
구체적으로, 뇌파 측정기(120)를 통해 측정된 뇌파 신호의 신호 레벨은 측정 대상의 두피에서 측정된 센서 레벨(sensor level)일 수 있다. 프로세서(140)는 센서 레벨에 기초하여 뇌파 신호가 원래 발생된 근원 부위에 관한 소스 레벨(source level)을 분석한다.
이때, 프로세서(140)는 복수의 뇌 지역 별로 측정된 뇌파 신호의 신호 레벨들을 '저해상 전자기 단층촬영(Low resolution electromagnetic tomography, LORETA)' 기법 및 '피질 전류 밀도 소스 모델 (cortical current density source model)' 등을 통해 분석할 수 있으며, 그 분석 결과로서 뇌파의 근원 활성화(EEG source activity) 정도를 구할 수 있다. 그리고 프로세서(140)는 측정된 뇌파 신호에 대응하여 분석된 뇌 지역 별 근원 활성화 정도에 기초하여 가장 활성화된 둘 이상의 뇌 지역을 선택한다. 이때, 뇌파의 근원 활성화 정도는 신호 레벨의 파워에 기초하여 결정될 수 있다.
참고로, 뇌의 다양한 피질하 영역(subcortical region)의 활성은 두피 영역의 전자기적인 활성을 유발할 수 있으며, 이에 따라 서로 다른 두피 영역의 활성은 여러 뇌 지역의 상이한 구성 및 조합으로 인해 생성되는 것으로 유추할 수 있다. 따라서, 뇌파의 근원(source) 부위를 파악하기 위해서 역-프로그램 (inverse program)을 사용하여 두피 영역에서의 뇌파(즉, 센서 레벨)에 대응하는 근원 부위(즉, 소스 레벨)를 검출할 수 있다. 역-프로그램은 뇌의 기능적 활성 또는 저하 정도를 검출할 수 있는 기법으로서, 예를 들어 쌍극 모형 (dipolar model) 및 분포된 근원 모형(distributed source model) 등이 사용될 수 있다. 본 발명의 일 실시예에서는 분포된 근원 모형 중 하나인 '저해상 전자기 단층 촬영(LORETA)' 기법 및 ‘피질 전류 밀도 소스 모델 (cortical current density source model)’ 을 사용하였으며, 이를 통해 측정 대상의 뇌파에 대응된 활성화된 뇌 근원 부위 및 각 활성화 정도를 검출할 수 있다.
그런 다음, 프로세서(140)는 선택된 둘 이상의 뇌 지역에 대해 시간에 따른 방향성 있는 연관관계를 분석하며, 이를 통해 선택된 둘 이상의 뇌 지역 간 인과적 연결성을 검출한다.
이때, 프로세서(140)는 선택된 둘 이상의 뇌 지역 별 뇌파 신호를 그랜저 인과관계(Granger causality) 기법을 통해 분석하여, 선택된 둘 이상의 뇌 지역 간 인과적 연결성을 검출할 수 있다. 참고로, 그랜저 인과관계 분석을 통해 어떤 두 현상 사이에 인과관계가 존재하는지 여부를 판단할 수 있다. 프로세서(140)는 그랜저 인과관계 분석을 통해, 측정 대상의 활성화된 둘 이상의 뇌 지역 간의 방향성 있는 인과관계(즉, 인과적 연결성) 특성을 검출한다. 예를 들어, 복수의 두피 센서로부터 모아진 뇌파 신호들에 대해 다변량 자기회귀적 모델(multivariate autoregressive model)을 사용하여, 방향성 전달 함수(directed transfer function)를 통해 인과적 연결성의 정도를 구할 수 있다.
도 3은 본 발명의 일 실시예에 따른 측정 대상 별 뇌파에 따른 활성화 부위 및 활성화 부위 간 인과적 연결성을 나타낸 도면이다.
도 3의 (a)는 측정 대상의 뇌 지역 인과적 연결 정도(즉, 화살표의 색) 및 그에 따른 뇌 지역 간 인과적 연결 방향(즉, 화살표의 방향)을 나타냈다.
도 3의 (b)는 그랜저 인과관계 기법을 통해 분석된 활성화 뇌 지역 간의 "방향성 있는 연관성"이 모자이크 모양의 매트릭스 형태로 표시되어 있다. 즉, j에서 i 방향으로의 인과적 연결성의 정도가 색으로 표시되어 있다. 참고로, 도 3의 (b)의 모자이크 모양의 매트릭스에서 i 축 및 j 축의 번호는 각각의 브로드만 영역을 나타낸다.
이처럼, 도 3의 (a) 및 (b)에 도시한 바와 같이, 측정 대상들이 시각 자극을 주시한 상태에서 동일한 형상을 연상할 경우, 측정 대상 별로 각자의 고유한 뇌 지역 부위가 인과적 연결성을 가지며 활성화될 수 있으며, 이에 따라 활성화된 뇌 지역 간에 인과적 연결성 특성이 상이하게 나타나게 된다. 예를 들어, 동일 측정 조건에서, 제 1 측정 대상은 제 1 뇌 지역 및 제 2 뇌 지역이 가장 활성화되되 그 활성화 순서가 임의의 방향성을 갖는 인과적 연결성 특성을 가질 수 있으며, 제 2 측정 대상은 제 1 측정 대상과 다른 뇌 지역이 가장 활성화되거나 또는 동일 뇌 지역이 활성화되더라도 그 활성화 정도 또는 방향성이 상이함에 따라 제 1 측정 대상과는 상이한 인과적 연결성 특성을 갖는다. 즉, 측정 대상 별로 고유한 인과적 연결성 특성을 가지며, 프로세서(140)는 이러한 측정 대상 별 인과적 연결성 특성을 뇌 지역 간 인과적 연결성의 활성화 패턴(이하, '뇌 지역 활성화 패턴'이라고 지칭함)으로서 인식한다.
다시 도 1로 돌아가서, 프로세서(140)는 측정된 뇌파 신호에 대응된 인과적 연결성에 기초하여 뇌 지역 활성화 패턴을 인식하고, 인식된 뇌 지역 활성화 패턴을 뇌지문으로 사용하여 해당 측정 대상을 식별한다.
이때, 프로세서(140)는 일종의 분류기로서의 동작을 처리한다. 구체적으로, 프로세서(140)는 사전에 복수의 측정 대상 별로 시각 자극을 통한 기설정된 뇌파 발생 조건에 대해 라벨링된 뇌 지역 활성화 패턴을 기계 학습한다. 그리고 프로세서(140)는 이러한 분류기를 통해 현재 측정 대상의 뇌파 신호에 따른 뇌 지역 활성화 패턴을 구분하여 기등록된 사용자 또는 새로운 사용자를 구분한다. 이때, 측정 대상이 사전에 뇌 지역 활성화 패턴이 기계 학습된(즉, 기등록된) 사용자인 경우 기등록된 사용자 중 해당 측정 대상에 대응된 사용자를 식별할 수 있다. 또한, 만약 사전에 뇌 지역 활성화 패턴이 기계 학습되지 않은 새로운 측정 대상일 경우에도, 프로세서(140)는 기존의 기계 학습을 통해 저장된 정보를 기반으로한 분류기를 통해 해당 측정 대상이 새로운 사용자임을 구분할 수 있다.
한편, 뇌지문 탐지 장치(100)는 사용자 식별이 필요한 다른 다양한 장비와 연동될 수 있다. 이러한 경우, 도 1에 도시한 바와 같이 뇌지문 탐지 장치(100)는 연동된 다른 장비와 각종 신호(데이터)를 송수신하는 통신모듈(150)을 더 포함한다.
예를 들어, 뇌지문 탐지 장치(100)와 연동되거나 또는 뇌지문 탐지 장치(100)에 포함되는 장비로서 보안 장치 중 하나인 도어락(doorlock)을 적용할 수 있다. 참고로 도어락은 도어를 개폐하기 위한 수단(미도시)을 포함하며, 개폐 수단의 동작을 제어하는 제어모듈(미도시) 및 뇌지문 탐지 장치(100)의 프로세서(140)로의 데이터 송수신을 위한 통신모듈(미도시)을 더 포함할 수 있다. 또한, 뇌지문 탐지 장치(100)의 디스플레이부(110)는 연동된 장비 상에 구현될 수도 있다.
이때, 프로세서(140)는 현재 측정 대상의 뇌파 신호에 기초하여 측정 대상을 식별한 결과로서, 허가된 사용자인지 여부를 판단할 수 있다. 그리고, 프로세서(140)는 해당 측정 대상이 허가된 사용자인 경우 통신모듈(150)을 통해 도어락(미도시)으로 사용자 인증 신호(즉, 도어 오픈 신호 등)를 전송할 수 있다.
또한, 뇌지문 탐지 장치(100)는 TV를 비롯한 가전 제품의 리모콘에 탑재된 형태일 수 있다. 즉, 디스플레이(110)가 소형 액정 화면으로서 리모콘에 실장될 수 있으며, 이러한 소형 액정 화면 상에 기설정된 복수의 형상이 점멸하는 라인 배열이 출력될 수 있다. 이때, 임의의 사용자가 리모콘의 소형 액정 화면 상의 라인 배열을 주시한 상태에서 의도하는 형상(즉, 문자, 숫자 및 기호 등)을 연상하면, 뇌지문 탐지 장치(100)는 사용자의 뇌파를 측정 및 분석하여 해당 사용자를 식별하고, 그 식별 결과에 따른 다양한 제어 동작을 처리할 수 있다.
이와 같이 함으로써, 사용자는 특정 형상을 연상하는 것만으로도 다양한 연동된 장치에 대한 사용자 인증 및 해당 장비의 제어를 수행할 수 있다.
이상에서와 같은, 뇌파의 인과적 연결성에 대한 패턴 인식을 통해 측정 대상을 식별하는 과정에 대해서는 아래 도 4를 참조하여 상세히 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 뇌파 인과적 연결성을 이용한 뇌지문 탐지 과정을 설명하기 위한 개념도이다.
도 4에 도시한 바와 같이, 프로세서(140)는 임의의 측정 대상의 뇌파 신호를 분석하여 해당 측정 대상을 식별하는 절차를 수행하기에 앞서, 복수의 측정 대상들에 대해 임의의 기준 형상들에 대한 뇌 지역 활성화 패턴을 학습하는 초기 처리를 수행한다. 즉, 프로세서(140)는 복수의 측정 대상 별로 측정된 라벨링된 학습용 뇌파 신호(labeled training EEG)로부터 추출된 특징을 기계 학습하여 분류기의 표준값을 세팅하는 칼리브레이션(calibration)을 처리한다.
이때, 프로세서(140)는 복수의 라인이 각각 설정된 점멸 주파수로 점멸되는 라인 배열을 디스플레이(110)의 화면에 출력한다. 도 4에서는 제 1 내지 제 3 사용자(10, 20, 30)를 복수의 측정 대상으로서 나타냈으며, 측정 대상의 수는 한정되지 않는다. 즉, 측정 대상 식별의 목적에 따라 사전에 뇌 지역 활성화 패턴을 학습하는 측정 대상의 수는 한명 또는 그 이상일 수 있다.
그리고 프로세서(140)는 측정 대상이 연상한 특정 형상(즉, 기준 형상)을 이미 알고 있는 상태에서, 뇌파 측정기(120)를 통해 측정된 측정 대상의 뇌파 신호(SSVEP)를 입력받는다. 이처럼, 측정된 뇌파 신호는 측정 대상이 연상한 형상에 라벨링된다.
다음으로 프로세서(140)는 라벨링된 학습용 뇌파 신호에 기초하여 신호 특징을 추출(feature extraction)한다. 이때, 프로세서(140)는 라벨링된 학습용 뇌파 신호에 기초하여 측정 대상의 가장 활성화된 둘 이상의 뇌 지역을 검출하고, 검출된 뇌 지역 간의 인과적 연결성을 특징으로서 추출한다.
그리고 프로세서(140)는 측정 대상 별로 추출된 특징들을 지도 기계 학습(또는 비지도 기계 학습(unsupervised machine learning))하여 뇌 지역 활성화 패턴을 인식(pattern recognition)한다. 이때, 프로세서(140)는 뇌 지역 활성화 패턴을 학습하는 분류기로서 서포트 벡터 머신(Support Vector Machine, SVM) 혹은 선형 구분 분석(Linear Discriminant Analysis, LDA) 등의 다중 클래스 벡터 머신의 동작을 처리할 수 있다.
이상에서와 같이, 복수의 측정 대상에 대해서 기준 형상 별로 라벨링된 뇌파 신호에 대한 기계 학습을 수행한 분류기가 생성된 이후에, 프로세서(140)는 실제 측정 대상을 식별하기 위한 뇌파 신호를 입력받는다.
즉, 도 4에 도시한 바와 같이, 프로세서(140)는 뇌파 측정기(120)를 통해 임의의 측정 대상(도 4에서는 제 3 사용자(30)의 뇌파가 입력된 것을 나타냄)에 대해 새로 측정된 뇌파 신호(new untraining EEG)를 입력받는다.
이때, 해당 측정 대상이 디스플레이(110)의 화면 상에 출력된 격자형 라인 배열(P10)을 주시한 상태에서 "T"(P20) 형상을 연상한 경우, 프로세서(140)는 새로 측정된 뇌파 신호로부터 형상 "T"에 대응된 뇌 지역 간의 인과적 연결성 특징을 추출할 수 있다.
프로세서(140)는 새로 측정된 뇌파 신호(즉, 제 3 사용자(30)의 뇌파 신호)로부터 추출된 특징을 분류기로 입력하여, 해당 특징에 매칭되는 측정 대상을 식별한다. 그 결과, 분류기에 입력된 인과적 연결성 특징에 해당하는 뇌 지역 활성화 패턴이 뇌지문으로서 검출된다. 즉, 도 4에 도시한 바와 같이, 분류의 결과로서 새로 측정된 뇌파 신호의 측정 대상으로서 제 3 사용자가 구분된다.
이하, 도 5를 참조하여 본 발명의 일 실시예에 따른 뇌지문 탐지 장치(100)를 통한 뇌지문 탐지 방법에 대해서 상세히 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 뇌지문 탐지 방법을 설명하기 위한 순서도이다.
먼저, 뇌파 측정 대상이 주시하는 디스플레이에 뇌파 유도용 시각 자극을 출력한다(S510).
이때, 디스플레이에 출력되는 시각 자극은 복수의 라인(line) 별로 각각 설정된 점멸 주파수로 점멸하는 라인 배열일 수 있다. 이러한, 라인 배열의 각 라인들의 점멸 주파수는 서로 상이한 주파수로 설정될 수 있으며, 라인 배열의 둘 이상의 라인들은 격자형으로 배치될 수 있다. 또한, 시각 자극을 통해 기설정된 뇌파가 유도될 수 있으며, 이러한 기설정된 뇌파를 유도하기 위하여 시각 자극의 주파수 특성이 설정될 수 있다.
다음으로, 시각 자극을 주시하는 측정 대상의 뇌파 신호를 측정한다(S520).
이때, 시각 자극은 복수의 점멸 라인을 포함하는 라인 배열일 수 있으며, 점멸 시각 자극의 특정 라인 조합을 주시하는 측정 대상의 뇌파 신호를 측정할 수 있다. 참고로, 라인 배열은 둘 이상의 라인들이 격자형(grid-shaped)으로 배치된 형태일 수 있다. 이처럼 측정된 뇌파 신호는 해당 측정 대상이 기설정된 형상 중 어느 하나를 연상하며 점멸 시각 자극을 주시할 경우 유도된 뇌파 신호로서, 정상 상태 시각 유발 전위(SSVEP)가 측정될 수 있다.
그런 다음, 측정된 뇌파 신호에 대응된 측정 대상의 활성화된 둘 이상 뇌 지역을 선택한다(S530).
구체적으로, 사전에 설정된 복수의 뇌 지역 별로 측정된 센서 레벨의 뇌파 신호를 검출하고, 검출된 신호에 기초하여 뇌파 신호원 국소화(EEG source localization) 분석을 수행하여 가장 활성화된 뇌 지역부터 순차적으로 둘 이상의 뇌 지역을 선택할 수 있다. 이때, 복수의 뇌 지역 별 측정 뇌파 신호를 '저해상 전자기 단층촬영(LORETA) '기법 및 '피질 전류 밀도 소스 모델 (cortical current density source model)' 등을 통해 분석하여 둘 이상의 활성화 뇌 지역을 선택할 수 있다.
다음으로, 선택된 둘 이상의 뇌 지역에 대해 시간에 따른 방향성있는 연관관계를 분석하여 선택된 뇌 지역 간 인과적 연결성을 검출한다(S540).
이때, 선택된 뇌 지역 별 뇌파 신호를 그랜저 인과관계(Granger causality) 기법을 통해 분석하여 선택된 뇌 지역 간 인과적 연결성을 검출할 수 있다.
다음으로, 검출된 인과적 연결성에 기초하여 해당 측정 대상의 뇌 지역 활성화 패턴을 인식한다(S550).
그런 다음, 인식된 뇌 지역 활성화 패턴을 뇌지문으로 사용하여 상기 측정 대상을 식별한다(S560).
이때, 이상의 단계 (S510) 내지 (S550)은 복수의 측정 대상들에 대해 사전에 처리되어 기계 학습된 상태이며, 이를 통해 일종의 분류기가 생성된 상태이다. 따라서, 상기 단계 (S560)은 사전에 복수의 측정 대상 별로 시각 자극을 통해 기설정된 뇌파를 발생시키는 임의의 조건에 대해 라벨링된 뇌 지역 활성화 패턴이 기계 학습된 분류기를 통해 처리된다. 구체적으로, 이러한 분류기를 통해 현재 측정 대상의 뇌파 신호에 따른 뇌 지역 활성화 패턴을 구분하여 기등록된 사용자 또는 새로운 사용자를 구분한다. 이때, 측정 대상이 사전에 뇌 지역 활성화 패턴이 기계 학습된(즉, 기등록된) 사용자인 경우 기등록된 사용자 중 해당 측정 대상에 대응된 사용자를 식별할 수 있다. 또한, 만약 사전에 뇌 지역 활성화 패턴이 기계 학습되지 않은 새로운 측정 대상일 경우에도, 기존의 기계 학습을 통해 저장된 정보를 기반으로 분류기를 통해 해당 측정 대상이 새로운 사용자임을 구분할 수 있다. 참고로, 임의의 조건은 측정 대상이 시각 자극의 적어도 일부(즉, 적어도 하나의 라인)를 선택적으로 주시하며 연상할 수 있는 다양한 형상으로 설정될 수 있다. 또한, 분류기는 서포트 벡터 머신(SVM) 및 선형 구분 분석(LDA) 등의 동작을 처리할 수 있다.
한편, 본 발명의 일 실시예에 따른 뇌지문 탐지 방법은 다양한 타 장비들과의 연동을 통해서도 수행될 수 있다.
예를 들어, 본 발명의 일 실시예에 따른 뇌지문 탐지 방법을 도어락에 적용할 경우, 상기 단계 (S560) 이후에 해당 측정 대상을 뇌파 특성에 기초하여 식별한 결과에 따라 도어락의 사용이 허가된 사용자인지 여부를 판단하는 단계, 및 해당 측정 대상이 허가된 사용자로 판별된 경우, 도어 오픈 신호를 도어락으로 전송하는 단계를 더 수행할 수 있다.
이처럼 본 발명의 뇌지문 탐지 방법이 적용되는 연동 장치는 도어락에 한정되지 않으며, 뇌지문 탐지 장치 자체가 측정 대상에 대한 식별 결과를 임의의 처리(또는 동작) 제어를 위한 명령의 조건으로서 사용하는 것도 가능하다.
위와 같은 본 발명의 일 실시예에 따른 뇌지문 탐지 장치 및 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 뇌지문 탐지 장치
110: 디스플레이
120: 뇌파 측정기
130: 메모리
140: 프로세서
150: 통신 모듈
110: 디스플레이
120: 뇌파 측정기
130: 메모리
140: 프로세서
150: 통신 모듈
Claims (15)
- 뇌지문 탐지 장치에 있어서,
기설정된 시각 자극을 출력하는 디스플레이;
상기 시각 자극의 적어도 일부를 선택적으로 주시하는 측정 대상의 뇌파 신호를 측정하는 뇌파 측정기;
상기 측정 대상의 뇌파 신호에 기초하여 측정 대상 별 고유의 뇌지문을 탐지하여 측정 대상을 식별하는 뇌지문 탐지 프로그램이 저장된 메모리; 및
상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며,
상기 프로세서는 상기 뇌지문 탐지 프로그램의 실행에 대응하여, 복수의 라인(line) 별로 각각 설정된 점멸 주파수로 점멸하되 둘 이상의 라인들이 격자형으로 배치된 라인 배열이 상기 시각 자극으로서 상기 디스플레이의 화면에 출력되도록 제어하고, 상기 라인 배열의 각 라인들을 서로 상이한 주파수로 점멸되도록 제어하며, 상기 뇌파 측정기를 통해 측정된 뇌파 신호에 기초하여 기설정된 복수의 뇌 지역 중 둘 이상의 뇌 지역 간의 인과적 연결성(causal connectivity)을 검출하고, 상기 인과적 연결성에 기초하여 뇌 지역간 인과적 연결성의 활성화 패턴을 인식하고, 상기 인식된 뇌 지역간 인과적 연결성의 활성화 패턴을 뇌지문으로 사용하여 해당 측정 대상을 식별하되,
상기 뇌파 신호는 상기 측정 대상이 기설정된 형상 중 어느 하나를 연상하며 상기 라인 배열의 특정 라인 조합을 선택적으로 주시할 경우 유도된 뇌파 신호이며,
상기 뇌파 측정기를 통해 상기 복수의 뇌 지역 별로 측정된 센서 레벨의 뇌파 신호에 기초하여 뇌파 신호원 국소화(EEG source localization) 분석을 수행하여 가장 활성화된 뇌 지역부터 가장 큰 인과적 연결성을 갖는 하나 이상의 뇌 지역을 순차적으로 선택함으로써 상기 둘 이상의 뇌 지역을 선택하고,
사전에 복수의 측정 대상 별로 상기 시각 자극을 통해 기설정된 뇌파를 발생시키는 임의의 조건에 대해 라벨링된 뇌 지역간 인과적 연결성의 활성화 패턴이 기계 학습된 분류기를 실행하되, 상기 분류기를 통해 상기 해당 측정 대상의 뇌파 신호에 따른 뇌 지역간 인과적 연결성의 활성화 패턴을 구분하여 상기 해당 측정 대상을 기등록된 사용자 또는 새로운 사용자로 구분하거나 또는 상기 기등록된 사용자 중 상기 해당 측정 대상에 대응된 사용자를 식별하는, 뇌지문 탐지 장치.
- 삭제
- 삭제
- 제 1 항에 있어서,
상기 프로세서는,
상기 복수의 뇌 지역 별로 측정된 뇌파 신호의 신호 레벨들을 저해상 전자기 단층촬영(Low resolution electromagnetic tomography, LORETA) 기법 및 피질 전류 밀도 소스 모델(cortical current density source model) 중 적어도 하나를 통해 분석하여 상기 둘 이상의 뇌 지역을 선택하는 뇌지문 탐지 장치.
- 제 4 항에 있어서,
상기 프로세서는,
상기 선택된 둘 이상의 뇌 지역 별 뇌파 신호를 그랜저 인과관계(Granger causality) 기법을 통해 시간에 따른 방향성 있는 연관관계를 분석하여 상기 선택된 둘 이상의 뇌 지역간 인과적 연결성을 검출하는 뇌지문 탐지 장치.
- 삭제
- 제 1 항에 있어서,
상기 뇌파 측정기는 정상 상태 시각 유발 전위(Steady State Visual Evoked Potential, SSVEP)를 측정하는 뇌지문 탐지 장치.
- 제 1 항에 있어서,
상기 뇌지문 탐지 장치와 연동된 보안 장치와의 신호를 송수신하는 통신모듈을 더 포함하고,
상기 프로세서는,
상기 해당 측정 대상을 식별한 결과에 기초하여 허가된 사용자인지 여부를 판단하고, 상기 해당 측정 대상이 허가된 사용자인 경우 상기 통신모듈을 통해 상기 보안 장치에 대하여 인증 신호를 전송하는 뇌지문 탐지 장치.
- 뇌지문 탐지 장치를 통한 뇌지문 탐지 방법에 있어서,
서로 상이한 점멸 주파수로 점멸하는 복수의 라인(line)들이 격자형으로 배치된 라인(line) 배열을 기설정된 시각 자극으로서 디스플레이의 화면에 출력하는 단계;
상기 디스플레이의 화면에 출력된 시각 자극의 적어도 일부를 선택적으로 주시하는 측정 대상의 뇌파 신호를 검출하는 단계;
상기 검출된 뇌파 신호에 기초하여 기설정된 복수의 뇌 지역 중 둘 이상의 뇌 지역 간의 인과적 연결성(causal connectivity)을 검출하는 단계;
상기 검출된 인과적 연결성에 기초하여 뇌 지역간 인과적 연결성의 활성화 패턴을 인식하는 단계; 및
상기 인식된 뇌 지역간의 인과적 연결성의 활성화 패턴을 뇌지문으로 사용하여 상기 측정 대상을 식별하는 단계를 포함하되,
상기 뇌파 신호는 상기 측정 대상이 기설정된 형상 중 어느 하나를 연상하며 상기 라인 배열의 특정 라인 조합을 선택적으로 주시할 경우 유도된 뇌파 신호이며,
상기 둘 이상의 뇌 지역 간의 인과적 연결성(causal connectivity)을 검출하는 단계는, 상기 복수의 뇌 지역 별 신호 레벨의 뇌파 신호에 기초하여 뇌파 신호원 국소화(EEG source localization) 분석을 수행하여 가장 활성화된 뇌 지역부터 가장 큰 인과적 연결성을 갖는 하나 이상의 뇌 지역을 순차적으로 선택함으로써 상기 둘 이상의 뇌 지역을 선택하고,
상기 측정 대상을 식별하는 단계는, 사전에 복수의 측정 대상 별로 상기 시각 자극을 통해 기설정된 뇌파를 발생시키는 임의의 조건에 대해 라벨링된 뇌 지역 간 인과적 연결성의 활성화 패턴이 기계 학습된 분류기를 통해, 상기 측정 대상의 뇌파 신호에 따른 뇌 지역 간 인과적 연결성의 활성화 패턴을 구분하되, 상기 구분한 결과에 기초하여 상기 측정 대상을 기등록된 사용자 또는 새로운 사용자로 구분하거나 또는 상기 기등록된 사용자 중 상기 측정 대상에 대응된 사용자를 식별하는, 뇌지문 탐지 방법.
- 삭제
- 삭제
- 제 9 항에 있어서,
상기 둘 이상의 뇌 지역을 선택하는 단계는,
상기 복수의 뇌 지역 별 뇌파 신호의 신호 레벨들을 저해상 전자기 단층촬영(Lowr esolution electromagnetic tomography, LORETA) 기법 및 피질 전류 밀도 소스 모델 (cortical current density source model) 중 적어도 하나를 통해 분석하여 상기 둘 이상의 뇌 지역을 선택하는 뇌지문 탐지 방법.
- 제 12 항에 있어서,
상기 둘 이상의 뇌 지역을 선택하는 단계는,
상기 선택된 둘 이상의 뇌 지역 별 뇌파 신호를 그랜저 인과관계(Granger causality) 기법을 통해 시간에 따른 방향성있는 연관관계를 분석하여 상기 선택된 둘 이상의 뇌 지역간 인과적 연결성을 검출하는 뇌지문 탐지 방법.
- 삭제
- 제 9 항에 있어서,
상기 측정 대상을 식별하는 단계 이후에,
상기 식별한 결과에 기초하여 상기 측정 대상이 허가된 사용자 인지 여부를 판단하는 단계; 및
상기 해당 측정 대상이 허가된 사용자인 경우 사전에 연동된 보안 장치로 인증 신호를 전송하는 단계를 더 포함하는 뇌지문 탐지 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160105488A KR101811365B1 (ko) | 2016-08-19 | 2016-08-19 | 뇌파의 인과적 연결성을 이용한 뇌지문 탐지 장치 및 방법 |
| US15/677,589 US10635899B2 (en) | 2016-08-19 | 2017-08-15 | Apparatus and method for detecting brain fingerprint using causal connectivity of brainwave |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160105488A KR101811365B1 (ko) | 2016-08-19 | 2016-08-19 | 뇌파의 인과적 연결성을 이용한 뇌지문 탐지 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101811365B1 true KR101811365B1 (ko) | 2017-12-22 |
Family
ID=60936513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160105488A KR101811365B1 (ko) | 2016-08-19 | 2016-08-19 | 뇌파의 인과적 연결성을 이용한 뇌지문 탐지 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10635899B2 (ko) |
| KR (1) | KR101811365B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110443216A (zh) * | 2019-08-13 | 2019-11-12 | 树根互联技术有限公司 | 一种生产设备的生产模式识别方法及装置 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108594989B (zh) * | 2018-03-26 | 2022-03-22 | Oppo广东移动通信有限公司 | 脑电波采集方法及相关设备 |
| CN111783887B (zh) * | 2020-07-03 | 2022-05-03 | 四川大学 | 基于fMRI小世界脑网络计算机分类测谎识别方法 |
| WO2022212554A1 (en) * | 2021-03-30 | 2022-10-06 | EEG Harmonics, LLC | Electroencephalography neurofeedback system and method based on harmonic brain state representation |
| CN116098636A (zh) * | 2023-02-14 | 2023-05-12 | 上海前瞻创新研究院有限公司 | 基于ssvep的脑机接口刺激范式生成、检测方法、系统、介质、终端 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101538916B1 (ko) | 2014-09-26 | 2015-07-24 | (주)와이브레인 | Eeg 데이터를 이용하여 사용자 특성의 변화를 예측하는 방법 |
| KR101607432B1 (ko) * | 2015-01-14 | 2016-03-29 | 서울대학교산학협력단 | 뇌파측정을 통한 개인 인증 방법, 시스템 및 컴퓨터 프로그램 |
| KR101643354B1 (ko) * | 2015-05-06 | 2016-07-27 | 서울대학교산학협력단 | 뇌파를 이용한 본인 인증 시스템 및 방법 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5325862A (en) * | 1993-03-26 | 1994-07-05 | The United States Of America As Represented By The Secretary Of The Navy | Method and/or system for personal identification and impairment assessment from brain activity patterns |
| IL159235A0 (en) | 2001-06-07 | 2004-06-01 | Lawrence Farwell | Method and apparatus for brain fingerprinting, measurement, assessment and analysis of brain function |
| CA2835460C (en) * | 2011-05-10 | 2018-05-29 | Foteini AGRAFIOTI | System and method for enabling continuous or instantaneous identity recognition based on physiological biometric signals |
| US20140020089A1 (en) * | 2012-07-13 | 2014-01-16 | II Remo Peter Perini | Access Control System using Stimulus Evoked Cognitive Response |
| US10155121B2 (en) * | 2012-08-25 | 2018-12-18 | National Chiao Tung University | Stimuli generating methods, devices and control systems to induce visual evoked potentials using imperceptible flickering multi-color lights |
| US10136830B2 (en) * | 2012-11-13 | 2018-11-27 | Elminda Ltd. | Neurophysiological data analysis using spatiotemporal parcellation |
-
2016
- 2016-08-19 KR KR1020160105488A patent/KR101811365B1/ko active IP Right Grant
-
2017
- 2017-08-15 US US15/677,589 patent/US10635899B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101538916B1 (ko) | 2014-09-26 | 2015-07-24 | (주)와이브레인 | Eeg 데이터를 이용하여 사용자 특성의 변화를 예측하는 방법 |
| KR101607432B1 (ko) * | 2015-01-14 | 2016-03-29 | 서울대학교산학협력단 | 뇌파측정을 통한 개인 인증 방법, 시스템 및 컴퓨터 프로그램 |
| KR101643354B1 (ko) * | 2015-05-06 | 2016-07-27 | 서울대학교산학협력단 | 뇌파를 이용한 본인 인증 시스템 및 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110443216A (zh) * | 2019-08-13 | 2019-11-12 | 树根互联技术有限公司 | 一种生产设备的生产模式识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10635899B2 (en) | 2020-04-28 |
| US20180053049A1 (en) | 2018-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101811365B1 (ko) | 뇌파의 인과적 연결성을 이용한 뇌지문 탐지 장치 및 방법 | |
| US8967809B2 (en) | Methods and systems for intelligent visual function assessments | |
| JP5688154B2 (ja) | Ｓｓｖｅｐに基づく電気デバイス制御システムおよび方法 | |
| KR101551169B1 (ko) | 생체신호를 이용한 보안 서비스 제공 방법 및 장치 | |
| EP3307135B1 (en) | Methods and systems for testing aspects of vision | |
| Melloni et al. | Expectations change the signatures and timing of electrophysiological correlates of perceptual awareness | |
| US10890972B2 (en) | Prefrontal-based cognitive brain-machine interfacing apparatus and method thereof | |
| Pelli et al. | Psychophysical methods | |
| Anton-Erxleben et al. | Evaluating comparative and equality judgments in contrast perception: Attention alters appearance | |
| US9757072B1 (en) | Waveform marker placement algorithm for use in neurophysiologic monitoring | |
| US10524683B2 (en) | EEG-based brain-machine interface apparatus and method for recognizing human-intention using flickering visual stimulus | |
| EP2265328B1 (en) | An apparatus for automatic treatment adjustment after nervous system dysfunction | |
| KR101939369B1 (ko) | 문맥 인식형 뇌-기계 인터페이스 장치 및 방법 | |
| JP2006305334A (ja) | 回答獲得装置及び評価解析装置 | |
| Mercure et al. | Featural and configural face processing differentially modulate ERP components | |
| US9452289B2 (en) | Method for identification of retinal cell types intrinsic properties | |
| KR102143920B1 (ko) | 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치 및 그 정보 처리 방법 | |
| CN109152559A (zh) | 用于定量评估视觉运动神经响应的方法和系统 | |
| KR20180113451A (ko) | 전전두엽 기반 인지적 뇌-기계 인터페이스 장치 및 방법 | |
| Hamblin-Frohman et al. | The attentional template in high and low similarity search: Optimal tuning or tuning to relations? | |
| CN110495895A (zh) | 一种基于眼动跟踪的疲劳检测方法与系统 | |
| Kaiser et al. | Motor interference, but not sensory interference, increases midfrontal theta activity and brain synchronization during reactive control | |
| WO2012154279A1 (en) | Methods and systems for intelligent visual function assessments | |
| Havenith et al. | The virtual-environment-foraging task enables rapid training and single-trial metrics of attention in head-fixed mice | |
| Nakanishi et al. | Biometric potential of brain waves evoked by invisible visual stimulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |