KR20170143062A - 하이브리드형 bci 안경모듈을 통한 스마트 기기 자동제어장치 - Google Patents

하이브리드형 bci 안경모듈을 통한 스마트 기기 자동제어장치 Download PDF

Info

Publication number
KR20170143062A
KR20170143062A KR1020160075694A KR20160075694A KR20170143062A KR 20170143062 A KR20170143062 A KR 20170143062A KR 1020160075694 A KR1020160075694 A KR 1020160075694A KR 20160075694 A KR20160075694 A KR 20160075694A KR 20170143062 A KR20170143062 A KR 20170143062A
Authority
KR
South Korea
Prior art keywords
module
unit
hybrid type
smart device
bci
Prior art date
Application number
KR1020160075694A
Other languages
English (en)
Inventor
윤성은
윤종혁
이병만
손민우
Original Assignee
주식회사 에이치나인헬스케어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이치나인헬스케어 filed Critical 주식회사 에이치나인헬스케어
Priority to KR1020160075694A priority Critical patent/KR20170143062A/ko
Publication of KR20170143062A publication Critical patent/KR20170143062A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A61B5/0476—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Abstract

본 발명에서는 종래 휴대용 뇌파 측정 및 제어시스템의 뇌파 측정부가 EEG(Electro Encephalo Graph)로 구성되어 있어, 낮은 공간 분해능(최대 1~2㎝)과 부피전도로 인한 정보의 손실, 그리고, 외부힘 (전극이동)과 오염 (근육운동 또는 전기적 환경에 의한 간섭)에 민감하고, 매우 낮은 신호대잡음비 (20-30 bits/min)로 인해, 휴대용 뇌파측정으로 사용하기에는 오작동이 많이 발생되는 문제점과, 종래 뇌파 측정 장치의 뇌파 측정 정확도가 낮을 경우에 이를 2차로 보완해줄 구성이 없어, 제어하고자 하는 기기쪽으로 정확한 제어명령신호 전달이 어려워, 사용자가 상상한 기기를 제어하고자 할 때, 장시간 제어시간이 소요되는 문제점을 개선하고자, 하이브리드형 BCI 안경모듈(100)과, 기기제어용 IoT모듈(200)로 구성됨으로서, 1차로 뇌신경 세포들이 발생시키는 자기적 신호를 통해 뇌파를 측정하고, 2차로 사용자가 제어하고자 하는 스마트 기기를 바라보는 홍채포커싱신호를 측정하는 하이브리드 측정방식으로 형성되어, 기존에 비해 사용자가 상상하는 기기에 대한 빠른 스캔이 가능하기 때문에 기존에 비해 뇌의 활동변화를 80%로 정확히 파악할 수 있으며, 높은 공간/시간적 분해능 특성이 있고, 하이브리드형 BCI 안경모듈의 스마트제어부를 통해 현장에서 실시간으로, 현재 측정된 뇌파데이터와 홍채포커싱신호데이터를 기준으로 BCI(Brain Computer Interface)시켜 맞춤형 하이브리드형 기기제어신호를 생성시킬 수 있어, 기존에 비해 스마트 기기의 제어응답속도를 70% 향상시킬 수 있고, 사용자의 눈과 귀를 중심으로 착용할 수 있는 안경구조로 형성되어, 휴대가 용이하여, 사용자가 상상하여 제어하고자 하는 스마트 기기 제어뿐만 아니라, 뇌파신호를 이용한 뇌치료, 무선 게임기, 교육용학습에 널리 응용시킬 수 있어, 뇌파를 통한 무선제어시장을 활성화시킬 수 있는 하이브리드형 BCI 안경모듈을 통한 스마트 기기 자동제어장치를 제공하는데 그 목적이 있다.

Description

하이브리드형 BCI 안경모듈을 통한 스마트 기기 자동제어장치{THE APPARATUS OF SMART CONTROL WITH BCI EYEGLASS MODULE}
본 발명에서는 사용자의 눈과 귀를 중심으로 안경구조로 착용한 상태에서, 현장에서 실시간으로, 현재 측정된 뇌파데이터와 홍채포커싱신호데이터를 기준으로 BCI(Brain Computer Interface)시켜 맞춤형 하이브리드형 기기제어신호를 생성시킬 수 있어, 사용자가 상상하여 제어하고자 하는 스마트 기기 제어, 뇌파신호를 이용한 뇌치료, 무선 게임기, 교육용학습에 널리 응용시킬 수 있는 하이브리드형 BCI 안경모듈을 통한 스마트 기기 자동제어장치에 관한 것이다.
일반적으로, 뇌파는 인간의 두피에서 측정되는 수십 마이크로 볼트의 전위차와 주로 50헤르츠 이하의 주파수를 지닌 파장으로서, 인간의 의식 상태를 반영하는 물리값이다.
뇌파는 그 주파수에 따라 델타파(δ), 쎄타파(θ), 알파파(α), SMR파, 베타파(β) 및 감마파(σ) 6가지 종류로 나눌 수 있다.
델타파는 0.5내지 3.5헤르츠의 주파수를 지닌 뇌파로서 거의 의식이 없는 상태 이거나 깊은 수면중인 상태에 관련이 있으며, 쎄타파는 4내지 7헤르츠의 주파수를 지닌 뇌파로서, 사람이 얕은잠이나 졸고 있는 상태에 관련되어 있다.
또한 알파파는 8내지 11헤르츠의 주파수를 지닌 뇌파로서, 안정되고 편안한 상태에 관련되어 있으며, SMR파는 12내지 15헤르츠의 주파수를 지닌 뇌파로서, 완전 주의집중한 상태에 관련되어 있고, 베타파는 16내지 30헤르츠의 주파수를 지닌 뇌파로서, 사람이 눈을 뜨고 활동시 약간 긴장되고 집중하고 있는 상태에 관련되어 있는 뇌파이다.
그리고 감마파는 30내지 50헤르츠의 주파수를 지닌 뇌파로서, 깊은 생각이나, 고차원적 논리에 집중하고 있는 상태에 관련이 있는 뇌파이다.
최근 뇌파를 응용하여 사물을 제어하는 연구가 활발히 진행되고 있다.
뇌파 측정전극이 20개에서 30개 이상의 의료용 뇌파측정기 개발이 계속 진행되고 있으며, 개인용 컴퓨터를 통하여 프로그램을 설치하여 집중력 발생시그래픽으로 처리된 자동차가 달리거나, 화살이 날아 가는 등의 컴퓨터용 프로그램 게임과 소수의 뇌파전극 만을 장착하여 뇌파신호를 검출하여 팬의 회전으로 탁구공을 불어 올리거나 장난감 자동차를 앞으로 달리게 하는 단순 온오프 작동형태의 기기들이 등장하고 있다.
종래 기술에 따른 뇌파 측정 및 제어 장치는 기본적으로 사용자가 어떠한 뇌파를 출력하는지 그 측정 방법이 매우 복잡하며 시각적 확인에 어려움이 있으며, 단순하면서 구체적인 수치화된 결과값이 아닌 뇌파 분석용 별도의 프로그램이나 PC등 별도의 처리시스템에 연결하여야만 그 결과 확인이 가능하여 일반인들 에게는 체계적인 집중력 학습훈련 등을 하기에는 어려움이 있었으며, 뇌파를 이용한 뇌파관련 기기제어 방법에 있어서는 그 활용이매우 제한적으로, 단순한 제어시스템이 일반적이고, 또한 다른 뇌파 관련 기기와의 호환이 어렵다는 등의 문제점이 있었다.
이러한 문제점을 해결하기 위해, 국내등록특허공보 제10-1031507호에서는 다수의 전극을 피험자의 두피에 부착하여 뇌파를 측정하는 뇌파 측정부에서 아날로그 뇌파 신호가 측정되면, 상기 뇌파 측정부에서 측정된 상기 아날로그 뇌파 신호의 노이즈(Noise)를 제거하는 필터부 및 뇌파 신호를 증폭하는 증폭부를 통과한 신호가, 휴대용 뇌파 측정기의 전체 시스템을 제어하는 MCU부의 처리를 통해 6가지 뇌파신호(델타파(δ), 쎄타파(θ), 알파파(α), SMR파, 베타파(β) 및 감마파(σ))로 구분하여 각각의 출력 신호를 LED로 표시하는 LED출력부와; 상기 6가지 뇌파신호를 무선으로 전송 가능한 헤드셋 형태의 무선 송수신부와; 상기 MCU부의 처리를 통해 출력된 값을 0 ~ 100까지 수치적으로 표시하는 LCD장치를 이용한 디스플레이부와; 출력된 값을 하나 이상 저장하는 메모리부로 이루어진 휴대용 뇌파 측정 및 제어시스템이 제시된 바 있으나,
이는 뇌파 측정부가 EEG(Electro Encephalo Graph)로 구성되어 있어, 낮은 공간 분해능(최대 1~2㎝)과 부피전도로 인한 정보의 손실, 그리고, 외부힘 (전극이동)과 오염 (근육운동 또는 전기적 환경에 의한 간섭)에 민감하고, 매우 낮은 신호대잡음비 (20-30 bits/min)로 인해, 휴대용 뇌파측정으로 사용하기에는 오작동이 많이 발생되는 문제점이 있었다.
또한, 종래의 뇌파 측정 장치의 뇌파 측정 정확도가 낮을 경우에 이를 2차로 보완해줄 구성이 없어, 제어하고자 하는 기기쪽으로 정확한 제어명령신호 전달이 어려워, 사용자가 상상한 기기를 제어하고자 할 때, 장시간 제어시간이 소요되는 문제점이 있었다.
국내등록특허공보 제10-1031507호
상기의 문제점을 해결하기 위해 본 발명에서는 사용자의 눈과 귀를 중심으로 손쉽게 착용할 수 있는 안경구조로 형성시킬 수 있고, 1차로 뇌신경 세포들이 발생시키는 자기적 신호를 통해 뇌파를 측정하고, 2차로 사용자가 제어하고자 하는 스마트 기기를 바라보는 홍채포커싱신호를 측정하는 하이브리드 측정방식으로 형성시킬 수 있으며, 하이브리드형 BCI 안경모듈의 스마트제어부를 통해 현장에서 실시간으로, 현재 측정된 뇌파데이터와 홍채포커싱신호데이터를 기준으로 BCI(Brain Computer Interface)시켜 맞춤형 하이브리드형 기기제어신호를 생성시킬 수 있는 하이브리드형 BCI 안경모듈을 통한 스마트 기기 자동제어장치를 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위해 본 발명에 따른 하이브리드형 BCI 안경모듈을 통한 스마트 기기 자동제어장치는
사용자의 눈과 귀를 중심으로 안경구조로 착용한 상태에서, 사용자가 스마트 기기 제어를 상상했을 때, 1차로 뇌신경 세포들이 발생시키는 자기적 신호를 통해 뇌파를 측정하고, 2차로 사용자가 제어하고자 하는 스마트 기기를 바라보는 홍채포커싱신호를 측정한 후, 현재 측정된 뇌파데이터와 홍채포커싱신호데이터를 기준으로 BCI(Brain Computer Interface)시켜 맞춤형 하이브리드형 기기제어신호를 근거리에 위치한 스마트 기기에 설치된 기기제어용 IoT모듈로 출력시키는 하이브리드형 BCI 안경모듈(100)과,
스마트 기기에 설치되고, 하이브리드형 BCI 안경모듈과 근거리통신망으로 연결되어, 스마트 기기를 하이브리드형 BCI 안경모듈의 하이브리드형 기기제어신호에 따라 구동제어시키는 기기제어용 IoT모듈(200)로 구성됨으로서 달성된다.
이상에서 설명한 바와 같이, 본 발명에서는
첫째, 1차로 뇌신경 세포들이 발생시키는 자기적 신호를 통해 뇌파를 측정하고, 2차로 사용자가 제어하고자 하는 스마트 기기를 바라보는 홍채포커싱신호를 측정하는 하이브리드 측정방식으로 형성되어, 기존에 비해 사용자가 상상하는 기기에 대한 빠른 스캔이 가능하기 때문에 기존에 비해 뇌의 활동변화를 80%로 정확히 파악할 수 있다.
둘째, 높은 공간/시간적 분해능 특성이 있다.
셋째, 하이브리드형 BCI 안경모듈의 스마트제어부를 통해 현장에서 실시간으로, 현재 측정된 뇌파데이터와 홍채포커싱신호데이터를 기준으로 BCI(Brain Computer Interface)시켜 맞춤형 하이브리드형 기기제어신호를 생성시킬 수 있어, 기존에 비해 스마트 기기의 제어응답속도를 70% 향상시킬 수 있다.
넷째, 사용자의 눈과 귀를 중심으로 착용할 수 있는 안경구조로 형성되어, 휴대가 용이하여, 사용자가 상상하여 제어하고자 하는 스마트 기기 제어뿐만 아니라, 뇌파신호를 이용한 뇌치료, 무선 게임기, 교육용학습에 널리 응용시킬 수 있어, 뇌파를 통한 무선제어시장을 활성화시킬 수 있다.
도 1은 본 발명에 따른 하이브리드형 BCI 안경모듈을 통한 스마트 기기 자동제어장치(1)의 구성요소를 도시한 구성도,
도 2는 본 발명에 따른 스마트 기기 자동제어장치(1)의 구성요소를 도시한 사시도,
도 3은 본 발명에 따른 하이브리드형 BCI 안경모듈의 구성요소를 도시한 사시도,
도 4는 본 발명에 따른 4채널 자기뇌파측정부의 구성요소를 도시한 블럭도,
도 5는 본 발명에 따른 1채널 좌측 측두엽 자기뇌파측정부(121), 1채널 우측 측두엽 자기뇌파측정부(122), 1채널 후두엽 자기뇌파측정부(123), 1채널 전두엽 자기뇌파측정부(124)의 구성요소를 도시한 내부구성도,
도 6은 본 발명에 따른 전원부의 구성요소를 도시한 블럭도,
도 7은 본 발명에 따른 근거리통신모듈의 구성요소를 도시한 블럭도,
도 8은 본 발명에 따른 스마트제어부의 구성요소를 도시한 회로도,
도 9는 본 발명에 따른 BCI 제어부의 구성요소를 도시한 블럭도,
도 10은 본 발명에 따른 기기제어용 IoT모듈의 구성요소를 도시한 블럭도,
도 11은 본 발명에 따른 IoT모듈형 근거리통신부의 구성요소를 도시한 블럭도,
도 12는 본 발명에 따른 BCI 제어부를 통해 현재 측정된 뇌파데이터와 홍채포커싱신호데이터를 기준으로 BCI시켜 맞춤형 하이브리드형 기기제어신호를 생성시키는 것을 도시한 일실시예도,
도 13은 본 발명에 따른 스마트 기기 자동제어장치를 공중부양 볼 상승기기에 설치하여, 현재 측정된 뇌파데이터와 홍채포커싱신호데이터를 기준으로, BCI(Brain Computer Interface)시켜 생성된 맞춤형 하이브리드형 기기제어신호를 통해 공중부양 볼을 상승시키는 것을 도시한 일실시예도,
도 14는 본 발명에 따른 스마트 기기 자동제어장치를 무인자동차에 설치하여, 현재 측정된 뇌파데이터와 홍채포커싱신호데이터를 기준으로, BCI(Brain Computer Interface)시켜 생성된 맞춤형 하이브리드형 기기제어신호를 통해 무인자동차를 제어시키는 것을 도시한 일실시예도,
도 15는 본 발명에 따른 스마트 기기 자동제어장치를 LED조명램프에 설치하여, 현재 측정된 뇌파데이터와 홍채포커싱신호데이터를 기준으로, BCI(Brain Computer Interface)시켜 생성된 맞춤형 하이브리드형 기기제어신호를 통해 LED 조명램프를 디밍제어시키는 것을 도시한 일실시예도.
먼저, 본 발명에서 설명되는 스마트기기는 PC, 스마트TV, LED조명램프, 스탠드, 무인자동차, 공중부양 볼 상승장치, 가전기기, 산업장비를 모두 포함한다.
이하, 본 발명에 따른 바람직한 실시예를 도면을 첨부하여 설명한다.
도 1은 본 발명에 따른 하이브리드형 BCI 안경모듈을 통한 스마트 기기 자동제어장치(1)의 구성요소를 도시한 구성도에 관한 것이고, 도 2는 본 발명에 따른 하이브리드형 BCI 안경모듈을 통한 스마트 기기 자동제어장치(1)의 구성요소를 도시한 사시도에 관한 것으로, 이는 하이브리드형 BCI 안경모듈(100)과, 기기제어용 IoT모듈(200)로 구성된다.
먼저, 본 발명에 따른 하이브리드형 BCI 안경모듈(100)에 관해 설명한다.
상기 하이브리드형 BCI 안경모듈(100)은 사용자의 눈과 귀를 중심으로 안경구조로 착용한 상태에서, 사용자가 스마트 기기 제어를 상상했을 때, 1차로 뇌신경 세포들이 발생시키는 자기적 신호를 통해 뇌파를 측정하고, 2차로 사용자가 제어하고자 하는 스마트 기기를 바라보는 홍채포커싱신호를 측정한 후, 현재 측정된 뇌파데이터와 홍채포커싱신호데이터를 기준으로 BCI(Brain Computer Interface)시켜 맞춤형 하이브리드형 기기제어신호를 근거리에 위치한 스마트 기기에 설치된 기기제어용 IoT모듈로 출력시키는 역할을 한다.
이는 도 3에 도시한 바와 같이, 안경모듈본체(110), 4채널 자기뇌파측정부(120), 홍채포커싱 측정부(130), 전원부(140), 근거리통신모듈(150), 카메라촬영부(160), 스마트제어부(170)로 구성된다.
첫째, 본 발명에 따른 안경모듈본체(110)에 관해 설명한다.
상기 안경모듈본체(110)는 사용자의 코와 귀에 부착되도록 두개의 렌즈, 눈썹지지틀, 코브릿지, 브릿지부로 이루어져 각 기기를 외압으로부터 보호하고 지지하는 역할을 한다.
이는 두개의 렌즈상에 홍채포커싱 측정부가 형성되고, 안경모듈본체의 브릿지부 양측면 일측, 안경모듈본체의 후단 밴드부 일측, 안경모듈본체의 중앙 밴드부 일측에 4채널 자기뇌파측정부가 형성되며, 안경모듈본체의 브릿지부 외부방향 측면 일측에 전원부가 형성되고, 전원부 일측에 근거리통신모듈이 형성되며, 안경모듈본체의 렌즈 상단 일측에 카메라촬영부가 형성되고, 안경모듈본체의 브릿지부 내부방향 측면 일측에 스마트제어부가 형성된다.
둘째, 본 발명에 따른 4채널 자기뇌파측정부(120)에 관해 설명한다.
상기 4채널 자기뇌파측정부(120)는 안경모듈본체의 브릿지부 양측면 일측, 안경모듈본체의 후단 밴드부 일측, 안경모듈본체의 중앙 밴드부 일측에 위치되어, 사용자가 스마트 기기 제어를 상상했을 때, 뇌신경 세포들이 발생시키는 자기적 신호를 통해 뇌파를 측정하는 역할을 한다.
이는 뇌신경 세포들이 발생시키는 자기적 신호를 측정하는 것으로서, 4채널, 8채널, 16채널, 32채널, 64채널, 128채널 중 어느 하나가 선택되어 구성된다.
상기 4채널 자기뇌파측정부(120)는 신경세포의 진동을 측정하는 것이 EEG와 비슷하지만 EEG와 다른 점은 전기장이 아니라 희미한 자기이다.
자기 신호는 빠른 스캔이 가능하기 때문에 fMRI나 PET에 비해 뇌의 활동변화를 정확히 파악할 수 있고, 높은 공간/시간적 분해능의 특성을 가진다.
본 발명에 따른 4채널 자기뇌파측정부(120)는 도 4에 도시한 바와 같이, 1채널 좌측 측두엽 자기뇌파측정부(121), 1채널 우측 측두엽 자기뇌파측정부(122), 1채널 후두엽 자기뇌파측정부(123), 1채널 전두엽 자기뇌파측정부(124)로 구성된다.
[1채널 좌측 측두엽 자기뇌파측정부(121)]
상기 1채널 좌측 측두엽 자기뇌파측정부(121)는 사용자 머리의 좌측 측두엽 (Left temporal lobe)과 접촉되는 안경모듈본체의 브릿지부 측면 일측에 위치되어 하나의 채널을 형성하면서, 사용자가 스마트 기기 제어를 상상했을 때, 좌측 측두엽 (Left temporal lobe)의 뇌신경 세포들이 발생시키는 자기적 신호를 통해 뇌파를 1채널로 측정하는 역할을 한다.
이는 도 5에 도시한 바와 같이, 제1 초전도 감응코일(sensing coil)(121a), 제1 입력코일(input coil)(121b), 제1 스퀴드 링(SQUID Ring)(121c), 제1 스퀴드 일렉트로닉스(SQUID Electronics)(121d)로 구성된다.
상기 제1 초전도 감응코일(sensing coil)(121a)은 헤드부상에 위치되고, 니오븀(niobium)으로 형성되어, 사용자가 스마트 기기제어를 상상했을 때, 좌측 측두엽의 뇌신경 세포들이 발생시키는 자기적 신호를 센싱시키는 역할을 한다.
이는 잡음 제거를 위해 서로 반대 방향으로 감겨 일정한 거리를 유지하고, 제1 습득 코일(pickup coil)(121a-1)과 제1 저항 코일(bucking coil)(121a-2)로 구성된다.
코일의 초전도성은 -269℃ 액화 헬륨(helium) 저장소에서 유지된다.
상기 제1 입력코일(input coil)(121b)은 제1 초전도감응코일과 제1 스퀴드 링 사이를 연결시키는 역할을 한다.
이는 자기장의 변화에 의해 형성된 전류가 소멸되지 않고 전달되어 제1 SQUID RING을 통해 증폭된다.
상기 제1 스퀴드 링(SQUID Ring)(121c)은 신호 증폭시키는 역할을 한다.
이는 일정한 전류(Ic) 이하만 통과할 수 있는 약한 결합(weak link)를 가지고 있다.
즉, 자기장의 변화에 따른 전류의 변화가 Ic 근처값을 유지하면서 자기장의 작은 변화에 전류가 Ic를 초과하면 약한 결합을 통과하지 못하여 전압이 갑자기 감소한다.
이와 같은 과정으로 자기장의 아주 작은 변화도 초전도 회로에서는 전압의 변화로 민감하게 인식할 수 있다.
상기 제1 스퀴드 일렉트로닉스(SQUID Electronics)(121d)는 제1 스퀴드 링(SQUID Ring)을 통해 신호증폭된 뇌파를 수신받아, 스마트제어부로 전달시키는 역할을 한다.
상기 제1 초전도 감응코일(sensing coil)(121a), 제1 입력코일(input coil)(121b), 제1 스퀴드 링(SQUID Ring)(121c), 제1 스퀴드 일렉트로닉스(SQUID Electronics)(121d)로 이루어진 1채널 좌측 측두엽 자기뇌파측정부(121)는 가로*세로*높이가 1cm*1cm*0.5cm로 형성되어 사용자 머리의 좌측 측두엽 (Left temporal lobe)과 접촉되는 안경모듈본체의 브릿지부 측면 일측에 위치된다.
본 발명에 따른 1채널 좌측 측두엽 자기뇌파측정부(121)는 제1 스퀴드 링부가 습득 코일에 도달하는 전체 자기장이 아닌, 자기장의 변화에 반응하도록 구성된다.
이는 변화가 없는 지구의 5×1010fT (femtotesla)의 강력한 자기장은 측정되지 않는다.
뇌에서 측정되는 일반적인 생체 자기장은 50에서 1,000fT이고, 간질양파는 1,000에서 5,000 fT인데 비해, 주위 환경의 자기 소음은 훨씬 큰 자기장을 형성한다.
잡음을 제거하기 위해서는 고전도 금속으로 차단된 차폐실이 외부에서 오는 자기장을 고전도 금속을 통해 외부로 유도한다.
[1채널 우측 측두엽 자기뇌파측정부(122)]
상기 1채널 우측 측두엽 자기뇌파측정부(122)는 사용자 머리의 우측 측두엽 (Right temporal lobe)과 접촉되는 안경모듈본체의 브릿지부 측면 일측에 위치되어 하나의 채널을 형성하면서, 사용자가 스마트 기기 제어를 상상했을 때, 우측 측두엽 (Right temporal lobe)의 뇌신경 세포들이 발생시키는 자기적 신호를 통해 뇌파를 1채널로 측정하는 역할을 한다.
이는 도 5에 도시한 바와 같이, 제2 초전도 감응코일(sensing coil)(122a), 제2 입력코일(input coil)(122b), 제2 스퀴드 링(SQUID Ring)(122c), 제2 스퀴드 일렉트로닉스(SQUID Electronics)(122d)로 구성된다.
상기 제2 초전도 감응코일(sensing coil)(122a)은 헤드부상에 위치되고, 니오븀(niobium)으로 형성되어, 사용자가 스마트 기기제어를 상상했을 때, 우측 측두엽의 뇌신경 세포들이 발생시키는 자기적 신호를 센싱시키는 역할을 한다.
이는 잡음 제거를 위해 서로 반대 방향으로 감겨 일정한 거리를 유지하고, 제2 습득 코일(pickup coil)(122a-1)과 제2 저항 코일(bucking coil)(122a-2)로 구성된다.
코일의 초전도성은 -269℃ 액화 헬륨(helium) 저장소에서 유지된다.
상기 제2 입력코일(input coil)(122b)은 제2 초전도감응코일과 제2 스퀴드 링 사이를 연결시키는 역할을 한다.
이는 자기장의 변화에 의해 형성된 전류가 소멸되지 않고 전달되어 제2 SQUID RING을 통해 증폭된다.
상기 제2 스퀴드 링(SQUID Ring)(122c)은 신호 증폭시키는 역할을 한다.
이는 일정한 전류(Ic) 이하만 통과할 수 있는 약한 결합(weak link)를 가지고 있다.
즉, 자기장의 변화에 따른 전류의 변화가 Ic 근처값을 유지하면서 자기장의 작은 변화에 전류가 Ic를 초과하면 약한 결합을 통과하지 못하여 전압이 갑자기 감소한다.
이와 같은 과정으로 자기장의 아주 작은 변화도 초전도 회로에서는 전압의 변화로 민감하게 인식할 수 있다.
상기 제2 스퀴드 일렉트로닉스(SQUID Electronics)(122d)는 제2 스퀴드 링(SQUID Ring)을 통해 신호증폭된 뇌파를 수신받아, 스마트제어부로 전달시키는 역할을 한다.
상기 제2 초전도 감응코일(sensing coil)(122a), 제2 입력코일(input coil)(122b), 제2 스퀴드 링(SQUID Ring)(122c), 제2 스퀴드 일렉트로닉스(SQUID Electronics)(122d)로 이루어진 1채널 우측 측두엽 자기뇌파측정부(122)는 가로*세로*높이가 1cm*1cm*0.5cm로 형성되어 사용자 머리의 우측 측두엽 (Left temporal lobe)과 접촉되는 안경모듈본체의 브릿지부 측면 일측에 위치된다.
본 발명에 따른 1채널 우측 측두엽 자기뇌파측정부(122)는 제2 스퀴드 링부가 습득 코일에 도달하는 전체 자기장이 아닌, 자기장의 변화에 반응하도록 구성된다.
이는 변화가 없는 지구의 5×1010fT (femtotesla)의 강력한 자기장은 측정되지 않는다.
뇌에서 측정되는 일반적인 생체 자기장은 50에서 1,000fT이고, 간질양파는 1,000에서 5,000 fT인데 비해, 주위 환경의 자기 소음은 훨씬 큰 자기장을 형성한다.
잡음을 제거하기 위해서는 고전도 금속으로 차단된 차폐실이 외부에서 오는 자기장을 고전도 금속을 통해 외부로 유도한다.
[1채널 후두엽 자기뇌파측정부(123)]
상기 1채널 후두엽 자기뇌파측정부(123)는 사용자 머리의 후두엽 (occipital lobe)과 접촉되는 안경모듈본체의 후단 밴드부 일측에 위치되어 하나의 채널을 형성하면서, 사용자가 스마트 기기 제어를 상상했을 때, 후두엽 (occipital lobe)의 뇌신경 세포들이 발생시키는 자기적 신호를 통해 뇌파를 1채널로 측정하는 역할을 한다.
이는 도 5에 도시한 바와 같이, 제3 초전도 감응코일(sensing coil)(123a), 제3 입력코일(input coil)(123b), 제3 스퀴드 링(SQUID Ring)(123c), 제3 스퀴드 일렉트로닉스(SQUID Electronics)(123d)로 구성된다.
상기 제3 초전도 감응코일(sensing coil)(123a)은 헤드부상에 위치되고, 니오븀(niobium)으로 형성되어, 사용자가 스마트 기기제어를 상상했을 때, 후두엽의 뇌신경 세포들이 발생시키는 자기적 신호를 센싱시키는 역할을 한다.
이는 잡음 제거를 위해 서로 반대 방향으로 감겨 일정한 거리를 유지하고, 제3 습득 코일(pickup coil)(123a-1)과 제3 저항 코일(bucking coil)(123a-2)로 구성된다.
코일의 초전도성은 -269℃ 액화 헬륨(helium) 저장소에서 유지된다.
상기 제3 입력코일(input coil)(123b)은 제3 초전도감응코일과 제3 스퀴드 링 사이를 연결시키는 역할을 한다.
이는 자기장의 변화에 의해 형성된 전류가 소멸되지 않고 전달되어 제3 SQUID RING을 통해 증폭된다.
상기 제3 스퀴드 링(SQUID Ring)(123c)은 신호 증폭시키는 역할을 한다.
이는 일정한 전류(Ic) 이하만 통과할 수 있는 약한 결합(weak link)를 가지고 있다.
즉, 자기장의 변화에 따른 전류의 변화가 Ic 근처값을 유지하면서 자기장의 작은 변화에 전류가 Ic를 초과하면 약한 결합을 통과하지 못하여 전압이 갑자기 감소한다.
이와 같은 과정으로 자기장의 아주 작은 변화도 초전도 회로에서는 전압의 변화로 민감하게 인식할 수 있다.
상기 제3 스퀴드 일렉트로닉스(SQUID Electronics)(123d)는 제3 스퀴드 링(SQUID Ring)을 통해 신호증폭된 뇌파를 수신받아, 스마트제어부로 전달시키는 역할을 한다.
상기 제3 초전도 감응코일(sensing coil)(123a), 제3 입력코일(input coil)(123b), 제3 스퀴드 링(SQUID Ring)(123c), 제3 스퀴드 일렉트로닉스(SQUID Electronics)(123d)로 이루어진 1채널 후두엽 자기뇌파측정부(123)는 가로*세로*높이가 1cm*1cm*0.5cm로 형성되어 사용자 머리의 후두엽 (occipital lobe)과 접촉되는 안경모듈본체의 후단 밴드부 일측에 일측에 위치된다.
본 발명에 따른 1채널 후두엽 자기뇌파측정부(123)는 제3 스퀴드 링부가 습득 코일에 도달하는 전체 자기장이 아닌, 자기장의 변화에 반응하도록 구성된다.
이는 변화가 없는 지구의 5×1010fT (femtotesla)의 강력한 자기장은 측정되지 않는다.
뇌에서 측정되는 일반적인 생체 자기장은 50에서 1,000fT이고, 간질양파는 1,000에서 5,000 fT인데 비해, 주위 환경의 자기 소음은 훨씬 큰 자기장을 형성한다.
잡음을 제거하기 위해서는 고전도 금속으로 차단된 차폐실이 외부에서 오는 자기장을 고전도 금속을 통해 외부로 유도한다.
[1채널 전두엽 자기뇌파측정부(124)]
상기 1채널 전두엽 자기뇌파측정부(124)는 사용자 머리의 전두엽 (frontal lobe)과 접촉되는 안경모듈본체의 중앙 밴드부 일측에 위치되어 하나의 채널을 형성하면서, 사용자가 스마트 기기 제어를 상상했을 때, 전두엽 (frontal lobe)의 뇌신경 세포들이 발생시키는 자기적 신호를 통해 뇌파를 1채널로 측정하는 역할을 한다.
이는 도 5에 도시한 바와 같이, 제4 초전도 감응코일(sensing coil)(124a), 제4 입력코일(input coil)(124b), 제4 스퀴드 링(SQUID Ring)(124c), 제4 스퀴드 일렉트로닉스(SQUID Electronics)(124d)로 구성된다.
상기 제4 초전도 감응코일(sensing coil)(124a)은 헤드부상에 위치되고, 니오븀(niobium)으로 형성되어, 사용자가 스마트 기기제어를 상상했을 때, 전두엽의 뇌신경 세포들이 발생시키는 자기적 신호를 센싱시키는 역할을 한다.
이는 잡음 제거를 위해 서로 반대 방향으로 감겨 일정한 거리를 유지하고, 제4 습득 코일(pickup coil)(124a-1)과 제4 저항 코일(bucking coil)(124a-2)로 구성된다.
코일의 초전도성은 -269℃ 액화 헬륨(helium) 저장소에서 유지된다.
상기 제4 입력코일(input coil)(124b)은 제4 초전도감응코일과 제4 스퀴드 링 사이를 연결시키는 역할을 한다.
이는 자기장의 변화에 의해 형성된 전류가 소멸되지 않고 전달되어 제4 SQUID RING을 통해 증폭된다.
상기 제4 스퀴드 링(SQUID Ring)(124c)은 신호 증폭시키는 역할을 한다.
이는 일정한 전류(Ic) 이하만 통과할 수 있는 약한 결합(weak link)를 가지고 있다.
즉, 자기장의 변화에 따른 전류의 변화가 Ic 근처값을 유지하면서 자기장의 작은 변화에 전류가 Ic를 초과하면 약한 결합을 통과하지 못하여 전압이 갑자기 감소한다.
이와 같은 과정으로 자기장의 아주 작은 변화도 초전도 회로에서는 전압의 변화로 민감하게 인식할 수 있다.
상기 제4 스퀴드 일렉트로닉스(SQUID Electronics)(124d)는 제4 스퀴드 링(SQUID Ring)을 통해 신호증폭된 뇌파를 수신받아, 스마트제어부로 전달시키는 역할을 한다.
상기 제4 초전도 감응코일(sensing coil)(124a), 제4 입력코일(input coil)(124b), 제4 스퀴드 링(SQUID Ring)(124c), 제4 스퀴드 일렉트로닉스(SQUID Electronics)(124d)로 이루어진 1채널 전두엽 자기뇌파측정부(124)는 가로*세로*높이가 1cm*1cm*0.5cm로 형성되어 사용자 머리의 전두엽 (frontal lobe)과 접촉되는 안경모듈본체의 중앙 밴드부 일측에 일측에 위치된다.
본 발명에 따른 1채널 전두엽 자기뇌파측정부(124)는 제4 스퀴드 링부가 습득 코일에 도달하는 전체 자기장이 아닌, 자기장의 변화에 반응하도록 구성된다.
이는 변화가 없는 지구의 5×1010fT (femtotesla)의 강력한 자기장은 측정되지 않는다.
뇌에서 측정되는 일반적인 생체 자기장은 50에서 1,000fT이고, 간질양파는 1,000에서 5,000 fT인데 비해, 주위 환경의 자기 소음은 훨씬 큰 자기장을 형성한다.
잡음을 제거하기 위해서는 고전도 금속으로 차단된 차폐실이 외부에서 오는 자기장을 고전도 금속을 통해 외부로 유도한다.
셋째, 본 발명에 따른 홍채포커싱 측정부(130)에 관해 설명한다.
상기 홍채포커싱 측정부(130)는 안경모듈본체의 렌즈상에 위치되어, 평상시에 물체로부터 오는 빛을 모으거나 발산시켜 광학적 상(像)을 맺도록 유도시키다가, 스마트제어부의 제어신호에 따라 구동되어, 스마트 기기를 바라봤을 때 홍체의 위치 및 움직임을 센싱하여 홍채포커싱신호를 획득시키는 역할을 한다.
이는 도 3에 도시한 바와 같이, 다중 마이크로 디스플레이부(131), 홍체센싱부(132)로 구성된다.
상기 다중 마이크로 디스플레이부(131)는 글라스, 불투명필터, 투시렌즈에다가 OLED 디스플레이로 형성시키는 역할을 한다.
상기 홍체센싱부(132)는 도 12에 도시한 바와 같이, 다중 마이크로 디스플레이부상에 레드포커싱가상이미지로 생성되어, 사용자가 제어하고자하는 스마트 기기를 바라봤을 때 홍체의 위치 및 움직임을 센싱하여 홍채포커싱신호를 획득시키는 역할을 한다.
여기서, 홍채포커싱신호는 사용자가 제어하고자하는 스마트 기기를 바라봤을 때 홍체의 위치 및 움직임을 센싱한 것을 말한다.
즉, 사용자가 제어하고자하는 스마트 기기를 바라봤을 때, 그 기준점을 홍채 설정하고, 홍채가 기준점으로서 설정되면, 스마트제어부의 제어신호에 따라 카메라촬영부가 구동되어, 사용자가 바라보고 있는 스마트 기기를 영상촬영하여, 시각적으로 사용자가 제어하고자 하는 스마트기기를 센싱시키고자 하기 위함이다.
일예로, 천장에 설치된 LED 조명램프를 디밍시키고자 할 때, 시각적으로 사용자가 제어하고자 하는 LED 조명램프를 자연스럽게 쳐다보게 될 것이고, 이에 따라 홍채의 위치 및 움직임이 있고, 이때 홍체센싱부를 통해 홍채포커싱신호를 획득하면, 홍채포커싱신호가 스마트제어부로 전달되고, 스마트제어부에서 카메라촬영부를 바로 구동시켜, 사용자가 바라보고 있는 LED 조명램프를 영상촬영한다. 이때 영상촬영된 이미지데이터가 사용자가 제어하고자 하는 스마트기기로서 설정된다.
넷째, 본 발명에 따른 전원부(140)에 관해 설명한다.
상기 전원부(140)는 안경모듈본체의 브릿지부 외부방향 측면 일측에 위치되어, 각 기기에 전원을 공급시키는 역할을 한다.
이는 도 6에 도시한 바와 같이, 휴대용 충전배터리(141), 상용전원연결부(142)로 구성된다.
상기 휴대용 충전배터리(141)는 리튬이온배터리가 팩구조로 형성되어 각 기기에 메인전원을 공급시키는 역할을 한다.
상기 상용전원연결부(142)는 유선으로 상용전원을 인가받아 각 기기에 전원을 공급시키는 역할을 한다.
다섯째, 본 발명에 따른 근거리통신모듈(150)에 관해 설명한다.
상기 근거리통신모듈(150)은 기기제어용 IoT모듈과 근거리통신망으로 연결되어, 스마트제어부의 제어신호에 따라 안경모듈본체와 5m~100m에 위치한 스마트 기기에 설치된 기기제어용 IoT모듈로 하이브리드형 기기제어신호를 출력시키는 역할을 한다.
이는 도 7에 도시한 바와 같이, 블루투스 통신부(151)와 지그비통신부(152) 중 어느 하나가 선택되어 구성된다.
상기 블루투스 통신부(151)는 10미터 이내의 초단거리에서 저전력무선연결하여, 정보를 교환시키는 역할을 한다.
이는 ISM(Industrial Scientific and Medical) 주파수 대역인 2400~2483.5MHz를 사용한다. 이 중 위아래 주파수를 쓰는 다른 시스템들의 간섭을 막기 위해 2400MHz 이후 2MHz, 2483.5MHz 이전 3.5MHz까지의 범위를 제외한 2402~2480MHz, 총 79개 채널을 쓴다.
그리고, 시스템간 전파 간섭을 해소하기 위해, 주파수 호핑(Frequency Hopping) 방식으로 구성된다.
주파수 호핑은 많은 수의 채널을 특정 패턴에 따라 빠르게 이동하며 패킷(데이터)을 조금씩 전송하는 기법으로, 본 발명에 서는 79개 채널을 1초당 1600번 호핑하도록 구성된다.
상기 지그비통신부(152)는 2.4GHz의 주파수 대역을 이용하여 근거리(10m~75m)에 위치한 기기제어용 IoT모듈쪽으로 250kbps의 데이터 전송률을 제공하는 역할을 한다.
여섯째, 본 발명에 따른 카메라촬영부(160)에 관해 설명한다.
상기 카메라촬영부(160)는 안경모듈본체의 렌즈 상단 일측에 위치되어, 사용자가 바라보는 스마트 기기 또는 주위상황을 카메라 촬영시키는 역할을 한다.
이는 홍체센싱부를 통해 홍채포커싱신호가 획득되면, 스마트제어부의 제어신호에 따라 구동된다.
즉, 사용자가 바라보고 있는 스마트기기를 영상촬영한다. 이때 영상촬영된 이미지데이터가 스마트제어부로 전달되어, 사용자가 제어하고자 하는 스마트기기로서 설정된다.
일곱째, 본 발명에 따른 스마트제어부(170)에 관해 설명한다.
상기 스마트제어부(170)는 4채널 자기뇌파측정부, 홍채포커싱 측정부, 전원부, 근거리통신모듈, 카메라촬영부와 연결되어, 각 기기의 전반적인 동작을 제어하면서, 현재 측정된 뇌파데이터와 홍채포커싱신호데이터를 기준으로, BCI(Brain Computer Interface)시켜 맞춤형 하이브리드형 기기제어신호를 근거리에 위치한 스마트 기기에 설치된 기기제어용 IoT모듈로 출력시키도록 제어하는 역할을 한다.
이는 가로*세로가 1mm*1mm, 2mm*2mm, 3mm*3mm, 4mm*4mm크기 중 어느 하나가 선택된 마이크로프로세서로 구성되고, PCB 기판 크기 또한, 가로*세로*높이가 2cm*2cm*0.5cm, 3cm*3cm*0.5cm 크기로 형성된다.
즉, 도 8에 도시한 바와 같이, 입력단자 일측에 4채널 자기뇌파측정부(120)가 연결되어, 사용자가 스마트 기기 제어를 상상했을 때, 뇌신경 세포들이 발생시키는 자기적 신호를 통해 뇌파를 측정하는 뇌파데이터가 입력되고, 또 다른 입력단자 일측에 홍채포커싱 측정부(130)가 연결되어, 스마트 기기를 바라봤을 때 홍체의 위치 및 움직임을 센싱하여 홍채포커싱신호를 획득시킨 홍채포커싱신호데이터가 입력되며, 또 다른 입력단자 일측에 전원부가 연결되어, 전원부의 입력전류, 입력전압, 출력전류, 출력전압이 입력되고, 출력단자 일측에 근거리통신모듈(150)이 연결되어, 스마트 기기에 설치된 기기제어용 IoT모듈로 하이브리드형 기기제어신호를 출력시키도록 제어하며, 또 다른 출력단자 일측에 카메라촬영부(160)가 연결되어, 사용자가 바라보는 스마트 기기 또는 주위상황을 카메라 촬영시키도록 출력신호를 출력시키도록 구성된다.
본 발명에 따른 스마트제어부(170)는 BCI 제어부(171)가 포함되어 구성된다.
상기 BCI 제어부(171)는 도 12에 도시한 바와 같이, 현재 측정된 뇌파데이터와 홍채포커싱신호데이터를 기준으로, BCI(Brain Computer Interface)시켜 맞춤형 하이브리드형 기기제어신호를 생성시키는 역할을 한다.
이는 도 9에 도시한 바와 같이, 전처리(Preprocessing)부(171a), 형태추출(Feature Extraction)부(171b), 기기제어신호 생성부(171c)로 구성된다.
상기 전처리(Preprocessing)부(171a)는 잡파를 제거하고 분석에 필요한 신호만을 분리시키는 역할을 한다.
상기 형태추출(Feature Extraction)부(171b)는 4채널 자기뇌파측정부로부터 전달된 뇌파데이터 중 알파파와, 베타파를 추출해내는 역할을 한다.
상기 기기제어신호 생성부(171c)는 형태추출(Feature Extraction)부에서 추출한 알파파와 베타파로 이루어진 뇌파데이터와, 홍채포커싱측정부로부터 수신받은 홍채포커싱신호를 미리설정된 기준데이터와 비교분석 후, 맞춤형 하이브리드형 기기제어신호를 생성시키는 역할을 한다.
여기서, 미리 설정된 기준데이터라는 것은 사용자가 제어하고자하는 스마트 기기(공중부양 볼 상승장치, 무인자동차, LED 조명램프, 스탠드)를 상상했을 때 구동되는 알파파와 베타파를 기준뇌파데이터로 설정하고, 이와 마찬가지로, 사용자가 제어하고자하는 스마트 기기(공중부양 볼 상승장치, 무인자동차, LED 조명램프, 스탠드)를 상상했을 때 구동되는 홍체포커싱신호와 이미지데이터(스마트 기기)를 기준홍체포커싱신호데이터로 설정한다.
상기 기기제어신호 생성부(171c)는 선형판별분석알고리즘엔진부(Linear discriminant analysis, LDA)가 포함되어 구성된다.
상기 선형판별분석알고리즘엔진부(Linear discriminant analysis, LDA)는 선형분류기로서 클래스간 분산과 클래스 내 분산의 비율을 최대화하는 방식으로 데이터에 대한 특징 벡터의 차원을 축소시키는 역할을 한다.
이는 가능한 클래스간의 분별 정보를 최대한 유지시키면서 차원을 축소시키는 것이다.
즉, 특정한 데이터 군에서 클래스간 변이와 클래스 내 변이의 비를 최대화하여 최대 분리능력을 보장한다.
클래스 내 주파수가 불균일하고 그들의 성능이 무질서하게 생성된 평가데이터로 조사된 경우 쉽게 조절된다.
상기 선형판별분석알고리즘엔진부는 다른 클래스를 표현하는 데이터를 분리하는 초평면을 사용한다.
두 클래스문제에 대하여 특성벡터의 클래스는 벡터가 초평면의 어느쪽인에 결정된다.
선형판별분석알고리즘엔진부는 두개의 클래스가 있을 때, 각 클래스가 속한 데이터가 가우시안 분포를 따른다고 가정한다.
분리하는 초평면은 두 클래스의 평균값간의 거리를 최대화하고, 클래스 내 변이를 최소화하는 투영을 찾아서 연산시킨다.
선형판별함수는 수학식 1과 같이 정의된다.
Figure pat00001
여기서, w는 가중벡터이고, W0는 임계가중 또는 바이어스를 나타낸다.
다음으로, 본 발명에 따른 기기제어용 IoT모듈(200)에 관해 설명한다.
상기 기기제어용 IoT모듈(200)은 스마트 기기에 설치되고, 하이브리드형 BCI 안경모듈과 근거리통신망으로 연결되어, 스마트 기기를 하이브리드형 BCI 안경모듈의 하이브리드형 기기제어신호에 따라 구동제어시키는 역할을 한다.
이는 도 10에 도시한 바와 같이, 모듈본체(210), 연결컨넥터부(220), IoT형 독립전원부(230), IoT모듈형 근거리통신부(240), IoT 제어부(250), 액츄에이션모듈(260)로 구성된다.
상기 모듈본체(210)는 사각박스형상으로 이루어져, 각 기기를 외압으로부터 보호하고 지지하는 역할을 한다.
상기 연결컨넥터부(220)는 모듈본체의 외부 일측면에 위치되어, 스마트 기기의 입출력단자 일측과 연결시키는 역할을 한다.
상기 IoT형 독립전원부(230)는 모듈본체의 내부공간 일측에 위치되어, 각 기기에 전원을 공급시키는 역할을 한다.
이는 리튬 폴리머 배터리 팩으로 구성된다.
상기 IoT모듈형 근거리통신부(240)는 IoT형 독립전원부 일측에 위치되어, 근거리에 위치한 하이브리드형 BCI 안경모듈과 근거리통신망을 형성하면서, 하이브리드형 BCI 안경모듈로부터 하이브리드형 기기제어신호를 수신받아 IoT 제어부로 전달시키는 역할을 한다.
이는 도 11에 도시한 바와 같이, IoT모듈형 블루투스 통신부(241)와 IoT모듈형 지그비통신부(242) 중 어느 하나가 선택되어 구성된다.
상기 IoT모듈형 블루투스 통신부(241)는 10미터 이내의 초단거리에서 저전력무선연결하여, 정보를 교환시키는 역할을 한다.
이는 ISM(Industrial Scientific and Medical) 주파수 대역인 2400~2483.5MHz를 사용한다. 이 중 위아래 주파수를 쓰는 다른 시스템들의 간섭을 막기 위해 2400MHz 이후 2MHz, 2483.5MHz 이전 3.5MHz까지의 범위를 제외한 2402~2480MHz, 총 79개 채널을 쓴다.
그리고, 시스템간 전파 간섭을 해소하기 위해, 주파수 호핑(Frequency Hopping) 방식으로 구성된다.
주파수 호핑은 많은 수의 채널을 특정 패턴에 따라 빠르게 이동하며 패킷(데이터)을 조금씩 전송하는 기법으로, 본 발명에 서는 79개 채널을 1초당 1600번 호핑하도록 구성된다.
상기 IoT모듈형 지그비통신부(242)는 2.4GHz의 주파수 대역을 이용하여 근거리(10m~75m)에 위치한 스마트 디바이스쪽으로 250kbps의 데이터 전송률을 제공하는 역할을 한다.
상기 IoT 제어부(250)는 IoT형 독립전원부, IoT모듈형 근거리통신부, 액츄에이션모듈과 연결되어, 각 기기의 전반적인 구동을 제어시키면서, 스마트 기기에 맞게 1:1 맞춤형 통신프로토콜을 형성시키고, 스마트 기기를 하이브리드형 BCI 안경모듈의 하이브리드형 기기제어신호에 따라 구동제어시키는 역할을 한다.
상기 액츄에이션모듈(260)은 IoT 제어부의 제어신호에 따라, 스마트 기기의 구동과 방향을 제어시키는 역할을 한다.
이는 프로그램스위치로 구성되어, 스마트 기기의 구동드라이버 및 방향드라이버와 연결되어, 스마트 기기의 구동과 방향을 제어시킨다.
이하, 본 발명에 따른 하이브리드형 BCI 안경모듈을 통한 스마트 기기 자동제어장치의 구체적인 동작과정에 관해 설명한다.
[공중부양 볼 상승 제어]
먼저, 도 13에 도시한 바와 같이, 하이브리드형 BCI 안경모듈(100)을 사용자의 눈과 귀를 중심으로 안경구조로 착용한다.
다음으로, 사용자가 스마트 기기 중 공중부양 볼이 상승된다는 것을 상상한다.
다음으로, 하이브리드형 BCI 안경모듈의 4채널 자기뇌파측정부를 통해 사용자가 스마트 기기 중 공중부양 볼이 상승된다는 것을 상상했을 때, 뇌신경 세포들이 발생시키는 자기적 신호를 통해 뇌파를 측정한다.
다음으로, 하이브리드형 BCI 안경모듈의 홍채포커싱 측정부를 통해 사용자가 스마트 기기 중 공중부양 볼을 바라봤을 때 홍체의 위치 및 움직임을 센싱하여 홍채포커싱신호를 획득시킨다.
다음으로, 하이브리드형 BCI 안경모듈의 스마트제어부에서 현재 측정된 뇌파데이터와 홍채포커싱신호데이터를 기준으로, BCI(Brain Computer Interface)시켜 맞춤형 하이브리드형 기기제어신호를 근거리에 위치한 스마트 기기 중 공중부양 볼에 설치된 기기제어용 IoT모듈로 출력시키도록 제어한다.
즉, BCI 제어부(171)는 도 12에 도시한 바와 같이, 현재 측정된 뇌파데이터와 홍채포커싱신호데이터를 기준으로, BCI(Brain Computer Interface)시켜 맞춤형 하이브리드형 기기제어신호를 생성시킨다.
끝으로, 기기제어용 IoT모듈(200)이 하이브리드형 BCI 안경모듈로부터 하이브리드형 기기제어신호를 수신받아 스마트 기기 중 공중부양 볼이 상승되도록 구동제어시킨다.
[자동차 무인 제어]
먼저, 도 14에 도시한 바와 같이, 하이브리드형 BCI 안경모듈(100)을 사용자의 눈과 귀를 중심으로 안경구조로 착용한다.
다음으로, 사용자가 스마트 기기 중 자동차를 무인운전한다는 것을 상상한다.
다음으로, 하이브리드형 BCI 안경모듈의 4채널 자기뇌파측정부를 통해 사용자가 스마트 기기 중 자동차를 무인운전한다는 것을 상상했을 때, 뇌신경 세포들이 발생시키는 자기적 신호를 통해 뇌파를 측정한다.
다음으로, 하이브리드형 BCI 안경모듈의 홍채포커싱 측정부를 통해 사용자가 스마트 기기 중 자동차를 바라봤을 때 홍체의 위치 및 움직임을 센싱하여 홍채포커싱신호를 획득시킨다.
다음으로, 하이브리드형 BCI 안경모듈의 스마트제어부에서 현재 측정된 뇌파데이터와 홍채포커싱신호데이터를 기준으로, BCI(Brain Computer Interface)시켜 맞춤형 하이브리드형 기기제어신호를 근거리에 위치한 스마트 기기 중 자동차에 설치된 기기제어용 IoT모듈로 출력시키도록 제어한다.
즉, BCI 제어부(171)는 도 12에 도시한 바와 같이, 현재 측정된 뇌파데이터와 홍채포커싱신호데이터를 기준으로, BCI(Brain Computer Interface)시켜 맞춤형 하이브리드형 기기제어신호를 생성시킨다.
끝으로, 기기제어용 IoT모듈(200)이 하이브리드형 BCI 안경모듈로부터 하이브리드형 기기제어신호를 수신받아 스마트 기기 중 자동차가 무인운전되도록 구동제어시킨다.
[LED 조명램프(스탠드 포함) 디밍 제어]
먼저, 도 15에 도시한 바와 같이, 하이브리드형 BCI 안경모듈(100)을 사용자의 눈과 귀를 중심으로 안경구조로 착용한다.
그리고, LED 조명램프 내부에 기기제어용 IoT모듈이 설치된다.
여기서, LED 조명램프는 천장이나 벽에 설치되는 조명램프이외에도, 스탠드도 포함한다.
다음으로, 사용자가 스마트 기기 중 LED 조명램프의 밝기를 디밍제어한다는 것을 상상한다.
다음으로, 하이브리드형 BCI 안경모듈의 4채널 자기뇌파측정부를 통해 스마트 기기 중 LED 조명램프의 밝기를 디밍제어한다는 것을 상상했을 때, 뇌신경 세포들이 발생시키는 자기적 신호를 통해 뇌파를 측정한다.
다음으로, 하이브리드형 BCI 안경모듈의 홍채포커싱 측정부를 통해 사용자가 스마트 기기 중 LED 조명램프를 바라봤을 때 홍체의 위치 및 움직임을 센싱하여 홍채포커싱신호를 획득시킨다.
다음으로, 하이브리드형 BCI 안경모듈의 스마트제어부에서 현재 측정된 뇌파데이터와 홍채포커싱신호데이터를 기준으로, BCI(Brain Computer Interface)시켜 맞춤형 하이브리드형 기기제어신호를 근거리에 위치한 스마트 기기 중 LED 조명램프에 설치된 기기제어용 IoT모듈로 출력시키도록 제어한다.
즉, BCI 제어부(171)는 도 12에 도시한 바와 같이, 현재 측정된 뇌파데이터와 홍채포커싱신호데이터를 기준으로, BCI(Brain Computer Interface)시켜 맞춤형 하이브리드형 기기제어신호를 생성시킨다.
끝으로, 기기제어용 IoT모듈(200)이 하이브리드형 BCI 안경모듈로부터 하이브리드형 기기제어신호를 수신받아 스마트 기기 중 LED 조명램프가 디밍제어시킨다.
1 : 스마트 기기 자동제어장치 100 : 하이브리드형 BCI 안경모듈
110 : 안경모듈본체 120 : 4채널 자기뇌파측정부
130 : 홍채포커싱 측정부 140 : 전원부
150 : 근거리통신모듈 160 : 카메라촬영부
170 : 스마트제어부 200 : 기기제어용 IoT모듈
210 : 모듈본체 220 : 연결컨넥터부
230 : IoT형 독립전원부 240 : IoT모듈형 근거리통신부
250 : IoT 제어부 260 : 액츄에이션모듈

Claims (7)

  1. 사용자의 눈과 귀를 중심으로 안경구조로 착용한 상태에서, 사용자가 스마트 기기 제어를 상상했을 때, 1차로 뇌신경 세포들이 발생시키는 자기적 신호를 통해 뇌파를 측정하고, 2차로 사용자가 제어하고자 하는 스마트 기기를 바라보는 홍채포커싱신호를 측정한 후, 현재 측정된 뇌파데이터와 홍채포커싱신호데이터를 기준으로 BCI(Brain Computer Interface)시켜 맞춤형 하이브리드형 기기제어신호를 근거리에 위치한 스마트 기기에 설치된 기기제어용 IoT모듈로 출력시키는 하이브리드형 BCI 안경모듈(100)과,
    스마트 기기에 설치되고, 하이브리드형 BCI 안경모듈과 근거리통신망으로 연결되어, 스마트 기기를 하이브리드형 BCI 안경모듈의 하이브리드형 기기제어신호에 따라 구동제어시키는 기기제어용 IoT모듈(200)로 구성되는 것을 특징으로 하는 하이브리드형 BCI 안경모듈을 통한 스마트 기기 자동제어장치.
  2. 제1항에 있어서, 상기 하이브리드형 BCI 안경모듈(100)은
    사용자의 코와 귀에 부착되도록 두개의 렌즈, 눈썹지지틀, 코브릿지, 브릿지부로 이루어져 각 기기를 외압으로부터 보호하고 지지하는 안경모듈본체(110)와,
    안경모듈본체의 브릿지부 양측면 일측, 안경모듈본체의 후단 밴드부 일측, 안경모듈본체의 중앙 밴드부 일측에 위치되어, 사용자가 스마트 기기 제어를 상상했을 때, 뇌신경 세포들이 발생시키는 자기적 신호를 통해 뇌파를 측정하는 4채널 자기뇌파측정부(120)와,
    안경모듈본체의 렌즈상에 위치되어, 평상시에 물체로부터 오는 빛을 모으거나 발산시켜 광학적 상(像)을 맺도록 유도시키다가, 스마트제어부의 제어신호에 따라 구동되어, 스마트 기기를 바라봤을 때 홍체의 위치 및 움직임을 센싱하여 홍채포커싱신호를 획득시키는 홍채포커싱 측정부(130)와,
    안경모듈본체의 브릿지부 외부방향 측면 일측에 위치되어, 각 기기에 전원을 공급시키는 전원부(140)와,
    기기제어용 IoT모듈과 근거리통신망으로 연결되어, 스마트제어부의 제어신호에 따라 안경모듈본체와 5m~100m에 위치한 스마트 기기에 설치된 기기제어용 IoT모듈로 하이브리드형 기기제어신호를 출력시키는 근거리통신모듈(150)과,
    안경모듈본체의 렌즈 상단 일측에 위치되어, 사용자가 바라보는 스마트 기기 또는 주위상황을 카메라 촬영시키는 카메라촬영부(160)와,
    4채널 자기뇌파측정부, 홍채포커싱 측정부, 전원부, 근거리통신모듈, 카메라촬영부와 연결되어, 각 기기의 전반적인 동작을 제어하면서, 현재 측정된 뇌파데이터와 홍채포커싱신호데이터를 기준으로, BCI(Brain Computer Interface)시켜 맞춤형 하이브리드형 기기제어신호를 근거리에 위치한 스마트 기기에 설치된 기기제어용 IoT모듈로 출력시키도록 제어하는 스마트제어부(170)로 구성되는 것을 특징으로 하는 하이브리드형 BCI 안경모듈을 통한 스마트 기기 자동제어장치.
  3. 제2항에 있어서, 상기 4채널 자기뇌파측정부(120)는
    사용자 머리의 좌측 측두엽 (Left temporal lobe)과 접촉되는 안경모듈본체의 브릿지부 측면 일측에 위치되어 하나의 채널을 형성하면서, 사용자가 스마트 기기 제어를 상상했을 때, 좌측 측두엽 (Left temporal lobe)의 뇌신경 세포들이 발생시키는 자기적 신호를 통해 뇌파를 1채널로 측정하는 1채널 좌측 측두엽 자기뇌파측정부(121)와,
    사용자 머리의 우측 측두엽 (Right temporal lobe)과 접촉되는 안경모듈본체의 브릿지부 측면 일측에 위치되어 하나의 채널을 형성하면서, 사용자가 스마트 기기 제어를 상상했을 때, 우측 측두엽 (Right temporal lobe)의 뇌신경 세포들이 발생시키는 자기적 신호를 통해 뇌파를 1채널로 측정하는 1채널 우측 측두엽 자기뇌파측정부(122)와,
    사용자 머리의 후두엽 (occipital lobe)과 접촉되는 안경모듈본체의 후단 밴드부 일측에 위치되어 하나의 채널을 형성하면서, 사용자가 스마트 기기 제어를 상상했을 때, 후두엽 (occipital lobe)의 뇌신경 세포들이 발생시키는 자기적 신호를 통해 뇌파를 1채널로 측정하는 1채널 후두엽 자기뇌파측정부(123)와,
    사용자 머리의 전두엽 (frontal lobe)과 접촉되는 안경모듈본체의 중앙 밴드부 일측에 위치되어 하나의 채널을 형성하면서, 사용자가 스마트 기기 제어를 상상했을 때, 전두엽 (frontal lobe)의 뇌신경 세포들이 발생시키는 자기적 신호를 통해 뇌파를 1채널로 측정하는 1채널 전두엽 자기뇌파측정부(124)로 구성되는 것을 특징으로 하는 하이브리드형 BCI 안경모듈을 통한 스마트 기기 자동제어장치.
  4. 제3항에 있어서, 상기 1채널 좌측 측두엽 자기뇌파측정부(121)는
    헤드부상에 위치되고, 니오븀(niobium)으로 형성되어, 사용자가 스마트 기기제어를 상상했을 때, 좌측 측두엽의 뇌신경 세포들이 발생시키는 자기적 신호를 센싱시키는 제1 초전도 감응코일(sensing coil)과,
    제1 초전도감응코일과 제1 스퀴드 링 사이를 연결시키는 제1 입력코일(input coil)과,
    신호 증폭을 위한 제1 스퀴드 링(SQUID Ring)과,
    제1 스퀴드 링(SQUID Ring)을 통해 신호증폭된 뇌파를 수신받아, 스마트제어부로 전달시키는 제1 스퀴드 일렉트로닉스(SQUID Electronics)로 구성되는 것을 특징으로 하는 하이브리드형 BCI 안경모듈을 통한 스마트 기기 자동제어장치.
  5. 제2항에 있어서, 상기 홍채포커싱 측정부(130)는
    글라스, 불투명필터, 투시렌즈에다가 OLED 디스플레이로 형성시킨 다중 마이크로 디스플레이부(131)와,
    다중 마이크로 디스플레이부상에 레드포커싱가상이미지로 생성되어, 사용자가 제어하고자하는 스마트 기기를 바라봤을 때 홍체의 위치 및 움직임을 센싱하여 홍채포커싱신호를 획득시키는 홍체센싱부(132)로 구성되는 것을 특징으로 하는 하이브리드형 BCI 안경모듈을 통한 스마트 기기 자동제어장치.
  6. 제2항에 있어서, 상기 스마트제어부(170)는
    잡파를 제거하고 분석에 필요한 신호만을 분리시키는 전처리(Preprocessing)부(171a)와,
    4채널 자기뇌파측정부로부터 전달된 뇌파데이터 중 알파파와, 베타파를 추출해내는 형태추출(Feature Extraction)부(171b)와,
    형태추출(Feature Extraction)부에서 추출한 알파파와 베타파로 이루어진 뇌파데이터와, 홍채포커싱측정부로부터 수신받은 홍채포커싱신호를 미리설정된 기준데이터와 비교분석 후, 맞춤형 하이브리드형 기기제어신호를 생성시키는 기기제어신호 생성부(171c)로 이루어진 BCI 제어부(171)가 포함되어 구성되는 것을 특징으로 하는 하이브리드형 BCI 안경모듈을 통한 스마트 기기 자동제어장치.
  7. 제1항에 있어서, 상기 기기제어용 IoT모듈(200)은
    사각박스형상으로 이루어져, 각 기기를 외압으로부터 보호하고 지지하는 모듈본체(210)와,
    모듈본체의 외부 일측면에 위치되어, 스마트 기기의 입출력단자 일측과 연결시키는 연결컨넥터부(220)와,
    모듈본체의 내부공간 일측에 위치되어, 각 기기에 전원을 공급시키는 IoT형 독립전원부(230)와,
    IoT형 독립전원부 일측에 위치되어, 근거리에 위치한 하이브리드형 BCI 안경모듈과 근거리통신망을 형성하면서, 하이브리드형 BCI 안경모듈로부터 하이브리드형 기기제어신호를 수신받아 IoT 제어부로 전달시키는 IoT모듈형 근거리통신부(240)와,
    IoT형 독립전원부, IoT모듈형 근거리통신부, 액츄에이션모듈과 연결되어, 각 기기의 전반적인 구동을 제어시키면서, 스마트 기기에 맞게 1:1 맞춤형 통신프로토콜을 형성시키고, 스마트 기기를 하이브리드형 BCI 안경모듈의 하이브리드형 기기제어신호에 따라 구동제어시키는 IoT 제어부(250)와,
    IoT 제어부의 제어신호에 따라, 스마트 기기의 구동모듈의 구동과 방향을 제어시키는 액츄에이션모듈(260)로 구성되는 것을 특징으로 하는 하이브리드형 BCI 안경모듈을 통한 스마트 기기 자동제어장치.
KR1020160075694A 2016-06-17 2016-06-17 하이브리드형 bci 안경모듈을 통한 스마트 기기 자동제어장치 KR20170143062A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160075694A KR20170143062A (ko) 2016-06-17 2016-06-17 하이브리드형 bci 안경모듈을 통한 스마트 기기 자동제어장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160075694A KR20170143062A (ko) 2016-06-17 2016-06-17 하이브리드형 bci 안경모듈을 통한 스마트 기기 자동제어장치

Publications (1)

Publication Number Publication Date
KR20170143062A true KR20170143062A (ko) 2017-12-29

Family

ID=60939136

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160075694A KR20170143062A (ko) 2016-06-17 2016-06-17 하이브리드형 bci 안경모듈을 통한 스마트 기기 자동제어장치

Country Status (1)

Country Link
KR (1) KR20170143062A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101975050B1 (ko) * 2018-12-20 2019-05-03 (주)마인더스 뇌파를 이용한 기기 제어 장치를 통한 전두엽 활성화 분석 방법
WO2019226008A1 (ko) * 2018-05-25 2019-11-28 (주)마인더스 뇌파를 이용한 기기 제어 장치, 및 뇌파를 이용한 기기 제어 장치가 설치된 전자 기기
US10845798B2 (en) 2018-05-28 2020-11-24 Korea Institute Of Science And Technology Mobile robot control apparatus and method for compensating input delay time

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019226008A1 (ko) * 2018-05-25 2019-11-28 (주)마인더스 뇌파를 이용한 기기 제어 장치, 및 뇌파를 이용한 기기 제어 장치가 설치된 전자 기기
US10845798B2 (en) 2018-05-28 2020-11-24 Korea Institute Of Science And Technology Mobile robot control apparatus and method for compensating input delay time
KR101975050B1 (ko) * 2018-12-20 2019-05-03 (주)마인더스 뇌파를 이용한 기기 제어 장치를 통한 전두엽 활성화 분석 방법

Similar Documents

Publication Publication Date Title
US10820850B2 (en) Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US11449140B2 (en) Multimodal eye tracking
US10342428B2 (en) Monitoring pulse transmissions using radar
US20180103917A1 (en) Head-mounted display eeg device
US11340461B2 (en) Devices, systems and methods for predicting gaze-related parameters
KR101049605B1 (ko) 눈 움직임을 모니터하는 바이오센서, 커뮤니케이터, 및컨트롤러 및 그들의 사용 방법
US8937650B2 (en) Systems and methods for performing a triggered action
JP2019506691A (ja) アイブレインインターフェースシステムのキャリブレーション方法、及びシステム内のスレーブデバイス、ホストデバイス
KR20170143062A (ko) 하이브리드형 bci 안경모듈을 통한 스마트 기기 자동제어장치
KR20180006573A (ko) 특정 장소내에 하이브리드형 bci 안경모듈·다방향디스플레이모듈을 통한 vr실감체험형성장치 및 방법
CN207367341U (zh) 基于疲劳检测与觉醒刺激的眼镜
US20220238220A1 (en) Headset integrated into healthcare platform
CN107648719A (zh) 基于疲劳检测与觉醒刺激的眼部可穿戴系统
CN110584657A (zh) 一种注意力检测方法及系统
KR101723841B1 (ko) 아이 브레인 인터페이스(ebi) 장치 및 그 제어 방법
US11033214B1 (en) Wearable eye tracking system
CN113138668B (zh) 自动驾驶轮椅目的地选择方法、装置及系统
CN113434040B (zh) 基于增强现实诱发的脑机接口技术方法
CN206975344U (zh) 智能眼镜
Gorde et al. Heart Attack Detection And Health Monitoring Of Paralysis Patient
CN116126149A (zh) 一种面部表情识别装置及其识别方法
US10314478B2 (en) System and method for measuring microfluctuation of accommodation
CN117332256A (zh) 意图识别方法、装置、计算机设备及存储介质
KR20160095267A (ko) 뇌파를 이용한 전자기기 구동 장치
CN114847947A (zh) 一种放松辅助认知疲劳康复系统及设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right