KR20150088426A - 기기 인터페이스 제어 방법 - Google Patents

기기 인터페이스 제어 방법 Download PDF

Info

Publication number
KR20150088426A
KR20150088426A KR1020140008710A KR20140008710A KR20150088426A KR 20150088426 A KR20150088426 A KR 20150088426A KR 1020140008710 A KR1020140008710 A KR 1020140008710A KR 20140008710 A KR20140008710 A KR 20140008710A KR 20150088426 A KR20150088426 A KR 20150088426A
Authority
KR
South Korea
Prior art keywords
learning
frequency
extracting
extracted
user
Prior art date
Application number
KR1020140008710A
Other languages
English (en)
Other versions
KR101549325B1 (ko
Inventor
이성환
김일화
김근태
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020140008710A priority Critical patent/KR101549325B1/ko
Publication of KR20150088426A publication Critical patent/KR20150088426A/ko
Application granted granted Critical
Publication of KR101549325B1 publication Critical patent/KR101549325B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Abstract

본 발명은 정상 상태 체감각 유발 전위를 이용하여 다양한 기기의 인터페이스를 제어할 수 있는 방법에 관한 것이다.
본 발명의 일실시예에 의한 기기 인터페이스 제어 방법은 뇌파의 정상 상태 체감각 유발 전위(SSSEP)를 이용한 기기 인터페이스 제어 방법에 있어서, 사용자의 체감각 영역에 부착된 진동계를 통해 특정 커맨드에 대응되는 특정 주파수의 진동 자극을 발생시키는 단계; 상기 특정 주파수의 진동 자극에 해당하는 사용자의 학습 뇌파를 추출하는 단계; 상기 추출된 학습 뇌파로부터 학습 특징점을 추출하고, 상기 추출된 학습 특징점이 상기 특정 커맨드로 분류되도록 학습시키는 단계; 및 현재 측정된 사용자의 뇌파로부터 특징점을 추출하고, 상기 학습 단계의 분류 결과를 이용하여 상기 추출된 특징점에 해당하는 현재 사용자의 커맨드를 판별하고 상기 판별된 결과를 기기 제어를 위한 제어 신호로 변환하는 단계를 포함할 수 있다.

Description

기기 인터페이스 제어 방법{METHOD FOR CONTROL OF MACHINE INTERFACE}
본 발명은 기기 인터페이스 제어 방법에 관한 것으로, 보다 상세하게는 정상 상태 체감각 유발 전위를 이용하여 다양한 기기의 인터페이스를 제어할 수 있는 방법에 관한 것이다.
기존에 뇌파를 이용한 기술은 척추 부상이나 퇴행성 신경 질환으로 인해 신체가 자유롭지 못하거나 마비된 환자를 위해 보철 기구를 제어하거나, 의사소통을 위한 스펠러, 또한 주의력 결핍이나 과잉활동 장애(ADD/ADHD)와 같은 의료 분야에서 주로 사용되어 왔다. 관련된 선행문헌으로 대한민국 공개특허 제10-2013-0108778호가 있다.
그러나 이러한 기기를 제어하거나 인터페이스를 제어하는 기존의 기술은 사용자들이 원활히 사용하기에 몇 가지 문제점이 있다. 첫 번째로 인식률의 문제이다. 흔히 사지마비 환자를 위한 인터페이스 제어로 사용되는 동작 상상 기반의 뇌 컴퓨터 인터페이스 기술은 오랜 시간 동안 사용자 학습이 필요하며 처음부터 그러한 자발적 뇌파가 발현되지 않는 경우가 많다.
또한 동작 상상을 수행할 수 있다고 하더라도 특징의 차이가 분명하지 않아 사용자 의도 인식 성능이 매우 낮다. 뿐만 아니라 Information transfer rate(ITR)이 낮아서 실시간으로 빠르게 사용자 의도가 반영되어야 하는 시스템 제어는 어려움이 있다.
두 번째는 커맨드 다양성의 문제이다. 동작 상상의 경우 기본적으로 실제 신체 사지에 대한 상상을 통해 시스템이 사용자 의도를 인식하는데, 손, 발을 제외한 다양한 커맨드를 만들기 힘들다.
세 번째는 시선의 제약이다. 동작 상상에 비해서 상대적으로 인식률과 ITR이 높은 P300이나 SSVEP 패러다임의 경우, 유발적 뇌파로서 어떠한 시각 자극에 의해서 유발되는 뇌파 특성이다. 따라서 사용자가 시선확보를 필요로 하는 인터페이스 제어에는 문제가 있다.
그러므로 커맨드의 댜앙성을 줄 수 있고, 높은 ITR과 짧은 학습시간, 높은 인식률을 가지는 기기 인터페이스 제어 방법에 대한 연구가 필요한 실정이다.
본 발명의 목적은 정상 상태의 체감각 유발 전위의 높은 성능과 짧은 학습기간, 다양한 커맨드 등을 보장할 수 있는 기기 인터페이스 제어 방법을 제공하는 데 있다.
상기 목적을 달성하기 위해 본 발명의 일실시예에 의하면, 뇌파의 정상 상태 체감각 유발 전위(SSSEP)를 이용한 기기 인터페이스 제어 방법에 있어서, 사용자의 체감각 영역에 부착된 진동계를 통해 특정 커맨드에 대응되는 특정 주파수의 진동 자극을 발생시키는 단계; 상기 특정 주파수의 진동 자극에 해당하는 사용자의 학습 뇌파를 추출하는 단계; 상기 추출된 학습 뇌파로부터 학습 특징점을 추출하고, 상기 추출된 학습 특징점이 상기 특정 커맨드로 분류되도록 학습시키는 단계; 및 현재 측정된 사용자의 뇌파로부터 특징점을 추출하고, 상기 학습 단계의 분류 결과를 이용하여 상기 추출된 특징점에 해당하는 현재 사용자의 커맨드를 판별하고 상기 판별된 결과를 기기 제어를 위한 제어 신호로 변환하는 단계를 포함하는 기기 인터페이스 제어 방법이 제공된다.
본 발명의 일실시예에 의한 기기 인터페이스 제어 방법은 진동계의 자극을 통해 실제 익숙한 사지의 체감각을 이용하기 때문에 자발적인 상상에 의한 것에 비해 높은 성능을 보장할 수 있다.
또한, 본 발명의 일실시예에 의하면, 다양한 주파수를 이용하여, 다수의 커맨드를 생성할 수 있다.
또한 시선의 제약이 없기 때문에 척추 손상으로 인한 마비 환자뿐만 아니라 일반인을 대상으로 한 기기 인터페이스에 적용이 가능하다.
또한, 본 발명의 일실시예에 의하면, 휴대폰, 차량의 스티어링 휠, 햅틱 장비 등 진동계가 장착된 인터페이스가 많아지고 있다는 점에서 적용 가능 범위가 매우 넓다.
도 1은 본 발명의 일실시예와 관련된 기기 인터페이스 제어 장치의 블록도이다.
도 2는 본 발명의 일실시예와 관련된 기기 인터페이스 제어 방법을 나타내는 흐름도이다.
도 3 내지 도 6은 본 발명의 일실시예와 관련된 기기 인터페이스 제어 방법의 세부 단계를 설명하기 위한 도면이다.
이하, 본 발명의 일실시예와 관련된 기기 인터페이스 제어 방법 및 장치에 대해 도면을 참조하여 설명하도록 하겠다.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
본 발명의 일실시예에 의한 기기 인터페이스 제어 장치 및 방법은 사용자의 뇌파를 이용한다.
뇌파(EEG, Electroencephalographic)란 뇌에서 발생한 신호를 전극으로 측정한 것을 말한다. 뇌파는 크게 두가지 형태로 구분할 수 있는데 유발적 뇌파와 자발적 뇌파이다. 유발적 뇌파는 외부 자극에 의해서 사용자의 비자발적 의도에 의해 발현되는 뇌파이다. 자발적 뇌파는 사용자가 자발적으로 특정 동작을 취하거나 상상을 할 때 손이나 발과 같이 신체 동작과 관련된 뇌의 Motor cortex 영역에서 특정 주파수 범위로 발생하는 뇌파이다.
이에 따라 뇌파 신호의 주파수에 따른 대역별 특성, 시간영역에서의 특성 등은 사람의 어떤 뇌 기능을 하고 있는지에 따라 변화하게 된다. 뇌파는 그 주파수와 전압의 범위에 따라 델타, 쎄타, 알파, 베타, 감마파 등으로 나눠진다.
각 주파수 별 특징은 아래와 같다.
-델타(δ)파는 0.1~3Hz의 주파수와 20~200㎶의 진폭을 보이며, 정상인의 깊은 수면 상태나 신생아들로부터 주로 나타난다.
-쎄타(θ)파는 4~7Hz의 주파수와 20~100㎶의 진폭을 보이며, 정서적으로 안정된 상태나 수면상태에서 나타난다.
-알파(α)파는 8~12Hz의 주파수와 20~60㎶의 진폭을 보이며, 긴장이 이완된 편안한 상태에서 나타나며 안정된 상태일수록 진폭이 증가한다.
-베타(β)파는 12~30Hz의 주파수와 2~20㎶의 진폭을 보이며, 깨어 있거나 의식적인 활동을 할 때 나타난다.
-감마(γ)파는 30~50Hz의 주파수와 2~20㎶의 진폭을 보이며, 강한 흥분 상태에서 나타난다.
이 밖에도 사람의 움직임을 관장하는 뇌의 영역(Sensorimotor cortex)에서 발생하는 12~15Hz 주파수 영역의 SMR(Sensory Motor Rhythm)이 있다. 본 발명의 일실시예에 의한 기기 인터페이스 제어 방법은 SMR 리듬과 같이 자발적으로 발현되는 뇌파를 사용하는 것이 아니라 손이나 발과 같이 체감각 영역에 진동계를 부착하여 특정 진동주파수에 의해 유발적으로 발현된 뇌파의 주파수 성분이 Sensorimotor cortex영역에 맵핑되는 것을 이용한 것이다.
이는 기존의 SSVEP(Steady State Visually Evoked Potentials)가 특정 주파수를 가진 시각자극의 주파수 성분이 뇌의 시각영역을 관장하는 Occipital 영역에 맵핑되는 것과 유사한 점을 가지고 있다.
하지만 시각자극으로 인한 시선의 제약과 안구의 피로도를 유발하지 않는 신체의 체감각 영역으로부터 얻는 다는 점에서 장점이 잇다.
도 1은 본 발명의 일실시예와 관련된 기기 인터페이스 제어 장치의 블록도이다.
도시된 바와 같이, 기기 인터페이스 제어 장치(100)는 자극부(110), 뇌파 추출부(120), 학습부(130), 제어 신호 생성부(140) 및 제어부(150)를 포함할 수 있다.
자극부(110)는 다양한 주파수 생성이 가능한 진동계를 통해 상기 다양한 주파수에 대응되는 진동 자극을 발생시킬 수 있다. 상기 진동계는 사용자의 체감각 영역에 부착될 수 있다. 상기 특정 주파수 진동 자극에 대응되게 특정 커맨드(command)가 할당될 수 있다.
뇌파 추출부(120)는 상기 발생된 진동 자극이 발생된 상태에서 사용자의 뇌파를 추출할 수 있다. 이하에서 상기 진동 자극에 대응되는 뇌파는 학습 프로세스에서 사용되는 뇌파이기에 편의상 학습 뇌파라 부르기로 한다. 예를 들어, 국제 전극 시스템에 따라 최소 3개 이상의 채널에서 뇌파가 추출될 수 있다. 추출 방식은 비침습적 방식으로 마이크로 칩을 두피에 부착하고 뇌파를 측정한다. 또한 체감각 영역으로부터 유발된 뇌파를 습득하기 때문에 Sensorimotor cortex 영역에 채널을 부착할 수 있다. 그리고 상기 뇌파 추출부(120)는 추출된 뇌파에 포함된 잡음 성분을 제거하기 위해 다양한 방식으로 상기 뇌파를 신호 처리할 수 있다. 신호 처리하는 자세한 방법은 후술하도록 하겠다.
학습부(130)는 신호 처리된 뇌파를 공간 주파수 영역에서 분석을 수행할 수 있다. 예를 들어, 학습부(130)는 신호 처리된 뇌파를 FFT와 같은 주파수 변환을 통해 주파수 영역으로 변환하여 특징점을 추출할 수 있다.
이하, 학습 프로세스 단계에서 추출되는 특징점을 편의상 학습 추출점이라 부르기로 한다. 상기 학습부(130)는 상기 추출된 학습 특징점이 특정 커맨드에 해당되도록 학습시킬 수 있다. 학습에 대한 자세한 설명은 후술하도록 하겠다.
제어 신호 생성부(140)는 상기 학습부(130)의 분류 결과에 근거하여 실시간으로 입력된 사용자의 뇌파 신호가 어떠한 커맨드에 해당하는지를 판별할 수 있다. 그리고 상기 제어 신호 생성부(140)는 상기 판별 결과에 근거하여 기기의 제어를 위한 제어 신호를 생성할 수 있다.
제어부(150)는 상기 자극부(110), 상기 뇌파 추출부(120), 상기 학습부(130) 및 상기 제어 신호 생성부(140)를 전반적으로 제어할 수 있다.
이하 일실시예와 관련된 기기 인터페이스 제어 방법은 크게 두 가지 프로세스를 가지고 각 프로세스에 하위 프로세스를 포함한다.
첫 번째는 학습 프로세스로서, 다양한 커맨드에 따라 진동 주파수를 생성하고, 각 진동 자극마다 적당한 횟수만큼 각 자극에 집중함으로써 시스템의 분류기를 학습시킨다. 이 때, 자극부(110)는 커맨드를 나타내는 시자극과 이에 따른 각기 다른 주파수의 진동 자극을 제시할 수 있다. 그리고 뇌파 추출부(120)는 상기 제시되는 자극에 따른 사용자의 학습 뇌파를 추출하고, 추출된 학습 뇌파를 신호 처리할 수 있다. 또한, 학습부(130)는 신호 처리된 뇌파의 특징을 추출하고 사용자의 의도를 판별하기 위한 분류기의 최적의 판별 변수를 찾기 위한 특징을 추출할 수 있다.
두 번째 프로세스는 첫 번째 오프라인 프로세스로부터 학습된 분류기를 통해 실시간으로 사용자의 의도를 판별하고 기기 인터페이스를 제어하기 위한 제어 신호를 생성해주는 단계로서, 상기 제어 신호 생성부(140)가 이를 수행할 수 있다.
도 2는 본 발명의 일실시예와 관련된 기기 인터페이스 제어 방법을 나타내는 흐름도이다. 상기 기기 인터페이스 제어 방법은 뇌파의 정상 상태 체감각 유발 전위(SSSEP, Steady-State Somatosensory Evoked Potentials)를 이용할 수 있다.
자극부(110)는 사용자의 체감각 영역에 부착된 진동계를 통해 특정 주파수의 진동 자극을 발생시킬 수 있다(S210). 도 3은 도 2의 S210 단계의 하위 프로세스를 설명하기 위한 도면이다.
상기 S210 단계는 사용자에게 다양한 주파수 생성이 가능한 진동계가 사용자의 손이나 팔 등의 체감각 영역에 부착된 상태에서 상기 진동계로부터 다양한 주파수를 제시하는 단계이다. 상기 진동계는 진동 모터를 포함할 수 있다. 부착되는 진동계의 개수는 제한이 없다. 또한, 인터페이스의 커맨드 개수에 따라 시각 자극이 제시될 수 있다.
또한, 각 해당 주파수에 따라 화살표와 같은 방향 정보를 나타내거나 특정 커맨드를 나타내는 시각 정보를 화면에 제시하고, 각 시각 정보마다 부착된 진동계의 위치를 할당하고 사용자에게 미리 알려줄 수 있다. 학습 과정에서 시각 정보가 나오면 거기에 해당하는 진동계에 집중함으로써 분류기를 학습한다. 이때 진동계의 주파수는 공진 주파수를 피하여 각기 다른 주파수를 할당해야 하며, 사용자는 해당부위의 진동계의 주파수에 집중해야 한다. 적당한 시도 횟수를 정하여, 시각 정보 및 자극을 제시할 수 있다. 상기 실시예에서는 특정 커맨드를 나타내는 시각 정보를 화면에 제시하는 것을 예로 들었지만, 본 발명이 이에 한정되는 것은 아니다. 예를 들어, 자극부(110)는 특정 커맨드를 나타내는 음성 정보를 출력함으로써, 사용자에게 특정 커맨트를 인지시킬 수도 있다.
뇌파 추출부(120)는 특정 주파수의 진동 자극에 해당하는 사용자의 학습 뇌파를 추출할 수 있다(S220). 도 4는 도 2의 S220 단계의 하위 프로세스를 설명하기 위한 도면이다.
예를 들어, 놔파 추출부(120)는 국제 전극 시스템에 따라 최소 3개 이상의 채널에서 학습 뇌파를 추출할 수 있다. 추출 방식은 비침습적 방식으로 마이크로 칩을 두피에 부착하고 학습 뇌파를 측정한다. 또한 체감각 영역으로부터 유발된 뇌파를 습득하기 때문에 Sensorimotor cortex 영역에 채널을 부착한다.
먼저, 시스템 연산 속도 향상과 최적의 메모리 관리 측면에서 측정된 뇌파를 다운샘플링을 한다. EEG(Electroencephalographic)로부터 추출된 뇌파는 다양한 잡음(Noise)성분을 포함한다. 잡음 성분의 종류에는 근전도(EMG)나 눈의 깜빡임 또는 안구의 움직임(EOG)성분인데, 상기의 잡음들은 EEG신호에 비해 수배에 달하므로 효과적인 인터페이스 제어를 위해 꼭 제거되어야 한다. 잡음을 제거하기 위한 방법으로 근전도(EMG) 신호와 안전도(EOC)신호의 시간 주파수 성분을 파악하여 선형 분리를 하는 방법이나 Independent Component Analysis(독립 성분 분석)법이 이용될 수 있다. 또한 뇌파 추출부(120)는 Notch filter를 사용하여, 전원 주파수를 제거할 수 있다. 진동 자극으로 제시된 주파수 영역 외에 나머지 주파수 영역은 필요 없기 때문에 대역 통과 필터를 이용하여 필터링 한다.
학습부(130)는 신호 처리된 뇌파로부터 학습 특징점을 추출하고, 상기 추출된 학습 특징점이 특정 커맨드로 분류되도록 학습시킬 수 있다(S230). 도 5는 도 2의 S230 단계의 하위 프로세스를 설명하기 위한 도면이다.
학습부(130)는 신호 처리된 뇌파를 공간 주파수 영역에서 분석을 할 수 있다. 다. 본 발명의 일실시예에 의한 기기 인터페이스 제어 방법에서는 각기 다른 진동 주파수로부터 유발된 뇌파의 주파수 성분만을 필요로 하기 때문에 시간영역에서의 분석이 필요 없다는 장점이 있다.
학습부(130)는 신호 처리된 뇌파로부터 주파수 공간 영역에서 특징점을 추출한다. FFT(Fast Fourier Transform)와 같은 주파수 영역으로 신호를 변환해주는 기법을 사용하여 주파수 영역으로 변환한다. 특정 임계값을 설정하고 임계값 이상의 주파수 대역의 파워를 특징점으로 추출한다. 또한, 공통 공간 패턴(Common spatial pattern)필터링 기법을 이용하여 신호의 공간상의 특징을 극대화시킨다. 이는 Sensorimotor cortex 영역의 공간상의 경계가 뚜렷하지 않아 이를 극대화하기 위해 사용하는 기법으로써, 공간상의 특징을 극대화하고 밴드파워를 뽑음으로써 주파수 성분의 특징 또한 추출하기 위해 사용한다. 공간 필터링이 적용된 신호의 분산을 구하고 이에 로그를 적용함으로써 시간 영역에서 파워스펙트럼 밀도를 구하는 것과 같은 효과로써 밴드파워를 추출할 수 있다. 전술한 추출한 주파수 성분의 특징과 공간 필터가 적용된 밴드파워 특징점의 차원 결합을 통한 결합 특징점을 최종적으로 추출한다. 추출된 특징점을 Multiclass Linear discriminant analysis(LDA)분류 알고리즘에 입력으로 넣어준다. 상기 선형 분류기(LDA)는 공분산과 고유벡터를 이용하여 클래스 내의 분산은 최소화하고, 클래스 사이의 공분산은 최대로 하여 분류한다. 또한 다른 분류기에 비해 연산 시간이 짧아서 실시간 시스템에서 적합한 분류 알고리즘이다. 이렇게 분류기 학습을 통해서 분류 알고리즘의 변수인 weight value와 bias의 최적 값을 얻는다.
제어 신호 생성부(140)는 현재 사용자의 뇌파 신호를 입력 받아, 상기 학습부(130)를 통해 분류된 분류 결과를 이용하여 현재 사용자의 커맨드를 판별하고, 상기 판별 결과에 대응되는 기기 제어 신호를 생성할 수 있다(S240). 도 6는 도 2의 S240 단계의 하위 프로세스를 설명하기 위한 도면이다.
상기 학습 단계(즉, 오프라인 세션)에서 학습된 판별부(미도시)에 실시간으로 사용자의 뇌파 신호가 입력될 수 있다. 상기 판별부는 학습부(130)가 추출된 특징점을 특정 명령으로 분류하기 위해 사용되는 모듈이다. S240 단계는 해당 주파수에 할당된 커맨드를 정확히 분류하고 이렇게 분류된 신호를 기기의 제어 신호로 변경하여 기기 시스템에 인가하는 단계이다.
먼저 뇌파는 실시간으로 측정이 되는데, 이를 다운 샘플링하고 적당한 윈도우 사이즈를 정의하고 그 안의 데이터를 앞서 실시했던 오프라인 세션의 특징점 추출법과 같은 방법으로 특징점을 추출한다. 상기 추출된 특징점을 학습된 판별기에 입력으로 할당하고 테스트를 시행하여 현재 윈도우 사이즈 안에 있는 데이터의 클래스를 판별한다. 판별된 클래스는 사용자의 의도이며, 제어 신호 생성부(140)는 이 결과에 해당하는 커맨드를 선택하고 기기를 제어하기 위한 제어 신호를 생성한다.
전술한 본 발명의 일실시예에 의한 기기 인터페이스 제어 방법은 두피에서 뇌 파를 측정하여 우수한 성능으로 사용자의 의도를 판별할 뿐만 아니라 다양한 커맨드를 만들어 기기 인터페이스를 제어할 수 있도록 정상 상태 체감각 유발 전위(SSSEP)를 기반으로 수행된다. 상기 본 발명의 일실시예에 의한 기기 인터페이스 제어 방법은 3개 이상의 커맨드를 필요로 하고, 시선의 제약 없이 자율적으로 기기를 제어하기 위한 인터페이스를 구성하는데 활용이 가능하다. 따라서 척추손상으로 인한 사지 마비 환자들뿐만 아니라 일반인들의 편리한 기기 인터페이스 제어에 있어서도 큰 도움을 줄 수 있다.
상술한 기기 인터페이스 제어 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 커맨드 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 이때, 컴퓨터로 판독 가능한 기록매체는 프로그램 커맨드, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 한편, 기록매체에 기록되는 프로그램 커맨드는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 판독 가능한 기록매체에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 커맨드를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
한편, 이러한 기록매체는 프로그램 커맨드, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다.
또한, 프로그램 커맨드에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기와 같이 설명된 기기 인터페이스 제어 방법 및 장치는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
100: 기기 인터페이스 제어 장치
110: 자극부
120: 뇌파 추출부
130: 학습부
140: 제어 신호 생성부
150: 제어부

Claims (5)

  1. 뇌파의 정상 상태 체감각 유발 전위(SSSEP)를 이용한 기기 인터페이스 제어 방법에 있어서,
    사용자의 체감각 영역에 부착된 진동계를 통해 특정 커맨드에 대응되는 특정 주파수의 진동 자극을 발생시키는 단계;
    상기 특정 주파수의 진동 자극에 해당하는 사용자의 학습 뇌파를 추출하는 단계;
    상기 추출된 학습 뇌파로부터 학습 특징점을 추출하고, 상기 추출된 학습 특징점이 상기 특정 커맨드로 분류되도록 학습시키는 단계; 및
    현재 측정된 사용자의 뇌파로부터 특징점을 추출하고, 상기 학습 단계의 분류 결과를 이용하여 상기 추출된 특징점에 해당하는 현재 사용자의 커맨드를 판별하고 상기 판별된 결과를 기기 제어를 위한 제어 신호로 변환하는 단계를 포함하는 것을 특징으로 하는 기기 인터페이스 제어 방법.
  2. 제 1 항에 있어서, 상기 진동 자극을 발생시키는 단계는
    상기 특정 커맨드에 대응되는 시각 정보 및 음성 정보 중 적어도 어느 하나를 출력하는 단계를 포함하는 것을 특징으로 하는 기기 인터페이스 제어 방법.
  3. 제 1 항에 있어서, 상기 학습 뇌파 추출 단계는
    근전도(EMG) 신호와 안전도(EOC)신호의 시간 주파수 성분을 파악하여 선형 분리하는 방법 및 독립 성분 분석법 중 어느 하나를 이용하여 잡음을 제거하는 단계를 포함하는 것을 특징으로 하는 기기 인터페이스 제어 방법.
  4. 제 1 항에 있어서, 상기 학습 단계는
    상기 추출된 학습 뇌파를 주파수 영역으로 변환한 뒤 밴드 파워가 가장 높은 대역의 밴드 파워를 상기 학습 특징점으로 추출하는 단계를 포함하는 것을 특징으로 하는 기기 인터페이스 제어 방법.
  5. 제 1 항에 있어서, 상기 특정 커맨드에 대응되는 특정 주파수는
    공진 주파수와 다른 것을 특징으로 하는 기기 인터페이스 제어 방법.
KR1020140008710A 2014-01-24 2014-01-24 기기 인터페이스 제어 방법 KR101549325B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140008710A KR101549325B1 (ko) 2014-01-24 2014-01-24 기기 인터페이스 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140008710A KR101549325B1 (ko) 2014-01-24 2014-01-24 기기 인터페이스 제어 방법

Publications (2)

Publication Number Publication Date
KR20150088426A true KR20150088426A (ko) 2015-08-03
KR101549325B1 KR101549325B1 (ko) 2015-09-01

Family

ID=53872846

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140008710A KR101549325B1 (ko) 2014-01-24 2014-01-24 기기 인터페이스 제어 방법

Country Status (1)

Country Link
KR (1) KR101549325B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106362287A (zh) * 2016-10-24 2017-02-01 天津大学 一种新型mi‑sssep混合脑‑机接口方法及系统
CN107491173A (zh) * 2017-08-16 2017-12-19 歌尔科技有限公司 一种体感模拟控制方法及设备
KR20180028888A (ko) * 2016-09-09 2018-03-19 고려대학교 산학협력단 사용환경에 적응적인 뇌-컴퓨터 인터페이스 장치 및 그 장치의 동작 방법
CN108594989A (zh) * 2018-03-26 2018-09-28 广东欧珀移动通信有限公司 脑电波采集方法及相关设备
KR20190050094A (ko) * 2017-11-02 2019-05-10 한국과학기술연구원 뇌-컴퓨터 인터페이스를 제어하기 위한 피드백 시스템
KR20200060023A (ko) * 2018-11-22 2020-05-29 한국과학기술연구원 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101633743B1 (ko) 2015-09-15 2016-07-01 (주)핀테크솔루션 뇌파 기반의 기기 제어 장치, 시스템 및 방법
KR20170036305A (ko) 2015-09-24 2017-04-03 김의준 후원 대상자와 후원자간 매칭을 통한 후원 서비스 제공 장치 및 방법
KR102386359B1 (ko) 2020-04-20 2022-04-15 한국과학기술연구원 동작 상상에 따른 뇌파를 이용하는 로봇 제어 시스템 및 제어 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010004698A1 (ja) * 2008-07-11 2010-01-14 パナソニック株式会社 脳波を用いた機器の制御方法および脳波インタフェースシステム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180028888A (ko) * 2016-09-09 2018-03-19 고려대학교 산학협력단 사용환경에 적응적인 뇌-컴퓨터 인터페이스 장치 및 그 장치의 동작 방법
CN106362287A (zh) * 2016-10-24 2017-02-01 天津大学 一种新型mi‑sssep混合脑‑机接口方法及系统
CN107491173A (zh) * 2017-08-16 2017-12-19 歌尔科技有限公司 一种体感模拟控制方法及设备
KR20190050094A (ko) * 2017-11-02 2019-05-10 한국과학기술연구원 뇌-컴퓨터 인터페이스를 제어하기 위한 피드백 시스템
CN108594989A (zh) * 2018-03-26 2018-09-28 广东欧珀移动通信有限公司 脑电波采集方法及相关设备
KR20200060023A (ko) * 2018-11-22 2020-05-29 한국과학기술연구원 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템 및 방법

Also Published As

Publication number Publication date
KR101549325B1 (ko) 2015-09-01

Similar Documents

Publication Publication Date Title
KR101549325B1 (ko) 기기 인터페이스 제어 방법
Abo-Zahhad et al. A new multi-level approach to EEG based human authentication using eye blinking
Kelly et al. Visual spatial attention tracking using high-density SSVEP data for independent brain-computer communication
Bigdely-Shamlo et al. Brain activity-based image classification from rapid serial visual presentation
JP7372358B2 (ja) 脳の状態の意図的および非意図的な変化と脳信号との関連付け
KR102096565B1 (ko) 움직임 상상 뇌신호 인식을 위한 웨이블릿 변환 기반의 컨볼루션 신경망 분석 방법
KR102269587B1 (ko) 뇌-컴퓨터 인터페이스 시스템 및 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법
Vaid et al. Classification of human emotions using multiwavelet transform based features and random forest technique
Awan et al. Effective classification of EEG signals using K-nearest neighbor algorithm
Bastos et al. Robotic wheelchair commanded by SSVEP, motor imagery and word generation
Ramos-Aguilar et al. Analysis of EEG signal processing techniques based on spectrograms
Ryun et al. Movement type prediction before its onset using signals from prefrontal area: an electrocorticography study
Gao et al. Characterization of SSMVEP-based EEG signals using multiplex limited penetrable horizontal visibility graph
Maleki et al. Application of PLSR with a comparison of MATLAB classification learner app in using BCI
Yan et al. Frequency domain filtering method for SSVEP-EEG preprocessing
Yang et al. A synchronized hybrid brain-computer interface system for simultaneous detection and classification of fusion EEG signals
Aydemir Odor and Subject Identification Using Electroencephalography Reaction to Olfactory.
Nair et al. An improved approach for EEG signal classification using autoencoder
Sulaiman et al. Offline LabVIEW-Based EEG Signals Analysis to Detect Vehicle Driver Microsleep
KR102276991B1 (ko) 뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 장치 및 방법
KR101607893B1 (ko) 정상 상태 체감각 유발 전위 발생 장치 및 그 운용 방법
Geethanjali Fundamentals of brain signals and its medical application using data analysis techniques
Kumar et al. Artificial Intelligence based Human Attention Detection through Brain Computer Interface for Health Care Monitoring
Khasnobish et al. K-Nearest neighbor classification of left-right limb movement using EEG data
Ravindran et al. Name Familiarity Detection using EEG-based Brain Computer Interface

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180723

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190808

Year of fee payment: 5