KR20220091090A - 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법 및 장치 - Google Patents

운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법 및 장치 Download PDF

Info

Publication number
KR20220091090A
KR20220091090A KR1020200182256A KR20200182256A KR20220091090A KR 20220091090 A KR20220091090 A KR 20220091090A KR 1020200182256 A KR1020200182256 A KR 1020200182256A KR 20200182256 A KR20200182256 A KR 20200182256A KR 20220091090 A KR20220091090 A KR 20220091090A
Authority
KR
South Korea
Prior art keywords
image
brain
computer interface
output
user
Prior art date
Application number
KR1020200182256A
Other languages
English (en)
Other versions
KR102584544B1 (ko
Inventor
김성필
김종수
허도진
김민주
최윤주
Original Assignee
울산과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산과학기술원 filed Critical 울산과학기술원
Priority to KR1020200182256A priority Critical patent/KR102584544B1/ko
Publication of KR20220091090A publication Critical patent/KR20220091090A/ko
Application granted granted Critical
Publication of KR102584544B1 publication Critical patent/KR102584544B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Neurology (AREA)
  • General Physics & Mathematics (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

개시된 기술은 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법 및 장치에 관한 것으로, 분석장치가 화면의 중앙 영역에 제 1 디바이스에 대한 이미지를 출력하는 단계; 상기 분석장치가 상기 중앙 영역의 주변에 형성된 복수개의 영역들 중 제 1 영역에 상기 제 1 디바이스의 제 1 동작을 제어하는 것을 나타낸 제 1 영상을 출력하는 단계; 상기 분석장치가 사용자에게 연결된 복수개의 전극을 이용하여 상기 제 1 영상이 출력되는 시점에서 상기 사용자의 뇌에서 발생하는 제 1 뇌파를 감지하는 단계; 및 상기 분석장치가 상기 제 1 뇌파를 상기 제 1 동작을 수행하기 위한 제 1 제어신호로 저장하는 단계;를 포함한다.

Description

운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법 및 장치 {BRAIN-COMPUTER INTERFACE METHOD AND DEVICE USING VIDEO TO STIMULATE MOVEMENT IMAGE}
개시된 기술은 운동 심상 자극 영상을 이용하여 브레인-컴퓨터 인터페이스(Brain Computer Interface, BCI)용 뇌파 신호를 분석하는 방법 및 장치에 관한 것이다.
사건 관련 전위(Event Related Potential, ERP)를 활용한 BCI 시스템은 기존에 다양하게 연구되어오고 있는데, 기존 ERP 기반 BCI 시스템은 대부분 P300이라 불리는 ERP 특성을 활용한다. P300 기반 BCI는 주로 사용자가 여러 선택지 중 하나를 선택하는 의도를 인식하기 위해 이용되고 있다. 예컨대, 사용자의 뇌에서 발생한 뇌파신호가 키보드 자판 중 하나를 선택하기 위한 것인지, 기기의 여러 기능 중 하나를 선택하기 위한 것인지, 휠체어 제어 시 여러 방향 중 하나를 선택하기 위한 것인지를 인식할 수 있다.
한편, P300을 활용하게 되는 경우 중요한 이슈는 피험자의 목표 대상 인지 시의 신호와 비목표 대상 인지 시의 신호간의 구별성이 가장 중요하며, 이를 위해 대개 수차례 대상을 반복 제시하는 과정을 통해 신호 특성을 얻게 된다. 그러나 기술의 실용화, 상용화 측면에서 기능 수행을 위해 많은 반복 작업을 하는 것은 적합하지 않으므로 신호 특성 수득을 위한 필수적 반복 횟수 부분을 개선할 필요성이 있다.
기존의 운동 심상을 적용하는 BCI 시스템은 운동 의도를 해석하여 해당 운동 의도대로 로봇 제어 등에 활용하거나, 서로 다른 신체 부위의 움직임에 대한 상상과정에서 나타나는 뇌파의 특성의 차이로부터 여러 선택지 중 하나를 선택하는 방식으로 사용된다. 여러 선택지 중 하나를 선택하는 의도를 인식하는 목적으로서 기존 운동 심상은 상상을 통해 특성의 차이를 얻을 수 있는 신체 부위의 한계로 인해, 선택지의 가지 수를 늘리기 힘들다는 한계가 있었다.
한국 공개특허 제10-0943396호
개시된 기술은 운동 심상 자극 영상을 이용하여 BCI(Brain Computer Interface)용 뇌파 신호를 분석하는 방법 및 장치를 제공하는데 있다.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 1 측면은 분석장치가 화면의 중앙 영역에 제 1 디바이스에 대한 이미지를 출력하는 단계, 상기 분석장치가 상기 중앙 영역의 주변에 형성된 복수개의 영역들 중 제 1 영역에 상기 제 1 디바이스의 제 1 동작을 제어하는 것을 나타낸 제 1 영상을 출력하는 단계, 상기 분석장치가 사용자에게 연결된 복수개의 전극을 이용하여 상기 제 1 영상이 출력되는 시점에서 상기 사용자의 뇌에서 발생하는 제 1 뇌파를 감지하는 단계 및 상기 분석장치가 상기 제 1 뇌파를 상기 제 1 동작을 수행하기 위한 제 1 제어신호로 저장하는 단계를 포함하는 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법을 제공하는데 있다.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 2 측면은 화면의 중앙 영역에 제 1 디바이스에 대한 이미지를 출력하고 상기 중앙 영역의 주변에 형성된 복수개의 영역들 중 제 1 영역에 상기 제 1 디바이스의 제 1 동작을 제어하는 것을 나타낸 제 1 영상을 출력하는 출력장치, 상기 출력장치에 상기 제 1 영상이 출력되는 시점에서 상기 사용자의 뇌에서 발생하는 제 1 뇌파를 감지하는 전극 및 상기 제 1 뇌파를 상기 제 1 동작을 수행하기 위한 제 1 제어신호로 저장하는 프로세서를 포함하는 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 장치를 제공하는데 있다.
개시된 기술의 실시 예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
개시된 기술의 일 실시예에 따르면 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법 및 장치는 다수 장치들 각각에 대한 다수의 제어동작을 입력할 수 있는 뇌파신호를 세부적으로 구분하여 다양한 환경에 BCI를 적용할 수 있는 효과가 있다.
또한, 사용자에게 운동 심상을 자극하는 영상을 제공하여 정확한 뇌파신호를 발생하도록 유도하는 효과가 있다.
또한, 뇌파 학습을 위한 반복작업의 횟수를 줄여서 사용자의 편의성을 증가시키는 효과가 있다.
도 1은 개시된 기술의 일 실시예에 따른 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 시스템을 나타낸 도면이다.
도 2는 개시된 기술의 일 실시예에 따른 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법에 대한 순서도이다.
도 3은 개시된 기술의 일 실시예에 따른 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 장치에 대한 블록도이다.
도 4는 개시된 기술의 일 실시예에 따라 운동 심상 자극 영상을 출력하는 것을 나타낸 도면이다.
도 5는 개시된 기술의 일 실시예에 따라 디바이스를 제어하는 것을 나타낸 영상들을 반복적으로 출력하는 것을 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1 , 제 2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 한다. 그리고 "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다.
그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이다.
도 1은 개시된 기술의 일 실시예에 따른 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 시스템을 나타낸 도면이다. 도 1을 참조하면 시스템은 분석장치와 복수개의 디바이스로 구성된다. 분석장치와 복수개의 디바이스는 네트워크를 통해 연결되어 있으며 각 디바이스들은 분석장치에서 전송되는 제어신호에 따라 특정한 동작을 수행하게 된다. 분석장치는 네트워크의 서버일 수 있다. 그리고 복수개의 디바이스들은 도 1과 같이 디바이스A는 네트워크에 연결된 TV이고, 디바이스B는 라디오이고, 디바이스C는 스피커일 수 있다. 물론 도 1에 도시된 디바이스의 종류는 어디까지나 예시를 위한 것일 뿐, 다른 종류의 디바이스도 포함할 수 있다. 각 디바이스들은 인터넷 상에서 고유한 주소를 갖는 IOT 디바이스일 수 있다. 이하에는 복수개의 디바이스들 중 제 1 디바이스를 제어하는 것을 가정하여 설명한다. 제 1 디바이스는 디바이스A, B 및 C 중 하나일 수 있다.
한편, 일반적인 디바이스에 제어 방식과는 다르게 분석장치는 사용자로부터 감지되는 뇌파를 이용하여 디바이스를 제어하기 위한 제어신호를 생성한다. 즉, 분석장치는 BCI를 지원하는 장치에 해당하며 사용자의 뇌파를 감지하기 위한 전극을 구비할 수 있다. 전극은 사용자의 두부에 부착되는 것으로 사용자가 거부감을 갖지 않는 비침습적 방식의 패치 형태로 구비될 수 있다.
한편, 분석장치는 사용자의 운동 심상을 자극하는 영상을 출력하여 특정 디바이스에 대한 특정한 동작에 따른 뇌파를 감지할 수 있다. 여기에서 운동 심상을 자극하는 영상은 사용자가 특정 동작을 상상하도록 유도하는 영상을 의미한다. 예컨대, 제 1 디바이스의 전원 버튼을 누르는 것을 나타낸 영상 또는 제 1 디바이스의 볼륨을 조절하는 것을 나타낸 영상일 수 있다. BCI를 이용하는 사용자의 경우 직접 디바이스를 제어하는 동작을 하지 못하는 경우가 많다. 예컨대, 신체적 장애가 있거나 정신적 장애로 인하여 디바이스를 정확하게 제어하지 못할 수 있다. 따라서 이러한 사용자들로 하여금 실제로는 행동을 할 수 없지만 그 행동을 하는 것을 상상하게 함으로써 뇌파를 이용한 디바이스 제어를 수행하는 것이다.
한편, 이와 같이 제공된 영상으로 인해 사용자는 평상시와는 다른 뇌파를 발생시킬 수 있다. 가령, 제 1 디바이스의 특정 동작을 입력하거나 제어하는 상황의 뇌파가 발생될 수 있다. 분석장치는 이러한 상황에서 발생하는 사용자의 뇌파를 감지하고 이를 디바이스의 제어를 위한 제어신호로 저장할 수 있다. 제 1 디바이스에 대한 제 1 영상을 출력할 때 감지되는 뇌파를 제 1 뇌파라고 정의한다. 분석장치는 제 1 뇌파를 제 1 디바이스에 대한 제 1 제어신호로 저장할 수 있으며 사용자로부터 제 1 뇌파가 감지되면 네트워크를 통해 제 1 디바이스에 제 1 제어신호를 전송할 수 있다. 분석장치는 제 1 영상을 사용자에게 반복해서 제공할 수 있으며 이때마다 뇌파를 감지할 수 있다. 그리고 감지된 뇌파들을 학습하여 제 1 제어신호를 생성할 수 있다. 예컨대, 제 1 뇌파를 제 1 제어신호로 저장한 다음 제 1 뇌파와 동일한 패턴의 뇌파가 다시 감지되면 제 1 제어신호를 제 1 디바이스에 전송할 수 있다.
한편, 디바이스의 제어에 있어서 단순히 하나의 디바이스에 하나의 제어동작만을 수행하는 것이 아니라 다수의 제어동작이 요구될 수 있다. 예컨대, TV의 전원을 켜고 끄는 동작, 볼륨을 조절하는 동작, 채널을 변경하는 동작 등, 하나의 디바이스에서도 다수의 제어가 요구된다. 따라서 분석장치는 특정 디바이스에 대해서 특정한 제어 동작을 나타내는 복수개의 영상을 제공할 수 있다. 예컨대, 제 1 디바이스에 대한 제 1 동작을 제어하는 것을 나타낸 제 1 영상을 출력할 수 있고, 제 1 디바이스에 대한 제 2 동작을 제어하는 것을 나타낸 제 2 영상을 출력할 수 있다. 하나의 디바이스에 대한 제어 영상의 개수는 각 디바이스마다 서로 달라질 수 있다. 분석장치는 화면을 복수개의 영역으로 분할하고 중앙의 영역에는 제 1 디바이스의 이미지를 출력할 수 있다. 그리고 주변 영역들에는 제 1 디바이스를 제어하는 것을 나타낸 복수개의 영상을 출력할 수 있다.
한편, 분석장치는 운동 심상을 자극하는 영상을 제공하여 사용자의 뇌파를 감지하는 동작을 반복할 수 있다. 예컨대, 제 1 디바이스에 대한 제 1 영상을 일정한 주기에 따라 반복해서 출력하고 출력할 때마다 뇌파를 감지할 수 있다. 이와 같이 뇌파 감지 동작을 반복하는 것으로 사용자가 정확한 뇌파를 발생하도록 훈련시킬 수도 있고 사용자의 뇌파가 기 저장된 제 1 디바이스에 대한 제어신호의 뇌파와 일치하는지 비교할 수도 있다. 이와 같이 영상 제공에 따른 뇌파 감지 동작을 일정 횟수 반복함으로써 보다 정확한 디바이스 제어가 가능하며 운동 심상을 자극하는 영상을 제공하기 때문에 너무 많은 횟수의 반복작업이 이루어지지 않는 장점이 있다. 물론 사용자에 따라 다소 편차는 존재하겠지만 단순히 이미지만을 이용하여 뇌파를 트레이닝하는 것과는 달리 운동 심상을 자극하는 방식을 이용하면 현저히 낮은 반복횟수로도 유사한 결과를 얻는 것이 가능하다.
한편, 분석장치는 제 1 영상을 미리 설정된 주기에 따라 복수개의 영역들 각각에 순차적으로 또는 랜덤한 순서대로 출력할 수 있다. 여기에서 순차적이라는 의미는 특정 위치의 영역을 기준으로 시계방향 또는 반시계방향으로 연속하는 영역에 차례대로 제 1 영상을 출력하는 것을 의미한다. 분석장치의 화면 중앙 영역을 기준으로 형성된 복수개의 영역은 제 1 디바이스의 제어 동작의 개수에 따라 개수가 결정될 수 있으며 분석장치는 기 설정된 주기에 따라 순차적으로 또는 랜덤하게 제 1 영상을 출력하여 사용자의 뇌파를 감지할 수 있다. 물론 제 1 영상을 미리 설정된 주기에 따라 복수개의 영역들 중 하나의 영역에만 출력하도록 제어하는 것도 가능하다.
한편, 분석장치는 상술한 과정에 따라 제 1 뇌파신호를 수신하면 화면의 복수개의 영역들 중 제 1 영역과 서로 다른 제 2 영역에 제 1 디바이스에 대한 제 2 동작을 제어하는 것을 나타낸 제 2 영상을 출력할 수 있다. 즉, 제 1 영상과 제 2 영상은 서로 다른 영역에 각각 출력될 수 있다. 이는 사용자가 각 영상을 인지하는데 있어서 혼동이 발생하지 않도록 영상이 출력되 영역을 고정시키는 것이다. 예컨대, 제 1 영상이 1시 방향의 영역에 출력된다고 한다면 제 2 영상은 3시 방향의 영역에만 출력될 수 있다. 이와 같이 디바이스를 제어하는 것을 나타낸 영상들은 주변의 복수개의 영역마다 하나씩 출력될 수 있으며 지정된 영역에서 출력되는 횟수를 일정 횟수 반복하게 된다.
한편, 분석장치는 제 2 영상이 출력되는 시점에서 사용자가 발생하는 제 2 뇌파를 수신하여 제 2 동작을 수행하기 위한 제 2 제어신호로 저장한다. 앞서 제 1 뇌파를 수신하여 제 1 제어신호로 저장하는 것과 마찬가지로 제 1 디바이스의 제어를 위한 값으로 저장할 수 있다. 이러한 과정에 따라 분석장치는 사용자가 뇌파를 이용하여 제 1 디바이스에 대한 특정 동작을 수행하는 제어신호를 생성할 수 있다. 그리고 사용자는 자신이 제어하고자 하는 디바이스의 특정 동작을 뇌파를 이용하여 제어할 수 있다.
도 2는 개시된 기술의 일 실시예에 따른 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법에 대한 순서도이다. 도 2를 참조하면 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법(200)은 210 내지 240 단계를 포함한다.
210 단계에서 분석장치는 화면의 중앙 영역에 제 1 디바이스에 대한 이미지를 출력한다. 제 1 디바이스에 대한 이미지는 제 1 디바이스의 외형을 나타내는 2차원 이미지 또는 3차원 이미지일 수 있다. 분석장치는 사용자가 육안으로 식별하기 쉽도록 제 1 디바이스에 대한 명확한 이미지를 화면의 중앙 영역에 출력할 수 있다.
220 단계에서 분석장치는 화면의 중앙 영역의 주변에 형성된 복수개의 영역들 중 제 1 영역에 제 1 디바이스의 제 1 동작을 제어하는 것을 나타낸 제 1 영상을 출력한다. 제 1 영상은 제 1 디바이스의 제 1 동작을 위해 사용자가 특정한 입력을 수행하는 것을 나타낸 동영상일 수 있다. 예컨대, 제 1 디바이스의 전원 버튼을 사용자의 손가락이 누르는 것을 나타낸 동영상일 수 있다. 분석장치는 화면을 복수개의 영역으로 분할하고 중앙 영역에는 제 1 디바이스에 대한 이미지를 출력하고 나머지 주변 영역들 중 하나에 제 1 영상을 출력할 수 있다. 제 1 영상을 출력하는 영역의 기본값은 분석장치의 설정에 따라 결정될 수 있다. 그리고 분석장치는 제 1 영상을 항상 정해진 영역에만 출력할 수도 있고 복수의 주변 영역들에 순차적으로 출력하거나 랜덤한 위치의 영역에 출력할 수 있다.
230 단계에서 분석장치는 사용자에게 연결된 복수개의 전극을 이용하여 제 1 영상이 출력되는 시점에서 사용자의 뇌에서 발생하는 제 1 뇌파를 감지한다. 이때 감지되는 제 1 뇌파는 분석장치가 제공한 운동 심상을 자극하는 제 1 영상으로 인하여 평상시 사용자가 발생하는 뇌파와는 패턴이 서로 다를 수 있다. 분석장치는 평상시 사용자의 뇌파를 감지한 결과를 저장할 수 있으며 이를 제 1 뇌파와 비교할 수 있다. 만약 제 1 뇌파가 평상시의 뇌파와 동일하다면 제대로 된 측정이 이루어지지 않은 것으로 간주할 수 있다. 그리고 두 뇌파가 서로 다른 패턴을 나타낸다면 분석장치는 제 1 뇌파를 저장할 수 있다.
240 단계에서 분석장치는 제 1 뇌파를 제 1 동작을 수행하기 위한 제 1 제어신호로 저장한다. 분석장치는 제 1 뇌파를 저장한 이후 사용자로부터 제 1 뇌파와 동일한 패턴을 나타내는 뇌파를 감지하면 제 1 제어신호를 제 1 디바이스에게 전송할 수 있다. 상기 210 내지 240 단계를 반복하여 제 1 디바이스에 대한 복수의 제어 입력을 위한 뇌파들을 저장할 수 있다.
도 3은 개시된 기술의 일 실시예에 따른 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 장치에 대한 블록도이다. 도 3을 참조하면 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 장치(300)는 출력장치(310), 전극(320) 및 프로세서(330)를 포함한다.
출력장치(310)는 화면의 중앙 영역에 제 1 디바이스에 대한 이미지를 출력하고 중앙 영역의 주변에 형성된 복수개의 영역들 중 제 1 영역에 제 1 디바이스의 제 1 동작을 제어하는 것을 나타낸 제 1 영상을 출력한다. 출력장치(310)는 모니터나 디스플레이 장치로 구현될 수 있다. 출력장치(310)는 프로세서(330)의 제어에 따라 화면을 복수개의 영역으로 분할하고 중앙 영역에는 제 1 디바이스에 대한 이미지를 출력하고 나머지 주변 영역들 중 하나인 제 1 영역에는 제 1 동작을 제어하는 것을 나타낸 제 1 영상을 출력할 수 있다.
전극(320)은 출력장치에 제 1 영상이 출력되는 시점에서 사용자의 뇌에서 발생하는 제 1 뇌파를 감지한다. 전극(320)은 사용자의 뇌에서 발생하는 뇌파를 정확하게 감지하기 위해서 두부에 부착되는 패치 형태의 전극을 이용할 수 있다. 이러한 전극은 사용자의 거부감을 방지하는 비침습적 형태의 전극일 수 있으며 헤드마운트 디스플레이와 같은 장치에 연결하여 사용자가 머리에 착용하면 전극이 두부에 접촉되도록 형성될 수 있다.
프로세서(330)는 전극에서 감지된 제 1 뇌파를 제 1 동작을 수행하기 위한 제 1 제어신호로 저장한다. 그리고 추후 제 1 뇌파가 전극을 통해 다시 감지되면 제 1 제어신호를 제 1 디바이스에 전송한다. 프로세서(330)는 브레인-컴퓨터 인터페이스 장치(300)의 CPU 또는 AP로 구현될 수 있다.
한편, 상술한 브레인-컴퓨터 인터페이스 장치(300)는 컴퓨터와 같은 디바이스에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
일시적 판독 가능 매체는 스태틱 램(Static RAM，SRAM), 다이내믹 램(Dynamic RAM，DRAM), 싱크로너스 디램 (Synchronous DRAM，SDRAM), 2배속 SDRAM(Double Data Rate SDRAM，DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM，ESDRAM), 동기화 DRAM(Synclink DRAM，SLDRAM) 및 직접 램버스 램(Direct Rambus RAM，DRRAM) 과 같은 다양한 RAM을 의미한다.
도 4는 개시된 기술의 일 실시예에 따라 운동 심상 자극 영상을 출력하는 것을 나타낸 도면이다. 도 4를 참조하면 분석장치의 화면에는 복수개의 영역이 형성된다. 이 중 중앙 영역(401)에는 제 1 디바이스에 대한 이미지가 출력될 수 있으며 나머지 영역들(402, 403, 404, 405)에는 제 1 디바이스에 대한 각각의 제어 동작을 나타내는 영상들이 출력될 수 있다. 여기에서 나머지 영역들은 중앙 영역(401)을 중심으로 주변에 형성될 수 있으며 제 1 디바이스에 대한 제어 입력의 개수에 따라 영역의 개수가 결정될 수 있다. 예컨대, 제 1 디바이스에 대한 제어 입력이 전원 온/오프, 볼륨 조절, 채널변경의 3가지라면, 복수의 주변 영역들의 개수가 3개로 출력될 수 있다.
도 5는 개시된 기술의 일 실시예에 따라 디바이스를 제어하는 것을 나타낸 영상들을 반복적으로 출력하는 것을 나타낸 도면이다. 도 5를 참조하면 분석장치는 제 1 영상을 미리 설정된 주기에 따라 복수개의 영역들 각각에 순차적으로 또는 랜덤한 순서대로 출력할 수도 있고 복수개의 영역들 중 하나의 영역에만 출력할 수 있다. 도 5의 경우에는 좌측 하단, 좌측 상단, 우측 하단 및 우측 상단 순으로 제 1 영상을 출력하는 것을 나타낸 예이며 각 영상을 출력하는 사이에 뇌파 발생의 초기화를 위하여 제 1 영상을 포함하지 않은 빈 영상을 출력할 수 있다.
개시된 기술에 따르면 P300과 운동 심상 신호(Movement related cortical potential (MRCP)를 결합하여, 피험자가 자신의 신체를 움직이거나 이와 유사한 상황을 상상할 때 나오는 신호를 함께 활용할 수 있다. P300 신호와 운동 심상 신호는 뇌에서 각자 다른 인지 상황에서 유발되는 자극이며, 이를 동시에 일으키기 위해서는 별도의 자극 제작이 필요하다. 따라서 분석장치를 통해 제 1 디바이스에 대한 제 1 영상을 제공하여 운동 심상을 자극하는 것이다. 이에 따라 BCI의 시간 특성 뿐만 아니라 주파수 특성을 함께 사용할 수 있기 때문에 활용할 수 있는 신호 특성의 범위가 넓어지는 특징이 있다. 즉, 단일 반응에 대한 다각적 동시 발생 신호는 학습을 더욱 효율적으로 강화하여 반복 횟수를 현저히 줄일 수 있으므로 기존 BCI에서 필요했던 대상 제시 반복 횟수를 줄여 시스템의 실용성, 상용성을 발전시킬 수 있다.
개시된 기술의 일 실시예에 따른 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법 및 장치는 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 개시된 기술의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.

Claims (15)

  1. 분석장치가 화면의 중앙 영역에 제 1 디바이스에 대한 이미지를 출력하는 단계;
    상기 분석장치가 상기 중앙 영역의 주변에 형성된 복수개의 영역들 중 제 1 영역에 상기 제 1 디바이스의 제 1 동작을 제어하는 것을 나타낸 제 1 영상을 출력하는 단계;
    상기 분석장치가 사용자에게 연결된 복수개의 전극을 이용하여 상기 제 1 영상이 출력되는 시점에서 상기 사용자의 뇌에서 발생하는 제 1 뇌파를 감지하는 단계; 및
    상기 분석장치가 상기 제 1 뇌파를 상기 제 1 동작을 수행하기 위한 제 1 제어신호로 저장하는 단계;를 포함하는 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법.
  2. 제 1 항에 있어서,
    상기 분석장치는 상기 제 1 뇌파신호를 수신하면 상기 복수개의 영역들 중 상기 제 1 영역과 서로 다른 제 2 영역에 상기 제 1 디바이스에 대한 제 2 동작을 제어하는 것을 나타낸 제 2 영상을 출력하는 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법.
  3. 제 2 항에 있어서,
    상기 분석장치는 상기 제 2 영상이 출력되는 시점에서 상기 사용자가 발생하는 제 2 뇌파를 수신하여 제 2 동작을 수행하기 위한 제 2 제어신호로 저장하는 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법.
  4. 제 1 항에 있어서,
    상기 제 1 디바이스는 상기 사용자의 주변에 위치한 복수개의 IOT 디바이스 중 하나이고,
    상기 분석장치는 상기 복수개의 IOT 디바이스와 네트워크를 통해 연결되는 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법.
  5. 제 1 항에 있어서,
    상기 분석장치는 네트워크를 통해 상기 제 1 디바이스와 연결되고 상기 사용자로부터 상기 제 1 뇌파가 감지되면 상기 네트워크를 통해 상기 제 1 디바이스에 제 1 제어신호를 전송하는 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법.
  6. 제 1 항에 있어서,
    상기 분석장치는 미리 설정된 주기에 따라 상기 제 1 영상을 반복해서 출력하고 상기 제 1 영상을 출력할 때마다 상기 사용자의 뇌파를 감지하여 상기 제 1 뇌파와 일치하는지 비교하는 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법.
  7. 제 1 항에 있어서,
    상기 분석장치는 상기 제 1 영상을 미리 설정된 주기에 따라 상기 복수개의 영역들 각각에 순차적으로 또는 랜덤한 순서대로 출력하는 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법.
  8. 제 1 항에 있어서,
    상기 분석장치는 상기 제 1 영상을 미리 설정된 주기에 따라 상기 복수개의 영역들 중 하나의 영역에만 출력하는 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법.
  9. 화면의 중앙 영역에 제 1 디바이스에 대한 이미지를 출력하고 상기 중앙 영역의 주변에 형성된 복수개의 영역들 중 제 1 영역에 상기 제 1 디바이스의 제 1 동작을 제어하는 것을 나타낸 제 1 영상을 출력하는 출력장치;
    상기 출력장치에 상기 제 1 영상이 출력되는 시점에서 상기 사용자의 뇌에서 발생하는 제 1 뇌파를 감지하는 전극; 및
    상기 제 1 뇌파를 상기 제 1 동작을 수행하기 위한 제 1 제어신호로 저장하는 프로세서;를 포함하는 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 장치.
  10. 제 9 항에 있어서,
    상기 프로세서는 상기 제 1 뇌파신호를 수신하면 상기 복수개의 영역들 중 상기 제 1 영역과 서로 다른 제 2 영역에 상기 제 1 디바이스에 대한 제 2 동작을 제어하는 것을 나타낸 제 2 영상을 출력하도록 상기 출력장치를 제어하는 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 장치.
  11. 제 10 항에 있어서,
    상기 프로세서는 상기 제 2 영상이 출력되는 시점에서 상기 사용자가 발생하는 제 2 뇌파를 수신하여 제 2 동작을 수행하기 위한 제 2 제어신호로 저장하는 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 장치.
  12. 제 9 항에 있어서,
    상기 브레인-컴퓨터 인터페이스 장치는 상기 제 1 디바이스와 통신하는 통신장치를 더 포함하고,
    상기 통신장치는 네트워크를 통해 상기 제 1 디바이스와 연결되고 상기 사용자로부터 제 1 뇌파가 감지되면 상기 프로세서의 제어에 따라 상기 네트워크를 통해 상기 제 1 디바이스에 제 1 제어신호를 전송하는 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 장치.
  13. 제 9 항에 있어서,
    상기 출력장치는 미리 설정된 주기에 따라 상기 제 1 영상을 반복해서 출력하고,
    상기 프로세서는 제 1 영상을 출력할 때마다 상기 사용자의 뇌파를 감지하여 상기 제 1 뇌파와 일치하는지 비교하는 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 장치.
  14. 제 9 항에 있어서,
    상기 출력장치는 상기 제 1 영상을 상기 프로세서에 설정된 주기에 따라 상기 복수개의 영역들 각각에 순차적으로 또는 랜덤한 순서대로 출력하는 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 장치.
  15. 제 9 항에 있어서,
    상기 출력장치는 상기 제 1 영상을 상기 프로세서에 설정된 주기에 따라 상기 복수개의 영역들 중 하나의 영역에만 출력하는 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 장치.
KR1020200182256A 2020-12-23 2020-12-23 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법 및 장치 KR102584544B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200182256A KR102584544B1 (ko) 2020-12-23 2020-12-23 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200182256A KR102584544B1 (ko) 2020-12-23 2020-12-23 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220091090A true KR20220091090A (ko) 2022-06-30
KR102584544B1 KR102584544B1 (ko) 2023-10-04

Family

ID=82215396

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200182256A KR102584544B1 (ko) 2020-12-23 2020-12-23 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102584544B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100943396B1 (ko) 2009-04-30 2010-02-18 경북대학교 산학협력단 뇌파를 이용한 심상훈련용 가상현실 장기 구동 장치 및 방법
KR20180074442A (ko) * 2016-12-23 2018-07-03 계명대학교 산학협력단 뇌-컴퓨터 인터페이스(bci)를 이용한 게임 방식의 재활 시스템 및 그 제어방법
KR20190045041A (ko) * 2017-10-23 2019-05-02 고려대학교 산학협력단 뇌 신호를 추정하여 사용자 의도를 인식하는 방법, 그리고 이를 구현한 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100943396B1 (ko) 2009-04-30 2010-02-18 경북대학교 산학협력단 뇌파를 이용한 심상훈련용 가상현실 장기 구동 장치 및 방법
KR20180074442A (ko) * 2016-12-23 2018-07-03 계명대학교 산학협력단 뇌-컴퓨터 인터페이스(bci)를 이용한 게임 방식의 재활 시스템 및 그 제어방법
KR20190045041A (ko) * 2017-10-23 2019-05-02 고려대학교 산학협력단 뇌 신호를 추정하여 사용자 의도를 인식하는 방법, 그리고 이를 구현한 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치

Also Published As

Publication number Publication date
KR102584544B1 (ko) 2023-10-04

Similar Documents

Publication Publication Date Title
JP6875010B2 (ja) 触覚情報変換装置、触覚情報変換方法、および、触覚情報変換プログラム
US9990040B2 (en) Haptic CAPTCHA
KR102333704B1 (ko) 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스
US11435826B2 (en) Electronic device and control method thereof
KR101680995B1 (ko) 생물 물리학적 신호의 수집된 시간적 및 공간적 패턴에 기초한 뇌-컴퓨터 인터페이스(bci) 시스템
Tymms et al. Tactile perception of the roughness of 3D-printed textures
KR102029219B1 (ko) 뇌 신호를 추정하여 사용자 의도를 인식하는 방법, 그리고 이를 구현한 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치
US11207489B2 (en) Enhanced brain-machine interfaces with neuromodulation
JP6939797B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2019104008A1 (en) Interactive electronic content delivery in coordination with rapid decoding of brain activity
US20220276707A1 (en) Brain-computer interface
KR20160033969A (ko) 단말 장치 및 그 제어방법
Sae-Bae et al. Emerging NUI-based methods for user authentication: A new taxonomy and survey
US11029758B2 (en) Dynamic command remapping for human-computer interface
Lezkan et al. Interdependences between finger movement direction and haptic perception of oriented textures
US20190231211A1 (en) Information processing apparatus, information processing system, and non-transitory computer readable medium
KR20220091090A (ko) 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법 및 장치
Metzger et al. Top-down modulation of shape and roughness discrimination in active touch by covert attention
US11995235B2 (en) Human interface system
Haladjian et al. The tactile quartet: Comparing ambiguous apparent motion in tactile and visual stimuli
Mohammadi et al. A Combination of Pre‐and Postprocessing Techniques to Enhance Self‐Paced BCIs
KR20230052799A (ko) 뇌파 신호를 디코딩 하는 디코딩 모델 구축 방법과, 이를 포함하는 터치 제어 시스템 및 방법
Watanabe et al. Screening for Carpal Tunnel Syndrome Using Daily Behavior on Mobile Devices
CN116507306A (zh) 用于评价物体认知能力的评价装置、方法以及程序
EP3830676A1 (en) Enhanced brain-machine interfaces with neuromodulation

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant