KR102029219B1 - 뇌 신호를 추정하여 사용자 의도를 인식하는 방법, 그리고 이를 구현한 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치 - Google Patents

뇌 신호를 추정하여 사용자 의도를 인식하는 방법, 그리고 이를 구현한 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치 Download PDF

Info

Publication number
KR102029219B1
KR102029219B1 KR1020180057871A KR20180057871A KR102029219B1 KR 102029219 B1 KR102029219 B1 KR 102029219B1 KR 1020180057871 A KR1020180057871 A KR 1020180057871A KR 20180057871 A KR20180057871 A KR 20180057871A KR 102029219 B1 KR102029219 B1 KR 102029219B1
Authority
KR
South Korea
Prior art keywords
brain
mounted display
head mounted
learning
screen
Prior art date
Application number
KR1020180057871A
Other languages
English (en)
Other versions
KR20190045041A (ko
Inventor
이성환
곽노상
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to US16/117,814 priority Critical patent/US10795441B2/en
Publication of KR20190045041A publication Critical patent/KR20190045041A/ko
Application granted granted Critical
Publication of KR102029219B1 publication Critical patent/KR102029219B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Optics & Photonics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

제어기가 뇌 전도 전극들이 부착된 헤드 마운트 디스플레이를 착용한 사용자의 의도를 인식하는 방법으로서, 뇌 신호들을 유발하는 학습 화면을 상기 헤드 마운트 디스플레이에 표시한 상태에서, 상기 헤드 마운트 디스플레이 및 상기 헤드 마운트 디스플레이에 결합된 추가 전극 장치 각각에서 측정된 학습용 뇌 신호들을 획득하는 단계, 상기 학습용 뇌 신호들로부터 상기 헤드 마운트 디스플레이의 전극들과 상기 추가 전극 장치의 전극들의 관계 모델을 학습하는 단계, 특정 화면을 상기 헤드 마운트 디스플레이에 표시한 상태에서, 상기 추가 전극 장치가 분리된 상기 헤드 마운트 디스플레이에서 측정된 뇌 신호들을 획득하는 단계, 상기 관계 모델을 기초로 상기 헤드 마운트 디스플레이에서 측정된 뇌 신호들로부터 미측정된 상기 추가 전극 장치의 뇌 신호들을 추정하는 단계, 그리고 상기 측정된 뇌 신호들과 추정한 뇌 신호들에 해당하는 사용자 의도를 검출하는 단계를 포함한다.

Description

뇌 신호를 추정하여 사용자 의도를 인식하는 방법, 그리고 이를 구현한 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치{METHOD FOR RECOGNIGING USER INTENTION BY ESTIMATING BRAIN SIGNALS, AND BRAIN-COMPUTER INTERFACE APPARATUS BASED ON HEAD MOUNTED DISPLAY IMPLEMENTING THE METHOD}
본 발명은 뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI)에 관한 것이다.
뇌-컴퓨터 인터페이스는 다양한 두뇌 활동 시 발생하는 뇌 신호를 분석하여 사용자 의도를 인식하고 이를 통해 외부 장치를 제어하는 기술이다. 사용자는 뇌-컴퓨터 인터페이스를 통해 근육을 사용하지 않아도 컴퓨터 또는 기계들을 제어할 수 있다. 뇌-컴퓨터 인터페이스는 사고나 질병에 의해 운동신경 장애가 있는 환자들의 움직임을 보조해 주기 위한 장치 개발에 주로 이용되었고, 최근에는 다양한 분야에서 뇌-컴퓨터 인터페이스를 적용하기 위한 연구가 진행되고 있다.
헤드 마운트 디스플레이와 같은 웨어러블 장치는 사용자의 눈과 대면하는 위치에 영상을 출력하여 증강 현실(Augmented Reality) 또는 가상 현실(Virtual Reality)을 제공한다. 헤드 마운트 디스플레이는 자이로 센서 등을 이용하여 사용자의 동작을 감지할 수 있으나, 사용자는 헤드 마운트 디스플레이를 착용하고, 조이스틱, 키보드 등의 도구를 이용하여 화면을 제어해야 한다. 뇌-컴퓨터 인터페이스가 헤드 마운트 디스플레이 제어에 이용된다면, 도구 사용 없이 제어할 수 있을 것이다. 하지만, 뇌-컴퓨터 인터페이스로 사용자 의도를 인식하기 위해서는 다양한 뇌 영역에서 발생하는 뇌 신호를 분석해야 하므로, 많은 전극을 두피에 부착해야 하는 문제가 있다. 만약, 적은 수의 전극을 부착한다면 전극을 부착한 영역의 뇌 신호만을 획득할 수 있어서, 인식 정확도가 낮아지는 문제가 있다. 또한, 모자 형태의 헤드 마운트 디스플레이에 전극들을 부착할 수는 있으나, 소형 및 경량으로 제작하기 어렵고 가격이 높아져, 헤드 마운트 디스플레이에 뇌-컴퓨터 인터페이스를 적용하는 것이 쉽지 않다.
따라서, 사용자가 실생활에서 편리하게 사용하기 위해서는, 적은 수의 전극을 사용하면서도 높은 인식 성능을 유지할 수 있는 뇌-컴퓨터 인터페이스 기술이 필요하다. 또한 다양한 뇌-컴퓨터 인터페이스의 뇌 신호 측정 패러다임을 이용하여 헤드 마운트 디스플레이를 효율적으로 제어하기 위한 방법이 필요하다.
본 발명이 해결하고자 하는 과제는 뇌 신호를 추정하여 사용자 의도를 인식하는 방법, 이를 구현한 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치를 제공하는 것이다. 구체적으로, 본 발명이 해결하고자 하는 과제는 전극들이 부착된 헤드 마운트 디스플레이에 탈부착형 추가 전극 장치를 결합한 후 뇌 신호들을 획득하고, 전극들에서 획득한 뇌 신호들을 이용하여 전극간 관계 모델을 생성하며, 헤드 마운트 디스플레이에서 측정된 뇌 신호들과 전극간 관계 모델을 이용하여 사용자 의도 인식에 필요한 뇌 신호들을 추정하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는 안구 전도(ElectroOculoGraphy, EOG) 신호를 사용하여 헤드 마운트 디스플레이를 제어하는 방법을 제공하는 것이다.
한 실시예에 따른 제어기가, 뇌 전도 전극들이 부착된 헤드 마운트 디스플레이를 착용한 사용자의 의도를 인식하는 방법으로서, 뇌 신호들을 유발하는 학습 화면을 상기 헤드 마운트 디스플레이에 표시한 상태에서, 상기 헤드 마운트 디스플레이 및 상기 헤드 마운트 디스플레이에 결합된 추가 전극 장치 각각에서 측정된 학습용 뇌 신호들을 획득하는 단계, 상기 학습용 뇌 신호들로부터 상기 헤드 마운트 디스플레이의 전극들과 상기 추가 전극 장치의 전극들의 관계 모델을 학습하는 단계, 특정 화면을 상기 헤드 마운트 디스플레이에 표시한 상태에서, 상기 추가 전극 장치가 분리된 상기 헤드 마운트 디스플레이에서 측정된 뇌 신호들을 획득하는 단계, 상기 관계 모델을 기초로 상기 헤드 마운트 디스플레이에서 측정된 뇌 신호들로부터 미측정된 상기 추가 전극 장치의 뇌 신호들을 추정하는 단계, 그리고 상기 측정된 뇌 신호들과 추정한 뇌 신호들에 해당하는 사용자 의도를 검출하는 단계를 포함한다.
상기 사용자 의도 인식 방법은 상기 학습용 뇌 신호들로부터 사용자 의도 분류 모델을 학습하는 단계를 더 포함할 수 있다. 상기 사용자 의도를 검출하는 단계는 학습된 상기 사용자 의도 분류 모델을 기초로 상기 측정된 뇌 신호들과 상기 추정한 뇌 신호들을 조합한 신호에 해당하는 사용자 의도를 검출할 수 있다.
상기 학습 화면은 특정 뇌-컴퓨터 인터페이스 패러다임에 해당하는 뇌 신호들을 유발하기 위해 제작된 인터페이스 화면일 수 있다.
상기 뇌-컴퓨터 인터페이스 패러다임은 동작 상상(Motor Imagery) 전위, 정상 상태 시각/청각/촉각 유발 전위(Steady-State Visual/Auditory/Somatosensory Evoked Potential), 그리고 사건 관련 전위(Event Related Potential) 중 적어도 하나일 수 있다.
상기 학습 화면이 동작 상상에 해당하는 뇌 신호들을 유발하는 인터페이스 화면인 경우, 상기 학습용 뇌 신호들은 상기 학습 화면에서 지정한 신체 부위를 움직이는 상상으로 유발된 신호일 수 있다.
상기 학습 화면이 사건 관련 전위에 해당하는 뇌 신호들을 유발하는 인터페이스 화면인 경우, 상기 학습 화면은 양쪽 눈에 각각 대응하는 좌측 화면 및 우측 화면을 분리 제공하고, 상기 좌측 화면과 상기 우측 화면에서 동일 객체를 서로 다른 주파수로 점멸하는 시각 자극을 제공할 수 있다. 상기 학습용 뇌 신호들은 상기 학습 화면에 포함된 시각 자극으로 유발된 신호일 수 있다.
상기 학습 화면이 정상 상태 시각 유발 전위에 해당하는 뇌 신호들을 유발하는 인터페이스 화면인 경우, 상기 학습 화면은 선택 가능한 복수의 객체들을 서로 다른 시각 자극으로 제공할 수 있다. 상기 학습용 뇌 신호들은 상기 학습 화면에서 복수의 객체들 중 특정 객체를 응시할 때 유발된 신호일 수 있다.
상기 관계 모델을 학습하는 단계는 전극별로 현재 주기에서 측정된 뇌 신호에 과거 주기들에서 측정된 일정 수의 뇌 신호들을 포함하여 뇌 신호 특징 벡터를 생성하고, 상기 뇌 신호 특징 벡터를 이용하여 상기 관계 모델을 학습할 수 있다.
상기 사용자 의도 인식 방법은 검출한 사용자 의도를 기초로 상기 특정 화면을 제어하는 단계를 더 포함할 수 있다.
상기 특정 화면을 제어하는 단계는 상기 헤드 마운트 디스플레이에 부착된 안구 전도 전극들로부터 획득된 안구 전도 신호들을 기초로 시선 움직임을 검출하고, 검출한 시선 움직임에 따라 상기 특정 화면의 시점을 변경하며, 상기 측정된 뇌 신호들과 추정한 뇌 신호들로 검출한 사용자 의도에 따라 상기 특정 화면을 제어할 수 있다.
상기 사용자 의도 인식 방법은 상기 특정 화면을 제어하는 단계 이전에, 커서 화면에 시선이 따라 움직이는 커서를 표시한 상태에서, 상기 안구 전도 전극들로부터 획득된 학습용 안구 전도 신호들과 커서 속도의 관계 모델을 학습하는 단계를 더 포함할 수 있다. 상기 특정 화면을 제어하는 단계는 상기 안구 전도 신호들과 커서 속도의 관계 모델을 기초로, 상기 획득된 안구 전도 신호들에 해당하는 시선 움직임을 검출할 수 있다.
한 실시예에 따른 뇌-컴퓨터 인터페이스 장치로서, 제1 채널 그룹의 뇌 전도 전극들이 부착된 헤드 마운트 디스플레이, 상기 헤드 마운트 디스플레이에 탈착되고, 제2 채널 그룹의 뇌 전도 전극들이 부착된 추가 전극 장치, 그리고 상기 제1 채널 그룹의 뇌 전도 전극들과 상기 제2 채널 그룹의 뇌 전도 전극들에서 획득되는 뇌 신호들의 관계 모델을 저장하고, 상기 관계 모델을 기초로 상기 추가 전극 장치가 분리된 상기 헤드 마운트 디스플레이를 제어하는 제어기를 포함한다. 상기 제어기는 특정 화면을 상기 헤드 마운트 디스플레이에 표시한 상태에서 상기 제1 채널 그룹에서 측정된 뇌 신호들이 입력되면, 상기 관계 모델을 기초로 상기 제2 채널 그룹의 뇌 전도 전극들의 뇌 신호들을 추정하고, 상기 제1 채널 그룹에서 측정된 뇌 신호들과 상기 제2 채널 그룹에서 추정된 뇌 신호들을 이용하여 사용자 의도를 검출하며, 검출한 사용자 의도를 기초로 상기 특정 화면을 제어한다.
상기 제어기는 상기 추가 전극 장치가 상기 헤드 마운트 디스플레이에 결합된 학습 모드에서, 뇌 신호들을 유발하는 학습 화면을 상기 헤드 마운트 디스플레이에 표시하고, 상기 제1 채널 그룹과 상기 제2 채널 그룹에서 측정된 학습용 뇌 신호들을 획득하며, 상기 학습용 뇌 신호들을 이용하여 상기 관계 모델을 학습시킨 후, 학습된 상기 관계 모델을 저장할 수 있다.
상기 학습 화면은 특정 뇌-컴퓨터 인터페이스 패러다임에 해당하는 뇌 신호들을 유발하기 위해 제작된 인터페이스 화면이고, 상기 뇌-컴퓨터 인터페이스 패러다임은 동작 상상(Motor Imagery) 전위, 정상 상태 시각/청각/촉각 유발 전위(Steady-State Visual/Auditory/Somatosensory Evoked Potential), 그리고 사건 관련 전위(Event Related Potential) 중 적어도 하나일 수 있다.
상기 제어기는 상기 학습용 뇌 신호들을 회귀 분석하여 상기 관계 모델을 학습시킬 수 있다.
상기 제어기는 학습된 사용자 의도 분류 모델을 기초로, 상기 제1 채널 그룹에서 측정된 뇌 신호들과 상기 제2 채널 그룹에서 추정된 뇌 신호들을 조합한 신호의 특징에 해당하는 상기 사용자 의도를 검출할 수 있다. 상기 사용자 의도 분류 모델은 상기 제1 채널 그룹과 상기 제2 채널 그룹에서 획득된 뇌 신호들의 특징을 기초로 특정 뇌-컴퓨터 인터페이스 패러다임에서 지정한 복수의 의도들 중 어느 하나로 분류하도록 학습된 모델일 수 있다.
다른 실시예에 따른 뇌-컴퓨터 인터페이스 장치로서, 내측면의 적어도 일부가 사용자의 안면에 접하도록 착용되고, 적어도 하나의 프로세서, 메모리 그리고 디스플레이를 포함하는 본체, 그리고 상기 본체와 연결되며 상기 본체가 사용자의 안면에 착용된 상태로 고정되도록 지지하는 고정부를 포함하는 헤드 마운트 디스플레이, 그리고 상기 헤드 마운트 디스플레이에 결합되거나 분리되고, 사용자의 두피에 접하는 내 측면에 뇌 전도 전극들이 부착된 추가 전극 장치를 포함한다. 상기 헤드 마운트 디스플레이는, 상기 고정부의 내측면에 사용자의 머리 둘레를 따라 임의의 간격으로 배치된 복수의 뇌 전도 전극들, 상기 본체의 내측면에 사용자의 안구가 접하는 위치로부터 복수의 방향으로 임의의 간격으로 배치된 복수의 안구 전도 전극들, 상기 본체에 사용자의 안면의 일부가 접하는 영역에 배치되는 레퍼런스 전극, 그리고 상기 본체와 상기 고정부 중 적어도 하나에 배치되어, 상기 추가 전극 장치와 결합하거나 분리되는 체결부를 더 포함한다.
실시예에 따르면, 헤드 마운트 디스플레이에 탈부착형 추가 전극 장치를 결합하여 전극간 관계 모델을 생성한 이후, 추가 전극 장치 없이 헤드 마운트 디스플레이의 전극들에서 측정된 뇌 신호들로부터 사용자 의도를 정확히 인식할 수 있다.
실시예에 따르면, 뇌 전도 전극과 안구 전도 전극을 부착한 헤드 마운트 디스플레이를 통해 사용자에게 편리하고 현실감이 높으며 자연스러운 제어 환경을 제공할 수 있다. 따라서, 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치를 착용한 사용자는 직접 손이나 팔 등의 몸을 사용하여 제어 대상을 제어하는 대신, 생각이나 눈 움직임으로 제어 대상을 제어할 수 있다.
실시예에 따르면, 사용자의 시야 변화에 따라 사용자에게 제공되는 화면 변화를 제공함으로써, 사용자의 눈 움직임에 따라 실생활과 유사한 증강 현실 및 가상 현실을 제공할 수 있다.
실시예에 따르면, 헤드 마운트 디스플레이를 활용하는 게임, 엔터테인먼트, 헬스케어, 모바일 디스플레이 등의 다양한 분야에 뇌-컴퓨터 인터페이스를 적용하여 콘텐츠에 적합한 최적의 제어 환경을 제공할 수 있다.
도 1은 한 실시예에 따른 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치의 착용 상태를 설명하는 도면이다.
도 2는 한 실시예에 따른 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치의 전극간 관계 모델을 개념적으로 설명하는 도면이다.
도 3과 도 4 각각은 한 실시예에 따른 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치의 예시이다.
도 5는 한 실시예에 따른 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치의 개념적인 구성도이다.
도 6은 한 실시예에 따른 제어기의 기능 블록도이다.
도 7은 한 실시예에 따른 제어기의 전극간 관계 모델 학습 방법의 흐름도이다.
도 8은 한 실시예에 따른 제어기의 사용자 의도 인식을 위한 분류 모델 학습 방법의 흐름도이다.
도 9는 한 실시예에 따른 제어기의 뇌 신호 추정 방법의 흐름도이다.
도 10은 뇌-컴퓨터 인터페이스 패러다임 중 동작 상상을 위한 학습 인터페이스 화면의 예시이다.
도 11과 도 12는 동작 상상에 따른 화면 제어의 예시이다.
도 13은 뇌-컴퓨터 인터페이스 패러다임 중 정상 상태 시각 유발 전위를 위한 학습 인터페이스 화면의 예시이다.
도 14는 뇌-컴퓨터 인터페이스 패러다임 중 사건 관련 전위를 위한 학습 인터페이스 화면의 예시이다.
도 15는 사건 관련 전위 기반의 시각 자극을 이용한 문자 입력 인터페이스의 예시이다.
도 16은 뇌-컴퓨터 인터페이스 패러다임 중 정상 상태 청각 유발 전위를 위한 학습 인터페이스 화면의 예시이다.
도 17은 한 실시예에 따른 사용자의 안구 움직임에 의한 화면 제어의 예시이다.
도 18은 한 실시예에 따른 사용자의 머리 및 안구 움직임에 화면 제어의 예시이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 한 실시예에 따른 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치의 착용 상태를 설명하는 도면이고, 도 2는 한 실시예에 따른 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치의 전극간 관계 모델을 개념적으로 설명하는 도면이다.
도 1을 참고하면, 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치(10)는 전극들이 부착된 헤드 마운트 디스플레이(100) 그리고 헤드 마운트 디스플레이(100)에 탈부착되는 전극 장치(앞으로, "추가 전극 장치"라고 한다)(200)를 포함한다. 헤드 마운트 디스플레이(100)와 추가 전극 장치(200) 각각에 배치된 뇌 전도 전극들의 위치는 사용자의 뇌 신호를 측정할 수 있는 지점들로 미리 설정되거나 사용자가 조정할 수 있다. 헤드 마운트 디스플레이(100)는 안구 전도 신호를 측정할 수 있는 안구 전도 전극들을 더 포함할 수 있다.
도 1의 (a)와 같이, 헤드 마운트 디스플레이(100)와 추가 전극 장치(200)는 결합될 수 있고, 이를 결합 상태라고 부른다. 도 1의 (b)와 같이, 추가 전극 장치(200)가 헤드 마운트 디스플레이(100)에서 분리될 수 있고, 이를 분리 상태라고 부른다.
설명에서는 하나의 추가 전극 장치(200)가 헤드 마운트 디스플레이(100)에 결합되거나 분리된다고 설명하나, 복수의 추가 전극 장치들이 헤드 마운트 디스플레이(100)에 결합될 수 있다. 이 경우, 복수의 추가 전극 장치들 중 적어도 하나의 추가 전극 장치가 분리된 상태를 분리 상태라고 부를 수 있다.
도 2의 (a)를 참고하면, 추가 전극 장치(200)가 결합된 헤드 마운트 디스플레이(100)를 사용자가 착용한 상태에서, 뇌 신호들이 측정된다. 이렇게 결합 상태에서 측정된 뇌 신호들이 분리 상태의 뇌 신호 추정을 위한 학습 데이터로 사용된다. 측정된 뇌 신호들을 이용하여 헤드 마운트 디스플레이(100)와 추가 전극 장치(200)의 전극들 사이의 관계 모델(W)(간단히, 전극간 관계 모델이라고 한다)을 학습한다. 즉, 헤드 마운트 디스플레이(100)의 전극들(X1, X2, ..., Xnx)에서 측정된 뇌 신호들(x)과 추가 전극 장치(200)의 전극들(Y1, Y2, .., Yny)에서 측정된 뇌 신호들(y)로 전극간 관계 모델(W)이 학습된다. 전극간 관계 모델(W)은 선형 회귀 분석, 비선형 회귀 분석 등의 회귀 분석으로 도출된 회귀 모델일 수 있다.
도 2의 (b)를 참고하면, 추가 전극 장치(200)가 분리된 헤드 마운트 디스플레이(100)를 사용자가 착용한 상태에서는 헤드 마운트 디스플레이(100)의 전극들(X1, X2, ..., Xnx)에서 뇌 신호들이 측정된다. 이때, 결합 상태에서 측정된 뇌 신호들로 학습된 전극간 관계 모델(W)로 미측정된 지점들, 즉 추가 전극 장치(200)의 전극들(Y1, Y2, ..., Yny)의 뇌 신호들
Figure 112018049966142-pat00001
을 추정할 수 있다.
이처럼 본 발명에 따르면, 헤드 마운트 디스플레이(100)만을 착용한 상태에서 일부 지점(전극 채널)의 뇌 신호들만을 측정하더라도, 학습된 전극간 관계 모델을 통해 다른 지점들의 뇌 신호들을 추정할 수 있다. 즉, 뇌 신호 추정을 통해 사용자 의도를 정확히 인식하기 위해 요구되는 수준의 뇌 신호들이 추가적으로 획득된다. 따라서, 사용자는 항상 추가 전극 장치(200)가 결합된 헤드 마운트 디스플레이(100)를 착용할 필요 없이, 학습 이후에는 간단히 헤드 마운트 디스플레이(100)만을 착용하더라도, 뇌 신호들이 충분히 획득되고, 결과적으로 사용자 의도를 간편하면서도 정확히 인식할 수 있다.
도 3과 도 4 각각은 한 실시예에 따른 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치의 예시이다.
도 3 및 도 4를 참고하면, 헤드 마운트 디스플레이(100)는 사용자에게 착용되어 증강 현실 및 가상 현실 기반 콘텐츠를 제공하는 본체(110), 그리고 본체(110)를 머리에 고정 지지하는 고정부(120)를 포함한다. 사용자가 헤드 마운트 디스플레이(100)를 머리에 착용하면, 본체(110)는 내측면이 사용자의 안면 중 적어도 일부에 접촉되도록 밀착 지지되고, 고정부(12)는 내측면이 사용자의 안면의 일부 및 머리 둘레를 따라 적어도 일부의 두피에 접촉되도록 밀착 지지된다.
헤드 마운트 디스플레이(100)는 증강 현실 및 가상 현실을 제공하는데 필요한 다양한 구성 요소들을 포함할 수 있는데, 일반적인 헤드 마운트 디스플레이의 구성 요소들을 포함할 수 있다. 예를 들면, 본체(110)는 적어도 하나의 프로세서, 메모리, 증강 현실 영상이나 가상 현실 영상을 표시하는 디스플레이를 포함하고, 본체(110)의 외측에 증강 현실을 제공하기 위해, 외부를 실시간으로 촬영할 수 있는 카메라(111)가 장착될 수 있다. 본체(110)의 안면부에는 사용자의 두 눈에 대면하는 위치에 렌즈(112)가 장착될 수 있다. 고정부(120)에는 헤드 마운트 디스플레이 제어 시 발생되는 음향(오디오 신호)을 제공하기 위한 이어폰(121)이나 스피커(미도시)가 포함될 수 있다. 한편, 이어폰(121)의 삽입부(즉, 사용자의 귀에 직접 삽입되는 부분)에 귀 내부에서 뇌 신호를 측정할 수 있는 뇌 전도 전극이 더 포함될 수 있다.
본체(110)와 고정부(120) 중 적어도 하나에, 추가 전극 장치(200)가 결합/분리되는 체결부(130, 131)가 형성된다. 결합 모양에 따라 체결부의 위치는 다양하게 형성될 수 있다. 예를 들어, 도 2와 같은 추가 전극 장치(200)인 경우, 체결부(130, 131)에 추가 전극 장치(200)의 전방 결합부(230) 및 후방 결합부(231)가 각각 삽입되어 결합될 수 있다.
헤드 마운트 디스플레이(100)는 복수의 전극들을 포함한다. 전극들의 위치는 뇌 신호 측정 지점들/안구 전도 신호 측정 지점들에 따라 다양하게 배치될 수 있다. 고정부(120)의 내측면(즉, 사용자의 머리에 직접적으로 대면하는 일부면)에 머리 둘레를 따라 복수의 뇌 전도 전극들(141, 142, ..., 149)이 부착될 수 있다. 본체(11)의 사용자의 안면에 직접적으로 대면하는 내측면에 복수의 안구 전도 전극들(151, 152, ..., 158)이 부착될 수 있다. 각 안구 전도 전극은 안면부 중 사용자의 눈에 근접한 위치에 배치되고, 눈 주위의 상/하/좌/우에 부착될 수 있다. 본체(11)는 뇌 신호 및 안구 전도 신호의 기준이 되는 레퍼런스 전극(또는 그라운드 전극)(160)을 포함하고, 예를 들면, 사용자의 코 위치에 대면하는 영역에 부착될 수 있다. 이때, 레퍼런스 전극과 그라운드 전극은 하나의 전극으로 사용 가능하다.
추가 전극 장치(200)는 착용한 사용자의 머리에 접촉하는 내측면(하부면)에 복수의 뇌 전도 전극들(미도시)이 부착된다. 예를 들면, 추가 전극 장치(200)의 하부면에서 가로 방향 및 세로 방향으로 복수의 뇌 전도 전극들이 배치될 수 있다.
추가 전극 장치(200)의 모양은 다양하게 설계될 수 있다. 예를 들면, 추가 전극 장치(200)는 사용자의 착용 상태에서, 전후 방향으로 일정의 길이 및 면적을 갖는 제1 바디, 그리고 좌우 방향으로 일정의 길이 및 면적을 갖는 제2 바디로 구성되고, 제1 바디와 제2 바디는 서로 교차하는 중심에 연결부(210)를 통해 물리적으로 연결되고, 전기적으로도 연결될 수 있다.
추가 전극 장치(200)를 사용자의 머리에 맞추고, 뇌 전도 전극 사이의 간격을 조절하기 위해, 추가 전극 장치(200)는 전후 전극 간격 확장부(220)와 좌우 전극 간격 확장부(222)를 포함한다. 전후 전극 간격 확장부(220)는 연결부(210)로부터 전후 방향으로 연장되고, 좌우 전극 간격 확장부(222)는 연결부(210)로부터 좌우 방향으로 연장될 수 있다. 각 전극 간격 확장부(220, 222)는 복수의 마디 형상을 가지고, 연결부(210)를 향해 각 마디가 이전 마디에 삽입되어 있다가 연장될수록 순차적으로 외부로 펼쳐질 수 있고, 적어도 하나의 마디가 펼쳐지면 사용자의 머리 굴곡에 따라 밀착되는 휘어진 바(bar) 형상이 될 수 있다. 뇌 전도 전극은 연결부(210), 전후 전극 간격 확장부(220) 및 좌우 전극 간격 확장부(222)의 각 마디에 부착될 수 있다. 이러한 추가 전극 장치(200)를 통해 헤드 마운트 디스플레이(100)에서 측정할 수 없는 사용자의 다양한 뇌 영역의 뇌 신호를 측정할 수 있다.
전후 전극 간격 확장부(220) 및 좌우 전극 간격 확장부(222) 각각은 사용자 머리 위에서 지탱 및 고정하기 위한 다리부(240, 242)가 연장될 수 있다. 다리부(240, 242)는 사용자 머리에 접촉되며, 스트랩 또는 유연한 재질로 구성될 수 있다. 다리부(240, 242) 중 적어도 하나의 끝단은 헤드 마운트 디스플레이(100)의 체결부(130, 131)에 삽입되는 전방 결합부(230) 및 후방 결합부(231)가 형성될 수 있다.
한편, 도 3 및 도 4에서는 표시되어 있지 않으나, 뇌-컴퓨터 인터페이스 장치(10)는 본 발명에서 설명하는 방법을 수행하는 프로세서(미도시), 메모리(미도시), 통신 모듈(미도시) 등의 하드웨어를 포함하고, 하드웨어를 통해 본 발명에서 설명하는 방법을 수행하는 프로그램들(예를 들면, 헤드 마운트 디스플레이 제어 프로그램)을 실행한다. 프로그램들은 적어도 하나의 메모리에 저장되고, 적어도 하나의 프로세서가 프로그램들을 실행하여 본 발명에서 설명하는 방법을 처리한다. 헤드 마운트 디스플레이(100)와 추가 전극 장치(200) 각각이 적어도 하나의 메모리, 적어도 하나의 프로세서, 그리고 적어도 하나의 통신 모듈 등의 하드웨어에 의해 동작할 수 있고, 또는 헤드 마운트 디스플레이(100)가 결합된 추가 전극 장치(200)의 뇌 신호 측정을 제어할 수 있다.
추가 전극 장치(200)에서 측정된 뇌 신호들은 측정된 뇌 신호들을 기초로 전극간 관계 모델을 학습하는 장치로 전달되는데, 전극간 관계 모델을 학습하는 장치는 헤드 마운트 디스플레이(100)이거나, 별도의 외부 제어 장치일 수 있다. 이때, 추가 전극 장치(200)에서 측정된 뇌 신호들은 결합된 헤드 마운트 디스플레이(100)로 전달되거나, 추가 전극 장치(200)가 측정된 뇌 신호들을 직접 지정된 서버로 전송할 수 있다. 헤드 마운트 디스플레이(100)와 추가 전극 장치(200)는 통신 모듈을 통해 통신할 수 있다. 또는 헤드 마운트 디스플레이(100)에 결합된 추가 전극 장치(200)는 헤드 마운트 디스플레이(100)에 전기적으로 연결되고, 헤드 마운트 디스플레이(100)는 결합된 추가 전극 장치(200)를 통해 뇌 신호들을 측정할 수 있다.
헤드 마운트 디스플레이(100)는 통신 모듈을 통해 외부 장치(미도시), 예를 들어, 모바일 단말과 통신할 수 있다. 헤드 마운트 디스플레이(100)는 통신 모듈을 통해 외부 제어 서버와 통신할 수 있다.
다음에서 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치가 뇌 신호를 추정하여 사용자 의도를 인식하는 방법에 대해 설명한다. 본 발명에서 설명하는 방법은 헤드 마운트 디스플레이(100)에 내장된 프로세서가 수행할 수 있고, 또는 헤드 마운트 디스플레이(100), 추가 전극 장치(200), 외부 제어 장치 각각에 내장된 프로세서들이 연동하여 수행할 수 있다. 설명에서는 적어도 하나의 프로세서에 의해 동작하는 제어기(300)가 본 발명에서 설명하는 방법을 처리한다고 가정하고, 제어기(300)는 헤드 마운트 디스플레이(100)에 포함된 것으로 가정한다.
도 5는 한 실시예에 따른 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치의 개념적인 구성도이고, 도 6은 한 실시예에 따른 제어기의 기능 블록도이다.
도 5를 참고하면, 뇌-컴퓨터 인터페이스 장치(10)는 헤드 마운트 디스플레이(100) 그리고 추가 전극 장치(200)를 포함하고, 이들을 제어하는 제어기(300)를 포함할 수 있다. 추가적으로, 헤드 마운트 디스플레이(100)는 사용자 단말이나 외부 제어 서버를 포함하는 외부 제어 장치와 통신할 수 있다.
한편, 제어기(300)는 헤드 마운트 디스플레이(100)의 외부에서 헤드 마운트 디스플레이(100)와 외부 통신하여 헤드 마운트 디스플레이(100)를 제어하도록 설계 변경할 수 있다. 또한, 제어기(300)의 일부 기능은 헤드 마운트 디스플레이(100)의 프로세서가 처리하고, 나머지 기능은 외부 제어 장치가 처리할 수 있도록 설계 변경할 수 있다.
도 6을 참고하면, 제어기(300)는 뇌 신호 측정부(310), 뇌 신호 학습부(330), 뇌 신호 추정부(350), 그리고 사용자 의도 인식부(370)를 포함한다.
뇌 신호 측정부(310)는 헤드 마운트 디스플레이(100)와 추가 전극 장치(200)가 결합 상태에서 사용자의 뇌 신호들을 측정한다. 결합 상태에서 측정된 뇌 신호들은 뇌 전도 전극들 간의 관계 모델의 학습에 사용되는 학습 데이터이다. 이때, 뇌 신호 측정부(310)는 뇌-컴퓨터 인터페이스 패러다임별로 제작된 화면, 진동, 소리 등을 헤드 마운트 디스플레이(100)의 디스플레이, 진동 센서, 스피커 등으로 출력하고, 각 뇌-컴퓨터 인터페이스 패러다임에서 유발된 뇌 신호들을 측정할 수 있다. 뇌-컴퓨터 인터페이스 패러다임은 예를 들어, 신체 움직임을 상상하여 유발되는 동작 상상(Motor Imagery, MI) 전위, 정상 상태 시각/청각/촉각 유발 전위(Steady-State Visual/Auditory/Somatosensory Evoked Potential), 사건 관련 전위(Event Related Potential, ERP) 등을 포함할 수 있다.
뇌 신호 측정부(310)는 뇌 신호 추정부(330)로부터 헤드 마운트 디스플레이에서 측정된 뇌 신호들과 함께 추정된 뇌 신호들을 입력받을 수 있다. 입력받은 데이터는 학습 데이터로 사용될 수 있다.
또한, 뇌 신호 측정부(310)는 추가 전극 장치(200)가 분리된 상태에서, 헤드 마운트 디스플레이(100)를 착용한 사용자의 뇌 신호들을 측정한다. 분리 상태에서 측정된 뇌 신호들은 미측정 지점들의 뇌 신호들의 추정에 사용된다.
뇌 신호 측정부(310)는 측정한 뇌 신호들을 구분하기 위해 측정 전에 뇌 신호 측정 모드를 설정할 수 있다. 뇌 신호 측정 모드는 학습용 뇌 신호 측정을 위한 학습 모드 또는 결합 모드, 사용자 의도 인식 모드 또는 분리 모드 등으로 구분될 수 있다. 또한, 뇌 신호 측정부(310)는 뇌-컴퓨터 인터페이스 패러다임을 설정할 수 있다. 뇌 신호 측정부(310)는 설정에 따라 측정된 뇌 신호들을 구분하여 저장한다.
뇌 신호 학습부(330)는 뇌 신호 측정부(310)에서 측정한 학습용 뇌 신호들을 기초로 헤드 마운트 디스플레이(100)와 추가 전극 장치(200)의 뇌 전도 전극들 간의 관계 모델을 학습한다.
또한, 뇌 신호 학습부(330)는 뇌 신호 측정부(310)에서 측정한 학습용 뇌 신호들을 기초로 뇌-컴퓨터 인터페이스 패러다임에 적합한 사용자 의도 인식을 위한 분류 모델을 학습한다.
뇌 신호 학습부(330)는 학습할 데이터가 많을수록 높은 성능을 제공할 수 있는 딥러닝의 특성에 따라, 획득한 학습 데이터를 증강(Data Augmentation)하여 학습 데이터를 늘릴 수 있다. 데이터 증강 방법은 다양할 수 있다.
뇌 신호 추정부(330)는 학습된 전극간 관계 모델을 기초로, 사용자가 헤드 마운트 디스플레이(100)만을 착용한 상태에서 측정된 뇌 신호들로부터 미측정된 추가 전극 장치(200)의 뇌 신호들을 추정한다.
사용자 의도 인식부(250)는 학습된 사용자 의도 인식을 위한 분류 모델을 기초로, 입력된 뇌 신호들에 해당하는 사용자 의도를 판단한다. 입력된 뇌 신호들은 헤드 마운트 디스플레이(100)에서 측정된 뇌 신호들과 추정한 뇌 신호들일 수 있다. 또는 입력된 뇌 신호들은 헤드 마운트 디스플레이(100)와 추가 전극 장치(200)가 결합 상태에서 측정된 뇌 신호들일 수 있다.
도 7은 한 실시예에 따른 제어기의 전극간 관계 모델 학습 방법의 흐름도이다.
도 7을 참고하면, 사용자가 추가 전극 장치(200)가 결합된 헤드 마운트 디스플레이(100)를 착용한 상태에서, 제어기(300)는 뇌-컴퓨터 인터페이스 패러다임을 지정한다(S110). 뇌-컴퓨터 인터페이스 패러다임은 사용자에 의해 선택될 수 있고, 또는 학습 모드에서 학습할 패러다임이 지정될 수 있다.
제어기(300)는 지정된 뇌-컴퓨터 인터페이스 패러다임에 해당하는 뇌 신호들을 유발하는 인터페이스 화면을 표시한 상태에서, 사용자의 뇌 신호들을 측정한다(S120). 헤드 마운트 디스플레이(100)의 전극들에서 측정된 뇌 신호들(x1, x2, ..., xnx)과 추가 전극 장치(200)의 전극들에서 측정된 뇌 신호들(y1, y2, ..., yny)이 획득된다. 이때, 헤드 마운트 디스플레이(100)와 추가 전극 장치(200)에서 측정된 뇌 신호들들은 동일한 샘플비(Sampling rate)를 갖는다. 각 전극은 채널 식별자로 구분될 수 있다. 한편, 헤드 마운트 디스플레이(100)의 전극들(채널들)을 제1 채널 그룹이라고 하고, 추가 전극 장치(200)의 전극들(채널들)을 제2 채널 그룹이라고 할 수 있다.
제어기(300)는 지정된 뇌-컴퓨터 인터페이스 패러다임에 대해서 일정 시간 동안 측정한 뇌 신호들을 저장한다(S130). 측정된 뇌 신호는 대역 통과 필터가 적용되고, 정규화되는 전처리를 거친다. 대역 통과 필터는 지정된 뇌 신호 측정 패러다임에 관련된 주파수 범위가 설정될 수 있다. 정규화 방법은 다양한데, 예를 들면, 각 전극(채널)의 뇌 신호의 평균값이 0이고, 분산값이 1이 되도록 정규화할 수 있다.
제어기(300)는 측정한 뇌 신호들로부터 해당 뇌-컴퓨터 인터페이스 패러다임을 위한 학습 데이터를 생성한다(S140). 학습용 뇌 신호는 각 전극에서 일정 시간 동안의 측정을 반복적으로 시도(Trial)하여 획득될 수 있고, 또는 각 전극에서 연속된 시간 동안 측정된 신호일 수 있다. 또는 학습용 뇌 신호는 각 전극에서 과거(예를 들면, 이전 측정 주기들)에 측정된 뇌 신호들(샘플)을 축적하여 생성될 수 있다. 한편, 제어기(300)는 측정한 뇌 신호들을 학습용, 검증용, 평가용으로 분리하고, 측정한 뇌 신호들 중 일부를 학습 데이터로 사용할 수 있다.
제어기(300)는 학습 데이터를 이용하여 헤드 마운트 디스플레이(100)와 추가 전극 장치(200)의 전극들 간의 관계 모델(W)을 초기 학습한다(S150). 전극간 관계 모델(W)은 헤드 마운트 디스플레이(100)의 뇌 신호들과 추가 전극 장치(200)의 뇌 신호들을 관계를 포함하고, 이후 측정 지점인 헤드 마운트 디스플레이(100)의 뇌 신호들로부터 미측정 지점들의 뇌 신호들을 추정하는데 이용된다. 미측정 지점들은 추가 전극 장치(200)의 전극들의 전극 위치들이고, 뇌 신호 추정 지점이라고 부를 수 있다.
제어기(300)는 검증용 뇌 신호들을 이용하여 초기 학습된 전극간 관계 모델(W)의 파라미터들을 최적화한다(S160).
제어기(300)는 평가용 뇌 신호들을 이용하여 최적화된 전극간 관계 모델(W)을 평가한다(S170). 관계 모델 평가 지표는, 측정된 뇌 신호(y)와 전극간 관계 모델로 추정된 뇌 신호
Figure 112018049966142-pat00002
의 상관 계수(Correlation coefficient), 또는 평균 제곱 오차를 사용할 수 있다. 상관 계수가 1에 가까울수록 또는 평균 제곱 오차가 0에 가까울수록 관계 모델의 정확도가 증가한다.
제어기(300)는 정확도가 기준값 이상이면, 전극간 관계 모델의 학습을 종료한다(S180). 만약, 제어기(300)는 정확도가 기준값 미만인 경우, 전극간 관계 모델의 학습, 최적화, 평가를 반복할 수 있다. 필요 시, 제어기(300)는 추가적인 뇌 신호 측정을 요청할 수 있다. 제어기(300)는 뇌-컴퓨터 인터페이스 패러다임별로 전극간 관계 모델을 학습시킬 수 있다.
제어기(300)는 추정된 뇌 신호의 오차를 피드백하여 전극간 관계 모델을 최적화하는 오차 교정 방법을 통해, 전극간 관계 모델의 정확도를 높일 수 있다. 제어기(300)는 다양한 회귀 분석 기법의 조합으로 오차를 교정할 수 있고, 예를 들면, 선형 회귀 분석(Linear Regression Analysis)을 통해 추정된 뇌 신호에서 발생한 오차를 커널 리지 회귀 분석(Kernel Ridge Regression)으로 오차를 줄일 수 있다.
전극간 관계 모델은 적용하는 회귀 분석 기법에 따라 다양하게 생성될 수 있다. 전극들 간의 관계 모델은 예를 들어 선형 회귀 분석, 리지 회귀 분석, 커널 리지 회귀 분석, 앙상블 회귀 분석(Ensemble Regression Analysis) 등으로 생성될 수 있다. 전극간 관계 모델의 변수 개수는 회귀 모델에 따라 달라지며, 예를 들어 리지 회귀 분석으로 생성되는 관계 모델은 리지 크기가 변수가 되고, 커널 리지 분석으로 생성되는 관계 모델은 리지 크기 및 커널 크기 등이 변수가 될 수 있다.
회귀 분석에 따른 전극간 관계 모델은 표 1과 같이 정의될 수 있다. 표 1에서, x는 헤드 마운트 디스플레이(100)에서 측정된 뇌 신호이고, y는 추가 전극 장치(200)에서 측정된 뇌 신호이다.
Figure 112018049966142-pat00003
는 리지의 크기를 나타내는 변수이다. k는 커널을 의미하고, 커널은 선형(Linear) 커널, 다항(Polynomial) 커널, 가우시안 커널 등이 선택적으로 사용될 수 있다. m은 앙상블에 사용된 모델의 개수이며, 3개의 모델뿐만 아니라 다양한 모델의 조합으로 형성될 수 있다.
회귀 분석 기법 전극간 관계 모델
선형 회귀 분석
Figure 112018049966142-pat00004
리지 회귀 분석
Figure 112018049966142-pat00005
커널 리지 회귀 분석
Figure 112018049966142-pat00006
Figure 112018049966142-pat00007
앙상블 회귀 분석
Figure 112018049966142-pat00008
제어기(300)는 측정 방법을 선택하고 측정한 데이터를 가공하여 다양한 차원의 학습 데이터를 생성할 수 있다. 예를 들어, 제어기(300)는 특정 뇌-컴퓨터 인터페이스 패러다임에서, 일정 시간 동안 측정을 반복적으로 시도하여 해당 패러다임에서의 뇌 신호들을 획득할 수 있다. 반복적 측정 시도에 따라 획득된 뇌 신호는 표 2의 종류1과 같은 데이터 차원(데이터 수)으로 저장될 수 있다. 연속적인 시간에 따라 획득된 뇌 신호는 표 2의 종류2와 같고, 이 경우의 데이터 차원은 전극 수와 같다. 반복적 시도에 따라 획득된 뇌 신호는 표 2의 종류3과 같이 시도 시간을 통합한 데이터로 변형되어 저장될 수 있다.
종류 헤드 마운트 디스플레이의 뇌 신호들
(Ncx: 전극 수)		 추가 전극 장치의 뇌 신호들
(Ncy: 전극 수)
1
Figure 112018049966142-pat00009

Ttrial: 단일 시도(trial)의 시간
Ntrial: 시도 수
Figure 112018049966142-pat00010

Ttrial: 단일 시도의 시간
Ntrial: 시도 수
2
Figure 112018049966142-pat00011

T: 시간
Figure 112018049966142-pat00012

T: 시간
3
Figure 112018049966142-pat00013

Ttrial x nt: 전체 시도 시간
Figure 112018049966142-pat00014

Ttrial x nt: 전체 시도 시간
한편, 제어기(300)는 각 전극에서 과거(과거 주기)에 측정된 일정 수의 뇌 신호들(샘플)을 축적하여 학습 데이터를 생성할 수 있다. 제어기(300)는 시간 지연된 샘플들을 이용하여 특정 시점(t)(현재 주기)에서의 뇌 신호 특징을 변환할 수 있다.
특정 시점(t)에서 시간 지연 샘플들로 변환된 뇌 신호의 특징 벡터[x'(t)]는 수학식 1과 같은 벡터로 표현될 수 있고, 시간 지연 샘플들로 변환된 뇌 신호는 수학식 2와 같은 데이터 차원으로 저장될 수 있다. 수학식 1에서, ch는 해당 전극 채널이고, k은 시간 지연된 샘플 수이다. 수학식 2에서,
Figure 112018049966142-pat00015
는 전극 수와 시간 지연된 샘플 수의 곱이고,
Figure 112018049966142-pat00016
는 전체 시도 시간이다.
Figure 112018049966142-pat00017
Figure 112018049966142-pat00018
전극마다 시간 지연된 샘플들을 축적하고 이를 특정 시점(t)에서의 전극간 관계 학습에 사용하므로, 특정 시간에서 사용하는 뇌 신호의 수(차원)가 늘어나는 효과가 있다. 즉, 특정 시점(t)에서의 전극간 관계를 나타내는 학습 데이터를 생성할 때, 특정 시점(t)에서 측정한 뇌 신호들만을 사용하는 것이 아니라, 과거에 측정한 뇌 신호들도 특정 시점(t)에서의 전극간 관계를 나타내는 학습 데이터에 포함시킨다. 예를 들어, 헤드 마운트 디스플레이의 3개 전극에서 측정된 뇌 신호에 대해서 10개의 시간 지연된 샘플을 이용하면, 특정 시점의 뇌 신호를 추정하기 위해 30개의 특징값을 이용하게 된다. 표 3부터 표 5를 비교하면, 샘플 지연 방법은 관계 모델의 정확도를 높일 수 있음을 알 수 있다.
표 3은 10초의 학습 데이터에 대해 샘플 지연이 없을 경우의 측정한 뇌 신호와 추정한 뇌 신호
Figure 112018049966142-pat00019
의 상관 계수이다. 표 4는 10초의 학습 데이터에 대해 15개의 샘플 지연을 적용한 경우의 두 뇌 신호
Figure 112018049966142-pat00020
의 상관 계수이다. 표 5는 25초의 학습 데이터에 대해 15개의 샘플 지연을 적용한 경우의 두 신호
Figure 112018049966142-pat00021
의 상관 계수이다. 표 3부터 표 5를 비교하면, 시간 지연된 샘플들을 이용하여 학습한 경우, 관계 모델의 정확도를 평가하는 지표인 상관 계수가 증가하는 것을 보이고, 학습 데이터를 증가시킬 때에도 상관 계수가 증가되는 것을 확인할 수 있다.
Figure 112018049966142-pat00022
Figure 112018049966142-pat00023
Figure 112018049966142-pat00024
한편, 학습 데이터가 많을수록 높은 분류 성능을 제공할 수 있는 딥러닝의 특성에 따라, 각 학습 데이터를 데이터 증강(Data Augmentation)할 수 있다. 예를 들어, 데이터 증강 방법은 뇌 신호의 주파수 정보를 활용하는 정상 상태 시각/시각/촉각 유발 전위에 활용 가능하다. 예를 들어, 단일 시도의 시간에 수집된 뇌 신호에 작은 크기의 윈도우를 적용하여, 시간 축에서 한 샘플씩 이동해가며 주파수 특징을 추출하고, 이를 학습 데이터로 이용할 수 있다.
도 8은 한 실시예에 따른 제어기의 사용자 의도 인식을 위한 분류 모델 학습 방법의 흐름도이다.
도 8을 참고하면, 제어기(300)는 뇌-컴퓨터 인터페이스 패러다임에 대해서 일정 시간 동안 측정한 뇌 신호들을 이용하여 분류 모델 학습을 위한 학습 데이터를 생성한다(S210). 제어기(300)는 전극간 관계 모델의 학습을 위해 측정한 뇌 신호들을 이용하여 분류 모델 학습을 위한 학습 데이터를 생성할 수 있다. 한편, 제어기(300)는 측정된 뇌 신호들과 전극간 관계 모델로 추정된 뇌 신호들도 분류 모델 학습을 위한 학습 데이터로 이용할 수 있다. 학습 데이터는 헤드 마운트 디스플레이(100)의 뇌 신호(x)와 추가 전극 장치(200)의 뇌 신호(y)를 조합한 뇌 신호(EEGcombination)일 수 있다. EEGcombination은 전극간 관계 모델 학습에 사용된 표 2의 특징 벡터와 같이 시도 시간, 시도 횟수 등에 따라 다양하게 가공될 수 있다.
제어기(300)는 뇌-컴퓨터 인터페이스 패러다임별 학습 데이터를 기초로 사용자 의도 인식을 위한 분류 모델을 생성한다(S220). 이때, 제어기(300)는 공통 공간 패턴(Common Spatial Pattern), 선형판별분석법(Linear Discriminant Analysis), 서포트벡터머신(Support Vector Machine), 정준상관분석(Canonical Correlation Analysis), 푸리에 변환(Fourier transform), 딥러닝(Deep Learning) 등의 다양한 패턴 인식 및 기계학습 기법을 이용하여 분류 모델을 생성할 수 있다. 분류 모델은 전극간 관계모델 학습과 유사하게, 학습, 검증, 평가를 거쳐 생성될 수 있다.
분류 모델은 뇌-컴퓨터 인터페이스 패러다임에 따라 다르게 생성된다.
동작 상상(Motor Imagery) 패러다임에서 측정된 뇌 신호인 경우, 서로 다른 두 클래스 간 분산 차이를 극대화하는 공간 필터(즉, 한 클래스에 대해서 분산을 최대화하고 동시에 다른 클래스의 분산을 최소화)를 설계하는 공통 공간 패턴(Common Spatial Pattern) 방법을 이용할 수 있다. 필터를 통해 변환된 뇌 신호의 분산을 계산하고 정규화하여 이를 사용자 의도 분류를 위한 특징 벡터로 사용한다. 이때, 선형 판별 분석법(Linear Discriminant Analysis), 서포트 벡터 머신(Support Vector Machine), 딥러닝(Deep Learning) 등의 분류기가 사용될 수 있다.
정상 상태 시각/청각/촉각 유발 전위에서 측정된 뇌 신호인 경우, 주파수 특징을 고려할 수 있는 정준 상관 분석 기법(Canonical Correlation Analysis), 푸리에 변환(Fourier Transform) 등이 사용될 수 있다. 정준 상관 분석 기법을 진행할 경우 시각/청각/촉각 자극과 같은 주파수를 갖는 참조 신호들(Reference Signals)을 생성한다. 그리고 정준 상관 분석 기법을 통해 참조 신호들과 단일 시도(Trial) 뇌 신호 간 상관 관계를 최대화하는 가중치 벡터를 구하고, 각각의 참조 신호와의 상관 관계를 이용하여 사용자 의도를 분류한다. 최대값 비교, 최대 근접 이웃 (k-nearest neighbor), 서포트 벡터 머신(Support Vector Machine), 딥러닝(Deep Learning) 등의 분류기가 사용될 수 있다.
사건 유발 전위에서 측정된 뇌 신호인 경우, 사건(이벤트 또는 자극)이 주어진 후, 특정 시간(수백 ms) 후에 발생하는 뇌 신호의 크기 변화를 이용하여 사용자 의도를 분류한다. 먼저 선형 판별 분석법(Linear Discriminant Analysis), 주성분 분석법(Principal Component Analysis), 독립 성분 분석법(Independent Component Analysis)을 통해, 뇌 신호로부터 사건 유발 전위와 관련된 뇌 신호 특징을 추출한다. 선형 판별 분석법, 서포트 벡터 머신, 딥러닝 등의 분류기가 사용될 수 있다.
도 9는 한 실시예에 따른 제어기의 뇌 신호 추정 방법의 흐름도이다.
도 9를 참고하면, 제어기(300)는 학습된 전극간 관계 모델과 학습된 사용자의도 분류 모델을 저장한다(S310).
사용자가 추가 전극 장치(200)가 분리된 헤드 마운트 디스플레이(100)를 착용한 상태에서, 제어기(300)는 헤드 마운트 디스플레이(100)에서 측정된 뇌 신호들(x*)을 획득한다(S320). 제어기(300)는 학습 시 수행한 전처리와 동일하게 측정된 뇌 신호들을 전처리한다.
제어기(300)는 학습된 전극간 관계 모델의 입력 벡터에 대응하도록 측정된 뇌 신호들의 특징 벡터를 생성한다(S330). 즉, 제어기(300)는 전극간 관계 모델의 학습에서 사용한 데이터 차원 및 데이터 형식에 맞게, 뇌 신호들을 측정하고 가공한다. 예를 들어, 수학식 1과 같이, 전극마다 시간 지연된 샘플들을 축적하고 이를 특정 시점(t)에서의 특징 벡터로 생성할 수 있다.
제어기(300)는 학습된 전극간 관계 모델을 기초로, 측정된 뇌 신호들의 특징 벡터로부터 미측정된 지점들의 뇌 신호들을 추정한다(S340). 미측정된 지점은 추가 전극 장치(200)의 전극 위치에 해당한다.
제어기(300)는 측정된 뇌 신호들(x*)과 추정한 뇌 신호들
Figure 112018049966142-pat00025
의 조합 신호(EEGcombination)를 생성한다(S350). 이때, 조합 신호는 수학식 3과 같이, 헤드 마운트 디스플레이 전극들과 추정된 추가 전극 장치의 전극들에서 시간(T) 동안 획득된 신호 벡터로서 표현될 수 있다.
Figure 112018049966142-pat00026
제어기(300)는 학습된 사용자 의도 인식을 위한 분류 모델을 기초로, 조합 신호의 특징에 해당하는 사용자 의도를 판단한다(S360). 예를 들면, 동적 상상 전위를 학습한 분류 모델은 뇌 신호 특징으로부터 사용자가 상상한 부위를 분류할 수 있다. 분류 모델은 뇌-컴퓨터 인터페이스 패러다임에 따라 복수의 의도들 중 어느 하나로 분류되도록 학습된다.
이처럼, 사용자 머리에 많은 수의 전극을 부착하지 않아도 헤드 마운트 디스플레이를 착용하는 것만으로도 향상된 사용자 의도 인식 및 그에 따른 가상/증강 현실을 편리하게 제공할 수 있다.
도 10은 뇌-컴퓨터 인터페이스 패러다임 중 동작 상상을 위한 학습 인터페이스 화면의 예시이고, 도 11과 도 12는 동작 상상에 따른 화면 제어의 예시이다.
도 10을 참고하면, 제어기(300)는 뇌-컴퓨터 인터페이스 패러다임 중 동작 상상 학습을 위해, 추가 전극 장치(200)가 결합된 헤드 마운트 디스플레이(100)를 착용한 사용자에게, 오른손, 왼손, 발, 혀 등의 특정 신체 부위를 통한 움직임을 상상하도록 하는 화면을 제시한다. 예를 들어, 제어기(300)는 사용자 중심의 1인칭 시점으로 제공되는 화면에서 오른손, 왼손을 각각 움켜쥐고 피는 동작을 반복하는 장면, 발가락을 까닥 까닥하는 장면, 또는 혀를 움직이는 장면을 보여주면서 뇌 신호를 유도할 수 있다. 이외에도, 제어기(300)는 상/하/좌/우 화살표 또는 임의의 형태의 도형을 보여주면서 신체 움직임을 상상을 유도할 수도 있으며, 사용하려는 동작 상상의 신체 부위를 바꾸어가며 반복할 수 있다.
뇌-컴퓨터 인터페이스 패러다임이 동작 상상으로 선택된 경우, 도 4의 (a)는 오른손 동작 상상 뇌 신호를 유도하기 위한 학습 단계에서 제시되는 영상의 예이고, 도 4의 (b)는 오른손 동작 상상 뇌 신호를 유도하기 위한 학습 단계에서 제시되는 영상의 예이다.
제어기(300)는 동작 상상에 의해 유발되는 뇌 신호들을 통해 학습한 전극간 관계 모델과 분류 모델을 기초로, 사용자에게 제시되는 가상 현실 화면/증강 현실 화면에서 특정 부위의 움직임을 인식할 수 있다. 본 발명에 따르면 사용자는 동작 상상을 이용하여 3차원 공간 이동을 할 수 있다.
예를 들어, 도 11의 (a)와 같이, 헤드 마운트 디스플레이(100)가 사용자에게왼쪽 화면과 오른쪽 화면을 제공하면, 사용자가 도 11의 (b)와 같은 화면을 헤드 마운트 디스플레이(100)를 통해 인식한다. 이때, 제어기(300)는 발의 움직임은 직진, 오른손 움직임은 우회전, 왼손 움직임은 좌회전, 혀의 움직임은 후진과 매핑하고, 사용자에게 제시되는 가상 현실 화면/증강 현실 화면에서 사용자의 뇌 신호로부터 동작 상상 부위를 인식하고, 인식한 부위에 매핑된 화면 제어를 할 수 있다. 그리고 제어기(300)는 사용자가 동작 상상하지 않을 때는 화면 움직임을 정지할 수 있다.
도 12를 참고하면, 제어기(300)는 특정 신체 움직임 상상을 검출하면 인터페이스 화면에서 특정 신체 움직임에 대응된 방향 표시 화살표의 색/모양/크기를 변경할 수 있다.
제어기(300)는 동작 상상을 이용하여 검출된 사용자 의도의 지속 시간이나 강도를 피드백할 수 있다. 예를 들어, 제어기(300)는 전진에 매핑된 발 동작 상상이 지속되거나 강도가 강해질 때, 전진 방향의 화살표 /모양/크기를 변경할 수 있다. 이를 통해, 제어기(300)는 사용자에게 올바른 동작 상상이 발현되는지에 대한 피드백을 제공할 수 있어서, 편리하고 정확한 인터페이스를 제공할 수 있다.
도 13은 뇌-컴퓨터 인터페이스 패러다임 중 정상 상태 시각 유발 전위를 위한 학습 인터페이스 화면의 예시이다.
도 13을 참고하면, 제어기(300)는 정상 상태 시각 유발 전위 학습을 위해, 추가 전극 장치(200)가 결합된 헤드 마운트 디스플레이(100)를 착용한 사용자에게, 적어도 한 개 이상의 시각 자극을 포함하는 화면을 제시한다. 예를 들어, 시각 자극은 자극이 제시되는 동안 특정 주파수로 점멸될 수 있고, 도형, 글자, 물체 형상 등을 포함할 수 있다.
제어기(300)는 정상 상태 시각 유발 전위에 의해 유발되는 뇌 신호들을 통해 학습한 전극간 관계 모델과 분류 모델을 기초로, 사용자에게 제시되는 가상 현실 화면/증강 현실 화면에서 시각 자극 패턴이 할당된 객체들을 인식할 수 있다. 이를 위해, 가상 환경 및 증강 현실 영상은 특정 객체 대응하는 시각 자극 패턴을 할당하여 시각 자극으로 유발된 뇌 신호들을 측정할 수 있도록 제작된다. 이때 시각 자극의 형태는 특정 객체뿐만 아니라 도형, 글자 등의 다양한 형태가 가능하며, 이를 통해 다양한 사용자 의도를 검출할 수 있다.
도 13의 (a)를 참고하면, 뇌-컴퓨터 인터페이스 패러다임이 정상 상태 시각 유발 전위로 선택된 경우, 헤드 마운트 디스플레이(100)가 사용자에게 왼쪽 화면과 오른쪽 화면을 제공하되, 좌/우 화면에서 특정 객체의 시각 자극 주파수를 상이하게 제공할 수 있다. 예를 들어, 제1 객체에 대한 시각 자극이 왼쪽 눈으로 F1Hz가 제공되고 오른쪽 눈으로 F3Hz가 제공될 수 있다. 또한 제2 객체에 대한 시각 자극이 왼쪽 눈으로 F2Hz가 제공되고 오른쪽 눈으로 F4Hz가 제공될 수 있다.
사용자는 도 13의 (b)와 같은 화면을 헤드 마운트 디스플레이 장치를 통해 인식한다. 이때, 사용자는 두 가지 주파수 성분을 인식하여 사용자 의도 인식 성능을 높일 수 있다. 즉, 사용자는 제1 객체를 F1Hz과 F3Hz의 결합으로 인식하고, 제2 객체를 F2Hz과 F4Hz의 결합으로 인식할 수 있다.
도 14는 뇌-컴퓨터 인터페이스 패러다임 중 사건 관련 전위를 위한 학습 인터페이스 화면의 예시이고, 도 15는 사건 관련 전위 기반의 시각 자극을 이용한 문자 입력 인터페이스의 예시이다.
도 14를 참고하면, 제어기(300)는 사건 관련 전위 학습을 위해, 추가 전극 장치(200)가 결합된 헤드 마운트 디스플레이(100)를 착용한 사용자에게, 적어도 한 개 이상의 시각 자극을 포함하는 화면을 제시한다. 예를 들어, 한 개 이상의 시각 자극이 제시될 수 있으며, 시각 자극은 사용자가 예측하지 못하는 순서로 번갈아 가면서 제시될 수 있다. 시각 자극은 도형, 글자, 사진, 얼굴, 소리 등을 포함할 수 있다. 사건 관련 전위는 3차원 공간에 다양한 자극이 제시되어야 할 때 편리하게 사용될 수 있다.
제어기(300)는 사건 관련 전위에 의해 유발되는 뇌 신호들을 통해 학습한 전극간 관계 모델과 분류 모델을 기초로, 사용자에게 제시되는 가상 현실 화면/증강 현실 화면에서 시각 자극을 통해 사용자가 선택한 객체들을 인식할 수 있다. 이를 위해, 가상 환경 및 증강 현실 영상은 특정 객체 대응하는 시각 자극 패턴을 할당하여 시각 자극으로 유발된 뇌 신호들을 측정할 수 있도록 제작된다.
도 14의 (a)를 참고하면, 뇌-컴퓨터 인터페이스 패러다임이 사건 관련 전위로 선택된 경우, 헤드 마운트 디스플레이(100)가 3차원 공간에 존재하는 객체를 대상으로 사건 관련 전위를 이용한 시각 자극을 제공한다. 사용자는 도 14의 (b)와 같은 화면을 헤드 마운트 디스플레이를 통해 인식한다.
사건 관련 전위를 이용한 시각 자극을 제공하는 방법은 다양할 수 있는데, 예를 들어, 다른 거리에 있는 객체들을 서로 번갈아 점멸하고, 깜빡임의 반복은 사용자가 예측 불가능한 시점이나 예측 불가능한 순서로 제공된다.
제어기(300)는 인터페이스 화면에서 사용자가 원하는 객체를 응시할 때 유발되는 뇌 신호를 학습하고, 학습된 분류 모델을 기초로 사용자 의도를 인식한다.
도 15를 참고하면, 제어기(300)는 사건 관련 전위를 유발하는 입력 인터페이스를 이용하여 글자 입력 기능을 제공할 수 있다. 도 15의 (a)와 같이 헤드 마운트 디스플레이(100)가 사용자에게 입력 인터페이스를 제공하면, 사용자는 도 15의 (b)와 같이 인식한다. 예를 들면, 입력 인터페이스는 문자들이 번갈아가며 점멸되는 QWERTY 형태의 키보드일 수 있다.
도 16은 뇌-컴퓨터 인터페이스 패러다임 중 정상 상태 청각 유발 전위를 위한 학습 인터페이스 화면의 예시이다.
도 16을 참고하면, 제어기(300)는 정상 상태 청각 유발 전위 학습을 위해, 추가 전극 장치(200)가 결합된 헤드 마운트 디스플레이(100)를 착용한 사용자에게, 적어도 한 개 이상의 청각 자극을 포함하는 화면을 제시한다. 예를 들어, 한 개 이상의 청각 자극이 제시될 수 있으며, 청각 자극은 사용자가 예측하지 못하는 순서로 번갈아 가면서 제시될 수 있다. 청각 자극은 단일 주파수 또는 복수의 주파수 조합으로 구성될 수 있다. 청각 자극은 헤드 마운트 디스플레이(100)에 포함된 스피커 또는 이어폰을 통해 제공될 수 있다.
제어기(300)는 정상 상태 청각 유발 전위에 의해 유발되는 뇌 신호들을 통해 학습한 전극간 관계 모델과 분류 모델을 기초로, 사용자에게 제시되는 가상 현실 화면/증강 현실 화면에서 사용자 의도를 인식할 수 있다.
청각 자극 제시 방법은 다양할 수 있는데, 예를 들어, 사용자를 기준으로 왼쪽과 오른쪽에서 각각 발생하는 것처럼 들리는 청각 자극을 제공할 수 있다. 이때, 왼쪽에서 발생하는 것처럼 느껴지는 소리는 시간 지연없이 제공하고 오른쪽에서 발생하는 것처럼 느껴지는 소리는 왼쪽에 비해 일정 시간 지연시켜 제공할 수 있으며, 그 반대의 경우도 가능하다.
양쪽에서 들리는 소리는 각각 다른 주파수의 소리로 이루어져 있으며, 사용자가 어느 한쪽의 소리에 집중할 때 발생하는 뇌 신호를 분석하여 사용자의 왼쪽 또는 오른쪽 의도를 검출할 수 있다. 또한 시간 지연뿐만 아니라 소리의 크기를 다르게 제공함으로써 소리 자극의 방향성을 제공할 수도 있다.
추가적으로, 헤드 마운트 디스플레이(100)와 유선/무선으로 연결된 적어도 하나의 진동 자극을 사용자 신체에 부착하고, 제어기(300)는 정상 상태 촉각 유발 전위 학습을 위해, 진동 자극을 통한 자극을 제시할 수도 있다.
이처럼 제어기(300)는, 뇌 신호를 기초로 학습된 사용자 의도 인식을 위한 분류 모델을 이용하여, 사용자에게 제시되는 가상 현실 화면/증강 현실 화면에서 측정 및 추정된 뇌 신호에 해당하는 사용자 의도를 인식할 수 있다. 그리고 제어기(300)는 인식된 사용자 의도에 따라 가상 현실 화면/증강 현실 화면을 제어(이동, 객체 선택, 키보드 입력 등)할 수 있다.
도 17은 한 실시예에 따른 사용자의 안구 움직임에 의한 화면 제어의 예시이고, 도 18은 한 실시예에 따른 사용자의 머리 및 안구 움직임에 화면 제어의 예시이다.
도 17과 도 18을 참고하면, 제어기(300)는 헤드 마운트 디스플레이(100)로부터 측정된 안구 전도 신호를 기초로 사용자의 시선의 움직임에 따른 사용자 의도(예를 들면, 방향 전환, 시선 움직임 방향)를 인식할 수 있다. 즉, 제어기(300)는 안구 전도 신호를 사용자 의도로 인식하여 헤드 마운트 디스플레이를 제어할 수 있다. 제어기(300)는 뇌 신호와 안구 전도 신호로부터 검출한 사용자 의도를 기초로 헤드 마운트 디스플레이를 제어할 수 있다.
이때, 제어기(300)는 뇌 신호를 기초로 학습된 사용자 의도 인식을 위한 분류 모델을 이용하여 사용자 의도를 인식하는 방법과 유사하게, 안구 전도 신호를 기초로 사용자 의도 인식(시선 움직임)을 위한 분류 모델을 학습하고, 학습된 분류 모델을 기초로 사용자 시선 움직임을 검출할 수 있다.
제어기(300)는 안구 전도에 따른 사용자 시선 움직임 검출을 위해 헤드 마운트 디스플레이(100)에 사용자가 응시하기 위한 커서 화면을 제공할 수 있다. 커서의 움직임에 따라 사용자는 눈을 움직이게 되고, 이때 발생되는 안구 전도 신호가 안구 전도 전극들을 통해 획득된다.
커서 화면은 중심으로부터 수평축(x-axis)과 수직축(y-axis)를 형성하고 커서의 위치 변화를 통해 수평 방향과 수직방향에 대한 속도(v)는 수학식 4와 같이 계산될 수 있다.
Figure 112018049966142-pat00027
제어기(300)는 왼쪽 눈 주변에 부착된 전극들(
Figure 112018049966142-pat00028
,
Figure 112018049966142-pat00029
,
Figure 112018049966142-pat00030
,
Figure 112018049966142-pat00031
)과 오른쪽 눈 주변에 부착된 전극들(
Figure 112018049966142-pat00032
,
Figure 112018049966142-pat00033
,
Figure 112018049966142-pat00034
,
Figure 112018049966142-pat00035
)을 이용하여 수직(
Figure 112018049966142-pat00036
,
Figure 112018049966142-pat00037
) 성분과 수평(
Figure 112018049966142-pat00038
,
Figure 112018049966142-pat00039
) 성분을 추출한다. 왼쪽 눈에서 측정된 수직 성분과 수평 성분은 수학식 5와 같이 표현될 수 있다.
Figure 112018049966142-pat00040
제어기(300)는 커서의 속도와 안구 전도의 관계 모델을 구축하기 위해 회귀 모델의 종속 변수(즉, 커서의 속도)와 독립 변수(즉, 안구 전도)를 수학식 6과 같이 생성할 수 있다.
Figure 112018049966142-pat00041
제어기(300)는 뇌 신호 처리 시의 학습 방법과 유사하게, 다양한 회귀 분석 기법을 적용하여 관계 모델을 생성하고, 관계 모델을 기초로 사용자가 눈을 움직일 때 발생하는 안구 전도 신호로부터 시선 움직임을 검출할 수 있다. 이에 따라, 제어기(300)는 사용자의 시선 움직임 따라 시점 변화된 화면을 출력함으로써, 자연스러운 화면 제공이 가능하다.
도 17의 (a)를 참고하면, 사용자가 헤드 마운트 디스플레이(100)를 착용한 상태에서 상하 방향으로 안구를 움직인다. 그러면, 제어기(300)는 도 17의 (b)와 같이 카메라의 렌즈 각도를 제어하여 촬영한다. 이를 통해 제어기(300)는 도 17의 (c)와 같이 사용자가 바라본 시야에 매칭된 촬영 화면을 제공할 수 있다.
가상 현실 영상의 경우에도, 제어기(300)는 사용자가 위/아래/좌/우/원거리/근거리를 볼 때 발생하는 안구 전도 신호를 분석하여 가상 현실 영상 내에서 대응되는 시점으로 화면 이동한다.
도 18을 참조하면, 사용자가 헤드 마운트 디스플레이(100)를 착용한 상태에서 눈과 머리를 함께 움직일 수 있다. 머리 움직임은 자이로센서 등으로 측정될 수 있다.
도 18의 (b)를 현재 사용자의 응시 화면이라고 가정하면, 제어기(300)는 도 18의 (a)와 같이 사용자의 머리와 눈이 움직이면, (a-1) 내지 (a-3)과 같은 화면 변화를 제공한다. 제어기(300)는 도 18의 (c)와 같이 사용자의 머리와 눈이 움직이면, (c-1) 내지 (c-3)과 같은 화면 변화를 제공한다.
이와 같이, 제어기(300)는 뇌-컴퓨터 인터페이스 패러다임에 따라 유발된 뇌 신호를 학습하여 사용자 의도 분류 모델을 생성하고, 또한 헤드 마운트 디스플레이(100)와 추가 전극 장치(200)의 전극간 관계 모델을 생성할 수 있다. 이를 통해 사용자는 헤드 마운트 디스플레이(100)만을 착용하더라도 가상 현실 영상/증강 현실 영상을 제어에서 요구되는 뇌 신호들을 획득할 수 있다.
또한, 제어기(300)는 안구 전도 신호를 학습하여 시선 움직임(시야 방향 변화)을 검출할 수 있다. 이를 통해 사용자는 헤드 마운트 디스플레이(100)만을 착용한 상태에서 눈을 움직여 가상 현실 영상/증강 현실 영상의 시점을 제어할 수 있다.
이때, 헤드 마운트 디스플레이(100)의 뇌 전도 전극을 통한 뇌 신호 측정 및 안구 전도 전극을 통한 안구 전도 신호 측정은 병렬적으로 진행되어, 헤드 마운트 디스플레이 제어에 복합적으로 적용될 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다. 또한, 설명한 방법은 컴퓨터에 의해 판독 가능한 명령어를 포함하는 기록 매체로 구현될 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (17)

  1. 제어기가, 뇌 전도 전극들이 부착된 헤드 마운트 디스플레이를 착용한 사용자의 의도를 인식하는 방법으로서,
    뇌 신호들을 유발하는 학습 화면을 상기 헤드 마운트 디스플레이에 표시한 상태에서, 상기 헤드 마운트 디스플레이 및 상기 헤드 마운트 디스플레이에 결합된 추가 전극 장치 각각에서 측정된 학습용 뇌 신호들을 획득하는 단계,
    상기 학습용 뇌 신호들로부터 상기 헤드 마운트 디스플레이의 전극들과 상기 추가 전극 장치의 전극들의 관계 모델을 학습하는 단계,
    특정 화면을 상기 헤드 마운트 디스플레이에 표시한 상태에서, 상기 추가 전극 장치가 분리된 상기 헤드 마운트 디스플레이에서 측정된 뇌 신호들을 획득하는 단계,
    상기 관계 모델을 기초로 상기 헤드 마운트 디스플레이에서 측정된 뇌 신호들로부터 미측정된 상기 추가 전극 장치의 뇌 신호들을 추정하는 단계, 그리고
    상기 측정된 뇌 신호들과 추정한 뇌 신호들에 해당하는 사용자 의도를 검출하는 단계를 포함하는 사용자 의도 인식 방법.
  2. 제1항에서,
    상기 학습용 뇌 신호들로부터 사용자 의도 분류 모델을 학습하는 단계를 더 포함하고,
    상기 사용자 의도를 검출하는 단계는
    학습된 상기 사용자 의도 분류 모델을 기초로 상기 측정된 뇌 신호들과 상기 추정한 뇌 신호들을 조합한 신호에 해당하는 사용자 의도를 검출하는, 사용자 의도 인식 방법.
  3. 제1항에서,
    상기 학습 화면은 특정 뇌-컴퓨터 인터페이스 패러다임에 해당하는 뇌 신호들을 유발하기 위해 제작된 인터페이스 화면인, 사용자 의도 인식 방법.
  4. 제3항에서,
    상기 뇌-컴퓨터 인터페이스 패러다임은
    동작 상상(Motor Imagery) 전위, 정상 상태 시각/청각/촉각 유발 전위(Steady-State Visual/Auditory/Somatosensory Evoked Potential), 그리고 사건 관련 전위(Event Related Potential) 중 적어도 하나인, 사용자 의도 인식 방법.
  5. 제3항에서,
    상기 학습 화면이 동작 상상에 해당하는 뇌 신호들을 유발하는 인터페이스 화면인 경우,
    상기 학습용 뇌 신호들은 상기 학습 화면에서 지정한 신체 부위를 움직이는 상상으로 유발된 신호인, 사용자 의도 인식 방법.
  6. 제3항에서,
    상기 학습 화면이 사건 관련 전위에 해당하는 뇌 신호들을 유발하는 인터페이스 화면인 경우, 상기 학습 화면은 양쪽 눈에 각각 대응하는 좌측 화면 및 우측 화면을 분리 제공하고, 상기 좌측 화면과 상기 우측 화면에서 동일 객체를 서로 다른 주파수로 점멸하는 시각 자극을 제공하고,
    상기 학습용 뇌 신호들은 상기 학습 화면에 포함된 시각 자극으로 유발된 신호인, 사용자 의도 인식 방법.
  7. 제3항에서,
    상기 학습 화면이 정상 상태 시각 유발 전위에 해당하는 뇌 신호들을 유발하는 인터페이스 화면인 경우, 상기 학습 화면은 선택 가능한 복수의 객체들을 서로 다른 시각 자극으로 제공하고,
    상기 학습용 뇌 신호들은 상기 학습 화면에서 복수의 객체들 중 특정 객체를 응시할 때 유발된 신호인, 사용자 의도 인식 방법.
  8. 제1항에서,
    상기 관계 모델을 학습하는 단계는
    전극별로 현재 주기에서 측정된 뇌 신호에 과거 주기들에서 측정된 일정 수의 뇌 신호들을 포함하여 뇌 신호 특징 벡터를 생성하고, 상기 뇌 신호 특징 벡터를 이용하여 상기 관계 모델을 학습하는, 사용자 의도 인식 방법.
  9. 제1항에서,
    검출한 사용자 의도를 기초로 상기 특정 화면을 제어하는 단계를 더 포함하는, 사용자 의도 인식 방법.
  10. 제9항에서,
    상기 특정 화면을 제어하는 단계는
    상기 헤드 마운트 디스플레이에 부착된 안구 전도 전극들로부터 획득된 안구 전도 신호들을 기초로 시선 움직임을 검출하고, 검출한 시선 움직임에 따라 상기 특정 화면의 시점을 변경하며, 상기 측정된 뇌 신호들과 추정한 뇌 신호들로 검출한 사용자 의도에 따라 상기 특정 화면을 제어하는, 사용자 의도 인식 방법.
  11. 제10항에서,
    상기 특정 화면을 제어하는 단계 이전에,
    커서 화면에 시선이 따라 움직이는 커서를 표시한 상태에서, 상기 안구 전도 전극들로부터 획득된 학습용 안구 전도 신호들과 커서 속도의 관계 모델을 학습하는 단계를 더 포함하고,
    상기 특정 화면을 제어하는 단계는
    상기 안구 전도 신호들과 커서 속도의 관계 모델을 기초로, 상기 획득된 안구 전도 신호들에 해당하는 시선 움직임을 검출하는, 사용자 의도 인식 방법.
  12. 뇌-컴퓨터 인터페이스 장치로서,
    제1 채널 그룹의 뇌 전도 전극들이 부착된 헤드 마운트 디스플레이,
    상기 헤드 마운트 디스플레이에 탈착되고, 제2 채널 그룹의 뇌 전도 전극들이 부착된 추가 전극 장치, 그리고
    상기 제1 채널 그룹의 뇌 전도 전극들과 상기 제2 채널 그룹의 뇌 전도 전극들에서 획득되는 뇌 신호들의 관계 모델을 저장하고, 상기 관계 모델을 기초로 상기 추가 전극 장치가 분리된 상기 헤드 마운트 디스플레이를 제어하는 제어기를 포함하고,
    상기 제어기는
    특정 화면을 상기 헤드 마운트 디스플레이에 표시한 상태에서 상기 제1 채널 그룹에서 측정된 뇌 신호들이 입력되면, 상기 관계 모델을 기초로 상기 제2 채널 그룹의 뇌 전도 전극들의 뇌 신호들을 추정하고, 상기 제1 채널 그룹에서 측정된 뇌 신호들과 상기 제2 채널 그룹에서 추정된 뇌 신호들을 이용하여 사용자 의도를 검출하며, 검출한 사용자 의도를 기초로 상기 특정 화면을 제어하는, 뇌-컴퓨터 인터페이스 장치.
  13. 제12항에서,
    상기 제어기는
    상기 추가 전극 장치가 상기 헤드 마운트 디스플레이에 결합된 학습 모드에서, 뇌 신호들을 유발하는 학습 화면을 상기 헤드 마운트 디스플레이에 표시하고, 상기 제1 채널 그룹과 상기 제2 채널 그룹에서 측정된 학습용 뇌 신호들을 획득하며, 상기 학습용 뇌 신호들을 이용하여 상기 관계 모델을 학습시킨 후, 학습된 상기 관계 모델을 저장하는, 뇌-컴퓨터 인터페이스 장치.
  14. 제13항에서,
    상기 학습 화면은 특정 뇌-컴퓨터 인터페이스 패러다임에 해당하는 뇌 신호들을 유발하기 위해 제작된 인터페이스 화면이고,
    상기 뇌-컴퓨터 인터페이스 패러다임은
    동작 상상(Motor Imagery) 전위, 정상 상태 시각/청각/촉각 유발 전위(Steady-State Visual/Auditory/Somatosensory Evoked Potential), 그리고 사건 관련 전위(Event Related Potential) 중 적어도 하나인, 뇌-컴퓨터 인터페이스 장치.
  15. 제13항에서,
    상기 제어기는
    상기 학습용 뇌 신호들을 회귀 분석하여 상기 관계 모델을 학습시키는, 뇌-컴퓨터 인터페이스 장치.
  16. 제12항에서,
    상기 제어기는
    학습된 사용자 의도 분류 모델을 기초로, 상기 제1 채널 그룹에서 측정된 뇌 신호들과 상기 제2 채널 그룹에서 추정된 뇌 신호들을 조합한 신호의 특징에 해당하는 상기 사용자 의도를 검출하고,
    상기 사용자 의도 분류 모델은 상기 제1 채널 그룹과 상기 제2 채널 그룹에서 획득된 뇌 신호들의 특징을 기초로 특정 뇌-컴퓨터 인터페이스 패러다임에서 지정한 복수의 의도들 중 어느 하나로 분류하도록 학습된 모델인, 뇌-컴퓨터 인터페이스 장치.
  17. 뇌-컴퓨터 인터페이스 장치로서,
    내측면의 적어도 일부가 사용자의 안면에 접하도록 착용되고, 적어도 하나의 프로세서, 메모리 그리고 디스플레이를 포함하는 본체, 그리고 상기 본체와 연결되며 상기 본체가 사용자의 안면에 착용된 상태로 고정되도록 지지하는 고정부를 포함하는 헤드 마운트 디스플레이, 그리고
    상기 헤드 마운트 디스플레이에 결합되거나 분리되고, 사용자의 두피에 접하는 내 측면에 뇌 전도 전극들이 부착된 추가 전극 장치를 포함하고,
    상기 헤드 마운트 디스플레이는,
    상기 고정부의 내측면에 사용자의 머리 둘레를 따라 임의의 간격으로 배치된 복수의 뇌 전도 전극들,
    상기 본체의 내측면에 사용자의 안구가 접하는 위치로부터 복수의 방향으로 임의의 간격으로 배치된 복수의 안구 전도 전극들,
    상기 본체에 사용자의 안면의 일부가 접하는 영역에 배치되는 레퍼런스 전극, 그리고
    상기 본체와 상기 고정부 중 적어도 하나에 배치되어, 상기 추가 전극 장치와 결합하거나 분리되는 체결부를 더 포함하며,
    상기 프로세서는
    상기 추가 전극 장치가 상기 헤드 마운트 디스플레이에 결합된 상태에서, 상기 추가 전극 장치의 뇌 전도 전극들과 상기 헤드 마운트 디스플레이에 배치된 상기 복수의 뇌 전도 전극들에서 획득되는 뇌 신호들의 관계 모델을 저장하고,
    상기 추가 전극 장치가 상기 헤드 마운트 디스플레이에 분리된 상태에서, 상기 관계 모델을 이용하여 상기 헤드 마운트 디스플레이에 배치된 상기 복수의 뇌 전도 전극들에서 획득되는 뇌 신호들로부터 상기 추가 전극 장치의 뇌 전도 전극들의 뇌 신호들을 추정하는, 뇌-컴퓨터 인터페이스 장치.
KR1020180057871A 2017-10-23 2018-05-21 뇌 신호를 추정하여 사용자 의도를 인식하는 방법, 그리고 이를 구현한 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치 KR102029219B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/117,814 US10795441B2 (en) 2017-10-23 2018-08-30 Method of recognizing user intention by estimating brain signals, and brain-computer interface apparatus based on head mounted display implementing the method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170137143 2017-10-23
KR1020170137143 2017-10-23

Publications (2)

Publication Number Publication Date
KR20190045041A KR20190045041A (ko) 2019-05-02
KR102029219B1 true KR102029219B1 (ko) 2019-10-04

Family

ID=66581446

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180057871A KR102029219B1 (ko) 2017-10-23 2018-05-21 뇌 신호를 추정하여 사용자 의도를 인식하는 방법, 그리고 이를 구현한 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치

Country Status (1)

Country Link
KR (1) KR102029219B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102270046B1 (ko) * 2020-02-18 2021-06-25 고려대학교 산학협력단 가상환경을 이용하는 뇌-기계 인터페이스 기반 의도 판단 장치 및 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102386359B1 (ko) * 2020-04-20 2022-04-15 한국과학기술연구원 동작 상상에 따른 뇌파를 이용하는 로봇 제어 시스템 및 제어 방법
KR102396519B1 (ko) * 2020-08-18 2022-05-11 고려대학교 산학협력단 Mri 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법, 이를 수행하기 위한 기록 매체 및 장치
KR102584544B1 (ko) * 2020-12-23 2023-10-04 울산과학기술원 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법 및 장치
CN113434040B (zh) * 2021-06-07 2024-01-05 西北工业大学 基于增强现实诱发的脑机接口技术方法
CN113648541A (zh) * 2021-08-13 2021-11-16 上海大学 一种磁刺激结合脑信号采集同步的一体装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101203921B1 (ko) * 2011-09-21 2012-11-27 유제형 안구 추적과 위치 기반 서비스를 이용한 정보 제공 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020069382A (ko) * 2001-02-26 2002-09-04 학교법인 한양학원 바이오피드백 센서가 부착된 가상 현실 영상 제시 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101203921B1 (ko) * 2011-09-21 2012-11-27 유제형 안구 추적과 위치 기반 서비스를 이용한 정보 제공 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102270046B1 (ko) * 2020-02-18 2021-06-25 고려대학교 산학협력단 가상환경을 이용하는 뇌-기계 인터페이스 기반 의도 판단 장치 및 방법
US11914773B2 (en) 2020-02-18 2024-02-27 Korea University Research And Business Foundation Brain-machine interface based intention determination device and method using virtual environment

Also Published As

Publication number Publication date
KR20190045041A (ko) 2019-05-02

Similar Documents

Publication Publication Date Title
US10795441B2 (en) Method of recognizing user intention by estimating brain signals, and brain-computer interface apparatus based on head mounted display implementing the method
KR102029219B1 (ko) 뇌 신호를 추정하여 사용자 의도를 인식하는 방법, 그리고 이를 구현한 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치
US11366517B2 (en) Human-computer interface using high-speed and accurate tracking of user interactions
JP7496776B2 (ja) 高速、正確及び直観的なユーザ対話のための適合を有する脳－コンピュータインターフェース
US10877715B2 (en) Emotionally aware wearable teleconferencing system
JP6664512B2 (ja) アイブレインインターフェースシステムのキャリブレーション方法、及びシステム内のスレーブデバイス、ホストデバイス
US20170293356A1 (en) Methods and Systems for Obtaining, Analyzing, and Generating Vision Performance Data and Modifying Media Based on the Vision Performance Data
JP2024075573A (ja) 高速、正確、且つ直感的なユーザ対話のための適合を伴う脳－コンピュータインタフェース
Cernea et al. A survey of technologies on the rise for emotion-enhanced interaction
KR101734845B1 (ko) 시각 분석을 이용하는 감정 분류 장치 및 그 방법
WO2017016941A1 (en) Wearable device, method and computer program product
KR102064510B1 (ko) 뇌파를 이용한 자폐 범주성 장애 진단 장치 및 그 방법
JP2013255742A (ja) 感性評価装置、方法、及びプログラム
EP4161387B1 (en) Sound-based attentive state assessment
KR101306922B1 (ko) 뇌파 측정 장치 및 뇌파 측정 방법
Matthies et al. Wearable Sensing of Facial Expressions and Head Gestures
CN112970056B (zh) 使用高速和精确的用户交互跟踪的人类-计算机接口
WO2022070415A1 (ja) ヘッドマウントディスプレイ装置
US20230418372A1 (en) Gaze behavior detection
CN111712192B (zh) 具有对于高速、准确和直观的用户交互的适配的大脑-计算机接口
CN113156650B (en) Augmented reality system and method using images
KR101339831B1 (ko) 비시아이를 이용한 치매예방 시스템 및 그 방법
CN113156650A (zh) 利用映像的增强现实系统和方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right