KR101724939B1 - 뇌파를 이용한 사용자 의도 예측 시스템 및 그 방법 - Google Patents

뇌파를 이용한 사용자 의도 예측 시스템 및 그 방법 Download PDF

Info

Publication number
KR101724939B1
KR101724939B1 KR1020150150376A KR20150150376A KR101724939B1 KR 101724939 B1 KR101724939 B1 KR 101724939B1 KR 1020150150376 A KR1020150150376 A KR 1020150150376A KR 20150150376 A KR20150150376 A KR 20150150376A KR 101724939 B1 KR101724939 B1 KR 101724939B1
Authority
KR
South Korea
Prior art keywords
information
eeg
word
brain wave
user
Prior art date
Application number
KR1020150150376A
Other languages
English (en)
Inventor
장동표
김인영
김태경
박진식
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020150150376A priority Critical patent/KR101724939B1/ko
Application granted granted Critical
Publication of KR101724939B1 publication Critical patent/KR101724939B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

뇌파를 이용한 사용자 의도 예측 시스템 및 그 방법이 개시된다.
뇌파를 이용한 사용자 의도 예측 시스템의 뇌파 분류기 학습 방법은 사용자가 상상할 단어를 사용자에게 제공하는 단계; 상기 단어를 제공하는 동안 측정한 사용자의 뇌파 정보를 추출하는 단계; 상기 뇌파 정보에 시간-주파수 분석을 적용하여 상기 뇌파 정보를 3차원 정보로 변환하는 단계; 3차원 정보로 변환된 뇌파 정보를 채널 별로 시간, 주파수에 따라 그룹화하여 뇌파의 패턴을 생성하는 단계; 및 상기 뇌파의 패턴과 상기 단어를 이용하여 사용자의 뇌파를 분류하는 분류기를 설정하는 단계
를 포함할 수 있다.

Description

뇌파를 이용한 사용자 의도 예측 시스템 및 그 방법{SYSTEM AND METHOD FOR PREDICTING INTENTION OF USER USING BRAIN WAVE}
본 발명은 뇌파를 이용하여 사용자의 의도를 예측하는 시스템 및 방법에 관한 것이다.
최근에 활발하게 개발되고 있는 뇌-컴퓨터 인터페이스는 외부의 자극으로 인한 뇌파 변화를 이용하는 인터페이스와 사용자의 내재적인 변화에 의한 뇌파 변화를 이용하는 인터페이스를 포함하고 있다.
외부의 자극으로 인한 뇌파 변화를 이용하는 인터페이스는 시각, 촉각, 청각 등 사용자의 감각에 강제로 변화를 일으키거나 혹은 제시된 서로 다른 자극 중의 하나를 선택적으로 취함으로 인해 뇌파의 변화를 유도하고, 유도된 뇌파의 변화가 발생하는지 여부를 감지하고 있다. 반면, 사용자의 내재적인 변화에 의한 뇌파 변화를 이용하는 인터페이스는 사용자의 자발적인 생각에 의해 변화하는 뇌파를 식별하고 있다.
종래의 외부의 자극으로 인한 뇌파 변화를 이용하는 인터페이스는 명령을 입력하기 위하여 명령에 대응하는 뇌파의 변화가 발생하도록 유도해야 한다. 따라서, 외부에서 지속적으로 자극이 이루어지기 때문에 사용자의 시각 혹은 청각 등 해당 자극에 대한 피로도가 쉽게 증가할 수 있다. 또한, 사용자의 피로드가 증가함에 따라 자극에 대한 반응이 감소하여 명령이 수행되지 않을 가능성이 있다.
종래의 사용자의 내재적인 변화에 의한 뇌파 변화를 이용하는 인터페이스는 사용자가 손 또는 발의 움직임을 상상함으로써 뇌파의 변화를 유도하면, 뇌파의 변화에 대응하는 특정 명령을 수행하고 있으므로, 사용자가 상상하는 움직임과 명령간의 관계가 직관적이지 않으며, 선택 가능한 명령의 종류도 매우 한정적인 실정이다.
따라서, 별도의 외부 자극 없이 직관적으로 사용자의 뇌파를 이용하여 사용자가 상상한 대상을 예측할 수 있는 방법이 요청되고 있다.
본 발명은 사용자에게 단어를 표시하고, 단어를 본 사용자의 뇌파를 측정하여 뇌파 분류기를 생성함으로써, 외인성 변화를 사용할 때와 같이 별도의 외부 자극 없이도 사용자의 뇌파에 대응하는 단어를 매칭하여 학습시키는 장치 및 방법을 제공할 수 있다.
또한, 본 발명은 뜻을 가진 단어를 사용자의 뇌파의 패턴과 매칭하여 뇌파 분류기를 학습함으로써, 측정한 사용자의 뇌파 및 뇌파 분류기를 이용하여 사용자가 상상한 단어를 예측하는 장치 및 방법을 제공할 수 있다.
본 발명의 일실시예에 따른 뇌파 분류기 학습 방법은 사용자가 상상할 단어를 사용자에게 제공하는 단계; 상기 단어를 제공하는 동안 측정한 사용자의 뇌파 정보를 추출하는 단계; 상기 뇌파 정보에 시간-주파수 분석을 적용하여 상기 뇌파 정보를 3차원 정보로 변환하는 단계; 3차원 정보로 변환된 뇌파 정보를 채널 별로 시간, 주파수에 따라 그룹화하여 뇌파의 패턴을 생성하는 단계; 및 상기 뇌파의 패턴과 상기 단어를 이용하여 사용자의 뇌파를 분류하는 분류기를 설정하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 뇌파 분류기 학습 방법의 제공하는 단계는, 상기 단어가 기재된 화면, 및 사용자의 시선을 고정시킬 수 있는 오브젝트가 기재된 화면을 교대로 표시할 수 있다.
본 발명의 일실시예에 따른 뇌파 분류기 학습 방법의 추출하는 단계는 측정한 사용자의 뇌파 정보를 시간에 따라 복수의 구간들로 분할하는 단계; 및 분할된 구간들 중에서 상기 단어가 제공된 시간의 구간을 추출하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 뇌파 분류기 학습 방법의 추출하는 단계는, 상기 단어가 제공된 시간의 이전 구간에서 측정한 뇌파 정보를 추출하는 단계를 더 포함할 수 있다.
본 발명의 일실시예에 따른 뇌파 분류기 학습 방법의 상기 뇌파의 패턴을 생성하는 단계는, 3차원 정보로 변환된 뇌파 정보를 상기 단어가 제공된 시간의 이전 구간의 뇌파 정보를 기준으로 정규화하는 단계; 및 정규화된 뇌파 정보를 상기 뇌파 정보를 측정한 채널 별로 기 설정된 주파수 범위, 및 시간 범위에 따라 그룹화하여 패턴을 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 뇌파 분류기 학습 방법의 분류기를 설정하는 단계는, 3차원 정보로 생성된 뇌파의 패턴을 1차원 정보로 변환하는 단계; 1차원 정보로 변환된 패턴과 상기 단어를 매칭하는 단계; 및 상기 단어와 매칭된 패턴을 이용하여 상기 분류기를 설정하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 뇌파 분석 방법은 단어를 상상한 사용자의 뇌파를 측정하여 뇌파 정보를 획득하는 단계; 상기 뇌파 정보에 시간-주파수 분석을 적용하여 상기 뇌파 정보를 3차원 정보로 변환하는 단계; 3차원 정보로 변환된 뇌파 정보를 채널 별로 시간, 주파수에 따라 그룹화하여 뇌파의 패턴을 생성하는 단계; 및 상기 뇌파의 패턴과 뇌파를 분류하는 분류기를 이용하여 사용자가 상상한 단어를 예측하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 뇌파 분석 방법의 패턴을 생성하는 단계는, 상기 뇌파 정보를 누적하는 단계; 누적한 뇌파 정보의 크기가 기 설정된 크기까지 증가한 경우, 누적한 뇌파 정보를 정규화하는 단계; 및 정규화된 뇌파 정보를 기 설정된 주파수 범위, 및 시간 범위에 따라 그룹화하여 패턴을 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 뇌파 분석 방법의 패턴을 생성하는 단계는, 상기 누적한 뇌파 정보의 크기가 기 설정된 크기를 초과하는 경우, 누적한 뇌파 정보 중에서 가장 먼저 누적한 뇌파 정보를 삭제하고, 가장 최근에 변환된 뇌파 정보를 누적하여 상기 누적한 뇌파 정보의 크기를 상기 기 설정된 크기로 유지하는 단계를 더 포함할 수 있다.
본 발명의 일실시예에 따른 뇌파 분석 방법의 예측하는 단계는, 상기 분류기에서 상기 뇌파의 패턴과 유사도가 가장 높은 패턴을 검색하고, 검색한 패턴에 매칭된 단어를 상기 사용자가 상상한 단어로 예측할 수 있다.
본 발명의 일실시예에 따른 뇌파 분석 방법의 분류기는, 사용자가 상상할 단어를 사용자에게 제공하고, 상기 단어를 제공하는 동안 측정한 사용자의 뇌파 정보를 이용하여 뇌파의 패턴을 생성하며, 상기 뇌파의 패턴과 상기 단어를 매칭하여 설정될 수 있다.
본 발명의 일실시예에 의하면, 사용자에게 단어를 표시하고, 단어를 본 사용자의 뇌파를 측정하여 뇌파 분류기를 생성함으로써, 외인성 변화를 사용할 때와 같이 별도의 외부 자극 없이도 사용자의 뇌파에 대응하는 단어를 매칭하여 학습시킬 수 있다.
또한, 본 발명의 일실시예에 의하면, 뜻을 가진 단어를 사용자의 뇌파의 패턴과 매칭하여 뇌파 분류기를 학습함으로써, 측정한 사용자의 뇌파 및 뇌파 분류기를 이용하여 사용자가 상상한 단어를 예측할 수 있다.
도 1은 본 발명의 일실시예에 따른 뇌파를 이용한 사용자 의도 예측 시스템을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 뇌파 분류기 학습 장치의 구성을 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 뇌파 분류기 학습 장치가 사용자에게 표시하는 단어의 일례이다.
도 4는 본 발명의 일실시예에 따른 뇌파 분류기 학습 장치가 사용자에게 화면을 표시하는 방법의 일례이다.
도 5는 본 발명의 일실시예에 따른 뇌파 분류기 학습 장치의 동작 일례이다.
도 6은 본 발명의 일실시예에 따른 뇌파 분석 장치의 구성을 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 뇌파 분석 장치의 동작 일례이다.
도 8은 본 발명의 일실시예에 따른 뇌파 분석 장치의 단어 예측부의 동작 일례이다.
도 9는 본 발명의 일실시예에 따른 뇌파 분류기 학습 방법을 도시한 플로우차트이다.
도 10은 본 발명의 일실시예에 따른 뇌파 분석 방법을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 뇌파 분류기 학습 방법 및 뇌파 분석 방법은 각각 뇌파를 이용한 사용자 의도 예측 시스템의 뇌파 분류기 학습 장치 및 뇌파 분석 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 뇌파를 이용한 사용자 의도 예측 시스템을 나타내는 도면이다.
뇌파를 이용한 사용자 의도 예측 시스템은 도 1에 도시된 바와 같이 뇌파 분류기 학습 장치(110), 뇌파 측정 장치(120), 및 뇌파 분석 장치(130)를 포함할 수 있다.
뇌파 분류기 학습 장치(110)는 사용자(100)에게 단어를 제공하고, 단어를 제공받은 사용자(100)의 뇌파를 측정하여 단어에 대응하는 사용자의 뇌파의 패턴을 생성할 수 있다. 그리고, 뇌파 분류기 학습 장치(110)는 생성한 사용자의 뇌파의 패턴을 이용하여 사용자의 뇌파에 대응하는 단어를 분류할 수 있는 뇌파 분류기를 생성하고, 학습시킬 수 있다.
뇌파 분류기 학습 장치(110)의 구체적인 구성 및 동작은 이하 도 2를 참조하여 상세히 설명한다.
뇌파 측정 장치(120)는 사용자(100)의 머리에 부착되어 사용자의 뇌파를 측정할 수 있다. 이때, 뇌파 측정 장치(120)는 뇌파 분류기 학습 장치(110), 또는 뇌파 분석 장치(130) 중 하나와 연결될 수 있다.
그리고, 뇌파 측정 장치(120)는 측정한 사용자의 뇌파 및 사용자의 뇌파를 측정한 시간을 포함하는 사용자의 뇌파 정보를 뇌파 분류기 학습 장치(110), 또는 뇌파 분석 장치(130)로 전송할 수 있다.
뇌파 분석 장치(130)는 뇌파 측정 장치(120)로부터 뇌파 정보를 획득할 수 있다. 그리고, 뇌파 분석 장치(130)는 뇌파 분류기 학습 장치(110)가 학습한 분류기를 사용하여 뇌파 정보에 대응하는 단어를 예측함으로써, 사용자가 상상한 단어를 예측할 수 있다.
뇌파 분석 장치(130)의 구체적인 구성 및 동작은 이하 도 6을 참조하여 상세히 설명한다.
뇌파를 이용한 사용자 의도 예측 시스템은 사용자에게 단어를 표시하고, 단어를 본 사용자의 뇌파를 측정하여 뇌파 분류기를 생성함으로써, 외인성 변화를 사용할 때와 같이 별도의 외부 자극 없이도 사용자의 뇌파에 대응하는 단어를 매칭하여 학습시킬 수 있다.
또한, 뇌파를 이용한 사용자 의도 예측 시스템은 뜻을 가진 단어를 사용자의 뇌파의 패턴과 매칭하여 뇌파 분류기를 학습함으로써, 측정한 사용자의 뇌파 및 뇌파 분류기를 이용하여 사용자가 상상한 단어를 예측할 수 있다.
도 2는 본 발명의 일실시예에 따른 뇌파 분류기 학습 장치의 구성을 나타내는 도면이다.
뇌파 분류기 학습 장치(110)는 도 2에 도시된 바와 같이 단어 결정부(210), 단어 제공부(220), 뇌파 정보 추출부(230), 뇌파 정보 변환부(240), 패턴 생성부(250), 및 분류기 설정부(260)를 포함할 수 있다. 예를 들어, 단어 결정부(210), 단어 제공부(220), 뇌파 정보 추출부(230), 뇌파 정보 변환부(240), 패턴 생성부(250), 및 분류기 설정부(260)는 각각 서로 다른 동작을 수행하기 위한 프로세서들일 수도 있고, 하나의 프로세서에서 서로 다른 동작을 수행하기 위한 소프트웨어의 모듈들일 수 있다.
단어 결정부(210)는 사용자가 상상할 단어를 결정하고, 결정한 단어를 사용자에게 표시할 시간을 결정할 수 있다. 이때, 사용자에게 상상할 단어는 기 설정된 단어들 중에서 랜덤으로 결정될 수 있다. 예를 들어, 숫자와 신체 명칭들 중에서 단어가 결정되도록 설정된 경우, 단어 결정부(210)는 도 3에 도시된 바와 같이 삼, 오, 구, 십, 목, 코, 눈, 귀와 같이 숫자와 신체 명칭들 중에서 8개의 단어를 사용자에게 제공할 단어로 결정할 수 있다.
또한, 사용자에게 표시할 시간도 일정 시간 범위 안에서 랜덤으로 결정될 수 있다. 그리고, 단어 결정부(210)는 단어 별로 사용자에게 반복하여 제공할 회수를 결정할 수 있다.
단어 제공부(220)는 단어 결정부(210)가 결정한 단어를 사용자에게 제공할 수 있다. 이때, 단어 제공부(220)는 단어가 기재된 화면, 및 사용자의 시선을 고정시킬 수 있는 오브젝트가 기재된 화면을 교대로 표시할 수 있다. 예를 들어, 사용자의 시선을 고정시킬 수 있는 오브젝트가 기재된 화면은 검은 화면에 하얀색 십자가가 놓여있는 화면일 수 있다.
이때, 단어 제공부(220)는 사용자에게 화면에 기재된 단어를 말하는 상상을 하며, 화면에 기재된 단어의 뜻을 생각하도록 지시하는 메시지를 제공할 수 있다. 또한, 단어 제공부(220)는 사용자에게 오브젝트가 기재된 화면이 표시될 경우, 오브젝트가 기재된 화면이 표시되는 동안 오브젝트를 응시하도록 지시하는 메시지를 제공할 수 있다.
또한, 단어 제공부(220)는 각각의 단어가 기 설정된 회수만큼 표시될 때까지 단어가 기재된 화면, 및 사용자의 시선을 고정시킬 수 있는 오브젝트가 기재된 화면을 반복하여 교대로 표시할 수 있다. 예를 들어, 단어가 8개 결정되고, 기 설정된 회수가 50회인 경우, 단어 제공부(220)는 8개의 단어가 기재된 화면을 각각 50회씩 반복하여 표시하므로, 단어가 기재된 화면을 총 400회 표시할 수 있다. 또한, 단어 제공부(220)는 각각의 단어가 포함된 화면을 표시하는 사이에 오브젝트가 기재된 화면을 표시할 수 있다.
즉, 단어 제공부(220)는 단어가 기재된 화면을 400회 표시하고, 오브젝트가 기재된 화면을 400회 표시할 수 있다.
그리고, 단어 제공부(220)는 일정 시간 간격으로 단어 결정부(210)가 결정한 단어의 발음을 출력하여 사용자에게 제공할 수도 있다. 이때, 단어 제공부(220)는 각각의 단어의 발음이 기 설정된 회수만큼 출력될 때까지 일정 시간마다 단어의 발음을 반복하여 출력할 수 있다.
예를 들어, 단어 제공부(220)는 사용자에게 화면을 표시하기 위한 디스플레이, 또는 사용자에게 단어의 발음을 출력하기 위한 스피커 중 적어도 하나를 포함할 수 있다.
뇌파 정보 추출부(230)는 단어 제공부(220)가 단어를 제공하는 동안 측정한 사용자의 뇌파 정보를 추출할 수 있다.
구체적으로, 뇌파 측정 장치(120)는 사용자의 뇌파를 측정하여 생성한 뇌파 정보를 뇌파 정보 추출부(230)로 전송할 수 있다. 이때, 뇌파 정보는 뇌파 측정 장치(120)가 측정한 사용자의 뇌파 및 사용자의 뇌파를 측정한 시간을 포함할 수 있다.
이때, 뇌파 정보 추출부(230)는 뇌파 측정 장치(120)로부터 수신한 사용자의 뇌파 정보를 시간에 따라 복수의 구간들로 분할할 수 있다. 그리고, 뇌파 정보 추출부(230)는 분할된 구간들 중에서 단어가 제공된 시간의 구간을 추출할 수 있다. 이때, 뇌파 정보 추출부(230)는 뇌파 정보에 포함된 뇌파를 측정한 시간과 단어 제공부(220)가 단어가 기재된 화면을 표시한 시간을 비교하여 단어가 제공된 시간의 구간을 추출할 수 있다. 이때, 단어를 제공받은 사용자는 단어를 상상하고 있으므로, 뇌파 정보 중 단어가 제공된 시간의 구간은 단어에 대응하는 사용자의 뇌파 정보일 수 있다.
그리고, 뇌파 정보 추출부(230)는 단어가 제공된 시간의 구간에 단어의 정보를 태그로 삽입하여, 해당 구간이 단어가 제공된 시간의 구간이라고 표시할 수 있다.
또한, 뇌파 정보 추출부(230)는 단어가 제공된 시간의 이전 구간, 및 이후 구간에서 측정한 뇌파 정보를 추출할 수 있다. 예를 들어, 단어가 제공된 시간을 0s(second)로 설정한 경우, 뇌파 정보 추출부(230)는 -0.5s - 1.5s의 뇌파 정보를 추출하여 저장할 수 있다. 이때, 뇌파 정보 추출부(230)는 시간-주파수 분석 과정에서 손실되는 정보를 고려하여 이후 구간을 결정할 수 있다.
예를 들어, 단어가 제공된 시간을 0ms로 설정한 경우, 뇌파 정보 추출부(230)는 뇌파 정보 중에서 0ms - 900ms 구간을 단어가 제공된 시간의 구간으로 식별하고, 0ms - 900ms 구간에 단어의 정보를 태그로 삽입할 수 있다. 그리고, 시간-주파수 분석 과정에서 손실될 수 있는 정보의 최대 값이 600ms 구간에 해당하는 정보인 경우, 뇌파 정보 추출부(230)는 901ms - 1500ms 구간을 이후 구간으로 저장할 수 있다. 이때, 뇌파 정보 변환부(240)는 뇌파 정보 중 단어가 제공된 시간의 구간이 시간- 주파수 분석에 의하여 손실된 정보를 이후 구간을 이용하여 보완할 수 있다.
뇌파 정보 변환부(240)는 뇌파 정보 추출부(230)가 추출한 뇌파 정보에 시간-주파수 분석을 적용하여 뇌파 정보를 3차원 정보로 변환할 수 있다. 예를 들어, 뇌파 정보 변환부(240)는 7.5ms씩 이동하는 0.5s 길이의 윈도우 타입의 뇌파 정보에 대해 단시간 푸리에 변환을 적용하여 채널x주파수x시간의 3차원 정보로 변환할 수 있다.
패턴 생성부(250)는 뇌파 정보 변환부(240)에서 3차원 정보로 변환된 뇌파 정보를 뇌파 정보를 측정한 채널 별로 시간, 주파수에 따라 그룹화하여 뇌파의 패턴을 생성할 수 있다. 이때, 패턴 생성부(250)는 단어의 정보가 삽입된 구간을 검색하고, 검색된 구간을 해당 단어가 제공된 시간의 구간으로 식별할 수 있다.
먼저, 패턴 생성부(250)는 3차원 정보로 변환된 뇌파 정보 중에서 단어가 제공된 시간의 구간 및 단어가 제공된 시간의 이후 구간을 단어가 제공된 시간의 이전 구간의 뇌파 정보를 기준으로 정규화할 수 있다.
구체적으로, 단어가 제공된 시간을 0s로 설정한 경우, 패턴 생성부(250)는 3차원 정보로 변환된 뇌파 정보의 채널 각각의 모든 주파수에 대하여 0s 이전 값의 평균을 채널 각각의 대표 값으로 설정할 수 있다. 이때, 패턴 생성부(250)는 설정한 대표값을 이용하여 채널 각각의 주파수 별로 모든 시간에 대해 정규화 기법을 적용할 수 있다. 예를 들어, 패턴 생성부(250)는 수학식 1을 이용하여 정규화된 뇌파 정보 Datanorm를 결정할 수 있다.
Figure 112015104912861-pat00001
여기서 Dataorig는 3차원 정보로 변환되어 정규화할 뇌파 정보이고, Base는 채널들 각각의 주파수 별 대표값일 수 있다. 또한, ch는 3차원 정보로 변환된 뇌파 정보의 채널들 중 특정 채널이고, freq는 3차원 정보로 변환된 뇌파 정보의 주파수들 중 특정 주파수이며, time는 3차원 정보로 변환된 뇌파 정보의 시간들 중 특정 시간일 수 있다. 이때, 뇌파 정보의 채널은 뇌파 정보를 측정한 뇌파 측정 장치(120)의 센서에 따라 결정된다. 예를 들어, 뇌파 측정 장치(120)가 복수의 전극을 이용하여 사용자의 뇌파를 측정하는 경우, 뇌파 정보의 채널은 전극들 각각이 측정한 사용자의 뇌파에 대응하며, 뇌파 정보의 채널의 개수는 전극의 개수와 동일할 수 있다.
다음으로, 패턴 생성부(250)는 정규화된 뇌파 정보를 뇌파 정보를 측정한 채널 별로 기 설정된 주파수 범위, 및 시간 범위에 따라 그룹화하여 패턴을 생성할 수 있다. 예를 들어, 주파수 범위는 1~4Hz, 5~8Hz, 9~12Hz, 13~30Hz, 31~50Hz 의 범위를 가질 수 있다. 또한, 시간 범위는 0~900ms 구간에 대해 100ms씩의 범위를 가질 수 있다.
구체적으로, 패턴 생성부(250)는 정규화된 뇌파 정보들을 기 설정된 주파수 범위, 및 시간 범위에 따라 그룹화할 수 있다. 그리고, 패턴 생성부(250)는 정규화된 뇌파 정보들 중에서 동일한 그룹에 포함된 모든 값의 평균 값을 계산하여 패턴을 생성할 수 있다. 예를 들어, 패턴 생성부(250)는 1~4Hz 주파수 범위와 0~100ms 시간 범위를 갖는 모든 값의 평균을 계산할 수 있다. 이때, 패턴 생성부(250)는 주파수 범위와 시간 범위 중 적어도 하나를 변경하며, 조합 가능한 모든 주파수 범위와 시간 범위에 대응하는 값들의 평균을 계산할 수 있다. 그리고, 패턴 생성부(250)는 조합 가능한 모든 주파수 범위와 시간 범위에 대응하는 값들의 평균을 뇌파의 패턴으로 생성할 수 있다.
분류기 설정부(260)는 패턴 생성부(250)가 생성한 뇌파의 패턴과 단어 제공부(220)가 사용자에게 제공한 단어를 이용하여 사용자의 뇌파를 분류하는 분류기를 설정하고 학습 시킬 수 있다.
이때, 분류기 설정부(260)는 3차원 정보로 생성된 뇌파의 패턴을 1차원 정보로 변환할 수 있다. 구체적으로, 분류기 설정부(260)는 채널 별로 주파수와 시간 간의 그래프로 표시된 뇌파의 패턴을 분류기가 사용하는 정보들 중 하나의 포인트로 변환할 수 있다.
다음으로, 분류기 설정부(260)는 1차원 정보로 변환된 패턴과 단어를 매칭할 수 있다.
마지막으로 분류기 설정부(260)는 단어와 매칭된 패턴을 이용하여 사용자의 뇌파를 분류하기 위한 분류기를 설정할 수 있다. 예를 들어, 분류기는 support vector machine일 수 있다.
사용자의 뇌파를 분류하기 위한 분류기가 아직 생성되지 않은 경우, 분류기 설정부(260)는 첫 번째로 단어와 매칭된 패턴을 이용하여 사용자의 뇌파를 분류하기 위한 분류기를 생성할 수 있다. 그리고, 분류기 설정부(260)는 두 번째 이후로 단어와 매칭된 패턴을 분류기에 추가하여 분류기를 설정할 수 있다.
사용자에게 동일한 단어를 반복하여 제공하더라도, 단어를 제공할 때마다 사용자의 뇌파 정보를 이용하여 생성한 패턴은 차이가 있을 수 있다. 이때, 분류기 설정부(260)는 단어와 매칭된 복수의 패턴들을 분류기에 설정함으로써, 분류기에 입력되는 패턴이 단어와 매칭된 패턴들과 차이가 있더라도, 단어와 매칭된 패턴들의 공통 특성을 포함하는 경우, 해당 패턴을 단어에 대응하는 패턴으로 분류하도록 분류기를 학습시킬 수 있다.
도 4는 본 발명의 일실시예에 따른 뇌파 분류기 학습 장치가 사용자에게 화면을 표시하는 방법의 일례이다.
먼저, 단어 제공부(220)는 사용자의 시선을 고정시킬 수 있는 오브젝트가 기재된 화면(420)을 표시하여 사용자가 화면을 응시하도록 유도할 수 있다. 예를 들어, 단어 제공부(220)는 1s 내지 1.5s 동안 화면(420)을 표시할 수 있다. 또한, 도 4에서 화면(420)는 하얀색 바탕에 검은색 십자 형상의 오브젝트가 기재된 화면이지만, 실시예에 따라 바탕과 오브젝트의 색상 및 오브젝트의 형상은 변경될 수 있다.
다음으로, 단어 제공부(220)는 단어 결정부(210)가 결정한 단어가 기재된 화면(410)을 표시하여 사용자가 단어를 상상하도록 유도할 수 있다.
그리고, 단어 제공부(220)는 도 4에 도시된 바와 같이 화면(410)과 화면(420)를 교대로 표시할 수 있다. 이때, 화면(410)을 보면서 단어를 상상하던 사용자는 화면(420)을 보면서 단어를 상상하지 않으므로, 화면(410)이 표시될 때 측정한 사용자의 뇌파와 화면(420)이 표시될 때 측정한 사용자의 뇌파는 상이할 수 있다.
또한, 단어 제공부(220)는 동일한 단어가 기재된 화면(410)을 기 설정된 회수 동안 반복하여 표시하면, 화면(410)에 기재된 단어를 변경할 수 있다. 예를 들어, 단어 제공부(220)가 '삼'이란 단어가 기재된 화면(411)를 기 설정된 회수 동안 반복하여 표시한 후, 다시 단어가 기재된 화면(410)을 표시할 시간이 될 수 있다. 이때, 단어 제공부(220)는 '삼'과는 다른 단어인 '코'가 기재된 화면(412)를 표시할 수 있다.
도 5는 본 발명의 일실시예에 따른 뇌파 분류기 학습 장치의 동작 일례이다.
먼저, 뇌파 측정 장치(120)는 사용자의 뇌파를 측정하여 생성한 뇌파 정보(510)를 뇌파 정보 추출부(230)로 전송할 수 있다. 이때, 뇌파 정보 추출부(230)는 뇌파 측정 장치(120)로부터 수신한 사용자의 뇌파 정보(510)를 시간에 따라 복수의 구간들로 분할하고, 분할된 구간들 중에서 단어가 제공된 시간의 구간의 뇌파 정보를 추출할 수 있다.
또한, 뇌파 정보 추출부(230)는 단어가 제공된 시간의 이전 구간, 및 이후 구간에서 측정한 뇌파 정보를 추출할 수 있다.
다음으로, 뇌파 정보 변환부(240)는 추출한 뇌파 정보(520)에 도 5에 도시된 바와 같은 조건의 시간-주파수 분석(530)을 적용하여 채널x시간의 2차원 정보인 뇌파 정보(520)를 채널x주파수x시간의 3차원 정보로 변환할 수 있다. 이때, 뇌파 정보(520)는 단어가 제공된 시간의 이전 구간의 뇌파 정보, 단어가 제공된 시간의 구간의 뇌파 정보, 및 단어가 제공된 시간의 이후 구간의 뇌파 정보를 포함할 수 있다.
그 다음으로, 패턴 생성부(250)는 3차원 정보로 변환된 뇌파 정보(540)를 단어가 제공된 시간의 이전 구간의 뇌파 정보를 기준으로 정규화할 수 있다. 구체적으로, 패턴 생성부(250)는 3차원 정보로 변환된 뇌파 정보(540) 중에서 단어가 제공된 시간의 이전 구간의 뇌파 정보를 이용하여 단어가 제공된 시간의 구간의 뇌파 정보, 및 단어가 제공된 시간의 이후 구간의 뇌파 정보를 정규화할 수 있다.
다음으로, 패턴 생성부(250)는 정규화된 뇌파 정보(550)를 뇌파 정보를 측정한 채널 별로 기 설정된 주파수 범위, 및 시간 범위에 따라 그룹화하여 패턴(560)을 생성할 수 있다.
그 다음으로, 분류기 설정부(260)는 3차원 정보로 생성된 뇌파의 패턴(560)을 1차원 정보로 변환할 수 있다. 구체적으로, 분류기 설정부(260)는 채널 별로 주파수와 시간 간의 그래프로 표시된 뇌파의 패턴(561)을 분류기가 사용하는 정보들 중 하나의 포인트(571)로 변환할 수 있다. 예를 들어, 뇌파 정보(510)에서 사용자에게 제공한 단어가 '삼'인 경우, 뇌파의 패턴(561)은 도 5에 도시된 바와 같이 분류기에서 '삼'의 영역에 포함된 포인트(571)로 변환될 수 있다.
다음으로, 분류기 설정부(260)는 1차원 정보로 변환된 패턴과 단어를 매칭하여 사용자의 뇌파를 분류하기 위한 분류기(570)를 설정할 수 있다.
도 6은 본 발명의 일실시예에 따른 뇌파 분석 장치의 구성을 나타내는 도면이다.
뇌파 분석 장치(130)는 도 6에 도시된 바와 같이 뇌파 정보 획득부(610), 뇌파 정보 변환부(620), 패턴 생성부(630), 및 단어 예측부(640)를 포함할 수 있다. 예를 들어, 뇌파 정보 획득부(610), 뇌파 정보 변환부(620), 패턴 생성부(630), 및 단어 예측부(640)는 각각 서로 다른 동작을 수행하기 위한 프로세서들일 수도 있고, 하나의 프로세서에서 서로 다른 동작을 수행하기 위한 소프트웨어의 모듈들일 수 있다.
뇌파 정보 획득부(610)는 뇌파 측정 장치(120)로 단어를 상상한 사용자의 뇌파를 측정하여 사용자의 뇌파 정보를 획득할 수 있다.
이때, 뇌파 정보 획득부(610)는 사용자에게 단어의 상상을 시작하도록 요청하며, 뇌파 측정 장치(120)에게 사용자의 뇌파를 측정하도록 요청함으로써, 단어를 상상한 사용자의 뇌파를 측정할 수 있다.
또한, 뇌파 정보 획득부(610)는 입력 장치를 통하여 사용자로부터 단어의 상상을 시작한다는 입력을 받을 수 있다. 이때, 뇌파 정보 획득부(610)는 뇌파 측정 장치(120)에게 사용자로부터 단어의 상상을 시작한다는 입력을 받은 시간부터 사용자의 뇌파를 측정하도록 요청함으로써, 단어를 상상한 사용자의 뇌파를 측정할 수 있다.
뇌파 정보 변환부(620)는 뇌파 정보 획득부(610)가 획득한 뇌파 정보에 시간-주파수 분석을 적용하여 뇌파 정보를 3차원 정보로 변환할 수 있다. 이때, 뇌파 정보 변환부(620)는 뇌파 정보 획득부(610)가 획득한 뇌파 정보를 일정 시간 간격으로 그룹화하여 3차원 정보로 변환할 수 있다.
패턴 생성부(630)는 뇌파 정보 변환부(620)에 의하여 3차원 정보로 변환된 뇌파 정보를 채널 별로 시간, 주파수에 따라 그룹화하여 뇌파의 패턴을 생성할 수 있다. 구체적으로, 패턴 생성부(630)는 뇌파 정보 변환부(620)가 변환한 뇌파 정보를 기 설정된 크기가 될 때까지 누적시킬 수 있다. 이때, 기 설정된 크기는 패턴을 생성하기 위하여 필요한 뇌파 정보의 크기일 수 있다. 예를 들어, 뇌파 정보 변환부(620)가 50ms 간격으로 뇌파 정보를 변환하는 경우, 패턴 생성부(630)는 50ms 간격으로 변환된 뇌파 정보의 크기가 2s 이상이 될 때까지 뇌파 정보들을 누적시킬 수 있다.
누적된 뇌파 정보들의 크기가 기 설정된 크기까지 증가한 경우, 패턴 생성부(630)는 누적한 뇌파 정보를 정규화할 수 있다. 예를 들어, 패턴 생성부(630)는 뇌파 정보에서 0s내지 2000ms 구간의 뇌파 정보를 순차적으로 누적할 수 있다. 그리고, 누적된 뇌파 정보들의 크기가 2s가 되면, 패턴 생성부(630)는 0s내지 2000ms 구간의 뇌파 정보를 정규화할 수 있다.
또한, 누적한 뇌파 정보의 크기가 기 설정된 크기를 초과하는 경우, 패턴 생성부(630)는 누적한 뇌파 정보 중에서 가장 먼저 누적한 뇌파 정보를 삭제하고, 가장 최근에 변환된 뇌파 정보를 누적하여 누적한 뇌파 정보의 크기를 기 설정된 크기로 유지할 수 있다. 예를 들어, 0s내지 2000ms 구간의 뇌파 정보를 누적한 상태에서 뇌파 정보 변환부(620)로부터 2000ms 내지 2050ms 구간의 변환된 뇌파 정보를 수신하는 경우, 누적된 뇌파 정보들의 크기가 2s를 초과할 수 있다. 이때, 패턴 생성부(630)는 가장 먼저 누적한 0s 내지 50ms 구간의 뇌파 정보를 삭제하고, 새로운 2000ms 내지 2050ms 구간의 변환된 뇌파 정보를 누적함으로써, 누적된 뇌파 정보들의 크기를 2s로 유지시킬 수 있다.
그리고, 패턴 생성부(630)는 정규화된 뇌파 정보를 기 설정된 주파수 범위, 및 시간 범위에 따라 그룹화하여 패턴을 생성할 수 있다.
이때, 패턴 생성부(630)는 정규화된 뇌파 정보를 뇌파 정보를 측정한 채널 별로 기 설정된 주파수 범위, 및 시간 범위에 따라 그룹화하여 패턴을 생성할 수 있다. 예를 들어, 주파수 범위는 1~4Hz, 5~8Hz, 9~12Hz, 13~30Hz, 31~50Hz 의 범위를 가질 수 있다. 또한, 시간 범위는 0~900ms 구간에 대해 100ms씩의 범위를 가질 수 있다.
구체적으로, 패턴 생성부(630)는 정규화된 뇌파 정보들을 기 설정된 주파수 범위, 및 시간 범위에 따라 그룹화할 수 있다. 그리고, 패턴 생성부(630)는 정규화된 뇌파 정보들 중에서 동일한 그룹에 포함된 모든 값의 평균 값을 계산하여 패턴을 생성할 수 있다. 예를 들어, 패턴 생성부(630)는 1~4Hz 주파수 범위와 0~100ms 시간 범위를 갖는 모든 값의 평균을 계산할 수 있다. 이때, 패턴 생성부(630)는 주파수 범위와 시간 범위 중 적어도 하나를 변경하며, 조합 가능한 모든 주파수 범위와 시간 범위에 대응하는 값들의 평균을 계산할 수 있다. 그리고, 패턴 생성부(630)는 조합 가능한 모든 주파수 범위와 시간 범위에 대응하는 값들의 평균을 뇌파의 패턴으로 생성할 수 있다.
단어 예측부(640)는 패턴 생성부(630)가 생성한 뇌파의 패턴과 뇌파 분류기 학습 장치(110)가 학습하여 설정한 분류기를 이용하여 사용자가 상상한 단어를 예측할 수 있다. 구체적으로, 단어 예측부(640)는 분류기에서 뇌파의 패턴과 유사도가 가장 높은 패턴을 검색하고, 검색한 패턴에 매칭된 단어를 사용자가 상상한 단어로 예측할 수 있다.
도 7은 본 발명의 일실시예에 따른 뇌파 분석 장치의 동작 일례이다.
먼저, 뇌파 정보 획득부(610)는 뇌파 측정 장치(120)로 단어를 상상한 사용자의 뇌파를 측정하여 사용자의 뇌파 정보(710)를 획득할 수 있다.
다음으로, 뇌파 정보 변환부(620)는 뇌파 정보(710)에 시간-주파수 분석을 적용하여 뇌파 정보(710)를 3차원 정보로 변환할 수 있다. 이때, 뇌파 정보 변환부(620)는 뇌파 정보(710)를 일정 시간 간격으로 그룹화하여 3차원 정보로 변환할 수 있다. 예를 들어, 뇌파 정보 변환부(620)는 뇌파 정보(710)를 50ms 간격으로 시간-주파수 분석을 적용할 수 있다.
이때, 패턴 생성부(630)는 뇌파 정보 변환부(620)가 변환한 뇌파 정보(720)를 기 설정된 크기가 될 때까지 누적시킬 수 있다. 예를 들어, 패턴 생성부(630)는 도 7에 도시된 바와 같이 50ms 간격으로 변환된 뇌파 정보의 크기가 2s 이상이 될 때까지 뇌파 정보들을 누적시킬 수 있다.
누적된 뇌파 정보(730)들의 크기가 기 설정된 크기인 2s까지 증가한 경우, 패턴 생성부(630)는 누적한 뇌파 정보를 정규화할 수 있다. 또한, 누적한 뇌파 정보(730)의 크기가 기 설정된 크기를 초과하는 경우, 패턴 생성부(630)는 누적한 뇌파 정보들(730) 중에서 가장 먼저 누적한 뇌파 정보(735)를 삭제하고, 가장 최근에 변환된 뇌파 정보(720)를 누적하여 누적한 뇌파 정보(730)의 크기를 기 설정된 크기로 유지할 수 있다.
그리고, 패턴 생성부(630)는 정규화된 뇌파 정보(740)를 기 설정된 주파수 범위, 및 시간 범위에 따라 그룹화하여 패턴(750)을 생성할 수 있다.
도 8은 본 발명의 일실시예에 따른 뇌파 분석 장치의 단어 예측부의 동작 일례이다.
단어 예측부(640)는 패턴 생성부(630)가 생성한 뇌파의 패턴(810)과 뇌파 분류기 학습 장치(110)가 학습하여 설정한 분류기(820)를 이용하여 사용자가 상상한 단어를 예측할 수 있다. 구체적으로, 단어 예측부(640)는 뇌파의 패턴(810)과 분류기(810)에 설정된 패턴 간의 유사도, 또는 정확도(830)를 결정할 수 있다. 그리고, 단어 예측부(640)는 유사도, 또는 정확도(830)가 가장 높은 패턴에 매칭된 단어를 사용자가 상상한 단어로 예측할 수 있다. 예를 들어, 분류기(810)에 설정된 패턴들 중 패턴(810)과 가장 유사도가 높은 패턴은 도 8에 도시된 바와 같이 '십'이므로, 단어 예측부(640)는 사용자가 상상한 단어를 '십'으로 예측할 수 있다.
도 9는 본 발명의 일실시예에 따른 뇌파 분류기 학습 방법을 도시한 플로우차트이다.
도 9는 단어 제공부(220)가 단어가 기재된 화면을 이용하여 사용자에게 단어를 제공할 경우, 뇌파 분류기를 학습하는 방법의 일례이다.
단계(910)에서 단어 제공부(220)는 단어가 기재된 제1 화면, 및 사용자의 시선을 고정시킬 수 있는 오브젝트가 기재된 제2 화면을 교대로 표시할 수 있다.
단계(920)에서 뇌파 정보 추출부(230)는 단계(910)에서 제1 화면, 또는 제2 화면이 표시되는 동안 뇌파 측정 장치(120)로부터 수신한 사용자의 뇌파 정보를 시간에 따라 복수의 구간들로 분할할 수 있다.
단계(930)에서 뇌파 정보 추출부(230)는 단계(920)에서 분할된 구간들 중에서 제1 화면이 표시된 시간의 구간을 추출할 수 있다. 이때, 뇌파 정보 추출부(230)는 뇌파 정보에 포함된 뇌파를 측정한 시간과 제1 화면을 표시한 시간을 비교하여 단어가 제공된 시간의 구간을 추출할 수 있다. 또한, 뇌파 정보 추출부(230)는 제1 화면을 표시한 시간의 이전 구간, 및 이후 구간에서 측정한 뇌파 정보를 추출할 수 있다.
단계(940)에서 뇌파 정보 변환부(240)는 단계(930)에서 추출한 뇌파 정보에 시간-주파수 분석을 적용하여 뇌파 정보를 3차원 정보로 변환할 수 있다. 예를 들어, 뇌파 정보 변환부(240)는 7.5ms씩 이동하는 0.5s 길이의 윈도우 타입의 뇌파 정보에 대해 단시간 푸리에 변환을 적용하여 채널x주파수x시간의 3차원 정보로 변환할 수 있다.
단계(950)에서 패턴 생성부(250)는 단계(940)에서 3차원 정보로 변환된 뇌파 정보를 단어가 제공된 시간의 이전 구간의 뇌파 정보를 기준으로 정규화할 수 있다.
구체적으로, 단어가 제공된 시간을 0s로 설정한 경우, 패턴 생성부(250)는 3차원 정보로 변환된 뇌파 정보의 채널 각각의 모든 주파수에 대하여 0s 이전 값의 평균을 채널 각각의 대표 값으로 설정할 수 있다. 이때, 패턴 생성부(250)는 설정한 대표값을 이용하여 채널 각각의 주파수 별로 모든 시간에 대해 정규화 기법을 적용할 수 있다.
단계(960)에서 패턴 생성부(250)는 단계(950)에서 정규화된 뇌파 정보를 뇌파 정보를 측정한 채널 별로 기 설정된 주파수 범위, 및 시간 범위에 따라 그룹화하여 패턴을 생성할 수 있다.
단계(970)에서 분류기 설정부(260)는 단계(940)에서 생성한 뇌파의 패턴과 단계(910)에서 제1 화면에 기재된 단어를 이용하여 사용자의 뇌파를 분류하는 분류기를 설정하고 학습 시킬 수 있다.
도 10은 본 발명의 일실시예에 따른 뇌파 분석 방법을 도시한 플로우차트이다.
단계(1010)에서 뇌파 정보 획득부(610)는 뇌파 측정 장치(120)로 단어를 상상한 사용자의 뇌파를 측정하여 사용자의 뇌파 정보를 획득할 수 있다.
단계(1020)에서 뇌파 정보 변환부(620)는 단계(1010)에서 획득한 뇌파 정보에 시간-주파수 분석을 적용하여 뇌파 정보를 3차원 정보로 변환할 수 있다. 이때, 뇌파 정보 변환부(620)는 뇌파 정보 획득부(610)가 획득한 뇌파 정보를 일정 시간 간격으로 그룹화하여 3차원 정보로 변환할 수 있다.
단계(1030)에서 패턴 생성부(630)는 단계(1020)에서 변환한 뇌파 정보를 기 설정된 크기가 될 때까지 누적시킬 수 있다.
단계(1040)에서 패턴 생성부(630)는 단계(1030)에서 기 설정된 크기까지 누적한 뇌파 정보를 정규화할 수 있다. 또한, 누적한 뇌파 정보의 크기가 기 설정된 크기를 초과하는 경우, 패턴 생성부(630)는 누적한 뇌파 정보 중에서 가장 먼저 누적한 뇌파 정보를 삭제하고, 가장 최근에 변환된 뇌파 정보를 누적하여 누적한 뇌파 정보의 크기를 기 설정된 크기로 유지할 수 있다.
단계(1050)에서 패턴 생성부(630)는 단계(1040)에서 정규화된 뇌파 정보를 기 설정된 주파수 범위, 및 시간 범위에 따라 그룹화하여 패턴을 생성할 수 있다.
단계(1060)에서 단어 예측부(640)는 단계(1050)에서 생성한 뇌파의 패턴과 뇌파 분류기 학습 장치(110)가 학습하여 설정한 분류기를 이용하여 사용자가 상상한 단어를 예측할 수 있다. 구체적으로, 단어 예측부(640)는 분류기에서 뇌파의 패턴과 유사도가 가장 높은 패턴을 검색하고, 검색한 패턴에 매칭된 단어를 사용자가 상상한 단어로 예측할 수 있다.
본 발명은 사용자에게 단어를 표시하고, 단어를 본 사용자의 뇌파를 측정하여 뇌파 분류기를 생성함으로써, 외인성 변화를 사용할 때와 같이 별도의 외부 자극 없이도 사용자의 뇌파에 대응하는 단어를 매칭하여 학습시킬 수 있다.
또한, 본 발명은 뜻을 가진 단어를 사용자의 뇌파의 패턴과 매칭하여 뇌파 분류기를 학습함으로써, 측정한 사용자의 뇌파 및 뇌파 분류기를 이용하여 사용자가 상상한 단어를 예측할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
110: 뇌파 분류기 학습 장치
120: 뇌파 측정 장치
130: 뇌파 분석 장치

Claims (12)

  1. 사용자가 상상할 단어를 사용자에게 제공하는 단계;
    상기 단어를 제공하는 동안 측정한 사용자의 뇌파 정보를 추출하는 단계;
    상기 뇌파 정보에 단시간 푸리에 변환을 적용하여 채널 x시간의 2차원 정보인 상기 뇌파 정보를 채널 x주파수x시간의 3차원 정보로 변환하는 단계;
    3차원 정보로 변환된 뇌파 정보를 채널 별로 시간, 주파수에 따라 그룹화하여 뇌파의 패턴을 생성하는 단계; 및
    상기 뇌파의 패턴과 상기 단어를 이용하여 사용자의 뇌파를 분류하는 분류기를 설정하는 단계
    를 포함하고,
    상기 뇌파의 패턴을 생성하는 단계는,
    상기 사용자에게 단어를 제공한 시간이 0s인 경우, 3차원 정보로 변환된 뇌파 정보의 채널 각각의 모든 주파수에 대하여 0s 이전 값의 평균을 채널 각각의 대표 값으로 설정하는 단계;
    기 설정된 크기가 될 때까지 상기 3차원 정보로 변환된 뇌파 정보를 누적시키는 단계;
    기 설정된 크기로 누적된 뇌파 정보의 채널 각각의 주파수들에 대해 상기 대표값을 이용한 정규화 기법을 적용하여 정규화된 뇌파 정보를 결정하는 단계; 및
    상기 정규화된 뇌파 정보를 기 설정된 주파수 범위, 및 시간 범위에 따라 그룹화하여 패턴을 생성하는 단계
    를 포함하는 뇌파 분류기 학습 방법.
  2. 제1항에 있어서,
    상기 제공하는 단계는,
    상기 단어가 기재된 화면, 및 사용자의 시선을 고정시킬 수 있는 오브젝트가 기재된 화면을 교대로 표시하는 뇌파 분류기 학습 방법.
  3. 제1항에 있어서,
    상기 추출하는 단계는,
    측정한 사용자의 뇌파 정보를 시간에 따라 복수의 구간들로 분할하는 단계; 및
    분할된 구간들 중에서 상기 단어가 제공된 시간의 구간을 추출하는 단계
    를 포함하는 뇌파 분류기 학습 방법.
  4. 제3항에 있어서,
    상기 추출하는 단계는,
    상기 단어가 제공된 시간의 이전 구간에서 측정한 뇌파 정보를 추출하는 단계
    를 더 포함하는 뇌파 분류기 학습 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 분류기를 설정하는 단계는,
    3차원 정보로 생성된 뇌파의 패턴을 1차원 정보로 변환하는 단계;
    1차원 정보로 변환된 패턴과 상기 단어를 매칭하는 단계; 및
    상기 단어와 매칭된 패턴을 이용하여 상기 분류기를 설정하는 단계
    를 포함하는 뇌파 분류기 학습 방법.
  7. 단어를 상상한 사용자의 뇌파를 측정하여 뇌파 정보를 획득하는 단계;
    상기 뇌파 정보에 단시간 푸리에 변환을 적용하여 채널 x시간의 2차원 정보인 상기 뇌파 정보를 채널 x주파수x시간의 3차원 정보로 변환하는 단계;
    3차원 정보로 변환된 뇌파 정보를 채널 별로 시간, 주파수에 따라 그룹화하여 뇌파의 패턴을 생성하는 단계; 및
    상기 뇌파의 패턴과 뇌파를 분류하는 분류기를 이용하여 사용자가 상상한 단어를 예측하는 단계
    를 포함하고,
    상기 패턴을 생성하는 단계는,
    상기 사용자에게 단어를 제공한 시간이 0s인 경우, 3차원 정보로 변환된 뇌파 정보의 채널 각각의 모든 주파수에 대하여 0s 이전 값의 평균을 채널 각각의 대표 값으로 설정하는 단계;
    기 설정된 크기가 될 때까지 상기 3차원 정보로 변환된 뇌파 정보를 누적시키는 단계;
    기 설정된 크기로 누적된 뇌파 정보의 채널 각각의 주파수들에 대해 상기 대표값을 이용한 정규화 기법을 적용하여 정규화된 뇌파 정보를 결정하는 단계; 및
    상기 정규화된 뇌파 정보를 기 설정된 주파수 범위, 및 시간 범위에 따라 그룹화하여 패턴을 생성하는 단계
    를 포함하는 뇌파 분석 방법.
  8. 삭제
  9. 제7항에 있어서,
    상기 패턴을 생성하는 단계는,
    상기 누적한 뇌파 정보의 크기가 기 설정된 크기를 초과하는 경우, 누적한 뇌파 정보 중에서 가장 먼저 누적한 뇌파 정보를 삭제하고, 가장 최근에 변환된 뇌파 정보를 누적하여 상기 누적한 뇌파 정보의 크기를 상기 기 설정된 크기로 유지하는 단계
    를 더 포함하는 뇌파 분석 방법.
  10. 제7항에 있어서,
    상기 예측하는 단계는,
    상기 분류기에서 상기 뇌파의 패턴과 유사도가 가장 높은 패턴을 검색하고, 검색한 패턴에 매칭된 단어를 상기 사용자가 상상한 단어로 예측하는 뇌파 분석 방법.
  11. 제7항에 있어서,
    상기 분류기는,
    사용자가 상상할 단어를 사용자에게 제공하고, 상기 단어를 제공하는 동안 측정한 사용자의 뇌파 정보를 이용하여 뇌파의 패턴을 생성하며, 상기 뇌파의 패턴과 상기 단어를 매칭하여 설정되는 뇌파 분석 방법.
  12. 사용자가 상상할 단어를 사용자에게 제공하고, 상기 단어를 제공하는 동안 측정한 사용자의 뇌파 정보에 단시간 푸리에 변환을 적용하여 채널 x시간의 2차원 정보인 상기 뇌파 정보를 채널 x주파수x시간의 3차원 정보로 변환하며, 상기 사용자에게 단어를 제공한 시간이 0s인 경우, 3차원 정보로 변환된 뇌파 정보의 채널 각각의 모든 주파수에 대하여 0s 이전 값의 평균을 채널 각각의 대표 값으로 설정하고, 기 설정된 크기가 될 때까지 상기 3차원 정보로 변환된 뇌파 정보를 누적시키며, 기 설정된 크기로 누적된 뇌파 정보의 채널 각각의 주파수들에 대해 상기 대표값을 이용한 정규화 기법을 적용하여 정규화된 뇌파 정보를 결정하고, 상기 정규화된 뇌파 정보를 기 설정된 주파수 범위, 및 시간 범위에 따라 그룹화하여 뇌파의 패턴을 생성하며, 상기 뇌파의 패턴과 상기 단어를 매칭하여 분류기를 학습하는 뇌파 분류기 학습 장치; 및
    단어를 상상한 사용자의 뇌파를 측정하여 획득한 뇌파 정보에 단시간 푸리에 변환을 적용하여 채널 x시간의 2차원 정보인 상기 뇌파 정보를 채널 x주파수x시간의 3차원 정보로 변환하며, 3차원 정보로 변환된 뇌파 정보의 채널 각각의 모든 주파수에 대하여 0s 이전 값의 평균을 채널 각각의 대표 값으로 설정하고, 기 설정된 크기가 될 때까지 상기 3차원 정보로 변환된 뇌파 정보를 누적시키며, 기 설정된 크기로 누적된 뇌파 정보의 채널 각각의 주파수들에 대해 상기 대표값을 이용한 정규화 기법을 적용하여 정규화된 뇌파 정보를 결정하고, 상기 정규화된 뇌파 정보를 기 설정된 주파수 범위, 및 시간 범위에 따라 그룹화하여 뇌파의 패턴을 생성하고, 상기 뇌파의 패턴과 상기 분류기를 이용하여 사용자가 상상한 단어를 예측하는 뇌파 분석 장치
    를 포함하는 뇌파를 이용한 사용자 의도 예측 시스템.
KR1020150150376A 2015-10-28 2015-10-28 뇌파를 이용한 사용자 의도 예측 시스템 및 그 방법 KR101724939B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150150376A KR101724939B1 (ko) 2015-10-28 2015-10-28 뇌파를 이용한 사용자 의도 예측 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150150376A KR101724939B1 (ko) 2015-10-28 2015-10-28 뇌파를 이용한 사용자 의도 예측 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR101724939B1 true KR101724939B1 (ko) 2017-04-07

Family

ID=58583355

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150150376A KR101724939B1 (ko) 2015-10-28 2015-10-28 뇌파를 이용한 사용자 의도 예측 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101724939B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509033A (zh) * 2018-03-13 2018-09-07 广东欧珀移动通信有限公司 信息处理方法及相关产品
CN108519810A (zh) * 2018-03-07 2018-09-11 广东欧珀移动通信有限公司 电子装置、脑电波解锁方法及相关产品
KR20180123365A (ko) * 2017-05-08 2018-11-16 고려대학교 산학협력단 문맥 인식형 뇌-기계 인터페이스 장치 및 방법
KR20200059129A (ko) * 2018-11-20 2020-05-28 고려대학교 산학협력단 딥러닝 기반의 뇌-컴퓨터 인터페이스를 위한 공간-주파수 특징맵을 생성하는 장치 및 방법
KR102285546B1 (ko) 2021-01-13 2021-08-03 한밭대학교 산학협력단 딥러닝 기반의 뇌파 특징량 정규화 시스템 및 방법
KR20210154694A (ko) 2020-06-12 2021-12-21 고려대학교 산학협력단 집중 레벨에 따른 뇌 활성도에 기반하여 사용자의 의도를 판단하는 뇌 컴퓨터 인터페이스 장치 및 동작 방법
KR20210154759A (ko) 2020-06-12 2021-12-21 고려대학교 산학협력단 사용자 의도를 고려하여 측정 채널을 맞춤형으로 선택하는 뇌 컴퓨터 인터페이스 장치 및 그 동작 방법
US11269413B2 (en) 2018-11-07 2022-03-08 Korea University Research And Business Foundation Brain-computer interface system and method for decoding user's conversation intention using the same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080075299A (ko) * 2007-02-12 2008-08-18 한국과학기술원 뇌파를 이용한 단어 인식 시스템 및 단어 인식 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080075299A (ko) * 2007-02-12 2008-08-18 한국과학기술원 뇌파를 이용한 단어 인식 시스템 및 단어 인식 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이우현 외, "문자의 시청각적 상삿에 의한 뇌파 신호 데이터 분석"* *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180123365A (ko) * 2017-05-08 2018-11-16 고려대학교 산학협력단 문맥 인식형 뇌-기계 인터페이스 장치 및 방법
KR101939369B1 (ko) * 2017-05-08 2019-01-16 고려대학교 산학협력단 문맥 인식형 뇌-기계 인터페이스 장치 및 방법
CN108519810B (zh) * 2018-03-07 2021-04-09 Oppo广东移动通信有限公司 电子装置、脑电波解锁方法及相关产品
CN108519810A (zh) * 2018-03-07 2018-09-11 广东欧珀移动通信有限公司 电子装置、脑电波解锁方法及相关产品
CN108509033B (zh) * 2018-03-13 2021-06-01 Oppo广东移动通信有限公司 信息处理方法及相关产品
CN108509033A (zh) * 2018-03-13 2018-09-07 广东欧珀移动通信有限公司 信息处理方法及相关产品
US11269413B2 (en) 2018-11-07 2022-03-08 Korea University Research And Business Foundation Brain-computer interface system and method for decoding user's conversation intention using the same
US11687157B2 (en) 2018-11-07 2023-06-27 Korea University Research And Business Foundation Brain-computer interface system and method for recognizing conversation intention of user using the same
KR20200059129A (ko) * 2018-11-20 2020-05-28 고려대학교 산학협력단 딥러닝 기반의 뇌-컴퓨터 인터페이스를 위한 공간-주파수 특징맵을 생성하는 장치 및 방법
KR102300459B1 (ko) * 2018-11-20 2021-09-10 고려대학교 산학협력단 딥러닝 기반의 뇌-컴퓨터 인터페이스를 위한 공간-주파수 특징맵을 생성하는 장치 및 방법
KR20210154694A (ko) 2020-06-12 2021-12-21 고려대학교 산학협력단 집중 레벨에 따른 뇌 활성도에 기반하여 사용자의 의도를 판단하는 뇌 컴퓨터 인터페이스 장치 및 동작 방법
KR20210154759A (ko) 2020-06-12 2021-12-21 고려대학교 산학협력단 사용자 의도를 고려하여 측정 채널을 맞춤형으로 선택하는 뇌 컴퓨터 인터페이스 장치 및 그 동작 방법
KR102285546B1 (ko) 2021-01-13 2021-08-03 한밭대학교 산학협력단 딥러닝 기반의 뇌파 특징량 정규화 시스템 및 방법

Similar Documents

Publication Publication Date Title
KR101724939B1 (ko) 뇌파를 이용한 사용자 의도 예측 시스템 및 그 방법
CN109730701B (zh) 一种情绪数据的获取方法及装置
US10403282B2 (en) Method and apparatus for providing voice service
KR101842750B1 (ko) 뇌파 훈련을 위한 실시간 시뮬레이터 및 이를 이용한 인터페이스 장치
US20180018974A1 (en) System and method for detecting tantrums
KR20190049401A (ko) 신원 인증 방법, 단말기 장치 및 컴퓨터 판독 가능한 저장 매체
JP4546767B2 (ja) 感情推定装置及び感情推定プログラム
US20210228141A1 (en) Knowledge discovery based on brainwave response to external stimulation
US10983595B2 (en) Computer system for acquiring a control command
CN107209807A (zh) 疼痛管理可穿戴设备
KR101293446B1 (ko) 움직임을 상상하는 뇌파 분류 방법 및 그 장치
US10806393B2 (en) System and method for detection of cognitive and speech impairment based on temporal visual facial feature
Thabet et al. Enhanced smart doorbell system based on face recognition
KR20220104672A (ko) 사용자 상태를 예측하기 위한 방법 및 그 장치
Panetta et al. Software architecture for automating cognitive science eye-tracking data analysis and object annotation
KR101524918B1 (ko) 생체 신호를 이용한 감정 인식 방법 및 그 장치
CN114259255B (zh) 一种基于频域信号与时域信号的模态融合胎心率分类方法
KR102344875B1 (ko) 수면상태에 따라 주파수 대역과 조도를 결정하고, 결정된 주파수 대역에 따른 음악과 조도에 따른 조명을 제공하는 방법 및 장치
CN113764099A (zh) 基于人工智能的心理状态分析方法、装置、设备及介质
Sultana et al. A non-hierarchical approach of speech emotion recognition based on enhanced wavelet coefficients and K-means clustering
CN109784157B (zh) 一种图像处理方法、装置及系统
JP6628341B2 (ja) 意思解読装置及び意思伝達支援装置
JP7263770B2 (ja) 分類装置、分類システム、分類方法及びプログラム
CN109344289B (zh) 用于生成信息的方法和装置
CN112396114A (zh) 一种测评系统、测评方法及相关产品

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant