KR101517007B1 - 기능성 게임을 위한 ｂｃｉ 입력 인터페이스 시스템 및 방법 - Google Patents

기능성 게임을 위한 ｂｃｉ 입력 인터페이스 시스템 및 방법 Download PDF

Info

Publication number
KR101517007B1
KR101517007B1 KR1020130149047A KR20130149047A KR101517007B1 KR 101517007 B1 KR101517007 B1 KR 101517007B1 KR 1020130149047 A KR1020130149047 A KR 1020130149047A KR 20130149047 A KR20130149047 A KR 20130149047A KR 101517007 B1 KR101517007 B1 KR 101517007B1
Authority
KR
South Korea
Prior art keywords
bci
signal
eeg
wave
brain
Prior art date
Application number
KR1020130149047A
Other languages
English (en)
Inventor
황보택근
최규남
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Priority to KR1020130149047A priority Critical patent/KR101517007B1/ko
Application granted granted Critical
Publication of KR101517007B1 publication Critical patent/KR101517007B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

본 발명은 기능성 게임을 위한 BCI 입력 인터페이스 시스템 및 방법에 관한 것으로, 착용한 사용자의 뇌의 표면에서 다수의 검출 전극(Electrodes)에 의해 뇌의 신경 세포로부터 발생하는 미세한 뇌파 신호를 측정하여 증폭기(Amplifier)에 의해 증폭하고, 증폭된 뇌파 신호를 FFT 변환한 후 필터(Filter)에 의해 주파수대역별로 필터링하여 δ파(4 Hz 미만), θ파(4 ~ 7.99 Hz), α파(8 ~ 12.99 Hz), β파(13 ~ 29.99 Hz), γ파(30~50 Hz)를 분류하고, 분류된 뇌파 신호를 A/D 변환하여 마이크로 콘트롤러와 블루투스 송수신기를 통해 검출된 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 전송하는 EEG 검출 장치로 사용되는 BCI 헤드셋; 상기 EEG 검출 장치로 사용되는 BCI 헤드셋으로부터 블루투스 무선 통신을 통해 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 수신받고, 각각의 회사에 맞는 여러 종류의 BCI 헤드셋 드라이버(예: Mindset Driver, Huboro Driver, Standard Driver 등)에서 정의된 MFER(Medical Waveform Format Encoding Rules) 프로토콜에 따른 데이타의 구조로 변환하며, 변환된 신호를 코멘드 디코더(Command Decoder)에 의해 분석되어 도어 개폐, 전진/후진/좌회전/우회전의 제어 명령으로 변환되어 블루투스 송수신기를 통해 BCI 신호와 관련된 제어 명령을 전달하는 게이트웨이; 및 상기 EEG 검출 장치로 사용되는 BCI 헤드셋으로부터 블루투스 무선 통신을 통해 상기 게이트웨이로부터 디코딩된 제어 명령을 수신받아, 기 설정된 명령 실행 구조에 따라 자동차의 도어 개폐, 전진/후진/좌회전/우회전의 제어 명령을 실행하는 임베디드 시스템을 구비하는 임베디드 콘트롤 자동차를 포함한다. 이번 연구를 통하여 BCI(뇌-컴퓨터 인터페이스)를 이용한 다양한 EEG 검출 장치로 사용되는 BCI 헤드셋의 통신 프로토콜을 분석하였으며, 다양한 EEG 검출 장치로 사용되는 헤드셋(예: 뉴로스카이사의 헤드셋과 휴보로의 헤드셋 등)을 위한 통일된 BCI 입력 인터페이스를 제안하여 BCI 관련 임베디드 시스템을 제어할 수 있게 됐다.

Description

기능성 게임을 위한 ＢＣＩ 입력 인터페이스 시스템 및 방법{BCI input interface system and method for serious game}
본 발명은 기능성 게임을 위한 BCI(Brain-Computer Interface) 입력 인터페이스 시스템 및 방법에 관한 것으로, 보다 상세하게는 EEG(Electroencephalogram) 검출 장치로 사용되는 각각의 헤드셋의 프로토콜을 분석하여 의료표준에서 사용되고 있는 MFER(Medical Waveform Format Encoding Rules) 기반의 표준화된 BCI 입력 인터페이스를 제공하기 위한, 기능성 게임을 위한 BCI 입력 인터페이스 시스템 및 방법에 관한 것이다.
Brain-Computer Interface(BCI, 뇌-컴퓨터 인터페이스)는 새롭게 떠오르는 기술로써, 신체적 장애나 불편함이 있는 이들에게 세상과 소통할 수 있게 하는 방법을 제공한다. 최근 사용자에게 게임 플레이를 통한 재미를 주는 것과 유의미한 기능을 동시에 제공하는 '대안적인 게임'이라 불리는 기능성 게임의 인터페이스로 주목받고 있으며, 영화 Matrix', 'Avatar' 등에서 핵심 소재로 소개되기까지 하면서 일반인에 대한 연구에서 상용화까지 굉장한 관심을 받고 있다. 또한, 그 명칭과 정의는 BMI(Brain Machine Interface), BRI(Brain Robot Interface)로 불리기도 하며 계속하여 더 많은 분야를 포함하는 개념으로 확장되고 있다. 현재, BCI 기술은 기능성 게임 뿐만아니라, 장난감, MP3 플레이어, 웰니스, 헬스케어, ADHD(Attention Decifit/Hyperactivity Disorder, 주의력 결핍/과잉행동장애) 등의 정신질환 치료 이외에 교육, 스포츠, 수면치료, 학교, 마케팅, 교육, 전시, 쇼핑 등 다양한 방면에 응용되고 있다.
BCI 시스템의 구성요소는 크게 4가지로 구성된다. 첫 번째는 사용자로서, 두뇌를 통해 콘트롤하고자 하는 의식을 생성하고, 최종 제어된 내용을 감지하여 다시 의식을 제어하게 된다. 두 번째는 신호 획득으로 여러 가지 방법으로 두뇌의 시그널을 감지하여 시스템에서 처리할 수 있는 값으로 이진화하게 된다. 세 번째는 신호 처리(Signal Processing) 부분으로 특징들을 뽑아내고 패턴을 인식하는 알고리즘 부분이다. 네 번째는 Application 부분으로 작성된 알고리즘을 실행에 옮기게 되며, 사용자로 하여금 다시 의식을 생성하게 만든다.
BCI 기술의 분류 방법은 여러 가지 방법이 있지만, 뇌파 측정 부위에 따라 크게 침습형과 비침습형으로 구분된다. 침습형은 마이크로 칩을 두피에 시술해 뇌파를 측정하며, 정확한 측정이 가능하지만 시술이 필요하고, 외과적 부작용이 있을 수 있다. 비침습형은 헬멧이나 헤드셋 형태의 장비로 뇌파를 측정하여 간편하지만, 잡신호가 섞이는 것이 필연적이며, 정확한 측정이 힘든 단점이 있다. 현재 대부분의 상용화 방식은 비침습형 방식으로 만들어지고 있다.
해외에서는 BCI 인터페이스를 상용화한 NeuroSky, Ocz Technology, 이모티브 등의 회사가 등장하였으며, 국내에서는 휴보로(huboro), 소소 등의 업체가 BCI 헤드셋을 상용화하였다. 이러한 여러 업체의 헤드셋은 서로 호환이 되지 않아서 자사의 소프트웨어만 사용할 수 있고, 사용자가 다른 어플리케이션을 서비스 받고자 할 경우 또 다른 헤드셋을 구매해야만 하는 비용의 문제가 발생하게 된다. 만약, 이런 BCI 인터페이스의 표준화가 이루어진다면, 하나의 헤드셋을 구매하여도 여러 가지 BCI 관련 어플리케이션을 사용할 수 있으며, 다른 헤드셋을 가지고 있는 사용자끼리의 대전도 가능하게 된다.
1. 관련 연구
BCI 헤드셋 제품으로 여러 회사에서 다양한 제품을 발표하였지만, 본 연구에서는 국외 제품은 뉴로스카이(NeuroSky)의 마인드플레이(MindPlay)와, 국내 제품은 휴보로(Huboro)의 H-Brain 제품을 검토하였다. 그리고, MFER에 대해서 소개한다. 뇌파를 이용한 게임성 테스트는 BCI를 이용한 게임성에 대한 연구에서 이루진 바 있다.
1.1 뉴로스카이의 마인드플레이
뉴로스카이(www.NeuroSky.com)는 2004년 미국 실리콘밸리에 설립되었으며, 뇌파를 측정처리해 제어 신호로 만드는 제품을 개발해왔다. 뇌파 측정과 분석 기술을 이용, 인간의 인지 상태감정 및 감성 변화를 측정하고 이를 제어 신호로 변환함으로써 컴퓨터게임, 장난감 등을 작동하는 뉴로(Neuro) 인터페이스 기술 뉴로 헤드셋을 상용화하는데 성공하였다. 뉴로스카이 마인드셋은 인간의 뇌파상태를 화면으로 확인하고, 두뇌훈련을 통해 궁극적으로 집중력을 향상시키는 장치다. 음악을 들으면서 자신의 뇌파가 어떻게 변화하는지 확인하거나, 게임 속 물체를 움직이면서 정신을 집중할 수 있다.
도 1은 기존 뉴로스카이(Neurosky)의 마인드플레이(Mindplay)의 예를 나타낸 도면이다.
실험을 통해 EEG 검출 장치로 사용되는 뉴로스카이의 헤드셋은 표1과 같은 포맷으로 데이터를 전송한다.
Figure 112013110528544-pat00001
EEG 검출 장치로 사용되는 헤드셋에서 전달되는 시그널은 싱크헤더(Sync), 길이(Length), 페이로드(Payload, 주의력 값), 블루투스의 시그널 파워(Power), 및 체크섬(C/S)으로 구성된다. 헤드셋에서 전달되는 시그널은 0xAA, 0xAA의 싱크헤더를 가지고 반복하여 시그널을 전달한다. 다음으로는 전달하려는 값의 길이(length)를 넘겨준다. 여기에서는 길이는 4바이트를 표시하고 있다. 그 다음의 0x04는 주의력 값을 나타낸다. 전체를 100%로 보고 0x56은 86%를 나타낸다. 다음의 0x02는 블루투스 시그널의 파워를 나타낸다. 0x00은 정상 상태를 나타낸다. 다음은 데이터값의 체크섬(C/S)을 나타낸다. 데이터를 모두 더해서 255에서 뺀 값을 나타낸다. 그러므로 모든 값을 더하게 되면 0xFF값이 나오게 된다. 이 외에도 Index 0x05의 값은 눈깜박임의 정도를 나타내고, 1초에 한 번씩 주기적으로 뇌파의 델타, 세타, 알파, 베타, 감마파의 측정치를 3바이트로 나누어 전달한다.
2.2 휴보로의 H-Brain
2009년 설립된 휴보로의 헤드셋은 두뇌집중 HW/SW 플랫폼(H-Brain)을 보유하고 있다. 생체인식 기반 기술을 통해 뇌파의 집중력을 모니터링하고 눈 깜박임과 같은 근전도를 이용하여 좌우 이동이 가능하다.
도 2는 기존 휴보로(Huboro)의 두뇌집중 HW/SW 플랫폼(H-Brain)을 나타낸 도면이다.
실험을 통해 EEG 검출 장치로 사용되는 휴보로의 헤드셋은 표2와 같은 포맷으로 데이터를 전송한다.
Figure 112013110528544-pat00002
휴보로의 헤드셋은 핸드쉐이크 방식으로 호스트 컴퓨터(Host)에서 보내주는 명령에 따라 헤드셋에서 응답하는 형식으로 구현되어 있었다. 그러므로 처음에 0x02 명령을 보내 리셋을 하고, 0x03 명령을 주게 되면 약 500msec 이후에 실측된 EEG 데이터가 전송되었다. EEG 데이터를 수신받지 않기 위해 0x05 명령을 전달하였으며, 헤드셋의 밧데리 상태를 알기 위해 0x06 데이터를 송신하였다.
2.3 MFER
ECG(Electrocrdiogram, 심전도)나 EEG(Electroencephalogram, 뇌전도)와 같은 생체 신호는 사용자의 상태를 진단하는데 흔히 사용된다. 연구환자의 상태를 명확히 진단하기 위해 하나의 장비가 아닌 여러 의료 장비로부터 취득한 서로 다른 신호를 디지털화하여 저장하고 공유할 수 있어야 한다.
기존의 의료 표준이 의료 파형을 포함하지 않는 것은 아니나, 의료 파형 특성에 맞게 충분히 효율적인 구조를 제공하지 못한다. JAHIS(Japanese Association for Healthcare Information System Industry)에서 의료 파형 정보에 적합한 표준안을 제시하였는데, 이것이 MFER(Medical waveform Format Encoding Rules)이다. 기존 표준을 이용할 경우, 의료 파형을 인코딩 및 디코딩이 효율적이지 않다. 이러한 이유로 대부분의 의료 장비 제조 회사는 회사 고유의 방식을 사용한다. 그러나, 각 회사의 고유 방식이 공개되지 않는 경우가 많아 서로 다른 제조사의 장비에서 오는 정보들은 서로 공유하기에 어려움이 있었고, 여러 신호를 통합 분석하기 위해 센서 장비부터 중앙 게이트웨이(gateway)까지 모두 동일 회사의 장비를 사용해야 했던 문제점이 있었다.
특허공개번호 10-2013-0101604
상기 문제점을 해결하기 위한 본 발명은 EEG 검출 장치로 사용되는 각각의 헤드셋의 프로토콜을 분석하여 의료표준에서 사용되고 있는 MFER(Medical Waveform Format Encoding Rules) 기반의 표준화된 프로토콜을 제안하여 BCI 입력 인터페이스를 제공하는, 기능성 게임을 위한 BCI 입력 인터페이스 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명의 목적을 달성하기 위해, 기능성 게임을 위한 BCI 입력 인터페이스 시스템은, 착용한 사용자의 뇌의 표면에서 다수의 검출 전극(Electrodes)에 의해 뇌의 신경 세포로부터 발생하는 미세한 뇌파 신호를 측정하여 증폭기에 의해 증폭하고, 증폭된 뇌파 신호를 FFT 변환한 후 필터(Filter)에 의해 주파수대역별로 필터링하여 δ파(4 Hz 미만), θ파(4 ~ 7.99 Hz), α파(8 ~ 12.99 Hz), β파(13 ~ 29.99 Hz), γ파(30~50 Hz)를 분류하고, 분류된 뇌파 신호를 A/D 변환하며, 마이크로 콘트롤러에 의해 상기 BCI 신호(뇌파의 신호)를 FFT를 통해 변환된 주파수대역에 기초하여 두 뇌파(β파,θ파)와 SMR파(S)를 통해 집중력지표(T)
Figure 112014109229349-pat00021
를 산출하여 뇌파의 집중력(T)을 구하여 0% ~ 100%의 백분율로 나타내며, 뇌파 추출이 진행되는 동안 근전도를 추출하여 일정시간 동안 눈 깜박임 횟수를 산출하고, 상기 마이크로 콘트롤러와 블루투스 송수신기를 통해 검출된 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 전송하는 EEG 검출 장치로 사용되는 BCI 헤드셋; 상기 EEG 검출 장치로 사용되는 BCI 헤드셋으로부터 블루투스 무선 통신을 통해 상기 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 수신받고, 여러 종류의 BCI 헤드셋 드라이버(예: Mindset Driver, Huboro Driver, Standard Driver 등)에서 정의된 MFER(Medical Waveform Format Encoding Rules) 프로토콜에 따른 데이타의 구조로 변환하며, 변환된 신호를 코멘드 디코더(Command Decoder)에 의해 분석되어 BCI 신호와 관련된 제어 명령으로 변환되어 블루투스 송수신기를 통해 상기 BCI 신호와 관련된 제어 명령을 전달하는 게이트웨이; 및 상기 EEG 검출 장치로 사용되는 BCI 헤드셋으로부터 블루투스 무선 통신을 통해 상기 게이트웨이로부터 디코딩된 제어 명령을 수신받아, 기 설정된 명령 실행 구조에 따라 상기 BCI 신호와 관련된 제어 명령을 실행하는 임베디드 시스템;을 포함하며, 상기 임베디드 시스템은 임베디드 콘트롤 자동차에 구비되거나 또는 게임 콘트롤 장치에 구비되는 것을 특징으로 한다.
상기 EEG 검출 장치로 사용되는 헤드셋은, 착용한 사용자의 뇌의 표면에서 뇌의 신경 세포로부터 발생하는 미세한 뇌파 신호(미세한 전기 신호)를 측정하는 복수의 검출 전극(Electrodes); 측정된 미세한 뇌파 신호를 증폭하는 증폭기; 증폭된 뇌파 신호를 FFT 변환한 후, 주파수의 범위에 따라 필터링하여 δ파(4 Hz 미만), θ파(4 ~ 7.99 Hz), α파(8 ~ 12.99 Hz), β파(13 ~ 29.99 Hz), γ파(30~50 Hz)를 분류하기 위해 필터링하는 필터(Filter); 분류된 뇌파 신호를 A/D 변환하며, 뇌파의 신호를 FFT를 통해 변환된 주파수대역에 기초하여 두 뇌파(β파,θ파)와 SMR파(S)를 통해 집중력지표(T)
Figure 112014109229349-pat00022
를 산출하여 백분율로 표시된 뇌파의 집중도(T)를 구하며, 뇌파 추출이 진행되는 동안 근전도를 추출하여 일정시간 동안 눈 깜박임 횟수를 산출하는 마이크로 콘트롤러; 및 상기 검출된 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 상기 게이트웨이의 블루투스 송수신기로 전송하는 블루투스 송수신기를 포함한다.
상기 게이트웨이는, 상기 EEG 검출 장치로 사용되는 BCI 헤드셋으로부터 블루투스 무선 통신을 통해 상기 BCI 신호를 수신받는 블루투스 송수신기를 구비하는 PC 또는 스마트폰을 사용하는 것을 특징으로 한다.
상기 게이트웨이는, 상기 EEG 검출 장치로 사용되는 BCI 헤드셋으로부터 블루투스 무선 통신을 통해 검출된 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 수신받는 블루투스 송수신기; 수신된 BCI 신호에 따라 각각의 회사에 맞는 여러종류의 BCI 헤드셋 드라이버 중 하나의 드라이버를 선택하는 EEG 핸들러; 상기 EEG 핸들러에 의해 선택된 BCI 헤드셋 드라이버(Driver)에서 정의된 MFER(Medical Waveform Format Encoding Rules) 프로토콜에 따른 데이타의 구조로 변환하는 복수의 BCI 헤드셋 드라이버(Mindset Driver, Huboro Driver, Standard Driver 등); 해당 드라이버에 의해 MFER 프로토콜에 따른 데이타의 구조로 변환된 신호를 분석하여 BCI 신호와 관련된 제어 명령을 생성하는 코멘드 디코더(Command Decoder); 및 상기 코멘드 디코더에 의해 생성된 BCI 신호와 관련된 제어 명령을 다시 상기 임베디드 콘트롤 자동차 또는 게임 콘트롤 장치의 임베디드 시스템의 블루투스 송수신기로 전달하는 블루투스 송수신기를 포함하며,
상기 BCI 신호와 관련된 제어 명령은 상기 임베디드 콘트롤 자동차의 경우 도어 개폐, 전진/후진/좌회전/우회전의 제어 명령이며, 상기 게임 콘트롤 장치의 경우 게임 제어 명령 인 것을 특징으로 한다.
상기 MFER의 인코딩 포맷은 복수의 프레임(Frame)으로 구성되고, 각 프레임은 헤더(Header)와 웨이브폼 데이타(waveform data)로 구성되며, 헤더는 복수의 descriptor로 구성되며, 각 descriptor는 Tag(T), Data Length(L), Value(V)로 구분되고, 마찬가지로, 웨이브폼 데이타(waveform data)는 Tag(T), Data Length(L), Value(V)로 구분되며, Value(V) 값에 웨이브폼 데이타가 저장되는 것을 특징으로 한다.
상기 임베디드 시스템은, 상기 게이트웨이와 블루투스 무선 통신을 통해 BCI 신호와 관련된 제어 명령을 수신하는 블루투스 송수신기; 상기 BCI 신호와 관련된 제어 명령에 따라 서비스를 제어하는 서비스 제어기(Service Controller); 임베디드 콘트롤 자동차의 경우 자동차 출입문의 도어록을 제어하는 임베디드 시스템 또는 자동차의 ECU와 연결되며, 임베디드 콘트롤 자동차 또는 게임 콘트롤 장치의 임베디드 시스템으로 수신된 BCI 신호와 관련된 제어 명령의 프로토콜을 분석하여 제어 명령을 실행하는 마이크로 콘트롤러; 및 임베디드 콘트롤 자동차의 경우, 자동차의 차륜의 구동 모터와 연결되어 도어 개폐 제어 또는 전진/후진/좌회전/우회전 제어 서비스를 제공하는 자동차의 모터를 구동하도록 PWM 펄스를 생성하는 PWM 드라이버를 포함하며,
상기 BCI 신호, 즉 뇌파의 신호는 FFT를 통해 변환된 주파수대역에 기초하여 두 뇌파(β파,θ파)와 SMR파(S)를 통해 집중력지표(T)
Figure 112014109229349-pat00023
를 산출하여 뇌파의 집중력(T)을 구하여 0% ~ 100%의 백분율로 나타내며, 5단계로 나누어 하위 0% ~ 20%까지를 후진, 20 ~ 40%를 정지, 40~60% 전진 1단계 속도, 60~80%를 전진 2단계 속도 그리고 80~100%의 집중도를 가질 때를 전진 3단계 속도로 규정하고, 좌/우/도어오픈 기능은 근전도 센서를 사용하며, 예를들면, 뇌파 추출이 진행되는 동안 근전도를 추출하여 1.5초 이내에 눈 깜박임이 한 번이면 좌회전, 두 번이면 우회전, 세 번이면 도어 오픈을 나타내는 것을 특징으로 한다.
상기 임베디드 시스템에서 수신하는 데이타의 구조에서, 처음 2바이트는 프로토콜의 데이타의 스타트(start of data)임을 나타내며, 다음 1바이트는 데이터의 길이(data length)를 나타내고, 다음 1바이트는 select interface, 다음 바이트는 command1, 다음 1바이트는 command2, 마지막 2바이트는 프로토콜의 데이타의 끝(end of data)으로 이루어지는 것을 특징으로 한다.
본 발명의 다른 목적을 달성하기 위해, 기능성 게임을 위한 BCI 입력 인터페이스 방법은 (a) EEG 검출 장치로 사용되는 BCI 헤드셋을 착용한 사용자의 뇌의 표면에서 다수의 검출 전극(Electrodes)에 의해 뇌의 신경 세포로부터 발생하는 미세한 뇌파 신호를 측정하여 증폭기에 의해 미세한 뇌파 신호를 증폭하고, 증폭된 뇌파 신호를 FFT 변환한 후 필터(Filter)에 의해 주파수대역별로 필터링하여 δ파(4 Hz 미만), θ파(4 ~ 7.99 Hz), α파(8 ~ 12.99 Hz), β파(13 ~ 29.99 Hz), γ파(30~50 Hz)를 분류하고, 분류된 뇌파 신호를 A/D 변환하며, 마이크로 콘트롤러에 의해 상기 BCI 신호(뇌파의 신호)를 FFT를 통해 변환된 주파수대역에 기초하여 두 뇌파(β파,θ파)와 SMR파(S)를 통해 집중력지표(T)
Figure 112014109229349-pat00024
를 산출하여 뇌파의 집중력(T)을 구하여 0% ~ 100%의 백분율로 나타내며, 뇌파 추출이 진행되는 동안 근전도를 추출하여 일정시간 동안 눈 깜박임 횟수를 산출하고, 상기 마이크로 콘트롤러와 블루투스 송수신기를 통해 검출된 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 게이트웨이로 전송하는 단계; (b) 상기 EEG 검출 장치로 사용되는 BCI 헤드셋으로부터 블루투스 무선 통신을 통해 상기 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 상기 게이트웨이로 수신받고, 각각의 회사에 맞는 여러 종류의 BCI 헤드셋 드라이버(예: Mindset Driver, Huboro Driver, Standard Driver 등)에서 정의된 MFER(Medical Waveform Format Encoding Rules) 프로토콜에 따른 데이타의 구조로 변환하며, 변환된 신호를 코멘드 디코더(Command Decoder)에 의해 분석되어 도어 개폐, 전진/후진/좌회전/우회전의 BCI 신호와 관련된 제어 명령으로 변환되어 블루투스 송수신기를 통해 제어 명령을 임베디드 콘트롤 자동차의 임베디드 시스템으로 전달하거나 또는 BCI 신호와 관련된 게임 제어 명령을 게임 콘트롤 장치의 임베디드 시스템(30)으로 전달하는 단계를 포함한다.
상기 기능성 게임을 위한 BCI 입력 인터페이스 방법은, (c) 상기 임베디드 콘트롤 자동차의 경우, 상기 임베디드 콘트롤 자동차의 임베디드 시스템에 의해 기 설정된 명령 실행 구조에 따라 자동차의 도어록을 제어하여 자동차의 문의 개폐, 전진/후진/좌회전/우회전의 제어 명령을 실행하도록 자동차의 도어 개폐, 자동차의 ECU와 자동차의 구동 모터를 제어하는 단계를 더 포함한다.
상기 기능성 게임을 위한 BCI 입력 인터페이스 방법은, (d) 상기 게임 콘트롤 장치의 경우, 상기 게임 콘트롤 장치의 임베디드 시스템에 의해 게임 동작 설계시 기 설정된 명령 실행 구조에 따라 상기 BCI 신호와 관련된 게임 제어 명령을 실행하도록 제어하는 단계를 더 포함한다.
본 발명에 따른 기능성 게임을 위한 BCI 입력 인터페이스 시스템 및 방법은 EEG 검출 장치로 사용되는 각각의 헤드셋의 프로토콜을 분석하여 의료표준에서 사용되고 있는 MFER(Medical Waveform Format Encoding Rules)을 사용하여 통일된 프로토콜을 제안하여 BCI 입력 인터페이스를 표준화에 제안될 수 있고, 이번 연구를 통하여 BCI(뇌-컴퓨터 인터페이스)를 이용한 다양한 EEG 검출 장치로 사용되는 헤드셋의 통신 프로토콜을 분석하였으며, 다양한 EEG 검출 장치로 사용되는 헤드셋(예: 뉴로스카이사의 헤드셋과 휴보로의 헤드셋 등)을 위한 통일된 BCI 입력 인터페이스를 제안하여 BCI 관련 임베디드 시스템을 제어할 수 있게 됐다.
뉴로스카이사의 헤드셋과 휴보로의 헤드셋 등의 EEG 검출 장치로 사용되는 헤드셋과 더 많은 EEG 검출 헤드셋을 지원하고, 안드로이드 플랫폼을 통해 뇌파뿐 아니라 근전도 및 감정까지 인식이 가능한 표준화된 안드로이드 BCI 오픈 플랫폼에 대하여 연구결과로 사용될 수 있다.
도 1은 기존 뉴로스카이(Neurosky)의 마인드플레이(Mindplay)의 예를 나타낸 도면이다.
도 2는 기존 휴보로(Huboro)의 두뇌집중 HW/SW 플랫폼(H-Brain)을 나타낸 도면이다.
도 3은 게이트웨이(Gateway) 역할을 하는 PC에서 인식된 신호를 통해 임베디드 콘트롤 자동차(Embedded controlled car)의 임베디드 시스템으로 블루투스 무선 통신을 통해 명령을 전송하는 개념도이다.
도 4는 본 발명에 따른 기능성 게임을 위한 BCI 입력 인터페이스 시스템의 전체적인 시스템 아키텍처를 나타낸 도면이다.
도 5는 EEG 검출 장치로 사용되는 헤드셋의 구성도이다.
도 6은 MFER(Medical waveform Format Encoding Rules)의 인코딩 포맷(Encoding Format)이다.
도 7은 임베디드 콘트롤 자동차의 임베디드 시스템에서 수신하는 데이타의 구조를 나타낸 프로토콜(embedded controlled car protocol)을 설명한 도면이다.
도 8은 임베디드 콘트롤 자동차 또는 게임 콘트롤 장치의 임베디드 시스템의 아키텍처를 설명한 도면이다.
도 9는 본 발명의 일 실시예에 따른 EEG 검출 장치로 사용되는 헤드셋, 게이트웨이, 임베디드 콘트롤 자동차를 구비하는 기능성 게임을 위한 BCI 입력 인터페이스 시스템 구성도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다.
본 발명에서는 각각의 헤드셋(EEG 검출 장치로 사용되는 헤드셋)의 프로토콜을 분석하여 의료표준에서 사용되고 있는 MFER(Medical Waveform Format Encoding Rules)을 사용하여 통일된 프로토콜을 제안하여 BCI(Brain-Computer Interface) 입력 인터페이스를 표준화하고자 제안한다. 본 발명은 MFER기반의 시스템, 구현 그리고, 결론을 맺는다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 기능성 게임을 위한 BCI 입력 인터페이스 시스템은 블루투스 송수신기를 구비하며 EEG 검출 장치로 사용되는 헤드셋(10), 블루투스 송수신기를 구비하는 게이트웨이(블루투스 송수신기를 구비하는 PC 또는 스마트폰)(20), 블루투스 송수신기를 구비하는 임베디드 콘트롤 자동차의 임베디드 시스템(30)으로 구성된다.
본 발명의 기능성 게임을 위한 BCI 입력 인터페이스 시스템은, 착용한 사용자의 뇌의 표면에서 다수의 검출 전극(Electrodes)에 의해 뇌의 신경 세포로부터 발생하는 미세한 뇌파 신호(미세한 전기 신호)를 측정하여 증폭기(Amplifier)에 의해 증폭하고, 증폭된 뇌파 신호를 FFT 변환한 후 필터(Filter)에 의해 주파수대역별로 필터링하여 δ파(4 Hz 미만), θ파(4 ~ 7.99 Hz), α파(8 ~ 12.99 Hz), β파(13 ~ 29.99 Hz), γ파(30~50 Hz)를 분류하고, 분류된 뇌파 신호를 A/D 변환하여 마이크로 콘트롤러와 블루투스 송수신기를 통해 검출된 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 게이트웨이(20)로 전송하는 EEG 검출 장치로 사용되는 BCI 헤드셋(10); 상기 EEG 검출 장치로 사용되는 BCI 헤드셋(10)으로부터 블루투스 무선 통신을 통해 상기 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 수신받고, 각각의 회사에 맞는 여러 종류의 BCI 헤드셋 드라이버(예: Mindset Driver, Huboro Driver, Standard Driver 등)에 정의된 MFER(Medical Waveform Format Encoding Rules) 프로토콜에 따른 데이타의 구조로 변환하며, 변환된 신호를 코멘드 디코더(Command Decoder)에 의해 분석되어 도어 개폐, 전진/후진/좌회전/우회전의 제어 명령으로 변환되어 블루투스 송수신기를 통해 BCI 신호와 관련된 제어 명령을 전달하는 게이트웨이(20); 및 상기 EEG 검출 장치로 사용되는 BCI 헤드셋(10)으로부터 블루투스 무선 통신을 통해 상기 게이트웨이(20)로 상기 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 수신받은 후, 상기 게이트웨이(20)로부터 디코딩된 BCI 신호와 관련된 제어 명령을 수신받아, 기 설정된 명령 실행 구조에 따라 BCI 신호와 관련된 제어 명령(예: 자동차의 도어 개폐, 전진/후진/좌회전/우회전의 제어 명령 또는 게임 제어 명령을 실행하는 임베디드 시스템(30)을 포함하며, 상기 임베디드 시스템은 임베디드 콘트롤 자동차(Embedded controlled car)에 구비되거나 또는 게임 콘트롤 장치에 구비되는 것을 특징으로 한다.
게이트웨이(Gateway)(20)는 EEG 검출 장치로 사용되는 BCI 헤드셋(10)으로부터 블루투스 무선 통신을 통해 검출된 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 수신받는 블루투스 송수신기를 구비하는 PC 또는 스마트폰을 사용할 수 있다.
본 발명의 실시예에서는 임베디드 시스템은 EEG 검출 장치로 사용되는 BCI 헤드셋(10) 및 게이트웨이(예:스마트폰)(20)와 블루투스 통신으로 BCI 신호와 관련된 제어 명령을 수신하는 임베디드 콘트롤 자동차(Embedded controlled car)의 임베디드 시스템(30)을 예를 들어 설명하겠지만, 이에 한정하지 않고 EEG 검출 장치로 사용되는 BCI 헤드셋(10) 및 게이트웨이(예:PC)(20)와 블루투스 통신으로 제어 명령을 수신하는 레이싱 게임, 사격 게임, 장난감 게임 등의 게임 콘트롤 장치의 임베디드 시스템에 적용할 수 있다.
3.1 MFER기반의 시스템 구성
본 발명의 실시예에서는, EEG 검출 장치로 사용되는 BCI 헤드셋(10)은 예를 들면, 뉴로스카이의 헤드셋과 휴보로의 헤드셋 모두 블루투스를 통해 모니터링 된 뇌파 신호(BCI 신호)를 게이트웨이(20)로 전달한다. 게이트웨이(블루투스 송수신기를 구비하는 PC)(20)는 이 BCI 신호를 수신하여 분석하고, 분석된 신호를 MFER 프로토콜에 따르는 데이타 구조로 변환하여 PC에서 처리하였으며, PC로부터 자동차의 도어 개폐, 전진/후진/좌회전/우회전 등의 BCI 신호와 관련된 제어 명령 신호를 전송하여 임베디드 콘트롤 자동차를 움직이는 시스템을 구성하였다.
블루투스 송수신 모듈은 (주)케이엔랩스의 KNL-BTM-182 모듈을 사용하였으며, 임베디드 콘트롤 자동차는 (주)케이엔랩스의 스마트솔루션을 사용하였다.
도 3은 게이트웨이(Gateway) 역할을 하는 PC에서 인식된 신호를 통해 임베디드 콘트롤 자동차(Embedded controlled car)의 임베디드 시스템으로 블루투스 무선 통신을 통해 명령을 전송하는 개념도이다.
도 4는 본 발명에 따른 기능성 게임을 위한 BCI 입력 인터페이스 시스템의 전체적인 시스템 아키텍처를 나타낸 도면이다.
기능성 게임을 위한 BCI 입력 인터페이스 시스템의 전체적인 시스템 아키텍처는 크게 3부분으로 나뉘어져 있다. 첫 번째는 입력부분으로 EEG 검출 장치로 사용되는 헤드셋(10) 부분이다. 사용자는 EEG 검출 장치로 사용되는 BCI 헤드셋을 착용하고 자동차를 움직이고자 하는 방향으로 눈깜박임 동작에 의해 뇌파를 생성하여 BCI 신호를 생성하게 된다. 두 번째는 블루투스 무선 통신을 통해 입력된 BCI 신호를 표준화된 MFER 프로토콜에 맞춰 생성해주는 게이트웨이(PC 또는 스마트폰)(20) 단이며, 세 번째는 게이트웨이(20)로부터 블루투스 무선통신을 통해 수신된 디코딩된 명령을 처리하기 위해 BCI 신호와 관련된 제어 명령을 수행하는 임베디드 콘트롤 자동차의 임베디드 시스템(30) 부분이다.
3.2 EEG 검출 장치
EEG 검출 장치로 사용되는 BCI 헤드셋(EEG Device)(10)에서 획득한 BCI 신호를 증폭하여 필터(Filter)를 통해 블루투스 무선 통신을 통해 Gateway(20)로 전달한다. 뇌파를 인식하여 데이터로 변환한다. 노드를 통해 측정된 신호가 필터(Filter)와 증폭기(Amplifier)를 거처 정규화 되고, 마이크로프로세서로 입력되어 디지털 신호로 변환되어 블루투스 송수신기 모듈로 전달하여 검출된 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 게이트웨이(20)로 송신된다.
도 5는 EEG 검출 장치로 사용되는 BCI 헤드셋의 구성도이다.
EEG 검출 장치로 사용되는 BCI 헤드셋(10)은 착용한 사용자의 뇌의 표면에서 뇌의 신경 세포로부터 발생하는 미세한 뇌파 신호(미세한 전기 신호)를 측정하는 복수의 검출 전극(Electrodes)(11); 측정된 미세한 뇌파 신호를 증폭하는 증폭기(13); 증폭된 뇌파 신호를 FFT 변환한 후, 주파수의 범위에 따라 필터링하여 δ파(4 Hz 미만), θ파(4 ~ 7.99 Hz), α파(8 ~ 12.99 Hz), β파(13 ~ 29.99 Hz), γ파(30~50 Hz)를 분류하기 위해 필터링하는 필터(Filter)(12); 분류된 뇌파 신호를 A/D 변환하며, 뇌파의 신호(BCI 신호)를 FFT를 통해 변환된 주파수대역에 기초하여 두 뇌파(β파,θ파)와 SMR파(S)를 통해 집중력지표(T)
Figure 112014109229349-pat00025
를 산출하여 백분율로 표시된 뇌파의 집중도를 구하며, 뇌파 추출이 진행되는 동안 근전도를 추출하여 일정시간 동안 눈 깜박임 횟수를 산출하여 눈깜박임 데이터를 구하는 마이크로 콘트롤러(14); 및 검출된 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 게이트웨이(20)의 블루투스 송수신기로 전송하는 블루투스 송수신기(17);를 포함한다.
참고로, EEG(electroencephalogram, 뇌전도)는 뇌의 신경계와 뇌신경 사이에 신호가 발생할 때 생기는 뇌 표면에서 발생하는 미세한 전기 신호를 복수의 전극(Electrode)을 사용하여 측정하며, 델타(δ)파, 쎄타(θ)파, 알파(α)파, 베타(β)파, 감마(γ)파로 분류된다. 뇌파는 그 주파수와 진폭에 따라 분류되고, 사람의 뇌에서 나오는 뇌파는 0~30Hz의 주파수가 나오며, 약 20~200μV의 진폭을 보인다. 뇌파는 진동하는 주파수의 범위에 따라 인위적으로 델타-δ파(0.2 ~ 3.99 Hz), 쎄타-θ파(4 ~ 7.99 Hz), 알파-α파(8 ~ 12.99 Hz), 베타-β파(13 ~ 29.99 Hz), 감마-γ파(30~50 Hz)로 구분된다.
- 뇌파의 분석
전진/후진 : 뇌파의 집중도(집중력지표)를 사용한다.
집중력은 뇌파의 종류들 중
Figure 112013110528544-pat00003
파가 높을수록 집중력이 높아지지만
Figure 112013110528544-pat00004
파가 같이 높은 경우에는 집중력이 떨어지게 되기 때문에 두 뇌파를 이용하여 집중력을 분석한다. 집중력을 분석하기 위해 뇌파 신호를 FFT(Fast Fourier Transform)로 추출하여 변환한, 다음 뇌파를 주파수대역을 기준으로 성분을 분석한다.
FFT는 0≤n≤N-1 일때 시간 영역(time domain)의 신호를 주파수 영역(frequency domain)으로 바꾸고 FFT 변환에 따른 신호를 분석하여 판단할 때 사용된다. FFT를 통해 검출된 뇌파 신호의 주파수를 성분별로 분류하며, 분류된 성분들의 밀도와 분포들을 알 수 있다.
Figure 112013110528544-pat00005
Figure 112013110528544-pat00006
위 (2)식의 양변에 절대값을 취하고 제곱한 다음
Figure 112013110528544-pat00007
을 취하여 모두 더하면 다음 식3이 유도된다.
Figure 112013110528544-pat00008
결과 값은 시간 공간이나 주파수 공간에서 모두 같아져 이를 파시발 정리(Parseval's theorem)라고 한다. 따라서 이 정리를 만족하는 파워 스펙트럼이 다음 식4와 같이 정의된다.
Figure 112013110528544-pat00009
이와 같이 FFT 분석을 거쳐 얻은 파워 스펙트럼은 시계열 신호가 주파수 영역에서 뇌파 파장대에 따라 분리하여 수치로 변환하는 과정을 의미한다.
뇌파의 신호는 피험자나 외부 환경과 같이 상황에 따라 많은 차이를 보인다. 이를 보정하기 위해 FFT로 얻은 값들을 평균한 주파수별 파워값을 뜻하는 절대력과 상황에 따라 달라지는 개인적인 절대력 차이를 동등화시킨 파워값인 상대값을 이용한다. FFT를 통해 변환된 주파수대역에 기초하여 두 뇌파(β파,θ파)와 SMR파(S)를 통해 집중력지표(T)를 산출한다.
Figure 112013110528544-pat00010
위의 식5를 사용하여 뇌파의 집중력(T)을 구할 수 있으며, 이것을 0% ~ 100%의 백분율로 나타낼 수 있으며, 20%씩 5단계로 나누어 하위 0% ~ 20%까지를 후진, 20 ~ 40%를 정지, 40~60% 전진 1단계 속도, 60~80%를 전진 2단계 속도 그리고 80~100%의 집중도를 가질 때를 전진 3단계 속도로 규정하였다.
좌/우/도어오픈 : 근전도 센서를 활용한다.
예를들면, 뇌파 추출이 진행되는 동안 근전도를 추출하여 1.5초 이내에 눈 깜박임이 한 번이면 좌회전, 두 번이면 우회전, 세 번이면 도어 오픈을 나타낸다.
3.3 게이트웨이(GateWay)
게이트웨이(20)는 EEG 검출 장치로 사용되는 BCI 헤드셋(10)으로부터 블루투스 무선 통신을 통해 검출된 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 수신받는 블루투스 송수신기를 구비하는 PC 또는 스마트폰을 사용할 수 있다.
EEG 검출 장치로 사용되는 BCI 헤드셋(10)으로부터 블루투스 무선 통신을 통해 검출된 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 게이트웨이(20)로 수신받고, 게이트웨이(20)는 각각의 회사에 맞는 여러 종류의 BCI 헤드셋 드라이버(예: Mindset Driver(23), Huboro Driver(24), Standard Driver(25) 등)를 사용하여 MFER(Medical Waveform Format Encoding Rules) 프로토콜에 따른 데이타의 구조로 변환한다. 변환된 신호는 코멘드 디코더(Command Decoder)(26)를 통해 분석되고, 도어 개폐, 전진/후진/좌회전/우회전의 BCI 신호와 관련된 제어 명령을 생성하여 블루투스 송수신기(27)를 통해 이를 다시 임베디드 콘트롤 자동차의 임베디드 시스템(30)의 블루투스 송수신기(31)로 BCI 신호와 관련된 제어 명령을 전달한다.
상기 게이트웨이(20)는, 상기 EEG 검출 장치로 사용되는 BCI 헤드셋으로부터 블루투스 무선 통신을 통해 검출된 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 수신받는 블루투스 송수신기(21); 수신된 BCI 신호에 따라 각각의 회사에 맞는 여러 종류의 BCI 헤드셋 드라이버 중 하나의 드라이버를 선택하는 EEG 핸들러(EEG handler)(22); 상기 EEG 핸들러(22)에 의해 선택된 BCI 헤드셋 드라이버(Driver)에서 정의된 MFER(Medical Waveform Format Encoding Rules) 프로토콜에 따른 데이타의 구조로 변환하는 각각의 회사에서 제공하는 복수의 BCI 헤드셋 드라이버(Mindset Driver(23), Huboro Driver(24), Standard Driver(25) 등); 해당 BCI 헤드셋 드라이버에 의해 MFER 프로토콜에 따른 데이타의 구조로 변환된 신호를 분석하여 BCI 신호와 관련된 제어 명령을 생성하는 코멘드 디코더(Command Decoder)(26); 및 상기 코멘드 디코더(26)에 의해 생성된 BCI 신호와 관련된 제어 명령을 다시 상기 임베디드 콘트롤 자동차 또는 게임 콘트롤 장치의 임베디드 시스템의 블루투스 송수신기로 전달하는 블루투스 송수신기(27)를 포함하며,
상기 BCI 신호와 관련된 제어 명령은 임베디드 콘트롤 자동차의 경우 도어 개폐, 전진/후진/좌회전/우회전의 제어 명령이며, 게임 콘트롤 장치의 경우 게임 제어 명령 인 것을 특징으로 한다.
도 6은 MFER(Medical waveform Format Encoding Rules)의 인코딩 포맷(Encoding Format)이다. MFER은 복수의 프레임(Frame)으로 구성되고, 각 프레임은 헤더(Header)와 웨이브폼 데이타(waveform data)로 구성된다. 헤더는 복수의 descriptor로 구성되며, 각 descriptor는 Tag(T), Data Length(L), Value(V)로 구분되어 있다. 마찬가지로, 웨이브폼 데이타(waveform data)는 Tag(T), Data Length(L), Value(V)로 구분되며, Value(V) 값에 웨이브폼 데이타가 저장된다.
다음 표 3은, 예를들면, 뇌파 추출이 진행되는 동안 근전도를 추출하여 일정 단위시간(1.5초) 이내에 눈 깜박임이 1 번이면 좌회전, 2 번이면 우회전, 3 번이면 도어 오픈으로 동작하도록 예시한 데이타 구조이다.
Figure 112013110528544-pat00011
3.4 임베디드 콘트롤 자동차(Embedded controlled car)
예를 들면, EEG 검출 장치로 사용되는 헤드셋(10)으로부터 블루투스 무선 통신을 통해 게이트웨이(20)를 통해 전송된 제어 명령을 디코딩하여 임베디드 콘트롤 자동차의 임베디드 시스템(30)으로 전달되면, 임베디드 콘트롤 자동차(Embedded controlled car)의 임베디드 시스템(30)은 기 설정된 명령 실행 구조에 따라 자동차의 도어 개폐, 전진/후진/좌회전/우회전의 제어 명령을 실행한다.
도 7은 임베디드 콘트롤 자동차의 임베디드 시스템에서 수신하는 데이타의 구조를 나타낸 프로토콜(embedded controlled car protocol)을 설명한 도면이다.
임베디드 콘트롤 자동차에서 수신하는 데이타의 구조에서, 처음 2바이트는 프로토콜의 데이타의 스타트(start of data)임을 나타내며, 다음 1바이트는 데이터의 길이(data length)를 나타내고, 다음 1바이트는 select interface, 다음 바이트는 command1, 다음 1바이트는 command2, 마지막 2바이트는 프로토콜의 데이타의 끝(end of data)임을 나타낸다.
도 8은 임베디드 콘트롤 자동차 또는 임베디드 콘트롤 장치의 임베디드 시스템의 아키텍처를 나타낸 도면이다.
임베디드 콘트롤 자동차의 임베디드 시스템(30)은 게이트웨이(20)와 블루투스 무선 통신을 통해 제어 명령을 수신하는 블루투스 송수신기(31); 제어 명령에 따라 서비스를 제어하는 서비스 제어기(Service Controller)(32); 자동차 출입문의 도어록을 제어하는 임베디드 시스템 또는 자동차의 ECU와 연결되며, 수신된 제어 명령 신호의 프로토콜을 분석하여 제어 명령을 실행하는 마이크로 콘트롤러(33); 및 자동차의 차륜의 구동 모터와 연결되어 도어 개폐 제어 서비스 또는 전진/후진/좌회전/우회전 제어 서비스 자동차의 모터를 구동하도록 PWM 펄스를 생성하는 PWM 드라이버(34)로 구성된다.
도 9는 본 발명의 실시예에 따른 EEG 검출 장치로 사용되는 헤드셋, 게이트웨이, 임베디드 콘트롤 자동차를 구비하는 기능성 게임을 위한 BCI 입력 인터페이스 시스템 구성도이다.
기능성 게임을 위한 BCI 입력 인터페이스 시스템은 블루투스 송수신기를 구비하며 EEG 검출 장치로 사용되는 헤드셋(10), 블루투스 송수신기를 구비하는 게이트웨이(블루투스 송수신기를 구비하는 PC 또는 스마트폰)(20), 블루투스 송수신기를 구비하는 임베디드 콘트롤 자동차의 임베디드 시스템(30)로 구성된다.
입력단의 EEG 검출 장치로 사용되는 BCI 헤드셋(10)을 통하여 뇌파의 집중도와 눈깜박임 데이터가 게이트웨이(20)로 전달되도록 하였으며, 게이트웨이(예: 블루투스 송수신기를 구비하는 PC 또는 스마트폰)(20)는 입력된 신호를 분석하여 드라이버(MFER 엔코더)를 통해 임베디드 콘트롤 자동차의 임베디드 시스템(30)의 입력단에 전달되도록 하였다. 마찬가지로 EEG 검출 장치로 사용되는 헤드셋(10)(예:휴보로사의 헤드셋)을 통하여 뇌파의 집중도와 눈 깜박임 데이터가 게이트웨이(20)의 드라이버(MFER 엔코더)를 통해 임베디드 콘트롤 자동차의 임베디드 시스템(30)으로 입력되도록 하였다. 게이트웨이(20)는 다양한 EEG 검출 장치로 사용되는 BCI 헤드셋(10)로부터 통일된 입력 인터페이스로 데이터가 수집되어 명령을 디코딩하였으며, 게이트웨이(20)에서 디코딩된 명령은 다시 임베디드 콘트롤 자동차를 움직이기 위해 기 정의된 프로토콜로 변환하여 블루투스 무선으로 전달하였다. 전달된 명령은 자동차 내부의 ECU(마이크로 프로세서)를 통해 디코딩되어 도어 개폐, 전진/후진/좌회전/우회전 명령을 수행하게 된다.
본 발명의 실시예에서는 임베디드 시스템은 EEG 검출 장치로 사용되는 BCI 헤드셋(10) 및 게이트웨이(20)와 블루투스 통신으로 제어 명령을 수신하는 임베디드 콘트롤 자동차(Embedded controlled car)의 임베디드 시스템(30)을 예를 들어 설명하겠지만, 이에 한정하지 않고 레이싱 게임, 사격 게임, 장난감 게임 등의 게임 콘트롤 장치의 임베디드 시스템에 적용할 수 있다.
EEG 검출 장치로 사용되는 BCI 헤드셋(10) 및 게이트웨이(20)와 블루투스 통신을 통해 게임 제어 명령(사격 게임의 예를 들면, 눈깜박임 1번 우측으로 이동, 눈깜박임 2번 좌측으로 이동, 눈깜박임 3번 슈팅(shooting))을 게임 콘트롤 장치의 임베디드 시스템으로 수신하여 게임 명령을 실행할 수 있다.
이 경우, 게임 콘트롤 장치 설계시 사용자의 게임 동작 시나리오에 따라 다양하게 설계가 가능하고, 게임 콘트롤 장치의 임베디드 시스템에 프로래밍 된 데로 게임 명령이 실행되도록 한다.
본 발명의 기능성 게임을 위한 BCI 입력 인터페이스 방법은 (a) EEG 검출 장치로 사용되는 BCI 헤드셋(10)을 착용한 사용자의 뇌의 표면에서 다수의 검출 전극(Electrodes)에 의해 뇌의 신경 세포로부터 발생하는 미세한 뇌파 신호를 측정하여 증폭기에 의해 증폭하고, 증폭된 뇌파 신호를 FFT 변환한 후 필터(Filter)에 의해 주파수대역별로 필터링하여 δ파(4 Hz 미만), θ파(4 ~ 7.99 Hz), α파(8 ~ 12.99 Hz), β파(13 ~ 29.99 Hz), γ파(30~50 Hz)를 분류하고, 분류된 뇌파 신호를 A/D 변환하며, 마이크로 콘트롤러에 의해 뇌파의 신호(BCI 신호)를 FFT를 통해 변환된 주파수대역에 기초하여 두 뇌파(β파,θ파)와 SMR파(S)를 통해 집중력지표(T)
Figure 112014109229349-pat00026
를 산출하여 뇌파의 집중력(T)을 구하여 0% ~ 100%의 백분율로 나타내며, 뇌파 추출이 진행되는 동안 근전도를 추출하여 일정시간 동안 눈 깜박임 횟수를 산출하고, 마이크로 콘트롤러와 블루투스 송수신기를 통해 검출된 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 게이트웨이(20)로 전송하는 단계; 및 (b) 상기 EEG 검출 장치로 사용되는 BCI 헤드셋(10)으로부터 블루투스 무선 통신을 통해 상기 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 상기 게이트웨이로 수신받고, 각각의 회사에 맞는 여러 종류의 BCI 헤드셋 드라이버(예: Mindset Driver, Huboro Driver, Standard Driver 등)에서 정의된 MFER(Medical Waveform Format Encoding Rules) 프로토콜에 따른 데이타의 구조로 변환하며, 변환된 신호를 코멘드 디코더(Command Decoder)에 의해 분석되어 도어 개폐, 전진/후진/좌회전/우회전의 제어 명령으로 변환되어 블루투스 송수신기를 통해 BCI 신호와 관련된 제어 명령을 임베디드 콘트롤 자동차의 임베디드 시스템(30)으로 전달하거나 또는 BCI 신호와 관련된 게임 제어 명령을 게임 콘트롤 장치의 임베디드 시스템(30)으로 전달하는 단계를 포함한다.
상기 기능성 게임을 위한 BCI 입력 인터페이스 방법은, (c) 상기 임베디드 콘트롤 자동차의 경우, 상기 임베디드 콘트롤 자동차의 임베디드 시스템에 의해 기 설정된 명령 실행 구조에 따라 자동차의 도어록을 제어하여 자동차의 문의 개폐, 전진/후진/좌회전/우회전의 제어 명령을 실행하도록 자동차의 도어 개폐, 자동차의 ECU와 자동차의 구동 모터를 제어하는 단계를 더 포함한다.
상기 기능성 게임을 위한 BCI 입력 인터페이스 방법은, (d) 상기 게임 콘트롤 장치의 경우, 상기 게임 콘트롤 장치의 임베디드 시스템에 의해 게임 동작 설계시 기 설정된 명령 실행 구조에 따라 상기 BCI 신호와 관련된 게임 제어 명령을 실행하도록 제어하는 단계를 더 포함한다.
이번 연구를 통하여 BCI(뇌-컴퓨터 인터페이스)를 이용한 다양한 헤드셋의 통신 프로토콜을 분석해 보았으며, 다양한 EEG 검출 장치로 사용되는 헤드셋(10)(예: 뉴로스카이사의 헤드셋과 휴보로의 헤드셋 등)을 위한 통일된 BCI 입력 인터페이스를 제안하였다. 정형화된 데이터가 오픈되어 있지 않으므로 시간이 오래 걸렸으며, 기능성 게임을 위한 임베디드 시스템에서 사용할 수 있는 입력 인터페이스를 제안하여 다른 사람들이 BCI관련 임베디드 제품을 개발할 때에 쉽게 사용할 수 있도록 지원하였다. BCI 관련 임베디드 시스템의 입출력 표준 인터페이스를 정의하는데, 이 연구가 기반이 되었으면 하는 바램이다.
전술한 바와 같이 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다.
이상에서 설명한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자가 하기의 특허청구범위에 기재된 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있다.
10: EEG 검출 장치로 사용되는 헤드셋
20: 게이트웨이
30: 임베디드 콘트롤 자동차의 임베디드 시스템

Claims (11)

  1. 착용한 사용자의 뇌의 표면에서 다수의 검출 전극(Electrodes)에 의해 뇌의 신경 세포로부터 발생하는 미세한 뇌파 신호를 측정하여 증폭기에 의해 증폭하고, 증폭된 뇌파 신호를 FFT 변환한 후 필터(Filter)에 의해 주파수대역별로 필터링하여 δ파(4 Hz 미만), θ파(4 ~ 7.99 Hz), α파(8 ~ 12.99 Hz), β파(13 ~ 29.99 Hz), γ파(30~50 Hz)를 분류하고, 분류된 뇌파 신호를 A/D 변환하며, 마이크로 콘트롤러에 의해 상기 BCI 신호(뇌파의 신호)를 FFT를 통해 변환된 주파수대역에 기초하여 두 뇌파(β파,θ파)와 SMR파(S)를 통해 집중력지표(T)
    Figure 112014109229349-pat00027
    를 산출하여 뇌파의 집중력(T)을 구하여 0% ~ 100%의 백분율로 나타내고, 뇌파 추출이 진행되는 동안 근전도를 추출하여 일정시간 동안 눈 깜박임 횟수를 산출하며, 상기 마이크로 콘트롤러와 블루투스 송수신기를 통해 검출된 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 전송하는 EEG 검출 장치로 사용되는 BCI 헤드셋;
    상기 EEG 검출 장치로 사용되는 BCI 헤드셋으로부터 블루투스 무선 통신을 통해 상기 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 수신받고, 여러 종류의 BCI 헤드셋 드라이버에서 정의된 MFER(Medical Waveform Format Encoding Rules) 프로토콜에 따른 데이타의 구조로 변환하며, 변환된 신호를 코멘드 디코더(Command Decoder)에 의해 분석되어 BCI 신호와 관련된 제어 명령으로 변환되어 블루투스 송수신기를 통해 상기 BCI 신호와 관련된 제어 명령을 전달하는 게이트웨이; 및
    상기 EEG 검출 장치로 사용되는 헤드셋으로부터 블루투스 무선 통신을 통해 상기 게이트웨이로부터 디코딩된 BCI 신호와 관련된 제어 명령을 수신받아, 기 설정된 명령 실행 구조에 따라 상기 BCI 신호와 관련된 제어 명령을 실행하는 임베디드 시스템;을 포함하며,
    상기 임베디드 시스템은 임베디드 콘트롤 자동차에 구비되거나 또는 게임 콘트롤 장치에 구비되는 것을 특징으로 하는 기능성 게임을 위한 BCI 입력 인터페이스 시스템.
  2. 제1항에 있어서,
    상기 EEG 검출 장치로 사용되는 BCI 헤드셋은
    착용한 사용자의 뇌의 표면에서 뇌의 신경 세포로부터 발생하는 미세한 뇌파 신호(미세한 전기 신호)를 측정하는 복수의 검출 전극(Electrodes);
    측정된 미세한 뇌파 신호를 증폭하는 증폭기;
    증폭된 뇌파 신호를 FFT 변환한 후, 주파수의 범위에 따라 필터링하여 δ파(4 Hz 미만), θ파(4 ~ 7.99 Hz), α파(8 ~ 12.99 Hz), β파(13 ~ 29.99 Hz), γ파(30~50 Hz)를 분류하기 위해 필터링하는 필터(Filter);
    분류된 뇌파 신호를 A/D 변환하며, 마이크로 콘트롤러에 의해 상기 BCI 신호(뇌파의 신호)를 FFT를 통해 변환된 주파수대역에 기초하여 두 뇌파(β파,θ파)와 SMR파(S)를 통해 집중력지표(T)
    Figure 112014109229349-pat00028
    를 산출하여 백분율로 표시된 뇌파의 집중도를 구하는 마이크로 콘트롤러; 및
    상기 검출된 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 상기 게이트웨이의 블루투스 송수신기로 전송하는 블루투스 송수신기;
    를 포함하는 기능성 게임을 위한 BCI 입력 인터페이스 시스템.
  3. 제1항에 있어서,
    상기 게이트웨이는
    상기 EEG 검출 장치로 사용되는 BCI 헤드셋으로부터 블루투스 무선 통신을 통해 상기 BCI 신호를 수신받는 블루투스 송수신기를 구비하는 PC 또는 스마트폰을 사용하는 것을 특징으로 하는 기능성 게임을 위한 BCI 입력 인터페이스 시스템.
  4. 제1항에 있어서,
    상기 게이트웨이는
    상기 EEG 검출 장치로 사용되는 BCI 헤드셋으로부터 블루투스 무선 통신을 통해 검출된 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 수신받는 블루투스 송수신기;
    수신된 BCI 신호에 따라 여러 종류의 BCI 헤드셋 드라이버 중 하나의 드라이버를 선택하는 EEG 핸들러;
    상기 EEG 핸들러에 의해 선택된 BCI 헤드셋 드라이버에서 정의된 MFER(Medical Waveform Format Encoding Rules) 프로토콜에 따른 데이타의 구조로 변환하는 복수의 BCI 헤드셋 드라이버(Mindset Driver, Huboro Driver, Standard Driver 등);
    해당 BCI 헤드셋 드라이버에 의해 MFER 프로토콜에 따른 데이타의 구조로 변환된 신호를 분석하여 상기 BCI 신호와 관련된 제어 명령을 생성하는 코멘드 디코더(Command Decoder); 및
    상기 코멘드 디코더에 의해 생성된 BCI 신호와 관련된 제어 명령을 다시 상기 임베디드 콘트롤 자동차 또는 게임 콘트롤 장치의 임베디드 시스템의 블루투스 송수신기로 전달하는 블루투스 송수신기를 포함하며,
    상기 BCI 신호와 관련된 제어 명령은 상기 임베디드 콘트롤 자동차의 경우 도어 개폐, 전진/후진/좌회전/우회전의 제어 명령이며, 상기 게임 콘트롤 장치의 경우 게임 제어 명령 인 것을 특징으로 하는 기능성 게임을 위한 BCI 입력 인터페이스 시스템.
  5. 제1항에 있어서,
    상기 MFER의 인코딩 포맷은 복수의 프레임(Frame)으로 구성되고, 각 프레임은 헤더(Header)와 웨이브폼 데이타(waveform data)로 구성되며, 헤더는 복수의 descriptor로 구성되며, 각 descriptor는 Tag(T), Data Length(L), Value(V)로 구분되고, 마찬가지로, 웨이브폼 데이타(waveform data)는 Tag(T), Data Length(L), Value(V)로 구분되며, Value(V) 값에 웨이브폼 데이타가 저장되는 것을 특징으로 하는 기능성 게임을 위한 BCI 입력 인터페이스 시스템.
  6. 제1항에 있어서,
    상기 임베디드 시스템은
    상기 게이트웨이로부터 블루투스 무선 통신을 통해 상기 BCI 신호와 관련된 제어 명령을 수신하는 블루투스 송수신기;
    상기 BCI 신호와 관련된 제어 명령에 따라 서비스를 제어하는 서비스 제어기(Service Controller);
    상기 임베디드 콘트롤 자동차의 경우 자동차 출입문의 도어록을 제어하는 임베디드 시스템 또는 자동차의 ECU와 연결되며, 임베디드 콘트롤 자동차 또는 게임 콘트롤 장치의 임베디드 시스템으로 수신된 상기 BCI 신호와 관련된 제어 명령의 프로토콜을 분석하여 제어 명령을 실행하는 마이크로 콘트롤러; 및
    상기 임베디드 콘트롤 자동차의 경우, 자동차의 차륜의 구동 모터와 연결되어 도어 개폐 제어 또는 전진/후진/좌회전/우회전 제어 서비스를 제공하는 자동차의 모터를 구동하도록 PWM 펄스를 생성하는 PWM 드라이버;를 포함하며,
    상기 BCI 신호, 즉 뇌파의 신호는 FFT를 통해 변환된 주파수대역에 기초하여 두 뇌파(β파,θ파)와 SMR파(S)를 통해 집중력지표(T)
    Figure 112014109229349-pat00029
    를 산출하여 뇌파의 집중력(T)을 구하여 0% ~ 100%의 백분율로 나타내며, 5단계로 나누어 하위 0% ~ 20%까지를 후진, 20 ~ 40%를 정지, 40~60% 전진 1단계 속도, 60~80%를 전진 2단계 속도 그리고 80~100%의 집중도를 가질 때를 전진 3단계 속도로 규정하고, 좌/우/도어오픈 기능은 근전도 센서를 사용하며, 예를들면, 뇌파 추출이 진행되는 동안 근전도를 추출하여 1.5초 이내에 눈 깜박임이 한 번이면 좌회전, 두 번이면 우회전, 세 번이면 도어 오픈을 나타내는 것을 특징으로 하는 기능성 게임을 위한 BCI 입력 인터페이스 시스템.
  7. 제1항에 있어서,
    상기 임베디드 시스템에서 수신하는 데이타의 구조에서, 처음 2바이트는 프로토콜의 데이타의 스타트(start of data)임을 나타내며, 다음 1바이트는 데이터의 길이(data length)를 나타내고, 다음 1바이트는 select interface, 다음 바이트는 command1, 다음 1바이트는 command2, 마지막 2바이트는 프로토콜의 데이타의 끝(end of data)으로 이루어지는 것을 특징으로 하는 기능성 게임을 위한 BCI 입력 인터페이스 시스템.
  8. 착용한 사용자의 뇌의 표면에서 다수의 검출 전극(Electrodes)에 의해 뇌의 신경 세포로부터 발생하는 미세한 뇌파 신호를 측정하여 증폭기에 의해 증폭하고, 증폭된 뇌파 신호를 FFT 변환한 후 필터(Filter)에 의해 주파수대역별로 필터링하여 δ파(4 Hz 미만), θ파(4 ~ 7.99 Hz), α파(8 ~ 12.99 Hz), β파(13 ~ 29.99 Hz), γ파(30~50 Hz)를 분류하고, 분류된 뇌파 신호를 A/D 변환하며, 마이크로 콘트롤러에 의해 상기 BCI 신호(뇌파의 신호)를 FFT를 통해 변환된 주파수대역에 기초하여 두 뇌파(β파,θ파)와 SMR파(S)를 통해 집중력지표(T)
    Figure 112014109229349-pat00030
    를 산출하여 뇌파의 집중력(T)을 구하여 0% ~ 100%의 백분율로 나타내며, 뇌파 추출이 진행되는 동안 근전도를 추출하여 일정시간 동안 눈 깜박임 횟수를 산출하고, 마이크로 콘트롤러와 블루투스 송수신기를 통해 검출된 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 전송하는 EEG 검출 장치로 사용되는 BCI 헤드셋;
    상기 EEG 검출 장치로 사용되는 BCI 헤드셋으로부터 블루투스 무선 통신을 통해 상기 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 수신받고, 여러 종류의 BCI 헤드셋 드라이버에서 정의된 MFER(Medical Waveform Format Encoding Rules) 프로토콜에 따른 데이타의 구조로 변환하며, 변환된 신호를 코멘드 디코더(Command Decoder)에 의해 분석되어 BCI 신호와 관련된 게임 제어 명령으로 변환되어 블루투스 송수신기를 통해 제어 명령을 전달하는 게이트웨이; 및
    상기 EEG 검출 장치로 사용되는 BCI 헤드셋으로부터 블루투스 무선 통신을 통해 상기 게이트웨이로부터 디코딩된 BCI 신호와 관련된 게임 제어 명령을 수신받아, 기 설정된 명령 실행 구조에 따라 상기 BCI 신호와 관련된 게임 제어 명령을 실행하는 임베디드 시스템을 구비하는 게임 콘트롤 장치;
    를 포함하는 기능성 게임을 위한 BCI 입력 인터페이스 시스템.
  9. (a) EEG 검출 장치로 사용되는 BCI 헤드셋을 착용한 사용자의 뇌의 표면에서 다수의 검출 전극(Electrodes)에 의해 뇌의 신경 세포로부터 발생하는 미세한 뇌파 신호를 측정하여 증폭기에 의해 미세한 뇌파 신호를 증폭하고, 증폭된 뇌파 신호를 FFT 변환한 후 필터(Filter)에 의해 주파수대역별로 필터링하여 δ파(4 Hz 미만), θ파(4 ~ 7.99 Hz), α파(8 ~ 12.99 Hz), β파(13 ~ 29.99 Hz), γ파(30~50 Hz)를 분류하고, 분류된 뇌파 신호를 A/D 변환하며, 마이크로 콘트롤러에 의해 상기 BCI 신호(뇌파의 신호)를 FFT를 통해 변환된 주파수대역에 기초하여 두 뇌파(β파,θ파)와 SMR파(S)를 통해 집중력지표(T)
    Figure 112014109229349-pat00031
    를 산출하여 뇌파의 집중력(T)을 구하여 0% ~ 100%의 백분율로 나타내며, 뇌파 추출이 진행되는 동안 근전도를 추출하여 일정시간 동안 눈 깜박임 횟수를 산출하고, 상기 마이크로 콘트롤러와 블루투스 송수신기를 통해 검출된 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 게이트웨이로 전송하는 단계; 및
    (b) 상기 EEG 검출 장치로 사용되는 BCI 헤드셋으로부터 블루투스 무선 통신을 통해 상기 뇌파의 집중도와 눈깜박임 데이터를 포함하는 BCI 신호를 상기 게이트웨이로 수신받고, 여러 종류의 BCI 헤드셋 드라이버에서 정의된 MFER(Medical Waveform Format Encoding Rules) 프로토콜에 따른 데이타의 구조로 변환하며, 변환된 신호를 코멘드 디코더(Command Decoder)에 의해 분석되어 BCI 신호와 관련된 제어 명령으로 변환되어 블루투스 송수신기를 통해 상기 BCI 신호와 관련된 제어 명령을 임베디드 콘트롤 자동차의 임베디드 시스템으로 전달하거나 또는 BCI 신호와 관련된 게임 제어 명령을 게임 콘트롤 장치의 임베디드 시스템으로 전달하는 단계를 포함하는 기능성 게임을 위한 BCI 입력 인터페이스 방법.
  10. 제9항에 있어서,
    (c) 상기 임베디드 콘트롤 자동차의 경우, 상기 임베디드 콘트롤 자동차의 임베디드 시스템에 의해 기 설정된 명령 실행 구조에 따라 자동차의 도어록을 제어하여 자동차의 문의 개폐, 전진/후진/좌회전/우회전의 제어 명령을 실행하도록 자동차의 도어 개폐, 자동차의 ECU와 자동차의 구동 모터를 제어하는 단계;를 더 포함하는 기능성 게임을 위한 BCI 입력 인터페이스 방법.
  11. 제9항에 있어서,
    (d) 상기 게임 콘트롤 장치의 경우, 상기 게임 콘트롤 장치의 임베디드 시스템에 의해 게임 동작 설계시 기 설정된 명령 실행 구조에 따라 상기 BCI 신호와 관련된 게임 제어 명령을 실행하도록 제어하는 단계;를 더 포함하는 기능성 게임을 위한 BCI 입력 인터페이스 방법.
KR1020130149047A 2013-12-03 2013-12-03 기능성 게임을 위한 ｂｃｉ 입력 인터페이스 시스템 및 방법 KR101517007B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130149047A KR101517007B1 (ko) 2013-12-03 2013-12-03 기능성 게임을 위한 ｂｃｉ 입력 인터페이스 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130149047A KR101517007B1 (ko) 2013-12-03 2013-12-03 기능성 게임을 위한 ｂｃｉ 입력 인터페이스 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101517007B1 true KR101517007B1 (ko) 2015-05-04

Family

ID=53393672

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130149047A KR101517007B1 (ko) 2013-12-03 2013-12-03 기능성 게임을 위한 ｂｃｉ 입력 인터페이스 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101517007B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101656186B1 (ko) 2015-06-05 2016-09-08 건양대학교산학협력단 Smr파를 이용한 상태표출 시스템
KR101769473B1 (ko) * 2015-08-31 2017-08-24 한양대학교 에리카산학협력단 뇌파를 이용한 보안 시스템
CN113180694A (zh) * 2021-04-07 2021-07-30 北京脑陆科技有限公司 一种基于eeg信号的数据实时标注方法及系统
KR20220123914A (ko) * 2021-03-02 2022-09-13 한동대학교 산학협력단 멀티쓰레드를 활용한 뇌-컴퓨터 인터페이스(bci) 시스템 기반 게임 구현 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030017124A (ko) * 2001-08-24 2003-03-03 림스테크널러지주식회사 뇌-기계 인터페이스 작동을 위한 무선 시스템 및 그의제어방법
KR20130032947A (ko) * 2011-09-26 2013-04-03 강성철 방향 입력장치가 장착된 뇌파 헤드셋을 이용한 게임 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030017124A (ko) * 2001-08-24 2003-03-03 림스테크널러지주식회사 뇌-기계 인터페이스 작동을 위한 무선 시스템 및 그의제어방법
KR20130032947A (ko) * 2011-09-26 2013-04-03 강성철 방향 입력장치가 장착된 뇌파 헤드셋을 이용한 게임 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101656186B1 (ko) 2015-06-05 2016-09-08 건양대학교산학협력단 Smr파를 이용한 상태표출 시스템
KR101769473B1 (ko) * 2015-08-31 2017-08-24 한양대학교 에리카산학협력단 뇌파를 이용한 보안 시스템
KR20220123914A (ko) * 2021-03-02 2022-09-13 한동대학교 산학협력단 멀티쓰레드를 활용한 뇌-컴퓨터 인터페이스(bci) 시스템 기반 게임 구현 방법
KR102446430B1 (ko) 2021-03-02 2022-09-21 한동대학교 산학협력단 멀티쓰레드를 활용한 뇌-컴퓨터 인터페이스(bci) 시스템 기반 게임 구현 방법
CN113180694A (zh) * 2021-04-07 2021-07-30 北京脑陆科技有限公司 一种基于eeg信号的数据实时标注方法及系统

Similar Documents

Publication Publication Date Title
Mihajlović et al. Wearable, wireless EEG solutions in daily life applications: what are we missing?
Casson et al. Electroencephalogram
US7570991B2 (en) Method for real time attitude assessment
Carrino et al. A self-paced BCI system to control an electric wheelchair: Evaluation of a commercial, low-cost EEG device
Lin et al. Development of wireless brain computer interface with embedded multitask scheduling and its application on real-time driver's drowsiness detection and warning
Murugappan et al. Inferring of human emotional states using multichannel EEG
Hwang et al. Driver drowsiness detection using the in-ear EEG
KR101518575B1 (ko) Bci를 위한 사용자 의도인지 분석 방법
CN106691441A (zh) 基于脑电与运动状态反馈的注意力训练系统及方法
Han et al. Enhanced performance of a brain switch by simultaneous use of EEG and NIRS data for asynchronous brain-computer interface
US20030139683A1 (en) Apparatus and method for measuring electroencephalogram
WO2017069644A2 (en) Wireless eeg headphones for cognitive tracking and neurofeedback
KR101517007B1 (ko) 기능성 게임을 위한 ｂｃｉ 입력 인터페이스 시스템 및 방법
Kim et al. Wedea: A new eeg-based framework for emotion recognition
Galway et al. The potential of the brain-computer interface for learning: A technology review
Khamis et al. Detection of temporal lobe seizures and identification of lateralisation from audified EEG
Sareen et al. EEG dataset of individuals with intellectual and developmental disorder and healthy controls under rest and music stimuli
Monori et al. Processing EEG signals acquired from a consumer grade BCI device
Di Liberto et al. Robust anticipation of continuous steering actions from electroencephalographic data during simulated driving
KR101527273B1 (ko) 전두엽 부착형 뇌파신호 검출 및 뇌파기반 집중력 분석 방법 및 장치
CN114557708A (zh) 基于脑电双特征融合的体感刺激意识检测装置和方法
Ahmed et al. Machine Learning for Cognitive Load Classification–A Case Study on Contact-Free Approach
Nader et al. Using BCI and EEG to process and analyze driver’s brain activity signals during VR simulation
Joshi et al. Argos: Alertness rating gamma brainwave observation system
Sudharsan et al. Brain–computer interface using electroencephalographic signals for the Internet of Robotic Things

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180410

Year of fee payment: 4