KR101878416B1 - 뇌-컴퓨터 인터페이스(bci)를 이용한 게임 방식의 재활 시스템 및 그 제어방법 - Google Patents

뇌-컴퓨터 인터페이스(bci)를 이용한 게임 방식의 재활 시스템 및 그 제어방법 Download PDF

Info

Publication number
KR101878416B1
KR101878416B1 KR1020160178518A KR20160178518A KR101878416B1 KR 101878416 B1 KR101878416 B1 KR 101878416B1 KR 1020160178518 A KR1020160178518 A KR 1020160178518A KR 20160178518 A KR20160178518 A KR 20160178518A KR 101878416 B1 KR101878416 B1 KR 101878416B1
Authority
KR
South Korea
Prior art keywords
user
signal
eeg
image
game
Prior art date
Application number
KR1020160178518A
Other languages
English (en)
Other versions
KR20180074442A (ko
Inventor
구정훈
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020160178518A priority Critical patent/KR101878416B1/ko
Priority to PCT/KR2017/013302 priority patent/WO2018117439A1/ko
Publication of KR20180074442A publication Critical patent/KR20180074442A/ko
Application granted granted Critical
Publication of KR101878416B1 publication Critical patent/KR101878416B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61B5/04012—
    • A61B5/048—
    • A61B5/0482—
    • A61B5/04842—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/375—Electroencephalography [EEG] using biofeedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Acoustics & Sound (AREA)
  • Hematology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Anesthesiology (AREA)
  • Signal Processing (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Rehabilitation Tools (AREA)

Abstract

본 발명은 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템에 관한 것으로서, 보다 구체적으로는 재활 시스템으로서, 게임영상과 상기 게임영상의 주변으로 배치되어 사용자가 주시할 수 있는 신호영상을 표시하는 표시 장치, 상기 표시 장치에 표시되는 신호영상에 대응되는 사용자의 뇌파를 획득하는 뇌파 획득 장치, 상기 뇌파 획득 장치에서 획득된 사용자의 뇌파를 분석하는 뇌파 분석 장치, 및 상기 뇌파 분석 장치에서 분석된 뇌파에 대응되는 결과에 따라 상기 표시 장치의 게임영상을 제어하는 제어 장치를 포함하며, 상기 신호영상으로 표시되는 거울신경세포 활성화를 위한 움직임에 따른, 사용자의 거울신경세포의 활성화를 이용하여 재활 훈련을 하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템의 제어방법에 관한 것으로서, 보다 구체적으로는 재활 시스템의 제어방법에 있어서, (1) 표시 장치가, 게임영상 및 상기 게임영상의 주변으로 배치되어 사용자가 주시할 수 있는 신호영상을 표시하는 단계, (2) 뇌파 획득 장치가, 상기 단계 (1)에서 표시되는 신호영상에 대응되는 사용자의 뇌파를 획득하는 단계, (3) 뇌파 분석 장치가, 상기 단계 (2)에서 획득된 사용자의 뇌파를 분석하는 단계, 및 (4) 제어 장치가, 상기 단계 (3)에서 분석된 뇌파에 대응되는 결과에 따라 상기 표시 장치의 게임영상을 제어하는 단계를 포함하며, 상기 신호영상으로 표시되는 거울신경세포 활성화를 위한 움직임에 따른, 사용자의 거울신경세포의 활성화를 이용하여 재활 훈련을 하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템 및 재활 시스템의 제어방법에 따르면, 기존의 SSVEP를 이용한 시스템은 깜빡이는 빛을 이용하였던 것과는 달리, SSVEP의 특정 주파수를 포함하는 신호영상으로 거울신경세포를 활성화시킬 수 있는 움직이는 영상을 이용함으로써, 사용자의 흥미를 유도하여 영상을 주시하는 집중력을 높일 수 있으며, 이와 동시에, 사용자의 능동적인 재활 훈련이 가능하도록 할 수 있다.
또한, 본 발명에 따르면, 신호영상의 주변에 신호영상에 따른 사용자의 뇌파를 이용하여 진행되는 게임영상을 표시하고, 사용자가 게임을 즐길 수 있게 하여, 사용자의 적극적인 참여를 유도할 수 있다.
뿐만 아니라, 본 발명에 따르면, BCI 기법으로 소개되고 있는 SSVEP와, 움직이는 영상을 포함하는 신호영상으로 거울신경세포의 활성화를 동시에 활용할 수 있는 재활 시스템으로서, 재활 훈련의 효과를 더욱 높일 수 있다.

Description

뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템 및 그 제어방법{GAME-BASED REHABILITATION SYSTEM USING BRAIN-COMPUTER INTERFACE (BCI) AND ITS CONTROL METHOD}
본 발명은 재활 시스템 및 그 제어방법에 관한 것으로서, 보다 구체적으로는 움직임을 포함하는 신호영상을 사용자가 주시함으로써, 사용자의 거울신경세포의 활성화를 이용하여 재활 훈련을 하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템 및 그 제어방법에 관한 것이다.
일반적으로 운동 능력의 결손을 가지는 뇌질환 환자는, 마비된 근육을 자신의 의지로는 조절할 수 없는 경우가 대부분이며, 이러한 환자의 재활을 돕는 방법으로 물리치료, 약물치료, 수술 등이 있다. 특히, 물리치료를 이용한 재활 훈련에 있어서, 환자의 의지에 의해 능동적으로 치료를 하는 경우가 재활 훈련의 효과가 높은 것으로 보고되었으나, 근육 마비로 인해 동작에 제한이 있는 환자들에게, 이러한 재활 훈련은 물리치료사에 의하여 수동적으로 이루어질 수밖에 없는 문제점이 있다.
한편, 재활 훈련의 효과를 높이기 위하여, 환자의 거울신경세포의 자극을 이용하는 치료방법이 있다. 이는 물리치료사에 의한 수동적인 치료가 아닌, 환자가 특정한 대상을 주시하는 행동을 통하여 이루어지는 능동적인 재활 훈련이라는 점에서 의미가 있다. 거울신경세포는, 자신이 직접 경험한 것이 아니라 타인의 행동을 보기만 해도, 관찰자가 실제로 행동하는 것과 같이, 관찰자의 신체에서 동일한 반응을 일으키게 하는 세포를 의미한다. 이를 응용한 재활 훈련으로서, 환자의 거울신경세포를 활성화시키기 위하여, 특정 대상의 움직임이 포함된 비디오를 보여주는 방법이 있으며, 이러한 방법은, 뇌손상으로 인하여 자신의 의지로는 동작을 할 수 없는 환자에게, 타인의 행동을 보는 것만으로도 환자 자신이 스스로 행동하는 것처럼 환자의 신체 시스템에 영향을 미치게 된다.
또한, 최근에는 환자의 뇌파를 이용한 재활과 관련된 연구가 진행되고 있으며, 특히 BCI(Brain-Computer Interface)는 뇌파를 컴퓨터에 전달하는 장치를 의미하는 것으로서, 이러한 BCI 기술을 이용하여, 사람과 컴퓨터의 소통을 이용한 재활 시스템 분야의 개발이 활발해지고 있다.
BCI 기법으로 소개되고 있는 SSVEP(Steady-State Visually Evoked Potentials)는, ‘정상상태시각유발전위’라고 하며, 이는 사용자가 깜빡이는 빛을 주시할 때 사용자의 뇌파에서 발생되는 것으로, 주시하는 빛의 깜빡임과 같은 주파수를 갖는 뇌파를 가리킨다. 즉, SSVEP를 이용한 BCI 기술은, 사용자가 특정 주파수로 깜빡거리는 빛을 보면, 사용자의 뇌 뒤쪽에서 SSVEP가 발생하게 되며, 사용자의 머리에 설치된 뇌파 측정 장치를 통하여 측정된 SSVEP가, 컴퓨터에 입력됨으로써, 뇌파를 컴퓨터에 전달할 수 있게 되는 것이다.
도 1은 기존의 SSVEP를 이용한 시스템의 일예를 나타내는 도면이다. 도 1에 도시된 바와 같이, 화면에서 특정 주파수로 깜빡이는 빛을 이용하여, 사용자의 뇌파에서 SSVEP를 검출하고, 검출된 뇌파를 컴퓨터에 전달하게 된다. 이 경우 깜빡이는 빛은 하나 이상일 수 있고, 각각 특정 주파수가 상이하여, 사용자의 뇌파에서 검출된 SSVEP의 주파수의 분석을 통하여, 사용자가 주시하는 빛이 무엇인지 알 수 있다. 각각의 깜빡이는 빛에는 미리 정하여진 신호가 있으며, 사용자가 주시하는 빛의 신호에 대응되는 장치를 원격으로 제어할 수 있는 시스템이다. 이러한 깜빡이는 빛을 이용하는 시스템은, 단지 깜빡이는 빛을 이용하는 것이므로, 사용자가 이에 흥미를 갖기 어렵고, 집중도가 떨어지는 문제점이 있다. 이와 같은 SSVEP를 이용한 시스템과 관련된 선행기술로는, 공개특허 제10-2014-0075049호(발명의 명칭: 집중력 평가 방법 및 이를 적용하는 장치), 등록특허 제10-1431203호(발명의 명칭: 뇌파를 이용한 의도 인식용 두뇌 기계 인터페이스 장치 및 방법) 등이 있다.
상기한 바와 같이, 종래의 SSVEP를 이용한 시스템은, 사용자가 흥미를 갖지 않게 되어, 집중도가 낮을 수밖에 없으므로, 사용자의 집중력을 높일 수 있는 해결책이 필요하며, 이에 더하여, 사용자의 능동적인 재활 훈련을 통하여 재활 훈련의 효과를 높일 수 있는, 거울신경세포의 활성화 방법의 개발의 필요성이 높아지고 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 기존의 SSVEP를 이용한 시스템은 깜빡이는 빛을 이용하였던 것과는 달리, SSVEP의 특정 주파수를 포함하는 신호영상으로 거울신경세포를 활성화시킬 수 있는 움직이는 영상을 이용함으로써, 사용자의 흥미를 유도하여 영상을 주시하는 집중력을 높일 수 있으며, 이와 동시에, 사용자의 능동적인 재활 훈련이 가능하도록 하는, 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템 및 그 제어방법을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 신호영상의 주변에 신호영상에 따른 사용자의 뇌파를 이용하여 진행되는 게임영상을 표시하고, 사용자가 게임을 즐길 수 있게 하여, 사용자의 적극적인 참여를 유도하도록 하는, 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템 및 재활 시스템의 제어방법을 제공하는 것을 다른 목적으로 한다.
뿐만 아니라, 본 발명은, BCI 기법으로 소개되고 있는 SSVEP와, 움직이는 영상을 포함하는 신호영상으로 거울신경세포의 활성화를 동시에 활용할 수 있는 재활 시스템으로서, 재활 훈련의 효과를 더욱 높일 수 있도록 하는, 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템 및 재활 시스템의 제어방법을 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른, 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템은,
재활 시스템으로서,
게임영상과, 상기 게임영상의 주변으로 배치되어 사용자가 주시할 수 있는 신호영상을 표시하는 표시 장치;
상기 표시 장치에 표시되는 신호영상에 대응되는 사용자의 뇌파를 획득하는 뇌파 획득 장치;
상기 뇌파 획득 장치에서 획득된 사용자의 뇌파를 분석하는 뇌파 분석 장치; 및
상기 뇌파 분석 장치에서 분석된 뇌파에 대응되는 결과에 따라 상기 표시 장치의 게임영상을 제어하는 제어 장치를 포함하며,
상기 신호영상으로 표시되는 거울신경세포 활성화를 위한 움직임에 따른, 사용자의 거울신경세포의 활성화를 이용하여 재활 훈련을 하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 표시 장치는,
사용자의 거울신경세포의 활성화를 위한 신호영상을 표시하는 신호영상 표시부; 및
상기 제어 장치에 따라 제어되는 게임영상을 표시하는 게임영상 표시부를 포함할 수 있다.
더욱 바람직하게는, 상기 신호영상 표시부는,
상기 표시 장치에 하나 이상의 표시 영역으로 구성될 수 있다.
더욱더 바람직하게는, 상기 신호영상 표시부는,
상기 하나 이상의 표시 영역에 표시되는 각각의 신호영상마다 다른 주파수로 깜빡이도록 표시할 수 있다.
더욱더 바람직하게는, 상기 신호영상 표시부는,
상기 하나 이상의 표시 영역에 표시되는 각각의 신호영상마다 거울신경세포 활성화를 위한 다른 움직임을 표시할 수 있다.
바람직하게는, 상기 뇌파 분석 장치는,
사용자가 신호영상 중 하나의 신호영상을 주시할 때의 뇌파를 검출하는 뇌파검출부; 및
상기 뇌파검출부에서 검출된 뇌파의 주파수를 분석하는 뇌파분석부를 포함할 수 있다.
더욱 바람직하게는, 상기 뇌파검출부는,
사용자가 주시하는 상기 하나의 신호영상에 대응되는 사용자의 뇌파 신호에서, SSVEP를 검출할 수 있다.
더욱더 바람직하게는, 상기 뇌파분석부는,
상기 뇌파검출부에서 검출된 SSVEP의 주파수를 분석할 수 있다.
더욱더 바람직하게는, 상기 제어 장치는,
상기 뇌파분석부가 분석한 특정 주파수를 갖는 SSVEP에 대응되는 신호영상에 해당하는 게임영상 제어신호를 생성하는 제어신호 생성부; 및
상기 제어신호 생성부에서 생성된 게임영상 제어신호를 이용하여 상기 게임영상을 제어하는 제어부를 포함할 수 있다.
바람직하게는, 상기 표시 장치는,
TV, 컴퓨터, 노트북, 스마트 TV, 및 태블릿 PC 중 적어도 하나일 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 다른 특징에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템의 제어방법은,
재활 시스템의 제어방법으로서,
(1) 표시 장치가, 게임영상 및 상기 게임영상의 주변으로 배치되어 사용자가 주시할 수 있는 신호영상을 표시하는 단계;
(2) 뇌파 획득 장치가, 상기 단계 (1)에서 표시되는 신호영상에 대응되는 사용자의 뇌파를 획득하는 단계;
(3) 뇌파 분석 장치가, 상기 단계 (2)에서 획득된 사용자의 뇌파를 분석하는 단계; 및
(4) 제어 장치가, 상기 단계 (3)에서 분석된 뇌파에 대응되는 결과에 따라 상기 표시 장치의 게임영상을 제어하는 단계를 포함하며,
상기 신호영상으로 표시되는 거울신경세포 활성화를 위한 움직임에 따른, 사용자의 거울신경세포의 활성화를 이용하여 재활 훈련을 하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 표시 장치는,
사용자의 거울신경세포의 활성화를 위한 신호영상을 표시하는 신호영상 표시부; 및
상기 제어 장치에 따라 제어되는 게임영상을 표시하는 게임영상 표시부를 포함할 수 있다.
더욱 바람직하게는, 상기 신호영상 표시부는,
상기 표시 장치에 하나 이상의 표시 영역으로 구성될 수 있다.
더욱더 바람직하게는, 상기 신호영상 표시부는,
상기 하나 이상의 표시 영역에 표시되는 각각의 신호영상마다 다른 주파수로 깜빡이도록 표시할 수 있다.
더욱더 바람직하게는, 상기 신호영상 표시부는,
상기 하나 이상의 표시 영역에 표시되는 각각의 신호영상마다 거울신경세포 활성화를 위한 다른 움직임을 표시할 수 있다.
바람직하게는, 상기 뇌파 분석 장치는,
사용자가 신호영상 중 하나의 신호영상을 주시할 때의 뇌파를 검출하는 뇌파검출부; 및
상기 뇌파검출부에서 검출된 뇌파의 주파수를 분석하는 뇌파분석부를 포함할 수 있다.
더욱 바람직하게는, 상기 뇌파검출부는,
사용자가 주시하는 상기 하나의 신호영상에 대응되는 사용자의 뇌파 신호에서, SSVEP를 검출할 수 있다.
더욱더 바람직하게는, 상기 뇌파분석부는,
상기 뇌파검출부에서 검출된 SSVEP의 주파수를 분석할 수 있다.
더 더욱더 바람직하게는, 상기 제어 장치는,
상기 뇌파분석부가 분석한 특정 주파수를 갖는 SSVEP에 대응되는 신호영상에 해당하는 게임영상 제어신호를 생성하는 제어신호 생성부; 및
상기 제어신호 생성부에서 생성된 게임영상 제어신호를 이용하여 상기 게임영상을 제어하는 제어부를 포함할 수 있다.
바람직하게는, 상기 표시 장치는,
TV, 컴퓨터, 노트북, 스마트 TV, 및 태블릿 PC 중 적어도 하나일 수 있다.
본 발명에서 제안하고 있는 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템 및 그 제어방법에 따르면, 기존의 SSVEP를 이용한 시스템은 깜빡이는 빛을 이용하였던 것과는 달리, SSVEP의 특정 주파수를 포함하는 신호영상으로 거울신경세포를 활성화시킬 수 있는 움직이는 영상을 이용함으로써, 사용자의 흥미를 유도하여 영상을 주시하는 집중력을 높일 수 있으며, 이와 동시에, 사용자의 능동적인 재활 훈련이 가능하도록 할 수 있다.
또한, 본 발명에 따르면, 신호영상의 주변에 신호영상에 따른 사용자의 뇌파를 이용하여 진행되는 게임영상을 표시하고, 사용자가 게임을 즐길 수 있게 하여, 사용자의 적극적인 참여를 유도할 수 있다.
뿐만 아니라, 본 발명에 따르면, BCI 기법으로 소개되고 있는 SSVEP와, 움직이는 영상을 포함하는 신호영상으로 거울신경세포의 활성화를 동시에 활용할 수 있는 재활 시스템으로서, 재활 훈련의 효과를 더욱 높일 수 있다.
도 1은 기존의 SSVEP를 이용한 시스템의 일예를 도시하는 도면.
도 2는 기존의 SSVEP를 이용한 시스템을 통하여 출력된 뇌파의 주파수 분석결과를 도시하는 도면.
도 3은 타인의 동작을 관찰하는 관찰자의 뇌의 일정 영역이 활성화된 것을 나타내는 사진.
도 4는 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템에 있어서, 사용자가 재활 훈련을 하는 모습을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템의 뇌파 획득 장치를 도시한 도면.
도 6은 본 발명의 다른 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템의 표시 장치를 도시한 도면.
도 7은 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템의 블럭도를 도시한 도면.
도 8은 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템의 전체적인 구성도를 도시한 도면.
도 9는 본 발명의 다른 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템의 전체적인 구성도를 도시한 도면.
도 10은 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템에 있어서, 재활 시스템의 제어방법의 흐름도를 도시한 도면.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 기존의 SSVEP를 이용한 시스템의 일예를 도시하는 도면이다. 도 1에 도시된 바와 같이, 화면에서 특정 주파수로 깜빡이는 빛을 이용하여, 사용자의 뇌파에서 SSVEP를 검출하고, 검출된 뇌파를 컴퓨터에 전달하게 된다. 이 경우 깜빡이는 빛은 하나 이상일 수 있고, 각각 특정 주파수가 상이하여, 사용자의 뇌파에서 검출된 SSVEP의 주파수의 분석을 통하여, 사용자가 주시하는 빛이 무엇인지 알 수 있다. 각각의 깜빡이는 빛에는 미리 정하여진 신호가 있으며, 사용자가 주시하는 빛의 신호에 대응되는 장치를 원격으로 제어할 수 있는 시스템이다.
도 2는 기존의 SSVEP를 이용한 시스템을 통하여 출력된 뇌파의 주파수 분석결과를 도시하는 도면이다. 도 2에 도시된 바와 같이, 하나 이상의 깜빡이는 빛을 주시하는 사용자의 뇌파에서는, 사용자가 주시한 깜빡이는 빛이 갖는 주파수와 동일한 주파수의 SSVEP가 검출될 수 있으며, 각각 해당 주파수에서 피크가 표시된 것을 확인할 수 있다.
도 3은 타인의 동작을 관찰하는 관찰자의 뇌의 일정 영역이 활성화된 것을 나타내는 사진이다. 도 3에 나타낸 바와 같이, 연구결과에서는, 관찰자가 이행적 동작과 흉내 내기 동작을 관찰할 때는, 같은 동작을 정적인 그림으로 관찰할 때와는 달리 뇌의 특정 영역에서 각기 다른 활성을 보였으며, 이는 관찰한 동작에 참여하는 효과기에 달려있다고 발표되었다. 이로부터, 동작 관찰을 통해 관찰자의 뇌의 일정 영역이 활성화되는 것을 확인할 수 있고, 활성화된 거울신경세포는 관찰된 동작을 관찰자가 실제로 실행하는데 관여하는 운동회로를 강화시킴으로써, 관찰자의 실질적인 운동이 없이도 재활 훈련을 할 수 있다는 것을 알 수 있다.
도 4는 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)에 있어서, 사용자가 재활 훈련을 하는 모습을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)은, 재활 시스템으로서, 게임영상과 게임영상의 주변으로 배치되어 사용자가 주시할 수 있는 신호영상을 표시하는 표시 장치(100), 표시 장치(100)에 표시되는 신호영상에 대응되는 사용자의 뇌파를 획득하는 뇌파 획득 장치(200), 뇌파 획득 장치(200)에서 획득된 사용자의 뇌파를 분석하는 뇌파 분석 장치(300), 및 뇌파 분석 장치(300)에서 분석된 뇌파에 대응되는 결과에 따라 표시 장치(100)의 게임영상을 제어하는 제어 장치(400)를 포함하며, 신호영상으로 표시되는 거울신경세포 활성화를 위한 움직임에 따른, 사용자의 거울신경세포의 활성화를 이용하여 재활 훈련을 하는 것을 그 구성상의 특징으로 한다.
본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)은, 사용자가 신호영상 표시부(110)를 주시하면, 사용자의 머리에 부착된 뇌파 획득 장치(200)를 이용하여 신호영상 표시부(110)의 신호영상의 주파수와 동일한 주파수를 갖는 SSVEP를 획득한다. 실시예에 따라서는, 뇌파 분석 장치(300)는 뇌파 획득 장치(200)에서 획득된 SSVEP의 해당 주파수를 분석하고, 이렇게 분석된 주파수를 이용하여 제어 장치(400)의 제어신호 생성부(410)에서 생성된 제어신호에 따라 제어부(420)가 표시 장치(100)의 게임영상 표시부(120)를 제어함으로써, 사용자는 신호영상을 주시하여 거울신경세포를 활성화시키는 것과 동시에 게임 진행을 통하여 적극적 참여를 통한 재활 훈련을 할 수 있게 된다.
도 5는 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)의 뇌파 획득 장치(200)를 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)의 뇌파 획득 장치(200)는, 뇌파를 측정하는 하나 이상의 전극을 포함할 수 있다. 실시예에 따라서는, 하나 이상의 전극을 사용자의 머리를 감싸는 형태의 장치로 구성할 수 있으며, 또는 모자에 전극을 결합시킴으로써, 모자 자체가 뇌파 획득 장치(200)가 될 수도 있다. 뿐만 아니라, 전극에는 전해질 젤을 발라서 사용할 수도 있는데, 이는 전해질 젤이 두피로부터 검출되는 뇌파를 전극에 잘 전달할 수 있도록 해주는 역할을 하기 때문이다.
도 6은 본 발명의 다른 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)의 표시 장치(100)를 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)의 표시 장치(100)는, 사용자의 거울신경세포의 활성화를 위한 신호영상을 표시하는 신호영상 표시부(110), 및 제어 장치(400)에 따라 제어되는 게임영상을 표시하는 게임영상 표시부(120)를 포함할 수 있다. 즉, 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)의 표시장치(100)는, 움직임을 포함하는 특정 주파수를 갖는 신호영상을 표시하는 신호영상 표시부(110)와, 사용자의 의도에 따른 선별된 신호영상을 이용하여 진행되는 게임을 표시하는 게임영상 표시부(120)로 구성될 수 있다.
본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)의 신호영상 표시부(110)는, 표시 장치(100)에 하나 이상의 표시 영역으로 구성될 수 있다. 실시예에 따라서는, 신호영상 표시부(110)는, 표시 장치(100)의 정면에 배치될 수 있으며, 사용자의 선별적인 주시가 용이하도록, 표시장치(100)의 동일한 면에 집중하여 배치되는 것이 일반적이며, 4개, 8개, 10개로 구성될 수 있다. 물론, 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)에 있어서, 신호영상 표시부(110)의 표시 영역의 개수가 상기와 같은 개수로만 한정되는 것은 아니다.
본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)의 신호영상 표시부(110)는, 하나 이상의 표시 영역에 표시되는 각각의 신호영상마다 다른 주파수로 깜빡이도록 표시할 수 있다. 실시예에 따라서는, 신호영상의 주파수는 7Hz~20Hz의 주파수 영역을 이용할 수 있으나, 일반적으로 7Hz~20Hz의 주파수 영역의 경우에는 사용자가 깜빡임을 인식할 수 있기 때문에, 사용자가 눈의 피로감을 쉽게 느끼게 되므로, 사용자가 깜빡임을 인식할 수 없는 30Hz 이상의 주파수를 사용하여 사용자의 눈의 피로감을 줄일 수도 있다.
본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)의 신호영상 표시부(110)는, 하나 이상의 표시 영역에 표시되는 각각의 신호영상마다 거울신경세포 활성화를 위한 다른 움직임을 표시할 수 있다. 실시예에 따라서는, 신호영상의 움직임은 손, 발, 머리, 팔, 다리 등을 포함하여 신체의 일부로 표시될 수 있으며, 이는 사용자가 신호영상 표시부(110)에 표시되는 신체의 움직임을 주시함으로써, 거울신경세포를 활성화시키기 위함이다. 즉, 도 6에서 확인할 수 있듯이, 본 발명의 신호영상은 움직이는 동작과정을 포함함으로써, 사용자의 흥미를 유발하여 집중력을 높일 수 있고, 더불어 동작을 관찰함으로써, 사용자의 거울신경세포의 활성화를 통한 재활의 효과도 얻을 수 있다.
도 7은 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)의 블럭도를 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)에 있어서, 뇌파 획득 장치(200)에서 획득된 뇌파는, 뇌파검출부(310)와 뇌파분석부(320)를 포함하는 뇌파 분석 장치(300)와 연결될 수 있다. 또한, 뇌파 분석 장치(300)는, 제어신호 생성부(410)와 제어부(420)를 포함하여 구성되는 제어 장치(400)와 연결되어, 뇌파 분석 장치(300)에서 분석한 뇌파를 제어 장치(400)로 전달할 수 있으며, 제어 장치(400)는 게임영상 제어신호를 이용하여 표시 장치(100)의 게임영상 표시부(120)의 게임을 제어할 수 있다.
도 8은 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)의 전체적인 구성도를 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)에 있어서, 사용자는 표시장치(100)의 하나 이상의 신호영상 표시부(110)를 선별적으로 주시할 수 있으며, 신호영상을 주시함으로써 발생되는 뇌파는 뇌파 분석 장치(300)로 전송될 수 있다. 실시예에 따라서는, 뇌파 분석 장치(300)는 사용자가 신호영상 중 하나의 신호영상을 주시할 때의 뇌파를 검출하는 뇌파검출부(310), 및 뇌파검출부(310)에서 검출된 뇌파의 주파수를 분석하는 뇌파분석부(320)를 포함할 수 있으며, 뇌파검출부(310)는, 사용자가 주시하는 하나의 신호영상에 대응되는 사용자의 뇌파 신호에서, SSVEP를 검출할 수 있다. 사용자가 특정 주파수를 갖는 신호영상을 주시하면, 신호영상의 주파수와 동일한 주파수를 갖는 뇌파가 사용자의 후두엽의 시각 피질에서 물리적으로 유도되고, 신호영상으로 유도되는 자극과 동일한 주파수를 갖는 진동 뇌파를 SSVEP라고 한다. 이러한 원리를 이용하여, 다양한 주파수를 갖는 신호영상을 선택적으로 바라보는 사용자의 의도에 따라서, 선별적으로 SSVEP의 주파수를, 특정한 주파수로 바꿀 수 있게 된다. 즉, 15Hz를 갖는 신호영상을 주시하면, 뇌파는 15Hz로 유도되며, 20Hz를 주시하면 뇌파는 20Hz로 유도되는 것이며, 이러한 원리를 이용하여 사용자의 의도에 따라서 선별적인 영상신호를 봄으로써, 사용자의 뇌파 신호에서 검출되는 SSVEP의 주파수를 조절할 수 있으며, 최종적으로 뇌파검출부(310)를 통하여 사용자에 의하여 선별된 특정 주파수의 뇌파를 검출할 수 있게 되는 것이다.
본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)의 뇌파분석부(320)는, 뇌파검출부(310)에서 검출된, 사용자에 의하여 선별된 특정 주파수를 갖는 SSVEP의 주파수를 분석할 수 있다.
본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)의 제어 장치(400)는, 뇌파분석부(320)가 분석한 특정 주파수를 갖는 SSVEP에 대응되는 신호영상에 해당하는 게임영상 제어신호를 생성하는 제어신호 생성부(410), 및 제어신호 생성부(410)에서 생성된 게임영상 제어신호를 이용하여 게임영상을 제어하는 제어부(420)를 포함할 수 있다. 실시예에 따라서는, 사용자에 의하여 선별된 특정 주파수를 갖는 SSVEP에 대응되는 신호로서, 게임영상을 제어할 수 있는 제어신호는 사용자에 의하여 미리 지정된 복수의 조작 모드를 포함할 수 있다. 복수의 조작 모드란, 사용자가 게임영상을 진행하기 위하여 조작하는 콘텐츠로서, 게임 객체의 이동, 보유기술 등을 포함한 것이며, 신호영상과 조작 모드는 일대일로 대응되는 것을 특징으로 한다. 예를 들어, 게임영상의 상측에 배치된 신호영상을 주시하는 경우, 게임영상에서의 객체는 앞으로 전진하는 제어신호를 받고, 게임영상의 우측에 배치된 신호영상을 주시하는 경우, 게임영상에서의 객체는 우측으로 움직이는 제어신호를 받게 되거나, 사용자가 우측의 상측에 배치된 신호영상을 주시하는 경우 게임영상의 객체는 점프를 할 수도 있다. 물론, 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)에 있어서, 특정 주파수를 갖는 SSVEP에 대응되는 제어신호는 상기에 제시된 제어신호로만 한정되는 것은 아니다. 또한, 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)의 제어부(420)는, 상기와 같이 제어신호 생성부(410)에서 생성된 제어신호에 따라 게임영상이 진행되도록 제어할 수 있다.
도 9는 본 발명의 다른 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)의 전체적인 구성도를 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 표시장치(100)에 있어서 신호영상 표시부(110)는 10개의 표시 영역으로 구성될 수도 있으며, 사용자는 표시장치(100)의 10개의 신호영상 표시부(110)(혹은 신호영상 표시부(110)의 10개의 표시 영역) 중 하나 이상의 신호영상 표시부(110)를 선별적으로 주시할 수 있고, 해당 신호영상을 주시함으로써 발생되는 뇌파는 뇌파 획득 장치(200)를 통하여 획득된다. 이 경우, 제어신호 생성부(410)에서 생성되는 제어신호는, 10개의 신호영상 각각에 대응되는 특정 주파수를 갖는 SSVEP에 대응되는 신호이며, 이는 게임이 진행될 때 필요한 필수적인 조작 모드만이 아니라, 게임영상의 진행에서 활용할 수 있는 추가적인 제어신호를 더 포함할 수도 있고, 사용자의 선별적인 주시로 이루어지는 다양한 조작 모드를 통하여 게임영상 표시부(120)의 게임이 진행된다.
본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)의 표시 장치(100)는, TV, 컴퓨터, 노트북, 스마트 TV, 및 태블릿 PC 중 적어도 하나일 수 있다. 물론, 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)에 있어서, 표시 장치(100)는 상기와 같은 기기로만 한정되는 것은 아니다.
도 10은 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)에 있어서, 재활 시스템의 제어방법의 흐름도를 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)의 제어방법은, 표시 장치(100)가 게임영상 및 게임영상의 주변으로 배치되어 사용자가 주시할 수 있는 신호영상을 표시하는 단계(S100), 뇌파 획득 장치(200)가 단계 S100에서 표시되는 신호영상에 대응되는 사용자의 뇌파를 획득하는 단계(S200), 뇌파 분석 장치(300)가 단계 S200에서 획득된 사용자의 뇌파를 분석하는 단계(S300), 및 제어 장치(400)가 단계 S300에서 분석된 뇌파에 대응되는 결과에 따라 표시 장치(100)의 게임영상을 제어하는 단계(S400)를 포함할 수 있다. 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템(10)은, 이러한 단계들을 포함하여 제어됨으로써, 신호영상으로 표시되는 거울신경세포 활성화를 위한 움직임에 따른, 사용자의 거울신경세포의 활성화를 이용하여 사용자의 재활 훈련을 도울 수 있다.
실시예에 따라서는, 단계 S300은, 뇌파검출부(310)가 사용자가 주시하는 하나의 신호영상에 대응되는 사용자의 뇌파 신호에서 SSVEP를 검출하는 단계, 및 뇌파분석부(320)가 뇌파검출부(310)에서 검출된, 사용자에 의하여 선별된 특정 주파수를 갖는 SSVEP의 주파수를 분석하는 단계를 더 포함할 수 있다. 또한, 단계 S400은, 제어신호 생성부(410)가 특정 주파수를 갖는 SSVEP에 대응되는 신호영상에 해당하는 게임영상 제어신호를 생성하는 단계, 및 제어부(420)가 제어신호 생성부(410)에서 생성된 게임영상 제어신호를 이용하여 게임영상을 제어하는 단계를 더 포함할 수도 있다.
상술한 바와 같이, 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템 및 재활 시스템의 제어방법은, 기존의 SSVEP를 이용한 시스템은 깜빡이는 빛을 이용하였던 것과는 달리, SSVEP의 특정 주파수를 포함하는 신호영상으로 거울신경세포를 활성화시킬 수 있는 움직이는 영상을 이용함으로써, 사용자의 흥미를 유도하여 영상을 주시하는 집중력을 높일 수 있으며, 이와 동시에, 사용자의 능동적인 재활 훈련이 가능하도록 할 수 있다. 뿐만 아니라, 신호영상의 주변에 신호영상에 따른 사용자의 뇌파를 이용하여 진행되는 게임영상을 표시하고, 사용자가 게임을 즐길 수 있게 하여, 사용자의 적극적인 참여를 유도할 수 있다. 또한, BCI 기법으로 소개되고 있는 SSVEP와, 움직이는 영상을 포함하는 신호영상으로 거울신경세포의 활성화를 동시에 활용할 수 있는 재활 시스템으로서, 재활 훈련의 효과를 더욱 높일 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
10: 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템
100: 표시 장치
110: 신호영상 표시부
120: 게임영상 표시부
200: 뇌파 획득 장치
300: 뇌파 분석 장치
310: 뇌파검출부
320: 뇌파분석부
400: 제어 장치
410: 제어신호 생성부
420: 제어부

Claims (20)

  1. 재활 시스템으로서,
    게임영상과, 상기 게임영상의 주변으로 배치되어 사용자가 주시할 수 있는 신호영상을 표시하는 표시 장치;
    상기 표시 장치에 표시되는 신호영상에 대응되는 사용자의 뇌파를 획득하는 뇌파 획득 장치;
    상기 뇌파 획득 장치에서 획득된 사용자의 뇌파를 분석하는 뇌파 분석 장치; 및
    상기 뇌파 분석 장치에서 분석된 뇌파에 대응되는 결과에 따라 상기 표시 장치의 게임영상을 제어하는 제어 장치를 포함하며,
    상기 신호영상으로 표시되는 거울신경세포 활성화를 위한 움직임에 따른, 사용자의 거울신경세포의 활성화를 이용하여 재활 훈련을 하고,
    상기 표시 장치는,
    사용자의 거울신경세포의 활성화를 위한 신호영상을 표시하는 신호영상 표시부와, 상기 제어 장치에 따라 제어되는 게임영상을 표시하는 게임영상 표시부를 포함하며,
    상기 신호영상 표시부는,
    상기 표시 장치에 하나 이상의 표시 영역으로 구성되고,
    상기 신호영상 표시부는,
    상기 하나 이상의 표시 영역에 표시되는 각각의 신호영상마다 다른 주파수로 깜빡이도록 표시하며,
    상기 신호영상 표시부는,
    상기 하나 이상의 표시 영역에 표시되는 각각의 신호영상마다 거울신경세포 활성화를 위한 다른 움직임을 표시하고,
    상기 제어 장치는,
    뇌파 분석 장치에 구비되는 뇌파분석부가 분석한 특정 주파수를 갖는 SSVEP에 대응되는 신호영상에 해당하는 게임영상 제어신호를 생성하는 제어신호 생성부와, 상기 제어신호 생성부에서 생성된 게임영상 제어신호를 이용하여 상기 게임영상을 제어하는 제어부를 포함하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서, 상기 뇌파 분석 장치는,
    사용자가 신호영상 중 하나의 신호영상을 주시할 때의 뇌파를 검출하는 뇌파검출부; 및
    상기 뇌파검출부에서 검출된 뇌파의 주파수를 분석하는 뇌파분석부를 포함하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템.
  7. 제6항에 있어서, 상기 뇌파검출부는,
    사용자가 주시하는 상기 하나의 신호영상에 대응되는 사용자의 뇌파 신호에서, SSVEP를 검출하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템.
  8. 제7항에 있어서, 상기 뇌파분석부는,
    상기 뇌파검출부에서 검출된 SSVEP의 주파수를 분석하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템.
  9. 삭제
  10. 제1항에 있어서, 상기 표시 장치는,
    TV, 컴퓨터, 노트북, 스마트 TV, 및 태블릿 PC 중 적어도 하나인 것에 포함되는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템.
  11. 재활 시스템의 제어방법으로서,
    (1) 표시 장치가, 게임영상 및 상기 게임영상의 주변으로 배치되어 사용자가 주시할 수 있는 신호영상을 표시하는 단계;
    (2) 뇌파 획득 장치가, 상기 단계 (1)에서 표시되는 신호영상에 대응되는 사용자의 뇌파를 획득하는 단계;
    (3) 뇌파 분석 장치가, 상기 단계 (2)에서 획득된 사용자의 뇌파를 분석하는 단계; 및
    (4) 제어 장치가, 상기 단계 (3)에서 분석된 뇌파에 대응되는 결과에 따라 상기 표시 장치의 게임영상을 제어하는 단계를 포함하며,
    상기 신호영상으로 표시되는 거울신경세포 활성화를 위한 움직임에 따른, 사용자의 거울신경세포의 활성화를 이용하여 재활 훈련을 하고,
    상기 표시 장치는,
    사용자의 거울신경세포의 활성화를 위한 신호영상을 표시하는 신호영상 표시부와, 상기 제어 장치에 따라 제어되는 게임영상을 표시하는 게임영상 표시부를 포함하며,
    상기 신호영상 표시부는,
    상기 표시 장치에 하나 이상의 표시 영역으로 구성되고,
    상기 신호영상 표시부는,
    상기 하나 이상의 표시 영역에 표시되는 각각의 신호영상마다 다른 주파수로 깜빡이도록 표시하며,
    상기 신호영상 표시부는,
    상기 하나 이상의 표시 영역에 표시되는 각각의 신호영상마다 거울신경세포 활성화를 위한 다른 움직임을 표시하고,
    상기 제어 장치는,
    뇌파 분석 장치에 구비되는 뇌파분석부가 분석한 특정 주파수를 갖는 SSVEP에 대응되는 신호영상에 해당하는 게임영상 제어신호를 생성하는 제어신호 생성부와, 상기 제어신호 생성부에서 생성된 게임영상 제어신호를 이용하여 상기 게임영상을 제어하는 제어부를 포함하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템의 제어방법.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 제11항에 있어서, 상기 뇌파 분석 장치는,
    사용자가 신호영상 중 하나의 신호영상을 주시할 때의 뇌파를 검출하는 뇌파검출부; 및
    상기 뇌파검출부에서 검출된 뇌파의 주파수를 분석하는 뇌파분석부를 포함하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템의 제어방법.
  17. 제16항에 있어서, 상기 뇌파검출부는,
    사용자가 주시하는 상기 하나의 신호영상에 대응되는 사용자의 뇌파 신호에서, SSVEP를 검출하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템의 제어방법.
  18. 제17항에 있어서, 상기 뇌파분석부는,
    상기 뇌파검출부에서 검출된 SSVEP의 주파수를 분석하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템의 제어방법.
  19. 삭제
  20. 제11항에 있어서, 상기 표시 장치는,
    TV, 컴퓨터, 노트북, 스마트 TV, 및 태블릿 PC 중 적어도 하나인 것에 포함되는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 이용한 게임 방식의 재활 시스템의 제어방법.
KR1020160178518A 2016-12-23 2016-12-23 뇌-컴퓨터 인터페이스(bci)를 이용한 게임 방식의 재활 시스템 및 그 제어방법 KR101878416B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160178518A KR101878416B1 (ko) 2016-12-23 2016-12-23 뇌-컴퓨터 인터페이스(bci)를 이용한 게임 방식의 재활 시스템 및 그 제어방법
PCT/KR2017/013302 WO2018117439A1 (ko) 2016-12-23 2017-11-21 뇌-컴퓨터 인터페이스(bci)를 이용한 게임 방식의 재활 시스템 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160178518A KR101878416B1 (ko) 2016-12-23 2016-12-23 뇌-컴퓨터 인터페이스(bci)를 이용한 게임 방식의 재활 시스템 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20180074442A KR20180074442A (ko) 2018-07-03
KR101878416B1 true KR101878416B1 (ko) 2018-07-13

Family

ID=62913581

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160178518A KR101878416B1 (ko) 2016-12-23 2016-12-23 뇌-컴퓨터 인터페이스(bci)를 이용한 게임 방식의 재활 시스템 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR101878416B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102584544B1 (ko) * 2020-12-23 2023-10-04 울산과학기술원 운동 심상 자극 영상을 이용하는 브레인-컴퓨터 인터페이스 방법 및 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120042252A (ko) * 2010-10-25 2012-05-03 연세대학교 산학협력단 안정상태 시각유발전위 기반의 기능적 전기자극 재활훈련 시스템
KR20130142476A (ko) * 2012-06-19 2013-12-30 서울대학교산학협력단 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템
KR20140075049A (ko) * 2012-12-07 2014-06-19 상명대학교서울산학협력단 집중력 평가 방법 및 이를 적용하는 장치
US20140200432A1 (en) * 2011-05-20 2014-07-17 Nanyang Technological University Systems, apparatuses, devices, and processes for synergistic neuro-physiological rehabilitation and/or functional development
KR20140127934A (ko) * 2013-04-08 2014-11-05 여명숙 증강 현실 및 뇌파를 이용한 사격 게임 방법 및 이를 이용하는 모바일 기기와 시스템
US20140347265A1 (en) * 2013-03-15 2014-11-27 Interaxon Inc. Wearable computing apparatus and method
KR101553854B1 (ko) * 2014-10-01 2015-09-17 계명대학교 산학협력단 뇌파 집중도 피드백을 활용한 게임 기반 운동 재활 시스템 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120042252A (ko) * 2010-10-25 2012-05-03 연세대학교 산학협력단 안정상태 시각유발전위 기반의 기능적 전기자극 재활훈련 시스템
US20140200432A1 (en) * 2011-05-20 2014-07-17 Nanyang Technological University Systems, apparatuses, devices, and processes for synergistic neuro-physiological rehabilitation and/or functional development
KR20130142476A (ko) * 2012-06-19 2013-12-30 서울대학교산학협력단 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템
KR20140075049A (ko) * 2012-12-07 2014-06-19 상명대학교서울산학협력단 집중력 평가 방법 및 이를 적용하는 장치
US20140347265A1 (en) * 2013-03-15 2014-11-27 Interaxon Inc. Wearable computing apparatus and method
KR20140127934A (ko) * 2013-04-08 2014-11-05 여명숙 증강 현실 및 뇌파를 이용한 사격 게임 방법 및 이를 이용하는 모바일 기기와 시스템
KR101553854B1 (ko) * 2014-10-01 2015-09-17 계명대학교 산학협력단 뇌파 집중도 피드백을 활용한 게임 기반 운동 재활 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김희석. 시？청각을 이용한 동작관찰이 만성 뇌졸중 환자의 거울신경세포 시스템에 미치는 영향. 호남대학교. 2015.2.,요약 1부 *

Also Published As

Publication number Publication date
KR20180074442A (ko) 2018-07-03

Similar Documents

Publication Publication Date Title
CN108882875B (zh) 用于神经血管刺激的设备
US10973408B2 (en) Smart eye system for visuomotor dysfunction diagnosis and its operant conditioning
Salomon et al. Full body illusion is associated with widespread skin temperature reduction
Llorens et al. Body schema plasticity after stroke: subjective and neurophysiological correlates of the rubber hand illusion
Zapała et al. The impact of different visual feedbacks in user training on motor imagery control in BCI
Tidoni et al. Local and remote cooperation with virtual and robotic agents: a P300 BCI study in healthy and people living with spinal cord injury
Kondo et al. Effect of instructive visual stimuli on neurofeedback training for motor imagery-based brain–computer interface
KR102144291B1 (ko) 거울신경세포의 활성화를 극대화하는 뇌 자극과 뇌-컴퓨터 인터페이스(bci) 기술을 결합한 게임 방식의 재활 시스템 및 그 제어방법
KR101566788B1 (ko) 하지기능 및 보행기능을 위한 뇌-컴퓨터 인터페이스를 기반한 기능적 전기자극치료기
WO2018189614A1 (ko) 행동모방학습 기반의 뇌 훈련 시뮬레이터 및 시뮬레이션 시스템
US11543879B2 (en) System for communicating sensory information with an interactive system and methods thereof
KR20140061170A (ko) 재활 훈련 시스템 및 방법
Liburkina et al. A motor imagery-based brain–computer interface with vibrotactile stimuli
Zhang et al. An EEG-driven lower limb rehabilitation training system for active and passive co-stimulation
Nowak et al. Towards amblyopia therapy using mixed reality technology
Taneda et al. Effects of simulated peripheral visual field loss on the static postural control in young healthy adults
KR101923656B1 (ko) 거울신경시스템 활성화를 유도하는 가상현실 제어 시스템 및 그 제어방법
KR102490464B1 (ko) 가상현실 거울치료기반 뉴로피드백 시스템
KR101878416B1 (ko) 뇌-컴퓨터 인터페이스(bci)를 이용한 게임 방식의 재활 시스템 및 그 제어방법
KR102142535B1 (ko) 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(bci) 기술을 결합한 게임 방식의 재활 시스템 및 그 제어방법
US20190314599A1 (en) System and method for sensory training and assessment
Albilali et al. Comparing brain-computer interaction and eye tracking as input modalities: An exploratory study
KR101888498B1 (ko) 뇌-컴퓨터 인터페이스(bci)를 게임영상에 직접 적용한 게임 방식의 재활 시스템 및 그 제어방법
KR102365613B1 (ko) 가상현실 또는 비디오 게임 기반의 운동 재활 중 뇌파를 통한 집중력 측정을 이용한 집중력 피드백 운동 시스템 및 그 이용 방법
KR101970804B1 (ko) 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템 및 그 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant