KR20180074446A - Game-based rehabilitation system using brain-computer interface (bci) and its control method - Google Patents

Game-based rehabilitation system using brain-computer interface (bci) and its control method Download PDF

Info

Publication number
KR20180074446A
KR20180074446A KR1020160178528A KR20160178528A KR20180074446A KR 20180074446 A KR20180074446 A KR 20180074446A KR 1020160178528 A KR1020160178528 A KR 1020160178528A KR 20160178528 A KR20160178528 A KR 20160178528A KR 20180074446 A KR20180074446 A KR 20180074446A
Authority
KR
South Korea
Prior art keywords
game image
user
brain
eeg
game
Prior art date
Application number
KR1020160178528A
Other languages
Korean (ko)
Other versions
KR101888498B1 (en
Inventor
구정훈
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020160178528A priority Critical patent/KR101888498B1/en
Priority to PCT/KR2017/013302 priority patent/WO2018117439A1/en
Publication of KR20180074446A publication Critical patent/KR20180074446A/en
Application granted granted Critical
Publication of KR101888498B1 publication Critical patent/KR101888498B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A61B5/0476—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8094—Unusual game types, e.g. virtual cooking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Psychology (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Rehabilitation Tools (AREA)

Abstract

The present invention relates to a game type rehabilitation system having a brain-computer interface (BCI) directly applied to a game image, comprising: a display device for displaying a game image; a brain wave acquiring device for acquiring brain waves of a user; a brain wave analysis device for analyzing the brain waves of the user; and a control device for controlling the game image. Therefore, an active rehabilitation training of a user can be performed.

Description

뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템 및 그 제어방법{GAME-BASED REHABILITATION SYSTEM USING BRAIN-COMPUTER INTERFACE (BCI) AND ITS CONTROL METHOD}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a game-based rehabilitation system in which a brain-computer interface (BCI)

본 발명은 재활 시스템 및 그 제어방법에 관한 것으로서, 보다 구체적으로는 사용자가 선별적으로 주시하는 객체의 신체부위의 움직임에 따른, 사용자의 거울신경세포의 활성화를 이용하여 재활 훈련을 하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템 및 그 제어방법에 관한 것이다.The present invention relates to a rehabilitation system and a control method thereof, and more particularly, it relates to a rehabilitation system and a control method thereof, in which rehabilitation training is performed using activation of a user's mirror nerve cell according to movement of a body part of an object, (BCI) applied to a game image directly, and a control method thereof.

일반적으로 운동 능력의 결손을 가지는 뇌질환 환자는, 마비된 근육을 자신의 의지로는 조절할 수 없는 경우가 대부분이며, 이러한 환자의 재활을 돕는 방법으로 물리치료, 약물치료, 수술 등이 있다. 특히, 물리치료를 이용한 재활 훈련에 있어서, 환자의 의지에 의해 능동적으로 치료를 하는 경우가 재활 훈련의 효과가 높은 것으로 보고되었으나, 근육 마비로 인해 동작에 제한이 있는 환자들에게, 이러한 재활 훈련은 물리치료사에 의하여 수동적으로 이루어질 수밖에 없는 문제점이 있다.
In general, patients with cerebral diseases with deficits in motor ability are unable to control paralyzed muscles by their own will, and physical therapy, medication, and surgery are methods of helping rehabilitation of these patients. In particular, in the rehabilitation training using physiotherapy, the effect of the rehabilitation training was reported to be effective when the patient's will was actively treated. However, for the patients whose movement was restricted due to muscle paralysis, There is a problem that it can not be done manually by a physical therapist.

한편, 재활 훈련의 효과를 높이기 위하여, 환자의 거울신경세포의 자극을 이용하는 치료방법이 있다. 이는 물리치료사에 의한 수동적인 치료가 아닌, 환자가 특정한 대상을 주시하는 행동을 통하여 이루어지는 능동적인 재활 훈련이라는 점에서 의미가 있다. 거울신경세포는, 자신이 직접 경험한 것이 아니라 타인의 행동을 보기만 해도, 관찰자가 실제로 행동하는 것과 같이, 관찰자의 신체에서 동일한 반응을 일으키게 하는 세포를 의미한다. 이를 응용한 재활 훈련으로서, 환자의 거울신경세포를 활성화시키기 위하여, 특정 대상의 움직임이 포함된 비디오를 보여주는 방법이 있으며, 이러한 방법은, 뇌손상으로 인하여 자신의 의지로는 동작을 할 수 없는 환자에게, 타인의 행동을 보는 것만으로도 환자 자신이 스스로 행동하는 것처럼 환자의 신체 시스템에 영향을 미치게 된다.
On the other hand, in order to enhance the effect of the rehabilitation training, there is a therapeutic method using the stimulation of the mirror nerve cell of the patient. This is meaningful in that it is an active rehabilitation exercise which is performed not through passive treatment by a physical therapist, but through behaviors that the patient watches for a specific object. Mirror neurons mean cells that cause the same reaction in the observer's body, just as the observer actually behaves, not just by oneself, but by the behavior of others. As a rehabilitation exercise using this method, there is a method of displaying a video including motion of a specific object in order to activate a mirror nerve cell of a patient. In this method, a patient who can not operate due to his / , Just by looking at the behavior of others will affect the patient's body system as if the patient himself is acting.

또한, 최근에는 환자의 뇌파를 이용한 재활과 관련된 연구가 진행되고 있으며, 특히 BCI(Brain-Computer Interface)는 뇌파를 컴퓨터에 전달하는 장치를 의미하는 것으로서, 이러한 BCI 기술을 이용하여, 사람과 컴퓨터의 소통을 이용한 재활 시스템 분야의 개발이 활발해지고 있다.
Recently, BCI (Brain-Computer Interface) refers to a device for delivering brain waves to a computer. By using such a BCI technology, Development of rehabilitation system using communication has become active.

BCI 기법으로 소개되고 있는 SSVEP(Steady-State Visually Evoked Potentials)는, ‘정상상태시각유발전위’라고 하며, 이는 사용자가 깜빡이는 빛을 주시할 때 사용자의 뇌파에서 발생되는 것으로, 주시하는 빛의 깜빡임과 같은 주파수를 갖는 뇌파를 가리킨다. 즉, SSVEP를 이용한 BCI 기술은, 사용자가 특정 주파수로 깜빡거리는 빛을 보면, 사용자의 뇌 뒤쪽에서 SSVEP가 발생하게 되며, 사용자의 머리에 설치된 뇌파 측정 장치를 통하여 측정된 SSVEP가, 컴퓨터에 입력됨으로써, 뇌파를 컴퓨터에 전달할 수 있게 되는 것이다.
The Steady-State Visually Evoked Potentials (SSVEP), which is introduced as a BCI technique, is called 'steady state visual evoked potentials'. This is caused by the user's brain waves when the user watches the blinking light. And the like. That is, in the BCI technology using the SSVEP, SSVEP occurs in the back of the user's brain when the user looks at the light blinking at a specific frequency, and the SSVEP measured through the EEG installed on the user's head is input to the computer , The brain waves can be delivered to the computer.

도 1은 기존의 SSVEP를 이용한 시스템의 일예를 나타내는 도면이다. 도 1에 도시된 바와 같이, 화면에서 특정 주파수로 깜빡이는 빛을 이용하여, 사용자의 뇌파에서 SSVEP를 검출하고, 검출된 뇌파를 컴퓨터에 전달하게 된다. 이 경우 깜빡이는 빛은 하나 이상일 수 있고, 각각 특정 주파수가 상이하여, 사용자의 뇌파에서 검출된 SSVEP의 주파수의 분석을 통하여, 사용자가 주시하는 빛이 무엇인지 알 수 있다. 각각의 깜빡이는 빛에는 미리 정하여진 신호가 있으며, 사용자가 주시하는 빛의 신호에 대응되는 장치를 원격으로 제어할 수 있는 시스템이다. 이러한 깜빡이는 빛을 이용하는 시스템은, 단지 깜빡이는 빛을 이용하는 것이므로, 사용자가 이에 흥미를 갖기 어렵고, 집중도가 떨어지는 문제점이 있다. 이와 같은 SSVEP를 이용한 시스템과 관련된 선행기술로는, 공개특허 제10-2014-0075049호(발명의 명칭: 집중력 평가 방법 및 이를 적용하는 장치), 등록특허 제10-1431203호(발명의 명칭: 뇌파를 이용한 의도 인식용 두뇌 기계 인터페이스 장치 및 방법) 등이 있다.
1 is a diagram showing an example of a system using a conventional SSVEP. As shown in FIG. 1, SSVEP is detected in a user's brain wave using light blinking at a specific frequency on the screen, and the detected brain waves are transmitted to the computer. In this case, there may be more than one blinking light, each of which has a specific frequency different from each other, and through the analysis of the frequency of the SSVEP detected in the user's brain wave, it is possible to know what light the user is watching. Each blinking light has a predetermined signal, and it is a system that can remotely control the device corresponding to the light signal that the user is watching. Such a system using a flickering light uses only flickering light, so that it is difficult for the user to be interested in the system and the concentration is reduced. Prior art related to such a system using SSVEP is disclosed in Japanese Patent Application Laid-Open No. 10-2014-0075049 entitled " Method of evaluating concentration and method of applying the same, " and Patent No. 10-1431203 And a brain-machine interface device and method for intention recognition).

상기한 바와 같이, 종래의 SSVEP를 이용한 시스템은, 사용자가 흥미를 갖지 않게 되어, 집중도가 낮을 수밖에 없으므로, 사용자의 집중력을 높일 수 있는 해결책이 필요하며, 이에 더하여, 사용자의 능동적인 재활 훈련을 통하여 재활 훈련의 효과를 높일 수 있는, 거울신경세포의 활성화 방법의 개발의 필요성이 높아지고 있다.As described above, the system using the conventional SSVEP has a problem that the user is not interested and the concentration is low. Therefore, a solution that can increase the concentration of the user is required, and in addition, the active rehabilitation training There is a growing need to develop methods for activating mirror nerve cells that can enhance the effectiveness of rehabilitation training.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 기존의 SSVEP를 이용한 시스템은 깜빡이는 빛을 이용하였던 것과는 달리, SSVEP의 특정 주파수로 깜빡이는 객체의 신체부위를 표시하고, 사용자가 주시하는 객체의 신체부위가 움직이게 되는 게임영상을 통하여, 거울신경세포를 활성화시킬 수 있으며, 사용자의 흥미를 유도하여 영상을 주시하는 집중력을 높일 수 있고, 이와 동시에, 사용자의 능동적인 재활 훈련이 가능하도록 하는, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템 및 그 제어방법을 제공하는 것을 그 목적으로 한다.
The present invention has been proposed in order to solve the above-mentioned problems of the previously proposed methods. Unlike the conventional system using SSVEP, in which the flashing light is used, the body part of the object blinking at a specific frequency of SSVEP is displayed The mirror nerve cell can be activated through the game image in which the body part of the object observed by the user is moved, and the concentration of watching the image can be increased by inducing the interest of the user, and at the same time, The present invention aims to provide a game-based rehabilitation system and its control method in which a brain-computer interface (BCI) is directly applied to a game image so that rehabilitation training can be performed.

또한, 본 발명은, 객체의 신체부위가 특정 주파수로 깜빡이는 영상을 표시하고 사용자가 객체의 특정 신체부위를 주시하는 경우, 미리 설정된 방식으로 해당 신체부위가 움직이며, 객체의 움직임으로 게임이 진행되는 방식을 이용함으로써, 사용자가 게임을 즐길 수 있게 하여, 사용자의 적극적인 참여를 유도하도록 하는, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템 및 재활 시스템의 제어방법을 제공하는 것을 다른 목적으로 한다.
In addition, the present invention displays an image in which a body part of an object blinks at a specific frequency, and when a user watches a specific body part of the object, the body part moves in a predetermined manner, A game-based rehabilitation system in which a brain-computer interface (BCI) is directly applied to a game image, and a control method of a rehabilitation system, so that a user can enjoy a game and induce a user's active participation For other purposes.

뿐만 아니라, 본 발명은, BCI 기법으로 소개되고 있는 SSVEP와, 움직이는 영상을 포함하는 게임영상으로 거울신경세포의 활성화를 동시에 활용할 수 있는 재활 시스템으로서, 재활 훈련의 효과를 더욱 높일 수 있도록 하는, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템 및 그 제어방법 제어방법을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention relates to a rehabilitation system that can simultaneously utilize the mirror-nerve cell activation with SSVEP, which is introduced in the BCI technique, and a game image including a moving image, Another object of the present invention is to provide a game-based rehabilitation system in which a computer interface (BCI) is directly applied to a game image and a control method thereof.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템은,According to an aspect of the present invention, there is provided a game-based rehabilitation system in which a brain-computer interface (BCI)

재활 시스템으로서,As a rehabilitation system,

게임영상을 표시하는 표시 장치;A display device for displaying a game image;

상기 표시 장치에 표시되는 게임영상에 대응되는 사용자의 뇌파를 획득하는 뇌파 획득 장치;An EEG acquiring device for acquiring a brain wave of a user corresponding to a game image displayed on the display device;

상기 뇌파 획득 장치에서 획득된 사용자의 뇌파를 분석하는 뇌파 분석 장치; 및An EEG analyzing apparatus for analyzing a user's EEG acquired by the EEG acquisition apparatus; And

상기 뇌파 분석 장치에서 분석된 뇌파에 대응되는 결과에 따라, 상기 표시 장치에서 표시되는 게임영상을 제어하는 제어 장치를 포함하되,And a control device for controlling a game image displayed on the display device according to a result corresponding to the brain waves analyzed by the brain wave analyzing device,

상기 제어 장치는,The control device includes:

상기 게임영상에 표시되는 객체의 하나 이상의 신체부위가 특정 주파수로 깜빡이도록 제어할 수 있고, 사용자가 해당 신체부위를 주시할 경우, 상기 뇌파 획득 장치 및 뇌파 분석 장치를 통해 획득하고 분석된 뇌파에 대응되는 결과에 따라, 해당 신체부위를 미리 설정된 방식으로 움직이도록 제어할 수 있으며,And controlling one or more body parts of the object displayed on the game image to be flickered at a specific frequency. When the user watches the body part, the controller can control the brain waves acquired and analyzed by the brain wave acquisition device and the brain wave analyzing device According to the result, the body part can be controlled to move in a preset manner,

사용자가 선별적으로 주시하는 객체의 신체부위의 움직임에 따른, 사용자의 거울신경세포의 활성화를 이용하여 재활 훈련을 하는 것을 그 구성상의 특징으로 한다.
The rehabilitation training is performed by using the activation of the user's mirror nerve cell according to the movement of the body part of the object selectively monitored by the user.

바람직하게는, 상기 표시 장치는,Preferably, the display device further comprises:

상기 게임영상의 진행을 위한 안내콘텐츠를 더 포함하여 표시할 수 있다.
And may further display guidance contents for progressing the game image.

더욱 바람직하게는, 상기 표시 장치는,More preferably, the display device further comprises:

상기 안내콘텐츠에 해당되는 음성콘텐츠를 출력하는 음성출력 장치를 포함할 수 있다.
And an audio output device for outputting the audio content corresponding to the guidance content.

바람직하게는,Preferably,

객체의 하나 이상의 신체부위가 깜빡이는 특정 주파수는, 신체부위와 관계없이 동일한 주파수이거나, 신체부위마다 서로 다른 주파수일 수 있다.
The particular frequency at which one or more body parts of the object blink may be the same frequency, regardless of the body part, or may be a different frequency for each body part.

바람직하게는,Preferably,

신체부위가 미리 설정된 방식으로 움직이는 게임영상은, 사용자의 재활에 도움이 되는 움직임을 포함할 수 있다.
A game image in which a body part moves in a predetermined manner may include a motion that helps the user's rehabilitation.

바람직하게는, 상기 뇌파 분석 장치는,Preferably, the EEG analyzing apparatus includes:

사용자가 선별적으로 객체의 특정 신체부위를 주시할 때의 뇌파를 검출하는 뇌파검출부; 및An EEG detector for detecting an EEG when the user selectively observes a specific body part of the object; And

상기 뇌파검출부에서 검출된 뇌파의 주파수를 분석하는 뇌파분석부를 포함할 수 있다.
And an EEG analyzing unit for analyzing the frequency of the EEG detected by the EEG detecting unit.

더욱 바람직하게는, 상기 뇌파검출부는,More preferably, the EEG detecting unit comprises:

사용자가 선별적으로 주시하는 객체의 특정 신체부위에 대응되는 사용자의 뇌파 신호에서, SSVEP를 검출할 수 있다.
SSVEP can be detected from a user's brain wave signal corresponding to a specific body part of an object selectively viewed by a user.

더더욱 바람직하게는, 상기 뇌파분석부는,Still more preferably, the EEG analyzing unit includes:

상기 뇌파검출부에서 검출된 SSVEP의 주파수를 분석할 수 있다.
The frequency of the SSVEP detected by the EEG detector can be analyzed.

더더욱 바람직하게는, 상기 제어 장치는,Even more preferably,

상기 뇌파분석부가 분석한 특정 주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)에 대응되는 객체의 신체부위를 미리 설정된 방식으로 움직이게 하는 제어신호를 생성하는 제어신호 생성부; 및A control signal generating unit for generating a control signal for moving a body part of an object corresponding to SSVEP (Steady-State Visually Evoked Potentials) having a specific frequency analyzed by the EEG analysis unit in a preset manner; And

상기 제어신호 생성부에서 생성된 제어신호를 이용하여 상기 객체의 움직임을 표시하는 표시 장치를 제어하는 제어부를 포함할 수 있다.
And a controller for controlling the display device to display the motion of the object using the control signal generated by the control signal generator.

바람직하게는, 상기 표시 장치는,Preferably, the display device further comprises:

TV, 컴퓨터, 노트북, 스마트 TV, 및 태블릿 PC 중 적어도 하나일 수 있다.
A television, a computer, a notebook, a smart TV, and a tablet PC.

또한, 상기한 목적을 달성하기 위한 본 발명의 다른 특징에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템의 제어방법은,According to another aspect of the present invention, there is provided a method of controlling a game-based rehabilitation system in which a brain-computer interface (BCI)

재활 시스템의 제어방법으로서,A control method for a rehabilitation system,

(1) 표시 장치가, 게임영상을 표시하는 단계;(1) the display device displays a game image;

(2) 뇌파 획득 장치가, 상기 단계 (1)에서 표시되는 게임영상에 대응되는 사용자의 뇌파를 획득하는 단계;(2) acquiring a brain wave of a user corresponding to a game image displayed in the step (1);

(3) 뇌파 분석 장치가, 상기 단계 (2)에서 획득된 사용자의 뇌파를 분석하는 단계; 및(3) analyzing the brain waves of the user obtained in the step (2); And

(4) 제어 장치가, 상기 단계 (3)에서 분석된 뇌파에 대응되는 결과에 따라, 상기 표시 장치에서 표시되는 게임영상을 제어하는 단계를 포함하되,(4) controlling the game image displayed on the display device according to a result corresponding to the brain waves analyzed in the step (3)

상기 단계 (1)에서는,In the above step (1)

상기 게임영상에 표시되는 객체의 하나 이상의 신체부위가 특정 주파수로 깜빡이도록 상기 게임영상을 표시하고,Displaying the game image such that one or more body parts of the object displayed on the game image blink at a specific frequency,

상기 단계 (4)에서는,In the step (4)

사용자가 해당 신체부위를 주시할 경우, 상기 단계 (2) 및 단계 (3)을 통해 획득하고 분석된 뇌파에 대응되는 결과에 따라, 해당 신체부위를 미리 설정된 방식으로 움직이도록 제어하며,When the user watches the body part, controls the body part to move in a preset manner according to the results corresponding to the analyzed brain waves acquired and analyzed through the steps (2) and (3)

사용자가 선별적으로 주시하는 객체의 신체부위의 움직임에 따른, 사용자의 거울신경세포의 활성화를 이용하여 재활 훈련을 하는 것을 그 구성상의 특징으로 한다.
The rehabilitation training is performed by using the activation of the user's mirror nerve cell according to the movement of the body part of the object selectively monitored by the user.

바람직하게는, 상기 표시 장치는,Preferably, the display device further comprises:

상기 게임영상의 진행을 위한 안내콘텐츠를 더 포함하여 표시할 수 있다.
And may further display guidance contents for progressing the game image.

더욱 바람직하게는, 상기 표시 장치는,More preferably, the display device further comprises:

상기 안내콘텐츠에 해당되는 음성콘텐츠를 출력하는 음성출력 장치를 포함할 수 있다.
And an audio output device for outputting the audio content corresponding to the guidance content.

바람직하게는,Preferably,

객체의 하나 이상의 신체부위가 갖는 특정 주파수는, 신체부위와 관계없이 동일한 주파수이거나, 신체부위마다 서로 다른 주파수일 수 있다.
The particular frequency of one or more body parts of the object may be the same frequency, regardless of body part, or may be a different frequency for each body part.

바람직하게는,Preferably,

신체부위가 미리 설정된 방식으로 움직이는 게임영상은, 사용자의 재활에 도움이 되는 움직임을 포함할 수 있다.
A game image in which a body part moves in a predetermined manner may include a motion that helps the user's rehabilitation.

바람직하게는, 상기 뇌파 분석 장치는,Preferably, the EEG analyzing apparatus includes:

사용자가 선별적으로 객체의 특정 신체부위를 주시할 때의 뇌파를 검출하는 뇌파검출부; 및An EEG detector for detecting an EEG when the user selectively observes a specific body part of the object; And

상기 뇌파검출부에서 검출된 뇌파의 주파수를 분석하는 뇌파분석부를 포함할 수 있다.
And an EEG analyzing unit for analyzing the frequency of the EEG detected by the EEG detecting unit.

더욱 바람직하게는, 상기 뇌파검출부는,More preferably, the EEG detecting unit comprises:

사용자가 선별적으로 주시하는 객체의 특정 신체부위에 대응되는 사용자의 뇌파 신호에서, SSVEP를 검출할 수 있다.
SSVEP can be detected from a user's brain wave signal corresponding to a specific body part of an object selectively viewed by a user.

더욱더 바람직하게는, 상기 뇌파분석부는,More preferably, the EEG analyzing unit includes:

상기 뇌파검출부에서 검출된 SSVEP의 주파수를 분석할 수 있다.
The frequency of the SSVEP detected by the EEG detector can be analyzed.

더욱더 바람직하게는, 상기 제어 장치는,Even more preferably,

상기 뇌파분석부가 분석한 특정 주파수를 갖는 SSVEP에 대응되는 객체의 신체부위를 미리 설정된 방식으로 움직이게 하는 제어신호를 생성하는 제어신호 생성부; 및A control signal generating unit for generating a control signal for moving a body part of the object corresponding to the SSVEP having the specific frequency analyzed by the EEG analysis unit in a preset manner; And

상기 제어신호 생성부에서 생성된 제어신호를 이용하여 상기 객체의 움직임을 표시하는 표시 장치를 제어하는 제어부를 포함할 수 있다.
And a controller for controlling the display device to display the motion of the object using the control signal generated by the control signal generator.

바람직하게는, 상기 표시 장치는,Preferably, the display device further comprises:

TV, 컴퓨터, 노트북, 스마트 TV, 및 태블릿 PC 중 적어도 하나일 수 있다.A television, a computer, a notebook, a smart TV, and a tablet PC.

본 발명에서 제안하고 있는 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템 및 그 제어방법에 따르면, 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 기존의 SSVEP를 이용한 시스템은 깜빡이는 빛을 이용하였던 것과는 달리, SSVEP의 특정 주파수로 깜빡이는 객체의 신체부위를 표시하고, 사용자가 주시하는 객체의 신체부위가 움직이게 되는 게임영상을 통하여, 거울신경세포를 활성화시킬 수 있으며, 사용자의 흥미를 유도하여 영상을 주시하는 집중력을 높일 수 있고, 이와 동시에, 사용자의 능동적인 재활 훈련이 가능하도록 할 수 있다.
According to the game-based rehabilitation system and its control method in which the brain-computer interface (BCI) proposed in the present invention is directly applied to a game image, it is proposed to solve the above-mentioned problems of the existing methods, The system using the SSVEP system displays the body part of the object blinking at a specific frequency of the SSVEP and displays the mirror nerve cell through the game image in which the body part of the object viewed by the user moves, unlike the system using the flashing light It is possible to increase the concentration of watching the image by inducing the interest of the user, and at the same time, the active rehabilitation training of the user can be enabled.

또한, 본 발명에 따르면, 객체의 신체부위가 특정 주파수로 깜빡이는 영상을 표시하고 사용자가 객체의 특정 신체부위를 주시하는 경우, 미리 설정된 방식으로 해당 신체부위가 움직이며, 객체의 움직임으로 게임이 진행되는 방식을 이용함으로써, 사용자가 게임을 즐길 수 있게 하여, 사용자의 적극적인 참여를 유도할 수 있다.
In addition, according to the present invention, when a body part of an object displays an image blinking at a specific frequency and a user watches a specific body part of the object, the body part moves in a preset manner, By using the progressive method, the user can enjoy the game, and the user can participate actively.

뿐만 아니라, 본 발명에 따르면, BCI 기법으로 소개되고 있는 SSVEP와, 움직이는 영상을 포함하는 게임영상으로 거울신경세포의 활성화를 동시에 활용할 수 있는 재활 시스템으로서, 재활 훈련의 효과를 더욱 높일 수 있다.In addition, according to the present invention, it is possible to enhance the effect of the rehabilitation training as a rehabilitation system that can simultaneously use the SSVEP, which is introduced by the BCI technique, and the game image including the moving image, at the same time.

도 1은 기존의 SSVEP를 이용한 시스템의 일예를 도시하는 도면.
도 2는 기존의 SSVEP를 이용한 시스템을 통하여 출력된 뇌파의 주파수 분석결과를 도시하는 도면.
도 3은 타인의 동작을 관찰하는 관찰자의 뇌의 일정 영역이 활성화된 것을 나타내는 사진.
도 4는 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)의 구성을 나타내는 도면.
도 5는 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템에 있어서, 사용자가 재활 훈련을 하는 모습을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템에 있어서, 사용자가 주시하는 객체의 신체부위가 움직이는 게임영상을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템의 블럭도를 도시한 도면.
도 8은 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템에 있어서, 게임영상의 일부를 도시한 도면.
도 9는 본 발명의 다른 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템에 있어서, 사용자가 재활 훈련을 하는 모습을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템에 있어서, 그 제어방법의 흐름도를 도시한 도면.1 is a diagram showing an example of a system using a conventional SSVEP;
FIG. 2 is a diagram showing a frequency analysis result of an EEG output through a system using a conventional SSVEP. FIG.
3 is a photograph showing that a certain region of the brain of the observer observing the action of the other person is activated.
FIG. 4 is a diagram showing the configuration of a game-based rehabilitation system 10 in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image.
FIG. 5 is a game-based rehabilitation system in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image, in which a user performs rehabilitation training.
FIG. 6 is a game-based rehabilitation system in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image. FIG. 6 illustrates a game image in which a body part of an object viewed by a user moves.
FIG. 7 is a block diagram of a game-based rehabilitation system in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image. FIG.
FIG. 8 is a view showing part of a game image in a game-based rehabilitation system in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image.
FIG. 9 is a view showing a game rehabilitation system in which a user applies rehabilitation training in which a brain-computer interface (BCI) according to another embodiment of the present invention is directly applied to a game image. FIG.
FIG. 10 is a flowchart of a game-based rehabilitation system in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image. FIG.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, which may be readily understood by those skilled in the art. In the following detailed description of the preferred embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In the drawings, like reference numerals are used throughout the drawings.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . Also, to "include" an element means that it may include other elements, rather than excluding other elements, unless specifically stated otherwise.

도 1은 기존의 SSVEP를 이용한 시스템의 일예를 도시하는 도면이다. 도 1에 도시된 바와 같이, 화면에서 특정 주파수로 깜빡이는 빛을 이용하여, 사용자의 뇌파에서 SSVEP를 검출하고, 검출된 뇌파를 컴퓨터에 전달하게 된다. 이 경우 깜빡이는 빛은 하나 이상일 수 있고, 각각 특정 주파수가 상이하여, 사용자의 뇌파에서 검출된 SSVEP의 주파수의 분석을 통하여, 사용자가 주시하는 빛이 무엇인지 알 수 있다. 각각의 깜빡이는 빛에는 미리 정하여진 신호가 있으며, 사용자가 주시하는 빛의 신호에 대응되는 장치를 원격으로 제어할 수 있는 시스템이다.
1 is a diagram showing an example of a system using a conventional SSVEP. As shown in FIG. 1, SSVEP is detected in a user's brain wave using light blinking at a specific frequency on the screen, and the detected brain waves are transmitted to the computer. In this case, there may be more than one blinking light, each of which has a specific frequency different from each other, and through the analysis of the frequency of the SSVEP detected in the user's brain wave, it is possible to know what light the user is watching. Each blinking light has a predetermined signal, and it is a system that can remotely control the device corresponding to the light signal that the user is watching.

도 2는 기존의 SSVEP를 이용한 시스템을 통하여 출력된 뇌파의 주파수 분석결과를 도시하는 도면이다. 도 2에 도시된 바와 같이, 하나 이상의 깜빡이는 빛을 주시하는 사용자의 뇌파에서는, 사용자가 주시한 깜빡이는 빛이 갖는 주파수와 동일한 주파수의 SSVEP가 검출될 수 있으며, 각각 해당 주파수에서 피크가 표시된 것을 확인할 수 있다.
FIG. 2 is a diagram showing a frequency analysis result of an EEG output through a system using a conventional SSVEP. As shown in FIG. 2, SSVEPs having the same frequency as the frequency of the blinking light observed by the user can be detected in a user's brain wave that observes one or more blinking lights. Can be confirmed.

도 3은 타인의 동작을 관찰하는 관찰자의 뇌의 일정 영역이 활성화된 것을 나타내는 사진이다. 도 3에 나타낸 바와 같이, 연구결과에서는, 관찰자가 이행적 동작과 흉내 내기 동작을 관찰할 때는, 같은 동작을 정적인 그림으로 관찰할 때와는 달리 뇌의 특정 영역에서 각기 다른 활성을 보였으며, 이는 관찰한 동작에 참여하는 효과기에 달려있다고 발표되었다. 이로부터, 동작 관찰을 통해 관찰자의 뇌의 일정 영역이 활성화되는 것을 확인할 수 있고, 활성화된 거울신경세포는 관찰된 동작을 관찰자가 실제로 실행하는데 관여하는 운동회로를 강화시킴으로써, 관찰자의 실질적인 운동이 없이도 재활 훈련을 할 수 있다는 것을 알 수 있다.
3 is a photograph showing that a certain region of the brain of the observer observing the action of the other person is activated. As shown in FIG. 3, when the observer observes the transitional movement and the mimic operation, the activity is different in a specific region of the brain, as in the case of observing the same motion as a static picture, It was announced that it depends on the effector participating in the observed movement. From this, it can be confirmed that a certain region of the brain of the observer is activated through the observation of the motion, and the activated mirror neuron strengthens the motion circuit involved in actual operation of the observed motion by the observer, You can see that you can do rehabilitation training.

도 4는 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)의 구성을 나타내는 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)은, 재활 시스템으로서, 게임영상을 표시하는 표시 장치(100), 표시 장치(100)에 표시되는 게임영상에 대응되는 사용자의 뇌파를 획득하는 뇌파 획득 장치(200), 뇌파 획득 장치(200)에서 획득된 사용자의 뇌파를 분석하는 뇌파 분석 장치(300), 및 뇌파 분석 장치(300)에서 분석된 뇌파에 대응되는 결과에 따라, 표시 장치(100)에서 표시되는 게임영상을 제어하는 제어 장치(400)를 포함하여 구성될 수 있다. 특히, 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)의 제어 장치(400)는, 게임영상에 표시되는 객체의 하나 이상의 신체부위가 특정 주파수로 깜빡이도록 제어할 수 있고, 사용자가 해당 신체부위를 주시할 경우, 뇌파 획득 장치(200) 및 뇌파 분석 장치(300)를 통해 획득하고 분석된 뇌파에 대응되는 결과에 따라, 해당 신체부위를 미리 설정된 방식으로 움직이도록 제어할 수 있으며, 그 결과 사용자가 선별적으로 주시하는 객체의 신체부위의 움직임에 따른, 사용자의 거울신경세포의 활성화를 이용하여 재활 훈련을 하는 것을 그 구성상의 특징으로 한다.
FIG. 4 is a diagram showing a configuration of a game-based rehabilitation system 10 in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image. As shown in FIG. 4, a game-based rehabilitation system 10 in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image includes a rehabilitation system, (200) for acquiring a user's brain wave corresponding to a game image displayed on the display device (100), an EEG analyzing device (300) for analyzing a user's EEG acquired from the EEG acquisition device (200) And a controller 400 for controlling the game image displayed on the display device 100 according to the results corresponding to the brain waves analyzed by the brain wave analyzing apparatus 300. [ In particular, the controller 400 of the game-based rehabilitation system 10, in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image, If the user watches the body part, the user can control the body part to be blinked at a specific frequency, and the user can control the body part according to the result corresponding to the analyzed brain waves acquired through the EEG device 200 and the EEP analyzer 300 The user can control the movement of the part in a predetermined manner. As a result, it is possible to perform rehabilitation training using the activation of the user's mirror nerve cell according to the movement of the body part of the object, .

본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)에서는, 사용자가 포함하는 게임영상을 표시하는 표시 장치(100)를 주시하면, 사용자의 머리에 부착된 뇌파 획득 장치(200)를 이용하여 게임영상에 표시되는, 객체의 신체부위의 깜빡이는 주파수와 동일한 주파수를 갖는 SSVEP를 획득하며, 뇌파 분석 장치(300)는 뇌파 획득 장치(200)에서 획득된 SSVEP의 해당 주파수를 분석하고, 이렇게 분석된 주파수를 이용하여 제어 장치(400)의 제어신호 생성부(410)에서 생성된 제어신호에 따라 제어부(420)가 객체의 신체부위의 움직임을 표시하는 표시 장치(100)를 제어함으로써, 객체의 특정 신체부위의 움직임을 이용하여 사용자의 거울신경세포를 활성화시키는 것과 동시에 사용자의 반응으로 진행되는 게임을 통하여, 사용자는 적극적인 자세로 재활 훈련을 할 수 있게 된다.
In a game-based rehabilitation system 10 in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image, when a user watches a display device 100 displaying a game image included by a user, The brain wave acquisition apparatus 200 acquires an SSVEP having a frequency equal to the frequency of blinking of the body part of the object displayed on the game image using the brain wave acquisition apparatus 200 attached to the head of the brain wave acquisition apparatus 200. [ The control unit 420 analyzes the frequency of the SSVEP obtained in the control unit 400 and analyzes the frequency of the motion of the body part of the object according to the control signal generated by the control signal generation unit 410 of the control unit 400 The user activates the mirror nerve cell using the motion of the specific body part of the object, and at the same time, Thus, the user can perform rehabilitation training in an active posture.

실시예에 따라서는, 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)의 표시 장치(100)는, 게임과 관련된 콘텐츠로서, 사용자가 참여하는 방법 등의 내용을 포함하는 안내콘텐츠를 표시할 수 있으며, 안내콘텐츠에 해당되는 콘텐츠, 및 그 외의 다양한 콘텐츠에 대하여 음성으로 출력할 수 있는 음성출력 장치(110)를 포함할 수도 있다. 이하 도 5에서는 안내콘텐츠와 음성출력 장치(110)에 대하여 설명하도록 한다.
According to an embodiment, the display device 100 of the game-based rehabilitation system 10 in which the brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image, And a method of participating in the guidance content, and may include a voice output device 110 capable of outputting voice corresponding to the contents corresponding to the guidance contents, and various other contents. 5, the guidance content and the sound output apparatus 110 will be described.

도 5는 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)에 있어서, 사용자가 재활 훈련을 하는 모습을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)의 표시 장치(100)는, 게임영상의 진행을 위한 안내콘텐츠를 더 포함하여 표시할 수 있다. 안내콘텐츠는 이하 도 8에서 설명되는, 미리 지정된 움직임 모드와 대응되는 콘텐츠로 구성될 수 있다. 객체의 신체부위가 안내콘텐츠가 제시하는 움직임을 동작하게 하기 위하여, 사용자가 객체의 특정 신체부위를 주시하게 되면, 안내콘텐츠와 대응되는 미리 지정된 움직임 모드로, 객체의 신체부위가 움직이게 된다. 예를 들어, 도 5에 도시된 바와 같이 ‘칼을 휘두르고 싶으시면, 깜빡거리는 왼팔을 주시하시오.’라는 안내콘텐츠를 표시 장치(100)에 표시함으로써, 사용자는 칼을 휘두르기 위하여, 필요한 움직임의 동작이 무엇인지를 알 수 있게 되며, 사용자는 객체의 왼팔을 움직이게 하기 위하여, 깜빡이고 있는 객체의 왼팔을 주시하게 될 것이다. 이 경우, 안내콘텐츠와 대응되는 미리 지정된 움직임은 ‘왼팔의 움직임, 및 칼을 휘두르는 움직임’이 될 수 있다. 물론, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)에 있어서, 미리 지정된 움직임 모드와 대응되는 안내콘텐츠는 상기에 제시된 안내콘텐츠로만 한정되는 것은 아니다. 도 5에서는 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)을 펜싱 동작에 적용하여 설명하였으나, 이것으로 제한되는 것은 아니며, 예를 들어 얼굴의 각 부위를 움직이는 동작에 적용하여 설명할 수도 있다. 즉, 게임영상 안에서 객체로서 얼굴 영상이 제공되고, 사용자가 얼굴 영상 내의 깜빡거리는 눈을 주시하면, 눈을 움직여 윙크하는 동작이 실시되는 형태의 게임영상이 제공될 수도 있다.
FIG. 5 is a diagram showing a user's rehabilitation training in a game-based rehabilitation system 10 in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image. 5, a display device 100 of a game-based rehabilitation system 10 in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image, Can be further displayed. The guidance content may be composed of content corresponding to a predetermined movement mode, which will be described below with reference to FIG. When a user watches a specific body part of an object in order to allow the body part of the object to operate the motion suggested by the guide contents, the body part of the object moves in a predetermined motion mode corresponding to the guide contents. For example, as shown in FIG. 5, by displaying the guide contents 'Watch the flickering left arm if you want to swing the knife' on the display device 100, You will know what it is, and the user will be watching the left arm of the blinking object to move the left arm of the object. In this case, the predetermined movement corresponding to the guide contents may be 'movement of the left arm and movement of waving the knife'. Of course, in the game-based rehabilitation system 10 in which the brain-computer interface (BCI) is directly applied to the game image, the guidance contents corresponding to the predetermined movement mode are not limited to the guidance contents presented above. In FIG. 5, a game-based rehabilitation system 10 in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image is applied to a fencing operation, but the present invention is not limited thereto. For example, it can be explained by applying each part of the face to a moving motion. That is, a game image may be provided in which a face image is provided as an object in a game image, and when a user watches a blinking eye in a face image, an action of winking is performed by moving the eye.

본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)의 표시 장치(100)는, 안내콘텐츠에 해당되는 음성콘텐츠를 출력하는 음성출력 장치(110)를 포함할 수 있다. 실시예에 따라서는, 표시 장치(100)는 음성 콘텐츠를 출력할 수 있는 음성출력 장치(110)로서 스피커를 포함할 수 있으며, 헤드셋을 연결할 수 있는 장치를 포함할 수도 있다. 물론, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)에 있어서, 음성출력 장치(110)는 상기에 제시된 스피커, 헤드셋을 연결할 수 있는 장치로만 한정되는 것은 아니며, 다른 실시예에 따라서는, 음성출력 장치(110)는 표시 장치(100)와 별개로 구성되어질 수도 있다. 또한, 음성콘텐츠는 안내콘텐츠에 해당되는 음성콘텐츠 뿐만 아니라, 게임진행에서 필요한 다양한 콘텐츠로 구성될 수 있다.
The display device 100 of the game-based rehabilitation system 10 in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image includes a sound output device (110). According to the embodiment, the display apparatus 100 may include a speaker as the audio output apparatus 110 capable of outputting audio contents, and may include a device capable of connecting the headset. Of course, in the game-based rehabilitation system 10 in which the brain-computer interface (BCI) is directly applied to a game image, the audio output device 110 is not limited to the device capable of connecting the speaker and the headset, According to another embodiment, the sound output apparatus 110 may be configured separately from the display apparatus 100. [ In addition, the voice content may be composed of not only the voice content corresponding to the guidance content but also various contents necessary for the game progress.

본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)의 뇌파 획득 장치(200)는, 도 5에서 확인할 수 있듯이 뇌파를 측정하는 하나 이상의 전극을 포함할 수 있다. 실시예에 따라서는, 하나 이상의 전극을 사용자의 머리를 감싸는 형태의 장치로 구성할 수 있으며, 또는 모자에 전극을 결합시킴으로써, 모자 자체가 뇌파 획득 장치(200)가 될 수도 있다. 뿐만 아니라, 전극에는 전해질 젤을 발라서 사용할 수도 있는데, 이는 전해질 젤이 두피로부터 검출되는 뇌파를 전극에 잘 전달할 수 있도록 해주는 역할을 하기 때문이다.
As shown in FIG. 5, the brain-wave acquisition apparatus 200 of the game-based rehabilitation system 10 in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image, Electrode. According to the embodiment, the at least one electrode may be configured to surround the user's head, or the cap itself may be an EEG device 200 by coupling an electrode to the cap. In addition, it is possible to use an electrolytic gel applied to the electrode, because the electrolytic gel can transmit the electroencephalogram detected from the scalp to the electrode.

도 6은 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)에 있어서, 사용자가 주시하는 객체의 신체부위가 움직이는 게임영상을 도시한 도면이며, 도 7은 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)의 블럭도를 도시한 도면이다. 도 6 및 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)에 있어서, 뇌파 획득 장치(200)에서 획득된 뇌파는, 뇌파검출부(310)와 뇌파분석부(320)를 포함하는 뇌파 분석 장치(300)와 연결될 수 있다. 또한, 뇌파 분석 장치(300)는, 제어신호 생성부(410)와 제어부(420)를 포함하여 구성되는 제어 장치(400)와 연결되어, 뇌파 분석 장치(300)에서 분석한 뇌파를 제어 장치(400)로 전달할 수 있으며, 제어 장치(400)는 제어신호 생성부(410)에서 생성된 제어신호를 이용하여 객체의 움직임을 표시하는 표시 장치(100)를 제어할 수 있다.
FIG. 6 is a game-based rehabilitation system 10 in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image. FIG. 6 shows a game image in which a body part of an object FIG. 7 is a block diagram of a game-based rehabilitation system 10 in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image. 6 and 7, in a game-based rehabilitation system 10 in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image, The obtained EEG may be connected to the EEG analyzing apparatus 300 including the EEG detecting unit 310 and the EEG analyzing unit 320. The EEG analyzing apparatus 300 is connected to the control apparatus 400 including the control signal generating unit 410 and the control unit 420 and outputs the EEG analyzed by the EEG analyzing apparatus 300 to the controller 400 and the controller 400 may control the display device 100 to display the motion of the object using the control signal generated by the control signal generator 410. [

도 6 및 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)의 뇌파 분석 장치(300)는, 사용자가 선별적으로 객체의 특정 신체부위를 주시할 때의 뇌파를 검출하는 뇌파검출부(310), 및 뇌파검출부(310)에서 검출된 뇌파의 주파수를 분석하는 뇌파분석부(320)를 포함할 수 있다.
6 and 7, the brain wave analyzing apparatus 300 of the game-based rehabilitation system 10, in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image, An EEG detecting unit 310 for detecting an EEG when the user observes a specific body part of the object selectively and an EEG analyzing unit 320 for analyzing the frequency of the EEG detected by the EEG detecting unit 310 .

본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)의 뇌파검출부(310)는, 사용자가 선별적으로 주시하는 객체의 특정 신체부위에 대응되는 사용자의 뇌파 신호에서, SSVEP를 검출할 수 있다. 사용자가 표시 장치(100)의 게임영상에 표시되는 객체에 대하여 특정 주파수로 깜빡이고 있는 신체부위를 주시할 경우, 해당 신체부위의 주파수와 동일한 주파수를 갖는 뇌파가 사용자의 후두엽의 시각 피질에서 물리적으로 유도되는데, 뇌파검출부(310)에서는 깜빡이는 신체부위의 특정주파수와 동일한 주파수를 갖는 SSVEP를 사용자의 뇌파에서 검출할 수 있게 되는 것이다.
The brain wave detection unit 310 of the game-based rehabilitation system 10, in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image, SSVEP can be detected from the corresponding user's brain wave signal. When a user watches a body part flickering at a specific frequency with respect to an object displayed on a game image of the display device 100, an EEG having a frequency equal to the frequency of the body part physically moves in the visual cortex of the user's occiput In the EEG detector 310, the SSVEP having the same frequency as the specific frequency of the blinking body part can be detected by the user's brain wave.

본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)의 뇌파분석부(320)는, 뇌파검출부(310)에서 검출된, 사용자에 의하여 선별된 특정 주파수를 갖는 SSVEP의 주파수를 분석할 수 있다. SSVEP의 주파수를 분석하는 것은, 표시 장치(100)에서 표시되는 깜빡이는 객체의 신체부위의 주파수와 동일한 주파수를 갖는 SSVEP가 사용자의 뇌파에서 검출되었는지 여부를 확인하기 위함이다. 해당 주파수를 갖는 SSVEP가 사용자의 뇌파에서 검출되면, 제어 장치(400)에서는 객체의 해당 신체부위를 미리 설정된 방식으로 움직이게 하는 제어신호를 생성하게 된다.
The brain wave analyzing unit 320 of the game system rehabilitation system 10 in which the brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image, The frequency of the SSVEP with the selected specific frequency can be analyzed. Analyzing the frequency of the SSVEP is to confirm whether SSVEP having a frequency equal to the frequency of the body part of the blinking object displayed on the display device 100 is detected in the user's brain wave. When the SSVEP having the frequency is detected in the user's brain wave, the controller 400 generates a control signal for moving the corresponding body part of the object in a preset manner.

본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)에 있어서, 신체부위가 미리 설정된 방식으로 움직이는 게임영상은, 사용자의 재활에 도움이 되는 움직임을 포함할 수 있다. 실시예에 따라서는, 신체부위의 움직임은 손, 발, 머리, 팔, 다리 등을 포함하여 신체의 일부를 움직이는 구성일 수 있으며, 그 외에도 허리를 굽히는 동작, 다리를 꼬는 동작, 앞구르기를 하는 동작 등을 포함할 수도 있다. 이러한 동작은, 사용자가 표시 장치(100)에 표시되는 객체의 깜빡이는 신체부위를 주시함으로써, 객체의 해당 신체부위가 움직이도록 하여, 사용자의 거울신경세포를 활성화시키기 위함이다. 물론, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)에 있어서, 미리 설정된 방식으로 움직이는 영상의 움직임은 상기에 제시된 움직임으로만 한정되는 것은 아니다. 예를 들어, 도 6에서는, 객체의 다리부위가 미리 설정된 방식으로 움직이는 것을 확인할 수 있으며, 사용자는 객체의 다리부위의 깜빡거림을 주시하여, 객체의 다리가 움직이도록 할 수 있고, 이러한 객체의 다리부위의 움직임을 주시하는 것을 통하여 거울신경세포의 활성화를 통한 다리부위의 재활의 효과를 얻을 수가 있다.
In a game-based rehabilitation system 10 in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image, a game image in which a body part moves in a preset manner helps a user in rehabilitation ≪ / RTI > According to an embodiment, the movement of the body part may be a constitution for moving a part of the body including a hand, a foot, a head, an arm, a leg, and the like, and may also be an operation for bending the waist, twisting the leg, And the like. This operation is for activating the user's mirror nerve cell by allowing the user to move the corresponding body part of the object by watching the blinking body part of the object displayed on the display device 100. [ Of course, in a game-based rehabilitation system 10 in which a brain-computer interface (BCI) is directly applied to a game image, the motion of a moving image in a preset manner is not limited to the motions shown above. For example, in FIG. 6, it can be seen that the leg portion of the object moves in a predetermined manner, and the user can watch the flickering of the leg portion of the object, thereby allowing the leg of the object to move, The effect of the rehabilitation of the leg region through activation of the mirror nerve cell can be obtained through watching the movement of the site.

본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)에 있어서, 객체의 하나 이상의 신체부위가 깜빡이는 특정 주파수는, 신체부위와 관계없이 동일한 주파수이거나, 신체부위마다 서로 다른 주파수일 수 있다. 객체에서 움직임이 가능한 신체부위로서, 예를 들어 손, 발, 목, 팔, 다리, 허리 등이 깜빡거리는 주파수가 동일한 경우는, 신체부위마다 서로 다른 주파수인 경우에 비하여 본 발명의 하드웨어를 구성함에 있어서, 편리하다는 장점이 있다. 한편, 바람직한 것은 각각의 신체부위마다 다른 주파수로 깜빡이는 것인데, 이는 각각의 상이한 신체부위마다 상이한 주파수가 설정되어 있으므로, 사용자의 뇌파에서 검출되는 특정 주파수의 SSVEP만 판단하면 사용자가 주시하는 신체부위가 어느 부위에 해당하는지를 용이하게 판단할 수 있기 때문이다. 실시예에 따라서는, 객체의 팔, 다리 등 신체부위가 모두 30Hz로 깜빡일 수 있으며, 객체의 팔은 35Hz, 다리는 40Hz로 신체부위 별로 다른 주파수로 깜빡일 수도 있고, 객체의 오른팔과 관련된 A 동작은 30Hz, 객체의 오른팔과 관련된 B동작은 35Hz로, 같은 신체부위라 하더라도 관련된 동작이나 상황에 따라 각각 다른 주파수로 깜빡일 수도 있을 것이다. 또한, 동일한 신체부위인 경우에도, 표시 장치(100)에 표시되는 첫 번째 장면과, 두 번째 장면에서 각각 다른 주파수를 갖는 경우도 있을 수 있다.
In a game-based rehabilitation system 10 in which a brain-computer interface (BCI) according to an embodiment of the present invention is applied directly to a game image, a particular frequency at which one or more body parts of the object are blinked, It may be the same frequency, or different frequencies for different parts of the body. In the case where the frequency of flickering of the hands, feet, neck, arms, legs, waist, etc. is the same as the body parts capable of moving in the object, There is an advantage that it is convenient. On the other hand, it is preferable that each body part blinks at a different frequency because a different frequency is set for each different body part. Therefore, if only the SSVEP of the specific frequency detected by the user's brain wave is determined, It is easy to determine which portion corresponds to which region. Depending on the embodiment, all parts of the body such as the arms and legs of the object may flicker at 30 Hz, and the object's arm may flicker at a different frequency for each part of the body at 35 Hz and legs at 40 Hz, The motion may be 30 Hz, the B action associated with the right arm of the object is 35 Hz, and even the same body part may flicker at different frequencies depending on the associated action or situation. In addition, even in the case of the same body part, the first scene displayed on the display device 100 and the second scene may have different frequencies.

실시예에 따라서는, 신체부위가 깜빡이는 특정 주파수는 7Hz~20Hz의 주파수 영역을 이용할 수 있으나, 일반적으로 7Hz~20Hz의 주파수 영역의 경우에는 사용자가 깜빡임을 인식할 수 있기 때문에, 사용자가 눈의 피로감을 쉽게 느끼게 되므로, 사용자가 깜빡임을 인식할 수 없는 30Hz 이상의 주파수를 사용하여 사용자의 눈의 피로감을 줄일 수도 있다.
In some embodiments, the frequency range of 7 Hz to 20 Hz may be used for a specific frequency at which the body part blinks. However, since the user can recognize the blinking in the frequency range of 7 Hz to 20 Hz, Since the user feels fatigue easily, the user can reduce the fatigue of the user's eyes by using a frequency of 30 Hz or more which the user can not recognize the flickering.

본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)의 제어장치(400)는, 제어신호 생성부(410), 및 제어부(420)로 구성될 수 있는데, 제어신호 생성부(410) 및 제어부(420)에 대해서는, 이하에서 도 8을 참조하여 상세하게 설명하기로 한다.
The controller 400 of the game-based rehabilitation system 10 in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image includes a control signal generator 410 and a controller 420, The control signal generator 410 and the controller 420 will be described in detail with reference to FIG.

도 8은 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)에 있어서, 게임영상의 일부를 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)의 제어 장치(400)는, 뇌파분석부(320)가 분석한 특정 주파수를 갖는 SSVEP에 대응되는 객체의 신체부위를 미리 설정된 방식으로 움직이게 하는 제어신호를 생성하는 제어신호 생성부(410), 및 제어신호 생성부(410)에서 생성된 제어신호를 이용하여 객체의 움직임을 표시하는 표시 장치(100)를 제어하는 제어부(420)를 포함할 수 있다. 즉, 제어 장치(400)는 제어신호 생성부(410)에서 생성된 제어신호를 제어부(420)로 전송하도록 하여, 제어 신호를 전송받은 제어부(420)가 객체의 움직임을 표시하는 표시 장치(100)를 제어할 수 있게 한다.
FIG. 8 is a diagram showing a part of a game image in a game-based rehabilitation system 10 in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image. 8, the controller 400 of the game-based rehabilitation system 10 in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image includes an EEG analysis unit 320 A control signal generating unit 410 for generating a control signal for moving a body part of the object corresponding to the SSVEP having a specific frequency analyzed by the control signal generating unit 410 in a predetermined manner, And a control unit 420 for controlling the display device 100 to display the movement of the object using the display unit. That is, the controller 400 transmits the control signal generated by the control signal generator 410 to the controller 420, and the controller 420 receiving the control signal displays the motion of the object 100 ). ≪ / RTI >

실시예에 따라서는, 사용자가 특정 주파수로 깜빡이는 객체의 신체부위를 주시하여 발생된, 동일한 주파수를 갖는 SSVEP에 대응되는 신호로서, 게임영상을 제어할 수 있는 제어신호는 사용자에 의하여 미리 지정된 객체의 움직임 모드를 포함할 수 있다. 움직임 모드란, 사용자가 게임영상을 진행하기 위하여 필요한 객체의 움직임과 관련된 콘텐츠로서, 객체의 특정 신체부위가 움직이는 구성을 포함할 수 있다. 즉, 움직임 모드란, 사용자가 객체의 깜빡이는 신체부위를 주시하는 경우, 사용자가 주시한 해당 신체부위를 미리 설정된 방식으로 움직이게 하는 제어신호를 의미한다.
According to an embodiment of the present invention, a control signal for controlling a game image is a signal corresponding to SSVEP having the same frequency generated by watching a body part of an object blinking at a specific frequency, May include a motion mode of. The motion mode may include a configuration in which a specific body part of an object moves as content related to movement of an object necessary for a user to proceed with a game image. That is, the motion mode refers to a control signal that moves a corresponding body part observed by a user in a predetermined manner when the user watches a blinking body part of the object.

예를 들어, 도 8에 도시된 바와 같이, 해당 게임화면에서 게임영상의 다음 단계로 이동하기 위하여 필요한 객체의 움직임은 오른쪽 길로 걸어가는 것이며, 게임화면에서 제시된 안내콘텐츠는,‘오른쪽 길로 가려면 오른팔을 올렸다가 내리시오’이므로, 사용자는 객체의 오른팔을 올렸다가 내려야 한다. 게임의 진행을 위하여, 사용자가 게임화면에서 40Hz로 깜빡이고 있는 객체의 오른팔을 주시하게 되면, 사용자의 뇌파에서는 객체의 오른팔과 동일한 주파수인 40Hz의 SSVEP가 검출, 분석되고, 제어신호 생성부(410)에서는 제어신호를 생성하게 된다. 이 경우, 미리 지정된 움직임 모드는, 객체의 오른팔이 올렸다가 내리는 움직임, 및 객체가 오른쪽 길로 걸어가는 움직임 등이 될 수 있다. 물론, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)에 있어서, 특정 주파수를 갖는 SSVEP에 대응되는 제어신호는 상기에 제시된 제어신호로만 한정되는 것은 아니다. 또한, 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)의 제어부(420)는, 상기와 같이 제어신호 생성부(410)에서 생성된 제어신호에 따라 객체의 움직임을 표시하는 표시 장치(100)를 제어하여 게임이 진행되도록 제어할 수 있다.
For example, as shown in FIG. 8, the movement of the object required to move to the next stage of the game image on the game screen is a walk on the right path, and the guidance content presented on the game screen is'', So the user must raise and lower the right arm of the object. For the progress of the game, when the user watches the right arm of the object blinking at 40 Hz on the game screen, SSVEP of 40 Hz which is the same frequency as the right arm of the object is detected and analyzed in the user's brain wave, ) Generates a control signal. In this case, the predetermined motion mode may be a motion in which the right arm of the object moves up and down, a motion in which the object moves in the right direction, and the like. Of course, in the game-based rehabilitation system 10 in which the brain-computer interface (BCI) is directly applied to the game image, the control signal corresponding to the SSVEP having the specific frequency is not limited to the control signal shown above. In addition, the controller 420 of the game-based rehabilitation system 10 in which the brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image is generated by the control signal generator 410 as described above And controls the display device 100 to display the movement of the object according to the control signal so that the game progresses.

도 9는 본 발명의 다른 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)에 있어서, 사용자가 재활 훈련을 하는 모습을 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)의 표시 장치(100)에 표시되는 객체는 하나 이상일 수 있으며, 한명 이상의 사용자가 함께 게임을 진행하며 재활 훈련을 할 수도 있다.
FIG. 9 is a diagram illustrating a game rehabilitation system 10 in which a user applies rehabilitation training, in which a brain-computer interface (BCI) according to another embodiment of the present invention is directly applied to a game image. 9, objects displayed on the display device 100 of the game-based rehabilitation system 10 in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image, And one or more users can play games together and rehabilitate.

본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)의 표시 장치(100)는, TV, 컴퓨터, 노트북, 스마트 TV, 및 태블릿 PC 중 적어도 하나일 수 있다. 물론, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)에 있어서, 표시 장치(100)는 상기와 같은 기기로만 한정되는 것은 아니다.
The display device 100 of the game-based rehabilitation system 10 in which the brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image can be applied to a TV, a computer, a notebook, a smart TV, At least one. Of course, in the game-based rehabilitation system 10 in which the brain-computer interface (BCI) is directly applied to a game image, the display device 100 is not limited to the above-described devices.

도 10은 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)에 있어서, 그 제어방법의 흐름도를 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템(10)의 제어방법은, 표시 장치(100)가 게임영상을 표시하는 단계(S100), 뇌파 획득 장치(200)가 단계 S100에서 표시되는 게임영상에 대응되는 사용자의 뇌파를 획득하는 단계(S200), 뇌파 분석 장치(300)가 단계 S200에서 획득된 사용자의 뇌파를 분석하는 단계(S300), 및 제어 장치(400)가 단계 S300에서 분석된 뇌파에 대응되는 결과에 따라, 표시 장치(100)에서 표시되는 게임영상을 제어하는 단계(S400)를 포함할 수 있다. 즉, 단계 S100에서는 게임영상에 표시되는 객체의 하나 이상의 신체부위가 특정 주파수로 깜빡이도록 게임영상을 표시하고, 단계 S400에서는 사용자가 해당 신체부위를 주시할 경우, 단계 S200 및 단계 S300을 통해 획득하고 분석된 뇌파에 대응되는 결과에 따라, 해당 신체부위를 미리 설정된 방식으로 움직이도록 제어하며, 사용자가 선별적으로 주시하는 객체의 신체부위의 움직임에 따른, 사용자의 거울신경세포의 활성화를 이용하여 재활 훈련을 하는 것을 도울 수 있다.
FIG. 10 is a flowchart of a game-based rehabilitation system 10 in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image. 10, a method of controlling a game-based rehabilitation system 10 in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image, A step S200 of acquiring a user's brain wave corresponding to the game image displayed in the step S100; a step S100 of acquiring the user's brain wave corresponding to the game image displayed in the step S100; Analyzing the brain waves (S300), and controlling the game image displayed on the display device 100 (S400) according to the result corresponding to the brain waves analyzed by the controller 400 in step S300 have. That is, in step S100, the game image is displayed such that one or more body parts of the object displayed on the game image blink at a specific frequency. In step S400, when the user watches the body part, the body part is acquired through steps S200 and S300 According to the result corresponding to the analyzed brain waves, the body part is controlled to move in a preset manner, and the user's mirror nerve cell activation is activated according to the movement of the body part of the object, Can help to train.

실시예에 따라서는, 단계 S300은, 뇌파검출부(310)가 사용자가 선별적으로 주시하는 객체의 특정 신체부위에 대응되는 사용자의 뇌파 신호에서 SSVEP를 검출하는 단계, 및 뇌파분석부(320)가 뇌파검출부(310)에서 검출된, 사용자에 의하여 선별된 특정 주파수를 갖는 SSVEP의 주파수를 분석하는 단계를 더 포함할 수 있다. 또한, 단계 S400은, 제어신호 생성부(410)가 특정 주파수를 갖는 SSVEP에 대응되는 객체의 신체부위를 미리 설정된 방식으로 움직이게 하는 제어신호를 생성하는 단계, 및 제어부(420)가 제어신호 생성부(410)에서 생성된 제어신호를 이용하여 객체의 움직임을 표시하는 (100)를 제어하는 단계를 더 포함할 수도 있다.
In step S300, the EEG detecting unit 310 detects SSVEP from a user's EEG signal corresponding to a specific body part of an object selectively viewed by the user, and the EEG analyzing unit 320 Analyzing the frequency of the SSVEP having the specific frequency selected by the user, which is detected by the EEG detecting unit 310. [ In step S400, the control signal generator 410 generates a control signal for moving a body part of the object corresponding to the SSVEP having a specific frequency in a preset manner, and the controller 420 controls the control signal generator 420, (100) indicating the movement of the object using the control signal generated by the control unit (410).

상술한 바와 같이, 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템 및 재활 시스템의 제어방법은, 기존의 SSVEP를 이용한 시스템은 깜빡이는 빛을 이용하였던 것과는 달리, SSVEP의 특정 주파수로 깜빡이는 객체의 신체부위를 표시하고, 사용자가 주시하는 객체의 신체부위가 움직이게 되는 게임영상을 통하여, 거울신경세포를 활성화시킬 수 있으며, 사용자의 흥미를 유도하여 영상을 주시하는 집중력을 높일 수 있고, 이와 동시에, 사용자의 능동적인 재활 훈련이 가능하도록 할 수 있다. 뿐만 아니라, 객체의 신체부위가 특정 주파수로 깜빡이는 영상을 표시하고 사용자가 객체의 특정 신체부위를 주시하는 경우, 미리 설정된 방식으로 해당 신체부위가 움직이며, 객체의 움직임으로 게임이 진행되는 방식을 이용함으로써, 사용자가 게임을 즐길 수 있게 하여, 사용자의 적극적인 참여를 유도할 수 있다. 또한, BCI 기법으로 소개되고 있는 SSVEP와, 움직이는 영상을 포함하는 게임영상으로 거울신경세포의 활성화를 동시에 활용할 수 있는 재활 시스템으로서, 재활 훈련의 효과를 더욱 높일 수 있다.
As described above, the game-based rehabilitation system and the control method of the rehabilitation system in which the brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to the game image, the system using the existing SSVEP, Unlike the one used, it displays the body part of the object blinking at a certain frequency of SSVEP, activates the mirror nerve cell through the game image in which the body part of the object viewed by the user moves, Thereby enhancing the concentration of watching the video, and at the same time enabling active rehabilitation of the user. In addition, when the body part of the object displays an image blinking at a specific frequency and the user watches the specific body part of the object, the body part moves in a preset manner, Thus, the user can enjoy the game, and the active participation of the user can be encouraged. In addition, SSVEP, which is introduced as BCI technique, and game image including moving image, can be used as a rehabilitation system that can simultaneously activate the mirror nerve cell, and the effect of rehabilitation training can be further enhanced.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention may be embodied in many other specific forms without departing from the spirit or essential characteristics and scope of the invention.

10: 본 발명의 일실시예에 따른 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템
100: 표시 장치
110: 음성출력 장치
200: 뇌파 획득 장치
300: 뇌파 분석 장치
310: 뇌파검출부
320: 뇌파분석부
400: 제어 장치
410: 제어신호 생성부
420: 제어부10: Game-based rehabilitation system in which a brain-computer interface (BCI) according to an embodiment of the present invention is directly applied to a game image
100: display device
110: Audio output device
200: EEG acquisition device
300: EEG analyzer
310: EEG detector
320: EEG analysis unit
400: control device
410: control signal generating unit
420:

Claims (20)

재활 시스템으로서,
게임영상을 표시하는 ;
상기 에 표시되는 게임영상에 대응되는 사용자의 뇌파를 획득하는 뇌파 획득 장치;
상기 뇌파 획득 장치에서 획득된 사용자의 뇌파를 분석하는 뇌파 분석 장치; 및
상기 뇌파 분석 장치에서 분석된 뇌파에 대응되는 결과에 따라, 상기 표시 장치에서 표시되는 게임영상을 제어하는 제어 장치를 포함하되,
상기 제어 장치는,
상기 게임영상에 표시되는 객체의 하나 이상의 신체부위가 특정 주파수로 깜빡이도록 제어할 수 있고, 사용자가 해당 신체부위를 주시할 경우, 상기 뇌파 획득 장치 및 뇌파 분석 장치를 통해 획득하고 분석된 뇌파에 대응되는 결과에 따라, 해당 신체부위를 미리 설정된 방식으로 움직이도록 제어할 수 있으며,
사용자가 선별적으로 주시하는 객체의 신체부위의 움직임에 따른, 사용자의 거울신경세포의 활성화를 이용하여 재활 훈련을 하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템.
As a rehabilitation system,
Displaying game images;
An EEG acquiring device for acquiring a brain wave of a user corresponding to the game image displayed on the screen;
An EEG analyzing apparatus for analyzing a user's EEG acquired by the EEG acquisition apparatus; And
And a control device for controlling a game image displayed on the display device according to a result corresponding to the brain waves analyzed by the brain wave analyzing device,
The control device includes:
And controlling one or more body parts of the object displayed on the game image to be flickered at a specific frequency. When the user watches the body part, the controller can control the brain waves acquired and analyzed by the brain wave acquisition device and the brain wave analyzing device According to the result, the body part can be controlled to move in a preset manner,
(BCI) is directly applied to a game image, characterized in that rehabilitation training is performed using the activation of the user's mirror nerve cell according to the movement of the body part of the object selectively observed by the user. Of rehabilitation system.
제1항에 있어서, 상기 표시 장치는,
상기 게임영상의 진행을 위한 안내콘텐츠를 더 포함하여 표시하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템.
The display device according to claim 1,
(BCI) is directly applied to a game image, wherein the game content further includes a guide content for progressing the game image.
제2항에 있어서, 상기 표시 장치는,
상기 안내콘텐츠에 해당되는 음성콘텐츠를 출력하는 음성출력 장치를 포함하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템.
The display device according to claim 2,
And a voice output device for outputting voice contents corresponding to the guidance contents, wherein the game-based rehabilitation system applies the brain-computer interface (BCI) directly to a game image.
제1항에 있어서,
객체의 하나 이상의 신체부위가 깜빡이는 특정 주파수는, 신체부위와 관계없이 동일한 주파수이거나, 신체부위마다 서로 다른 주파수인 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템.
The method according to claim 1,
(BCI) applied directly to a game image, characterized in that the specific frequency at which one or more body parts of the object blink is the same frequency irrespective of the body part, Rehabilitation system.
제1항에 있어서,
신체부위가 미리 설정된 방식으로 움직이는 게임영상은, 사용자의 재활에 도움이 되는 움직임을 포함하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템.
The method according to claim 1,
A game-based rehabilitation system that applies a brain-computer interface (BCI) directly to a game image, characterized in that the game image in which the body part moves in a predetermined manner includes a motion that helps the user's rehabilitation.
제1항에 있어서, 상기 뇌파 분석 장치는,
사용자가 선별적으로 객체의 특정 신체부위를 주시할 때의 뇌파를 검출하는 뇌파검출부; 및
상기 뇌파검출부에서 검출된 뇌파의 주파수를 분석하는 뇌파분석부를 포함하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템.
[2] The apparatus of claim 1,
An EEG detector for detecting an EEG when the user selectively observes a specific body part of the object; And
And a brain wave analyzing unit for analyzing a frequency of an EEG detected by the EEG detecting unit. The system of claim 1, wherein the brain-computer interface (BCI) is directly applied to a game image.
제6항에 있어서, 상기 뇌파검출부는,
사용자가 선별적으로 주시하는 객체의 특정 신체부위에 대응되는 사용자의 뇌파 신호에서, SSVEP를 검출하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템.
[7] The apparatus of claim 6,
Wherein the SSVEP is detected from a user's brain wave signal corresponding to a specific body part of an object selectively monitored by a user.
제7항에 있어서, 상기 뇌파분석부는,
상기 뇌파검출부에서 검출된 SSVEP의 주파수를 분석하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템.
8. The apparatus according to claim 7,
Wherein the frequency of the SSVEP detected by the EEG detecting unit is analyzed. A game-based rehabilitation system in which a brain-computer interface (BCI) is directly applied to a game image.
제8항에 있어서, 상기 제어 장치는,
상기 뇌파분석부가 분석한 특정 주파수를 갖는 SSVEP에 대응되는 객체의 신체부위를 미리 설정된 방식으로 움직이게 하는 제어신호를 생성하는 제어신호 생성부; 및
상기 제어신호 생성부에서 생성된 제어신호를 이용하여 상기 객체의 움직임을 표시하는 표시 장치를 제어하는 제어부를 포함하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템.
The control apparatus according to claim 8,
A control signal generating unit for generating a control signal for moving a body part of the object corresponding to the SSVEP having the specific frequency analyzed by the EEG analysis unit in a preset manner; And
And a control unit for controlling a display device for displaying the movement of the object using the control signal generated by the control signal generation unit. Rehabilitation system.
제1항에 있어서, 상기 표시 장치는,
TV, 컴퓨터, 노트북, 스마트 TV, 및 태블릿 PC 중 적어도 하나인 것에 포함되는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템.
The display device according to claim 1,
(BCI) is directly applied to a game image, wherein the brain-computer interface (BCI) is included in at least one of a TV, a computer, a notebook, a smart TV, and a tablet PC.
재활 시스템의 제어방법으로서,
(1) 표시 장치가, 게임영상을 표시하는 단계;
(2) 뇌파 획득 장치가, 상기 단계 (1)에서 표시되는 게임영상에 대응되는 사용자의 뇌파를 획득하는 단계;
(3) 뇌파 분석 장치가, 상기 단계 (2)에서 획득된 사용자의 뇌파를 분석하는 단계; 및
(4) 제어 장치가, 상기 단계 (3)에서 분석된 뇌파에 대응되는 결과에 따라, 상기 표시 장치에서 표시되는 게임영상을 제어하는 단계를 포함하되,
상기 단계 (1)에서는,
상기 게임영상에 표시되는 객체의 하나 이상의 신체부위가 특정 주파수로 깜빡이도록 상기 게임영상을 표시하고,
상기 단계 (4)에서는,
사용자가 해당 신체부위를 주시할 경우, 상기 단계 (2) 및 단계 (3)을 통해 획득하고 분석된 뇌파에 대응되는 결과에 따라, 해당 신체부위를 미리 설정된 방식으로 움직이도록 제어하며,
사용자가 선별적으로 주시하는 객체의 신체부위의 움직임에 따른, 사용자의 거울신경세포의 활성화를 이용하여 재활 훈련을 하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템의 제어방법.
A control method for a rehabilitation system,
(1) the display device displays a game image;
(2) acquiring a brain wave of a user corresponding to a game image displayed in the step (1);
(3) analyzing the brain waves of the user obtained in the step (2); And
(4) controlling the game image displayed on the display device according to a result corresponding to the brain waves analyzed in the step (3)
In the above step (1)
Displaying the game image such that one or more body parts of the object displayed on the game image blink at a specific frequency,
In the step (4)
When the user watches the body part, controls the body part to move in a preset manner according to the results corresponding to the analyzed brain waves acquired and analyzed through the steps (2) and (3)
(BCI) is directly applied to a game image, characterized in that rehabilitation training is performed using the activation of the user's mirror nerve cell according to the movement of the body part of the object selectively observed by the user. Of the rehabilitation system.
제11항에 있어서, 상기 표시 장치는,
상기 게임영상의 진행을 위한 안내콘텐츠를 더 포함하여 표시하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템의 제어방법.
The display device according to claim 11,
(BCI) is directly applied to a game image, wherein the game content further includes a guide content for progressing the game image.
제12항에 있어서, 상기 표시 장치는,
상기 안내콘텐츠에 해당되는 음성콘텐츠를 출력하는 음성출력 장치를 포함하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템의 제어방법.
The display device according to claim 12,
And a voice output device for outputting the voice content corresponding to the guidance content. The method according to claim 1, further comprising:
제11항에 있어서,
객체의 하나 이상의 신체부위가 갖는 특정 주파수는, 신체부위와 관계없이 동일한 주파수이거나, 신체부위마다 서로 다른 주파수인 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템의 제어방법.
12. The method of claim 11,
(BCI) is directly applied to a game image, wherein the specific frequency of one or more body parts of the object is the same frequency irrespective of the body part, Method of controlling the system.
제11항에 있어서,
신체부위가 미리 설정된 방식으로 움직이는 게임영상은, 사용자의 재활에 도움이 되는 움직임을 포함하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템의 제어방법.
12. The method of claim 11,
A method of controlling a game-based rehabilitation system in which a game image in which a body part moves in a predetermined manner includes a motion that helps the user to rehabilitate is directly applied to a game image.
제11항에 있어서, 상기 뇌파 분석 장치는,
사용자가 선별적으로 객체의 특정 신체부위를 주시할 때의 뇌파를 검출하는 뇌파검출부; 및
상기 뇌파검출부에서 검출된 뇌파의 주파수를 분석하는 뇌파분석부를 포함하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템의 제어방법.
[12] The apparatus of claim 11,
An EEG detector for detecting an EEG when the user selectively observes a specific body part of the object; And
And a brain wave analyzing unit for analyzing a frequency of an EEG detected by the EEG detecting unit, wherein the EBC is directly applied to a game image.
제16항에 있어서, 상기 뇌파검출부는,
사용자가 선별적으로 주시하는 객체의 특정 신체부위에 대응되는 사용자의 뇌파 신호에서, SSVEP를 검출하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템의 제어방법.
[17] The method of claim 16,
(BCI) is directly applied to a game image, characterized in that the SSVEP is detected from a user's EEG signal corresponding to a specific body part of an object selectively monitored by the user. Way.
제17항에 있어서, 상기 뇌파분석부는,
상기 뇌파검출부에서 검출된 SSVEP의 주파수를 분석하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템의 제어방법.
The apparatus of claim 17, wherein the EEG analyzing unit comprises:
Wherein the frequency of the SSVEP detected by the EEG detecting unit is analyzed. 6. The method of claim 1, wherein the frequency of the SSVEP detected by the EEG detecting unit is analyzed.
제18항에 있어서, 상기 제어 장치는,
상기 뇌파분석부가 분석한 특정 주파수를 갖는 SSVEP에 대응되는 객체의 신체부위를 미리 설정된 방식으로 움직이게 하는 제어신호를 생성하는 제어신호 생성부; 및
상기 제어신호 생성부에서 생성된 제어신호를 이용하여 상기 객체의 움직임을 표시하는 표시 장치를 제어하는 제어부를 포함하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템의 제어방법.
19. The control apparatus according to claim 18,
A control signal generating unit for generating a control signal for moving a body part of the object corresponding to the SSVEP having the specific frequency analyzed by the EEG analysis unit in a preset manner; And
And a control unit for controlling a display device for displaying the movement of the object using the control signal generated by the control signal generation unit. Control method of rehabilitation system.
제11항에 있어서, 상기 표시 장치는,
TV, 컴퓨터, 노트북, 스마트 TV, 및 태블릿 PC 중 적어도 하나인 것에 포함되는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스(BCI)를 게임영상에 직접 적용한 게임 방식의 재활 시스템의 제어방법.The display device according to claim 11,
(BCI) is directly applied to a game image, wherein the brain-computer interface (BCI) is included in at least one of a TV, a computer, a notebook, a smart TV, and a tablet PC.
KR1020160178528A 2016-12-23 2016-12-23 Game-based rehabilitation system using brain-computer interface (bci) and its control method KR101888498B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160178528A KR101888498B1 (en) 2016-12-23 2016-12-23 Game-based rehabilitation system using brain-computer interface (bci) and its control method
PCT/KR2017/013302 WO2018117439A1 (en) 2016-12-23 2017-11-21 Game type rehabilitation system using brain-computer interface (bci) and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160178528A KR101888498B1 (en) 2016-12-23 2016-12-23 Game-based rehabilitation system using brain-computer interface (bci) and its control method

Publications (2)

Publication Number Publication Date
KR20180074446A true KR20180074446A (en) 2018-07-03
KR101888498B1 KR101888498B1 (en) 2018-08-14

Family

ID=62918070

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160178528A KR101888498B1 (en) 2016-12-23 2016-12-23 Game-based rehabilitation system using brain-computer interface (bci) and its control method

Country Status (1)

Country Link
KR (1) KR101888498B1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120042252A (en) * 2010-10-25 2012-05-03 연세대학교 산학협력단 Rehabilitation training system with functional electrical stimulation based on steady-state visually evoked potentials
US20130138011A1 (en) * 2010-03-31 2013-05-30 Agency For Science, Technology And Research Brain-computer interface system and method
KR20140075049A (en) * 2012-12-07 2014-06-19 상명대학교서울산학협력단 Evaluation method of mental concentration and apparatus adopting the method
US20140200432A1 (en) * 2011-05-20 2014-07-17 Nanyang Technological University Systems, apparatuses, devices, and processes for synergistic neuro-physiological rehabilitation and/or functional development
KR101431203B1 (en) * 2013-04-16 2014-08-18 고려대학교 산학협력단 Brain-machine interface apparatus and method for recognizing human intention using brain wave
US20140347265A1 (en) * 2013-03-15 2014-11-27 Interaxon Inc. Wearable computing apparatus and method
KR101553854B1 (en) * 2014-10-01 2015-09-17 계명대학교 산학협력단 Game-based excercise rehabilitation system and method using brain wave concentration feedback

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130138011A1 (en) * 2010-03-31 2013-05-30 Agency For Science, Technology And Research Brain-computer interface system and method
KR20120042252A (en) * 2010-10-25 2012-05-03 연세대학교 산학협력단 Rehabilitation training system with functional electrical stimulation based on steady-state visually evoked potentials
US20140200432A1 (en) * 2011-05-20 2014-07-17 Nanyang Technological University Systems, apparatuses, devices, and processes for synergistic neuro-physiological rehabilitation and/or functional development
KR20140075049A (en) * 2012-12-07 2014-06-19 상명대학교서울산학협력단 Evaluation method of mental concentration and apparatus adopting the method
US20140347265A1 (en) * 2013-03-15 2014-11-27 Interaxon Inc. Wearable computing apparatus and method
KR101431203B1 (en) * 2013-04-16 2014-08-18 고려대학교 산학협력단 Brain-machine interface apparatus and method for recognizing human intention using brain wave
KR101553854B1 (en) * 2014-10-01 2015-09-17 계명대학교 산학협력단 Game-based excercise rehabilitation system and method using brain wave concentration feedback

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김희석, ‘시청각을 이용한 동작관찰이 만성 뇌졸중 환자의 거울신경세포 시스템에 미치는 영향’, 호남대학교, 2015 *

Also Published As

Publication number Publication date
KR101888498B1 (en) 2018-08-14

Similar Documents

Publication Publication Date Title
CN108882875B (en) Device for neurovascular stimulation
US11273344B2 (en) Multimodal sensory feedback system and method for treatment and assessment of disequilibrium, balance and motion disorders
US10258259B1 (en) Multimodal sensory feedback system and method for treatment and assessment of disequilibrium, balance and motion disorders
KR102144291B1 (en) Game-based rehabilitation system that combines brain stimulation and brain-computer interface techniques to maximize activation of mirror nerve cells and its control method
Tidoni et al. Local and remote cooperation with virtual and robotic agents: a P300 BCI study in healthy and people living with spinal cord injury
US10762988B2 (en) Motor training
WO2016001902A1 (en) Apparatus comprising a headset, a camera for recording eye movements and a screen for providing a stimulation exercise and an associated method for treating vestibular, ocular or central impairment
KR20170135459A (en) Rehabilitation training apparatus for an arm
WO2015152122A1 (en) Device for rehabilitation, rehabilitation system provided therewith, program for rehabilitation and rehabilitation method
US11543879B2 (en) System for communicating sensory information with an interactive system and methods thereof
WO2009076314A2 (en) Method and apparatus for providing automatic eye focused therapy
Nowak et al. Towards amblyopia therapy using mixed reality technology
Hamzeheinejad et al. Physiological effectivity and user experience of immersive gait rehabilitation
KR101923656B1 (en) Virtual reality control system that induces activation of mirror nervous system and its control method
KR102142535B1 (en) Game-based rehabilitation system combine functional electrical stimulation and brain-computer interface technique to maximize activation of mirror nerve cell and its control method
US20210387085A1 (en) Display of a three dimensional recodring in a system for rehabilitation
US20230296895A1 (en) Methods, apparatus, and articles to enhance brain function via presentation of visual effects in far and/or ultra-far peripheral field
KR101888498B1 (en) Game-based rehabilitation system using brain-computer interface (bci) and its control method
KR101878416B1 (en) Game-based rehabilitation system using brain-computer interface (bci) and its control method
JP2018029728A (en) Rehabilitation apparatus and rehabilitation method
KR102365613B1 (en) A concentration feedback exercise system using concentration measurement through brain waves during exercise rehabilitation based on virtual reality or video game and use method of thereof
KR101970804B1 (en) The rehabillitation system of the mirror nerve cell activation game method applying the daily life movement training sequence and its control method
Tatsukawa et al. Development of motion game for elderly based on sensory stimulus presentation
Floessel et al. Use of Vibrotactile Feedback to Improve Execution Quality of Core Stability Exercises
JP6917766B2 (en) Stimulation device and stimulus application program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant