KR20230075079A - Real-time feedback system for controlling target based on brain-computer interface and method thereof - Google Patents

Real-time feedback system for controlling target based on brain-computer interface and method thereof Download PDF

Info

Publication number
KR20230075079A
KR20230075079A KR1020210161309A KR20210161309A KR20230075079A KR 20230075079 A KR20230075079 A KR 20230075079A KR 1020210161309 A KR1020210161309 A KR 1020210161309A KR 20210161309 A KR20210161309 A KR 20210161309A KR 20230075079 A KR20230075079 A KR 20230075079A
Authority
KR
South Korea
Prior art keywords
target object
user
brain
control
real
Prior art date
Application number
KR1020210161309A
Other languages
Korean (ko)
Inventor
이송주
김형민
김래현
김근태
정지혁
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020210161309A priority Critical patent/KR20230075079A/en
Publication of KR20230075079A publication Critical patent/KR20230075079A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

A real-time feedback system for controlling a target object based on a brain-computer interface according to an embodiment of the present invention comprises: a brain-computer interface (BCI) start recognition unit for recognizing a target object that is likely to be controlled by a user; an EEG detector for detecting the EEG of the user in real time in response to the BCI start recognizing unit recognizing the target object; an intention determination unit for determining that the intention of the user to control the target object has been expressed by analyzing the detected EEG; a display unit for providing visual feedback related to the target object to the user in response to the intention determination unit determining that the intention of the user to control the target object has been expressed; and a target object controller for controlling the target object by transmitting a target object control command based on the visual feedback. Therefore, the non-invasive EEG of the user does not need to be monitored continuously, and the system can discern a point of time when the user wants to start a BCI.

Description

뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템 및 방법 {REAL-TIME FEEDBACK SYSTEM FOR CONTROLLING TARGET BASED ON BRAIN-COMPUTER INTERFACE AND METHOD THEREOF}Real-time feedback system and method for controlling target object based on brain-computer interface

뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 사용자의 목표 사물에 대한 제어 의도를 파악하여 시각 피드백을 제공하고, 목표 사물을 제어하기 위한 실시간 피드백 시스템 및 방법에 관한 것이다.It relates to a real-time feedback system and method for controlling a target object based on a brain-computer interface, and more particularly, to a real-time feedback system for identifying a user's intention to control a target object, providing visual feedback, and controlling the target object. and methods.

[국가지원 연구개발에 대한 설명][Description of State-Supported R&D]

본 연구는 한국과학기술연구원의 주관 하에 과학기술정보통신부의 정보통신·방송 연구개발사업(생각만으로 실생활 기기 및 AR/VR 디바이스를 제어하는 비침습 BCI 통합 뇌인지 컴퓨팅 SW 플랫폼 기술 개발, 과제고유번호: 2017-0-00432)의 지원에 의하여 이루어진 것이다.This study was conducted by the Ministry of Science and ICT under the supervision of the Korea Institute of Science and Technology (MSIT), an information communication and broadcasting R&D project (development of non-invasive BCI integrated brain cognitive computing SW platform technology that controls real life devices and AR/VR devices with only thoughts, project identification number : 2017-0-00432).

최근 인간의 생체신호를 이용하여 전자 장치나 외골격 로봇을 제어하는 기술이 활발하게 연구되고 있다. 뇌-컴퓨터 인터페이스(Brain-Computer Interface; BCI) 기술은 뇌파검사(Electro encephalography; EEG)를 통해 사용자의 뇌파를 검출하고 이에 대응되는 제어신호를 생성하여 디바이스를 제어할 수 있도록 하는 대표적인 기술이다. BCI 기술은 인지 관련 연구, 운동 재활, 척추마비 환자를 위한 외골격 로봇 또는 전동 휠체어 등 다양한 산업 분야에서 활용될 수 있다. Recently, a technology for controlling an electronic device or an exoskeleton robot using human bio-signals has been actively researched. Brain-Computer Interface (BCI) technology is a representative technology that enables a device to be controlled by detecting a user's brain wave through electroencephalography (EEG) and generating a corresponding control signal. BCI technology can be used in various industries, such as cognitive research, motor rehabilitation, exoskeleton robots or electric wheelchairs for patients with spinal paralysis.

최근, 가상 현실(Virtual Reality), 증강 현실(Augmented Reality), 혼합 또는 융합 현실(Mixed or Merged Reality) 장비를 통해 현실 환경과 융합하여 BCI를 통해 외부 장치를 제어하거나, 게임 및 엔터테인먼트를 진행하는 인터페이스 기술에 대한 수요가 꾸준히 늘어나고 있는 추세이다. 또한, 비침습적 BCI 기술이 인지 관련 연구, 운동 재활, 등 하드웨어 및 소프트웨어 제어를 통한 서비스 제공과 관련된 다양한 시장에서 각광 받고 있다.Recently, virtual reality, augmented reality, and mixed or merged reality equipment are fused with the real environment to control external devices through BCI or interfaces for games and entertainment. The demand for technology is steadily increasing. In addition, non-invasive BCI technology is in the limelight in various markets related to service provision through hardware and software control, such as cognitive research and motor rehabilitation.

하지만 현재까지 동작 상상(MI, Motor Imagery), 진동 자극에 대한 선택적 집중(SA, Selective Attention) 등 사용자의 자발적인 의도 발현에 대한 BCI의 경우, 시스템이 사용자의 비침습적 EEG를 계속적으로 모니터링하기에는 한계점이 있고, 사용자가 BCI를 시작하고 싶어하는 시점을 시스템이 파악하는 것이 실용화를 위해 필요하다. 또한, VR, AR 및 MR 기반의 시각 피드백을 접목한 비침습적 BCI 시스템의 필요성이 대두되고 있다.However, in the case of BCI for the user's voluntary intention expression, such as motor imagery (MI) and selective attention (SA), the system has limitations in continuously monitoring the user's non-invasive EEG. For practical use, it is necessary for the system to figure out when the user wants to start BCI. In addition, the need for a non-invasive BCI system that incorporates visual feedback based on VR, AR, and MR is emerging.

이에 본 발명은 이러한 문제점 해결에 착안한 것으로서, 사용자가 제어하고 싶은 목표 사물을 인식하고 실시간으로 사용자의 뇌파를 검출 및 분석하여 사용자의 목표 사물을 제어하고자 하는 의도가 발현되었는지 판단하고, 시각피드백을 제공하고, 목표 사물 제어 명령어를 전송하여 최종적으로 상기 목표 사물을 제어한다.Therefore, the present invention has focused on solving these problems, recognizing a target object that the user wants to control, detecting and analyzing the user's brain wave in real time, determining whether the user's intention to control the target object has been expressed, and providing visual feedback. and transmits a target thing control command to finally control the target thing.

본 발명의 일 실시예에 의한, 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템은 사용자에 의하여 제어될 가능성이 있는 목표 사물을 인식하는 BCI(Brain-computer interface) 시작인식부; 상기 BCI 시작인식부가 상기 목표 사물을 인식하는 것에 응답하여, 상기 사용자의 뇌파를 실시간으로 검출하는 뇌파검출부; 상기 검출된 뇌파를 분석하여 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었음을 판단하는 의도판단부; 상기 의도판단부에 의하여 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었다는 판단에 응답하여, 사용자에게 상기 목표 사물에 관련된 시각피드백을 제공하는 디스플레이부; 및 상기 시각피드백을 기초로, 목표 사물 제어 명령어를 전송하여 상기 목표 사물을 제어하는 목표사물제어부; 를 포함할 수 있다.According to an embodiment of the present invention, a real-time feedback system for controlling a target object based on a brain-computer interface includes a brain-computer interface (BCI) start recognition unit recognizing a target object that is likely to be controlled by a user; an EEG detector for detecting EEG of the user in real time in response to the BCI start recognizing unit recognizing the target object; an intention determination unit determining that the user's intention to control the target object has been expressed by analyzing the detected brain wave; a display unit which provides visual feedback related to the target object to the user in response to a determination that the user's intention to control the target object has been expressed by the intention determination unit; and a target object controller controlling the target object by transmitting a target object control command based on the visual feedback. can include

일 실시예에 따르면, 상기 BCI 시작인식부는 사용자의 눈의 이동을 감지하도록 구성되고, 상기 BCI 시작인식부는 사용자의 눈 이동에 기초하여 사용자에 의하여 제어될 가능성이 있는 목표 사물을 인식할 수 있다.According to one embodiment, the BCI start recognition unit is configured to detect movement of the user's eyes, and the BCI start recognition unit can recognize a target object that is likely to be controlled by the user based on the user's eye movement.

일 실시예에 따르면, 상기 BCI 시작인식부가 사용자에 의하여 제어될 가능성이 있는 목표 사물을 인식하는 것은 상기 사용자가 상기 목표 사물을 미리 정해진 시간 이상 동안 주시할 경우일 수 있다.According to an embodiment, the BCI start recognition unit recognizing a target object that is likely to be controlled by the user may be when the user gazes at the target object for a predetermined period of time or longer.

일 실시예에 따르면, 상기 의도판단부가 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었음을 판단하는 것은 상기 검출된 뇌파의 공간적인 특성 변화를 기초로 판단할 수 있다.According to an embodiment, determining that the user's intention to control the target object is expressed may be determined based on a spatial characteristic change of the detected brain wave by the intention determination unit.

일 실시예에 따르면, 상기 의도판단부는 상기 뇌파로부터 FBCSP(Filter-Bank Common Spatial Pattern) 기반의 특징을 추출하고, 추출된 특징을 RLDA(regularized linear discriminant analysis) 기반의 분류를 통하여 사용자의 목표 사물에 대한 인식률을 도출할 수 있다.According to an embodiment, the intention determination unit extracts a filter-bank common spatial pattern (FBCSP)-based feature from the brain wave, and classifies the extracted feature to a user's target object through regularized linear discriminant analysis (RLDA)-based classification. A recognition rate can be derived.

일 실시예에 따르면, 상기 인식률은 상기 목표 사물에 대한 상기 사용자의 집중도를 의미하고, 상기 인식률이 미리 정해진 값 이상일 경우, 상기 의도판단부는 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었다고 판단할 수 있다.According to an embodiment, the recognition rate means the degree of concentration of the user on the target object, and when the recognition rate is greater than or equal to a predetermined value, the intention determination unit determines that the user's intention to control the target object has been expressed. can do.

일 실시예에 따르면, 상기 디스플레이부가 상기 목표 사물에 관련된 시각피드백을 제공하고, 뇌파검출부에 의하여 사용자의 목표 사물에 대한 특정한 제어 의도가 지속적으로 있음이 감지되는 경우, 상기 목표사물제어부는 목표 사물 제어 명령어를 생성 및 목표 사물에 전송할 수 있다.According to an embodiment, when the display unit provides visual feedback related to the target object and it is detected by the brain wave detection unit that the user has a specific intention to control the target object continuously, the target object control unit controls the target object. Commands can be created and sent to target objects.

일 실시예에 따르면, 상기 디스플레이부가 시각피드백의 제공 후, 상기 목표 사물이 잘못 인식되었다고 판단되는 경우, 상기 BCI 시작인식부가 제어될 가능성이 있는 목표 사물을 인식할 때까지 시스템이 대기될 수 있다.According to an embodiment, when it is determined that the target object is erroneously recognized after the display unit provides the visual feedback, the system may wait until the BCI start recognition unit recognizes a target object that may be controlled.

일 실시예에 따르면, 상기 디스플레이부는, 가상 현실(Virtual Reality), 증강 현실(Augmented Reality), 혼합 또는 융합 현실(Mixed or Merged Reality) 방식으로 상기 목표 사물에 관련된 시각피드백을 제공할 수 있다.According to an embodiment, the display unit may provide visual feedback related to the target object in a virtual reality, augmented reality, or mixed or merged reality method.

일 실시예에 따르면, 상기 시스템은, 프로세서를 구비한 웨어러블 장치 또는 모바일 장치일 수 있다.According to one embodiment, the system may be a wearable device or a mobile device having a processor.

일 실시예에 따르면, 상기 BCI 시작인식부, 상기 뇌파검출부, 상기 의도판단부, 상기 디스플레이부 및 상기 목표사물제어부 중 적어도 하나는 헤드마운티드 디스플레이(HMD)에 포함될 수 있다.According to an embodiment, at least one of the BCI start recognition unit, the brain wave detection unit, the intention determination unit, the display unit, and the target object control unit may be included in a head mounted display (HMD).

본 발명의 일 실시예에 의한, 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 방법은, 사용자에 의하여 제어될 가능성이 있는 목표 사물을 인식하는 BCI(Brain-computer interface) 시작 인식 단계; 상기 BCI 시작 인식 단계에서 상기 목표 사물을 인식하는 것에 응답하여, 상기 사용자의 뇌파를 실시간으로 검출하는 단계; 상기 검출된 뇌파를 분석하여 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었음을 판단하는 단계; 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었다는 판단에 응답하여, 사용자에게 상기 목표 사물에 관련된 시각피드백을 제공하는 디스플레이 단계; 및 상기 시각피드백을 기초로, 목표 사물 제어 명령어를 전송하여 상기 목표 사물을 제어하는 단계; 를 포함할 수 있다.According to an embodiment of the present invention, a real-time feedback method for controlling a target object based on a brain-computer interface includes a brain-computer interface (BCI) start recognition step of recognizing a target object that is likely to be controlled by a user; detecting the user's brain waves in real time in response to recognizing the target object in the BCI start recognizing step; determining that the user's intention to control the target object is expressed by analyzing the detected brain wave; a display step of providing visual feedback related to the target object to the user in response to determining that the user's intention to control the target object has been expressed; and controlling the target object by transmitting a target object control command based on the visual feedback. can include

일 실시예에 따르면, 상기 BCI 시작 인식 단계는 사용자의 눈의 이동을 감지하도록 구성되고, 상기 사용자의 눈 이동에 기초하여 사용자에 의하여 제어될 가능성이 있는 목표 사물을 인식할 수 있다.According to one embodiment, the BCI start recognizing step is configured to detect movement of the user's eyes, and based on the movement of the user's eyes, a target object that is likely to be controlled by the user may be recognized.

일 실시예에 따르면, 상기 BCI 시작 인식 단계가 사용자에 의하여 제어될 가능성이 있는 목표 사물을 인식하는 것은 상기 사용자가 상기 목표 사물을 미리 정해진 시간 이상 동안 주시할 경우일 수 있다.According to an embodiment, recognizing a target object that is likely to be controlled by the user in the BCI start recognizing step may be when the user gazes at the target object for a predetermined period of time or longer.

일 실시예에 따르면, 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었음을 판단하는 단계는 상기 검출된 뇌파의 공간적인 특성 변화를 기초로 판단할 수 있다.According to an embodiment, the step of determining that the user's intention to control the target object is expressed may be determined based on a spatial characteristic change of the detected brain wave.

일 실시예에 따르면, 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었음을 판단하는 단계는 상기 뇌파로부터 FBCSP(Filter-Bank Common Spatial Pattern) 기반의 특징을 추출하고, 추출된 특징을 RLDA(regularized linear discriminant analysis) 기반의 분류를 통하여 사용자의 목표 사물에 대한 인식률을 도출할 수 있다.According to an embodiment, the step of determining that the user's intention to control the target object is expressed extracts a Filter-Bank Common Spatial Pattern (FBCSP)-based feature from the brain wave, and uses the extracted feature as a regularized (RLDA) feature. The recognition rate for the user's target object can be derived through classification based on linear discriminant analysis.

일 실시예에 따르면, 상기 인식률은 상기 목표 사물에 대한 상기 사용자의 집중도를 의미하고, 상기 인식률이 미리 정해진 값 이상일 경우, 상기 의도가 발현되었음을 판단하는 단계는 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었음을 판단할 수 있다.According to an embodiment, the recognition rate means the degree of concentration of the user on the target thing, and when the recognition rate is greater than or equal to a predetermined value, the step of determining that the intention has been expressed is the user's desire to control the target thing. It can be judged that the intention has been expressed.

일 실시예에 따르면, 상기 디스플레이 단계는 상기 목표 사물에 관련된 시각피드백을 제공하고, 상기 시각피드백의 제공에 대한 사용자의 반응이 감지되지 않는 경우, 상기 BCI 인식 단계에서 제어될 가능성이 있는 목표 사물을 인식할 때까지 각 단계가 대기될 수 있다.According to an embodiment, the displaying step provides visual feedback related to the target object, and when a user's reaction to the provision of the visual feedback is not detected, the target object that is likely to be controlled in the BCI recognizing step is displayed. Each step can be queued until acknowledged.

본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템에 의하면, 사용자의 비침습적 EEG를 계속적으로 모니터링할 필요가 없고, 사용자가 BCI를 시작하고 싶어하는 시점을 시스템이 파악함으로써 효율적이다. According to the real-time feedback system for controlling a target object based on a brain-computer interface according to an embodiment of the present invention, there is no need to continuously monitor the user's non-invasive EEG, and the system determines when the user wants to start the BCI. effective by understanding

본 발명의 실시예에 따르면, 사용자는 직접 손이나 팔 등의 몸을 사용하여 목표 사물을 제어하는 대신, 생각이나 눈 움직임으로 목표 사물을 제어할 수 있다. 측정된 뇌파로부터 사용자의 의도를 정확히 인식할 수 있다.According to an embodiment of the present invention, instead of directly controlling the target object using a body such as a hand or an arm, the user may control the target object with thoughts or eye movements. The user's intention can be accurately recognized from the measured brain waves.

본 발명의 실시예에 따르면, 게임, 엔터테인먼트, 헬스케어, 모바일 디스플레이 등의 다양한 분야에 뇌-컴퓨터 인터페이스를 적용하여 콘텐츠에 적합한 최적의 제어 환경을 제공할 수 있다According to an embodiment of the present invention, an optimal control environment suitable for content can be provided by applying a brain-computer interface to various fields such as games, entertainment, healthcare, and mobile displays.

본 발명의 또 다른 실시예에 따르면, 기존의 BCI 시스템에서 발생할 수 있는 문제점들, 즉 사용자의 의도 오인식에 따른 오작동 등의 문제를 해결할 수 있다.According to another embodiment of the present invention, problems that may occur in the existing BCI system, that is, problems such as malfunction due to misrecognition of the user's intention can be solved.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description of the claims.

도 1은, 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템의 구성을 나타내는 블록도이다.
도 2는, 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템이 작동하는 방식을 나타내는 도면이다.
도 3은, 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템에 있어서, 사용자의 목표 사물을 제어하고자 하는 의도가 발현되었는지 판단하고, 시각피드백을 제공하는 예시를 나타낸다.
도 4는, 본 발명의 일 실시예에 따른, 의도판단부가 뇌파검출부에 의하여 검출된 뇌파를 분석하여 사용자의 목표 사물에 대한 집중유무를 판단하는 과정이다.
도 5는, 본 발명의 일 실시예에 따른, 다른 실시예에 따른, 의도판단부가 FBCSP(Filter-Bank Common Spatial Pattern) 및 RLDA(regularized linear discriminant analysis)를 사용하여 사용자의 목표 사물에 대한 인식률을 도출하는 과정이다.
도 6은, 본 발명의 일 실시예에 따른, 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백의 단계들을 나타내는 흐름도이다.1 is a block diagram showing the configuration of a real-time feedback system for controlling a target object based on a brain-computer interface according to an embodiment of the present invention.
2 is a diagram showing how a real-time feedback system for controlling a target object based on a brain-computer interface according to an embodiment of the present invention operates.
3 is an example of determining whether a user's intention to control a target object is expressed and providing visual feedback in a real-time feedback system for controlling a target object based on a brain-computer interface according to an embodiment of the present invention. indicates
4 is a process of determining whether a user concentrates on a target object by analyzing an EEG detected by an EEG detector by an intention determination unit according to an embodiment of the present invention.
5 is a diagram showing a user's recognition rate for a target object by using a Filter-Bank Common Spatial Pattern (FBCSP) and regularized linear discriminant analysis (RLDA), according to another embodiment, according to an embodiment of the present invention. It is a process of deriving
6 is a flowchart illustrating steps of real-time feedback for controlling a target object based on a brain-computer interface according to an embodiment of the present invention.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시예들에 의해 제한되거나 한정되는 것은 아니다.Hereinafter, the embodiments will be described in detail with reference to the accompanying drawings and the contents described in the accompanying drawings, but the scope to be claimed is not limited or limited by the embodiments.

본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.The terminology used in this specification has been selected as a general term that is currently widely used as much as possible while considering functions, but it may vary according to the intention or custom of a person skilled in the art or the emergence of new technology. In addition, in a specific case, there is also a term arbitrarily selected by the applicant, and in this case, the meaning will be described in the explanation part of the corresponding specification. Therefore, it should be clarified that the terms used in this specification should be interpreted based on the actual meaning of the term and the overall content of this specification, rather than simply the name of the term.

또한, 본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치(device)", 또는 "시스템(system)" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 부, 모듈, 장치, 서버 또는 시스템은 플랫폼의 일부 또는 전부를 구성하는 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 애플리케이션 등의 소프트웨어를 지칭하는 것일 수 있다.Further, the embodiments described herein may have aspects that are entirely hardware, part hardware and part software, or entirely software. In this specification, "unit", "module", "device", or "system" refers to hardware, a combination of hardware and software, or a computer-related entity such as software. refers to For example, a unit, module, device, server, or system may refer to hardware constituting part or all of a platform and/or software such as an application for driving the hardware.

이하, 도면들을 참조하여 바람직한 실시예들을 보다 상세하게 설명하기로 한다.Hereinafter, preferred embodiments will be described in more detail with reference to the drawings.

도 1은, 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템의 구성을 나타내는 블록도이다. 도 1을 참조하면, 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템(1)(이하, “실시간 피드백 시스템”)은, BCI 시작인식부(11), 뇌파검출부(13), 의도판단부(15), 디스플레이부(17), 목표사물제어부(19)를 포함한다. 1 is a block diagram showing the configuration of a real-time feedback system for controlling a target object based on a brain-computer interface according to an embodiment of the present invention. Referring to FIG. 1, a real-time feedback system 1 (hereinafter referred to as “real-time feedback system”) for controlling a target object based on a brain-computer interface includes a BCI start recognition unit 11, an EEG detection unit 13, and an intention judgment It includes a unit 15, a display unit 17, and a target object control unit 19.

BCI(Brain-computer interface) 시작인식부(11)는 사용자에 의하여 제어될 가능성이 있는 목표 사물을 인식한다. 상기 BCI 시작인식부(11)는 사용자의 눈의 이동을 감지하도록 구성되고, 상기 BCI 시작인식부(11)는 사용자의 눈 이동에 기초하여 사용자에 의하여 제어될 가능성이 있는 목표 사물을 인식할 수 있다. 일 실시예에서, BCI 시작인식부(11)는 안구 전도 신호를 기초로 사용자의 시선의 움직임에 따른 방향 전환, 시선 움직임 방향 등을 인식할 수 있다. 일 실시예에서, BCI 시작인식부(11)는 사용자가 눈을 움직일 때 발생하는 안구 전도 신호로부터 시선 움직임을 검출할 수 있다.A brain-computer interface (BCI) start recognition unit 11 recognizes a target object that may be controlled by the user. The BCI start recognition unit 11 is configured to detect movement of the user's eyes, and the BCI start recognition unit 11 can recognize a target object that is likely to be controlled by the user based on the user's eye movement. there is. In one embodiment, the BCI start recognition unit 11 may recognize a change in direction according to the movement of the user's gaze, a direction of gaze movement, and the like, based on the eyeball conduction signal. In one embodiment, the BCI start recognition unit 11 may detect gaze movement from an eyeball conduction signal generated when the user moves his or her eyes.

일 실시예에서, 상기 BCI 시작인식부는 사용자가 상기 목표 사물을 미리 정해진 시간 이상 동안 주시할 경우(예: 5초), 사용자에 의하여 제어될 가능성이 있는 목표 사물이라고 인식할 수 있다. In one embodiment, when the user gazes at the target object for a predetermined period of time or more (eg, 5 seconds), the BCI start recognition unit may recognize the target object as possibly controlled by the user.

뇌파검출부(13)는 상기 BCI 시작인식부가 상기 목표 사물을 인식하는 것에 응답하여, 상기 사용자의 뇌파를 실시간으로 검출한다. 뇌파검출부(13)는 사용자의 뇌파(즉, 뇌 신호)를 측정하는 적어도 하나 이상의 구성 요소로 구현될 수 있다. 뇌파는 뇌의 활동에 의하여 일어나는 전류 신호를 가리키며 뇌전도 신호(EEG)의 형태로 데이터화 될 수 있다. 뇌전도 신호란 대뇌피질에서 발생하는 전위를 전기적인 신호로 기록한 것으로서, 사용자의 머리 부위에 부착된 전극 센서를 이용하여 측정될 수 있다. 예를 들어, 뇌파검출부(13)는 사용자의 뇌파를 비침습적으로 감지하는 뇌전도(EEG, Electroencephalography) 장비 등일 수 있다. 뇌파검출부(13)는 사용자의 움직임 의도에 의해 발현되는 뇌파를 사용자의 두피로부터 측정할 수 있다. 뇌파검출부(13)는 측정된 뇌파에 대한 신호 처리 작업을 수행한 후, 신호 처리된 뇌파를 의도판단부(15)로 제공할 수 있다. 뇌전도 신호는 인체가 경험하는 특정 상황 하에서 뇌의 특정 부위가 활성화됨에 따라 발생하며, 어떠한 형태의 감각적인 자극을 가하거나 사용자가 상상을 통해 뇌를 자극함으로써 원하는 특성(파장, 주파수, 세기 등)의 뇌전도 신호를 발생시킬 수 있다.The brain wave detection unit 13 detects the user's brain wave in real time in response to the BCI start recognizing unit recognizing the target object. The brain wave detection unit 13 may be implemented as one or more components that measure the user's brain waves (ie, brain signals). EEG refers to a current signal generated by brain activity and can be dataized in the form of an electroencephalogram (EEG). An electroencephalogram signal is an electric potential generated in the cerebral cortex recorded as an electrical signal, and can be measured using an electrode sensor attached to a user's head. For example, the brain wave detection unit 13 may be an electroencephalography (EEG) device that non-invasively detects a user's brain wave. The brain wave detection unit 13 may measure brain waves generated by the user's movement intention from the user's scalp. The EEG detector 13 may perform signal processing on the measured EEG and then provide the signal-processed EEG to the intention determination unit 15 . Electroencephalogram signals are generated when a specific part of the brain is activated under a specific situation experienced by the human body, and by applying any form of sensory stimulation or stimulating the brain through the user's imagination, the desired characteristics (wavelength, frequency, intensity, etc.) Electroencephalogram signals can be generated.

의도판단부(15)는 상기 검출된 뇌파를 분석하여 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었음을 판단한다. 상기 의도판단부(15)가 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었음을 판단하는 것은 상기 검출된 뇌파의 공간적인 특성 변화를 기초로 판단할 수 있다. 일 실시예에서, 상기 의도판단부(15)는 상기 뇌파로부터 FBCSP(Filter-Bank Common Spatial Pattern) 기반의 특징을 추출할 수 있다. 의도판단부(15)는 추출된 특징을 RLDA(regularized linear discriminant analysis) 기반의 분류를 통하여 사용자의 목표 사물에 대한 인식률을 도출할 수 있다. 상기 인식률은 VR, AR, MR 등 장비의 카메라를 기반으로 현재 화면에 보이는 여러 개의 사물들 중, 목표 사물에 대한 상기 사용자의 집중도를 의미하고, 특정 사물에 대해 상기 인식률이 미리 정해진 값 이상일 경우, 상기 의도판단부(15)는 상기 사용자의 상기 특정 목표 사물을 제어하고자 하는 의도가 발현되었다고 판단할 수 있다.The intention determination unit 15 analyzes the detected brain waves to determine that the user's intention to control the target object has been expressed. The intention determination unit 15 may determine that the user's intention to control the target object is expressed based on the spatial characteristic change of the detected brain wave. In one embodiment, the intention determination unit 15 may extract a Filter-Bank Common Spatial Pattern (FBCSP)-based feature from the EEG. The intention determination unit 15 may derive a recognition rate of the user's target object through regularized linear discriminant analysis (RLDA)-based classification of the extracted features. The recognition rate means the user's concentration on a target object among several objects currently visible on the screen based on the camera of equipment such as VR, AR, and MR, and the recognition rate for a specific object is greater than a predetermined value. The intention determining unit 15 may determine that the user's intention to control the specific target object has been expressed.

디스플레이부(17)는 상기 의도판단부(15)에 의하여 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었다는 판단에 응답하여, 사용자에게 상기 목표 사물에 관련된 시각피드백을 제공한다. 상기 디스플레이부(17)가 상기 목표 사물에 관련된 시각피드백을 제공하고, 뇌파검출부(13)에 의하여 사용자의 목표 사물에 대한 특정한 제어 의도가 지속적으로 있음이 감지되는 경우, 상기 목표사물제어부(19)는 목표 사물 제어 명령어를 생성 및 목표 사물에 전송할 수 있다. The display unit 17 provides visual feedback related to the target object to the user in response to the determination by the intention determination unit 15 that the user's intention to control the target object has been expressed. When the display unit 17 provides visual feedback related to the target object and the EEG detector 13 detects that the user has a specific intention to control the target object continuously, the target object control unit 19 may generate and transmit a target thing control command to the target thing.

일 실시예에서, 상기 디스플레이부(17)가 시각피드백의 제공 후, 상기 목표 사물이 잘못 인식되었다고 판단되는 경우, 상기 BCI 시작인식부(11)가 제어될 가능성이 있는 목표 사물을 인식할 때까지 시스템이 대기할 수 있다.In one embodiment, when the display unit 17 determines that the target object is erroneously recognized after providing the visual feedback, until the BCI start recognition unit 11 recognizes a target object that is likely to be controlled. The system can wait.

일 실시예에서, 상기 디스플레이부(17)는, 가상 현실(Virtual Reality), 증강 현실(Augmented Reality), 혼합 또는 융합 현실(Mixed or Merged Reality) 방식으로 상기 목표 사물에 관련된 시각피드백을 제공할 수 있다.In one embodiment, the display unit 17 may provide visual feedback related to the target object in a virtual reality, augmented reality, or mixed or merged reality method. there is.

목표물제어부(19)는 상기 시각피드백을 기초로, 목표 사물 제어 명령어를 생성 및 목표 사물에 전송하여 상기 목표 사물을 제어한다. 일 실시예에서, 상기 목표물제어부(19)는 시각피드백의 화면을 사용자가 응시할 때 검출된 뇌파에 대응하는 동작 명령을 결정하고 상기 동작 명령에 대응하는 제어신호를 생성하도록 구성된다. 목표물제어부(19)는 뇌전도 신호를 수신하여 프로그램 언어의 형태로 저장된 명령에 따라 각 뇌전도 신호에 대응하는 목표 사물 제어명령을 결정한다. 목표물제어부(19)는 목표 사물이 적절한 동작(즉, 사용자가 상상한 동작)을 수행할 수 있도록 목표 사물의 각 구성요소를 구동하는 제어신호를 생성하여 목표 사물에게 전달한다.The target controller 19 controls the target object by generating and transmitting a target object control command to the target object based on the visual feedback. In one embodiment, the target controller 19 is configured to determine an operation command corresponding to the brain wave detected when the user gazes at the visual feedback screen and to generate a control signal corresponding to the operation command. The target control unit 19 receives the electroencephalogram signal and determines a target object control command corresponding to each electroencephalogram signal according to a command stored in the form of a program language. The target controller 19 generates a control signal for driving each component of the target object and transmits it to the target object so that the target object can perform an appropriate operation (that is, an operation imagined by a user).

도 2는, 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템이 작동하는 방식을 나타내는 도면이다. 예를 들어, 도 2를 참조하면, 사용자가 5초 이상 TV를 응시할 경우, BCI 시작인식부(11)는 상기 TV가 사용자에 의하여 제어될 가능성이 있는 목표 사물이라고 인식할 수 있다. 상기 BCI 시작인식부(11)가 TV를 목표 사물로 인식하는 것에 응답하여, 뇌파검출부(13)는 사용자의 뇌파를 실시간으로 검출한다. 의도판단부(15)는 검출된 뇌파를 분석하여 상기 사용자의 TV를 제어하고자 하는 의도가 발현되었음을 판단할 수 있다. 상기 의도판단부(15)에 의하여 사용자의 상기 TV를 제어하고자 하는 의도가 발현되었다는 판단에 응답하여, 디스플레이부 (17)는 사용자에게 상기 TV 제어와 관련된 시각피드백을 제공할 수 있다. 상기 시각피드백을 기초로, 목표사물제어부(19)는 TV 제어 명령어를 전송하여 상기 TV를 제어할 수 있다.2 is a diagram showing how a real-time feedback system for controlling a target object based on a brain-computer interface according to an embodiment of the present invention operates. For example, referring to FIG. 2 , when a user gazes at a TV for 5 seconds or more, the BCI start recognition unit 11 may recognize the TV as a target object that may be controlled by the user. In response to the BCI start recognition unit 11 recognizing the TV as a target object, the brain wave detection unit 13 detects the user's brain waves in real time. The intention determining unit 15 may determine that the user's intention to control the TV is expressed by analyzing the detected brain waves. In response to the determination by the intention determination unit 15 that the user's intention to control the TV has been expressed, the display unit 17 may provide visual feedback related to the TV control to the user. Based on the visual feedback, the target object controller 19 may control the TV by transmitting a TV control command.

상기 실시간 피드백 시스템(1)은, 프로세서를 구비한 웨어러블 장치 또는 모바일 장치로서 구현될 수 있다. 일 실시예에 따르면, 상기 BCI 시작인식부(11), 상기 뇌파검출부(13), 상기 의도판단부(15), 상기 디스플레이부(17) 및 상기 목표사물제어부(19)는 헤드마운티드 디스플레이(HMD)에 일체로 포함될 수 있다. 헤드마운티드 디스플레이 장치는 양안 디스플레이를 통해 사용자에게 이미지를 제공하고, 머리에 부착된 전극을 통해 뇌파를 검출하며, 내장된 프로세서 또는 무선으로 연결된 단말기(스마트폰, 랩톱, 데스크톱, 태블릿PC 등)를 통해 뇌파에 대응하는 제어신호를 생성하여 목표사물을 제어할 수 있다.The real-time feedback system 1 may be implemented as a wearable device or a mobile device having a processor. According to an embodiment, the BCI start recognition unit 11, the brain wave detection unit 13, the intention determination unit 15, the display unit 17, and the target object control unit 19 are a head mounted display (HMD) ) can be included integrally in The head-mounted display device provides images to the user through a binocular display, detects brain waves through electrodes attached to the head, and uses a built-in processor or a wirelessly connected terminal (smartphone, laptop, desktop, tablet PC, etc.) It is possible to control a target object by generating a control signal corresponding to the brain wave.

도 3은, 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템에 있어서, 사용자의 목표 사물을 제어하고자 하는 의도가 발현되었는지 판단하고, 시각피드백을 제공하는 예시를 나타낸다.3 is an example of determining whether a user's intention to control a target object is expressed and providing visual feedback in a real-time feedback system for controlling a target object based on a brain-computer interface according to an embodiment of the present invention. indicates

도 2를 다시 참조하면, 상기 의도판단부(15)에 의하여 사용자의 상기 TV를 제어하고자 하는 의도가 발현되었다는 판단에 응답하여, 디스플레이부(17)는 사용자에게 상기 TV 제어와 관련된 시각피드백을 제공할 수 있다. 도 3을 참조하면, 상기 디스플레이부(17)가 TV에 관련된 시각피드백을 제공하고, 뇌파검출부(13)에 의하여 사용자의 목표 사물에 대한 특정한 제어 의도가 지속적으로 있음이 감지되는 경우, 상기 목표사물제어부(19)가 TV 제어 명령어를 생성하고, TV에 전송할 수 있다. 일 실시예에서, TV 제어 명령어는 볼륨 조절, 채널 변경 등과 같은 명령을 포함한다. 도 3을 참조하면, 특정한 TV 제어 명령어가 볼륨 조절인 경우에 시각피드백 화면에는 왼쪽 게이지 및 오른쪽 게이지가 나타날 수 있다. 사용자의 TV 볼륨을 제어하고자 하는 의도가 볼륨을 낮추는 것일 경우에는, 디스플레이부(17)는 왼쪽 게이지가 증가하는 시각피드백을 제공한다. 반대로, 사용자의 TV 볼륨을 제어하고자 하는 의도가 볼륨을 높이는 것일 경우에는, 디스플레이부(17)는 오른쪽 게이지가 증가하는 시각피드백을 제공한다. 뇌파검출부(13)에 의하여 사용자의 TV에 대한 볼륨을 높이려는 의도가 지속적으로 있음이 감지되는 경우(예를 들어, 오른쪽 게이지의 칸이 모두 채워진 경우), 상기 목표사물제어부(19)는 TV 볼륨을 높이기 위한 명령어를 생성하고, TV에 전송할 수 있다.Referring back to FIG. 2 , in response to the determination by the intention determination unit 15 that the user's intention to control the TV has been expressed, the display unit 17 provides visual feedback related to the TV control to the user. can do. Referring to FIG. 3 , when the display unit 17 provides visual feedback related to the TV and the EEG detector 13 detects that the user has a specific intention to control the target object continuously, the target object The controller 19 may generate a TV control command and transmit it to the TV. In one embodiment, TV control commands include commands such as volume control, channel change, and the like. Referring to FIG. 3 , when a specific TV control command is volume control, a left gauge and a right gauge may appear on the visual feedback screen. When the user's intention to control the TV volume is to lower the volume, the display unit 17 provides visual feedback in which the left gauge increases. Conversely, when the user's intention to control the TV volume is to increase the volume, the display unit 17 provides visual feedback in which the right gauge increases. When it is detected by the brain wave detection unit 13 that the user continuously intends to increase the volume of the TV (for example, when all of the right gauge cells are filled), the target object control unit 19 controls the TV volume It is possible to generate a command to increase the , and transmit it to the TV.

일 실시예에서, 상기 디스플레이부(17)가 시각피드백의 제공 후, 상기 목표 사물이 잘못 인식되었다고 판단되는 경우, 상기 BCI 시작인식부(11)가 제어될 가능성이 있는 다른 목표 사물을 인식할 때까지 시스템이 대기할 수 있다.In one embodiment, when the display unit 17 determines that the target object is erroneously recognized after providing visual feedback, when the BCI start recognition unit 11 recognizes another target object that may be controlled. The system can wait until

도 4는, 본 발명의 일 실시예에 따른, 의도판단부가 뇌파검출부에 의하여 검출된 뇌파를 분석하여 사용자의 목표 사물에 대한 집중유무를 판단하는 과정이다. 도 4를 참조하면, 상기 의도판단부(15)가 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었음을 판단하는 것은 상기 검출된 뇌파의 공간적인 특성 변화를 기초로 판단할 수 있다. 도 4에 도시된 바와 같이, 사용자가 TV를 제어하고자 하는 의도를 가지고 집중할 때와 TV를 제어하고자 하는 의도를 가지지 않은 휴식 상태일 때의 검출된 뇌파 각각의 공간적인 특성이 상이함을 알 수 있다. 도 4를 참조하면, 의도판단부(15)가 검출된 뇌파를 분석하여 사용자의 TV에 대한 집중도를 산출하고, 집중도를 기초로 사용자의 TV를 제어하고자 하는 의도가 발현되었는지 아닌지 판단한다. 본 발명은 이러한 뇌파를 공간적인 특성에 기초하여 분류함으로써, 목표 사물에 대한 사용자의 의도를 판단할 수 있다.4 is a process of determining whether a user concentrates on a target object by analyzing an EEG detected by an EEG detector by an intention determination unit according to an embodiment of the present invention. Referring to FIG. 4 , determining that the user's intention to control the target object is expressed may be determined based on a spatial characteristic change of the detected brain wave by the intention determining unit 15 . As shown in FIG. 4, it can be seen that the spatial characteristics of each detected brain wave are different when the user concentrates with the intention to control the TV and when the user is in a resting state without the intention to control the TV. . Referring to FIG. 4 , the intention determination unit 15 analyzes the detected brain waves to calculate the user's degree of concentration on the TV, and determines whether or not the user's intention to control the TV has been expressed based on the degree of concentration. The present invention can determine the user's intention for a target object by classifying these brain waves based on spatial characteristics.

도 5는, 본 발명의 일 실시예에 따른, 다른 실시예에 따른, 의도판단부가 FBCSP(Filter-Bank Common Spatial Pattern) 및 RLDA(regularized linear discriminant analysis)를 사용하여 사용자의 목표 사물에 대한 인식률을 도출하는 과정이다.5 is a diagram showing a user's recognition rate for a target object by using a Filter-Bank Common Spatial Pattern (FBCSP) and regularized linear discriminant analysis (RLDA), according to another embodiment, according to an embodiment of the present invention. It is a process of deriving

도 5를 참조하면, 일 실시예에서, 뇌파 분석에 따른 사용자 의도를 분류하기 위해 FBCSP(Filter-Bank Common Spatial Pattern) 및 MIBIF(Mutual Information-based Best Individual Feature) 기법이 이용될 수 있다. 이에 따르면, 주파수를 기반으로 뇌파를 수 개의 주파수 밴드로 나누고, 해당 밴드에서 공통공간패턴(CSP) 필터링을 통해 공간 특징을 추출한다. 예를 들어, 원시 뇌파를 12개의 하위 주파수 대역으로 분할할 수 있다. 추출된 공간 특징들 중에서 상호-정보(Mutual-Information)를 통해 의미 있는 특징들을 선택한다. 이와 같은 뇌파 분석 및 의도 분석 기술은 하나의 예시로서 BCI 기술분야에 속하는 다양한 형태의 의도 분석 기술이 활용될 수 있다.Referring to FIG. 5 , in one embodiment, filter-bank common spatial pattern (FBCSP) and mutual information-based best individual feature (MIBIF) techniques may be used to classify user intention according to brain wave analysis. According to this, brain waves are divided into several frequency bands based on frequency, and spatial features are extracted from the corresponding bands through common spatial pattern (CSP) filtering. For example, raw brain waves can be divided into 12 sub-frequency bands. Among the extracted spatial features, meaningful features are selected through Mutual-Information. As an example of such EEG analysis and intention analysis technology, various types of intention analysis technology belonging to the BCI technology field may be utilized.

일 실시예에서, 의도판단부(15)는 상기 추출된 특징을 RLDA(regularized linear discriminant analysis) 기반의 분류를 통하여 사용자의 목표 사물에 대한 인식률을 도출할 수 있다. 상기 인식률은 상기 목표 사물에 대한 상기 사용자의 집중도를 의미하고, 상기 인식률이 미리 정해진 값 이상일 경우, 상기 의도판단부는 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었다고 판단할 수 있다.In an embodiment, the intention determination unit 15 may derive a recognition rate of the user's target object through regularized linear discriminant analysis (RLDA)-based classification of the extracted features. The recognition rate means the degree of concentration of the user on the target object, and when the recognition rate is greater than or equal to a predetermined value, the intention determining unit may determine that the user's intention to control the target object is expressed.

이하에서는, 도 6을 참조하여, 본 발명의 일 실시예에 따른, 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 방법의 각 단계들을 설명한다. 전술한 실시예들에 따른 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템과 중복되는 설명은 생략하기로 한다.Hereinafter, each step of a real-time feedback method for controlling a target object based on a brain-computer interface according to an embodiment of the present invention will be described with reference to FIG. 6 . A description overlapping with the real-time feedback system for controlling the target object based on the brain-computer interface according to the above-described embodiments will be omitted.

도 6을 참조하면, 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 방법은 사용자에 의하여 제어될 가능성이 있는 목표 사물을 인식하는 BCI(Brain-computer interface) 시작 인식 단계(S11), 상기 BCI 시작 인식 단계에서 상기 목표 사물을 인식하는 것에 응답하여, 상기 사용자의 뇌파를 실시간으로 검출하는 단계(S13), 상기 검출된 뇌파를 분석하여 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었음을 판단하는 단계(S15), 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었다는 판단에 응답하여, 사용자에게 상기 목표 사물에 관련된 시각피드백을 제공하는 디스플레이 단계(S17) 및 상기 시각피드백을 기초로, 목표 사물 제어 명령어를 전송하여 상기 목표 사물을 제어하는 단계(S19)를 포함할 수 있다. 상기 각 단계는 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템(1)의 BCI 시작인식부(11), 뇌파검출부(13), 의도판단부(15), 디스플레이부(17) 및 목표사물제어부(19) 각 구성에 의하여 수행될 수 있다.Referring to FIG. 6, the real-time feedback method for controlling a target object based on a brain-computer interface includes a brain-computer interface (BCI) start recognition step (S11) of recognizing a target object that is likely to be controlled by a user, and the BCI In response to recognizing the target object in the starting recognition step, detecting the user's brain wave in real time (S13), analyzing the detected brain wave to determine that the user's intention to control the target object has been expressed. (S15), a display step (S17) of providing visual feedback related to the target object to the user in response to determining that the user's intention to control the target object has been expressed, and based on the visual feedback, It may include transmitting a target thing control command to control the target thing (S19). Each of the above steps includes the BCI start recognition unit 11, the brain wave detection unit 13, the intention determination unit 15, the display unit 17 and the target of the real-time feedback system 1 for controlling the target object based on the brain-computer interface. It can be performed by each component of the object control unit 19.

일 실시예에서, 상기 BCI 시작 인식 단계는 사용자의 눈의 이동을 감지하도록 구성되고, 상기 사용자의 눈 이동에 기초하여 사용자에 의하여 제어될 가능성이 있는 목표 사물을 인할 수 있다.In one embodiment, the BCI start recognizing step is configured to detect movement of the user's eyes, and based on the movement of the user's eyes, it is possible to recognize a target object that is likely to be controlled by the user.

일 실시예에서, 상기 BCI 시작 인식 단계가 사용자에 의하여 제어될 가능성이 있는 목표 사물을 인식하는 것은 상기 사용자가 상기 목표 사물을 미리 정해진 시간 이상 동안 주시할 경우일 수 있다.In one embodiment, recognizing a target object that is likely to be controlled by the user in the BCI start recognizing step may be when the user gazes at the target object for a predetermined period of time or longer.

일 실시예에서, 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었음을 판단하는 단계는 상기 검출된 뇌파의 공간적인 특성 변화를 기초로 판단할 수 있다.In one embodiment, the step of determining that the user's intention to control the target object is expressed may be determined based on a spatial characteristic change of the detected brain wave.

일 실시예에서, 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었음을 판단하는 단계는 상기 뇌파로부터 FBCSP(Filter-Bank Common Spatial Pattern) 기반의 특징을 추출하고, 추출된 특징을 RLDA(regularized linear discriminant analysis) 기반의 분류를 통하여 사용자의 목표 사물에 대한 인식률을 도출할 수 있다.In one embodiment, the step of determining that the user's intention to control the target object is expressed extracts FBCSP (Filter-Bank Common Spatial Pattern)-based features from the EEG, and uses the extracted features as a regularized linear pattern (RLDA) The recognition rate for the user's target object can be derived through classification based on discriminant analysis.

일 실시예에서, 상기 인식률은 상기 목표 사물에 대한 상기 사용자의 집중도를 의미하고, 상기 인식률이 미리 정해진 값 이상일 경우, 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었음을 판단할 수 있다. In an embodiment, the recognition rate means the degree of concentration of the user on the target object, and when the recognition rate is greater than or equal to a predetermined value, it may be determined that the user's intention to control the target object is expressed.

일 실시예에서, 상기 디스플레이 단계는 상기 목표 사물에 관련된 시각피드백을 제공하고, 사용자의 목표 사물에 대한 특정한 제어 의도가 지속적으로 있음이 감지되는 경우, 상기 BCI 인식 단계에서 제어될 가능성이 있는 목표 사물을 인식할 때까지 각 단계가 대기될 수 있다.In one embodiment, the displaying step provides visual feedback related to the target object, and when it is detected that the user has a specific intention to control the target object continuously, the target object that is likely to be controlled in the BCI recognizing step. Each step can be queued until recognized.

실시예들에 따른 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 방법은, 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. A real-time feedback method for controlling a target object based on a brain-computer interface according to embodiments is implemented as an application or implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium. can The computer readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.

이상에서 설명한 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템 및 방법에 의하면, 사용자의 비침습적 EEG를 계속적으로 모니터링할 필요가 없고, 사용자가 BCI를 시작하고 싶어하는 시점을 시스템이 파악함으로써 효율적이다. According to the brain-computer interface-based real-time feedback system and method for target object control described above, there is no need to continuously monitor the user's non-invasive EEG, and the system identifies the point in time at which the user wants to start BCI, thereby providing efficient and efficient feedback. am.

본 발명의 실시예에 따르면, 사용자는 직접 손이나 팔 등의 몸을 사용하여 목표 사물을 제어하는 대신, 생각이나 눈 움직임으로 목표 사물을 제어할 수 있다. 본 발명은 측정된 뇌파로부터 사용자의 의도를 정확히 인식할 수 있다.According to an embodiment of the present invention, instead of directly controlling the target object using a body such as a hand or an arm, the user may control the target object with thoughts or eye movements. The present invention can accurately recognize the user's intention from the measured brain waves.

본 발명의 실시예에 따르면, 게임, 엔터테인먼트, 헬스케어, 모바일 디스플레이 등의 다양한 분야에 뇌-컴퓨터 인터페이스를 적용하여 콘텐츠에 적합한 최적의 제어 환경을 제공할 수 있다According to an embodiment of the present invention, an optimal control environment suitable for content can be provided by applying a brain-computer interface to various fields such as games, entertainment, healthcare, and mobile displays.

본 발명의 또 다른 실시예에 따르면, 기존의 BCI 시스템에서 발생할 수 있는 문제점들, 즉 사용자의 의도 오인식에 따른 오작동 등의 문제를 해결할 수 있다.According to another embodiment of the present invention, problems that may occur in the existing BCI system, that is, problems such as malfunction due to misrecognition of the user's intention can be solved.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to embodiments, those skilled in the art can variously modify and change the present invention without departing from the spirit and scope of the present invention described in the claims below. You will understand.

Claims (18)

사용자에 의하여 제어될 가능성이 있는 목표 사물을 인식하는 BCI(Brain-computer interface) 시작인식부;
상기 BCI 시작인식부가 상기 목표 사물을 인식하는 것에 응답하여, 상기 사용자의 뇌파를 실시간으로 검출하는 뇌파검출부;
상기 검출된 뇌파를 분석하여 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었음을 판단하는 의도판단부;
상기 의도판단부에 의하여 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었다는 판단에 응답하여, 사용자에게 상기 목표 사물에 관련된 시각피드백을 제공하는 디스플레이부; 및
상기 시각피드백을 기초로, 목표 사물 제어 명령어를 전송하여 상기 목표 사물을 제어하는 목표사물제어부; 를 포함하는, 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템.
A brain-computer interface (BCI) start recognition unit recognizing a target object that may be controlled by the user;
an EEG detector for detecting EEG of the user in real time in response to the BCI start recognizing unit recognizing the target object;
an intention determination unit determining that the user's intention to control the target object has been expressed by analyzing the detected brain wave;
a display unit which provides visual feedback related to the target object to the user in response to a determination that the user's intention to control the target object has been expressed by the intention determination unit; and
a target object controller controlling the target object by transmitting a target object control command based on the visual feedback; A real-time feedback system for controlling a target object based on a brain-computer interface.
 제1항에 있어서,
상기 BCI 시작인식부는 사용자의 눈의 이동을 감지하도록 구성되고, 상기 BCI 시작인식부는 사용자의 눈 이동에 기초하여 사용자에 의하여 제어될 가능성이 있는 목표 사물을 인식하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템.
According to claim 1,
The BCI start recognition unit is configured to detect movement of the user's eyes, and the BCI start recognition unit recognizes a target object that is likely to be controlled by the user based on the user's eye movement, characterized in that the brain-computer interface Real-time feedback system for target object control.
 제2항에 있어서,
상기 BCI 시작인식부가 사용자에 의하여 제어될 가능성이 있는 목표 사물을 인식하는 것은 상기 사용자가 상기 목표 사물을 미리 정해진 시간 이상 동안 주시할 경우인 것을 특징으로 하는, 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템.
According to claim 2,
The BCI start recognition unit recognizing a target object that is likely to be controlled by the user is when the user gazes at the target object for a predetermined time or more, characterized in that, brain-computer interface based target object control real-time feedback system for
 제1항에 있어서,
상기 의도판단부가 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었음을 판단하는 것은 상기 검출된 뇌파의 공간적인 특성 변화를 기초로 판단하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템.
According to claim 1,
Determining that the intention determination unit has expressed the user's intention to control the target object is based on a change in the spatial characteristics of the detected brain wave, characterized in that the brain-computer interface based target object control real-time feedback system for
 제3항에 있어서,
상기 의도판단부는 상기 뇌파로부터 FBCSP(Filter-Bank Common Spatial Pattern) 기반의 특징을 추출하고,
추출된 특징을 RLDA(regularized linear discriminant analysis) 기반의 분류를 통하여 사용자의 목표 사물에 대한 인식률을 도출하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템.
According to claim 3,
The intention determination unit extracts a filter-bank common spatial pattern (FBCSP)-based feature from the brain wave,
A real-time feedback system for controlling a target object based on a brain-computer interface, characterized in that a recognition rate for a user's target object is derived through classification based on regularized linear discriminant analysis (RLDA) based on extracted features.
 제5항에 있어서,
상기 인식률은 상기 목표 사물에 대한 상기 사용자의 집중도를 의미하고,
상기 인식률이 미리 정해진 값 이상일 경우, 상기 의도판단부는 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었다고 판단하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템.
According to claim 5,
The recognition rate means the degree of concentration of the user on the target object,
When the recognition rate is greater than or equal to a predetermined value, the intention determination unit determines that the user's intention to control the target object is expressed, real-time feedback system for controlling a target object based on a brain-computer interface.
 제1항에 있어서,
상기 디스플레이부가 상기 목표 사물에 관련된 시각피드백을 제공하고, 상기 뇌파검출부에 의하여 사용자의 목표 사물에 대한 특정한 제어 의도가 지속적으로 있음이 감지되는 경우, 상기 목표사물제어부는 목표 사물 제어 명령어를 생성 및 목표 사물에 전송하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템.
According to claim 1,
When the display unit provides visual feedback related to the target object and it is detected by the brain wave detection unit that the user has a specific intention to control the target object continuously, the target object control unit generates a target object control command and generates a target object control command. A real-time feedback system for controlling a target object based on a brain-computer interface, characterized in that it is transmitted to the object.
 제1항에 있어서,
상기 디스플레이부가 시각피드백의 제공 후, 상기 목표 사물이 잘못 인식되었다고 판단되는 경우, 상기 BCI 시작인식부가 제어될 가능성이 있는 목표 사물을 인식할 때까지 시스템이 대기되는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템.
According to claim 1,
After the display unit provides visual feedback, when it is determined that the target object is mistakenly recognized, the system waits until the BCI start recognition unit recognizes a target object that is likely to be controlled, a brain-computer interface Real-time feedback system for target object control.
 제1항에 있어서,
상기 디스플레이부는, 가상 현실(Virtual Reality), 증강 현실(Augmented Reality), 혼합 또는 융합 현실(Mixed or Merged Reality) 방식으로 상기 목표 사물에 관련된 시각피드백을 제공하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템.
According to claim 1,
The display unit provides visual feedback related to the target object in a virtual reality, augmented reality, mixed or merged reality method, based on a brain-computer interface. Real-time feedback system for target object control.
 제1항에 있어서,
상기 시스템은, 프로세서를 구비한 웨어러블 장치 또는 모바일 장치인 것을 특징으로 하는, 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템.
According to claim 1,
The real-time feedback system for controlling a target object based on a brain-computer interface, characterized in that the system is a wearable device or a mobile device having a processor.
 제1항에 있어서,
상기 BCI 시작인식부, 상기 뇌파검출부, 상기 의도판단부, 상기 디스플레이부 및 상기 목표사물제어부 중 적어도 하나는 헤드마운티드 디스플레이(HMD)에 포함되는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템.
According to claim 1,
Characterized in that at least one of the BCI start recognition unit, the brain wave detection unit, the intention determination unit, the display unit, and the target object control unit is included in a head-mounted display (HMD), brain-computer interface based target object control real-time feedback system for
 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 방법으로서,
사용자에 의하여 제어될 가능성이 있는 목표 사물을 인식하는 BCI(Brain-computer interface) 시작 인식 단계;
상기 BCI 시작 인식 단계에서 상기 목표 사물을 인식하는 것에 응답하여, 상기 사용자의 뇌파를 실시간으로 검출하는 단계;
상기 검출된 뇌파를 분석하여 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었음을 판단하는 단계;
상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었다는 판단에 응답하여, 사용자에게 상기 목표 사물에 관련된 시각피드백을 제공하는 디스플레이 단계; 및
상기 시각피드백을 기초로, 목표 사물 제어 명령어를 전송하여 상기 목표 사물을 제어하는 단계; 를 포함하는, 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 방법.
As a real-time feedback method for controlling a target object based on a brain-computer interface,
A brain-computer interface (BCI) start recognizing step of recognizing a target object that may be controlled by a user;
detecting the user's brain waves in real time in response to recognizing the target object in the BCI start recognizing step;
determining that the user's intention to control the target object is expressed by analyzing the detected brain wave;
a display step of providing visual feedback related to the target object to the user in response to determining that the user's intention to control the target object has been expressed; and
controlling the target object by transmitting a target object control command based on the visual feedback; A real-time feedback method for controlling a target object based on a brain-computer interface.
 제12항에 있어서,
상기 BCI 시작 인식 단계는 사용자의 눈의 이동을 감지하도록 구성되고, 상기 사용자의 눈 이동에 기초하여 사용자에 의하여 제어될 가능성이 있는 목표 사물을 인식하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 방법.
According to claim 12,
The BCI start recognition step is configured to detect the movement of the user's eyes and recognizes a target object that is likely to be controlled by the user based on the movement of the user's eyes, characterized in that the brain-computer interface based goal Real-time feedback method for object control.
 제13항에 있어서,
상기 BCI 시작 인식 단계가 사용자에 의하여 제어될 가능성이 있는 목표 사물을 인식하는 것은 상기 사용자가 상기 목표 사물을 미리 정해진 시간 이상 동안 주시할 경우 인 것을 특징으로 하는, 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 방법.
According to claim 13,
Characterized in that the BCI start recognizing step recognizing a target object that is likely to be controlled by the user is when the user gazes at the target object for a predetermined time or longer, brain-computer interface based target object control A real-time feedback method for
 제12항에 있어서,
상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었음을 판단하는 단계는 상기 검출된 뇌파의 공간적인 특성 변화를 기초로 판단하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 방법.
According to claim 12,
The step of determining that the user's intention to control the target object is expressed is based on a change in spatial characteristics of the detected EEG, characterized in that, real-time feedback for controlling the target object based on a brain-computer interface. method.
 제14항에 있어서,
상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었음을 판단하는 단계는 상기 뇌파로부터 FBCSP(Filter-Bank Common Spatial Pattern) 기반의 특징을 추출하고,
추출된 특징을 RLDA(regularized linear discriminant analysis) 기반의 분류를 통하여 사용자의 목표 사물에 대한 인식률을 도출하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 방법.
According to claim 14,
Determining that the user's intention to control the target object is expressed extracts a Filter-Bank Common Spatial Pattern (FBCSP)-based feature from the brain wave,
A real-time feedback method for controlling a target object based on a brain-computer interface, characterized in that a recognition rate for a user's target object is derived through classification based on regularized linear discriminant analysis (RLDA) based on extracted features.
 제16항에 있어서,
상기 인식률은 상기 목표 사물에 대한 상기 사용자의 집중도를 의미하고,
상기 인식률이 미리 정해진 값 이상일 경우, 상기 사용자의 상기 목표 사물을 제어하고자 하는 의도가 발현되었음을 판단하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 방법.
According to claim 16,
The recognition rate means the degree of concentration of the user on the target object,
When the recognition rate is greater than or equal to a predetermined value, it is determined that the user's intention to control the target object is expressed. A real-time feedback method for controlling a target object based on a brain-computer interface.
 제12항에 있어서,
상기 디스플레이 단계는 상기 목표 사물에 관련된 시각피드백을 제공하고,
사용자의 목표 사물에 대한 특정한 제어 의도가 지속적으로 있음이 감지되는 경우, 상기 BCI 인식 단계에서 제어될 가능성이 있는 목표 사물을 인식할 때까지 각 단계가 대기하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 방법.According to claim 12,
The displaying step provides visual feedback related to the target object;
When it is detected that the user has a specific intention to control the target object continuously, each step waits until the target object that is likely to be controlled is recognized in the BCI recognition step, based on a brain-computer interface. A real-time feedback method for target object control.
KR1020210161309A 2021-11-22 2021-11-22 Real-time feedback system for controlling target based on brain-computer interface and method thereof KR20230075079A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210161309A KR20230075079A (en) 2021-11-22 2021-11-22 Real-time feedback system for controlling target based on brain-computer interface and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210161309A KR20230075079A (en) 2021-11-22 2021-11-22 Real-time feedback system for controlling target based on brain-computer interface and method thereof

Publications (1)

Publication Number Publication Date
KR20230075079A true KR20230075079A (en) 2023-05-31

Family

ID=86543709

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210161309A KR20230075079A (en) 2021-11-22 2021-11-22 Real-time feedback system for controlling target based on brain-computer interface and method thereof

Country Status (1)

Country Link
KR (1) KR20230075079A (en)

Similar Documents

Publication Publication Date Title
US11972049B2 (en) Brain-computer interface with high-speed eye tracking features
US12001602B2 (en) Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions
US12053308B2 (en) Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions
US11144124B2 (en) Electronic device and control method thereof
Belkacem et al. Classification of four eye directions from EEG signals for eye-movement-based communication systems
US11467662B1 (en) Identifying object of user focus with eye tracking and visually evoked potentials
Kosmyna et al. AttentivU: Designing EEG and EOG compatible glasses for physiological sensing and feedback in the car
Lamti et al. Influence of mental fatigue on P300 and SSVEP during virtual wheelchair navigation
KR101527273B1 (en) Method and Apparatus for Brainwave Detection Device Attached onto Frontal Lobe and Concentration Analysis Method based on Brainwave
Wang et al. An eye tracking and brain–computer interface-based human–environment interactive system for amyotrophic lateral sclerosis patients
KR102386359B1 (en) System and method for controlling exoskeleton robot using brain waves according to motion imagination
EP3716016B1 (en) Method and brain-computer interface system for recognizing brainwave signals
KR20230075079A (en) Real-time feedback system for controlling target based on brain-computer interface and method thereof
Dietrich et al. Towards EEG-based eye-tracking for interaction design in head-mounted devices
Zao et al. 37‐4: Invited Paper: Intelligent Virtual‐Reality Head‐Mounted Displays with Brain Monitoring and Visual Function Assessment
Kharadea et al. EyePhone Technology: A Smart Wearable Device
CN118356580B (en) Rehabilitation training method and device, equipment and storage medium for single-side space neglect
Patelia et al. Brain computer interface: Applications and p300 speller overview
Kaur et al. MOUSE CURSOR CONTROL SYTEM BASED ON SSVEP.
Murutha Muthu et al. Recognition of eye movements based on EEG signals and the SAX algorithm
Hanna Wearable Hybrid Brain Computer Interface as a Pathway for Environmental Control
US20240211033A1 (en) Wearable interface for measuring visually evoked potentials
Karen Electrography (EOG) Signal Pattern Identification Using the Procrustes Method
Shanmuga et al. Detection of eye movements based on EEG signals and the SAX algorithm

Legal Events

Date Code Title Description
E902 Notification of reason for refusal