KR102396163B1 - 이동체 및 사람 간의 협력에 기반하여 이동체를 제어하는 방법 및 그에 따른 이동체의 제어 장치 - Google Patents

이동체 및 사람 간의 협력에 기반하여 이동체를 제어하는 방법 및 그에 따른 이동체의 제어 장치 Download PDF

Info

Publication number
KR102396163B1
KR102396163B1 KR1020200082945A KR20200082945A KR102396163B1 KR 102396163 B1 KR102396163 B1 KR 102396163B1 KR 1020200082945 A KR1020200082945 A KR 1020200082945A KR 20200082945 A KR20200082945 A KR 20200082945A KR 102396163 B1 KR102396163 B1 KR 102396163B1
Authority
KR
South Korea
Prior art keywords
moving object
user
driving
biosignal
signal
Prior art date
Application number
KR1020200082945A
Other languages
English (en)
Other versions
KR20220005673A (ko
Inventor
김래현
김다혜
오승준
홍언조
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020200082945A priority Critical patent/KR102396163B1/ko
Priority to US17/025,187 priority patent/US11687074B2/en
Publication of KR20220005673A publication Critical patent/KR20220005673A/ko
Application granted granted Critical
Publication of KR102396163B1 publication Critical patent/KR102396163B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0016—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/181—Preparing for stopping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
    • B60W2050/0064—Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/04—Vehicle stop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18091—Preparing for stopping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

본 발명은 이동체 및 사람 간의 협력에 기반하여 원격 이동체를 제어하는 기술에 관한 것으로, 이동체의 제어 방법은, 사용자로부터 이동체의 구동 개시 의사를 나타내는 제 1 생체 신호를 획득하여 이동체를 구동하고, 스스로 주행을 제어하는 이동체의 주변 상황을 판단하여 경로 설정을 유도하기 위한 이동체의 주변 정보를 사용자에게 제공하고, 사용자로부터 주변 정보의 인지에 따라 유발된 제 2 생체 신호를 획득하여 이동체의 주행 방향을 설정하고, 설정된 주행 방향에서 이동체가 취해야 할 주행 동작을 자동으로 수행하도록 명령하며, 사용자로부터 주행 오류의 인지에 대응하는 제 3 생체 신호를 획득하여 이동체의 주행 방향을 교정함으로써 주행 경로의 재설정을 유도한다.

Description

이동체 및 사람 간의 협력에 기반하여 이동체를 제어하는 방법 및 그에 따른 이동체의 제어 장치{Method for controlling moving body based on collaboration between the moving body and human, and apparatus for controlling the moving body thereof}
본 발명은 인간의 생체 신호를 이용하여 원격 이동체를 제어하는 기술에 관한 것으로, 특히 뇌-컴퓨터 인터페이스 기술(brain-computer interface, BCI)을 활용하되 이동체 및 사람 간의 쌍방 협력에 기반하여 이동체를 제어하는 방법, 그 방법을 기록한 기록매체 및 그 방법에 따른 이동체의 제어 장치에 관한 것이다.
뇌-컴퓨터 인터페이스 기술은 생물의 두뇌와 컴퓨터 또는 외부기기를 직접 연결해서 음성, 영상, 동작 등 기존의 입출력 장치를 거치지 않고 뇌파 등의 뇌활동을 분석하여 컴퓨터 또는 외부기기를 직접 제어하는 기술을 말한다. 따라서, 뇌-컴퓨터 인터페이스 기술을 활용할 경우, 두뇌의 정보 처리 결과인 의사 결정을 언어나 신체 동작을 거치지 않고, 사용자가 생각하고 결정한 특정 뇌파를 시스템의 센서로 전달하여 컴퓨터에서 해당 명령을 실행하게 된다. 키보드 내지 마우스가 아닌 뇌파로 컴퓨터를 조작하는 방법은 장애 등으로 신체를 사용하지 못할 때 유용하게 사용될 수 있고, 환자 혹은 장애인들을 위한 소통, 이동 및 생활 보조에 응용될 수 있기 때문에 이러한 뇌-컴퓨터 인터페이스에 대한 연구가 지속적으로 전개되고 있다. 이하에서 소개되는 선행기술문헌에는 뇌파에 기반하여 컴퓨터와 통신하는 인터페이스 기술에 관하여 기술하고 있다.
최근 장애인 1인 가구의 증가나 중증 환자의 경우 집안에만 머물러, 정상적인 사회 활동이 불가피해지는 경우가 증가하며, 이에 따라 외부의 사회 활동을 보조할 수 있는 원격 이동체의 필요성이 증가하고 있다. 이른바 '활동 보조 이동체'에 대한 관심 및 수요가 증가하고 있으며, 그에 따라 시장 및 관련 기술 제안 또한 매년 증가하고 있는 추세이다. 따라서, 뇌-컴퓨터 인터페이스 기술을 이러한 활동 보조 이동체에 접목할 경우 종래에 인력을 통해 수행되던 많은 돌봄 및 활동 보조 서비스들(강의, 회의 참석, 관광, 탐사 등)이 사용자 스스로의 의지에 의해 제공될 수 있을 것으로 기대되고 있다.
그러나, 원격 이동체를 비롯한 활동 보조 이동체는 입력 수단으로 채택된 조이스틱 또는 터치 제어가 대부분이며 요즈음에서야 음성 인식 제어가 도입되어 있으며, 이러한 종래의 방식들은 신체 활동이 원활하지 않은 사용자에게는 조작이 어렵고 잘못된 선택에 대한 피드백이 곤란하다는 등 제어의 한계가 존재한다. 따라서, 외부활동이 어려운 장애인 또는 환자의 경우, 생각만으로 원격 이동체를 제어할 수 있는 BCI 기술이 대안이 될 수 있다. 하지만, 기존의 BCI에 따른 외부 기기 제어의 성능은 다른 매체에 비해 정확도가 낮아, 실용화를 위해서는 낮은 BCI 성능을 보완할 수 있는 기술이 필요하다.
한편, 공간에 대한 영상 인식 내지 자율 주행에 관한 기술이 발전함에 따라 스스로 주행 제어가 가능한 스마트 원격 이동체가 소개되고 있다. 해당 기술 분야는 깊이 카메라, 스테레오 카메라 내지 각종 센서를 활용하여 이동체가 위치한 공간을 인식하고 스스로 경로 탐색과 주행을 수행하는 기술적 수단을 포함한다.
앞서 소개한 활동 보조 이동체 및 스마트 원격 이동체는 각각 원격 조종의 관점 및 자율 주행의 양극단에 집중한 기술로서 특정한 상황 및 환경에 따라 효과적인 제어가 이루어지지 못함이 실험적으로 발견되고 있다. 따라서, 원격 이동체와 같이 인간의 동작을 도와주는 활동 보조 이동체 제어의 한계를 극복하면서 신체 활동이 어려운 노약자 및 장애인들의 자립적인 사회 활동을 보조할 수 있는 뇌-컴퓨터 인터페이스 기반의 원격 이동체 스마트 제어 기술 및 이 기술에 따른 명령 수행을 최적화하는 방안 개발이 요구된다.
한국특허공개공보 제2014-0077566호, "뇌파를 이용한 주행체 제어 방법, 장치 및 그 방법을 수행하기 위한 프로그램을 기록한 기록매체"
본 발명이 해결하고자 하는 기술적 과제는, 원격지에서 인간의 사회 활동을 도와주는 이동체를 제어함에 있어서 여전히 많은 지원 인력이 필요하거나 사용자가 이동체에 대한 명령을 입력하는 것이 불편하다는 문제를 해소하고, 이동체에 대한 단순한 원격 제어 또는 자율 주행 기술의 단일의 기술 수단만으로는 실제 현장에서의 이동체 제어에 비효율이 발생하는 약점을 해결하며, 뇌파 기반의 원격 이동체 제어에 있어서 측정된 뇌파 신호에 많은 잡음이 존재하거나 획득된 뇌파를 해석하는데 따르는 어려움으로 인해 나타나는 성능 저하의 한계를 극복하고자 한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 이동체의 제어 방법은, (a) 이동체 제어 장치가 사용자로부터 이동체의 구동 개시 의사를 나타내는 제 1 생체 신호를 획득하여 상기 이동체를 구동하는 단계; (b) 상기 이동체 제어 장치가 스스로 주행을 제어하는 이동체의 주변 상황을 판단하여 경로 설정을 유도하기 위한 상기 이동체의 주변 정보를 상기 사용자에게 제공하고, 상기 사용자로부터 상기 주변 정보의 인지에 따라 유발된 제 2 생체 신호를 획득하여 상기 이동체의 주행 방향을 설정하는 단계; (c) 상기 이동체 제어 장치가 설정된 상기 주행 방향에서 상기 이동체가 취해야 할 주행 동작을 자동으로 수행하도록 명령하는 단계; 및 (d) 상기 이동체 제어 장치가 상기 사용자로부터 주행 오류의 인지에 대응하는 제 3 생체 신호를 획득하여 상기 이동체의 주행 방향을 교정함으로써 주행 경로의 재설정을 유도하는 단계;를 포함한다.
일 실시예에 따른 이동체의 제어 방법에서, 상기 제 1 생체 신호, 상기 제 2 생체 신호 및 상기 제 3 생체 신호는 하나의 뇌파 측정 수단을 통해 획득되는 이종의 뇌파 신호일 수 있다.
일 실시예에 따른 이동체의 제어 방법에서, 상기 (a) 단계는, (a1) 이동체를 인지한 사용자로부터 생체 신호를 입력받고, 입력된 생체 신호 중에서 이동체의 구동 개시 의사를 나타내는 제 1 생체 신호를 획득하는 단계; 및 (a2) 상기 제 1 생체 신호에 따라 상기 이동체를 구동하고 사용자의 주행 방향 선택을 대기하는 단계;를 포함할 수 있다.
일 실시예에 따른 이동체의 제어 방법에서, 상기 (b) 단계는, (b1) 주변 상황에 기초하여 상기 이동체의 주행 제어를 위해 상기 이동체와 상기 사용자 간의 협력이 필요하다고 판단된 경우 상기 이동체의 주변 지도, 주변 영상 및 주행 경로 중 적어도 하나를 포함하는 주변 정보를 시각 자극의 형태로 상기 사용자에게 제공하는 단계; (b2) 상기 사용자로부터 상기 주변 정보의 인지에 따라 유발된 제 2 생체 신호를 획득하여 상기 주변 정보 내에 포함된 복수 개의 후보 경로 중 하나를 식별하는 단계; 및 (b3) 식별된 상기 후보 경로에 기반하여 상기 이동체의 세부 주행 방향을 결정하는 단계;를 포함할 수 있다.
일 실시예에 따른 이동체의 제어 방법에서, 상기 (b1) 단계는, 상기 이동체가 수집한 주변 상황이 미리 설정된 이동체로부터 사용자로의 제어 전환 조건을 만족하는 경우 상기 이동체가 주행할 수 있는 복수 개의 후보 경로를 상기 사용자가 시각적으로 구별할 수 있도록 상기 주변 정보를 시각화하여 표시할 수 있다. 또한, 상기 (b2) 단계는, 상기 주변 정보에 관한 시각 자극을 인지한 상기 사용자로부터 제 2 생체 신호를 획득하여 상기 사용자가 의도한 후보 경로를 식별할 수 있다. 또한, 상기 (b3) 단계는, 상기 제 2 생체 신호로부터 동작 상상에 따른 자발적 생체 신호를 추출하되, 식별된 상기 후보 경로에 기반하여 상기 사용자가 의도한 상기 이동체의 세부 주행 방향을 결정할 수 있다.
일 실시예에 따른 이동체의 제어 방법에서, 상기 (b) 단계는, (b4) 상기 이동체의 주변 지도, 주변 영상 및 주행 경로 중 적어도 하나를 포함하는 주변 정보를 수신하여 상기 이동체의 현재 주행 경로에 인접한 갈림길을 식별하는 단계; (b5) 식별된 상기 갈림길에 접근하는 제 1 선행 시점에 주행 경로에 대한 유형 정보를 시각 자극의 형태로 상기 사용자에게 제공하는 단계; 및 (b6) 식별된 상기 갈림길에 접근하는 제 2 선행 시점에 시각 자극을 인지한 상기 사용자로부터 제 2 생체 신호를 획득하여 상기 이동체의 주행 방향을 결정하는 단계;를 포함할 수 있다. 또한, 상기 제 1 선행 시점 및 상기 제 2 선행 시점은, 상기 갈림길까지의 잔여 거리 및 상기 이동체의 속도를 고려하여 조절될 수 있다.
일 실시예에 따른 이동체의 제어 방법에서, 상기 (d) 단계는, (d1) 상기 사용자로부터 주행 오류의 인지에 대응하는 제 3 생체 신호를 획득함으로써 설정된 상기 주행 방향이 사용자의 의도와 일치하지 않는지 여부를 검사하는 단계; (d2) 검사 결과 설정된 상기 주행 방향에 오류가 있다면, 주행 방향의 교정을 위해 상기 이동체로 하여금 제자리에서 회전하도록 명령하는 단계; 및 (d3) 상기 이동체가 회전하는 도중 상기 사용자가 희망하는 주행 방향에서 구동 개시 의사를 나타내는 생체 신호가 획득되면 상기 이동체로 하여금 해당 방향으로 재설정된 주행 경로에 따라 실제의 주행 동작을 수행하도록 명령하는 단계;를 포함할 수 있다.
일 실시예에 따른 이동체의 제어 방법에서, 상기 제 1 생체 신호는, 뇌파 측정 수단을 통해 획득되는 의도된 이중 깜빡임(EEG double blink) 신호, 마이크로폰(microphone)을 통해 획득되는 음성 신호, 카메라를 통해 획득되는 동작 또는 제스처 신호 중 적어도 하나이고, 상기 제 2 생체 신호는, 뇌파 측정 수단을 통해 획득되는 SSVEP(steady-state visual evoked potential) 신호 또는 운동 상상(motor imagery, MI) 신호로서, 상기 주변 정보 내에 포함된 복수 개의 후보 경로에 대한 상기 사용자의 시각적인 인지 또는 동작 상상에 따라 유발된 뇌파(electroencephalogram, EEG) 신호를 포함하며, 상기 제 3 생체 신호는, 뇌파 측정 수단을 통해 획득되는 ErrP(error-related potential) 신호일 수 있다.
일 실시예에 따른 이동체의 제어 방법에서, 상기 (a) 단계는, 상기 사용자로부터 입력된 복수 유형의 생체 신호 중에서 상기 제 1 생체 신호가 획득될 때까지 상기 (b) 단계, 상기 (c) 단계 및 상기 (d) 단계로 진행하지 않고 대기하고, 상기 (b) 단계는, 상기 사용자로부터 입력된 복수 유형의 생체 신호 중에서 상기 제 2 생체 신호가 획득될 때까지 상기 (c) 단계로 진행하지 않고 대기하며, 상기 (c) 단계의 수행이 완료된 후 상기 (a) 단계 또는 상기 (b) 단계로 진행하여 주행 방향의 설정 및 동작 수행을 반복하는 것이 바람직하다.
일 실시예에 따른 이동체의 제어 방법은, (e) 상기 이동체 제어 장치가 상기 사용자로부터 긴급 상황의 인지에 대응하는 제 4 생체 신호를 획득하여 상기 이동체로 하여금 정지하도록 명령하는 단계;를 더 포함할 수 있다.
한편, 이하에서는 상기 기재된 이동체의 제어 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 다른 실시예에 따른 뇌-컴퓨터 인터페이스에 기반하여 이동체를 제어하는 장치는, 사용자로부터 측정된 복수 유형의 생체 신호를 입력받는 입력부; 상기 생체 신호의 유형에 따라 이동체를 제어하는 제어 신호를 생성하는 처리부; 및 상기 이동체가 주행할 수 있는 복수 개의 후보 경로를 상기 사용자가 시각적으로 구별할 수 있도록 주변 정보를 시각화하여 표시하는 시각 자극 발생 수단;을 포함하고, 상기 처리부는, 사용자로부터 이동체의 구동 개시 의사를 나타내는 제 1 생체 신호를 획득하여 상기 이동체를 구동하고, 스스로 주행을 제어하는 이동체의 주변 상황을 판단하여 상기 이동체가 수집한 주변 상황이 미리 설정된 이동체로부터 사용자로의 제어 전환 조건을 만족하는 경우 경로 설정을 유도하기 위한 상기 이동체의 주변 정보를 상기 시각 자극 발생 수단을 통해 상기 사용자에게 제공하고, 상기 사용자로부터 상기 주변 정보의 인지에 따라 유발된 제 2 생체 신호를 획득하여 상기 이동체의 주행 방향을 설정하고, 설정된 상기 주행 방향에서 상기 이동체가 취해야 할 주행 동작을 자동으로 수행하도록 명령하며, 상기 사용자로부터 주행 오류의 인지에 대응하는 제 3 생체 신호를 획득하여 상기 이동체의 주행 방향을 교정함으로써 주행 경로의 재설정을 유도한다.
다른 실시예에 따른 이동체의 제어 장치에서, 상기 처리부는, 주변 상황에 기초하여 상기 이동체의 주행 제어를 위해 상기 이동체와 상기 사용자 간의 협력이 필요하다고 판단된 경우 상기 이동체의 주변 지도, 주변 영상 및 주행 경로 중 적어도 하나를 포함하는 주변 정보를 시각 자극의 형태로 상기 사용자에게 제공하고, 상기 사용자로부터 상기 주변 정보의 인지에 따라 유발된 제 2 생체 신호를 획득하여 상기 주변 정보 내에 포함된 복수 개의 후보 경로 중 하나를 식별하며, 식별된 상기 후보 경로에 기반하여 상기 이동체의 세부 주행 방향을 결정할 수 있다.
또한, 다른 실시예에 따른 이동체의 제어 장치에서, 상기 처리부는, 상기 주변 정보에 관한 시각 자극을 인지한 상기 사용자로부터 제 2 생체 신호를 획득하여 상기 사용자가 의도한 후보 경로를 식별하고, 상기 제 2 생체 신호로부터 동작 상상에 따른 자발적 생체 신호를 추출하되, 식별된 상기 후보 경로에 기반하여 상기 사용자가 의도한 상기 이동체의 세부 주행 방향을 결정할 수 있다.
다른 실시예에 따른 이동체의 제어 장치에서, 상기 처리부는, 상기 이동체의 주변 지도, 주변 영상 및 주행 경로 중 적어도 하나를 포함하는 주변 정보를 수신하여 상기 이동체의 현재 주행 경로에 인접한 갈림길을 식별하고, 식별된 상기 갈림길에 접근하는 제 1 선행 시점에 주행 경로에 대한 유형 정보를 시각 자극의 형태로 상기 사용자에게 제공하며, 식별된 상기 갈림길에 접근하는 제 2 선행 시점에 시각 자극을 인지한 상기 사용자로부터 제 2 생체 신호를 획득하여 상기 이동체의 주행 방향을 결정하되, 상기 제 1 선행 시점 및 상기 제 2 선행 시점은, 상기 갈림길까지의 잔여 거리 및 상기 이동체의 속도를 고려하여 조절될 수 있다.
다른 실시예에 따른 이동체의 제어 장치에서, 상기 처리부는, 상기 사용자로부터 주행 오류의 인지에 대응하는 제 3 생체 신호를 획득함으로써 설정된 상기 주행 방향이 사용자의 의도와 일치하지 않는지 여부를 검사하고, 검사 결과 설정된 상기 주행 방향에 오류가 있다면 주행 방향의 교정을 위해 상기 이동체로 하여금 제자리에서 회전하도록 명령하며, 상기 이동체가 회전하는 도중 상기 사용자가 희망하는 주행 방향에서 구동 개시 의사를 나타내는 생체 신호가 획득되면 상기 이동체로 하여금 해당 방향으로 재설정된 주행 경로에 따라 실제의 주행 동작을 수행하도록 명령할 수 있다.
다른 실시예에 따른 이동체의 제어 장치에서, 상기 제 1 생체 신호는, 뇌파 측정 수단을 통해 획득되는 의도된 이중 깜빡임(EEG double blink) 신호, 마이크로폰(microphone)을 통해 획득되는 음성 신호, 카메라를 통해 획득되는 동작 또는 제스처 신호 중 적어도 하나이고, 상기 제 2 생체 신호는, 뇌파 측정 수단을 통해 획득되는 SSVEP(steady-state visual evoked potential) 신호 또는 운동 상상(motor imagery, MI) 신호로서, 상기 주변 정보 내에 포함된 복수 개의 후보 경로에 대한 상기 사용자의 시각적인 인지 또는 동작 상상에 따라 유발된 뇌파(electroencephalogram, EEG) 신호를 포함하며, 상기 제 3 생체 신호는, 뇌파 측정 수단을 통해 획득되는 ErrP(error-related potential) 신호일 수 있다.
본 발명의 실시예들은, 이동체 및 사용자 간의 협력을 통해 뇌-컴퓨터 인터페이스 시스템의 구동을 나타내는 뇌파, 시각 자극에 대한 뇌파, 운동 상상에 대한 뇌파 및 오류 대응에 대한 뇌파 등 사용자의 다양한 뇌파들 각각을 식별하여 스마트 이동체에서 제공하는 주행 경로에 관한 정보에 따라 효율적으로 이동체를 제어함으로써, 뇌-컴퓨터 인터페이스의 단점인 처리 속도를 개선하고, 순차적인 뇌-컴퓨터 인터페이스 제어에 따라 사용자가 희망하는 대상 객체의 세부적인 주행 경로를 정확하게 특정하여 사용자의 희망 목적지에 따라 이동체로 하여금 주행하도록 제어할 수 있으며, 결과적으로 신체가 부자유한 사용자의 의도에 따라 능동적이고 독립적인 행동을 유도하고 자존감을 증진시킬 수 있을 뿐만 아니라 사용자를 돕기 위한 인력, 이를 위한 시간 및 비용을 동시에 절감할 수 있다.
도 1은 본 발명이 활용될 수 있는 기술 분야에서 나타나는 문제점을 소개하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 측정된 뇌파를 기반으로 다양한 뇌파 패턴 분석을 통해 시스템 구동을 수행하는 관계를 설명하기 위한 개념도이다.
도 3은 본 발명의 실시예들에 따른 이동체 제어 방법에서 활용하는 뇌파 신호의 유형에 관하여 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스(brain-computer interface, BCI)에 기반하여 이동체를 제어하는 방법을 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 도 4의 이동체 제어 방법에서 뇌-컴퓨터 인터페이스 시스템을 활성화시키는 과정을 보다 구체적으로 도시한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 도 4의 이동체 제어 방법에서 후보 경로를 선택하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 7 및 도 8은 도 6의 시각 자극 활성화 과정에서 원격지의 주변 정보를 제공하고 자극을 처리하는 예시적인 구현 과정을 제시하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 도 4의 이동체 제어 방법에서 오류 내지 긴급 상황을 처리하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 10은 사용자의 오류 인지를 감지하기 위해 활용될 수 있는 뇌파를 예시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 도 9의 오류 처리 과정에서 주행 방향을 교정하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 12는 본 발명의 다른 실시예에 따른 뇌-컴퓨터 인터페이스에 기반하여 이동체를 제어하는 장치를 도시한 블록도이다.
도 13은 본 발명의 또 다른 실시예에 따른 원격 로봇이 원격지 주행 정보 및 상황을 판단하여 주행 경로에 대한 정보를 전송하고, 뇌-컴퓨터 인터페이스를 활용하여 원격 로봇을 제어하는 시스템 구현예를 도시하였다.
본 발명의 실시예들을 설명하기에 앞서, 본 발명의 실시예들이 구현되는 환경 내에서 종래의 기술 수단이 갖는 실무적인 문제점을 개괄적으로 소개한 후, 이를 해결하기 위해 안출된 본 발명의 실시예들에서 채택하고 있는 기술적 원리를 순차적으로 제시하도록 한다.
도 1은 본 발명이 활용될 수 있는 기술 분야에서 나타나는 문제점을 소개하기 위한 도면이다.
도 1을 참조하면, 원격지에 위치한 타인과의 상호 소통을 위한 화상 회의 및 수업 등의 원격 작업 수행 시, 원격지의 타인이 연결을 해야 하므로 사용자 주도적인 화상 회의 등의 수행이 어렵다. 고령화 사회 및 장애인 1인 가구 증가로 인해 사회 활동이 불가피해지는 문제가 증가함에 따라, 사회 활동 보조 이동체의 필요성이 증가하고 있다. 현재, 지체 장애인이나 거동이 불편한 고령자, 그리고 원격지의 작업 수행을 위한 일반인들이 활용하기 위해 다양한 원격 이동체가 개발되고 있다. 특히, 원격 이동체에 관한 연구들은 원격지에서도 사용자 주도적인 사회 활동(회의 참석, 수업, 관광, 탐사 등)을 보조하고, 이에 따라 실용적인 BCI 기반 로봇 제어를 위한 성능 보완을 그 목표로 하고 있다.
그러나, 현재 상용 원격 이동체의 입력 방식을 살펴보면, 사용자의 입이나 얼굴 근육을 이용하여 조이스틱을 조작하거나, 버튼을 반복적으로 눌러서 이동체의 주행 방향을 지시하는 음성 명령을 활용하거나, 설정된 목적지만을 향해 장애물을 회피하여 주행하는 방식을 채택하고 있다. 이러한 종래의 방식들은 신체 활동이 불편한 사용자에게 입력 방식 숙달에 많은 시간과 노력을 요구하고 있으며, 미리 지정된 범위 내에서만 목표 지점을 설정하고 설정된 목표 지점에 따라 주행할 수 밖에 없는 부자유가 뒤따르고 있다.
따라서, 이하에서 기술되는 본 발명의 실시예들은 사용자의 생체 신호를 획득하여 보다 편리하고 능동적으로 사용자의 의사를 파악하고 그에 따른 명령을 원격 이동체에게 전달할 수 있는 기술적 수단 및 사용자의 원격지에서의 자유로운 주행 제어 기술을 제안한다. 이를 위해 본 발명의 실시예들은 뇌-컴퓨터 인터페이스를 채택하고 있다.
뇌-컴퓨터 인터페이스에 관한 접근 방법은 크게 동시 다채널 단일 세포 세포 외 기록법과 뇌파를 이용한 비침습적 방법이 있다. 전자의 전극 기반 뇌-컴퓨터 인터페이스는 기록용 전극을 대뇌 피질 안으로 삽입하는 고도로 침습적인 방법으로 신경원의 활동 상황을 정확하게 측정할 수 있는 장점이 있지만 기록용 전극을 대뇌 피질 안으로 삽입해야 하는 단점이 있다. 반면, 후자의 뇌파 기반 뇌-컴퓨터 인터페이스는 측정된 뇌파 신호에 많은 잡음이 있어 해석하기가 쉽지 않다는 단점이 있다. 신호 취득의 보편성과 편의성을 고려하여 본 발명의 실시예들은 후자인 뇌파 기반의 방식을 채택하였다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 구체적으로 설명하도록 한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 덧붙여, 명세서 전체에서, 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구비하다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
특별히 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 2는 본 발명의 일 실시예에 따른 측정된 뇌파를 기반으로 다양한 뇌파 패턴 분석을 통해 원격 이동체를 구동하는 관계를 설명하기 위한 개념도이다.
도 2에 도시한 바와 같이, BCI 기반 원격 이동체 제어 시스템은 생체 신호를 기반으로 원격 이동체 제어 용도에 따라 다양한 뇌파 패턴을 분석하고, 이를 통해 원격 이동체를 제어한다. 예를 들어, 뇌파 패턴 중 전두엽의 EEG blink 신호를 취득하여 그 종류에 따라 시스템 활성화 트리거(trigger) 신호 및 시스템 종료 신호로 활용하고, 동작 상상(Motor imagery, MI) 혹은 SSVEP(Steady-state visual evoked potential) 등의 EEG 패턴을 통해 원격 이동체의 주행 경로를 선택 및 설정하도록 한다. 또한, 주행 방향에서 나타나는 오류 수정을 위해, 오류 인지에 관한 생체 신호를 활용하여 잘못된 주행 방향을 재설정한다.
특히, 본 발명의 실시예들은, 원격 이동체(스마트 원격 로봇) 일방의 자율 주행 기술에 전적으로 의존하거나, 또는 사용자의 원격 제어/조정에 전적으로 의존하는 방식이 아니라, 이동체 스스로의 주행 제어가 수행되는 중에 주변 상황에 대한 정보를 수집하고, 특정 조건을 만족할 경우 이동체로부터 사용자로의 제어가 전환될 수 있도록 유도하는 쌍방향 협력 통신을 수행한다. 즉, 현재의 주변 상황에 대처함에 있어서 이동체와 사용자 간의 협력이 필요하다고 판단될 경우 주변 정보를 사용자에게 제공함으로써 사용자로 하여금 이동체의 주행 제어에 개입하도록 유도한다. 이를 위해 도입된 기술 요소는 다음과 같다.
1) 스스로 주행 제어하는 원격 이동체가 주변 상황을 판단한 후 사용자와의 협력 필요 여부에 따라 주변 정보를 사용자에게 전송하는 구성
2) BCI를 활용하여 이동체를 제어하기 위한 명령 체계를 최적화하는 구성
3) 원격 이동체의 주행을 제어함에 있어서, 이동체 스스로의 자율 주행과 사용자의 제어 명령을 혼합하는 하이브리드(hybrid) 제어 구성
이하에서는 상기된 기술 요소를 통해 설계된 본 발명의 실시예들을 구체적으로 설명한다.
도 3은 본 발명의 실시예들에 따른 이동체 제어 방법에서 활용하는 뇌파 신호의 유형에 관하여 설명하기 위한 도면이다.
비록 인간과 로봇과의 상호작용을 위해 활용 가능한 다양한 수단이 존재하나, 본 발명의 실시예들에서는 가능한 최소화된 통신 수단만을 이용하여 상호작용을 수행하고자 한다. 이러한 단일의 통신 수단은 본질적으로 사용자 편의를 극대화하기 위함이다. 따라서, 본 발명의 실시예들에서 활용하는 다양한 생체 신호들은 하나의 뇌파 측정 수단을 통해 획득되는 이종의 뇌파 신호인 것이 바람직하다. 즉, 유니-모달(uni-modal)인 뇌파를 기반으로 주행 제어를 목표로 하여 다양한 뇌파 패턴을 분석하고 이를 통해 원격 이동체를 제어한다.
도 3을 참조하면, 먼저 뇌파 센서를 통해 사용자로부터 뇌파(electroencephalogram, EEG)(310)가 입력되었다. 이러한 뇌파는 다양한 유형의 뇌파 신호들의 집합으로 구성되어 있는데, 본 발명의 실시예들이 주목한 뇌파의 유형은 다음의 4가지이다.
첫째, "EEG blink" 신호(321)이다. EEG blink는 "의도된 눈의 깜빡임"으로 유발되는 뇌파로서 통상적인 뇌파 처리 기술 분야에서는 잡음(noise)으로 간주되어 제거되는 경우가 있으나, 본 발명의 실시예들에서는 이동체 제어 시스템의 동작을 활성화시키는 on/off 스위치의 역할을 수행한다. 즉, 뇌파 패턴 중 전두엽의 EEG blink 신호를 취득하여 시스템의 활성화 트리거(trigger) 신호로 활용함으로써, 사용자가 원하는 시점에 시스템의 활성화를 제어할 수 있다. 특히, EEG blink 신호는 근전도에 기반한 EOG(electrooculogram) 신호와는 달리 추가적인 센서 없이도 단일의 뇌파 측정 센서를 통해 획득될 수 있다는 점에서 유니-모달의 특성을 유지할 수 있게 한다.
둘째, "SSVEP(steady-state visual evoked potential)" 신호(322)이다. SSVEP는 시각 자극에 대해 시각피질이 위치한 두정엽과 후두엽 부위에서 측정할 수 있는 전기 신호로서, 본 발명의 실시예들에서는 복수 후보 경로에 대응하여 서로 다른 시각화 표시를 통해 각각의 후보 경로를 식별할 수 있다. 예를 들어, 갈림길에서 맞닥뜨리는 복수의 주행 경로에 대해 각각의 후보 경로를 나타내는 주행 방향 아이콘 내지 화살표 등을 시각 자극 패턴으로서 사용자에게 제시함으로써 사용자의 자극 인지를 유도할 수 있다. 이러한 SSVEP 패턴을 통해 복수의 주행 방향 내지 경로 중에서 사용자가 희망하는 방향 내지 경로를 높은 정확도로 선택할 수 있다.
셋째, "운동 상상(motor imagery, MI)" 신호(323)이다. 역시 SSVEP 신호와 마찬가지로, 본 발명의 실시예들에서는 사용자로부터 이동체의 주행 방향에 대한 운동 상상 패턴을 획득하여 복수 주행 방향 내지 경로 중에서 사용자가 희망하는 방향 내지 경로를 선택하기 위한 수단으로 활용한다. 즉, SSVEP 신호(322) 또는 운동 상상 신호(323) 중 적어도 하나를 활용하여 이동체의 방향 제어에 활용함으로써 주행 경로를 선택할 수 있게 된다.
넷째, "ErrP(error-related potential)" 신호(324)이다. ErrP는 대상 객체, 예를 들어, 이동체가 실수할 때 발생하는 인간 관찰자의 뇌파의 패턴으로서, 이러한 오류 인지에 관한 ErrP 신호 패턴을 통해 이동체의 실수를 교정할 수 있도록 도와준다. 즉, 이동체의 주행에 있어서 나타나는 실수를 사용자가 인지할 때 나타나는 ErrP 신호를 검출하여 신속하게 주행 오류를 교정하도록 유도할 수 있다.
도 4는 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스(brain-computer interface, BCI)에 기반하여 이동체를 제어하는 방법을 도시한 흐름도로서, 사용자로부터 생체 신호를 취득하는 수단이 존재한다는 것을 전제로 사용자로부터 입력된 생체 신호를 해석하여 로봇을 제어하기 위한 제어 신호를 생성하는 일련의 과정을 제시한다.
S410 단계에서, 이동체 제어 장치는 사용자로부터 이동체의 구동 개시 의사를 나타내는 제 1 생체 신호를 획득하여 상기 이동체를 구동한다.
인간으로부터 획득되는 생체 신호는 그 종류가 매우 다양하고 각각을 식별하거나 그 의미를 파악하는 것이 매우 어렵기 때문에 이하의 이동체 제어 과정은 시계열적인 판단 과정에 따라 절차를 진행하게 된다. 본 과정에서는 상기 사용자로부터 입력된 복수 유형의 생체 신호 중에서 이동체의 구동 개시 의사를 나타내는 제 1 생체 신호가 획득될 때까지 다음의 단계로 진행하지 않고 대기하게 된다. 다양한 생체 신호 중에서 일단 이동체의 구동 개시 의사를 나타낸다고 정의된 제 1 생체 신호가 포착되면, 이동체를 구동하여 다음에 확인하여야 하는 생체 신호의 입력을 탐지하게 된다. 이때, 다양한 뇌파 패턴 중 EEG double blink 신호를 통해 사용자가 원격지의 이동체 구동을 수행하겠다는 트리거(trigger) 신호로 사용할 수 있다. 여기서, 제 1 생체 신호는, 뇌파 측정 수단을 통해 획득되는 의도된 이중 깜빡임(EEG double blink) 신호, 마이크로폰(microphone)을 통해 획득되는 음성 신호, 카메라를 통해 획득되는 동작 또는 제스처 신호 중 적어도 하나를 포함할 수 있다.
S420 단계에서, 상기 이동체 제어 장치는 스스로 주행을 제어하는 이동체의 주변 상황을 판단하여 경로 설정을 유도하기 위한 상기 이동체의 주변 정보를 상기 사용자에게 제공하고, 상기 사용자로부터 상기 주변 정보의 인지에 따라 유발된 제 2 생체 신호를 획득하여 상기 이동체의 주행 방향을 설정한다. 즉, 이동체 스스로가 상황 판단 후, 이동체와 사용자 간의 협력이 필요하다고 판단되었다면, 필요한 정보를 사용자에게 전송한다. 이때, 이러한 판단을 위해 이동체로부터 사용자로의 제어 전환 조건이 미리 설정되는 것이 바람직하다. 본 발명의 실시예들에서는 이동체에 대해 사용자가 일방적으로 제어 명령을 내리는 것이 아니라, 이동체와 사용자가 협력을 통해 보다 효과적인 제어 방식을 채택하게 되는데, 이러한 협력이 필요한 상황을 결정하는 근거가 바로 제어 전환 조건의 만족 여부이다. 또한, 기계인 이동체와 사람인 사용자 간의 의사 소통을 위해 뇌파를 활용한 BCL가 채택되었다. 제어 전환 조건은 이동체가 활용되는 환경과 조건을 고려하여 현장에서의 경험에 기초하여 설정될 수 있으며, 이러한 협력 제어 방식의 일례는 이후 도 8을 통해 보다 구체적으로 소개하도록 한다.
이동체 제어 장치는 원격지의 이동체 주변의 정보에 대해, 사용자에게 주변 지도 및 전방의 길 종류(예를 들어, 삼거리)에 대한 정보를 제공하고, 상기 사용자로부터 길 선택지에 대한 시각 자극에 따라 유발된 제 2 생체 신호를 획득하여 상기 사용자가 선택한 객체를 식별할 수 있다. 이 과정에서는 원격 이동체가 주행하게 되는 길의 종류가 제시된 상황에서 사용자가 이들 주행 방향 중 어느 하나를 선택하는 경우에 이를 정확하게 인식하는 기법을 제공한다.
이를 위해 본 발명의 실시예들은 인간으로부터 획득 가능한 다양한 생체 신호들 중에서 동작 상상에 따른 자발적 생체 신호를 활용할 수 있다. 특히, 사용자에게 제공되는 시각 자극은 복수 개의 주행 경로 내지 방향을 구별할 수 있도록 부여되는 것이 바람직하다. 우선, 원격지에 대한 시각 화면에 전방의 길 종류에 따른 방향 정보가 화살표 내지 아이콘 등으로 시각화되어 표시됨으로써, 사용자가 어느 방향으로 진행하고자 하는지에 대해 자발적 생체 신호를 획득한다. 그러면, 이동체 제어 장치는 시각 정보에 따라 유발된 자발적 생체 신호를 획득하여 획득된 생체 신호 내에 포함된 신호 특징을 추출함으로써 사용자가 의도한 주행 방향이 무엇인지를 식별할 수 있다. 여기서, 제 2 생체 신호는, 뇌파 측정 수단을 통해 획득되는 SSVEP(steady-state visual evoked potential) 신호 또는 운동 상상(motor imagery, MI) 신호로서, 상기 주변 정보 내에 포함된 복수 개의 후보 경로에 대한 상기 사용자의 시각적인 인지 또는 동작 상상에 따라 유발된 뇌파(electroencephalogram, EEG) 신호 패턴을 포함할 수 있다. 일단 시스템의 구동 개시 의사를 나타내는 제 1 생체 신호가 취득되면, 복수 개의 후보 경로들 각각에 대응하는 서로 다른 주행 방향 정보 화면이 활성화되어 사용자에게 제공될 수 있다.
한편, 이 과정 역시 사용자로부터 입력된 복수 유형의 생체 신호 중에서 원격지 주변 정보에 따른 제 2 생체 신호가 획득될 때까지 다음 단계로 진행하지 않고 대기하는 것이 바람직하다. 이는 일단 이동체가 특정 동작을 수행하기 이전에 사용자에 의해 선택된 후보 경로/방향을 식별해야만 하기 때문이다. 사용자는 이동체 제어 장치로부터 제공된 길 종류에 대해 제 2 생체 신호로 이동체의 주행 방향(예를 들어, Right/Left/Go의 3가지 유형의 방향)을 설정할 수 있다.
S430 단계에서, 상기 이동체 제어 장치는 S420 단계를 통해 설정된 상기 주행 방향에서 상기 이동체가 취해야 할 주행 동작을 자동으로 수행하도록 명령한다. 즉, 앞서 설정된 방향으로 운동 상상 신호 패턴을 통해 이동체로 하여금 자동으로 주행 동작을 시작한다. 만약, 설정된 방향이 직진이 아닌 오른쪽 또는 왼쪽 회전이라면 원격 이동체는 해당 방향에 따라 주행 동작을 진행할 수 있다. 이때, 이후 설명할 (주행 오류의 인지에 대응하는) 제 3 생체 신호가 미리 설정된 기간(예를 들어, 3초 이내의 짧은 시간이 될 수 있다) 동안 발생하지 않는 한, 이동체는 앞서 설정된 주행 방향으로 자동 주행을 수행하도록 구현함으로써 보다 빠른 동작 수행이 가능하다.
한편, 이 과정의 수행이 완료된 후 상기 S410 단계 또는 상기 S420 단계로 되돌아가 주행 방향의 설정 및 동작 수행을 반복할 수 있다. 이러한 과정을 반복을 통해 주행 경로상에서 맞닥뜨리는 분기에서의 선택을 결정할 수 있다.
이제, S440 단계에서는 상기 사용자로부터 주행 오류의 인지에 대응하는 제 3 생체 신호를 획득하여 상기 이동체의 주행 방향을 교정함으로써 주행 경로의 재설정을 유도할 수 있다. 이 과정에서는 주행 방향에 대한 오류(내지 긴급 상황)를 처리하는 과정을 선택적으로 포함할 수 있으며, 이후 도 9를 통해 보다 구체적으로 기술하도록 한다. 만약 잘못 설정된 주행 방향(주행 오류)의 인지에 대응하는 생체 신호를 사용자로부터 획득될 경우, 이동체 제어 장치는 원격 이동체로 하여금 주행 방향을 수정하도록 유도한다. 이를 위해, 구현의 관점에서 이동체 제어 장치는 식별된 주행 방향에 대한 오류 인지를 나타내는 생체 신호가 입력되는지 여부를 모니터링한다.
상기된 이동체 제어 과정에서, 상기 제 1 생체 신호, 상기 제 2 생체 신호 및 상기 제 3 생체 신호는 하나의 뇌파 측정 수단을 통해 획득되는 이종의 뇌파 신호인 것이 바람직하다. 즉, 유니-모달(uni-modal)인 뇌파를 기반으로 다양한 뇌파 패턴을 분석함으로서 효과적으로 원격 이동체를 제어할 수 있다.
도 5는 본 발명의 일 실시예에 따른 도 4의 이동체 제어 방법에서 뇌-컴퓨터 인터페이스 시스템을 활성화시키는 과정(S410 단계)을 보다 구체적으로 도시한 흐름도이다.
이동체 제어 장치는 S411 단계를 통해 이동체 내지 시스템를 인지한 사용자로부터 생체 신호(예를 들어, EEG blink 신호가 될 수 있다)를 입력받고, S412 단계를 통해 앞서 입력된 생체 신호 중에서 이동체 내지 시스템의 구동 개시 의사를 나타내는 제 1 생체 신호를 획득한다. 그런 다음, S413 단계에서 뇌-컴퓨터 인터페이스를 이용한 시스템이 활성화되었는지 여부를 판단하고, 활성화되었다면 제 1 생체 신호에 따라 상기 이동체 내지 시스템을 구동하고 S420 단계로 진행하여 사용자의 주행 방향 선택을 대기한다. 반면, 그렇지 않다면, S411 단계로 돌아가 EEG blink 신호 계측을 대기한다.
요약하건대, 이동체를 인지한 사용자로부터 생체 신호를 입력받고, 입력된 생체 신호 중에서 이동체의 구동 개시 의사를 나타내는 제 1 생체 신호를 획득한다. 그런 다음, 상기 제 1 생체 신호에 따라 상기 이동체를 구동하고 사용자의 주행 방향 선택을 대기한다.
도 6은 본 발명의 일 실시예에 따른 도 4의 이동체 제어 방법에서 후보 경로를 선택하는 과정(S420 단계)을 보다 구체적으로 도시한 흐름도이다.
이동체 제어 장치는 S421 단계를 통해 복수 개의 후보 경로들 각각에 대해 화살표, 아이콘 또는 심볼 등으로 시각 자극을 서로 상이하게 설정하고, 상기 복수 개의 후보 경로들에 대응하는 시각 자극(예를 들어, SSVEP 자극 또는 MI(동작 상상) 자극이 될 수 있다)을 상기 사용자에게 제공한다. 그런 다음, S422 단계를 통해 상기 복수 개의 후보 경로들 중 어느 하나에 대응하는 시각 자극을 인지한 상기 사용자로부터 생체 신호를 입력받고, S423 단계를 통해 앞서 입력된 생체 신호 중에서 상기 시각 자극에 따라 유발된 제 2 생체 신호(예를 들어, SSVEP 신호 또는 MI 신호가 될 수 있다)로부터 신호 특징을 추출한다. 이제, S424 단계에서 상기 제 2 생체 신호 내에 포함된 신호 특징을 이용하여 사용자가 선택한 객체를 식별하게 된다. 만약 선택된 후보 경로가 정확하게 식별되었다면 S430 단계로 진행하고, 그렇지 않다면 S422 단계로 되돌아가 제 2 생체 신호 계측을 대기하게 된다.
보다 구체적으로, 우선 주변 상황에 기초하여 상기 이동체의 주행 제어를 위해 상기 이동체와 상기 사용자 간의 협력이 필요하다고 판단된 경우 상기 이동체의 주변 지도, 주변 영상 및 주행 경로 중 적어도 하나를 포함하는 주변 정보를 시각 자극의 형태로 상기 사용자에게 제공한다. 이때, 상기 이동체가 수집한 주변 상황이 미리 설정된 이동체로부터 사용자로의 제어 전환 조건을 만족하는 경우 상기 이동체가 주행할 수 있는 복수 개의 후보 경로를 상기 사용자가 시각적으로 구별할 수 있도록 상기 주변 정보를 시각화하여 표시하는 것이 바람직하다. 왜냐하면, 이동체 스스로의 자율 주행 제어를 위해 수집한 주변 정보는 전기적 신호 내지 컴퓨터 데이터의 형태를 가지므로 인간이 이해하기 용이한 형태로 변환해줄 필요가 있기 때문이다. 그런 다음, 상기 사용자로부터 상기 주변 정보의 인지에 따라 유발된 제 2 생체 신호를 획득하여 상기 주변 정보 내에 포함된 복수 개의 후보 경로 중 하나를 식별한다. 이때, 상기 주변 정보에 관한 시각 자극을 인지한 상기 사용자로부터 제 2 생체 신호를 획득하여 상기 사용자가 의도한 후보 경로를 식별할 수 있다. 이제, 식별된 상기 후보 경로에 기반하여 상기 이동체의 세부 주행 방향을 결정할 수 있는데, 상기 제 2 생체 신호로부터 동작 상상에 따른 자발적 생체 신호를 추출하되, 식별된 상기 후보 경로에 기반하여 상기 사용자가 의도한 상기 이동체의 세부 주행 방향을 결정할 수 있다.
도 7 및 도 8은 도 6의 시각 자극 활성화 과정에서 원격지의 주변 정보를 제공하고 자극을 처리하는 예시적인 구현 과정(S421 단계)을 제시하기 위한 도면이다.
S421a 단계에서는 주행 경로를 파악하고 설정하기 위한 지도를 활성화하고, S421b 단계에서는 이동체 주변의 정보를 갱신한다. 구현의 관점에서, 상기 이동체의 주변 지도, 주변 영상 및 주행 경로 중 적어도 하나를 포함하는 주변 정보를 수신하여 상기 이동체의 현재 주행 경로에 인접한 갈림길을 식별할 수 있다.
S421c 단계에서는 전방의 길 종류를 사용자에게 전송한다. 즉, 미리 식별된 갈림길에 접근하는 제 1 선행 시점에 주행 경로에 대한 유형 정보를 시각 자극의 형태로 상기 사용자에게 제공하는 것이 바람직하다. 그런 다음, S421d 단계에서는 사용자로부터 시각 자극을 획득하여 시스템에 전송한다. 즉, 식별된 상기 갈림길에 접근하는 제 2 선행 시점에 시각 자극을 인지한 상기 사용자로부터 제 2 생체 신호를 획득하여 상기 이동체의 주행 방향을 결정할 수 있다. 여기서, 제 1 선행 시점은 제 2 선행 시점에 비해 상대적으로 목표(갈림길)로부터 멀리 떨어진 위치에 이동체의 도달한 시점을 의미하며, 당연히 거리상으로부터 더 멀리 떨어진 위치가 될 것이다. 물론, 상기 제 1 선행 시점 및 상기 제 2 선행 시점은, 상기 갈림길까지의 잔여 거리 및 상기 이동체의 속도를 고려하여 조절될 수 있다.
도 8을 참조하면, 전방의 길에 대한 정보를 2가지 선행 시점에서 각각 조건을 달리하여 설정하였음을 예시하였는데, 이러한 설정이 앞서 소개한 제어 전환 조건에 해당한다. 즉, 스스로 주행을 제어하는 이동체가 주변 상황을 판단하여, 이동체의 주행 제어를 위해 이동체 및 사용자 간의 협력이 필요하다고 판단된 경우(제어 전환 조건을 만족할 경우) 이동체로부터 사용자로의 추가 정보 제공을 통해 사용자의 제어가 개입하게 된다.
우선, 이동체가 갈림길의 5m 전의 위치에 도달하는 때가 제 1 선행 시점이 될 것이고, 이동체가 갈림길의 3m 전의 위치에 도달하는 때가 제 2 선행 시점이 될 것이다. 예를 들어, 제 1 선행 시점에서는 길의 종류에 대한 정보를 사용자에게 제공하고, 제 2 선행 시점에서는 BCI 기반 방향 설정을 위한 시각 자극(제 2 생체 신호)을 검출함으로써, 일반적인 뇌-컴퓨터 터페이스 기반 제어 시스템의 단점인 신호 처리에 따른 시간 지연 없이 자연스러운 이동체의 주행이 가능하다. 즉, 이동체와 사용자 간의 협력을 통해 목표(갈림길)에 앞서(도달하기 전에) 사용자의 경로 인지 및 빠른 선택이 가능하도록 유도함으로써, 이동체가 목표에 도달한 시점에 미리 결정된 선택지에 따라 동작하도록 처리할 수 있다.
도 9는 본 발명의 일 실시예에 따른 도 4의 이동체 제어 방법에서 오류 내지 긴급 상황을 처리하는 과정을 보다 구체적으로 도시한 흐름도이다.
S441 단계에서 오류 인지를 나타내는 생체 신호(예를 들어, ErrP 패턴)가 입력된 경우, S442 단계를 통해 ErrP 특징을 추출하고, 이로부터 S443 단계에서 주행 오류의 발생을 감지할 수 있다. 만약 주행 오류의 발생이 감지되었다면, S444 단계를 통해 주행 방향을 교정한다. 이 과정에서 원격 이동체는 제자리에서 회전을 시작하고, 사용자가 주행을 원하는 방향에서 구동 개시 의사를 나타내는 생체 신호를 감지하여 그 방향대로 주행 경로를 수정할 수 있다. 이러한 방식을 통해 수정 방향 또한 자유로운 각도로 수정 가능하며, 필요에 따라서는 후진도 가능하다. 요약하건대, 이동체 제어 장치는 사용자로부터 주행 오류의 인지에 대응하는 제 3 생체 신호(예를 들어, ErrP)를 획득하여 이동체의 주행 방향을 교정함으로써 주행 경로의 재설정을 유도할 수 있다.
한편, S445 단계에서 사용자로부터 긴급 상황의 인지에 대응하는 뇌파 신호가 계측되고, S446 단계를 통해 해당 신호의 특징이 추출되어 S447 단계에서 긴급 상황의 발생을 감지할 수 있다. 만약 긴급 상황의 발생이 감지되었다면, 즉시 S448 단계에서 시스템을 정지시킬 수 있다.
도 10은 사용자의 오류 인지를 감지하기 위해 활용될 수 있는 뇌파를 예시한 도면으로서, 오류 인지를 감지하기 위한 생체 신호는, 뇌파 측정 수단을 통해 획득되는 ErrP(error-related potential) 신호인 것이 바람직하다.
도 11은 본 발명의 일 실시예에 따른 도 9의 오류 처리 과정에서 주행 방향을 교정하는 과정(S444)을 보다 구체적으로 도시한 흐름도이다.
먼저 이동체 제어 장치가 사용자로부터 주행 오류의 인지에 대응하는 제 3 생체 신호(예를 들어, ErrP)를 획득한 경우 주행 오류가 발생하였다고 판단하고, 이동체로 하여금 잘못된 경로로 주행하지 않도록 제어한다. 이를 위해 이동체가 스스로 제자리 회전을 시작(또는, 올바른 경로가 되도록 자신의 방향을 전환하거나 필요에 따라서는 후진하는 것도 가능하다.)할 수 있다. 상기 이동체가 회전하는 도중 상기 사용자가 희망하는 주행 방향에서 구동 개시 의사를 나타내는 생체 신호를 획득할 수 있다. 즉, 구동 개시 의사를 나타내는 생체 신호가 획득되는 시점의 방향이 최초에 사용자가 의도하였던 올바른 주행 방향에 해당한다. 따라서, 이동체 제어 장치는 해당 방향으로 주행 경로를 재설정하는 것이 바람직하다. 이제, 상기 이동체로 하여금 재설정된 주행 경로에 따라 실제의 주행 동작을 수행하도록 명령할 수 있다. 요약하건대, 이동체 제어 장치는 사용자로부터 주행 오류의 인지에 대응하는 제 3 생체 신호(예를 들어, ErrP)를 획득하여 이동체의 주행 방향을 교정함으로써 주행 경로의 재설정을 유도할 수 있다.
도 12는 본 발명의 다른 실시예에 따른 뇌-컴퓨터 인터페이스에 기반하여 이동체를 제어하는 장치를 도시한 블록도로서, 도 4를 통해 기술한 이동체 제어 방법을 원격 이동체에 관한 하드웨어 구성의 관점에서 재구성한 것이다. 따라서, 여기서는 설명의 중복을 피하고자 사용자의 식사를 보조하는 상황을 전제로 하여 장치를 중심으로 하는 각 구성의 동작 및 기능을 약술하도록 한다.
이동체의 제어 장치(20)는, 사용자(10)로부터 측정된 복수 유형의 생체 신호를 입력받는 입력부(21), 상기 생체 신호의 유형에 따라 이동체(30)를 제어하는 제어 신호를 생성하는 처리부(22) 및 상기 이동체(30)가 주행할 수 있는 복수 개의 후보 경로를 상기 사용자(10)가 시각적으로 구별할 수 있도록 주변 정보를 시각화하여 표시하는 시각 자극 발생 수단(23)을 포함한다. 설명의 편의를 위해, 이동체의 제어 장치(20)와 이동체(30)를 분리하여 도시하였으나, 양자는 물리적으로 하나의 장치 내에 구비될 수 있다. 즉, 자율 주행을 제어하는 이동체(30)의 몸체에 이동체의 제어 장치(20)가 부착되어 사용자와의 협력 제어를 수행하게 된다.
상기 처리부(22)는, 사용자(10)로부터 이동체(30)의 구동 개시 의사를 나타내는 제 1 생체 신호를 획득하여 상기 이동체(30)를 구동하고, 스스로 주행을 제어하는 이동체(30)의 주변 상황을 판단하여 상기 이동체가 수집한 주변 상황이 미리 설정된 이동체(30)로부터 사용자(10)로의 제어 전환 조건을 만족하는 경우 경로 설정을 유도하기 위한 상기 이동체의 주변 정보를 상기 시각 자극 발생 수단을 통해 상기 사용자(10)에게 제공하고, 상기 사용자(10)로부터 상기 주변 정보의 인지에 따라 유발된 제 2 생체 신호를 획득하여 상기 이동체(30)의 주행 방향을 설정하고, 설정된 상기 주행 방향에서 상기 이동체(30)가 취해야 할 주행 동작을 자동으로 수행하도록 명령하며, 상기 사용자(10)로부터 주행 오류의 인지에 대응하는 제 3 생체 신호를 획득하여 상기 이동체(30)의 주행 방향을 교정함으로써 주행 경로의 재설정을 유도한다. 이때, 상기 제 1 생체 신호, 상기 제 2 생체 신호 및 상기 제 3 생체 신호는 사용자(10)에게 부착된 하나의 뇌파 측정 수단을 통해 획득되는 이종의 뇌파 신호인 것이 바람직하다.
상기 처리부(22)는, 주변 상황에 기초하여 상기 이동체의 주행 제어를 위해 상기 이동체(30)와 상기 사용자(10) 간의 협력이 필요하다고 판단된 경우 상기 이동체(30)의 주변 지도, 주변 영상 및 주행 경로 중 적어도 하나를 포함하는 주변 정보를 시각 자극의 형태로 상기 사용자(10)에게 제공하고, 상기 사용자(10)로부터 상기 주변 정보의 인지에 따라 유발된 제 2 생체 신호를 획득하여 상기 주변 정보 내에 포함된 복수 개의 후보 경로 중 하나를 식별하며, 식별된 상기 후보 경로에 기반하여 상기 이동체(30)의 세부 주행 방향을 결정할 수 있다. 이때, 상기 처리부(22)는, 상기 주변 정보에 관한 시각 자극을 인지한 상기 사용자(10)로부터 제 2 생체 신호를 획득하여 상기 사용자가 의도한 후보 경로를 식별하고, 상기 제 2 생체 신호로부터 동작 상상에 따른 자발적 생체 신호를 추출하되, 식별된 상기 후보 경로에 기반하여 상기 사용자가 의도한 상기 이동체의 세부 주행 방향을 결정할 수 있다.
또한, 상기 처리부(22)는, 상기 이동체(30)의 주변 지도, 주변 영상 및 주행 경로 중 적어도 하나를 포함하는 주변 정보를 수신하여 상기 이동체의 현재 주행 경로에 인접한 갈림길을 식별하고, 식별된 상기 갈림길에 접근하는 제 1 선행 시점에 주행 경로에 대한 유형 정보를 시각 자극의 형태로 상기 사용자(10)에게 제공하며, 식별된 상기 갈림길에 접근하는 제 2 선행 시점에 시각 자극을 인지한 상기 사용자(10)로부터 제 2 생체 신호를 획득하여 상기 이동체의 주행 방향을 결정하되, 상기 제 1 선행 시점 및 상기 제 2 선행 시점은, 상기 갈림길까지의 잔여 거리 및 상기 이동체의 속도를 고려하여 조절될 수 있다.
나아가, 상기 처리부(22)는, 상기 사용자(10)로부터 주행 오류의 인지에 대응하는 제 3 생체 신호를 획득함으로써 설정된 상기 주행 방향이 사용자(10)의 의도와 일치하지 않는지 여부를 검사하고, 검사 결과 설정된 상기 주행 방향에 오류가 있다면 주행 방향의 교정을 위해 상기 이동체(30)로 하여금 제자리에서 회전하도록 명령하며, 상기 이동체(30)가 회전하는 도중 상기 사용자(10)가 희망하는 주행 방향에서 구동 개시 의사를 나타내는 생체 신호가 획득되면 상기 이동체(30)로 하여금 해당 방향으로 재설정된 주행 경로에 따라 실제의 주행 동작을 수행하도록 명령할 수 있다.
도 13은 본 발명의 또 다른 실시예에 따른 원격 로봇이 원격지 주행 정보 및 상황을 판단하여 주행 경로에 대한 정보를 전송하고, 뇌-컴퓨터 인터페이스를 활용하여 원격 로봇을 제어하는 시스템 구현예를 도시하였다.
도 13을 참조하면, 예시된 이동체 제어 시스템은, 뇌파를 기반으로 신호 처리, 사용자 의도 분류, 원격지의 주변 정보 제시, BCI 시스템을 활용하여 원격 이동체의 주행 제어를 수행한다. 해당 시스템을 통해 기존에 단순한 원격지의 화상 전송 기술에서 벗어나 사용자 주도적으로 원격 이동체의 주행이 가능하며 이를 통한 다양한 사회 활동 보조가 가능하다.
상기된 본 발명의 실시예들에 따르면, 뇌-컴퓨터 인터페이스 시스템의 구동을 나타내는 뇌파, 시각 자극에 대한 뇌파, 운동 상상에 대한 뇌파 및 오류 대응에 대한 뇌파 등 사용자의 다양한 뇌파들 각각을 식별하여 스마트 이동체에서 제공하는 주행 경로에 관한 정보에 따라 효율적으로 이동체를 제어함으로써, 뇌-컴퓨터 인터페이스의 단점인 처리 속도를 개선하고, 순차적인 뇌-컴퓨터 인터페이스 제어에 따라 사용자가 희망하는 대상 객체의 세부적인 주행 경로를 정확하게 특정하여 사용자의 희망 목적지에 따라 이동체로 하여금 주행하도록 제어할 수 있으며, 결과적으로 신체가 부자유한 사용자의 의도에 따라 능동적이고 독립적인 행동을 유도하고 자존감을 증진시킬 수 있을 뿐만 아니라 사용자를 돕기 위한 인력, 이를 위한 시간 및 비용을 동시에 절감할 수 있다.
나아가, 본 발명의 실시예들은 예시된 이동체(주행 로봇)의 제어뿐만 아니라 실생활 기기 내지 이동 보조 로봇의 제어 등으로 응용 가능하며, 스마트홈, 헬스케어, 실버산업, 및 게임 산업 등으로 상용화 가능하다.
한편, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장 장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10: 사용자 (또는 사용자에게 부착된 생체 신호/뇌파 측정 수단)
20: 이동체 제어 장치
21: 입력부
22: 처리부
23: 시각 자극 발생 수단
30: 이동체 (주행 로봇)

Claims (20)

  1. (a) 이동체 제어 장치가 사용자로부터 이동체의 구동 개시 의사를 나타내는 제 1 생체 신호를 획득하여 상기 이동체를 구동하는 단계;
    (b) 상기 이동체 제어 장치가 스스로 주행을 제어하는 이동체의 주변 상황을 판단하여 경로 설정을 유도하기 위한 상기 이동체의 주변 정보를 상기 사용자에게 제공하고, 상기 사용자로부터 상기 주변 정보의 인지에 따라 유발된 제 2 생체 신호를 획득하여 상기 이동체의 주행 방향을 설정하는 단계;
    (c) 상기 이동체 제어 장치가 설정된 상기 주행 방향에서 상기 이동체가 취해야 할 주행 동작을 자동으로 수행하도록 명령하는 단계; 및
    (d) 상기 이동체 제어 장치가 상기 사용자로부터 주행 오류의 인지에 대응하는 제 3 생체 신호를 획득하여 상기 이동체의 주행 방향을 교정함으로써 주행 경로의 재설정을 유도하는 단계;를 포함하고,
    상기 (b) 단계는,
    (b1) 주변 상황에 기초하여 상기 이동체의 주행 제어를 위해 상기 이동체와 상기 사용자 간의 협력이 필요하다고 판단된 경우 상기 이동체의 주변 지도, 주변 영상 및 주행 경로 중 적어도 하나를 포함하는 주변 정보를 시각 자극의 형태로 상기 사용자에게 제공하는 단계;
    (b2) 상기 사용자로부터 상기 주변 정보의 인지에 따라 유발된 제 2 생체 신호를 획득하여 상기 주변 정보 내에 포함된 복수 개의 후보 경로 중 하나를 식별하는 단계; 및
    (b3) 식별된 상기 후보 경로에 기반하여 상기 이동체의 세부 주행 방향을 결정하는 단계;를 포함하는, 이동체의 제어 방법.
  2. 제 1 항에 있어서,
    상기 제 1 생체 신호, 상기 제 2 생체 신호 및 상기 제 3 생체 신호는 하나의 뇌파 측정 수단을 통해 획득되는 이종의 뇌파 신호인, 이동체의 제어 방법.
  3. 제 1 항에 있어서,
    상기 (a) 단계는,
    (a1) 이동체를 인지한 사용자로부터 생체 신호를 입력받고, 입력된 생체 신호 중에서 이동체의 구동 개시 의사를 나타내는 제 1 생체 신호를 획득하는 단계; 및
    (a2) 상기 제 1 생체 신호에 따라 상기 이동체를 구동하고 사용자의 주행 방향 선택을 대기하는 단계;를 포함하는, 이동체의 제어 방법.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 (b1) 단계는,
    상기 이동체가 수집한 주변 상황이 미리 설정된 이동체로부터 사용자로의 제어 전환 조건을 만족하는 경우 상기 이동체가 주행할 수 있는 복수 개의 후보 경로를 상기 사용자가 시각적으로 구별할 수 있도록 상기 주변 정보를 시각화하여 표시하는, 이동체의 제어 방법.
  6. 제 1 항에 있어서,
    상기 (b2) 단계는,
    상기 주변 정보에 관한 시각 자극을 인지한 상기 사용자로부터 제 2 생체 신호를 획득하여 상기 사용자가 의도한 후보 경로를 식별하는, 이동체의 제어 방법.
  7. 제 1 항에 있어서,
    상기 (b3) 단계는,
    상기 제 2 생체 신호로부터 동작 상상에 따른 자발적 생체 신호를 추출하되, 식별된 상기 후보 경로에 기반하여 상기 사용자가 의도한 상기 이동체의 세부 주행 방향을 결정하는, 이동체의 제어 방법.
  8. 제 1 항에 있어서,
    상기 (b) 단계는,
    (b4) 상기 이동체의 주변 지도, 주변 영상 및 주행 경로 중 적어도 하나를 포함하는 주변 정보를 수신하여 상기 이동체의 현재 주행 경로에 인접한 갈림길을 식별하는 단계;
    (b5) 식별된 상기 갈림길에 접근하는 제 1 선행 시점에 주행 경로에 대한 유형 정보를 시각 자극의 형태로 상기 사용자에게 제공하는 단계; 및
    (b6) 식별된 상기 갈림길에 접근하는 제 2 선행 시점에 시각 자극을 인지한 상기 사용자로부터 제 2 생체 신호를 획득하여 상기 이동체의 주행 방향을 결정하는 단계;를 포함하는, 이동체의 제어 방법.
  9. 제 8 항에 있어서,
    상기 제 1 선행 시점 및 상기 제 2 선행 시점은, 상기 갈림길까지의 잔여 거리 및 상기 이동체의 속도를 고려하여 조절되는, 이동체의 제어 방법.
  10. 제 1 항에 있어서,
    상기 (d) 단계는,
    (d1) 상기 사용자로부터 주행 오류의 인지에 대응하는 제 3 생체 신호를 획득함으로써 설정된 상기 주행 방향이 사용자의 의도와 일치하지 않는지 여부를 검사하는 단계;
    (d2) 검사 결과 설정된 상기 주행 방향에 오류가 있다면 주행 방향의 교정을 위해 상기 이동체로 하여금 제자리에서 회전하도록 명령하는 단계; 및
    (d3) 상기 이동체가 회전하는 도중 상기 사용자가 희망하는 주행 방향에서 구동 개시 의사를 나타내는 생체 신호가 획득되면 상기 이동체로 하여금 해당 방향으로 재설정된 주행 경로에 따라 실제의 주행 동작을 수행하도록 명령하는 단계;를 포함하는, 이동체의 제어 방법.
  11. 제 1 항에 있어서,
    상기 제 1 생체 신호는, 뇌파 측정 수단을 통해 획득되는 의도된 이중 깜빡임(EEG double blink) 신호, 마이크로폰(microphone)을 통해 획득되는 음성 신호, 카메라를 통해 획득되는 동작 또는 제스처 신호 중 적어도 하나이고,
    상기 제 2 생체 신호는, 뇌파 측정 수단을 통해 획득되는 SSVEP(steady-state visual evoked potential) 신호 또는 운동 상상(motor imagery, MI) 신호로서, 상기 주변 정보 내에 포함된 복수 개의 후보 경로에 대한 상기 사용자의 시각적인 인지 또는 동작 상상에 따라 유발된 뇌파(electroencephalogram, EEG) 신호를 포함하며,
    상기 제 3 생체 신호는, 뇌파 측정 수단을 통해 획득되는 ErrP(error-related potential) 신호인, 이동체의 제어 방법.
  12. 제 1 항에 있어서,
    상기 (a) 단계는, 상기 사용자로부터 입력된 복수 유형의 생체 신호 중에서 상기 제 1 생체 신호가 획득될 때까지 상기 (b) 단계, 상기 (c) 단계 및 상기 (d) 단계로 진행하지 않고 대기하고,
    상기 (b) 단계는, 상기 사용자로부터 입력된 복수 유형의 생체 신호 중에서 상기 제 2 생체 신호가 획득될 때까지 상기 (c) 단계로 진행하지 않고 대기하며,
    상기 (c) 단계의 수행이 완료된 후 상기 (a) 단계 또는 상기 (b) 단계로 진행하여 주행 방향의 설정 및 동작 수행을 반복하는 것을 특징으로 하는, 이동체의 제어 방법.
  13. 제 1 항에 있어서,
    (e) 상기 이동체 제어 장치가 상기 사용자로부터 긴급 상황의 인지에 대응하는 제 4 생체 신호를 획득하여 상기 이동체로 하여금 정지하도록 명령하는 단계;를 더 포함하는, 이동체의 제어 방법
  14. 제 1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  15. 사용자로부터 측정된 복수 유형의 생체 신호를 입력받는 입력부;
    상기 생체 신호의 유형에 따라 이동체를 제어하는 제어 신호를 생성하는 처리부; 및
    상기 이동체가 주행할 수 있는 복수 개의 후보 경로를 상기 사용자가 시각적으로 구별할 수 있도록 주변 정보를 시각화하여 표시하는 시각 자극 발생 수단;을 포함하고,
    상기 처리부는,
    사용자로부터 이동체의 구동 개시 의사를 나타내는 제 1 생체 신호를 획득하여 상기 이동체를 구동하고, 스스로 주행을 제어하는 이동체의 주변 상황을 판단하여 상기 이동체가 수집한 주변 상황이 미리 설정된 이동체로부터 사용자로의 제어 전환 조건을 만족하는 경우 경로 설정을 유도하기 위한 상기 이동체의 주변 정보를 상기 시각 자극 발생 수단을 통해 상기 사용자에게 제공하고, 상기 사용자로부터 상기 주변 정보의 인지에 따라 유발된 제 2 생체 신호를 획득하여 상기 이동체의 주행 방향을 설정하고, 설정된 상기 주행 방향에서 상기 이동체가 취해야 할 주행 동작을 자동으로 수행하도록 명령하며, 상기 사용자로부터 주행 오류의 인지에 대응하는 제 3 생체 신호를 획득하여 상기 이동체의 주행 방향을 교정함으로써 주행 경로의 재설정을 유도하고, 상기 이동체의 주변 지도, 주변 영상 및 주행 경로 중 적어도 하나를 포함하는 주변 정보를 수신하여 상기 이동체의 현재 주행 경로에 인접한 갈림길을 식별하고, 식별된 상기 갈림길에 접근하는 제 1 선행 시점에 주행 경로에 대한 유형 정보를 시각 자극의 형태로 상기 사용자에게 제공하며, 식별된 상기 갈림길에 접근하는 제 2 선행 시점에 시각 자극을 인지한 상기 사용자로부터 제 2 생체 신호를 획득하여 상기 이동체의 주행 방향을 결정하되, 상기 제 1 선행 시점 및 상기 제 2 선행 시점은, 상기 갈림길까지의 잔여 거리 및 상기 이동체의 속도를 고려하여 조절되는, 이동체의 제어 장치.
  16. 제 15 항에 있어서,
    상기 처리부는,
    주변 상황에 기초하여 상기 이동체의 주행 제어를 위해 상기 이동체와 상기 사용자 간의 협력이 필요하다고 판단된 경우 상기 이동체의 주변 지도, 주변 영상 및 주행 경로 중 적어도 하나를 포함하는 주변 정보를 시각 자극의 형태로 상기 사용자에게 제공하고, 상기 사용자로부터 상기 주변 정보의 인지에 따라 유발된 제 2 생체 신호를 획득하여 상기 주변 정보 내에 포함된 복수 개의 후보 경로 중 하나를 식별하며, 식별된 상기 후보 경로에 기반하여 상기 이동체의 세부 주행 방향을 결정하는, 이동체의 제어 장치.
  17. 제 16 항에 있어서,
    상기 처리부는,
    상기 주변 정보에 관한 시각 자극을 인지한 상기 사용자로부터 제 2 생체 신호를 획득하여 상기 사용자가 의도한 후보 경로를 식별하고, 상기 제 2 생체 신호로부터 동작 상상에 따른 자발적 생체 신호를 추출하되, 식별된 상기 후보 경로에 기반하여 상기 사용자가 의도한 상기 이동체의 세부 주행 방향을 결정하는, 이동체의 제어 장치.
  18. 삭제
  19. 제 15 항에 있어서,
    상기 처리부는,
    상기 사용자로부터 주행 오류의 인지에 대응하는 제 3 생체 신호를 획득함으로써 설정된 상기 주행 방향이 사용자의 의도와 일치하지 않는지 여부를 검사하고, 검사 결과 설정된 상기 주행 방향에 오류가 있다면 주행 방향의 교정을 위해 상기 이동체로 하여금 제자리에서 회전하도록 명령하며, 상기 이동체가 회전하는 도중 상기 사용자가 희망하는 주행 방향에서 구동 개시 의사를 나타내는 생체 신호가 획득되면 상기 이동체로 하여금 해당 방향으로 재설정된 주행 경로에 따라 실제의 주행 동작을 수행하도록 명령하는, 이동체의 제어 장치.
  20. 제 15 항에 있어서,
    상기 제 1 생체 신호는, 뇌파 측정 수단을 통해 획득되는 의도된 이중 깜빡임(EEG double blink) 신호, 마이크로폰(microphone)을 통해 획득되는 음성 신호, 카메라를 통해 획득되는 동작 또는 제스처 신호 중 적어도 하나이고,
    상기 제 2 생체 신호는, 뇌파 측정 수단을 통해 획득되는 SSVEP(steady-state visual evoked potential) 신호 또는 운동 상상(motor imagery, MI) 신호로서, 상기 주변 정보 내에 포함된 복수 개의 후보 경로에 대한 상기 사용자의 시각적인 인지 또는 동작 상상에 따라 유발된 뇌파(electroencephalogram, EEG) 신호를 포함하며,
    상기 제 3 생체 신호는, 뇌파 측정 수단을 통해 획득되는 ErrP(error-related potential) 신호인, 이동체의 제어 장치.
KR1020200082945A 2020-07-06 2020-07-06 이동체 및 사람 간의 협력에 기반하여 이동체를 제어하는 방법 및 그에 따른 이동체의 제어 장치 KR102396163B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200082945A KR102396163B1 (ko) 2020-07-06 2020-07-06 이동체 및 사람 간의 협력에 기반하여 이동체를 제어하는 방법 및 그에 따른 이동체의 제어 장치
US17/025,187 US11687074B2 (en) 2020-07-06 2020-09-18 Method for controlling moving body based on collaboration between the moving body and human, and apparatus for controlling the moving body thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200082945A KR102396163B1 (ko) 2020-07-06 2020-07-06 이동체 및 사람 간의 협력에 기반하여 이동체를 제어하는 방법 및 그에 따른 이동체의 제어 장치

Publications (2)

Publication Number Publication Date
KR20220005673A KR20220005673A (ko) 2022-01-14
KR102396163B1 true KR102396163B1 (ko) 2022-05-12

Family

ID=79166744

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200082945A KR102396163B1 (ko) 2020-07-06 2020-07-06 이동체 및 사람 간의 협력에 기반하여 이동체를 제어하는 방법 및 그에 따른 이동체의 제어 장치

Country Status (2)

Country Link
US (1) US11687074B2 (ko)
KR (1) KR102396163B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102421658B1 (ko) * 2022-05-02 2022-07-18 경상남도 (교육청) 스마트 건강 관리 게임을 수행하기 위한 스마트 건강 관리 게임 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101618186B1 (ko) * 2014-05-23 2016-05-04 대한민국 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템 및 제어방법
JP2017509523A (ja) * 2014-01-17 2017-04-06 バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト 車両搭乗者の要望に従って車両を動かす方法
KR101934272B1 (ko) 2016-11-15 2019-01-02 대한민국 뇌-기계 인터페이스 로봇 제어 시스템
US20200172091A1 (en) 2018-11-30 2020-06-04 International Business Machines Corporation Preemptive mitigation of collision risk

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5555495A (en) * 1993-10-25 1996-09-10 The Regents Of The University Of Michigan Method for adaptive control of human-machine systems employing disturbance response
KR101446845B1 (ko) 2012-12-14 2014-10-08 고려대학교 산학협력단 뇌파를 이용한 주행체 제어 방법, 장치 및 그 방법을 수행하기 위한 프로그램을 기록한 기록매체
US9405366B2 (en) * 2013-10-02 2016-08-02 David Lee SEGAL Systems and methods for using imagined directions to define an action, function or execution for non-tactile devices
KR101657128B1 (ko) * 2015-01-23 2016-09-13 한인석 음성 인식 구동 시스템을 갖는 전동 휠체어
WO2016165052A1 (en) * 2015-04-13 2016-10-20 Empire Technology Development Llc Detecting facial expressions
US10373143B2 (en) * 2015-09-24 2019-08-06 Hand Held Products, Inc. Product identification using electroencephalography
WO2017177128A1 (en) * 2016-04-08 2017-10-12 The Trustees Of Columbia University In The City Of New York Systems and methods for deep reinforcement learning using a brain-artificial intelligence interface
US10426370B2 (en) * 2016-11-26 2019-10-01 Limbitless Solutions, Inc. Electromyographic controlled vehicles and chairs
US11237635B2 (en) * 2017-04-26 2022-02-01 Cognixion Nonverbal multi-input and feedback devices for user intended computer control and communication of text, graphics and audio
US10532814B2 (en) * 2017-09-11 2020-01-14 Disney Enterprises, Inc. Augmented reality travel route planning
CA3087592A1 (en) * 2018-01-05 2019-07-11 Interaxon Inc. Wearable computing apparatus with movement sensors and methods therefor
KR102094863B1 (ko) * 2018-05-28 2020-03-30 한국과학기술연구원 입력 지연시간을 보상하는 이동로봇 제어 장치 및 방법
US20200205712A1 (en) * 2018-12-28 2020-07-02 X Development Llc Assessment of risk for major depressive disorder from human electroencephalography using machine learned model
WO2020204809A1 (en) * 2019-03-29 2020-10-08 Agency For Science, Technology And Research Classifying signals for movement control of an autonomous vehicle
US11858532B2 (en) * 2020-06-04 2024-01-02 Qualcomm Incorporated Gesture-based control for semi-autonomous vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017509523A (ja) * 2014-01-17 2017-04-06 バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト 車両搭乗者の要望に従って車両を動かす方法
KR101618186B1 (ko) * 2014-05-23 2016-05-04 대한민국 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템 및 제어방법
KR101934272B1 (ko) 2016-11-15 2019-01-02 대한민국 뇌-기계 인터페이스 로봇 제어 시스템
US20200172091A1 (en) 2018-11-30 2020-06-04 International Business Machines Corporation Preemptive mitigation of collision risk

Also Published As

Publication number Publication date
US20220004184A1 (en) 2022-01-06
KR20220005673A (ko) 2022-01-14
US11687074B2 (en) 2023-06-27

Similar Documents

Publication Publication Date Title
Carlson et al. Brain-controlled wheelchairs: a robotic architecture
Cao et al. A hybrid brain computer interface system based on the neurophysiological protocol and brain-actuated switch for wheelchair control
Tomari et al. Development of smart wheelchair system for a user with severe motor impairment
Barea et al. System for assisted mobility using eye movements based on electrooculography
Luth et al. Low level control in a semi-autonomous rehabilitation robotic system via a brain-computer interface
Achic et al. Hybrid BCI system to operate an electric wheelchair and a robotic arm for navigation and manipulation tasks
CN112017516B (zh) 一种远程血管介入手术训练系统
Ktena et al. A virtual reality platform for safe evaluation and training of natural gaze-based wheelchair driving
Fattouh et al. Emotional BCI control of a smart wheelchair
Chavarriaga et al. Anticipation-and error-related EEG signals during realistic human-machine interaction: A study on visual and tactile feedback
CN110956701A (zh) 生活辅助系统及生活辅助方法
Carlson et al. The birth of the brain-controlled wheelchair
KR102396163B1 (ko) 이동체 및 사람 간의 협력에 기반하여 이동체를 제어하는 방법 및 그에 따른 이동체의 제어 장치
Tang et al. A shared-control based BCI system: For a robotic arm control
CN102895093A (zh) 一种基于rgb-d传感器的助行机器人跟踪系统及方法
US11426878B2 (en) Method for controlling robot based on brain-computer interface and apparatus for controlling meal assistance robot thereof
CN113156861A (zh) 轮椅智能控制系统
Ashok High-level hands-free control of wheelchair–a review
Li et al. An egocentric computer vision based co-robot wheelchair
Pingali et al. Eye-gesture controlled intelligent wheelchair using Electro-Oculography
Naves et al. Virtual and augmented reality environment for remote training of wheelchairs users: Social, mobile, and wearable technologies applied to rehabilitation
Tang et al. Toward brain-actuated mobile platform
Zhao et al. SSVEP-based hierarchical architecture for control of a humanoid robot with mind
CN109483572B (zh) 一种基于家庭智能服务机器人控制系统及其控制方法
Rechy-Ramirez et al. Bi-modal human machine interface for controlling an intelligent wheelchair

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right