KR20200052209A - Apparatus and method for controlling wearable robot by detecting motion intention of users based on brain machine interface - Google Patents
Apparatus and method for controlling wearable robot by detecting motion intention of users based on brain machine interface Download PDFInfo
- Publication number
- KR20200052209A KR20200052209A KR1020190094424A KR20190094424A KR20200052209A KR 20200052209 A KR20200052209 A KR 20200052209A KR 1020190094424 A KR1020190094424 A KR 1020190094424A KR 20190094424 A KR20190094424 A KR 20190094424A KR 20200052209 A KR20200052209 A KR 20200052209A
- Authority
- KR
- South Korea
- Prior art keywords
- brain
- motion
- intention
- brain signal
- wearable robot
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A61B5/04012—
-
- A61B5/0476—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0006—Exoskeletons, i.e. resembling a human figure
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
Abstract
Description
본 발명은 뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 장치 및 방법에 관한 것이다.The present invention relates to a wearable robot control apparatus and method according to a motion intention detection based on a brain machine interface.
뇌-기계 인터페이스(Brain-machine interface) 기술은 사람의 뇌에서 일어나는 신경 세포들의 활동에 의해 발생하는 신호들을 측정하여 특정한 입력장치 없이 뇌 신호만으로 컴퓨터 및 기계와 같은 출력장치의 제어가 가능하게 하는 기술이다. 뇌-기계 인터페이스는 주로 신체부위의 동작 상상(Motor imagery, MI), 정상상태유발전위(Steady state evoked potential, SSEP), 사건유발전위(Event related potential, ERP) 등의 특정한 뇌 신호 패턴을 유도하여 사용자의 의도를 인식한다. 이러한 뇌-기계 인터페이스는 운동 능력에 장애가 있는 환자들에게 재활 보조 및 재활 훈련 장치로 사용될 수 있다. 특히, 로봇 기술이 발달함에 따라 인체에 착용되어 보행을 돕는 착용형 로봇이 개발되고 있다. 착용형 로봇은 특정한 입력 장치에 의하여 작동된다. 이러한 착용형 로봇이 뇌-기계 인터페이스 기술에 의해 특정한 입력장치 없이 작동될 수 있다. 하지만 착용형 로봇은 착용 후 움직임에 따라 뇌 신호에 왜곡이 일어나는 등 움직임 잡음 성분이 많이 포함되어 사용자의 의도를 인식하는데 어려움을 겪는다. 따라서 움직임 잡음을 효과적으로 제거할 수 있는 기술이 필요하다. 또한 재활 측면에 있어서, 동작 상상은 신경가소성을 증가시켜 뇌 영역의 치료를 돕는 효과가 규명되고 있다. Brain-machine interface technology is a technology that measures signals generated by the activity of nerve cells occurring in the human brain and allows control of output devices such as computers and machines using only brain signals without specific input devices. to be. The brain-machine interface mainly derives specific brain signal patterns such as motor imagery (MI), steady state evoked potential (SSEP), and event related potential (ERP). Recognize the user's intentions. This brain-machine interface can be used as a rehabilitation aid and rehabilitation training device for patients with mobility impairments. In particular, with the development of robot technology, wearable robots that are worn on the human body to help walking are being developed. The wearable robot is operated by a specific input device. Such wearable robots can be operated without specific input devices by means of brain-machine interface technology. However, the wearable robot has difficulty in recognizing the user's intention because it contains a lot of motion noise components, such as distortion in the brain signal according to movement after wearing. Therefore, there is a need for a technique capable of effectively removing motion noise. In addition, in terms of rehabilitation, the effect of imagining motion is increasing neuroplasticity and helping the treatment of brain regions.
그러나 현재 동작 상상 기술은 주로 왼손, 오른손, 발, 혀의 동작 상상만을 구별 가능하며, 특히 발의 동작 상상의 경우, 대뇌의 운동-감각 피질 구조상 오른발과 왼발의 동작 상상을 구별하지 못하는 한계가 있다. 직관적인 보행 로봇의 제어에서는 움직이는 해당 발의 움직임을 상상하거나 집중하는 등의 사용자 의도 검출이 필요하다. 따라서 효율적인 보행 재활에 있어 양 발의 개별적인 분류 기술이 필요하다.However, the current motion imagination technology is mainly able to distinguish only the motion imagination of the left hand, right hand, foot, and tongue, and in particular, in the case of the motion imagination of the foot, there is a limitation that it cannot distinguish the motion imagination of the right foot and the left foot due to the cerebral movement-sensory cortex structure. In the control of the intuitive walking robot, it is necessary to detect the user's intention, such as imagining or focusing on the movement of the corresponding foot. Therefore, in efficient walking rehabilitation, individual classification techniques of both feet are needed.
이와 관련하여 대한민국 특허등록 제10-0696275호(발명의 명칭: 뇌-기계 인터페이스 작동을 위한 무선 시스템 및 그의 제어방법)는 뇌 신호를 사용하여 움직임을 가진 기계 장치의 기능을 제어하는 종래 인터페이스를 개시하고 있다. 또한, 대한민국 특허등록 제10-1566788호(발명의 명칭: 하지기능 및 보행기능을 위한 뇌-컴퓨터 인터페이스를 기반한 기능적 전기자극치료기)는 뇌-기계 인터페이스를 기반으로 보행 재활 훈련 및 보행 보조를 하는 종래 기술을 개시하고 있으며, 대한민국 특허등록 제10-1656739호(발명의 명칭: 뇌파 기반의 착용형 로봇의 제어 장치 및 방법)는 뇌 신호를 사용하여 착용형 로봇을 제어하는 기술을 개시하고 있다. 또한, 대한민국 특허등록 제10-1518575호(발명의 명칭: BCI를 위한 사용자 의도인지 분석 방법)와 대한민국 특허공개 제10-2018-0036503호(발명의 명칭: 뇌 신호 기반 기기 제어를 위한 뇌-컴퓨터 인터페이스 장치 및 방법)는 사용자의 뇌 신호로부터 사용자의 의도를 분석하는 방법을 개시하고 있다. In this regard, Korean Patent Registration No. 10-0696275 (invention name: wireless system for brain-machine interface operation and control method thereof) discloses a conventional interface for controlling the function of a mechanical device having movement using brain signals. Doing. In addition, Republic of Korea Patent Registration No. 10-1566788 (Invention name: functional electric stimulation therapy device based on brain-computer interface for lower limb function and gait function) is based on the brain-machine interface for walking rehabilitation training and walking aid The technology is disclosed, and Korean Patent Registration No. 10-1656739 (Invention name: EEG-based wearable robot control device and method) discloses a technology for controlling a wearable robot using brain signals. In addition, Korea Patent Registration No. 10-1518575 (invention name: user intention analysis method for BCI) and Republic of Korea Patent Publication No. 10-2018-0036503 (invention name: brain-computer for brain signal-based device control) Interface device and method) discloses a method of analyzing a user's intention from a user's brain signal.
그러나 상기 언급된 기술들은 뇌 신호를 이용해 보행 장치를 제어하고, 뇌파를 이용해 사용자 의도를 분석하고 있으나, 직관적으로 의도를 구분하기 어렵다는 점에서 문제가 있다.However, the above-mentioned techniques control a gait device using brain signals and analyze user intentions using brain waves, but there are problems in that it is difficult to intuitively distinguish intentions.
특허 제10-0696275호의 경우는 뇌 신호를 이용하여 운동성을 가진 기계 장치를 원격으로 조정하기 위한 무선 원격 시스템과 그를 제어하는 방법으로써, 기계 장치의 방향 (전-후, 좌-우), 속도 및 다른 적절한 기능 (경적, 전조등, 엔진음 등)을 포함한다. 특허 제10-1566788호의 경우는 뇌-컴퓨터 인터페이스를 이용하여 환자가 하지 기능 및 보행 기능을 훈련하는 전기자극치료기로써, 환자의 재활 훈련을 보조하는 기술이다. 하지만 기계 장치와 직접적인 상호작용을 하는 착용형 로봇이 아니라는 점에서 직관적인 움직임에 따른 사용이 아니라는 점에서 한계가 있다.In the case of Patent No. 10-0696275, a wireless remote system for remotely controlling a motorized machine using a brain signal and a method for controlling the same, the direction of the machine (front-to-back, left-right), speed and Other appropriate functions (horn, headlight, engine sound, etc.) are included. In the case of Patent No. 10-1566788, it is an electric stimulator that trains the patient's lower extremity function and gait function using the brain-computer interface, and is a technology that assists the patient in rehabilitation training. However, there is a limitation in that it is not a wearable robot that directly interacts with a mechanical device and is not used according to an intuitive movement.
특허 제10-1656739호의 경우는 뇌 신호를 이용하여 착용형 로봇을 제어하는 장치 및 방법으로써, 기계가 움직일 때 발생하는 잡음을 제거하는 기술을 포함한다. 하지만 움직임을 직접적으로 상상하는 등 직관적인 태스크가 아니라는 점에서 한계가 있다. Patent No. 10-1656739 is a device and method for controlling a wearable robot using a brain signal, and includes a technique for removing noise generated when the machine moves. However, there is a limitation in that it is not an intuitive task such as imagining the movement directly.
특허 제10-1518575호의 경우는 뇌 신호를 이용하여 사용자의 의도를 분석하는 방법으로써, 사용자의 움직임 상상에 따라 나타나는 특징을 분석하고 그 의도를 파악하는 기술을 포함한다. 또한 특허 제10-2018-0036503호의 경우는 뇌 신호를 이용하여 복수의 사용자 의도를 분석하는 방법으로써, 기 수집된 데이터로 움직임 상상에 따라 나타나는 특징을 통해 복수의 분류기를 가진 분류기 앙상블 기술을 포함한다. 이 기술들은 왼손, 오른손, 발, 혹은 혀의 움직임 상상을 사용하여 사용자 의도를 분류하지만, 왼발, 오른발의 움직임 상상으로 의도를 구분하기 어렵다는 점에서 한계가 있다.Patent No. 10-1518575 is a method of analyzing a user's intention using a brain signal, and includes a technique of analyzing a feature appearing according to the user's movement imagination and grasping the intention. In addition, Patent No. 10-2018-0036503 is a method of analyzing a plurality of user intentions using a brain signal, and includes a classifier ensemble technology having a plurality of classifiers through features that appear according to motion imagination with pre-collected data. . These techniques classify the user's intentions using the left-hand, right-hand, foot, or tongue movement imagination, but have limitations in that it is difficult to distinguish the intention by the left- and right-foot movement imagination.
보다 직관적인 보행 제어를 위해서는 오른발과 왼발을 움직이고자 하는 의도를 구분하는 것이 중요하다. 따라서 뇌 신호에서 오른발 및 왼발의 움직임 의도 분류가 가능한 뇌 신호 기반 착용형 로봇 제어 시스템이 요구된다.For more intuitive walking control, it is important to distinguish the intention to move the right foot and the left foot. Therefore, there is a need for a wearable robot control system based on a brain signal capable of classifying the intention of the right foot and the left foot from the brain signal.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 착용형 로봇의 움직임에 따른 잡음을 제거하고, 사용자의 뇌 신호에서 오른발 및 왼발의 움직임 의도를 각각 분류하여 인식하고, 이에 따라 착용형 로봇을 제어하는 장치 및 방법을 제공하고자 한다.The present invention is to solve the above-described problems of the prior art, removes noise caused by the movement of the wearable robot, classifies and recognizes the motion intention of the right foot and the left foot in the brain signal of the user, and accordingly, the wearable robot It is intended to provide an apparatus and method for controlling the.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical problem to be achieved by the present embodiment is not limited to the technical problem as described above, and other technical problems may exist.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 컴퓨터 장치에 의해 수행되는, 뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 방법은 (a) 착용형 로봇을 착용한 사용자의 왼발과 오른발에 각각 다른 촉각 자극을 제시하는 단계; (b) 움직임 동작 상상과 촉각 자극에 의해 발현되는 사용자의 뇌 신호를 획득하는 단계; (c) 뇌 신호 및 뇌 신호 분류기에 기초하여 뇌 신호에 대응하는 움직임 의도를 판단하는 단계; (d) 각 움직임에 대한 뇌 신호 분류기의 출력 값 및 움직임 의도를 사용자가 확인하도록 제어 명령 수신기에 전달하는 단계; 및 (e) 착용형 로봇이 움직임 의도에 대응하는 기능을 수행하도록 제어 명령 수신기에 의해 착용형 로봇의 양발, 보행 속도 및 보행 보폭을 제어하는 단계를 포함하되, 뇌 신호 분류기는, 사용자로부터 기수집된 뇌 신호에 기초하여 생성된 움직임 잡음 분류기, 보행 시작 의도 분류기 및 움직임 의도 분류기를 포함하고, 뇌 신호를 입력으로 통과시켜 움직임 의도가 복수의 움직임 중 어느 하나인지를 판단한다. As a technical means for achieving the above technical problem, the wearable robot control method according to the motion intention detection based on the brain machine interface, which is performed by the computer device according to the first aspect of the present invention, comprises (a) a wearable robot. Presenting different tactile stimuli to the left and right feet of the worn user; (b) acquiring a brain signal of a user expressed by motion imagination and tactile stimulation; (c) determining a motion intention corresponding to the brain signal based on the brain signal and the brain signal classifier; (d) passing the output value and the intention of movement of the brain signal classifier for each movement to a control command receiver for the user to confirm; And (e) controlling the wearable robot's lift, gait speed and gait stride by a control command receiver so that the wearable robot performs a function corresponding to the intention of movement, wherein the brain signal classifier collects signals from the user. It includes a motion noise classifier, a walking start intention classifier, and a motion intention classifier generated based on the generated brain signal, and determines whether the motion intention is one of a plurality of motions by passing the brain signal as an input.
또한, 본 발명의 제 2 측면에 따른 뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 장치는 움직임 의도 검출에 따른 착용형 로봇 제어 프로그램이 저장된 메모리, 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하되, 프로세서는 프로그램의 실행에 따라, 착용형 로봇을 착용한 사용자의 왼발과 오른발에 각각 다른 촉각 자극을 제시하고, 움직임 동작 상상과 촉각 자극에 의해 발현되는 사용자의 뇌 신호를 획득하고, 뇌 신호 및 뇌 신호 분류기에 기초하여 뇌 신호에 대응하는 움직임 의도를 판단하고, 각 움직임에 대한 뇌 신호 분류기의 출력 값 및 움직임 의도를 사용자가 확인하도록 제어 명령 수신기에 전달하고, 착용형 로봇이 움직임 의도에 대응하는 기능을 수행하도록 제어 명령 수신기에 의해 착용형 로봇의 양발, 보행 속도 및 보행 보폭을 제어하되, 뇌 신호 분류기는, 사용자로부터 기수집된 뇌 신호에 기초하여 생성된 움직임 잡음 분류기, 보행 시작 의도 분류기 및 움직임 의도 분류기를 포함하고, 뇌 신호를 입력으로 통과시켜 움직임 의도가 복수의 움직임 중 어느 하나인지를 판단한다. In addition, the wearable robot control apparatus according to the motion intention detection based on the brain machine interface according to the second aspect of the present invention includes a memory in which the wearable robot control program according to the motion intention detection is stored, and a processor for executing a program stored in the memory. Included, but the processor, according to the execution of the program, presents different tactile stimuli to the left and right feet of the user wearing the wearable robot, acquires the brain signals of the user expressed by imagination and tactile stimulation, The motion intention corresponding to the brain signal is determined based on the signal and the brain signal classifier, and the output value and the motion intention of the brain signal classifier for each motion are transmitted to the control command receiver to be confirmed by the user, and the wearable robot moves. The amount of wearable robot by the control command receiver to perform the function corresponding to , Controlling the walking speed and the walking stride, the brain signal classifier includes a motion noise classifier, a walking start intention classifier and a motion intention classifier generated based on a brain signal collected from a user, and passes a brain signal as an input It is determined whether the movement intention is one of a plurality of movements.
본 발명은 뇌-기계 인터페이스 기반의 착용형 로봇을 제어함에 있어 사용자가 오른발 및 왼발을 각각 제어 가능하게 한다. 이는 착용형 로봇의 사용자에게 다양한 보행이 가능하게 한다. 이를 통해 하지 마비 환자들의 재활 훈련에서 더욱 다양한 훈련 방법으로써 적용이 가능하며, 보다 능동적이고 참여율이 높은 하지 재활 훈련이 가능하다. The present invention enables the user to control the right foot and the left foot, respectively, in controlling the wearable robot based on the brain-machine interface. This enables various walking to the user of the wearable robot. Through this, it can be applied as a more diverse training method in the rehabilitation training of patients with paralysis of the lower limbs, and a more active and high participation rate of the lower limb rehabilitation is possible.
또한, 본 발명은 뇌 신호를 사용하기 때문에 환자들뿐만이 아니라 정상인을 대상으로 하는 뇌-기계 인터페이스 기반의 다양한 응용 기술로서 사용이 가능하다.In addition, because the present invention uses brain signals, it can be used as a variety of application technologies based on brain-machine interfaces targeting not only patients but also normal people.
도 1은 본 발명의 일 실시예에 따른 뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 움직임 의도 검출에 따른 착용형 로봇 제어 시스템의 세부 구성 요소를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 뇌 신호 처리부의 각 단계 별 분류기 및 분류되는 클래스를 도시한 구성도이다.
도 4는 본 발명의 일 실시예에 따른 뇌 신호 처리부의 학습 과정을 설명하기 위한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 뇌 신호 처리부의 실사용 과정을 설명하기 위한 순서도이다.
도 6은 본 발명의 일 실시예에 따른 잡음 제거부의 움직임 잡음 제거 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 움직임 의도 검출부의 구성을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 다리 움직임 인식부의 분석 과정과 인식된 보행 속도 및 보행 보폭의 예를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 방법을 설명하기 위한 순서도이다.1 is a block diagram of a wearable robot control system according to motion intention detection based on a brain machine interface according to an embodiment of the present invention.
2 is a view showing detailed components of a wearable robot control system according to motion intention detection according to an embodiment of the present invention.
3 is a block diagram showing a classifier and a class for each step of the brain signal processing unit according to an embodiment of the present invention.
4 is a flow chart for explaining the learning process of the brain signal processing unit according to an embodiment of the present invention.
5 is a flow chart for explaining the actual use process of the brain signal processing unit according to an embodiment of the present invention.
6 is a view for explaining a method for removing motion noise in a noise removing unit according to an embodiment of the present invention.
7 is a view for explaining the configuration of the motion intention detection unit according to an embodiment of the present invention.
8 is a view for explaining an example of the analysis process of the leg motion recognition unit and the recognized walking speed and walking stride according to an embodiment of the present invention.
9 is a flowchart illustrating a wearable robot control method according to a motion intention detection based on a brain machine interface according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art to which the present invention pertains may easily practice. However, the present invention can be implemented in many different forms and is not limited to the embodiments described herein. In addition, in order to clearly describe the present invention in the drawings, parts irrelevant to the description are omitted, and like reference numerals are assigned to similar parts throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is "connected" to another part, this includes not only "directly connected" but also "electrically connected" with another element in between. . Also, when a part “includes” a certain component, this means that other components may be further included, rather than excluding other components, unless otherwise specified.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.In the present specification, the term “unit” includes a unit realized by hardware, a unit realized by software, and a unit realized by using both. Further, one unit may be realized by using two or more hardware, and two or more units may be realized by one hardware. Meanwhile, '~ unit' is not limited to software or hardware, and '~ unit' may be configured to be in an addressable storage medium or may be configured to play one or more processors. Thus, as an example, '~ unit' refers to components such as software components, object-oriented software components, class components and task components, processes, functions, attributes, and procedures. , Subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, database, data structures, tables, arrays and variables. The functions provided within components and '~ units' may be combined into a smaller number of components and '~ units', or further separated into additional components and '~ units'. In addition, the components and '~ unit' may be implemented to play one or more CPUs in the device or secure multimedia card.
이하에서 언급되는 "시스템"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함한다. The "system" mentioned below may be implemented as a computer or a portable terminal capable of accessing a server or another terminal through a network. Here, the computer includes, for example, a laptop equipped with a web browser (WEB Browser), a desktop (desktop), a laptop (laptop), and the like.
휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치이고, 예를 들어 스마트 폰, 태블릿 PC 또는 노트북 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치일 수 있다. The portable terminal is, for example, a wireless communication device that guarantees portability and mobility, and may be, for example, a handheld-based wireless communication device of any kind, such as a smart phone, a tablet PC, or a laptop.
또한, 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.In addition, the network means a connection structure capable of exchanging information between each node such as terminals and servers, and a local area network (LAN), a wide area network (WAN), and the Internet (WWW) : World Wide Web), wired and wireless data communication networks, telephone networks, and wired and wireless television communication networks. Examples of wireless data communication networks include 3G, 4G, 5G, 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), World Interoperability for Microwave Access (WIMAX), Wi-Fi, Bluetooth communication, infrared communication, ultrasound Communication, Visible Light Communication (VLC), LiFi, and the like are included, but are not limited thereto.
한편, 착용형 로봇은 기존의 재활치료사들을 대체 가능하며, 정량적인 보행 훈련이 가능하여 훈련강도 및 방법 등의 다양한 재활 훈련을 가능하게 한다. 이에 따라 최근 하지 마비환자들의 보행 재활 훈련에서 착용형 하지 보행 로봇이 사용되고 있다. On the other hand, the wearable robot can replace existing rehabilitation therapists and quantitative gait training enables various rehabilitation training such as training intensity and method. Accordingly, recently, wearable lower limb walking robots have been used in gait rehabilitation training for paralyzed patients.
또한, 뇌-기계 인터페이스 분야에서 뇌 신호를 기반으로 하여 착용형 로봇을 제어하는 시도들이 증가하고 있다. 이는 사용자의 움직이고자 하는 의도를 이용하여 착용형 로봇을 제어함으로써 뇌의 신경가소성을 증가 시키는 효과가 있다.Also, in the field of brain-machine interface, attempts to control a wearable robot based on brain signals are increasing. This has the effect of increasing the neuroplasticity of the brain by controlling the wearable robot using the user's intention to move.
이하에서는 두피에서 뇌파를 측정하여 신호처리 과정을 거쳐 사용자의 보행 의도를 인식하여 착용형 로봇을 제어할 수 있는 시스템을 구체적으로 설명하도록 한다. Hereinafter, a system capable of controlling a wearable robot by recognizing a user's walking intention through a signal processing process by measuring brain waves on the scalp will be described in detail.
도 1은 본 발명의 일 실시예에 따른 뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 시스템의 블록도이다.1 is a block diagram of a wearable robot control system according to motion intention detection based on a brain machine interface according to an embodiment of the present invention.
도 1을 참조하면 본 발명의 일 실시예에 따른 뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 시스템은 양발 움직임의 의도 검출을 위한 구별적인 뇌파를 유도하기 위해 사용자의 왼발 및 오른발에 각각 부착되어 각기 다른 특정 주파수 진동을 발생시키는 촉각 자극 제시부(10), 발 움직임 동작 상상 및 발 촉각 자극에 의해 발현되는 뇌 신호와 움직임 잡음을 측정하는 뇌 신호 수집부(20), 사용자의 움직임 의도를 검출하기 위해 발 움직임 동작 상상과 발 촉각 자극에 의해 발현되는 뇌 신호를 분석하고 의도를 검출하는 뇌 신호 처리부(30) 및 사용자 의도에 따라 착용형 로봇의 양발과 보행 속도 및 보행 보폭을 제어하기 위한 제어부(40)를 포함한다.Referring to FIG. 1, a wearable robot control system based on brain machine interface-based motion intention detection according to an embodiment of the present invention is provided to each of the user's left and right feet to induce distinct brain waves for detection of intention of both movements. A tactile
따라서, 본 발명은 착용형 로봇이 움직임에 따라 발생하는 잡음 성분을 제거해 뇌 신호를 명확히 할 수 있고, 사용자의 오른발과 왼발의 움직임에 대한 의도를 각각 검출하여 착용형 로봇을 제어할 수 있다는 효과가 있다. Therefore, the present invention has the effect that the wearable robot can control the wearable robot by removing the noise component generated by the movement to clarify the brain signal, and detecting the intention of the user's right and left feet, respectively. have.
이하에서는 본 발명의 일 실시예에 따른 움직임 의도 검출에 따른 착용형 로봇 제어 시스템에 대하여 구체적으로 설명하도록 한다.Hereinafter, a wearable robot control system according to motion intention detection according to an embodiment of the present invention will be described in detail.
도 2는 본 발명의 일 실시예에 따른 움직임 의도 검출에 따른 착용형 로봇 제어 시스템의 세부 구성 요소를 도시한 도면이다.2 is a view showing detailed components of a wearable robot control system according to motion intention detection according to an embodiment of the present invention.
도 2를 참조하면, 촉각 자극 제시부(10)는 착용형 로봇을 착용한 사용자의 왼발과 오른발에 각각 다른 촉각 자극을 제시한다. 예를 들어, 촉각 자극 제시부(10)는 각각 다른 특정 주파수로 진동하는 두 개의 촉각 자극기가 오른발과 왼발에 각각 부착되도록 구성될 수 있다. Referring to FIG. 2, the tactile
예시적으로, 도 2에 도시된 것처럼, 촉각 자극 제시부(10)는 사용자의 뇌 신호에서 왼발과 오른발에 대한 뇌 신호(특정 주파수 대역)를 유발하기 위한 촉각 자극을 제시하는 역할을 한다. 예를 들어, 촉각 자극은 사용자의 양 발 또는 하지의 체감각 영역에 패드 형상의 촉각 자극기가 각각 부착되어 진동 형태로 제시될 수 있다. 이때 촉각 자극기는 특정 주파수로 일정하게 진동하거나 특정 주파수 패턴으로 변화하도록 진동할 수 있으며, 각기 다른 발에 부착한 촉각 자극의 진동수는 동일하지 않도록 한다. 즉, 촉각 자극 제시부(10)는 사용자의 양 발에 촉각 자극을 발생시키는 장치를 부착하여 사용자의 하지 움직임 상상을 편리하게 하도록 도울 수 있다. 또한 하지의 움직임 동작 상상에 관한 뇌 신호와 촉각 자극에 의해 발현되는 뇌 신호의 발생 시, 진동 자극에 대한 정보(가속도 신호)를 반영하여 사용자가 의도하고 있는 발을 정확하게 추정할 수 있다.For example, as illustrated in FIG. 2, the tactile
뇌 신호 수집부(20)는 움직임 동작 상상과 촉각 자극에 의해 발현되는 사용자의 뇌 신호를 획득한다. 구체적으로, 뇌 신호 수집부(20)는 하지의 움직임 동작 상상에 따른 뇌 신호와 촉각 자극 제시부(10)의 진동(촉각 자극)에 따른 뇌 신호를 수집할 수 있다. 즉, 뇌 신호는 착용형 로봇(40-3)의 움직임에 의해 발생되는 움직임 잡음을 포함하며, 움직임 동작 상상에 따라 획득된 제1 뇌 신호와 촉각 자극에 따라 획득된 제2 뇌 신호로 구성될 수 있다. 구체적으로, 뇌 신호는 사용자의 움직임 동작 상상 및 촉각 자극에 대한 뇌 신호와 착용형 로봇(40-3)의 움직임에 따른 잡음 성분이 포함된다. 뇌 신호는8~16 Hz 범위(동작 상상 범위)와 촉각 자극의 주파수 범위를 포함하여 대역 통과 필터링되며, 전원 잡음을 제거하기 위해 노치 필터(notch filter)가 사용된다.The brain
예시적으로, 도 2에 도시된 것처럼, 뇌 신호 수집부(20)는 착용형 로봇(40-3)에 적용하기 위해 무선 통신을 이용하는 뇌 신호 무선 전송기(20-1) 및 뇌 신호 무선 수신기(20-2)를 포함할 수 있다. 뇌 신호 무선 전송기(20-1)는 사용자로부터 제1 및 제2 뇌 신호와 참조 신호를 수집하여 후술하는 뇌 신호 처리부(30)와 연결된 뇌 신호 무선 수신기(20-2)로 전송할 수 있다. 여기서, 참조 신호는 착용형 로봇(40-3)의 가속도 또는 각속도를 측정하는 센서로부터 측정한 값일 수 있다. 일 예로, 뇌 신호 수집부(20)는 뇌전도(Electroencephalogram, EEG)를 이용하여 사용자의 오른발 및 왼발의 동작 상상에 대한 제1 뇌 신호와 촉각 자극에 대한 제2 뇌신호, 착용형 로봇(40-3)에 의한 움직임 잡음 및 움직임에 따른 가속도(또는 각속도) 센서의 데이터를 수집할 수 있다. For example, as illustrated in FIG. 2, the brain
또한 뇌 신호 수집부(20)는 국제 10-20 전극 배치 방법에 따라 두정엽(Parietal lobe)의 3개의 채널(C1, Cz, C2)을 가능한 포함하도록 32, 64, 128 및 256개의 전극이 대뇌 양반구 위에 거의 같은 간격으로 배치될 수 있으나 이에 한정된 것은 아니다. 또한 샘플링 주파수는 1000Hz의 주파수로 뇌 신호를 수집할 수 있다. 그러나, 채널 위치 또는 샘플링 주파수는 고정된 것은 아니며 상황에 따라 변동될 수 있다.In addition, the brain
예를 들면, 사용자는 하지의 오른발 또는 왼발의 움직임을 동작 상상하거나, 촉각 자극을 받을 수 있으며, 뇌 신호 수집부(20)는 이와 같은 뇌 신호(제1 및 제2 뇌신호)를 수집할 수 있다. For example, the user can imagine the motion of the right or left foot of the lower extremity or receive tactile stimulation, and the brain
뇌 신호 처리부(30)는 뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 장치를 구성하며, 뇌 신호 및 뇌 신호 분류기에 기초하여 뇌 신호에 대응하는 움직임 의도를 판단움직임 의도 검출에 따른 착용형 로봇 제어 프로그램이 저장된 메모리, 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함한다. 여기서, 프로세서는 프로그램의 실행에 따라, 다양한 기능을 수행할 수 있는 데, 각 기능에 따라 프로세서에 포함되는 세부 모듈들을 잡음 제거부(310), 보행 시작 의도 검출부(320), 움직임 의도 검출부(330) 및 다리 움직임 인식부(340)로 나타낼 수 있다.The brain
또한 프로세서는 뇌 신호(제1 및 제2 뇌 신호) 및 뇌 신호 분류기에 기초하여 뇌 신호에 대응하는 움직임 의도를 판단할 수 있다. 여기서 뇌 신호 분류기는, 사용자로부터 기수집된 뇌 신호에 기초하여 생성된 움직임 잡음 분류기, 보행 시작 의도 분류기 및 움직임 의도 분류기를 포함하고, 뇌 신호를 입력으로 통과시켜 움직임 의도가 복수의 움직임 중 어느 하나인지를 판단할 수 있다.In addition, the processor may determine a motion intention corresponding to the brain signal based on the brain signal (first and second brain signals) and the brain signal classifier. Here, the brain signal classifier includes a motion noise classifier, a walking start intention classifier, and a motion intention classifier generated based on a brain signal collected from a user, and the intention to move is one of a plurality of movements by passing a brain signal as an input. You can judge cognition.
도 3은 본 발명의 일 실시예에 따른 뇌 신호 처리부(30)의 각 단계 별 분류기 및 분류되는 클래스를 도시한 구성도이다.3 is a block diagram showing a classifier and a class for each step of the brain
도 3을 참조하면, 뇌 신호 분류기(31)는 뇌 신호 데이터가 움직임 잡음 분류기(311), 보행 시작 의도 분류기(321) 및 움직임 의도 분류기(331) 순으로 직렬로 통과하도록 생성될 수 있다. 예시적으로, 움직임 잡음 분류기(311)는 입력된 뇌 신호 데이터를 잡음/뇌 신호 클래스로 분류할 수 있다. 보행 시작 의도 분류기(321)는 보행 시작/ 멈춤 클래스로 분류할 수 있다. 움직임 의도 분류기(331)는 왼발/오른발 클래스로 분류할 수 있다.Referring to FIG. 3, the
도 4는 본 발명의 일 실시예에 따른 뇌 신호 처리부(30)의 학습 과정을 설명하기 위한 순서도이다.4 is a flow chart for explaining the learning process of the brain
도 4를 참조하면, 뇌 신호 처리부(30)는 기 수집된 제1 및 제2 뇌 신호에서 움직임 잡음을 걸음 단위 기반으로 템플릿을 구성하여 움직임 잡음 분류기(311)를 학습할 수 있다(S410). 이어서, 기 수집된 제1 뇌 신호를 공통 공간 패턴 알고리즘을 이용하여 특징을 추출하고, 기계학습 알고리즘을 통해 보행 시작 의도 분류기(321)를 학습할 수 있다(S420). 다음으로, 기 수집된 제1 뇌 신호를 시간-주파수 패턴을 이용하여 특징벡터를 생성하고, 제2 뇌 신호를 자극의 주파수 패턴을 이용하여 특징벡터를 생성하고, 추출된 두 특징을 결합한 하나의 특징벡터에 기초하여 기계학습 알고리즘을 통해 움직임 의도 분류기(331)를 학습할 수 있다(S430). 즉, 뇌 신호 처리부(30)는 상술한 학습 과정을 통해 도 3에 도시된 각 클래스로 분류하는 뇌 신호 분류기(31)를 형성할 수 있다. 또한, 후술하는 도 5를 참조하면 뇌 신호 처리부(30)는 실사용 과정을 통해 실시간으로 수집되는 제1 및 제2 뇌 신호에 대해 기 학습된 뇌 신호 분류기(31)를 이용하여 클래스를 분류할 수 있다. 즉, 각 기능을 수행하는 잡음 제거부(310), 보행 시작 의도 검출부(320), 움직임 의도 검출부(330) 및 다리 움직임 인식부(340)가 뇌 신호 분류기(31)를 이용하여 실시간으로 수집되는 제1 및 제2 뇌 신호를 각 클래스로 분류할 수 있다.Referring to FIG. 4, the brain
도 5는 본 발명의 일 실시예에 따른 뇌 신호 처리부(30)의 실사용 과정을 설명하기 위한 순서도이다.5 is a flowchart illustrating a practical use process of the brain
도 5를 참조하면, 뇌 신호 처리부(30)는 뇌 신호에 대응하는 움직임 의도를 판단하는 경우 잡음 제거부(310)를 통해 참조 신호에 기초하여 제1 및 제 2 뇌 신호로부터 움직임 잡음을 제거할 수 있다(S510). 이어서 보행 시작 의도 검출부(320)를 통해 제1 뇌 신호에 기초하여 보행 시작 의도를 검출할 수 있다(S520). 또한 움직임 의도 검출부(330)를 통해 제1 및 제2 뇌 신호의 특징을 결합하여 움직임 의도를 검출할 수 있다(S530). 다음으로, 다리 움직임 인식부(340)를 통해 제1 뇌 신호의 변화 주기 및 강도에 기초하여 보행 속도 및 보행 보폭을 결정하고, 착용형 로봇의 다리 움직임을 인식할 수 있다(S540).Referring to FIG. 5, when determining a motion intention corresponding to a brain signal, the brain
예시적으로, 수집된 뇌 신호는 착용형 로봇의 움직임으로 인해 잡음성분이 포함된다. 이에 따라 S510단계에서 잡음 제거부(310)는 사용자의 움직임 의도를 명확하게 검출하기 위해, 수집된 뇌 신호(제1 및 제2 뇌 신호)에서 걸음 단위 기반으로 시간-주파수 특징을 이용한 전처리를 수행하여 움직임 잡음 분류기(311)를 통해 학습하고 불필요한 움직임 잡음을 제거할 수 있다. S520단계에서 보행 시작 의도 검출부(320)는 사용자의 발 움직임 동작 상상 시에 발현되는 뇌 신호(제1 뇌 신호)를 통해 보행 시작 의도 분류기(321)를 학습하고, 공통 공간 패턴(Common spatial pattern) 알고리즘을 통해 공간 정보를 분석하여 하지의 움직임 시작 의도가 발생하는 것을 인식할 수 있다. S530단계에서 움직임 의도 검출부(330)는 발 움직임 동작 상상 시에 발현되는 뇌 신호(제1 뇌 신호)와 촉각 자극의 집중 시에 발현되는 뇌 신호(제2 뇌 신호)를 통해 시간-주파수 분석과 자극의 주파수를 분석하여 움직임 의도 분류기(331)를 학습하고, 움직임 의도를 검출할 수 있다. S540단계에서 다리 움직임 인식부(340)는 왼발 또는 오른발의 움직임 동작 상상 시에 발현되는 뇌 신호(제1 뇌 신호)의 의도가 변화하는 시간(동작 상상을 수행하는 시간에 따른 주파수의 주기 및 변환 시점)과 움직임 동작 상상의 강도 세기의 특징을 이용해서 보행 속도와 보행 보폭의 의도를 인식할 수 있다. For example, the collected brain signal includes noise components due to the movement of the wearable robot. Accordingly, in step S510, the
따라서, 뇌 신호 처리부(30)는 시간 영역의 뇌 신호를 주파수 영역으로 변환하여 양 발에 부착한 촉각 자극의 진동수에 대한 주파수 특징과 동작 상상에 의한 뇌 신호의 시간-주파수 특징을 통해 사용자가 움직이고자 하는 특정 하지의 의도를 인식할 수 있다. Accordingly, the brain
이하에서는 도 6 내지 도 8을 참조하여 뇌 신호 및 뇌 신호 분류기(31)에 기초하여 뇌 신호에 대응하는 움직임 의도를 판단하는 각 단계를 구체적으로 설명하도록 한다. Hereinafter, each step of determining a motion intention corresponding to a brain signal based on the brain signal and the
도 6은 본 발명의 일 실시예에 따른 잡음 제거부(310)의 움직임 잡음 제거 방법을 설명하기 위한 도면이다.6 is a view for explaining a method of removing motion noise of the
일 예로, 잡음 제거부(310)는 독립성분 분석(C-ICA)을 통해 근전도(Electromyography, EMG), 안구 움직임(Electro- oculography, EOG) 또는 눈 깜빡임 등에 의한 내부 잡음 성분을 제거하고, 특정 주파수 대역으로 필터링 하는 등의 전처리 과정을 진행할 수 있다. 이때 착용형 로봇의 움직임에 의해 발생되는 움직임 잡음은 뇌 신호를 왜곡시켜 사용자의 의도를 인식하는데 어려움을 주기 때문에 전처리 과정에서 제거해야 한다.For example, the
도 6을 참조하면 S510단계에서, 잡음 제거부(310)는 제1 및 제2 뇌 신호와 참조 신호로부터 내부 잡음 성분을 제거하고, 특정 주파수 대역으로 필터링하는 전처리를 수행할 수 있다. 이어서, 참조 신호를 이용한 제약적 독립성분 분석(Constrained independent component analysis, C-ICA)을 통해 제1 및 제2 뇌 신호로부터 추정된 움직임 잡음을 추출할 수 있다. 다음으로, 적응형 필터(Adaptive filter)를 통해 제1 및 제2 뇌 신호로부터 추정된 움직임 잡음을 제거하여 잡음이 제거된 제1 및 제2 뇌 신호를 획득할 수 있다.Referring to FIG. 6, in operation S510, the
예시적으로, 뇌 신호 처리부(30)는 뇌 신호를 측정할 때 생체 신호가 아닌 가속도 센서 등의 신호를 참조 신호로 측정하며, 이와 같은 가속도 신호가 움직임의 신호를 대표하는 참조 신호의 역할을 한다. 이에 따라, 잡음 제거부(310)는 참조 신호를 이용하여 제약적 독립성분 분석(C-ICA)으로 제1 및 제2 뇌 신호로부터 움직임 잡음을 추정하여 추출할 수 있다. 그리고 적응형 필터를 이용하여 움직임 잡음으로 추정된 제1 및 제2 뇌 신호로부터 잡음을 제거할 수 있다. For example, when measuring the brain signal, the brain
S520단계에서, 보행 시작 의도 검출부(320)는 제1 뇌 신호를 공통 공간 패턴 알고리즘을 이용하여 특징을 추출하고, 기 학습된 보행 시작 의도 분류기(321)를 이용하여 사용자의 보행 시작 의도를 검출할 수 있다.In step S520, the walking start
예시적으로, 보행 시작 의도 검출부(320)는 사용자가 보행을 시작할 지에 대한 의도를 검출하기 위해, 먼저 기 수집된 제1 및 제 2뇌 신호를 이용해 보행 시작 의도 분류기(321)를 학습한다. 이때, 동작 상상을 통해 발현되는 뇌파의 특징을 공통 공간 패턴을 이용하여 추출하고, 기계학습 기반의 알고리즘으로 보행 시작 의도 분류기(321)를 학습할 수 있다. 여기서 사용자의 보행 시작 의도를 분류하기 위한 보행 시작 의도 분류기(321)로써, 선형판별분석법(Linear discriminant analysis, LDA), 가우시안 혼합 모델(Gaussian Mixture Model, GMM), 서포트벡터머신(Support vector machine, SVM), 인공신경망(Artificial neural networks, ANN), 및 합성곱 신경망 (Convolutional neural networks, CNN) 중 적어도 하나를 적용할 수 있다. 이후, 보행 시작 의도 검출부(320)는 실시간으로 수신되는 제1 및 제2 뇌 신호에 공통 공간 패턴 알고리즘을 적용하여 발 움직임 상상 특징을 추출하고, 기 학습된 보행 시작 의도 분류기(321)를 이용하여 사용자의 보행 시작 의도를 검출할 수 있다. 보행 시작 의도 분류기(321)는 기 수집된 제1 뇌 신호를 공통 공간 패턴 알고리즘을 이용하여 특징을 추출하고, 전술한 기계학습 알고리즘을 통해 학습될 수 있다.For example, the gait start
도 7은 본 발명의 일 실시예에 따른 움직임 의도 검출부(330)의 구성을 설명하기 위한 도면이다.7 is a view for explaining the configuration of the motion
도 7을 참조하면 S530단계에서, 움직임 의도 검출부(330)는 제1 뇌 신호를 시간-주파수 패턴으로 추출한 특징과, 제2 뇌 신호를 주파수 패턴으로 추출한 특징을 결합하고, 기 학습된 움직임 의도 분류기(331)를 이용하여 사용자의 움직임 의도를 검출할 수 있다.Referring to FIG. 7, in step S530, the motion
예시적으로, 도 7에 도시된 것처럼, 움직임 의도 검출부(330)는 사용자의 보행 의도가 감지되면, 왼발과 오른발의 움직이는 의도를 검출하기 위해, 먼저 기 수집된 동작 상상에 의해 발현되는 제1 뇌 신호를 시간-주파수 패턴을 이용하여 특징벡터를 생성하고(S531-1), 기 수집된 촉각 자극 집중에 의해 발현되는 제2 뇌 신호를 자극의 주파수 패턴을 이용하여 특징벡터를 생성할 수 있다(S531-2). 이때 시간-주파수 패턴은 웨이블렛 변환(Wavelet transform) 또는 단시간 푸리에 변환(Short-term fourier transform)으로 추출할 수 있고, 주파수 패턴은 푸리에 변환(Fourier transform)으로 추출할 수 있다. 그리고 추출된 두 특징을 결합하여 하나의 특징벡터로 형성하고(S532), 이를 이용하여 기계학습 기반의 움직임 의도 분류기(331)를 학습하고, 각 클래스로 분류하여 왼발 및 오른발에 대한 사용자의 움직임 의도를 검출할 수 있다(S533). 이후, 움직임 의도 검출부(330)는 실시간으로 수신되는 제1 뇌 신호를 시간-주파수 패턴으로 추출한 특징과, 실시간으로 수신되는 제2 뇌 신호를 주파수 패턴으로 추출한 특징을 결합하고, 기 학습된 움직임 의도 분류기(331)를 이용하여 사용자의 움직임 의도를 검출할 수 있다. 움직임 의도 분류기(331)는 기 수집된 제1 뇌 신호를 시간-주파수 패턴을 이용하여 특징벡터를 생성하고, 제2 뇌 신호를 자극의 주파수 패턴을 이용하여 특징벡터를 생성하고, 추출된 두 특징을 결합한 하나의 특징벡터에 기초하여 기계학습 알고리즘을 통해 학습될 수 있다.For example, as illustrated in FIG. 7, when the user's walking intention is detected, the motion
도 8은 본 발명의 일 실시예에 따른 다리 움직임 인식부(340)의 분석 과정과 인식된 보행 속도 및 보행 보폭의 예를 설명하기 위한 도면이다. 8 is a view for explaining an example of the analysis process of the leg
도 8을 참조하면 S540단계에서, 다리 움직임 인식부(340)는 제1 뇌 신호의 지속 시간과 변화하는 시간을 포함하는 주파수의 주기에 따라 특징을 추출하여 보행 속도로 결정하고, 제1 뇌 신호의 강도에 따라 특징을 추출하여 보행 보폭을 결정할 수 있다. Referring to FIG. 8, in step S540, the leg
예시적으로, 도8에 도시된 것처럼, 다리 움직임 인식부(340)는 동작 상상을 통해 발현되는 제1 뇌 신호의 지속 시간과 변화하는 시간 및 신호 강도를 특징으로 이용하여 다리 움직임을 인식할 수 있다. 즉, 다리 움직임은 보행 속도와 보행 보폭에 의해 결정되는데, 보행 속도(주파수의 주기)는 오른발과 왼발 움직임 상상의 의도가 변화하는 시간을 통해 인식될 수 있고, 걸음의 보폭(주파수의 진폭)은 오른발과 왼발에 대한 움직임 상상의 집중 강도를 통해 인식될 수 있다.For example, as illustrated in FIG. 8, the leg
다시 도 2를 참조하면 제어부(40)는 뇌 신호 처리부(30)에 의해, 입력된 다리 움직임에 대한 명령을 무선으로 송/수신하는 제어 명령 전송기(40-1) 및 제어 명령 수신기(40-2)를 포함한다. 구체적으로 제어부(40)는 각 움직임에 대한 뇌 신호 분류기의 출력 값 및 움직임 의도를 사용자가 확인하도록 제어 명령 수신기(40-2)에 전달한다. 또한 착용형 로봇(40-3)이 사용자의 움직임 의도에 대응하는 기능을 수행하도록 제어 명령 수신기(40-2)가 착용형 로봇의 양발, 보행 속도 및 보행 보폭을 제어할 수 있다. 즉, 제어부(40)는 뇌 신호 처리부(30)로부터 도출된 각 발의 보행 속도 및 보행 보폭을 포함하는 인식 결과에 따라 착용형 로봇(40-3)에 명령을 전송하고, 착용형 로봇(40-3)이 인식된 특정 하지의 움직임으로 동작할 수 있다. Referring back to FIG. 2, the
이하의 방법은, 상술한 시스템에 의해 수행되는 것이므로, 이하에서 생략된 내용이 있더라도 상술한 설명으로 갈음하도록 한다. Since the following method is performed by the above-described system, it will be replaced with the above-described description even if there is content omitted below.
도 9는 본 발명의 일 실시예에 따른 뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 방법을 설명하기 위한 순서도이다.9 is a flowchart illustrating a wearable robot control method according to a motion intention detection based on a brain machine interface according to an embodiment of the present invention.
도 9를 참조하면 본 발명은 착용형 로봇을 착용한 사용자의 왼발과 오른발에 각각 다른 촉각 자극을 제시하는 단계(S910), 움직임 동작 상상과 촉각 자극에 의해 발현되는 사용자의 뇌 신호를 획득하는 단계(S920), 뇌 신호 및 뇌 신호 분류기에 기초하여 뇌 신호에 대응하는 움직임 의도를 판단하는 단계(S930), 각 움직임에 대한 뇌 신호 분류기의 출력 값 및 움직임 의도를 사용자가 확인하도록 제어 명령 수신기에 전달하는 단계(S940) 및 착용형 로봇이 움직임 의도에 대응하는 기능을 수행하도록 제어 명령 수신기에 의해 착용형 로봇의 양발, 보행 속도 및 보행 보폭을 제어하는 단계(S950)를 포함하되, 뇌 신호 분류기는 사용자로부터 기수집된 뇌 신호에 기초하여 생성된 움직임 잡음 분류기, 보행 시작 의도 분류기 및 움직임 의도 분류기를 포함하고, 뇌 신호를 입력으로 통과시켜 움직임 의도가 복수의 움직임 중 어느 하나인지를 판단할 수 있다.Referring to FIG. 9, the present invention is to present different tactile stimuli to the left and right feet of a user wearing a wearable robot (S910), and to obtain a brain signal of a user expressed by imagination and tactile stimulation of movement. (S920), determining a motion intention corresponding to the brain signal based on the brain signal and the brain signal classifier (S930), to a control command receiver so that a user can check the output value and the motion intention of the brain signal classifier for each motion It includes a step of transmitting (S940) and a step (S950) of controlling both feet, walking speed and walking stride of the wearable robot by a control command receiver so that the wearable robot performs a function corresponding to a movement intention, but a brain signal classifier Includes a motion noise classifier, a walking start intention classifier, and a motion intention classifier generated based on brain signals collected from a user, and Was passed through the input can be determined whether any of the movement intentions of a plurality of motion.
S920단계에서 뇌 신호는 착용형 로봇의 움직임에 의해 발생되는 움직임 잡음을 포함하는 것이되, 움직임 동작 상상에 따라 획득된 제1 뇌 신호와 촉각 자극에 따라 획득된 제2 뇌 신호를 포함하는 것이고, 착용형 로봇의 가속도 또는 각속도를 측정하는 센서로부터 측정한 값을 참조 신호로서 획득하는 단계를 포함하되, 제1 및 제2 뇌 신호와 참조 신호는 무선 통신을 통해 뇌 신호 전송부 및 뇌 신호 수신부에 의해 획득될 수 있다.In step S920, the brain signal includes movement noise generated by the movement of the wearable robot, and includes a first brain signal obtained according to the motion movement imagination and a second brain signal obtained according to tactile stimulation, And obtaining a value measured from a sensor measuring acceleration or angular velocity of the wearable robot as a reference signal, wherein the first and second brain signals and the reference signal are transmitted to the brain signal transmitting unit and the brain signal receiving unit through wireless communication. Can be obtained by
다시, 도 5를 참조하면 S930단계는 참조 신호에 기초하여 제1 및 제 2 뇌 신호로부터 움직임 잡음을 제거하는 단계(S510), 제1 뇌 신호에 기초하여 보행 시작 의도를 검출하는 단계(S520), 제1 및 제2 뇌 신호의 특징을 결합하여 움직임 의도를 검출하는 단계(S530) 및 제1 뇌 신호의 변화 주기 및 강도에 기초하여 착용형 로봇의 보행 속도 및 보행 보폭을 결정하는 다리 움직임을 인식하는 단계(S540)를 포함한다.Referring back to FIG. 5, step S930 includes removing motion noise from the first and second brain signals based on the reference signal (S510), and detecting the intention to start walking based on the first brain signal (S520). , Combining the features of the first and second brain signals to detect the intention to move (S530) and leg movements to determine the walking speed and walking stride of the wearable robot based on the change period and intensity of the first brain signal Recognizing step (S540).
S510단계는 제1 및 제2 뇌 신호와 참조 신호로부터 내부 잡음 성분을 제거하고, 특정 주파수 대역으로 필터링하는 전처리 단계, 참조 신호를 이용한 제약적 독립성분 분석(Constrained independent component analysis, C-ICA)을 통해 제1 및 제2 뇌 신호로부터 추정된 움직임 잡음을 추출하는 단계 및 적응형 필터(Adaptive filter)를 통해 제1 및 제2 뇌 신호로부터 추정된 움직임 잡음을 제거하여 움직임 잡음이 제거된 제1 및 제2 뇌 신호를 획득하는 단계를 포함하되, 움직임 잡음 분류기는 추정된 움직임 잡음을 걸음 단위 기반으로 템플릿을 구성하여 학습될 수 있다.In step S510, internal noise components are removed from the first and second brain signals and reference signals, and a pre-processing step of filtering to a specific frequency band, through Constrained independent component analysis (C-ICA) using reference signals Extracting motion noise estimated from the first and second brain signals and removing motion noise estimated from the first and second brain signals through an adaptive filter, the first and the first motion noise is removed Including the step of acquiring 2 brain signals, the motion noise classifier may be trained by constructing a template based on the estimated unit of motion noise.
S520단계는 제1 뇌 신호를 공통 공간 패턴 알고리즘을 이용하여 특징을 추출하고, 기 학습된 보행 시작 의도 분류기를 이용하여 사용자의 보행 시작 의도를 검출하는 단계를 포함하되, 보행 시작 의도 분류기는 기 수집된 제1 뇌 신호를 공통 공간 패턴 알고리즘을 이용하여 특징을 추출하고, 기계학습 알고리즘을 통해 학습될 수 있다.Step S520 includes extracting features of the first brain signal using a common spatial pattern algorithm, and detecting a user's walking start intention using a pre-trained walking start intention classifier. The extracted first brain signal can be extracted using a common spatial pattern algorithm and learned through a machine learning algorithm.
S530단계는 제1 뇌 신호를 시간-주파수 패턴으로 추출한 특징과, 제2 뇌 신호를 주파수 패턴으로 추출한 특징을 결합하고, 기 학습된 움직임 의도 분류기를 이용하여 사용자의 움직임 의도를 검출하는 단계를 포함하되, 움직임 의도 분류기는 기 수집된 제1 뇌 신호를 시간-주파수 패턴을 이용하여 특징벡터를 생성하고, 제2 뇌 신호를 자극의 주파수 패턴을 이용하여 특징벡터를 생성하고, 추출된 두 특징을 결합한 하나의 특징벡터에 기초하여 기계학습 알고리즘을 통해 학습될 수 있다.Step S530 includes the step of combining the features of extracting the first brain signal with a time-frequency pattern, the features of extracting the second brain signal as a frequency pattern, and detecting a user's motion intention using a pre-trained motion intention classifier. However, the motion intention classifier generates the feature vector using the time-frequency pattern of the first brain signal collected, the feature vector using the frequency pattern of the stimulus to the second brain signal, and extracts the extracted two features. It can be learned through a machine learning algorithm based on one combined feature vector.
S540단계는 제1 뇌 신호의 지속 시간과 변화하는 시간을 포함하는 주파수의 주기에 따라 특징을 추출하여 보행 속도로 결정하고, 제1 뇌 신호의 강도에 따라 특징을 추출하여 보행 보폭을 결정하는 단계를 포함할 수 있다.In step S540, a feature is extracted according to a period of a frequency including a duration and a changing time of the first brain signal to determine a walking speed, and a feature is extracted according to the strength of the first brain signal to determine a walking stride. It may include.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. One embodiment of the present invention can also be implemented in the form of a recording medium including instructions executable by a computer, such as program modules, being executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, computer readable media may include computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.Although the methods and systems of the present invention have been described in connection with specific embodiments, some or all of their components or operations may be implemented using a computer system having a general purpose hardware architecture.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustration only, and a person having ordinary knowledge in the technical field to which the present invention pertains can understand that it can be easily modified to other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the above-described embodiments are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the above detailed description, and it should be interpreted that all changes or modified forms derived from the meaning and scope of the claims and equivalent concepts thereof are included in the scope of the present invention. do.
10: 촉각 자극 제시부
20: 뇌 신호 수집부
20-1: 뇌 신호 무선 전송기
20-2: 뇌 신호 무선 수신기
30: 뇌 신호 처리부
31: 뇌 신호 분류기
310: 잡음 제거부
311: 움직임 잡음 분류기
320: 보행 시작 의도 검출부
321: 보행 시작 의도 분류기
330: 움직임 의도 검출부
331: 움직임 의도 분류기
340: 다리 움직임 인식부
40: 제어부
40-1: 제어 명령 수신기
40-2: 제어 명령 전송기
40-3: 착용형 로봇10: tactile stimulation presentation unit
20: brain signal collection unit
20-1: brain signal wireless transmitter 20-2: brain signal wireless receiver
30: brain signal processing unit 31: brain signal classifier
310: noise removing unit 311: motion noise classifier
320: walking start intention detection unit 321: walking start intention classifier
330: motion intention detection unit 331: motion intention classifier
340: leg movement recognition unit
40: control
40-1: Control Command Receiver 40-2: Control Command Transmitter
40-3: wearable robot
Claims (14)
(a) 착용형 로봇을 착용한 사용자의 왼발과 오른발에 각각 다른 촉각 자극을 제시하는 단계;
(b) 움직임 동작 상상과 상기 촉각 자극에 의해 발현되는 사용자의 뇌 신호를 획득하는 단계;
(c) 상기 뇌 신호 및 뇌 신호 분류기에 기초하여 상기 뇌 신호에 대응하는 움직임 의도를 판단하는 단계;
(d) 각 움직임에 대한 상기 뇌 신호 분류기의 출력 값 및 상기 움직임 의도를 상기 사용자가 확인하도록 제어 명령 수신기에 전달하는 단계; 및
(e) 상기 착용형 로봇이 상기 움직임 의도에 대응하는 기능을 수행하도록 상기 제어 명령 수신기에 의해 상기 착용형 로봇의 양발, 보행 속도 및 보행 보폭을 제어하는 단계를 포함하되,
상기 뇌 신호 분류기는,
상기 사용자로부터 기수집된 뇌 신호에 기초하여 생성된 움직임 잡음 분류기, 보행 시작 의도 분류기 및 움직임 의도 분류기를 포함하고,
상기 뇌 신호를 입력으로 통과시켜 상기 움직임 의도가 복수의 움직임 중 어느 하나인지를 판단하는 것인,
뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 방법.In the wearable robot control method according to the motion intention detection based on a brain machine interface, performed by a computer device,
(a) presenting different tactile stimuli to the left and right feet of the user wearing the wearable robot;
(b) acquiring a brain signal of a user expressed by imagination of movement and tactile stimulation;
(c) determining a motion intention corresponding to the brain signal based on the brain signal and the brain signal classifier;
(d) passing the output value of the brain signal classifier for each movement and the movement intention to a control command receiver for the user to confirm; And
(e) controlling the wearable robot's lifting, walking speed, and walking stride length by the control command receiver so that the wearable robot performs a function corresponding to the movement intention,
The brain signal classifier,
And a motion noise classifier, a walking start intention classifier, and a motion intention classifier generated based on brain signals collected from the user,
Passing the brain signal as an input to determine whether the movement intention is one of a plurality of movements,
Wearable robot control method based on brain machine interface based motion intention detection.
상기 (b) 단계에서,
상기 뇌 신호는
상기 착용형 로봇의 움직임에 의해 발생되는 움직임 잡음을 포함하는 것이되, 상기 움직임 동작 상상에 따라 획득된 제1 뇌 신호와 상기 촉각 자극에 따라 획득된 제2 뇌 신호를 포함하는 것이고,
상기 착용형 로봇의 가속도 또는 각속도를 측정하는 센서로부터 측정한 값을 참조 신호로서 획득하는 단계를 포함하되,
상기 제1 및 제2 뇌 신호와 참조 신호는 무선 통신을 통해 뇌 신호 전송부 및 뇌 신호 수신부에 의해 획득되는 것인,
뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 방법.According to claim 1,
In step (b),
The brain signal
It includes motion noise generated by the movement of the wearable robot, and includes a first brain signal obtained according to the motion motion imagination and a second brain signal obtained according to the tactile stimulus,
Comprising the step of obtaining a value measured from a sensor for measuring the acceleration or angular velocity of the wearable robot as a reference signal,
The first and second brain signals and reference signals are obtained by the brain signal transmitting unit and the brain signal receiving unit through wireless communication,
Wearable robot control method based on brain machine interface based motion intention detection.
상기 (c) 단계는,
(c-1) 상기 참조 신호에 기초하여 상기 제1 및 제 2 뇌 신호로부터 상기 움직임 잡음을 제거하는 단계;
(c-2) 상기 제1 뇌 신호에 기초하여 보행 시작 의도를 검출하는 단계;
(c-3) 상기 제1 및 제2 뇌 신호의 특징을 결합하여 움직임 의도를 검출하는 단계; 및
(c-4) 상기 제1 뇌 신호의 변화 주기 및 강도에 기초하여 보행 속도 및 보행 보폭을 결정하고, 상기 착용형 로봇의 다리 움직임을 인식하는 단계를 포함하는 것인,
뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 방법.According to claim 2,
Step (c) is,
(c-1) removing the motion noise from the first and second brain signals based on the reference signal;
(c-2) detecting an intention to start walking based on the first brain signal;
(c-3) detecting motion intention by combining features of the first and second brain signals; And
(c-4) determining a walking speed and a walking stride based on a change period and intensity of the first brain signal, and recognizing leg movement of the wearable robot,
Wearable robot control method based on brain machine interface based motion intention detection.
상기 (c-1) 단계는
상기 제1 및 제2 뇌 신호와 상기 참조 신호로부터 내부 잡음 성분을 제거하고, 특정 주파수 대역으로 필터링하는 전처리 단계;
상기 참조 신호를 이용한 제약적 독립성분 분석(Constrained independent component analysis, C-ICA)을 통해 상기 제1 및 제2 뇌 신호로부터 추정된 움직임 잡음을 추출하는 단계; 및
적응형 필터(Adaptive filter)를 통해 상기 제1 및 제2 뇌 신호로부터 상기 추정된 움직임 잡음을 제거하여 상기 움직임 잡음이 제거된 제1 및 제2 뇌 신호를 획득하는 단계를 포함하되,
상기 움직임 잡음 분류기는 상기 추정된 움직임 잡음을 걸음 단위 기반으로 템플릿을 구성하여 학습되는 것인,
뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 방법.According to claim 3,
Step (c-1) is
A pre-processing step of removing internal noise components from the first and second brain signals and the reference signal and filtering to a specific frequency band;
Extracting motion noise estimated from the first and second brain signals through constrained independent component analysis (C-ICA) using the reference signal; And
And removing the estimated motion noise from the first and second brain signals through an adaptive filter to obtain first and second brain signals from which the motion noise has been removed.
The motion noise classifier is learned by constructing a template based on the estimated motion noise on a step-by-step basis,
Wearable robot control method based on brain machine interface based motion intention detection.
상기 (c-2) 단계는
상기 제1 뇌 신호를 공통 공간 패턴 알고리즘을 이용하여 특징을 추출하고, 기 학습된 상기 보행 시작 의도 분류기를 이용하여 사용자의 보행 시작 의도를 검출하는 단계를 포함하되,
상기 보행 시작 의도 분류기는 기 수집된 상기 제1 뇌 신호를 공통 공간 패턴 알고리즘을 이용하여 특징을 추출하고, 기계학습 알고리즘을 통해 학습되는 것인,
뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 방법.According to claim 3,
Step (c-2) is
And extracting a feature of the first brain signal using a common spatial pattern algorithm, and detecting a user's walking start intention using the pre-trained walking start intention classifier.
The gait start intention classifier extracts features using the common spatial pattern algorithm of the first brain signal, and is learned through a machine learning algorithm.
Wearable robot control method based on brain machine interface based motion intention detection.
상기 (c-3) 단계는
상기 제1 뇌 신호를 시간-주파수 패턴으로 추출한 특징과, 상기 제2 뇌 신호를 주파수 패턴으로 추출한 특징을 결합하고, 기 학습된 상기 움직임 의도 분류기를 이용하여 사용자의 움직임 의도를 검출하는 단계를 포함하되,
상기 움직임 의도 분류기는 기 수집된 상기 제1 뇌 신호를 시간-주파수 패턴을 이용하여 특징벡터를 생성하고, 상기 제2 뇌 신호를 자극의 주파수 패턴을 이용하여 특징벡터를 생성하고, 추출된 두 특징을 결합한 하나의 특징벡터에 기초하여 기계학습 알고리즘을 통해 학습되는 것인,
뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 방법.According to claim 3,
Step (c-3) is
And combining a feature extracted from the first brain signal into a time-frequency pattern, a feature extracted from the second brain signal into a frequency pattern, and detecting a user's motion intention using the pre-trained motion intention classifier. Ha,
The motion intention classifier generates a feature vector using the time-frequency pattern of the first brain signal collected previously, a feature vector using the frequency pattern of stimulation of the second brain signal, and extracts the two features. Learning through machine learning algorithm based on one feature vector that combines
Wearable robot control method based on brain machine interface based motion intention detection.
상기 (c-4) 단계는
상기 제1 뇌 신호의 지속 시간과 변화하는 시간을 포함하는 주파수의 주기에 따라 특징을 추출하여 보행 속도로 결정하고, 상기 제1 뇌 신호의 강도에 따라 특징을 추출하여 보행 보폭을 결정하는 단계를 포함하는 것인,
뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 방법.According to claim 3,
Step (c-4) is
Determining a gait speed by extracting features according to a period of a frequency including a duration and a changing time of the first brain signal, and extracting features according to the strength of the first brain signal to determine a walking stride To include,
Wearable robot control method based on brain machine interface based motion intention detection.
움직임 의도 검출에 따른 착용형 로봇 제어 프로그램이 저장된 메모리, 및
상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하되,
상기 프로세서는 상기 프로그램의 실행에 따라, 착용형 로봇을 착용한 사용자의 왼발과 오른발에 각각 다른 촉각 자극을 제시하고,
움직임 동작 상상과 상기 촉각 자극에 의해 발현되는 사용자의 뇌 신호를 획득하고,
상기 뇌 신호 및 뇌 신호 분류기에 기초하여 상기 뇌 신호에 대응하는 움직임 의도를 판단하고,
각 움직임에 대한 상기 뇌 신호 분류기의 출력 값 및 상기 움직임 의도를 상기 사용자가 확인하도록 제어 명령 수신기에 전달하고,
상기 착용형 로봇이 상기 움직임 의도에 대응하는 기능을 수행하도록 상기 제어 명령 수신기에 의해 상기 착용형 로봇의 양발, 보행 속도 및 보행 보폭을 제어하되,
상기 뇌 신호 분류기는,
상기 사용자로부터 기수집된 뇌 신호에 기초하여 생성된 움직임 잡음 분류기, 보행 시작 의도 분류기 및 움직임 의도 분류기를 포함하고,
상기 뇌 신호를 입력으로 통과시켜 상기 움직임 의도가 복수의 움직임 중 어느 하나인지를 판단하는 것인,
뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 장치.In the wearable robot control device according to the motion intention detection based on the brain machine interface,
Memory in which the wearable robot control program according to motion intention detection is stored, and
It includes a processor for executing a program stored in the memory,
According to the execution of the program, the processor presents different tactile stimuli to the left and right feet of the user wearing the wearable robot,
Acquire the brain signal of the user expressed by the motion imagination and the tactile stimulation,
Based on the brain signal and the brain signal classifier to determine the intention to move corresponding to the brain signal,
The output value of the brain signal classifier for each movement and the movement intention are transmitted to a control command receiver for the user to confirm,
The wearable robot controls both feet, walking speed and gait stride of the wearable robot by the control command receiver so as to perform a function corresponding to the movement intention,
The brain signal classifier,
And a motion noise classifier, a walking start intention classifier, and a motion intention classifier generated based on brain signals collected from the user,
Passing the brain signal as an input to determine whether the movement intention is one of a plurality of movements,
Wearable robot control device based on brain machine interface based motion intention detection.
상기 뇌 신호는
상기 착용형 로봇의 움직임에 의해 발생되는 움직임 잡음을 포함하는 것이되, 상기 움직임 동작 상상에 따라 획득된 제1 뇌 신호와 상기 촉각 자극에 따라 획득된 제2 뇌 신호를 포함하는 것이고,
상기 프로세서는
상기 착용형 로봇의 가속도 또는 각속도를 측정하는 센서로부터 측정한 값을 참조 신호로서 획득하되,
상기 제1 및 제2 뇌 신호와 참조 신호는 무선 통신을 통해 뇌 신호 전송부 및 뇌 신호 수신부에 의해 획득되는 것인,
뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 장치.The method of claim 8,
The brain signal
It includes motion noise generated by the movement of the wearable robot, and includes a first brain signal obtained according to the motion motion imagination and a second brain signal obtained according to the tactile stimulus,
The processor
A value measured from a sensor measuring acceleration or angular velocity of the wearable robot is obtained as a reference signal,
The first and second brain signals and reference signals are obtained by the brain signal transmitting unit and the brain signal receiving unit through wireless communication,
Wearable robot control device based on brain machine interface based motion intention detection.
상기 프로세서는
상기 뇌 신호에 대응하는 움직임 의도를 판단하는 경우,
상기 참조 신호에 기초하여 상기 제1 및 제 2 뇌 신호로부터 상기 움직임 잡음을 제거하고,
상기 제1 뇌 신호에 기초하여 보행 시작 의도를 검출하고,
상기 제1 및 제2 뇌 신호의 특징을 결합하여 움직임 의도를 검출하고,
상기 제1 뇌 신호의 변화 주기 및 강도에 기초하여 보행 속도 및 보행 보폭을 결정하고, 상기 착용형 로봇의 다리 움직임을 인식하는 것인,
뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 장치.The method of claim 9,
The processor
When determining a movement intention corresponding to the brain signal,
Removing the motion noise from the first and second brain signals based on the reference signal,
Walking intention is detected based on the first brain signal,
Combining features of the first and second brain signals to detect movement intention,
The walking speed and the walking stride are determined based on the change period and intensity of the first brain signal, and the leg movement of the wearable robot is recognized.
Wearable robot control device based on brain machine interface based motion intention detection.
상기 프로세서는
상기 움직임 잡음을 제거하는 경우,
상기 제1 및 제2 뇌 신호와 상기 참조 신호로부터 내부 잡음 성분을 제거하고, 특정 주파수 대역으로 필터링하는 전처리를 수행하고,
상기 참조 신호를 이용한 제약적 독립성분 분석(Constrained independent component analysis, C-ICA)을 통해 상기 제1 및 제2 뇌 신호로부터 추정된 움직임 잡음을 추출하고,
적응형 필터(Adaptive filter)를 통해 상기 제1 및 제2 뇌 신호로부터 상기 추정된 움직임 잡음을 제거하여 상기 움직임 잡음이 제거된 제1 및 제2 뇌 신호를 획득하는 것이되,
상기 움직임 잡음 분류기는 상기 추정된 움직임 잡음을 걸음 단위 기반으로 템플릿을 구성하여 학습되는 것인,
뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 장치.The method of claim 10,
The processor
When removing the motion noise,
Preprocessing to remove internal noise components from the first and second brain signals and the reference signal, and to filter to a specific frequency band,
The estimated motion noise is extracted from the first and second brain signals through constrained independent component analysis (C-ICA) using the reference signal,
The first and second brain signals from which the motion noise is removed are obtained by removing the estimated motion noise from the first and second brain signals through an adaptive filter.
The motion noise classifier is learned by constructing a template based on the estimated motion noise on a step-by-step basis,
Wearable robot control device based on brain machine interface based motion intention detection.
상기 프로세서는
상기 보행 시작 의도를 검출하는 경우,
상기 제1 뇌 신호를 공통 공간 패턴 알고리즘을 이용하여 특징을 추출하고, 기 학습된 상기 보행 시작 의도 분류기를 이용하여 사용자의 보행 시작 의도를 검출하는 것이되,
상기 보행 시작 의도 분류기는 기 수집된 상기 제1 뇌 신호를 공통 공간 패턴 알고리즘을 이용하여 특징을 추출하고, 기계학습 알고리즘을 통해 학습되는 것인,
뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 장치.The method of claim 10,
The processor
When detecting the intention to start walking,
The feature of the first brain signal is extracted using a common spatial pattern algorithm, and the user's gait intention intention classifier is used to detect a user's gait intention.
The gait start intention classifier extracts features using the common spatial pattern algorithm of the first brain signal, and is learned through a machine learning algorithm.
Wearable robot control device based on brain machine interface based motion intention detection.
상기 프로세서는
상기 움직임 의도를 검출하는 경우,
상기 제1 뇌 신호를 시간-주파수 패턴으로 추출한 특징과, 상기 제2 뇌 신호를 주파수 패턴으로 추출한 특징을 결합하고, 기 학습된 상기 움직임 의도 분류기를 이용하여 사용자의 움직임 의도를 검출하는 것이되,
상기 움직임 의도 분류기는 기 수집된 상기 제1 뇌 신호를 시간-주파수 패턴을 이용하여 특징벡터를 생성하고, 상기 제2 뇌 신호를 자극의 주파수 패턴을 이용하여 특징벡터를 생성하고, 추출된 두 특징을 결합한 하나의 특징벡터에 기초하여 기계학습 알고리즘을 통해 학습되는 것인,
뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 장치.The method of claim 10,
The processor
When detecting the movement intention,
Combining the features of extracting the first brain signal with a time-frequency pattern and the features of extracting the second brain signal with a frequency pattern, and detecting a user's motion intention using the previously learned motion intention classifier,
The motion intention classifier generates a feature vector using the time-frequency pattern of the first brain signal collected previously, a feature vector using the frequency pattern of stimulation of the second brain signal, and extracts the two features. Learning through machine learning algorithm based on one feature vector that combines
Wearable robot control device based on brain machine interface based motion intention detection.
상기 프로세서는
상기 다리 움직임을 인식하는 경우,
상기 제1 뇌 신호의 지속 시간과 변화하는 시간을 포함하는 주파수의 주기에 따라 특징을 추출하여 보행 속도로 결정하고, 상기 제1 뇌 신호의 강도에 따라 특징을 추출하여 보행 보폭을 결정하는 것인,
뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 장치.The method of claim 10,
The processor
When recognizing the movement of the leg,
It is to determine a gait speed by extracting features according to a period of a frequency including a duration and a changing time of the first brain signal, and extracting features according to the strength of the first brain signal to determine a walking stride. ,
Wearable robot control device based on brain machine interface based motion intention detection.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20180135194 | 2018-11-06 | ||
| KR1020180135194 | 2018-11-06 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| KR20200052209A true KR20200052209A (en) | 2020-05-14 |
| KR102276991B1 KR102276991B1 (en) | 2021-07-13 |
| KR102276991B9 KR102276991B9 (en) | 2023-09-07 |
Family
ID=70736921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190094424A KR102276991B1 (en) | 2018-11-06 | 2019-08-02 | Apparatus and method for controlling wearable robot by detecting motion intention of users based on brain machine interface |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102276991B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111990992A (en) * | 2020-09-03 | 2020-11-27 | 山东中科先进技术研究院有限公司 | Electroencephalogram-based autonomous movement intention identification method and system |
| CN114795117A (en) * | 2022-04-14 | 2022-07-29 | 南开大学 | Brain signal analysis method based on graph signal processing |
| CN114795117B (en) * | 2022-04-14 | 2024-05-14 | 南开大学 | Brain signal analysis method based on graph signal processing |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150069817A (en) * | 2013-12-16 | 2015-06-24 | 삼성전자주식회사 | Wearable robot and method for controlling the same |
| WO2018011615A1 (en) * | 2016-07-13 | 2018-01-18 | National Institute Of Advanced Industrial Science And Technology | System for precise decoding of movement related human intention from brain signal |
| JP2018521725A (en) * | 2015-06-02 | 2018-08-09 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | System for supporting elderly, frail and / or affected persons |
| KR20180114692A (en) * | 2017-04-11 | 2018-10-19 | 재단법인대구경북과학기술원 | Brain training simulation system based on behavior modeling |
-
2019
- 2019-08-02 KR KR1020190094424A patent/KR102276991B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150069817A (en) * | 2013-12-16 | 2015-06-24 | 삼성전자주식회사 | Wearable robot and method for controlling the same |
| JP2018521725A (en) * | 2015-06-02 | 2018-08-09 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | System for supporting elderly, frail and / or affected persons |
| WO2018011615A1 (en) * | 2016-07-13 | 2018-01-18 | National Institute Of Advanced Industrial Science And Technology | System for precise decoding of movement related human intention from brain signal |
| KR20180114692A (en) * | 2017-04-11 | 2018-10-19 | 재단법인대구경북과학기술원 | Brain training simulation system based on behavior modeling |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111990992A (en) * | 2020-09-03 | 2020-11-27 | 山东中科先进技术研究院有限公司 | Electroencephalogram-based autonomous movement intention identification method and system |
| CN114795117A (en) * | 2022-04-14 | 2022-07-29 | 南开大学 | Brain signal analysis method based on graph signal processing |
| CN114795117B (en) * | 2022-04-14 | 2024-05-14 | 南开大学 | Brain signal analysis method based on graph signal processing |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102276991B1 (en) | 2021-07-13 |
| KR102276991B9 (en) | 2023-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pfurtscheller et al. | 15 years of BCI research at Graz University of Technology: current projects | |
| Zhao et al. | SSVEP-based brain–computer interface controlled functional electrical stimulation system for upper extremity rehabilitation | |
| Rao et al. | Brain-computer interfacing [in the spotlight] | |
| Jacob et al. | Artificial muscle intelligence system with deep learning for post-stroke assistance and rehabilitation | |
| CN107981997B (en) | A kind of method for controlling intelligent wheelchair and system based on human brain motion intention | |
| RU2683859C1 (en) | Method and system for controlling electronic devices by electromyographic reading device | |
| Lange et al. | Classification of electroencephalogram data from hand grasp and release movements for BCI controlled prosthesis | |
| KR101549325B1 (en) | Method for control of machine interface | |
| Bansal et al. | EEG-based brain-computer interfacing (BCI) | |
| JPWO2017213202A1 (en) | Exercise teaching system and exercise teaching method | |
| KR102269587B1 (en) | Brain-computer interface systems and method for analysing brain wave signals expressed by motor imagery | |
| WO2020065534A1 (en) | System and method of generating control commands based on operator's bioelectrical data | |
| US20220187913A1 (en) | Neurorehabilitation system and neurorehabilitation method | |
| English et al. | EyePhone: A mobile EOG-based human-computer interface for assistive healthcare | |
| CN113040791A (en) | Vibration trigger equipment, finger lifting device and touch finger motion rehabilitation system | |
| KR102276991B1 (en) | Apparatus and method for controlling wearable robot by detecting motion intention of users based on brain machine interface | |
| Borah et al. | A BCI framework for smart home automation using EEG signal | |
| Vinoj et al. | IoT-powered deep learning brain network for assisting quadriplegic people | |
| Ullah et al. | Providing facilities in health care via brain-computer interface and Internet of Things | |
| KR101607893B1 (en) | Apparatus for generating sssep and operating method thereof | |
| Ahmed et al. | A writing aid for dysgraphia affected people | |
| RU193501U1 (en) | Device for replacing lost human functions using feedback | |
| Abdulwahab et al. | A Survey in Implementation and Applications of Electroencephalograph (EEG)-Based Brain-Computer Interface | |
| Talha Ejaz et al. | EEG Based Brain Controlled RC Car with Attention Level | |
| Martišius | Data acquisition and signal processing methods for brain–computer interfaces |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] | ||
| G170 | Re-publication after modification of scope of protection [patent] |