KR20150135018A - 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템 및 제어방법 - Google Patents

뇌-기계 인터페이스 기반 재활 로봇 제어 시스템 및 제어방법 Download PDF

Info

Publication number
KR20150135018A
KR20150135018A KR1020140062653A KR20140062653A KR20150135018A KR 20150135018 A KR20150135018 A KR 20150135018A KR 1020140062653 A KR1020140062653 A KR 1020140062653A KR 20140062653 A KR20140062653 A KR 20140062653A KR 20150135018 A KR20150135018 A KR 20150135018A
Authority
KR
South Korea
Prior art keywords
robot
signal
unit
movement
body part
Prior art date
Application number
KR1020140062653A
Other languages
English (en)
Other versions
KR101618186B1 (ko
Inventor
방문석
정천기
김성완
오병모
김유단
김준식
서한길
박성우
김윤재
김원식
염홍기
이용우
박철우
현 최
Original Assignee
대한민국(국립재활원장)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대한민국(국립재활원장) filed Critical 대한민국(국립재활원장)
Priority to KR1020140062653A priority Critical patent/KR101618186B1/ko
Publication of KR20150135018A publication Critical patent/KR20150135018A/ko
Application granted granted Critical
Publication of KR101618186B1 publication Critical patent/KR101618186B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/087—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus ; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/027—Electromagnetic sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00—Measuring physical parameters of the user
    • A61H2230/08—Other bio-electrical signals
    • A61H2230/10—Electroencephalographic signals

Abstract

본 발명은 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템에 관한 것으로서, 상세하게는 재활 로봇이 사용자의 의도하고자 하는 목표 지점에 효과적으로 이동할 수 있도록 하는 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템에 관한 것이다.
이러한 목적을 달성하기 위한 본 발명은, 뇌의 특정영역으로 부터 전자기적 신호를 수신하고, 이로부터 특정 신체부위의 이동 목표 지점에 관한 특성을 추출하는 신호관리부와; 상기 신호관리부와 연결되고 상기 특정 신체부위와 연관되는 로봇이 해당 이동 목표 지점에 도달하기 위한 궤적 또는 경로점을 생성하고 관리하는 이동정보 관리부와; 상기 이동 정보 관리부로부터 로봇의 유도신호를 받아서 상기 로봇의 움직임을 제어하는 제어부를 포함하며, 상기 이동정보 관리부는 상기 로봇이 해당 이동 목표 지점에 도달하기 위한 궤적 또는 경로점을 이탈하였는지 여부를 판단하여, 그에 따라서 위치 수정을 위한 유도 신호를 생성할 수 있도록 마련되는 것을 특징으로 하는 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템 및 제어방법을 제공한다.

Description

뇌-기계 인터페이스 기반 재활 로봇 제어 시스템 및 제어방법{ A rehabilitation robot control system and control method based on brain-machine interface}
본 발명은 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템에 관한 것으로서, 상세하게는 재활 로봇이 사용자의 의도하고자 하는 목표 지점에 효과적으로 이동할 수 있도록 하는 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템에 관한 것이다.
재활치료는 고령으로 인한 질환 외에 사고 등으로 신체에 손상을 입었을 때, 손상 부위의 기능적 회복을 위해 수행하는 일련의 처치과정을 포함한다.
따라서, 사고가 발생하거나 뇌졸중, 외상성 뇌손상 또는 뇌성마비 등에 의한 신체 기능의 손상, 또는 노화로 인한 근력의 약화, 각종 성인병에 의해 신체 기능이 손상된 환자에 대해서는, 손상된 신체 기능의 일부 혹은 전부를 회복하기 위해 의사나 물리 치료사 등의 전문가에 의해 장기적이고 체계적인 물리적 재활 치료를 제공받아야 한다.
또한, 재활 치료 과정 동안 재활환자의 재활 훈련 정보를 별도의 데이터베이스 등에 저장하고 이를 활용함으로써 보다 체계적으로 재활 훈련을 수행할 수 있다.
그러나, 재활 훈련을 위한 정보를 의사나 물리 치료사가 반복적으로 생성시켜 주어야하고, 또한 재활 훈련을 안전하게 반복적으로 수행하기 위해서는 의사나 물리 치료사의 육체적 노력과 시간 및 숙련도 등이 필요하다.
이러한 한계를 극복하기 위해 하지(하체) 재활 훈련, 예를 들면, 보행 훈련을 기기적으로 보조해 주는 보행 보조 장치들이 개발되고 있으며, 어깨 등 상지(상체)의 거동을 보조하고 근력을 회복시킬 수 있는 상지 재활기기들도 개발되고 있다.
특히, 이러한 재활을 위하여 로봇들이 최근 들어 개발되고 있는데, 한국공개특허 10-2012-0057081호에 그러한 재활 로봇이 개시되고 있다.
이러한 재활로봇 중에는 해석된 뇌 신호를 이용하여 구동되는 것들이 있으며, 이러한 로봇들이 뛰어난 재활효과를 보여준다고 주장하는 연구들이 최근 보고되고 있다.
이러한 재활로봇에 있어서, 뇌신호로부터 추정된 상지의 움직임을 그대로 로봇에 적용할 경우, 사람팔과 로봇팔의 위치 차이로 인하여 로봇팔이 사람이 의도한 목적지로 도달하지 못하는 문제가 발생한다. 만약 뇌신호가 목적지에 도달한 후 로봇이 구동 된다면, 불가피하게 시간 지연이 심해지는 단점이 발생한다.
또한, 종래의 재활로봇은 뇌 전극 센서의 노이즈 및 신호 해석능력의 한계로 인해 특정 물체를 정확하게 잡는 등의 임무를 수행하는데 어려움을 겪을 수 있으며, 실제로 많은 경우에 극히 단순한 움직임을 구현하는데 그치고 있다.
본 발명은 재활 로봇이 사용자의 뇌신호를 효과적으로 추종하여 사용자가 원하는 위치로 이동할 수 있도록 하고, 실시간으로 로봇의 위치를 파악하여 외부의 영향을 최소화 할 수 있는 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템 및 제어방법을 제공하는데 그 목적이 있다.
이러한 목적을 달성하기 위한 본 발명은, 뇌의 특정영역으로 부터 전자기적 신호를 수신하고, 이로부터 특정 신체부위의 이동 목표 지점에 관한 특성을 추출하는 신호관리부와;
상기 신호관리부와 연결되고 상기 특정 신체부위와 연관되는 로봇이 해당 이동 목표 지점에 도달하기 위한 궤적 또는 경로점을 생성하고 관리하는 이동정보 관리부와;
상기 이동 정보 관리부로부터 로봇의 유도신호를 받아서 상기 로봇의 움직임을 제어하는 제어부를 포함하며,
상기 이동정보 관리부는 상기 로봇이 해당 이동 목표 지점에 도달하기 위한 궤적 또는 경로점을 이탈하였는지 여부를 판단하여, 그에 따라서 위치 수정을 위한 유도 신호를 생성할 수 있도록 마련되는 것을 특징으로 하는 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템을 제공한다.
상기 신호 관리부는;뇌로부터 전자기적 신호를 수신하는 신호 수신부와;
상기 전자기적 신호를 필터링 처리하는 신호 처리부와; 상기 신호처리부로부터 특정 신체부위의 이동 목표지점의 위치 및 특정 신체 부위의 속도 및 위치 특징을 추출하는 특징 추출부를 포함하는 것을 특징으로 한다.
상기 이동 정보 관리부는; 상기 특징 추출부에서 추출된 특징을 기반으로 하여 이동 목표 지점의 위치 및 이에 도달할 수 있는 연속적 궤적 또는 단속적인 복수의 경로점을 연산하는 연산부와, 현재 로봇의 위치 상태를 측정하는 위치 또는 속도를 측정하는 특성 추출부와;
상기 연산부 및 상기 특성 추출부의 정보를 바탕으로 상기 로봇의 동작 유도 신호를 발생하는 유도 신호 발생부를 포함하는 것을 특징으로 한다.
상기 연산부는 상기 특성 측정부로부터 수신된 상기 로봇의 위치를 기반으로 상기 로봇의 현재 위치가 상기 궤적 또는 상기 경로점을 이탈하였는지 판단하고,
상기 궤적 또는 상기 경로점 이탈시 상기 유도 신호 발생부는 위치 수정을 위한 유도 신호를 발생시키는 것을 특징으로 한다.
상기 특성 추출부는 상기 로봇에 마련되어 구동모터의 상태를 엔코딩하는 엔코더 또는 가속도 센서 또는 자이로스코프 또는 상기 로봇 외부의 센서부를 통해서 상기 로봇의 위치 또는 속도를 측정하는 것을 특징으로 한다.
상기 센서부는 카메라부로 구성되는 것을 특징으로 한다.
또한, 본 발명은 뇌의 특정영역으로부터 전자기적 신호를 수신하고, 이로부터 사용자가 의도한 특정 신체부위의 현재 위치를 추정하여 추정된 위치의 특성을 추출하는 신호관리부와; 상기 신호관리부와 연결되고 상기 추정된 특정 신체부위의 현재 위치에 도달하기 위한 정보를 생성하고 관리하는 이동정보 관리부와; 상기 이동 정보 관리부로부터 로봇의 유도신호를 받아서 상기 로봇의 움직임을 제어하는 제어부를 포함하며, 상기 이동정보 관리부는 상기 로봇이 상기 추정된 특정 신체부위의 현재 위치와 소정거리 이상 떨어진 경우, 상기 추정된 특정 신체부위를 실시간으로 추적할 수 있는 위치 수정을 위한 유도 신호를 생성할 수 있도록 마련되는 것을 특징으로 하는 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템을 제공한다.
또한, 본 발명은 뇌의 특정 영역으로부터 전자기적 신호를 수신하는 단계와; 수신된 신호를 처리하고, 이를 기반으로 사용자의 특정 신체 부위의 이동 목표 지점에 대한 정보를 추출하는 단계와; 추출된 이동 목표 지점과 현재 로봇의 위치를 기반으로 로봇의 이동 궤적을 연산하고, 이에 대응되는 유도 신호를 발생시키는 단계와;상기 유도 신호에 따라서 로봇이 동작하도록 제어 명령을 발생시키는 단계와;상기 로못의 위치 및 속도에 대한 정보를 실시간으로 수신하여 로봇의 위치가 기 제공된 이동 궤적을 이탈하였는지 여부를 판단하고, 이탈한 경우, 상기 이동 궤적으로 복귀할 수 있도록 위치 수정을 위한 제어 신호를 발생시키는 단계를 포함하는 것을 특징으로 한다.
상기 이동 궤적은 연속된 선 형태로 구현되거나, 또는 상호 이격되는 복수의 경로점으로 구현되는 것을 특징으로 한다.
상기 유도 신호는 궤적 추종 유도 방식 또는 경로점 유도 방식에 의하여 구현되는 것을 특징으로 한다.
상기 로봇의 위치 및 속도에 대한 정보의 실시간 수신은,상기 로봇에 마련되어 구동모터의 상태를 엔코딩하는 엔코더 또는 가속도 센서 또는 자이로스코프 또는 상기 로봇 외부에 마련되는 카메라로 구현된 센서부를 통해서 이루어지는 것을 특징으로 한다.
또한, 본 발명은 뇌의 특정 영역으로부터 전자기적 신호를 수신하는 단계와; 수신된 신호를 처리하고, 이를 기반으로 사용자가 의도한 특정 신체 부위의 현재 위치를 추정하고, 이에 대한 정보를 추출하는 단계와; 추출된 특정 신체 부위의 추정 위치와, 현재 로봇의 위치를 기반으로 로봇의 이동 궤적을 연산하고, 이에 대응되는 유도 신호를 발생시키는 단계와; 상기 유도 신호에 따라서 로봇이 동작하도록 제어 명령을 발생시키는 단계와; 상기 로봇의 위치 및 속도에 대한 정보를 실시간으로 수신하여 로봇의 위치가 추정된 특정 신체 부위의 현재 위치와 소정 거리 이상 이격되었는지 여부를 판단하고, 그러한 경우, 상기 추정된 특정 신체 부위의 현재 위치를 실시간으로 추적할 수 있도록, 상기 로봇의 위치 수정을 위한 제어 신호를 발생시키는 단계를 포함하는 것을 특징으로 하는 뇌-기계 인터페이스 기반 재활 로봇의 제어 방법을 제공한다.
이와 같은 본 발명에 의하여 사용자의 뇌에서 나오는 전자기적 신호를 해석하여 사용자가 의도하는 목표 위치를 인식하고, 이에 따른 이동 궤적을 추출한 후, 이에 대응되는 로봇의 이동 궤적을 산출함으로써, 사용자의 의도에 부합하는 로봇의 움직임을 구현할 수 있다.
특히, 로봇의 이동 궤적 산출하고 이를 실제 운용에 반영하는 경우, 미사일이나 항공기와 같은 비행체의 이동 궤적을 산출하고 안내할 때 쓰이는 경로점 유도 방식 또는 궤적 추종 방식을 사용함으로써, 로봇이 보다 목표 위치에 효과적으로 도달할 수 있게 되었다.
특히, 로봇의 움직임이나, 위치, 속도 등을 실시간을 측정하고, 로봇이 미리 정해진 이동 궤적을 이탈한 경우, 이동 궤적으로 복귀시키기 위한 제어 명령을 내림으로써, 사용자의 일상 생활에서의 편의를 증진시킬 수 있다.
또한, 로봇의 위치가 뇌신호에서 추정된 사람의 손가락의 위치와 차이가 있는 경우, 로봇이 이를 추적하여 그 위치를 보정함으로써, 사용자의 의도에 부합하는 로봇의 위치 제어를 구현할 수 있다.
도1은 본 발명에 의한 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템의 구성도이다.
도2는 본 발명에 의한 제어부에 적용될 수 있는 일 실시예로서의 PID제어부의 블록도이다.
도3(a)은 본 발명에 의하여 구현되는 경로점 안내 방식을 나타낸 개략도이다.
도3(b)는 발명에 의하여 구현되는 궤적 추종 안내 방식을 나타낸 개략도이다.
도4는 본 발명에서 사용자의 뇌 신호를 분석하여 추정한 사람의 손가락의 위치 궤적과, 이를 실시간으로 추적하는 로봇의 이동 궤적을 도시한 것이다.
도5와 도6은 본 발명에 의한 제어 방법의 흐름도이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예에 대해서 설명한다.
몸의 특정 부분을 움직이고자 할 때 사람의 뇌의 운동 기능을 관리하는 영역에서 전자기적 신호(MEG, EEG)가 발생한다. 이 신호를 분석함으로써 그 사람이 어떠한 움직임을 하고자 하는지, 어디로 움직이고자 하는지 그 의도를 파악할 수 있다.
그 신호를 필터링하여 뇌파의 특정 주파수 밴드를 얻은 다음, 이것을 가속도 센서의 데이터와 다중 회귀분석(multiple linear regression) 등의 과정을 거쳐 신체의 움직임의 방향, 목표 등을 예측할 수 있다.
본 발명은 뇌-기계 인터페이스(Brain Machine Interface) 기반의 로봇 제어 시스템에 관한 것으로, 그 구성은 도1에서 도시한 바와 같다.
즉, 뇌(B)와 연결되는 신호 관리부(100)와, 신호 관리부(100)와 연결되는 이동정보 관리부(200)와, 제어부(300)와, 로봇(400)과, 센서부(500)를 포함한다. 이들의 구체적인 구성과, 역할은 아래와 같다.
신호 관리부(100)는 뇌로부터 전자기적 신호를 수신하고, 이로부터 특정 신체부위(예, 상지)의 이동 목표 지점에 관한 특성을 추출한다.
한편, 신호 관리부(100)는 이동 목표 지점에 관한 것 뿐만 아니라, 사람의 뇌신호를 판단하여, 사용자가 의도하고자 하는 손가락 끝의 위치를 추적하는 기능도 수행할 수 있다.
신호 관리부(100)의 구체적인 구성을 보면, 뇌로부터 전자기적 신호를 수신하는 신호 수신부(110)와, 수신된 전자기적 신호를 필터링 처리하여 뇌파의 특정 주파수 밴드를 얻고, 다중 회귀 분석을 통하여 신호를 처리하는 신호 처리부(120)를 포함한다.
그리고, 신호 관리부(100)는 신호 처리부(120)에서 처리된 신호로부터 특정 신체부위의 이동 목표 지점의 위치 및 이동하고자 하는 신체 부위의 방향, 속도 특징, 또는 현재 의도한 신체(손가락 끝)의 위치를 추정하고 추출하는 특징 추출부(130)를 더 포함한다.
신호 관리부(100)에 의하여, 사용자의 뇌파 분석을 기반으로 그 이동 의도나, 의도한 위치를 파악하고 추정할 수 있는 것이다.
신호 관리부(100)에 의하여 사용자의 의도가 파악되면, 이 정보는 이동 정보 관리부(200)에 전달된다.
이동 정보 관리부(200)는 특성 측정부(210)와, 연산부(220)와, 유도 신호 발생부(230)를 포함한다.
특성 측정부(210)는 로봇(400)에 마련되는 가속도 센서(430)나, 자이로스코프(440), 엔코더(420) 등으로부터 전달되는 정보에 기반하여 로봇의 속도, 현재 위치 상태를 측정할 수 있다.
연산부(220)는 특성 측정부(210)에서 측정된 로봇(400)의 현재 상태 및 특징 추출부(130)에서 추출된 사용자의 의도 목표, 방향, 속도를 기반으로 이동 목표 지점의 좌표를 연산하는 동시에, 이동 궤적을 연산한다.
여기서 연산부(220)에 의하여 연산되는 이동 궤적은 연속적인 선형/비선형 궤적일 수 있고, 또는 상호 이격되는 다수의 경로점에 의하여 구현되는 궤적일 수 있다.
다수의 경로점을 통하여 궤적을 구하고, 이에 따라 안내하는 것을 경로점 유도(Waypoint Guidance)라고 하고, 연속적은 궤적을 구하고, 이에 따라 안내하는 것을 궤적 추종 유도(Trajectory Tracking Guidance)라고 한다.
유도 신호 발생부(230)는 특성 측정부(210)에서 측정된 초기 로봇 특성(초기 위치, 속도) 정보 및 연산부(220)를 통하여 산출된 경로점 궤적 또는 연속 궤적을 정보에 따라 로봇(400)이 이동할 수 있도록 유도 신호를 발생시킨다.
다만, 연산부(220)는 특성 측정부(210)에서 측정된 로봇(400)의 현재 상태 및 특징 추출부(130)에서 추정된 사용자의 신체 부위(예, 손가락 끝)의 현재 위치를 고려하여, 로봇(400)의 현재 위치와, 사용자의 신체 부위의 추정된 현재 위치의 거리 차이도 연산할 수 있다.
그리고, 로봇(400)의 현재 위치와, 사용자의 신체 부위의 추정된 현재 위치의 거리 차이가 소정 거리(예, 40mm) 이상이 되는 경우, 로봇(400)이 사용자의 신체 부위의 추정된 현재 위치를 추적하도록 로봇(400)의 이동 궤적을 연산할 수 있다.
여기서 연산부(220)에 의하여 연산되는 이동 궤적은 연속적인 선형/비선형 궤적일 수 있고, 또는 상호 이격되는 다수의 경로점에 의하여 구현되는 궤적일 수 있다.
그리고, 유도 신호 발생부(230)는 특성 측정부(210)에서 측정된 초기 로봇 특성(초기 위치, 속도) 정보 및 연산부(220)를 통하여 산출되어, 실시간으로 로봇(400)이 사용자 신체 부위의 추정된 위치를 추적할 수 있게 하는 유도 신호를 발생시킬 수 있다.
제어부(300)는 이러한 유도 신호를 받아서 로봇(400)을 제어한다.
제어부(300)는 PID 제어기로 구성되는 것이 바람직하나, 이에만 한정되는 것은 아니다. 이에 따라서, 외란에 견실하며, 응답속도를 개선할 수 있고, 작동 오차도 현저하게 줄일 수 있다.
PID 제어기로 구현되는 제어부(300)의 구성은 도2에서 나타난 바와 같다.
P제어기(310)와, I제어기(320)와, D제어기(330)는 상호 병렬적으로 연결된다.
P제어기(310)는 오차를 줄이는 기능을 하고, I제어기(320)는 외란 견실성에 기여하며, D제어기(330)는 응답속도를 높이는데 기여한다.
PID제어 방식 말고, 선형 최적 제어 방법인 LQR(Linear Quadratic Regulator) 제어 방식도 이용될 수 있다.
다시 도1로 돌아와서 로봇(400)은 그 외관을 형성하는 프레임(미도시)과, 프레임들을 구동시키는 구동부(410)와, 현재 로봇(400)의 가속도를 측정하는 가속도 센서(430)와, 회전 정보를 측정할 수 있는 자이로스코프(440) 등을 포함한다.
가속도 센서(430)에 의하여 로봇(400)의 위치를 알 수 있고, 자이로스코프(440)에 의하여 로봇의 단부(end point)의 회전 상태를 알 수 있다.
그리고, 로봇(400)은 엔코더(410)를 더 포함한다. 엔코더(420)는 구동모터로 구성되는 구동부(410)의 정보를 엔코딩하는 역할을 한다.
가속도 센서(430) 또는 자이로스코프(440) 또는 엔코딩한 정보는 이동 정보 관리부(200), 제어부(300), 후술할 센서부(500)에 전달되어, 이들이 로봇(400)의 궤적을 수정하는데 사용될 수 있다.
센서부(500)는 현재 로봇(400)의 배치 상태를 외부에서 측정하기 위한 것으로서, 적외선 카메라 또는 일반 카메라 등으로 구현되는 것이 바람직하다.
센서부(500)에서 확보한 정보는 이동 정보 관리부(200), 제어부(300)에 전달되어, 이들이 로봇(400)의 궤적을 수정하는데 사용될 수 있다.
센서부(500)에서 촬용한 정보는 로봇의 현재 상태, 목표 위치, 목표 물체, 외부 영향을 실시간을 파악한 정보이며, 그 결과가 센서부(500)에서 좌표값으로 변환될 수 있다.
따라서, 센서부(500)가 카메라인 경우, 카메라와 로봇 사이의 좌표변환 행렬을 통해서 목표 물체의 정확한 위치 및 외부 영향을 유도 신호에 반영할 수 있다.
도3은 사용자가 의도한 목표 지점이 설정되고, 로봇의 초기 위치를 아는 경우의 이동 궤적을 설정한 것을 도시한 것이다.
특히, 시작점과 목표점 사이에 장애물이 있는 경우를 상정하였다.
도3(a)는 경로점 안내를 하는 경우를 나타낸다. 이 경우 연산부(도1참조, 220) 및 유도신호 발생부(도1참조, 230)에서는 시작점에서 목표점에 이르는 경로를 연속적인 선으로 구현하지 않고, 상호 간에 이격되는 복수의 중간 경로점으로 구현한다.
도3(b)는 궤적 추종 안내를 하는 경우를 나타낸다. 이 경우 연산부(220) 및 유도신호 발생부(230)에서는 시작점에서 목표점에 이르는 경로를 연속적인 선으로 구현한다.
도3(a)와 도3(b)는 현재 지점에서 의도한 목표 지점이 정해진 경우, 그 사이의 궤적을 추정하거나 설정하고, 그 궤적을 로봇이 따라갈 수 있는 제어 방식을 표현한 것이다.
이러한 제어 방식을 GN&C(Guidance, Navigation, & Control) 방식이라고 한다.
도4는 도3과 같이 목표 지점까지의 추정된 완전한 궤적을 추종하는 것이 아니라, 사람의 추정된 손가락 끝의 그때 그때의 위치를 로봇이 실시간을 추적할 수 있도록 하는 제어 방식이 적용되는 경우, 추정된 손가락 끝 위치와 로봇의 위치 변화를 도시한 그래프이다.
실선으로 표시된 것은 추정된 손가락의 위치 변화를 연결한 것이고, 점을 연결한 선은 로봇의 위치 변화를 연결한 것이다.
여기서, 로봇의 위치와 사람의 추정된 손가락의 위치(뇌신호를 분석하여 추정한 위치)가 40mm 이상 차이가 나는 경우, 로봇이 사람의 뇌신호에서 파악된 손가락의 위치를 추적할 수 있도록 한다.
이는 특수한 유도법칙(Guidance Law)를 적용하여 유도 명령(Guidance Command)를 생성한 것으로서, 로봇과 추정된 사람손 끝의 위치가 다른 경우에 로봇이 사람팔을 실시간으로 추적하며 따라갈 수 있도록 한 것이다.
여기서 유도법칙(Guidance Law)이란 미사일과 같은 비행체가 움직이는 목표물을을 추적하며 따라갈 때 쓰이는 유도명령(Guidance Command)의 종류이며, 대표적인 사례로, 속도 추적 유도(Velocity Pursuit Guidance), 시선 유도(Line-of-Sight Guidance), 비례항법유도(Proportional Navigation Guidance )등이 있다.
도4는 로봇과 추정된 사람 손 끝의 위치가 40mm차이 날 때, 속도 추적 유도(Velocity Pursuit Guidance)를 적용하여 로봇이 추정된 사람 손 끝의 위치를 실시간으로 추적한 결과를 그래프로 나타낸 것이다.
도5와 도6은 본 발명에 의한 동작을 도시한 것이다.
우선, 신호 수신부에서 뇌의 전자기적 신호가 수신되면(S501), 신호 처리부는 이를 처리한다(S502).
즉, 필터링 과정 및 다중 선형 회귀법 등을 통하여 신호가 처리되고, 특징추출부를 통하여 특정 신체부위(예, 팔)의 이동 목표 지점의 위치 및 이동하고자 하는 신체 부위의 방향, 속도 특징이 추출된다(S503).
이와 같이, 사용자의 의도가 파악되면, 이 정보는 이동 정보 관리부에 전달된다.
이동 정보 관리부에서 현재 로봇의 속도 및 현재 위치 상태를 인식하고, 또한, 특징 추출부에서 추출된 사용자의 의도 목표, 방향, 속도를 기반으로 이동 목표 지점의 좌표를 연산하여, 이를 토대로 목표 위치에 다다르기 위한 이동 궤적을 연산한다.
이때, 이동 궤적은 연속된 선 형태의 연속 궤적일 수 있고(S504), 또는 상호 이격된 복수의 경로점으로 설정된 궤적일 수 있다(S505).
이를 토대로 유도 신호 발생부가 제어부에 유도 신호를 발생시킨다(S506).
제어부는 수신한 유도신호를 바탕으로 로봇에 구동 명령을 내리면, 로봇은 수신한 이동 궤적을 따라 움직인다(S507).
한편, 외란이나, 노이즈로 인하여 로봇의 위치가 원래 이동하기로 한 궤적을 벗어날 수 있다.
로봇의 위치는 특성 측정부나, 제어부, 센서부에 의하여 실시간으로 인식된다.
로봇의 위치가 미리 정해진 이동 궤적을 이탈하였는지 판단하여(S508), 그러한 경우에는 현재의 위치 수정을 위한 제어 신호가 발생된다(S601). 이 제어 신호는 상기 유도 신호 발생부에서 발생하여 상기 제어부를 통해서 로봇에 전달된다.
이에 의하여 로봇은 미리 정해진 이동 궤적으로 복귀할 수 있고, 로봇이 목표 지점에 도달하였다고 판단된 경우 전까지 위 과정을 지속적으로 반복하여 로봇이 사용자가 의도한 위치까지 이동할 수 있도록 한다(S602).
한편으로는, 이동 목표 지점의 좌표를 연산하는 것 대신에, 사용자가 의도한 현재의 손가락 끝의 위치를 추정할 수 있게 의도한 지점의 좌표를 연산할 수도 있다.
그리고, 그리고, 추정된 손가락의 끝 위치와, 현재 로봇의 위치를 비교하여, 두 위치의 차이가 소정 간격(예, 40mm)이상 벌어지는 경우, 로봇이 추정된 손가락 끝을 실시간을 추적할 수 있게 하는 것도 가능하다.
100: 신호 관리부 110: 신호 수신부
120: 신호 처리부 130: 특징 추출부
200: 이동 정보 관리부 210: 특성 추출부
220: 연산부 230: 유도 신호 발생부
300: 제어부 400: 로봇
410: 구동부 420: 엔코더
430: 가속도 센서 440: 자이로스코프
500: 센서부

Claims (12)

  1. 뇌의 특정영역으로부터 전자기적 신호를 수신하고, 이로부터 특정 신체부위의 이동 목표 지점에 관한 특성을 추출하는 신호관리부와;
    상기 신호관리부와 연결되고 상기 특정 신체부위와 연관되는 로봇이 해당 이동 목표 지점에 도달하기 위한 궤적 또는 경로점을 생성하고 관리하는 이동정보 관리부와;
    상기 이동 정보 관리부로부터 로봇의 유도신호를 받아서 상기 로봇의 움직임을 제어하는 제어부를 포함하며,
    상기 이동정보 관리부는 상기 로봇이 해당 이동 목표 지점에 도달하기 위한 궤적 또는 경로점을 이탈하였는지 여부를 판단하여, 그에 따라서 위치 수정을 위한 유도 신호를 생성할 수 있도록 마련되는 것을 특징으로 하는 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템.
  2. 제1항에 있어서,
    상기 신호 관리부는,
    뇌로부터 전자기적 신호를 수신하는 신호 수신부와;
    상기 전자기적 신호를 필터링 처리하는 신호 처리부와;
    상기 신호처리부로부터 특정 신체부위의 이동 목표지점의 위치 및 특정 신체 부위의 속도 및 위치 특징을 추출하는 특징 추출부를 포함하는 것을 특징으로 하는 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템.
  3. 제2항에 있어서,
    상기 이동 정보 관리부는,
    상기 특징 추출부에서 추출된 특징을 기반으로 하여 이동 목표 지점의 위치 및 이에 도달할 수 있는 연속적 궤적 또는 단속적인 복수의 경로점을 연산하는 연산부와, 현재 로봇의 위치 상태를 측정하는 위치 또는 속도를 측정하는 특성 추출부와;
    상기 연산부 및 상기 특성 추출부의 정보를 바탕으로 상기 로봇의 동작 유도 신호를 발생하는 유도 신호 발생부를 포함하는 것을 특징으로 하는 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템.
  4. 제3항에 있어서,
    상기 연산부는 상기 특성 측정부로부터 수신된 상기 로봇의 위치를 기반으로 상기 로봇의 현재 위치가 상기 궤적 또는 상기 경로점을 이탈하였는지 판단하고,
    상기 궤적 또는 상기 경로점 이탈시 상기 유도 신호 발생부는 위치 수정을 위한 유도 신호를 발생시키는 것을 특징으로 하는 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템.
  5. 제3항에 있어서,
    상기 특성 추출부는 상기 로봇에 마련되어 구동모터의 상태를 엔코딩하는 엔코더 또는 가속도 센서 또는 자이로스코프 또는 상기 로봇 외부의 센서부를 통해서 상기 로봇의 위치 또는 속도를 측정하는 것을 특징으로 하는 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템.
  6. 제5항에 있어서,
    상기 센서부는 카메라부로 구성되는 것을 특징으로 하는 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템.
  7. 뇌의 특정영역으로부터 전자기적 신호를 수신하고, 이로부터 사용자가 의도한 특정 신체부위의 현재 위치를 추정하여 추정된 위치의 특성을 추출하는 신호관리부와;
    상기 신호관리부와 연결되고 상기 추정된 특정 신체부위의 현재 위치에 도달하기 위한 정보를 생성하고 관리하는 이동정보 관리부와;
    상기 이동 정보 관리부로부터 로봇의 유도신호를 받아서 상기 로봇의 움직임을 제어하는 제어부를 포함하며,
    상기 이동정보 관리부는 상기 로봇이 상기 추정된 특정 신체부위의 현재 위치와 소정 거리 이상 떨어진 경우, 상기 추정된 특정 신체부위를 실시간으로 추적할 수 있는 위치 수정을 위한 유도 신호를 생성할 수 있도록 마련되는 것을 특징으로 하는 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템.
  8. 뇌의 특정 영역으로부터 전자기적 신호를 수신하는 단계와;
    수신된 신호를 처리하고, 이를 기반으로 사용자의 특정 신체 부위의 이동 목표 지점에 대한 정보를 추출하는 단계와;
    추출된 이동 목표 지점과 현재 로봇의 위치를 기반으로 로봇의 이동 궤적을 연산하고, 이에 대응되는 유도 신호를 발생시키는 단계와;
    상기 유도 신호에 따라서 로봇이 동작하도록 제어 명령을 발생시키는 단계와;
    상기 로봇의 위치 및 속도에 대한 정보를 실시간으로 수신하여 로봇의 위치가 기 제공된 이동 궤적을 이탈하였는지 여부를 판단하고, 이탈한 경우, 상기 이동 궤적으로 복귀할 수 있도록 위치 수정을 위한 제어 신호를 발생시키는 단계를 포함하는 것을 특징으로 하는 뇌-기계 인터페이스 기반 재활 로봇의 제어 방법.
  9. 제8항에 있어서,
    상기 이동 궤적은 연속된 선 형태로 구현되거나, 또는 상호 이격되는 복수의 경로점으로 구현되는 것을 특징으로 하는 뇌-기계 인터페이스 기반 재활 로봇의 제어 방법.
  10. 제8항에 있어서,
    상기 유도 신호는 궤적 추종 유도 방식 또는 경로점 유도 방식에 의하여 구현되는 것을 특징으로 하는 뇌-기계 인터페이스 기반 재활 로봇의 제어 방법.
  11. 제8항에 있어서,
    상기 로봇의 위치 및 속도에 대한 정보의 실시간 수신은,
    상기 로봇에 마련되어 구동모터의 상태를 엔코딩하는 엔코더 또는 가속도 센서 또는 자이로스코프 또는 상기 로봇 외부에 마련되는 카메라로 구현된 센서부를 통해서 이루어지는 것을 특징으로 하는 뇌-기계 인터페이스 기반 재활 로봇의 제어 방법.
  12. 뇌의 특정 영역으로부터 전자기적 신호를 수신하는 단계와;
    수신된 신호를 처리하고, 이를 기반으로 사용자가 의도한 특정 신체 부위의 현재 위치를 추정하고, 이에 대한 정보를 추출하는 단계와;
    추출된 특정 신체 부위의 추정 위치와, 현재 로봇의 위치를 기반으로 로봇의 이동 궤적을 연산하고, 이에 대응되는 유도 신호를 발생시키는 단계와;
    상기 유도 신호에 따라서 로봇이 동작하도록 제어 명령을 발생시키는 단계와;
    상기 로봇의 위치 및 속도에 대한 정보를 실시간으로 수신하여 로봇의 위치가 추정된 특정 신체 부위의 현재 위치와 소정 거리 이상 이격되었는지 여부를 판단하고, 그러한 경우, 상기 추정된 특정 신체 부위의 현재 위치를 실시간으로 추적할 수 있도록, 상기 로봇의 위치 수정을 위한 제어 신호를 발생시키는 단계를 포함하는 것을 특징으로 하는 뇌-기계 인터페이스 기반 재활 로봇의 제어 방법.
KR1020140062653A 2014-05-23 2014-05-23 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템 및 제어방법 KR101618186B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140062653A KR101618186B1 (ko) 2014-05-23 2014-05-23 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템 및 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140062653A KR101618186B1 (ko) 2014-05-23 2014-05-23 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템 및 제어방법

Publications (2)

Publication Number Publication Date
KR20150135018A true KR20150135018A (ko) 2015-12-02
KR101618186B1 KR101618186B1 (ko) 2016-05-04

Family

ID=54883359

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140062653A KR101618186B1 (ko) 2014-05-23 2014-05-23 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템 및 제어방법

Country Status (1)

Country Link
KR (1) KR101618186B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106716982A (zh) * 2016-11-30 2017-05-24 深圳前海达闼云端智能科技有限公司 控制机器人的方法、装置、服务器及机器人
CN106983633A (zh) * 2017-04-11 2017-07-28 杭州电子科技大学 一种用于中风的嵌入式康复装置
WO2018189614A1 (ko) * 2017-04-11 2018-10-18 재단법인대구경북과학기술원 행동모방학습 기반의 뇌 훈련 시뮬레이터 및 시뮬레이션 시스템
WO2019212150A1 (ko) * 2018-05-04 2019-11-07 계명대학교 산학협력단 거울신경세포의 활성화를 극대화하는 뇌 자극과 뇌-컴퓨터 인터페이스(bci) 기술을 결합한 게임 방식의 재활 시스템 및 그 제어방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101844301B1 (ko) 2017-08-21 2018-04-02 재단법인 대구경북첨단의료산업진흥재단 객체지향적 메시지 기반 뇌-기계 인터페이스 장치 및 그 방법
KR102396163B1 (ko) * 2020-07-06 2022-05-12 한국과학기술연구원 이동체 및 사람 간의 협력에 기반하여 이동체를 제어하는 방법 및 그에 따른 이동체의 제어 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4385576B2 (ja) 2002-08-28 2009-12-16 富士ゼロックス株式会社 物体制御装置、物体制御方法、物体制御プログラムおよびコンピュータ読み取り可能な記録媒体
JP5467267B2 (ja) 2010-03-05 2014-04-09 国立大学法人大阪大学 機器制御装置、機器システム、機器制御方法、機器制御プログラム、および記録媒体

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106716982A (zh) * 2016-11-30 2017-05-24 深圳前海达闼云端智能科技有限公司 控制机器人的方法、装置、服务器及机器人
CN106716982B (zh) * 2016-11-30 2020-07-31 深圳前海达闼云端智能科技有限公司 控制机器人的方法、装置、服务器及机器人
CN106983633A (zh) * 2017-04-11 2017-07-28 杭州电子科技大学 一种用于中风的嵌入式康复装置
WO2018189614A1 (ko) * 2017-04-11 2018-10-18 재단법인대구경북과학기술원 행동모방학습 기반의 뇌 훈련 시뮬레이터 및 시뮬레이션 시스템
WO2019212150A1 (ko) * 2018-05-04 2019-11-07 계명대학교 산학협력단 거울신경세포의 활성화를 극대화하는 뇌 자극과 뇌-컴퓨터 인터페이스(bci) 기술을 결합한 게임 방식의 재활 시스템 및 그 제어방법

Also Published As

Publication number Publication date
KR101618186B1 (ko) 2016-05-04

Similar Documents

Publication Publication Date Title
KR101618186B1 (ko) 뇌-기계 인터페이스 기반 재활 로봇 제어 시스템 및 제어방법
JP6738481B2 (ja) ロボットシステムの動作の実行
Scheggi et al. Cooperative human-robot haptic navigation
US11305427B2 (en) Robot system and robot control method
JP2015167863A5 (ko)
Lee et al. JAIST Robotic Walker control based on a two-layered Kalman filter
CN107077138B (zh) 移动体控制装置和移动体
CN110035707B (zh) 医疗系统及其控制方法
JP2016200858A5 (ko)
Petit et al. An integrated framework for humanoid embodiment with a BCI
JP2007130172A (ja) 歩行補助制御方法とその歩行補助制御装置
Yang et al. Electric wheelchair hybrid operating system coordinated with working range of a robotic arm
KR102046351B1 (ko) 증강현실을 이용한 착용형 로봇 제어시스템 및 이를 이용한 착용형 로봇 제어방법
US20200238527A1 (en) An automatic accompanying system
KR101790599B1 (ko) 자율주행 서비스로봇 제어 장치
EP2985008B1 (en) Robotic exoskeleton multi-modal control system
KR101632034B1 (ko) 수술 로봇 시스템 및 수술 로봇 시스템의 제어 방법
KR20180035669A (ko) 상지 다관절 임피던스 측정 방법 및 그 장치
WO2017141579A1 (ja) 判定装置、制御装置、制御システム、判定方法およびプログラム
JP5539001B2 (ja) 制御装置
Xu et al. Multi-sensor based human motion intention recognition algorithm for walking-aid robot
Chongyu et al. Deep learning-driven front-following within close proximity: a hands-free control model on a smart walker
KR102243052B1 (ko) 사용자의 적어도 한 가지 움직임을 보조하기 위한 방법 및 이에 대응되는 장치
KR20160006843A (ko) Emg를 이용한 전동 휠체어 연속제어 방법 및 장치
JP4986658B2 (ja) 運動機能支援装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
GRNT Written decision to grant