KR101934272B1 - Brain-Machine Interface Robot Control System - Google Patents

Brain-Machine Interface Robot Control System Download PDF

Info

Publication number
KR101934272B1
KR101934272B1 KR1020160151968A KR20160151968A KR101934272B1 KR 101934272 B1 KR101934272 B1 KR 101934272B1 KR 1020160151968 A KR1020160151968 A KR 1020160151968A KR 20160151968 A KR20160151968 A KR 20160151968A KR 101934272 B1 KR101934272 B1 KR 101934272B1
Authority
KR
South Korea
Prior art keywords
robot
brain signal
brain
user
target
Prior art date
Application number
KR1020160151968A
Other languages
Korean (ko)
Other versions
KR20180054252A (en
Inventor
방문석
김성완
오병모
서한길
남형석
김윤재
이우형
이자호
정천기
현 최
Original Assignee
대한민국
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대한민국 filed Critical 대한민국
Priority to KR1020160151968A priority Critical patent/KR101934272B1/en
Publication of KR20180054252A publication Critical patent/KR20180054252A/en
Application granted granted Critical
Publication of KR101934272B1 publication Critical patent/KR101934272B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

사용자의 뇌신호를 측정하는 뇌신호측정부; 구동에 의해 목표물과 물리적으로 접촉하는 말단부를 구비하는 로봇; 상기 로봇 주변 물체의 형태와 거리를 감지하는 센서부; 및 상기 뇌신호측정부에서 측정된 상기 뇌신호를 통하여 사용자의 의도를 파악하고, 상기 센서부로부터 감지된 로봇 주변 물체의 형태와 거리 정보를 수신하여 목표물에 대한 위치와 거리 정보인 목표물정보를 생성하며, 상기 뇌신호에 의해 파악된 사용자의 의도와 상기 목표물정보를 통해 상기 로봇의 움직임을 제어하는 제어부;를 포함하는 뇌-기계 인터페이스 로봇 제어 시스템을 제공하여 뇌신호에 의해 사용자의 의도를 파악하되, 센서부를 통해 취득되는 물체의 정보를 통해 목표물을 감지한 목표물정보를 통해 사용자의 의도를 보다 명확하게 파악하도록 함으로써 로봇을 보다 정확히 제어할 수 있다.
또한, 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 로봇 제어 시스템은 자기학습 기능을 가지므로, 궁극적으로는 뇌신호만을 통해서도 사용자의 정확한 의도 파악이 가능하여 로봇의 정확한 제어가 가능하다. A brain signal measuring unit for measuring a user's brain signal; A robot having a distal end that is in physical contact with a target by driving; A sensor unit for sensing a shape and a distance of the object around the robot; And a control unit configured to detect a user's intention through the brain signal measured by the brain signal measuring unit and receive shape and distance information of an object around the robot detected from the sensor unit to generate target information, And a control unit for controlling the motion of the robot through the intention of the user identified by the brain signal and the target information, and the user's intention is determined by the brain signal by providing a brain-machine interface robot control system , The robot can be more accurately controlled by clearly grasping the intention of the user through the target information of the target through the information of the object acquired through the sensor unit.
In addition, since the brain-machine interface robot control system according to an embodiment of the present invention has a self-learning function, the user can accurately grasp the intention through only the brain signal, thereby enabling accurate control of the robot.

Description

뇌-기계 인터페이스 로봇 제어 시스템{Brain-Machine Interface Robot Control System}{Brain-Machine Interface Robot Control System}

본 발명은 뇌-기계 인터페이스 로봇 제어 시스템에 관한 것으로, 보다 상세하게는 로봇과 목표물을 감지하는 센서부를 포함하여 센서부에 의해 취득된 정보를 통해 뇌신호의 정확도를 보완할 수 있는 뇌-기계 인터페이스 로봇 제어 시스템에 관한 것이다. The present invention relates to a brain-machine interface robot control system, and more particularly, to a brain-machine interface control system that includes a robot and a sensor unit for sensing a target, And a robot control system.

최근, 사고 또는 뇌졸중, 외상성 뇌손상 또는 뇌성마비 등에 의한 신체 기능의 손상, 또는 노화로 인한 근력의 약화, 각종 성인병에 의해 신체 기능이 손상된 환자를 돕기 위해 뇌-기계 인터페이스를 이용한 로봇 제어에 대한 연구가 국내외적으로 활발히 이루어지고 있다. Recently, research on robot control using brain-machine interface to help patients suffering from injury or weakening of body function due to stroke, traumatic brain injury or cerebral palsy, Are actively being performed domestically and internationally.

한편, 로봇을 미리 설정된 알고리즘에 따라 정밀하게 제어하는 것은 어렵지 않지만, 재활 로봇 등을 사용자, 특히 환자의 의도대로 움직이도록 하여 정밀하게 제어하는 것은 아직 어려운 실정이다. On the other hand, it is not difficult to precisely control the robot according to a predetermined algorithm, but it is still difficult to precisely control the rehabilitation robot or the like by moving it according to the user's intention, especially the patient's intention.

사용자의 의도는 팔다리 말단의 센서 등을 이용하여 파악할 수도 있지만, 궁극적으로는 뇌신호를 읽어들여서 그 의도를 파악하는 기술이 필요하다. 특히, 각종 재활 또는 보조용 로봇의 실질적인 수요자들인, 상하지가 모두 마비된 중증 장애인의 경우, 중추신경계에서 신호를 받을 수 밖에 없다.The intention of the user can be grasped by using the sensor at the extremity of the limb, but ultimately, a technique of reading the brain signal and grasping the intention is needed. Particularly, in the case of severely handicapped persons who are paralyzed in both the upper and lower limbs, which are the actual users of various rehabilitation or assistance robots, they are forced to receive signals from the central nervous system.

한편, 중추신경계에서 받는 뇌신호를 통해서 사용자의 의도를 파악하고 이를 이용하여 로봇을 제어하는 것이 어느정도 성공을 거두고 있으나, 아직은 정확도 측면에서 한계가 있다. On the other hand, it is somewhat successful to grasp the intention of the user through the brain signal received from the central nervous system and to control the robot using the signal, but the accuracy is still limited.

특히, 사람 뇌에 침습적으로 전극을 심어 측정하는 뇌신호를 이용하는 것보다, 비침습적인 뇌신호 (EEG, MEG 등)을 이용하여 사용자의 의도를 파악하고 로봇을 제어하는 것이 상대적으로 더욱 어려운 실정이다. Particularly, it is relatively difficult to grasp the user's intention and control the robot by using non-invasive brain signals (EEG, MEG, etc.) rather than using the brain signal to measure the brain by implanting the electrode into the human brain .

따라서, 보다 정확한 사용자의 의도파악과 이를 통한 로봇 제어를 위해서는 뇌신호의 정확도를 보완해 줄 수 있는 보완기술이 필요한 실정이다. Therefore, in order to grasp the user's intention more precisely and to control the robot through it, a complementary technology that can compensate the accuracy of the brain signal is needed.

대한민국 공개특허 제10-2015-0135018호 (2015.12.02 공개)Korean Patent Publication No. 10-2015-0135018 (published on December 12, 2015)

본 발명은 상술한 문제점을 해결하기 위한 것으로, 로봇과 목표물을 감지하는 센서부를 통해 수신되는 로봇과 목표물의 정보를 통해 뇌신호의 정확도를 보완함으로써 사용자의 의도를 명확히 파악하여 로봇을 제어할 수 있는 뇌-기계 인터페이스 로봇 제어 시스템을 제공하는 것을 그 목적으로 한다. SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide a robot control apparatus and a robot control method capable of controlling a robot by clearly grasping a user's intention by supplementing accuracy of a brain signal through information of a robot and a target, And to provide a brain-machine interface robot control system.

본 발명에 의한 뇌-기계 인터페이스 로봇 제어 시스템은, 사용자의 뇌신호를 측정하는 뇌신호측정부; 구동에 의해 목표물과 물리적으로 접촉하는 말단부를 구비하는 로봇; 상기 로봇 주변 물체의 형태와 거리를 감지하는 센서부; 및 상기 뇌신호측정부에서 측정된 상기 뇌신호를 통하여 사용자의 의도를 파악하고, 상기 센서부로부터 감지된 로봇 주변 물체의 형태와 거리 정보를 수신하여 목표물에 대한 위치와 거리 정보인 목표물정보를 생성하며, 상기 뇌신호에 의해 파악된 사용자의 의도와 상기 목표물정보를 통해 상기 로봇의 움직임을 제어하는 제어부;를 포함할 수 있다. A brain-machine interface robot control system according to the present invention includes: a brain signal measurement unit for measuring a brain signal of a user; A robot having a distal end that is in physical contact with a target by driving; A sensor unit for sensing a shape and a distance of the object around the robot; And a control unit configured to detect a user's intention through the brain signal measured by the brain signal measuring unit and receive shape and distance information of an object around the robot detected from the sensor unit to generate target information, And a controller for controlling the motion of the robot through the intention of the user identified by the brain signal and the target information.

본 발명에 의한 뇌-기계 인터페이스 로봇 제어 시스템에서, 상기 뇌신호는 비침습적으로 측정될 수 있다. In the brain-machine interface robot control system according to the present invention, the brain signal can be measured non-invasively.

본 발명에 의한 뇌-기계 인터페이스 로봇 제어 시스템에서, 상기 뇌신호는 뇌파(Electroencephalography, EEG) 또는 뇌자도(Magnetoencephalography, MEG)일 수 있다. In the brain-machine interface robot control system according to the present invention, the brain signal may be electroencephalography (EEG) or magnetoencephalography (MEG).

본 발명에 의한 뇌-기계 인터페이스 로봇 제어 시스템에서, 상기 센서부는, 상기 로봇 주변을 촬영하는 영상센서이고, 촬영된 영상을 통해 물체의 형태와 거리를 감지할 수 있다. In the brain-machine interface robot control system according to the present invention, the sensor unit is an image sensor for photographing the periphery of the robot, and can detect the shape and distance of the object through the photographed image.

본 발명에 의한 뇌-기계 인터페이스 로봇 제어 시스템에서, 상기 센서부는, 상기 말단부의 이동방향과 속도를 감지하고, 상기 제어부는, 상기 말단부의 이동방향과 속도를 고려하여 상기 로봇 주변의 여러 물체 중 사용자가 의도하는 목표물을 실시간으로 검출하여, 상기 목표물의 형태와 위치정보를 포함하는 목표물정보를 생성할 수 있다. In the brain-machine interface robot control system according to the present invention, the sensor unit senses the moving direction and the speed of the distal end part, and the control unit controls the moving direction and speed of the distal end part, It is possible to detect the target in real time and generate the target information including the shape of the target and the position information.

본 발명에 의한 뇌-기계 인터페이스 로봇 제어 시스템에서, 상기 제어부는, 상기 로봇과 상기 목표물과의 거리가 가까울수록 상기 목표물정보의 반영비율을 높여 상기 로봇을 제어할 수 있다. In the brain-machine interface robot control system according to the present invention, the controller may control the robot by raising the reflection ratio of the target information as the distance between the robot and the target becomes closer.

본 발명에 의한 뇌-기계 인터페이스 로봇 제어 시스템에서, 상기 제어부는, 상기 제어부는 수신되는 뇌신호와 상기 뇌신호에 따른 상기 로봇의 제어 내용인 제어데이터를 저장하고, 저장된 상기 뇌신호와 유사한 패턴의 뇌신호가 수신된 경우, 해당 제이데이터를 참조하여 상기 로봇을 제어할 수 있다. In the control system of the brain-machine interface robot according to the present invention, the controller may store the received brain signal and control data, which is the control content of the robot according to the brain signal, When the brain signal is received, the robot can be controlled with reference to the second data.

본 발명에 의한 뇌-기계 인터페이스 로봇 제어 시스템에 의하면, 뇌신호에 의해 사용자의 의도를 파악하되, 센서부를 통해 취득되는 물체의 정보를 통해 목표물을 감지한 목표물정보를 통해 사용자의 의도를 보다 명확하게 파악하도록 함으로써 로봇을 보다 정확히 제어할 수 있다. According to the brain-machine interface robot control system of the present invention, the intention of the user is grasped by the brain signal, and the intention of the user is clearly defined through the information of the object obtained through the information of the object acquired through the sensor unit, So that the robot can be more accurately controlled.

또한, 본 발명에 의한 뇌-기계 인터페이스 로봇 제어 시스템은 자기학습 기능을 가지므로, 궁극적으로는 뇌신호만을 통해서도 사용자의 정확한 의도 파악이 가능하여 로봇의 정확한 제어가 가능하다. In addition, since the brain-machine interface robot control system according to the present invention has a self-learning function, ultimately, the user can accurately grasp the intention through only the brain signal, thereby enabling accurate control of the robot.

도 1은 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 로봇 제어 시스템의 개념도.
도 2는 로봇이 사용자와 별개로 움직이는 형태로 제공되는 경우의 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 로봇 제어 시스템의 개략도.
도 3은 로봇이 사용자가 탑승할 수 있는 형태로 제공되는 경우의 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 로봇 제어 시스템의 개략도.1 is a conceptual diagram of a brain-machine interface robot control system according to an embodiment of the present invention;
FIG. 2 is a schematic diagram of a brain-machine interface robot control system according to an embodiment of the present invention in a case where the robot is provided in a form moving separately from a user.
FIG. 3 is a schematic diagram of a brain-machine interface robot control system according to an embodiment of the present invention when the robot is provided in a form that the user can board. FIG.

이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명의 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상의 범위 내에 포함된다고 할 것이다. Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings. It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the inventive concept. Other embodiments falling within the scope of the inventive concept may be easily suggested, but are also included within the scope of the invention.

또한 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다. In the following description, the same reference numerals are used to designate the same components in the same reference numerals.

도 1은 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 로봇 제어 시스템(100)의 개념도이다. 1 is a conceptual diagram of a brain-machine interface robot control system 100 according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 로봇 제어 시스템(100)은, 뇌신호측정부(110), 로봇(120), 센서부(130), 및 제어부(140)를 포함할 수 있다. 1, a brain-machine interface robot control system 100 according to an embodiment of the present invention includes a brain signal measuring unit 110, a robot 120, a sensor unit 130, and a controller 140. [ . ≪ / RTI >

뇌신호측정부(110)는 사용자의 뇌신호를 측정할 수 있다. The brain signal measuring unit 110 may measure a user's brain signal.

이때에, 상기 뇌신호측정부(110)는 침습적 방법 혹은 비침습적 방법으로 뇌신호를 측정할 수 있다. At this time, the brain signal measuring unit 110 may measure the brain signal by an invasive method or a non-invasive method.

즉, 상기 뇌신호는 뇌파(Elctroencephalography, EEG), 뇌자도(Magnetoencephaography, MEG)와 같은 비침습적인 뇌신호이거나, 뇌피질전도(Electrocorticography, ECoG)와 같은 덜 침습적인 뇌신호(less-invasive brain signal), 혹은 피질내전극 측정 뇌신호(Intracortical Electrode)와 같은 침습적인 뇌신호 중 어느 하나를 포함하는 것일 수 있다. That is, the brain signal may be a non-invasive brain signal such as an electroencephalography (EEG), a magnetoencephaography (MEG), or a less-invasive brain signal such as electrocorticography (ECoG) ), Or an invasive brain signal such as an intracortical electrode signal in the cortex.

다시 말해서, 상기 뇌신호는 뇌파(Elctroencephalography, EEG), 뇌자도(Magnetoencephaography, MEG), 뇌피질전도(Electrocorticography, ECoG), 피질내전극 측정 뇌신호(Intracortical Electrode) 중 어느 하나이거나 이들 중 어느 하나 이상을 포함하는 것일 수 있다. In other words, the brain signal may be any one of an electroencephalography (EEG), a magnetoencephalography (MEG), an electrocorticography (ECoG), an intracortical electrode signal in the cortex . ≪ / RTI >

로봇(120)은 사용자가 의도하는 목표물(T)과 물리적인 접촉을 하는 말단부(121)를 구비할 수 있다. The robot 120 may have a distal end 121 in physical contact with a target T intended by the user.

즉, 상기 말단부(121)는 목표물(T)을 파지, 가압, 이동하는 등의 물리적인 접촉을 할 수 있다. That is, the distal end portion 121 can physically contact the target T by grasping, pressing, moving, or the like.

예를 들어, 상기 목표물(T)은 사용자가 물리적으로 접촉하기를 의도하는 컵, 공, 손잡이, 스위치 등이 될 수 있으며, 상기 말단부(121)는 상기 목표물(T)인 컵이나 손잡이를 파지하거나, 스위치를 가압하여 on/off 하는 등의 물리적인 접촉을 할 수 있다. For example, the target T may be a cup, a ball, a handle, a switch, or the like, which the user intends to physically touch, and the distal end portion 121 may grip or hold a cup or a handle , Physical contact such as on / off by pressing the switch can be performed.

한편, 상기 로봇(120)은 독립적으로 작동하는 로봇팔 형태로 구비될 수도 있으며, 사용자가 착용하는 외골격 형태의 로봇일 수도 있다. Meanwhile, the robot 120 may be provided in the form of a robot arm that operates independently, or may be a robot in the form of an exoskeleton worn by a user.

아울러, 상기 로봇(120)은 사용자가 탑승하는 형태로도 구비될 수 있다. In addition, the robot 120 may be provided in a form of boarding the user.

센서부(130)는 상기 로봇(120) 주변 물체의 정보를 획득할 수 있다. 즉, 상기 센서부(130)는 상기 로봇(120) 주변 물체의 형태와 거리를 감지할 수 있다. The sensor unit 130 may acquire information about an object around the robot 120. That is, the sensor unit 130 can detect the shape and the distance of the object around the robot 120.

이때에, 상기 센서부(130)는 상기 로봇(120) 주변을 촬영하는 영상센서일 수 있다. At this time, the sensor unit 130 may be an image sensor for photographing the vicinity of the robot 120.

즉, 상기 센서부(130)는 상기 로봇(120) 주변을 촬영할 수 있으며, 이와 같이 촬영된 영상은 2차원 이미지인 RGB 이미지와 각 물체까지의 거리인 깊이 이미지(Depth Image)를 제공할 수 있다. That is, the sensor unit 130 can photograph the periphery of the robot 120, and the photographed image can provide a two-dimensional RGB image and a depth image that is a distance to each object .

이를 통하여, 상기 센서부(130)는 상기 RGB 이미지를 통해서 상기 로봇 주변 물체의 형태를 감지할 수 있으며, 상기 깊이 이미지(Depth Image)를 통해서 상기 로봇(120)의 말단부(121)로부터 상기 로봇(120) 주변 물체까지의 거리를 감지할 수 있다. The sensor unit 130 can sense the shape of the object around the robot through the RGB image and detect the shape of the robot from the distal end 121 of the robot 120 through the depth image. 120) to the surrounding objects.

또한, 상기 센서부(130)는 상기 로봇(120) 주변을 실시간으로 촬영할 수 있으며, 이를 통해 상기 로봇(120)의 말단부(121)의 이동방향과 속도를 감지할 수 있다. In addition, the sensor unit 130 can photograph the robot 120 around the robot 120 in real time, thereby sensing the direction and speed of the distal end 121 of the robot 120.

제어부(140)는 상기 뇌신호측정부(110) 및 상기 센서부(130)로부터 정보를 수신하고, 수신된 정보를 이용하여 상기 로봇(120)을 제어할 수 있다. The control unit 140 may receive information from the brain signal measuring unit 110 and the sensor unit 130 and may control the robot 120 using the received information.

즉, 상기 제어부(140)는 상기 뇌신호측정부(110)에 의해 측정된 뇌신호를 수신할 수 있으며, 수신된 뇌신호를 통해 사용자의 의도를 파악하여, 상기 뇌신호에 의해 파악된 사용자의 의도에 따라 상기 로봇(120)을 제어할 수 있다. That is, the controller 140 can receive the brain signal measured by the brain signal measuring unit 110, grasp the intention of the user through the received brain signal, The robot 120 can be controlled according to the intention.

다시 말해서, 상기 제어부(140)는 상기 뇌신호측정부(110)에 의해 측정된 뇌신호를 통해서 사용자가 의도하는 목표물(T)이 어떤 것인지와 의도된 목표물(T)을 어떻게 할 것인지에 대한 의도를 파악한 뇌신호정보를 생성할 수 있으며, 상기 뇌신호정보를 이용하여 상기 로봇(120)을 제어할 수 있다. In other words, the controller 140 controls the brain signal measured by the brain signal measuring unit 110 to determine what the target T is intended by the user and how to perform the intended target T And can control the robot 120 using the brain signal information.

보다 상세하게는, 상기 제어부(140)는 상기 뇌신호측정부(110)에 의해 측정된 뇌신호를 통해 사용자가 의도하는 목표물(T)의 위치를 파악할 수 있으며, 또한 목표물(T)을 파지하여 이동시킬 것인지, 가압할 것인지 등의 사용자의 의도를 파악할 수 있으며, 이를 통해 상기 로봇(120)을 사용자의 의도에 맞게 움직이도록 제어할 수 있다. More specifically, the control unit 140 can grasp the position of the target T intended by the user through the brain signal measured by the brain signal measuring unit 110, and grasps the target T It is possible to grasp the intention of the user, such as whether to move or press the robot 120, thereby controlling the robot 120 to move according to the user's intention.

또한, 상기 제어부(140)는 상기 센서부(130)로부터 상기 로봇(120) 주변 물체의 형태 및 거리 정보를 수신할 수 있다. In addition, the controller 140 may receive the shape and distance information of the object around the robot 120 from the sensor unit 130.

아울러, 상기 제어부(140)는 상기 센서부(130)로부터 상기 로봇(120)의 말단부(121)의 이동방향과 속도정보를 수신할 수 있다. The controller 140 may receive the movement direction and speed information of the distal end 121 of the robot 120 from the sensor unit 130.

이때에, 상기 제어부(140)는 상기 로봇(120) 주변 물체의 형태 및 거리 정보, 그리고 상기 말단부(121)의 이동방향과 속도정보를 고려하여 상기 로봇 주변(120)의 물체 중 특정 물체를 목표물(T)로 검출할 수 있다. At this time, the controller 140 controls the robot 120 to detect a specific object among the objects of the robot 120 in consideration of the shape and distance information of the object around the robot 120, (T).

예를 들어, 상기 말단부(121)가 상기 로봇(120) 주변 물체 중 어느 특정물체를 향해 이동하면, 상기 제어부(140)는 해당 특정물체를 목표물(T)로 검출할 수 있다. For example, when the distal end portion 121 moves toward a specific object among the objects around the robot 120, the control unit 140 can detect the specific object as a target.

이를 통해, 상기 제어부(140)는 검출된 목표물(T)의 형태와 거리정보를 포함하는 목표물정보를 생성할 수 있다. Accordingly, the control unit 140 can generate target information including the type of the detected target T and the distance information.

이때에, 상기 제어부(140)는 상기 목표물정보를 반영하여 상기 로봇(120)을 제어할 수 있다. At this time, the controller 140 may control the robot 120 by reflecting the target information.

다시 말해서, 상기 제어부(140)는 상기 뇌신호에 의해 파악된 사용자의 의도에 상기 목표물정보를 혼합하여 상기 로봇(120)을 제어할 수 있다. In other words, the controller 140 may control the robot 120 by mixing the target information with the intention of the user identified by the brain signal.

즉, 상기 제어부(140)는 상기 뇌신호에 의해 파악된 사용자의 의도에 따라 상기 로봇(120)을 제어하되 불확실한 요소에 대해서 상기 목표물정보를 반영하여 상기 로봇(120)을 제어할 수 있다. That is, the controller 140 controls the robot 120 according to the intention of the user identified by the brain signal, and controls the robot 120 by reflecting the target information on an uncertain element.

이를 통하여, 뇌신호에 의해 파악되는 사용자 의도의 불명확성을 보다 명확히 할 수 있어 사용자의 의도에 따른 정확한 로봇의 제어가 가능하다. Through this, it is possible to clarify the uncertainty of the user's intention which is grasped by the brain signal, so that it is possible to control the robot accurately according to the user's intention.

한편, 상기 제어부(140)는 인공지능 시스템을 통한 자기학습이 가능할 수 있다. Meanwhile, the controller 140 can perform self-learning through the artificial intelligence system.

보다 상세히 설명하면, 상기 제어부(140)는 수신되는 뇌신호에 따른 상기 로봇(120)의 제어 내용인 제어데이터를 저장할 수 있다. More specifically, the control unit 140 may store control data, which is a control content of the robot 120 according to a received brain signal.

이때에, 상기 제어부(140)는 상기 제어데이터로 저장된 뇌신호와 유사한 패턴의 뇌신호가 입력된 경우 상기 제어데이터를 참조하여 상기 로봇(120)을 제어할 수 있다. At this time, the controller 140 may control the robot 120 by referring to the control data when a brain signal similar in pattern to the brain signal stored in the control data is input.

예를 들어, 상기 제어부(140)가 특정 뇌신호를 수신하여 목표물의 위치를 파악하고, 목표물정보를 통해 목표물은 컵이고 사용자의 의도는 컵을 파지하려는 것임을 명확히 파악하여, 상기 로봇(120)을 제어하고 이를 제어데이터로 저장할 수 있다.For example, the control unit 140 receives a specific brain signal to grasp the position of the target, clearly recognizes that the target is the cup, and the intention of the user is to grasp the cup through the target information, And store it as control data.

이후, 상기 제어부(140)는 유사한 패턴의 뇌신호가 수신되면, 목표물정보를 통하지 않더라도, 제어데이터를 참조하여 사용자의 의도가 컵을 파지하려는 것임을 파악할 수 있어 상기 로봇을 사용자의 의도에 따라 정확하게 제어할 수 있다. If a similar pattern of brain signals is received, the control unit 140 can recognize that the intention of the user is to grasp the cup by referring to the control data even if the target information is not transmitted, can do.

이를 통하여, 상기 제어부(140)는 자기학습이 가능하여 궁극적으로는 상기 목표물정보를 반영하지 않고, 상기 뇌신호만을 이용하여 상기 로봇(120)의 정확한 제어가 가능해질 수 있다. Accordingly, the controller 140 can perform self-learning, and ultimately, the robot 120 can be accurately controlled using only the brain signal without reflecting the target information.

상술한 바와 같이, 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 로봇 제어 시스템(100)은 뇌신호에 의해 사용자의 의도를 파악하되, 센서부(130)를 통해 취득되는 물체의 정보를 통해 목표물을 감지한 목표물정보를 통해 사용자의 의도를 보다 명확하게 파악하도록 함으로써 로봇(120)을 보다 정확히 제어할 수 있다. As described above, the brain-machine interface robot control system 100 according to the embodiment of the present invention grasps the intention of a user by means of a brain signal, The robot 120 can be more accurately controlled by allowing the user to more clearly grasp the intention of the user through the target information.

또한, 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 로봇 제어 시스템(100)은 자기학습 기능을 가지므로, 궁극적으로는 뇌신호만을 통해서도 사용자의 정확한 의도 파악이 가능하여 로봇의 정확한 제어가 가능하다. In addition, since the brain-machine interface robot control system 100 according to an embodiment of the present invention has a self-learning function, accurate control of the robot can be performed by ultimately allowing the user to accurately grasp the intention through only the brain signal .

이하에서는, 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 로봇 제어 시스템(100)의 구체적인 실시형태에 대해서 예를 들어 설명한다. Hereinafter, a specific embodiment of the brain-machine interface robot control system 100 according to an embodiment of the present invention will be described by way of example.

도 2는 상기 로봇(120)이 사용자와 별개로 움직이는 형태로 제공되는 경우의 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 로봇 제어 시스템(100)의 개략도이고, 도 3은 상기 로봇(120)이 사용자가 탑승할 수 있는 형태로 제공되는 경우의 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 로봇 제어 시스템(100)의 개략도이다. FIG. 2 is a schematic view of a brain-machine interface robot control system 100 according to an embodiment of the present invention in which the robot 120 is provided in a form moving independently of a user. Machine interface robot control system 100 according to an embodiment of the present invention in which the user is provided in a form capable of boarding.

도 2를 참조하면, 상기 로봇(120)은 소정공간(S)을 이동할 수 있도록 구비되는 이동수단(122), 목표물(T)과 물리적인 상호 작용을 할 수 있도록 하는 말단부(121) 및 상기 이동수단(122)과 상기 말단부(121)를 연결하고 상기 말단부(121)의 위치 및 자세를 조절할 수 있도록 하는 관절부(123)를 구비할 수 있다. 2, the robot 120 includes a moving unit 122 that is movable in a predetermined space S, a distal end unit 121 that can physically interact with the target T, And a joint part 123 connecting the means 122 and the distal end part 121 and adjusting the position and the posture of the distal end part 121. [

이때에, 센서부(130)는 상기 소정공간(S)을 촬영하는 영상센서일 수 있으며, 상기 제어부(140)는 상기 센서부(130)에 의해 촬영되는 영상을 통하여, 상기 로봇(120)의 이동방향 및 속도, 상기 목표물(T)의 위치 및 거리 정보를 파악할 수 있다. At this time, the sensor unit 130 may be an image sensor for photographing the predetermined space S, and the controller 140 may control the operation of the robot 120 through the image captured by the sensor unit 130. [ The moving direction and the speed, the position of the target T, and the distance information.

도 3을 참조하면, 상기 로봇(120)은 사용자가 탑승가능하도록 구비될 수 있다. Referring to FIG. 3, the robot 120 may be provided so that a user can ride.

즉, 사용자가 탑승하여 이동할 수 있도록 구비되는 이동수단(122), 목표물(T)과 물리적인 상호 작용을 할 수 있도록 하는 말단부(121) 및 상기 이동수단(122)과 상기 말단부(121)를 연결하고 상기 말단부(121)의 위치 및 자세를 조절할 수 있도록 하는 관절부(123)를 구비할 수 있다. That is, a moving means 122 provided for the user to ride and move, a distal end portion 121 for physically interacting with the target T, and a connecting portion 122 connecting the moving means 122 and the distal end portion 121 And a joint part 123 for adjusting the position and posture of the distal end part 121.

즉, 상기 로봇(120)은 이동수단(122)이 전동휠체어 형태이고, 상기 관절부(123) 및 상기 말단부(121)가 상기 이동수단에 장착된 형태로 제공 될 수 있다. That is, the robot 120 may be provided in such a form that the moving means 122 is in the form of an electric wheelchair, and the joint 123 and the distal end 121 are mounted on the moving means.

이때에, 센서부(130)는 상기 로봇(120)에 연결되어 구비될 수 있다. At this time, the sensor unit 130 may be connected to the robot 120.

즉, 상기 센서부(130)는 상기 이동수단(122), 상기 말단부(121), 또는 상기 관절부(123) 중 어느 하나에 연결되어 구비되어 상기 로봇(120) 주변 물체의 형태와 거리 정보를 파악할 수 있다.That is, the sensor unit 130 is connected to any one of the moving unit 122, the distal end unit 121, and the joint unit 123 to detect the shape and distance information of the object around the robot 120 .

아울러, 특별히 도시하지는 않았으나, 본 발명의 일 실시예에 의한 뇌-기계 인터페이스 로봇 제어 시스템(100)에서 상기 로봇(120)은 사용자가 직접 착용하는 의수의 형태로 제공될 수도 있다. In addition, although not specifically shown, in the brain-machine interface robot control system 100 according to the embodiment of the present invention, the robot 120 may be provided in the form of a worn directly by the user.

이상에서, 본 발명의 일 실시예에 대하여 상세하게 설명하였지만, 본 발명의 권리범위는 이에 한정되는 것은 아니고, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 수정 및 변형이 가능하다는 것은 당 기술 분야의 통상의 지식을 가진 자에게는 자명할 것이다. While the invention has been shown and described with reference to certain embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention as defined in the appended claims. It will be obvious to those of ordinary skill in the art.

100: 본 발명의 일 실시예에 의한 뇌-기계 인터페이스 로봇 제어 시스템
110: 뇌신호측정부
120: 로봇
121: 말단부
130: 센서부
140: 제어부
T: 목표물100: a brain-machine interface robot control system according to an embodiment of the present invention
110: brain signal measuring unit
120: Robot
121:
130:
140:
T: Target

Claims (7)

사용자의 뇌신호를 측정하는 뇌신호측정부;
구동에 의해 목표물과 물리적으로 접촉하는 말단부를 구비하는 로봇;
상기 로봇 주변 물체의 형태와 거리를 감지하는 센서부; 및
상기 뇌신호측정부에서 측정된 상기 뇌신호를 통하여 사용자의 의도를 파악하고, 상기 센서부로부터 감지된 로봇 주변 물체의 형태와 거리 정보를 수신하여 목표물에 대한 위치와 거리 정보인 목표물정보를 생성하며, 상기 뇌신호에 의해 파악된 사용자의 의도와 상기 목표물정보를 통해 상기 로봇의 움직임을 제어하는 제어부;를 포함하고,
상기 센서부는, 상기 로봇의 말단부와 상기 로봇 주변을 촬영하는 영상센서이고, 상기 말단부의 이동방향과 속도를 감지하고, 촬영된 영상을 통해 물체의 형태와 거리를 감지하고,
상기 제어부는, 상기 센서부에서 감지된 상기 말단부의 이동방향과 속도를 고려하여 상기 로봇 주변의 여러 물체 중 사용자가 의도하는 목표물을 실시간으로 검출하고, 상기 검출된 목표물의 형태와 위치정보를 포함하는 목표물정보를 생성하고, 상기 로봇과 상기 목표물과의 거리가 가까울수록 상기 목표물정보의 반영비율을 높여 상기 로봇을 제어하고, 상기 뇌신호에 따른 상기 로봇의 제어 내용인 제어데이터를 저장하고, 상기 뇌신호측정부에서 측정된 뇌신호와 상기 저장된 뇌신호를 비교하여 상기 측정된 뇌신호가 상기 저장된 뇌신호와 유사한 패턴의 뇌신호인 경우에는 상기 저장된 뇌신호에 해당하는 제어데이터를 참조하여 상기 로봇을 제어하는 것을 특징으로 하는 뇌-기계 인터페이스 로봇 제어 시스템.A brain signal measuring unit for measuring a user's brain signal;
A robot having a distal end that is in physical contact with a target by driving;
A sensor unit for sensing a shape and a distance of the object around the robot; And
And a control unit configured to receive the shape information and the distance information of the object detected by the sensor unit from the sensor unit to generate target information, And a controller for controlling movement of the robot through the user's intention detected by the brain signal and the target information,
The sensor unit is an image sensor for photographing a distal end portion of the robot and the robot periphery. The sensor unit senses a moving direction and a velocity of the distal end, detects the shape and distance of the object through the photographed image,
Wherein the control unit detects in real time a target intended by the user among a plurality of objects around the robot in consideration of the moving direction and speed of the distal end detected by the sensor unit, Wherein the controller controls the robot by raising the reflection ratio of the target information as the distance between the robot and the target becomes closer and stores control data as control contents of the robot according to the brain signal, And comparing the brain signal measured by the signal measuring unit with the stored brain signal. When the measured brain signal is a brain signal having a pattern similar to the stored brain signal, the control unit refers to the control data corresponding to the stored brain signal, Wherein the robot control system comprises: 제1항에 있어서,
상기 뇌신호는 비침습적으로 측정되는 것을 특징으로 하는 뇌-기계 인터페이스 로봇 제어 시스템.The method according to claim 1,
Wherein the brain signal is measured non-invasively. 제2항에 있어서,
상기 뇌신호는 뇌파(Electroencephalography, EEG) 또는 뇌자도(Magnetoencephalography, MEG)인 것을 특징으로 하는 뇌-기계 인터페이스 로봇 제어 시스템.3. The method of claim 2,
Wherein the brain signal is electroencephalography (EEG) or magnetoencephalography (MEG). 삭제delete 삭제delete 삭제delete 삭제delete
KR1020160151968A 2016-11-15 2016-11-15 Brain-Machine Interface Robot Control System KR101934272B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160151968A KR101934272B1 (en) 2016-11-15 2016-11-15 Brain-Machine Interface Robot Control System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160151968A KR101934272B1 (en) 2016-11-15 2016-11-15 Brain-Machine Interface Robot Control System

Publications (2)

Publication Number Publication Date
KR20180054252A KR20180054252A (en) 2018-05-24
KR101934272B1 true KR101934272B1 (en) 2019-01-02

Family

ID=62296601

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160151968A KR101934272B1 (en) 2016-11-15 2016-11-15 Brain-Machine Interface Robot Control System

Country Status (1)

Country Link
KR (1) KR101934272B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220005673A (en) * 2020-07-06 2022-01-14 한국과학기술연구원 Method for controlling moving body based on collaboration between the moving body and human, and apparatus for controlling the moving body thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101656739B1 (en) * 2014-12-26 2016-09-12 고려대학교 산학협력단 Method and apparatus for control of wearable gait robot based on eeg

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101656739B1 (en) * 2014-12-26 2016-09-12 고려대학교 산학협력단 Method and apparatus for control of wearable gait robot based on eeg

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220005673A (en) * 2020-07-06 2022-01-14 한국과학기술연구원 Method for controlling moving body based on collaboration between the moving body and human, and apparatus for controlling the moving body thereof
KR102396163B1 (en) 2020-07-06 2022-05-12 한국과학기술연구원 Method for controlling moving body based on collaboration between the moving body and human, and apparatus for controlling the moving body thereof

Also Published As

Publication number Publication date
KR20180054252A (en) 2018-05-24

Similar Documents

Publication Publication Date Title
Guo et al. Human–robot interaction for rehabilitation robotics
EP3558209B1 (en) A power assistive device for hand rehabilitation
Lobo-Prat et al. Non-invasive control interfaces for intention detection in active movement-assistive devices
US9662525B2 (en) Upper limb rehabilitation robot for meal assistance or meal rehabilitation training and method thereof
EP2616115B1 (en) Human machine interface for human exoskeleton
Kim et al. Continuous shared control for stabilizing reaching and grasping with brain-machine interfaces
US20170119553A1 (en) A haptic feedback device
KR101667179B1 (en) User-coupled human-machine interface system and a control method of an exoskeleton thereof
JP2011516915A (en) Motion content-based learning apparatus and method
Mouchoux et al. Artificial perception and semiautonomous control in myoelectric hand prostheses increases performance and decreases effort
KR101383421B1 (en) Upper extremity rehabilitation robot for assistance meals
Carrozza et al. A wearable biomechatronic interface for controlling robots with voluntary foot movements
Volkmar et al. Improving bimanual interaction with a prosthesis using semi-autonomous control
KR101831602B1 (en) Upper limb rehabilitation robot module and upper limb rehabilitation robot system for precision control by image processing
KR101934272B1 (en) Brain-Machine Interface Robot Control System
KR101383450B1 (en) Upper extremity rehabilitation robot control method for meal assistance
KR101697958B1 (en) Walking System
US20220009104A1 (en) Robot
Mezzina et al. Smart sensors HW/SW interface based on brain-actuated personal care robot for ambient assisted living
Jang et al. Recognition of walking intention using multiple bio/kinesthetic sensors for lower limb exoskeletons
Stefanou et al. Upper limb motion intent recognition using tactile sensing
Perera et al. Electrooculography signal based control of a meal assistance robot
KR101745860B1 (en) Active upper extremity exercise assist device
Rehman et al. A Force Myography based HMI for Classification of Upper Extremity Gestures
US20230068682A1 (en) Neuromuscular electrical stimulation controlled by computer vision

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant