KR20220060344A - Apparatus for determining intention of user using wearable robot of upper limb - Google Patents

Apparatus for determining intention of user using wearable robot of upper limb Download PDF

Info

Publication number
KR20220060344A
KR20220060344A KR1020200146241A KR20200146241A KR20220060344A KR 20220060344 A KR20220060344 A KR 20220060344A KR 1020200146241 A KR1020200146241 A KR 1020200146241A KR 20200146241 A KR20200146241 A KR 20200146241A KR 20220060344 A KR20220060344 A KR 20220060344A
Authority
KR
South Korea
Prior art keywords
sensing unit
user
wrist
hand
intention
Prior art date
Application number
KR1020200146241A
Other languages
Korean (ko)
Inventor
박영식
이창혁
홍지태
Original Assignee
한국전기연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전기연구원 filed Critical 한국전기연구원
Priority to KR1020200146241A priority Critical patent/KR20220060344A/en
Publication of KR20220060344A publication Critical patent/KR20220060344A/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0006—Exoskeletons, i.e. resembling a human figure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion

Abstract

The present invention relates to an apparatus for identifying the intention of a user using a wearable robotic upper limb, which identifies the intention of a user using a wearable robotic upper limb. The apparatus comprises: a sight sensing unit for sensing the sight of a user; a wrist sensing unit for sensing a wrist movement; a hand sensing unit for sensing a hand movement; and a control unit which is connected to the sight sensing unit, the wrist sensing unit (20), and the hand sensing unit (30) and controls the wearable robotic upper limb based on the result of identifying the user intention by integrating the respective sensing results. Therefore, according to the present invention, the control unit integrates and controls the sensing results of the sight sensing unit, the wrist sensing unit, and the hand sensing unit, such that the type of sensors can be changed and a new algorithm can be applied to be used in an upper limb wearable suit, the required number of sensors and purchase costs can be reduced, and the reluctance of a wearer can be reduced.

Description

상지 웨어러블 로봇의 의도파악장치{APPARATUS FOR DETERMINING INTENTION OF USER USING WEARABLE ROBOT OF UPPER LIMB}Intention detection device for upper extremity wearable robot {APPARATUS FOR DETERMINING INTENTION OF USER USING WEARABLE ROBOT OF UPPER LIMB}

본 발명은 상지 웨어러블 로봇의 의도파악장치에 관한 것으로서, 보다 상세하게는 상지 웨어러블 로봇의 사용자의 의도를 파악하는 상지 웨어러블 로봇의 의도파악장치에 관한 것이다.The present invention relates to a device for detecting an intention of an upper extremity wearable robot, and more particularly, to an intention detecting device for an upper extremity wearable robot for detecting a user's intention of the wearable robot.

다양한 분야에서 로봇이 이용됨에 따라 종전에 인간이 수행하던 작업을 로봇이 대신 수행하는 일이 늘어나고 있다. 비교적 단순하고 쉬운 작업을 로봇으로 대체하여 반복적으로 작업을 수행하거나 인간이 직접 투입되기 어려운 환경에서의 작업을 수행하기 위하여 다양한 형태의 로봇이 사용되고 있다.As robots are used in various fields, robots are increasingly performing tasks previously performed by humans. Various types of robots are being used to repeatedly perform tasks by replacing relatively simple and easy tasks with robots, or to perform tasks in environments where it is difficult for humans to directly input them.

이러한 예로서 생산자동화 공정이나 험지 탐사 등 인간이 본래 수행하였던 일을 로봇이 수행하기 위하여 인간의 형태를 모사한 로봇이 산업 현장에서 사용되고 있다. 그에 따라 인간의 형태에 유사한 로봇의 움직임을 사용자가 직관적인 조작으로 조종 가능 하도록 하기 위한 다양한 방법이 시도되고 있다.As an example of this, a robot that mimics a human form is used in industrial sites in order for the robot to perform tasks originally performed by humans, such as production automation processes or rough terrain exploration. Accordingly, various methods have been tried to enable the user to control the movement of the robot similar to the human form through intuitive manipulation.

또한, 일상 생활이 불가능한 신체능력을 가진 장애인, 환자 또는 노약자를 위한 착용형 로봇 또는 체력이나 신체능력을 강화하기 위한 산업용 또는 군사용 착용형 로봇의 개발이 진행되고 있다.In addition, the development of wearable robots for the disabled, patients or the elderly with physical abilities that are impossible for daily living, or wearable robots for industrial or military use to enhance physical strength or physical ability is in progress.

장애인, 환자 또는 노약자를 위한 착용형 로봇의 경우에는 신체 능력, 요구되는 보조력의 크기 또는 역할에 따라 완전마비 장애인용 착용형 로봇과 노약자 또는 부분마비 환자 또는 장애인용 착용형 로봇으로 분류될 수 있다.In the case of wearable robots for the disabled, patients, or the elderly, they can be classified into a wearable robot for the paralyzed person and a wearable robot for the elderly or partially paralyzed or disabled according to the size or role of the physical ability and required assistive force. .

종래의 착용형 로봇은 국방용, 산업용, 복지용으로 나뉘며 사용자의 의도를 파악하는 방법에 대해서 많이 연구되고 있다(HRI: Human-Robot Interaction) 특히 산업용 로봇들의 경우 대부분 하지(하체)를 타겟으로 되어 있으며, 토크센서, EMG(Electromyography, 근전도)센서, 비전센서, EEG(Electroencephalography, 뇌전도/뇌파), 기구적 구조, AI 등을 통해 사용자의 의도를 파악하게 된다.Conventional wearable robots are divided into defense, industrial, and welfare, and a lot of research is being done on how to understand the user's intentions (HRI: Human-Robot Interaction). In addition, the user's intention is identified through torque sensor, EMG (Electromyography) sensor, vision sensor, EEG (Electroencephalography, EEG), mechanical structure, AI, etc.

토크 센서의 경우에 사용자가 어디로 힘을 가하는지 파악하는데 사용되며, 미리 힘의 방향을 파악하여 보조한다. EMG 센서는 근육의 활동량을 전기신호로 측정한다. 사람이 로봇에 힘을 가하기 전에 해당 근육 부위에 전기신호가 발생하기 때문에 실제 동작이 발생하기 전동작 의도를 파악할 수 있으며 근육이 약하거나 없는 경우에도 의도 파악이 가능하다.In the case of the torque sensor, it is used to determine where the user applies the force, and assists by identifying the direction of the force in advance. The EMG sensor measures the amount of muscle activity as an electrical signal. Because an electrical signal is generated in the relevant muscle area before a human applies force to the robot, the intention of the movement can be identified before the actual movement occurs, and even when the muscle is weak or absent.

이러한 센서들의 데이터를 이용하여 학습시키고 학습된 데이터를 이용하여 사용자의 의도를 파악하게 되나, 각도값의 경우 사용자가 같은 움직임을 하여도 저장된 훈련 데이터와 실시간으로 입력되는 데이터로부터 얻어지는 각도값이 다를 수 있는데, 이는 드리프트와 같은 센서 에러의 누적이 원인이다. It learns using the data of these sensors and uses the learned data to understand the user's intention. However, in the case of the angle value, the angle value obtained from the stored training data and the real-time input data may be different even if the user makes the same movement. However, this is due to the accumulation of sensor errors such as drift.

예를 들면, 가속도 미터와 자이로 센서를 포함하는 관성측정장치(IMU, Inertial Measurement Unit)를 사용하여 상황 인지(contextawareness)를 하기 위한 훈련 데이터(training data)를 기록할 때, 훈련 데이터로부터 얻은 롤(roll), 피치(pitch), 요(yaw)와 같은 각도의 절대값들이 사용자들이 장치를 사용하기 시작할 때의 초기각들과 일치하지 않을 수 있는 문제가 있었다. For example, when recording training data for contextawareness using an inertial measurement unit (IMU) that includes an accelerometer and a gyro sensor, the roll ( There is a problem in that absolute values of angles such as roll, pitch, and yaw may not match the initial angles when users start using the device.

특히, 토크 센서의 경우 신체에 직접 부착하기 힘들며 기계 구조가 필요하게 되면 로봇 무게도 증가하기 때문에 로봇의 효율을 유지하기 위해서는 부피가 큰 전신용 로봇이 필요하게 되는 문제가 있었다.In particular, in the case of a torque sensor, it is difficult to attach directly to the body, and if a mechanical structure is required, the weight of the robot increases.

EMG 센서의 경우 측정된 근전도 신호에 잡음이 많고 의도 파악을 위해 별도의 처리 과정이 요구되고 피부에 직접 부착해야하기 때문에 땀이 나거나 활동이 많은 경우에 착용이 제한적이게 되며 계속 사용하기 위해선 부착 위치를 계속해서 바꿔줘야 한다는 문제도 있었다. In the case of the EMG sensor, the measured EMG signal has a lot of noise, a separate processing process is required to determine the intention, and it has to be directly attached to the skin. There was also the problem of constantly changing it.

또한, 센서의 부착위치를 바꿔줄 경우 센서 초기화 작업이 필요하며 근육 피로도에 따라 측정 신호의 크기가 저하되는 문제도 있었고, 센서가 많이 부착될수록 가격문제와 더불어 착용자의 거부감(이질감)이 높아지며 피도로 또한 증가하게 되는 문제도 있었다.In addition, when changing the attachment position of the sensor, sensor initialization work is required, and there is a problem that the magnitude of the measurement signal is lowered according to muscle fatigue. There was also the problem of increasing.

대한민국 공개공보 제10-2017-0129109호 (2017년11월24일)Republic of Korea Publication No. 10-2017-0129109 (November 24, 2017) 대한민국 공개공보 제10-2019-0131740호 (2019년11월27일)Republic of Korea Publication No. 10-2019-0131740 (November 27, 2019) 대한민국 공개공보 제10-2019-0019180호 (2019년02월26일)Republic of Korea Publication No. 10-2019-0019180 (February 26, 2019)

본 발명은 상기와 같은 종래의 문제점을 해소하기 위해 안출한 것으로서, 시각 감지부와 손목 감지부와 손 감지부의 감지결과를 통합해서 제어부에서 제어함으로써, 센서의 종류를 바꾸고 새로운 알고리즘을 적용하여, 상지 착용형 슈트에 사용되며 필요한 센서 개수와 구매 비용이 줄어들고 착용자의 거부감을 줄여 줄 수 있는 상지 웨어러블 로봇의 의도파악장치를 제공하는 것을 그 목적으로 한다. The present invention has been devised to solve the conventional problems as described above, and by integrating the detection results of the visual sensing unit, the wrist sensing unit, and the hand sensing unit and controlling the control unit, the type of sensor is changed and a new algorithm is applied, Its purpose is to provide a device for detecting the intention of the upper extremity wearable robot, which is used in a wearable suit and can reduce the number of required sensors and purchase cost, and reduce the wearer's rejection.

또한, 본 발명은 손가락 감지부를 더 구비함으로써, 손가락에 장착되어 손가락의 쥠상태와 폄상태의 변화에 의거해서 상지 웨어러블 로봇의 이동 및 구동에 대한 정보를 제공할 수 있는 상지 웨어러블 로봇의 의도파악장치를 제공하는 것을 또 다른 목적으로 한다. In addition, the present invention further includes a finger detection unit, so that it is mounted on a finger and can provide information on movement and driving of the upper extremity wearable robot based on changes in the gripping state and the extended state of the finger. Another purpose is to provide

또한, 본 발명은 종래에 사용하던 토크센서, EMG(Electromyography)센서, EEG(Electroencephalography)센서의 단점을 해결하면서 준수한 성능을 내기 위해 가속도 센서, 스트래치(stretch)센서, 비전센서(Eye-tracking)를 이용하여 힘에만 의존하지 않고 시선과 자세를 이용하여 착용자의 의도를 파악할 수 있는 상지 웨어러블 로봇의 의도파악장치를 제공하는 것을 또 다른 목적으로 한다. In addition, the present invention solves the disadvantages of the conventionally used torque sensor, EMG (Electromyography) sensor, and EEG (Electroencephalography) sensor, and provides an acceleration sensor, a stretch sensor, and a vision sensor (Eye-tracking) to provide satisfactory performance. Another object of the present invention is to provide an intention detection device for upper extremity wearable robots that can grasp the wearer's intentions using gaze and posture without relying solely on force.

또한, 본 발명은 중량물 운반자들을 위한 착용형 슈트에 적용될 기법이며 안경형, 손목밴드형, 장갑 등 현장에서 많이 사용되는 도구와 융합되어 사용할 수 있는 장점이 있어서 거부감을 줄일 수 있는 상지 웨어러블 로봇의 의도파악장치를 제공하는 것을 또 다른 목적으로 한다. In addition, the present invention is a technique to be applied to a wearable suit for heavy load carriers, and has the advantage of being fused with tools widely used in the field, such as glasses type, wristband type, and gloves, so that the intention of the upper extremity wearable robot can be reduced It is another object to provide a device.

또한, 본 발명은 센서 고정을 위한 별도의 기구 프레임이 없어도 되며 사용하는 센서들은 무선 제품이 많기 때문에 선꼬임 등 불편한 문제가 발생하지 않으며 구매 비용이 줄어 현장에 많이 보급 될 수 있는 상지 웨어러블 로봇의 의도파악장치를 제공하는 것을 또 다른 목적으로 한다. In addition, the present invention does not require a separate instrument frame for fixing the sensor, and since the sensors used are many wireless products, inconvenient problems such as wire kinking do not occur, and the purchase cost is reduced. It is another purpose to provide a grasping device.

상기와 같은 목적을 달성하기 위한 본 발명은, 상지 웨어러블 로봇의 사용자의 의도를 파악하는 상지 웨어러블 로봇의 의도파악장치로서, 사용자의 안구부위에 설치되어, 사용자의 시각을 감지하는 시각 감지부(10); 사용자의 손목부위에 설치되어, 손목의 움직임을 감지하는 손목 감지부(20); 사용자의 손부위에 설치되어, 손의 움직임을 감지하는 손 감지부(30); 및 상기 시각 감지부(10)와 상기 손목 감지부(20)와 상기 손 감지부(30)에 접속되며, 각각의 감지결과를 통합해서 사용자의 의도를 파악한 결과에 의거해서 상지 웨어러블 로봇을 제어하는 제어부(40);를 포함하는 것을 특징으로 한다.The present invention for achieving the above object is an upper extremity wearable robot intention detecting device for detecting the user's intention of the upper extremity wearable robot, which is installed in the user's eye area, and a visual sensing unit (10) for detecting the user's time. ); It is installed on the user's wrist, wrist sensing unit 20 for detecting the movement of the wrist; The hand sensor 30 is installed on the user's hand, detecting the movement of the hand; And it is connected to the visual sensor 10, the wrist sensor 20, and the hand sensor 30, and controls the upper extremity wearable robot based on the result of identifying the user's intention by integrating the respective detection results. Control unit 40; characterized in that it includes.

또한, 본 발명은 사용자의 손가락부위에 설치되어, 손가락의 움직임을 감지하는 손가락 감지부(50);를 더 포함하는 것을 특징으로 한다. 본 발명의 상기 손가락 감지부(50)는, 손가락의 움직임을 감지하여 손가락의 파지상태를 출력하는 것을 특징으로 한다.In addition, the present invention is installed on the user's finger portion, the finger detection unit 50 for detecting the movement of the finger; characterized in that it further comprises. The finger sensing unit 50 of the present invention is characterized in that it senses the movement of the finger and outputs the gripping state of the finger.

본 발명의 상기 시각 감지부(10)는, 사용자의 시각을 감지하여 물체 및 장소와의 거리와 초점좌표를 출력하는 것을 특징으로 한다. 본 발명의 상기 손목 감지부(20)는, 손목의 움직임를 감지하여 손목의 각도를 출력하는 것을 특징으로 한다.The time sensing unit 10 of the present invention is characterized in that it senses the user's time and outputs a distance to an object and a place and a focus coordinate. The wrist sensing unit 20 of the present invention is characterized in that it senses the movement of the wrist and outputs the angle of the wrist.

본 발명의 손 감지부(30)는, 손의 움직임을 감지하여 손의 굽힘정도를 출력하는 것을 특징으로 한다. 본 발명의 상기 제어부(40)는, 물체를 인식하고, 잡기를 준비하고, 물체를 잡기하고, 이동을 준비하고, 재치장소를 확인하고, 물체를 놓기의 순서로 제어를 진행하는 것을 특징으로 한다.The hand sensing unit 30 of the present invention is characterized in that it senses the movement of the hand and outputs the degree of bending of the hand. The control unit 40 of the present invention recognizes an object, prepares for grabbing, grabs the object, prepares for movement, confirms a place to be placed, and performs control in the order of placing the object. .

이상에서 살펴본 바와 같이, 본 발명은 시각 감지부와 손목 감지부와 손 감지부의 감지결과를 통합해서 제어부에서 제어함으로써, 센서의 종류를 바꾸고 새로운 알고리즘을 적용하여, 상지 착용형 슈트에 사용되며 필요한 센서 개수와 구매 비용이 줄어들고 착용자의 거부감을 줄여 줄 수 있는 효과를 제공한다.As described above, the present invention integrates the detection results of the visual sensing unit, the wrist sensing unit, and the hand sensing unit to control the sensor, changing the type of sensor, and applying a new algorithm, a sensor required and used in the upper arm wearable suit. The number and purchase cost are reduced, and the effect of reducing the wearer's objection is provided.

또한, 손가락 감지부를 더 구비함으로써, 손가락에 장착되어 손가락의 쥠상태와 폄상태의 변화에 의거해서 상지 웨어러블 로봇의 이동 및 구동에 대한 정보를 제공할 수 있는 효과를 제공한다.In addition, by further providing a finger sensing unit, it is mounted on a finger and provides an effect of providing information on the movement and driving of the upper extremity wearable robot based on changes in the gripping state and the extension state of the finger.

또한, 종래에 사용하던 토크센서, EMG(Electromyography)센서, EEG(Electroencephalography)센서의 단점을 해결하면서 준수한 성능을 내기 위해 가속도 센서, 스트래치(stretch)센서, 비전센서(Eye-tracking)를 이용하여 힘에만 의존하지 않고 시선과 자세를 이용하여 착용자의 의도를 파악할 수 있는 효과를 제공한다.In addition, in order to provide satisfactory performance while solving the disadvantages of the conventionally used torque sensor, EMG (Electromyography) sensor, and EEG (Electroencephalography) sensor, an acceleration sensor, a stretch sensor, and a vision sensor (Eye-tracking) are used. It provides the effect of grasping the intention of the wearer using gaze and posture rather than relying solely on force.

또한, 중량물 운반자들을 위한 착용형 슈트에 적용될 기법이며 안경형, 손목밴드형, 장갑 등 현장에서 많이 사용되는 도구와 융합되어 사용할 수 있는 장점이 있어서 거부감을 줄일 수 있는 효과를 제공한다.In addition, it is a technique to be applied to a wearable suit for heavy cargo carriers, and has the advantage of being fused with tools commonly used in the field, such as glasses type, wristband type, and gloves, and thus provides the effect of reducing rejection.

또한, 센서 고정을 위한 별도의 기구 프레임이 없어도 되며 사용하는 센서들은 무선 제품이 많기 때문에 선꼬임 등 불편한 문제가 발생하지 않으며 구매 비용이 줄어 현장에 많이 보급 될 수 있는 효과를 제공한다.In addition, there is no need for a separate mechanism frame for fixing the sensor, and since there are many wireless sensors used, inconvenient problems such as wire kinking do not occur, and the purchase cost is reduced, providing the effect of being widely distributed in the field.

도 1은 본 발명의 일 실시예에 의한 상지 웨어러블 로봇의 의도파악장치를 나타내는 구성도.
도 2는 본 발명의 일 실시예에 의한 상지 웨어러블 로봇의 의도파악장치를 나타내는 블럭도.
도 3은 본 발명의 일 실시예에 의한 상지 웨어러블 로봇의 의도파악장치의 동작상태를 나타내는 흐름도.1 is a block diagram showing an intention detecting device of an upper extremity wearable robot according to an embodiment of the present invention.
2 is a block diagram illustrating an intention detection device of an upper extremity wearable robot according to an embodiment of the present invention.
3 is a flowchart illustrating an operation state of an intention detecting device of an upper extremity wearable robot according to an embodiment of the present invention.

이하, 첨부도면을 참조하여 본 발명의 바람직한 일 실시예를 더욱 상세히 설명한다. Hereinafter, a preferred embodiment of the present invention will be described in more detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 의한 상지 웨어러블 로봇의 의도파악장치를 나타내는 구성도이고, 도 2는 본 발명의 일 실시예에 의한 상지 웨어러블 로봇의 의도파악장치를 나타내는 블럭도이고, 도 3은 본 발명의 일 실시예에 의한 상지 웨어러블 로봇의 의도파악장치의 동작상태를 나타내는 흐름도이다..1 is a block diagram showing an intention detecting device of an upper extremity wearable robot according to an embodiment of the present invention, FIG. 2 is a block diagram showing an intention detecting device of an upper extremity wearable robot according to an embodiment of the present invention; is a flow chart showing the operation state of the intention detection device of the upper extremity wearable robot according to an embodiment of the present invention.

도 1 내지 도 2에 나타낸 바와 같이, 본 실시예에 의한 상지 웨어러블 로봇의 의도파악장치는, 시각 감지부(10), 손목 감지부(20), 손 감지부(30), 제어부(40), 손가락 감지부(50)를 포함하여 이루어져, 상지 웨어러블 로봇의 사용자의 의도를 파악하는 상지 웨어러블 로봇의 의도파악장치이다.As shown in FIGS. 1 to 2 , the device for detecting the intention of the upper extremity wearable robot according to the present embodiment includes a visual sensing unit 10, a wrist sensing unit 20, a hand sensing unit 30, a control unit 40, It is an intention detecting device of the upper extremity wearable robot that includes the finger sensing unit 50 and detects the intention of the user of the upper extremity wearable robot.

시각 감지부(10)는, 사용자의 안구부위에 설치되어 사용자의 시각을 감지하는 감지수단으로서, 물체의 이미지와 초점의 좌표를 감지하여 인식하는 아이트래커(eye tracker) 등과 같은 비전센서로 이루어져 있다.The visual sensing unit 10 is installed in the user's eye region and is a sensing means for sensing the user's vision, and consists of a vision sensor such as an eye tracker that detects and recognizes the coordinates of an image and focus of an object. .

이러한 시각 감지부(10)는, 사용자의 시각을 따라 물체를 감지하여 물체와의 거리와, 장소와의 거리와, 초점확인좌표를 출력하게 되므로, 감지된 물체와의 거리에 의거해서 초점을 확인할 수 있게 된다.Since the visual sensing unit 10 detects an object according to the user's time and outputs the distance to the object, the distance to the place, and the focus confirmation coordinates, the focus can be confirmed based on the detected distance to the object be able to

손목 감지부(20)는, 사용자의 손목부위에 설치되어 손목의 움직임을 감지하는 감지수단으로서, 손목의 회전동작을 감지하도록 IMU(Inertial Measurement Unit) 등과 같은 각속도 센서로 이루어져 있다.The wrist sensing unit 20 is installed on the user's wrist and is a sensing means for detecting the movement of the wrist, and includes an angular velocity sensor such as an Inertial Measurement Unit (IMU) to detect the rotational motion of the wrist.

이러한 손목 감지부(20)는, 손목의 움직임를 감지하여 손목의 각도를 출력하게 되므로, 손목의 각도 변화에 의거해서 상지 웨어러블 로봇의 이동 및 구동에 대한 정보를 제공하게 된다.Since the wrist sensor 20 senses the movement of the wrist and outputs the angle of the wrist, information on the movement and driving of the upper extremity wearable robot is provided based on the change in the angle of the wrist.

손 감지부(30)는, 사용자의 손부위에 설치되어 손의 움직임을 감지하는 감지수단으로서, 손의 굽힘정도를 감지하도록 손의 인장 및 압축을 감지하도록 스트레치 센서(stretch sensor) 등과 같은 장갑센서로 이루어져 있다.The hand sensing unit 30 is installed in the user's hand region and is a sensing means for detecting the movement of the hand, and a glove sensor such as a stretch sensor to sense the tension and compression of the hand to detect the degree of bending of the hand. consists of

이러한 손 감지부(30)는, 손의 움직임을 감지하여 손의 굽힘정도를 출력하게 되므로, 손에 장착되어 손의 굽힘정도의 변화에 의거해서 상지 웨어러블 로봇의 이동 및 구동에 대한 정보를 제공하게 된다.Since the hand sensing unit 30 detects the movement of the hand and outputs the degree of bending of the hand, it is mounted on the hand and provides information on the movement and driving of the upper extremity wearable robot based on the change in the degree of bending of the hand. do.

제어부(40)는, 시각 감지부(10)와 손목 감지부(20)와 손 감지부(30)에 각각 접속되며, 각각의 감지결과를 통합해서 사용자의 의도를 파악한 결과에 의거해서 상지 웨어러블 로봇을 제어하는 제어수단으로서, 시각 감지부(10)와 손목 감지부(20)와 손 감지부(30)에 유선통신기능이나 무선통신기능을 이용하여 각각 접촉되어 감지정보를 전달하게 된다.The control unit 40 is respectively connected to the visual sensing unit 10, the wrist sensing unit 20, and the hand sensing unit 30, and based on the result of identifying the user's intention by integrating the respective sensing results, the upper extremity wearable robot As a control means for controlling the , the visual sensing unit 10, the wrist sensing unit 20, and the hand sensing unit 30 are in contact with each other using a wired communication function or a wireless communication function to transmit sensing information.

이러한 제어부(40)는, 물체를 인식하고, 잡기를 준비하고, 물체를 잡기하고, 이동을 준비하고, 재치장소를 확인하고, 물체를 놓기의 순서로 제어를 진행하게 된다.The control unit 40 recognizes the object, prepares to catch, grabs the object, prepares to move, confirms the place to be placed, and controls the object in the order of placing it.

또한, 제어부(40)는, 도 3에 나타낸 바와 같이, 물체인식단계(S10), 잡기준비단계(S20), 물체잡기단계(S30), 이동준비단계(S40), 재치장소 인식단계(S50), 물체놓기단계(S60)의 순서로 제어단계를 실행하게 되는 것도 가능함은 물론이다.In addition, the control unit 40, as shown in FIG. 3, the object recognition step (S10), the grab preparation step (S20), the object catch step (S30), the movement preparation step (S40), the place recognition step (S50) , of course, it is also possible to execute the control step in the order of the object placing step (S60).

물체인식단계(S10)는, 비전센서에 의해 물체의 이미지와 초점의 좌표를 감지하고 사용자의 시각을 따라 물체를 감지하여 물체와의 거리와, 초점확인을 출력하게 되어 제어부(40)에서 물체를 인식하도록 정보를 제공하게 된다In the object recognition step (S10), the image and focus coordinates of the object are sensed by the vision sensor, the object is detected according to the user's point of view, and the distance to the object and the focus confirmation are outputted, so that the control unit 40 detects the object. information to be recognized

잡기준비단계(S20)는, 각속도 센서에 의해 손목의 각도를 감지하여, 손목의 각도를 출력하게 되므로, 손목의 각도 변화에 의거해서 제어부(40)에 물체 잡기를 준비하도록 손목 각도의 정보를 제공하게 된다.In the grab preparation step (S20), the angle of the wrist is sensed by the angular velocity sensor and the angle of the wrist is output, so the information of the wrist angle is provided to the controller 40 to prepare to grab an object based on the change in the angle of the wrist. will do

물체잡기단계(S30)는, 장갑센서에 의해 손의 굽힘정도를 감지하여, 손의 굽힘정도의 변화에 의거해서 제어부(40)에서 물체를 잡기 위한 손의 정보를 제공하게 된다.In the object grabbing step (S30), the degree of bending of the hand is sensed by the glove sensor, and the control unit 40 provides information on the hand for holding the object based on the change in the degree of bending of the hand.

이동준비단계(S40), 물체인식단계(S10)와 잡기준비단계(S20)와 물체잡기단계(S30)에서 제어부(40)에 제공된 각종 정보에 의거해서 상지 웨어러블 로봇의 모터 등과 같은 구동수단에 이동 및 구동에 대한 정보를 제공하게 된다.In the movement preparation step (S40), object recognition step (S10), grab preparation step (S20), and object grab step (S30), based on various information provided to the controller 40, the upper extremity wearable robot moves to a driving means such as a motor. and information about the operation.

재치장소 인식단계(S50), 비전센서에 의해 재치장소의 이미지와 초점의 좌표를 감지하고 사용자의 시각을 따라 재치장소를 감지하여 재치장소와의 거리와, 초점확인을 출력하게 되어 제어부(40)에서 재치장소를 인식하도록 정보를 제공하게 된다In the step of recognizing the place of placement (S50), the image of the place of placement and the coordinates of the focus are sensed by the vision sensor, and the location of the place is detected according to the user's point of view, and the distance to the place and the focus are outputted, so that the control unit 40 information will be provided to recognize the place of burial in

물체놓기단계(S60)는, 재치장소 인식단계(S50)에서 제어부(40)에 제공된 각종 정보에 의거해서 상지 웨어러블 로봇의 모터 등과 같은 구동수단에 이동정지 및 구동정지에 대한 정보를 제공하게 된다.In the object placing step (S60), based on the various information provided to the control unit 40 in the place recognizing step (S50), information on movement stop and drive stop is provided to a driving means such as a motor of the upper extremity wearable robot.

손가락 감지부(50)는, 사용자의 손가락부위에 설치되어 손가락의 움직임을 감지하는 감지수단으로서, 사용자의 손가락의 쥠상태와 폄상태를 감지하도록 스트레치 센서(stretch sensor) 등과 같은 장갑센서로 이루어져 있다.The finger detection unit 50 is installed on the user's finger region and is a sensing means for detecting the movement of the finger, and consists of a glove sensor such as a stretch sensor to detect the gripping state and the extended state of the user's finger. .

이러한 손가락 감지부(50)는, 손가락의 움직임을 감지하여 손가락의 파지상태를 출력하게 되므로, 손가락에 장착되어 손가락의 쥠상태와 폄상태의 변화에 의거해서 상지 웨어러블 로봇의 이동 및 구동에 대한 정보를 제공하게 된다.Since the finger sensing unit 50 detects the movement of the finger and outputs the gripping state of the finger, it is mounted on the finger and based on the change in the gripping state and the extension state of the finger, information on the movement and driving of the upper extremity wearable robot will provide

따라서, 본 발명의 상지 웨어러블 로봇의 의도파악장치는, 종래기술의 문제점을 해결하기 위하여 센서의 종류를 바꾸고 새로운 알고리즘을 적용하여, 상지 착용형 슈트에 사용되며 필요한 센서 개수와 구매 비용이 줄어들고 착용자의 거부감을 줄여 주게 된다.Accordingly, the device for detecting the intention of the upper extremity wearable robot of the present invention is used in the upper extremity wearable suit by changing the type of sensor and applying a new algorithm to solve the problems of the prior art, and reduces the number of required sensors and purchase cost, and reduces the wearer's will reduce rejection.

또한, 본 발명은 종래에 사용하던 토크센서, EMG(Electromyography)센서, EEG(Electroencephalography)센서의 단점을 해결하면서 준수한 성능을 내기 위해 가속도 센서, 스트래치(stretch)센서, 비전센서(Eye-tracking)를 이용하여 힘에만 의존하지 않고 시선과 자세를 이용하여 착용자의 의도를 파악할 수 있게 된다.In addition, the present invention solves the disadvantages of the conventionally used torque sensor, EMG (Electromyography) sensor, and EEG (Electroencephalography) sensor, and provides an acceleration sensor, a stretch sensor, and a vision sensor (Eye-tracking) to provide satisfactory performance. It is possible to grasp the intention of the wearer using gaze and posture rather than relying solely on force.

따라서, 중량물 운반자들을 위한 착용형 슈트에 적용될 기법이며 안경형, 손목밴드형, 장갑 등 현장에서 많이 사용되는 도구와 융합되어 사용할 수 있는 장점이 있어서 거부감이 줄어 들게 된다.Therefore, it is a technique to be applied to a wearable suit for heavy cargo carriers, and has the advantage of being fused with tools widely used in the field, such as glasses type, wristband type, and gloves, so that rejection is reduced.

또한, 센서 고정을 위한 별도의 기구 프레임이 없어도 되며 사용하는 센서들은 무선 제품이 많기 때문에 선꼬임 등 불편한 문제가 발생하지 않으며 구매 비용이 줄어 현장에 많이 보급 될 수 있다.In addition, there is no need for a separate mechanism frame for fixing the sensor, and since there are many wireless sensors used, inconvenient problems such as wire kinking do not occur, and the purchase cost is reduced, so it can be widely distributed in the field.

이상 설명한 바와 같이, 본 발명에 따르면 시각 감지부와 손목 감지부와 손 감지부의 감지결과를 통합해서 제어부에서 제어함으로써, 센서의 종류를 바꾸고 새로운 알고리즘을 적용하여, 상지 착용형 슈트에 사용되며 필요한 센서 개수와 구매 비용이 줄어들고 착용자의 거부감을 줄여 줄 수 있는 효과를 제공한다.As described above, according to the present invention, by integrating the detection results of the visual sensing unit, the wrist sensing unit, and the hand sensing unit, the control unit controls the sensor type, and a new algorithm is applied to change the sensor type and apply a new algorithm to the sensor used in the upper extremity wearable suit. It provides the effect of reducing the number and purchase cost and reducing the wearer's objection.

또한, 손가락 감지부를 더 구비함으로써, 손가락에 장착되어 손가락의 쥠상태와 폄상태의 변화에 의거해서 상지 웨어러블 로봇의 이동 및 구동에 대한 정보를 제공할 수 있는 효과를 제공한다.In addition, by further providing a finger sensing unit, it is mounted on a finger and provides an effect of providing information on the movement and driving of the upper extremity wearable robot based on changes in the gripping state and the extension state of the finger.

또한, 종래에 사용하던 토크센서, EMG(Electromyography)센서, EEG(Electroencephalography)센서의 단점을 해결하면서 준수한 성능을 내기 위해 가속도 센서, 스트래치(stretch)센서, 비전센서(Eye-tracking)를 이용하여 힘에만 의존하지 않고 시선과 자세를 이용하여 착용자의 의도를 파악할 수 있는 효과를 제공한다.In addition, in order to solve the shortcomings of the conventionally used torque sensor, EMG (Electromyography) sensor, and EEG (Electroencephalography) sensor and achieve satisfactory performance, an acceleration sensor, a stretch sensor, and a vision sensor (Eye-tracking) are used to solve the problem. It provides the effect of grasping the intention of the wearer using gaze and posture rather than relying solely on force.

또한, 중량물 운반자들을 위한 착용형 슈트에 적용될 기법이며 안경형, 손목밴드형, 장갑 등 현장에서 많이 사용되는 도구와 융합되어 사용할 수 있는 장점이 있어서 거부감을 줄일 수 있는 효과를 제공한다.In addition, it is a technique to be applied to a wearable suit for heavy cargo carriers, and has the advantage of being fused with tools commonly used in the field, such as glasses type, wristband type, and gloves, and thus provides the effect of reducing rejection.

또한, 센서 고정을 위한 별도의 기구 프레임이 없어도 되며 사용하는 센서들은 무선 제품이 많기 때문에 선꼬임 등 불편한 문제가 발생하지 않으며 구매 비용이 줄어 현장에 많이 보급 될 수 있는 효과를 제공한다.In addition, there is no need for a separate mechanism frame for fixing the sensor, and since there are many wireless sensors used, inconvenient problems such as wire kinking do not occur, and the purchase cost is reduced, providing the effect of being widely distributed in the field.

이상 설명한 본 발명은 그 기술적 사상 또는 주요한 특징으로부터 벗어남이 없이 다른 여러 가지 형태로 실시될 수 있다. 따라서 상기 실시예는 모든 점에서 단순한 예시에 지나지 않으며 한정적으로 해석되어서는 안 된다. The present invention described above can be embodied in various other forms without departing from the technical spirit or main characteristics thereof. Accordingly, the above embodiments are merely examples in all respects and should not be construed as limiting.

10: 시각 감지부 20: 손목 감지부
30: 손 감지부 40: 제어부
50: 손가락 감지부10: visual sensing unit 20: wrist sensing unit
30: hand sensing unit 40: control unit
50: finger detection unit

Claims (7)

상지 웨어러블 로봇의 사용자의 의도를 파악하는 상지 웨어러블 로봇의 의도파악장치로서,
사용자의 안구부위에 설치되어, 사용자의 시각을 감지하는 시각 감지부(10);
사용자의 손목부위에 설치되어, 손목의 움직임을 감지하는 손목 감지부(20);
사용자의 손부위에 설치되어, 손의 움직임을 감지하는 손 감지부(30); 및
상기 시각 감지부(10)와 상기 손목 감지부(20)와 상기 손 감지부(30)에 접속되며, 각각의 감지결과를 통합해서 사용자의 의도를 파악한 결과에 의거해서 상지 웨어러블 로봇을 제어하는 제어부(40);를 포함하는 것을 특징으로 하는 상지 웨어러블 로봇의 의도파악장치.As an intention grasping device of the upper extremity wearable robot that grasps the intention of the user of the upper extremity wearable robot,
a visual sensing unit 10 installed on the user's eye area to detect the user's visual angle;
It is installed on the user's wrist, wrist sensing unit 20 for detecting the movement of the wrist;
The hand sensor 30 is installed on the user's hand, detecting the movement of the hand; and
A control unit connected to the visual sensing unit 10, the wrist sensing unit 20, and the hand sensing unit 30, and controlling the upper extremity wearable robot based on the result of acknowledging the user's intention by integrating the respective sensing results (40); intention detection device of the upper extremity wearable robot, characterized in that it comprises. 제 1 항에 있어서,
사용자의 손가락부위에 설치되어, 손가락의 움직임을 감지하는 손가락 감지부(50);를 더 포함하는 것을 특징으로 하는 상지 웨어러블 로봇의 의도파악장치.The method of claim 1,
Installed on the user's finger, the finger detection unit 50 for detecting the movement of the finger; the upper extremity wearable robot intention detection device, characterized in that it further comprises. 제 2 항에 있어서,
상기 손가락 감지부(50)는, 손가락의 움직임을 감지하여 손가락의 파지상태를 출력하는 것을 특징으로 하는 상지 웨어러블 로봇의 의도파악장치.3. The method of claim 2,
The finger detection unit 50 senses the movement of the finger and outputs the gripping state of the finger. 제 1 항에 있어서,
상기 시각 감지부(10)는, 사용자의 시각을 감지하여 물체 및 장소와의 거리와 초점좌표를 출력하는 것을 특징으로 하는 상지 웨어러블 로봇의 의도파악장치.The method of claim 1,
The vision sensing unit 10 detects the user's vision and outputs a distance to an object and a place and focus coordinates. 제 1 항에 있어서,
상기 손목 감지부(20)는, 손목의 움직임를 감지하여 손목의 각도를 출력하는 것을 특징으로 하는 상지 웨어러블 로봇의 의도파악장치.The method of claim 1,
The wrist sensing unit 20 detects the movement of the wrist and outputs the angle of the wrist. 제 1 항에 있어서,
상기 손 감지부(30)는, 손의 움직임을 감지하여 손의 굽힘정도를 출력하는 것을 특징으로 하는 상지 웨어러블 로봇의 의도파악장치.The method of claim 1,
The hand sensing unit 30 detects the movement of the hand and outputs the degree of bending of the hand. 제 1 항에 있어서,
상기 제어부(40)는, 물체를 인식하고, 잡기를 준비하고, 물체를 잡기하고, 이동을 준비하고, 재치장소를 확인하고, 물체를 놓기의 순서로 제어를 진행하는 것을 특징으로 하는 상지 웨어러블 로봇의 의도파악장치.The method of claim 1,
The control unit 40 recognizes an object, prepares for grabbing, grabs an object, prepares to move, confirms a place to be placed, and controls the upper extremity wearable robot in the order of placing the object. intention detection device.
KR1020200146241A 2020-11-04 2020-11-04 Apparatus for determining intention of user using wearable robot of upper limb KR20220060344A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200146241A KR20220060344A (en) 2020-11-04 2020-11-04 Apparatus for determining intention of user using wearable robot of upper limb

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200146241A KR20220060344A (en) 2020-11-04 2020-11-04 Apparatus for determining intention of user using wearable robot of upper limb

Publications (1)

Publication Number Publication Date
KR20220060344A true KR20220060344A (en) 2022-05-11

Family

ID=81607033

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200146241A KR20220060344A (en) 2020-11-04 2020-11-04 Apparatus for determining intention of user using wearable robot of upper limb

Country Status (1)

Country Link
KR (1) KR20220060344A (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170129109A (en) 2015-03-20 2017-11-24 인텔 코포레이션 Wearable device with stretch sensor
KR20190019180A (en) 2016-06-20 2019-02-26 매직 립, 인코포레이티드 Augmented reality display system for evaluation and correction of neurological conditions including visual processing and perceptual states
KR20190131740A (en) 2018-05-17 2019-11-27 주식회사 스탠딩에그 Method and apparatus for initializing a sensor by resetting the angle of a wearable device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170129109A (en) 2015-03-20 2017-11-24 인텔 코포레이션 Wearable device with stretch sensor
KR20190019180A (en) 2016-06-20 2019-02-26 매직 립, 인코포레이티드 Augmented reality display system for evaluation and correction of neurological conditions including visual processing and perceptual states
KR20190131740A (en) 2018-05-17 2019-11-27 주식회사 스탠딩에그 Method and apparatus for initializing a sensor by resetting the angle of a wearable device

Similar Documents

Publication Publication Date Title
Wilson et al. Formulation of a new gradient descent MARG orientation algorithm: Case study on robot teleoperation
US9278453B2 (en) Biosleeve human-machine interface
Vogel et al. EMG-based teleoperation and manipulation with the DLR LWR-III
WO2019119724A1 (en) Force sense information and posture information based limb motion intention understanding and upper limb rehabilitation training robot control method
Prattichizzo et al. Human augmentation by wearable supernumerary robotic limbs: review and perspectives
Jackowski et al. A novel head gesture based interface for hands-free control of a robot
CN110678157B (en) Electromechanical robot manipulator device
WO2015106278A2 (en) Wearable robot assisting manual tasks
JP2012011531A (en) Robot apparatus and gripping method for use in robot apparatus
Fishel et al. Tactile telerobots for dull, dirty, dangerous, and inaccessible tasks
US8483879B2 (en) Human-robot interactive system having a human stiffness estimation control algorithm
Haseeb et al. Head gesture-based control for assistive robots
Fujiwara et al. Development of a glove-based optical fiber sensor for applications in human-robot interaction
Garcia et al. EEG control of an industrial robot manipulator
Rusydi et al. Combination of flex sensor and electromyography for hybrid control robot
Boru et al. Novel technique for control of industrial robots with wearable and contactless technologies
Kiguchi et al. Perception-assist with an active stereo camera for an upper-limb power-assist exoskeleton
JPH09109069A (en) Powered intelligent method and unit
Otten et al. A novel concept for wearable, modular and soft support systems used in industrial environments
Höppner et al. The Grasp Perturbator: Calibrating human grasp stiffness during a graded force task
KR20220060344A (en) Apparatus for determining intention of user using wearable robot of upper limb
Ali et al. Development of smart glove system for therapy treatment
Dario et al. A human-like robotic manipulation system implementing human models of sensory-motor coordination
CN114129392B (en) Self-adaptive redundant driving exoskeleton rehabilitation robot capable of regulating and controlling fingertip force at tail end
Kiguchi et al. A study of a 4DOF upper-limb power-assist intelligent exoskeleton with visual information for perception-assist