KR20110057793A - Real time humanoid control system and method thereof - Google Patents

Real time humanoid control system and method thereof Download PDF

Info

Publication number
KR20110057793A
KR20110057793A KR1020090114348A KR20090114348A KR20110057793A KR 20110057793 A KR20110057793 A KR 20110057793A KR 1020090114348 A KR1020090114348 A KR 1020090114348A KR 20090114348 A KR20090114348 A KR 20090114348A KR 20110057793 A KR20110057793 A KR 20110057793A
Authority
KR
South Korea
Prior art keywords
upper body
humanoid
joint
body joint
movement
Prior art date
Application number
KR1020090114348A
Other languages
Korean (ko)
Other versions
KR101103852B1 (en
Inventor
전재욱
정현욱
송태훈
정순묵
김명진
고기훈
김민경
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020090114348A priority Critical patent/KR101103852B1/en
Publication of KR20110057793A publication Critical patent/KR20110057793A/en
Application granted granted Critical
Publication of KR101103852B1 publication Critical patent/KR101103852B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0006—Exoskeletons, i.e. resembling a human figure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D57/00—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track
    • B62D57/02—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track with ground-engaging propulsion means, e.g. walking members
    • B62D57/032—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track with ground-engaging propulsion means, e.g. walking members with alternately or sequentially lifted supporting base and legs; with alternately or sequentially lifted feet or skid
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot

Abstract

PURPOSE: A real-time humanoid control system and a control method thereof are provided to easily and freely control a humanoid using an upper body exoskeleton robot. CONSTITUTION: A real-time humanoid control system comprises an upper body exoskeleton robot(10) and a humanoid device(20). The upper body exoskeleton robot measures information about the rotational angle of each joint of an upper body through multiple sensors(11,12) and estimates the movement of the joints of the upper body using the measured information. The upper body exoskeleton robot transmits a lower body control signal matching the estimated movement to the humanoid device. The humanoid device powers the joints of the lower body depending on the transmitted lower body control signal.

Description

실시간 휴머노이드 제어 시스템 및 그 제어 방법{Real Time Humanoid Control System and Method Thereof}Real time humanoid control system and its control method {Real Time Humanoid Control System and Method Thereof}

본 발명은 실시간 휴머노이드 제어 시스템 및 그 제어 방법에 관한 것으로, 특히 상반신으로 이루어진 외골격 로봇만을 이용하여 전신 휴머노이드를 제어할 수 있는 실시간 휴머노이드 시스템 및 그 제어 방법에 관한 것이다.The present invention relates to a real-time humanoid control system and a control method thereof, and more particularly to a real-time humanoid system and a control method that can control the whole body humanoid using only the exoskeleton robot consisting of the upper body.

최근 휴머노이드 격투기 대회 등 휴머노이드를 이용한 다양한 행사가 열리고 있다. 그만큼 휴머노이드에 대한 기술력이 발전했다는 것을 의미한다. 그러나 휴머노이드 자체에는 많은 발전이 있지만, 그것을 제어하는 방법에 있어서는 아직도 게임기에서나 사용하는 컨트롤 패드를 이용하는 경우가 대부분이다.Recently, various events using humanoid such as humanoid martial arts competitions are held. That means that humanoid technology has developed. However, there are many advances in humanoids themselves, but most of them still use the control pads used in game consoles.

컨트롤 패드를 이용한 제어는 단순히 버튼을 누름으로써 사전에 정의된 일련의 동작만을 수행시킬 수 있기 때문에 상당히 비직관적이며 제한적이라는 문제점이 존재한다. The control with the control pad has a problem that it is quite unintuitive and limited because it can only perform a series of predefined actions by simply pressing a button.

한편, 컨트롤 패드 이외의 방법으로 휴머노이드를 제어하기 위한 실험적인 기술들을 간단히 열거해 보면, 첫째로, 사용자의 뇌파신호를 이용한 두뇌 컴퓨터 인터페이스(Brain Computer Interface)가 있다. 가령, 사용자가 전극이 달린 헤드 캡을 쓰고, 스크린에 나타나는 여러 동작 옵션 중에서 원하는 동작에 집중해서 뇌파를 보내면, 헤드 캡에 달린 전극이 그 신호를 감지해서 로봇에게 제어 명령을 보내서 움직이도록 하는 방식이다. On the other hand, to briefly enumerate experimental techniques for controlling the humanoid by a method other than the control pad, first, there is a brain computer interface using a brain wave signal of the user. For example, when a user wears a head cap with an electrode and sends an EEG focusing on the desired action among the various motion options displayed on the screen, the electrode on the head cap senses the signal and sends a control command to the robot to move. .

둘째로, 근육 신호를 이용한 휴머노이드 조작 기술이 있다. 조작자의 몸에 전극 패치를 부착한 후, 근전도 신호를 감지하여 로봇을 제어하는 방식이다. 셋째로, 영상 처리를 통한 휴머노이드 조작 기술이 있다. 카메라를 통해 들어온 사용자의 움직임을 영상 처리 기술을 이용하여 분석한 후, 그 결과를 이용해 로봇을 제어하는 방식이다. 넷째로, 모션 센서를 이용한 휴머노이드 조작 기술이 있다. 가속도 센서와 자이로 센서 등의 여러 센서를 융합해서 모션 센서를 만든 후, 사용자의 각 관절에 부착하여 움직임을 검출해서 로봇을 제어하는 기술이다. Second, humanoid manipulation technology using muscle signals. After attaching an electrode patch to an operator's body, the robot is controlled by detecting an EMG signal. Third, there is a humanoid manipulation technique through image processing. It analyzes the user's movement through the camera using image processing technology and then controls the robot using the result. Fourthly, there is a humanoid manipulation technique using a motion sensor. It is a technology that controls the robot by detecting motion by attaching each sensor such as acceleration sensor and gyro sensor to make a motion sensor.

마지막으로, 본 발명과 관련된 상반신을 이용하는 외골격 로봇을 통해 휴머노이드를 제어하는 기술이 존재한다. 이 기술은 외골격 로봇을 이용한 휴머노이드 제어는 상당히 직관적이고 자유도가 높은 제어 방식이다. 가령, 휴머노이드 격투기에 사용된다면 기존에 컨트롤 패드를 이용한 방식보다 더욱 다이내믹한 연출이 가능해질 것이다. Finally, there is a technique for controlling the humanoid through the exoskeleton robot using the upper body related to the present invention. This technique is a humanoid control using exoskeleton robot is a very intuitive and high degree of freedom. For example, if used in humanoid martial arts, it will be more dynamic than conventional control pads.

그러나 현재까지의 외골격 로봇을 이용한 휴머노이드 제어는 단순히 데모용으로만 사용되어 왔다. 즉, 본 시스템을 이용하면 사용자 상반신의 움직임을 완벽히 휴머노이드에 반영할 수 있다는 것을 보여주는 데만 그쳤을 뿐, 실질적인 목적에는 사용되지 않았다.However, humanoid control using exoskeleton robots has been used for demonstration purposes only. In other words, the system was only used to demonstrate that the user's upper body movement could be perfectly reflected on the humanoid, and was not used for practical purposes.

이상의 장점을 지닌 장치임에도 불구하고 데모용으로만 사용되는 데는 다음 과 같은 이유가 있다. 일반적인 외골격 로봇을 이용해서는 휴머노이드의 하반신을 제어할 수 없기 때문이다. 보다 정확히 말하면 사용자의 움직임을 휴머노이드가 그대로 따라하는 방식은 상반신은 가능하지만 하반신은 제한적이기 때문이다. Despite the above advantages, it is used only for demonstration for the following reasons. This is because normal exoskeleton robots cannot control the lower body of the humanoid. More precisely, the way the humanoid follows the user's movements is possible because the upper body is limited but the lower body is limited.

가령, 휴머노이드 격투기의 경우 로봇의 상체와 하체의 동작이 유기적으로 결합하여 다이내믹하고 효과적인 공격 및 방어를 하게 된다. 단지 상체의 움직임만으로는 그러한 동작을 할 수가 없다. 그러므로 아무리 로봇 상반신이 자유롭게 움직일 수 있더라도 하반신이 따라주지 않으면 격투기에서 패하기 일쑤일 것이다. 이러한 이유로 본 시스템이 단순히 시연용으로만 사용되고 있는 것이다. For example, in the case of humanoid martial arts, the robot's upper and lower body movements are organically combined to perform a dynamic and effective attack and defense. Only the movement of the upper body can not do such a movement. Therefore, no matter how much the robot's upper body can move freely, the lower body will not be able to follow the martial arts. For this reason, the system is used for demonstration purposes only.

하반신을 제어할 수 없는 점과 관련하여서는 하반신은 상반신과는 다르게 제로 모멘트 포인트(ZMP : Zero Moment Point)가 고려되기 때문이다. 여기서, 제로 모멘트 포인트는 균형을 유지하기 위한 포인트(Point)라고 보면 된다. 물론, 상반신의 움직임도 제로 모멘트 포인트에 영향을 주기는 하나 그 영향이 하반신의 직접적인 움직임으로 인한 영향보다는 훨씬 작기 때문에 휴머노이드가 대부분의 사용자 움직임을 모방하는 것이 가능하다. In terms of the inability to control the lower part of the body, the lower part of the body is considered to have a zero moment point (ZMP) unlike the upper body. Here, the zero moment point may be regarded as a point for maintaining balance. Of course, the movement of the upper body also affects the zero moment point, but it is possible that the humanoid mimics most user movements because the effect is much smaller than the effect of the lower body direct movement.

사용자와 제어하고자 하는 휴머노이드의 제로 모멘트 포인트가 동일하지 않기 때문에 문제가 발생하는 것이다. 사용자의 제로 모멘트 포인트가 안정영역 내에 있더라도 그 움직임을 따라하는 휴머노이드의 제로 모멘트 포인트는 안정영역을 벗어날 수 있기 때문에 균형을 잃고 넘어지는 상황이 발생되게 된다. 만약, 사용자 하반신의 움직임을 단순히 휴머노이드가 따라하도록 하지 않고 자신의 제로 모멘트 포인트가 안정영역 내에서 유지되도록 움직임을 약간씩 변형해서 따라하도록 해주 어야 하나 이러한 문제점은 아직 해결되고 있지 않다.The problem occurs because the zero moment point of the humanoid to be controlled with the user is not the same. Even if the user's zero moment point is within the stable region, the zero moment point of the humanoid following the movement may be out of the stable region, resulting in a loss of balance and falling. If the human lower body does not simply follow the movement of the user's lower body, it is necessary to slightly modify the movement so that its zero moment point is maintained within the stable area, but this problem is not solved yet.

따라서 본 발명은 상기한 종래 기술에 따른 문제점을 해결하기 위한 것으로, 상반신만으로 이루어진 외골격 로봇만을 이용하여 휴머노이드 전신을 제어할 수 있는 실시간 휴머노이드 시스템 및 그 제어 방법의 제공을 그 목적으로 한다.Accordingly, an object of the present invention is to provide a real-time humanoid system capable of controlling the humanoid whole body using only an exoskeleton robot composed of only the upper body and a control method thereof.

본 발명의 일 측면에 따른 휴머노이드 제어 시스템은 다수의 센서들을 통해 다수의 상반신 관절 별 회전 각도 정보를 측정하고, 상기 회전 각도 정보를 이용하여 상반신 관절의 움직임을 예측한 후, 상기 예측된 움직임과 매칭되는 하반신 제어 신호를 휴머노이드 장치로 전송하는 상반신 외골격 로봇; 과 상기 외골격 로봇으로부터 전송받은 하반신 제어 신호에 따라 하반신의 관절을 구동하는 것을 특징으로 하는 휴머노이드 장치를 포함한다.The humanoid control system according to an aspect of the present invention measures rotation angle information for a plurality of upper body joints through a plurality of sensors, predicts the movement of the upper body joint using the rotation angle information, and then matches the predicted movement. An upper body exoskeleton robot that transmits the lower body control signal to a humanoid device; And a humanoid device for driving joints of the lower body according to the lower body control signal received from the exoskeleton robot.

상기 상반신 외골격 로봇은, 다수의 관절 별로 부착되어 상반신 관절의 회전 각도를 측정하는 다수의 센서들; 상기 다수의 센서들이 측정한 관절의 회전 각도를 이용하여 상기 상반신 관절의 회전 속도와 회전 가속도를 연산하는 제어부; 및 상기 상반신 관절의 회전 각도, 관절의 회전 속도 및 회전 가속도를 이용하여 상반신 관절의 움직임을 예측하고, 예측된 움직임과 매칭되는 하반신 제어 신호를 상기 휴머노이드 장치로 전송하는 패턴 예측부를 포함할 수 있다.The upper body exoskeleton robot, a plurality of sensors attached to each of the plurality of joints to measure the rotation angle of the upper body joint; A controller configured to calculate rotational speed and rotational acceleration of the upper body joint using the rotation angles of the joints measured by the plurality of sensors; And a pattern predictor for predicting the motion of the upper body joint using the rotation angle of the upper body joint, the rotation speed of the joint, and the rotational acceleration, and transmitting a lower body control signal matching the predicted movement to the humanoid device.

상기 패턴 예측부는, 예측된 움직임과 현재 측정된 상반신 관절의 움직임이 일치하지 않는 경우, 상기 하반신 제어 신호에 따른 하반신 관절을 원상태로 복귀 시키는 제2 하반신 제어 신호를 상기 휴머노이드 장치로 전송하는 것을 특징으로 할 수 있다.The pattern predictor may transmit a second lower body control signal to the humanoid device to return the lower body joint according to the lower body control signal to the humanoid device when the predicted motion and the current measured upper body joint motion do not coincide. can do.

상기 패턴 예측부는, 예측된 움직임과 현재 측정된 상반신 관절의 움직임이 일치하지 않고 현재 상반신 관절의 움직임에 의해 새로운 움직임이 예측된 경우, 상기 새롭게 예측된 움직임에 매칭되는 제3 하반신 제어 신호를 상기 휴머노이드 장치로 전송하는 것을 특징으로 할 수 있다.The pattern predictor may generate a third lower body control signal matched with the newly predicted motion when the predicted motion does not coincide with the movement of the currently measured upper body joint and is predicted by the current upper body joint movement. It may be characterized in that the transmission to the device.

상기 다수의 센서들은, 일정 주기마다 상반신 관절의 회전 각도를 측정하는 것을 특징으로 할 수 있다.The plurality of sensors may measure the rotation angle of the upper body joint at regular intervals.

상기 제어부는, 상기 다수의 센서들이 측정한 상반신 관절의 회전 각도와 주기를 이용하여 상반신 관절의 회전 속도와 회전 가속도를 연산하는 것을 특징으로 할 수 있다.The controller may be configured to calculate a rotational speed and a rotational acceleration of the upper body joint using the rotation angle and the period of the upper body joint measured by the plurality of sensors.

본 발명의 다른 측면에 따른 상반신 외골격 로봇을 이용한 휴머노이드 장치 제어 방법은 상기 상반신 외골격 로봇의 다수의 센서들은 상기 상반신 외골격 로봇의 다수 상반신 관절 별 회전 각도를 측정하는 단계; 상기 측정된 상반신 관절 별 회전 각도를 이용하여 상기 상반신 외골격 로봇 상반신 관절의 움직임을 예측하는 단계; 상기 예측된 움직임과 매칭되는 하반신 제어 신호를 휴머노이드 장치로 전송하는 단계; 및 상기 휴머노이드 장치는 수신되는 하반신 제어 신호에 따라 하반신의 관절을 구동하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of controlling a humanoid device using an upper body exoskeleton robot, wherein the plurality of sensors of the upper body exoskeleton robot measure rotation angles of a plurality of upper body joints of the upper body exoskeleton robot; Predicting the movement of the upper body exoskeleton robot upper body joint by using the measured rotation angle of the upper body joint; Transmitting a lower body control signal matching the predicted movement to a humanoid device; And driving the joints of the lower body according to the received lower body control signal.

이 경우 상기 측정된 상반신 관절 별 회전 각도를 이용하여 상기 상반신 외 골격 로봇 상반신 관절의 움직임을 예측하는 단계는, 상기 다수의 센서들이 측정한 상반신 관절의 회전 각도를 이용하여 상반신 관절의 회전 속도와 회전 가속도를 연산하는 단계; 와 상기 상반신 관절의 회전 각도, 회전 속도 및 회전 가속도를 이용하여 상반신 관절의 움직임을 예측하는 단계를 포함하는 것을 특징으로 할 수 있다.In this case, the step of estimating the motion of the upper torso skeletal robot upper torso joint using the measured rotation angles of the upper torso joints, the rotational speed and the rotation of the upper torso joint using the rotation angle of the upper body joint measured by the plurality of sensors Calculating an acceleration; And predicting the movement of the upper body joint using the rotation angle, the rotational speed, and the rotational acceleration of the upper body joint.

상기 다수의 센서들이 측정한 상반신 관절의 회전 각도를 이용하여 상반신 관절의 회전 속도와 회전 가속도를 연산하는 단계는, 상기 다수의 센서들이 일정 주기마다 상반신 관절의 회전 각도를 측정하는 단계; 와 상기 상반신 관절의 회전 각도와 주기를 이용하여 상반신 관절의 회전 속도와 회전 가속도를 연산하는 단계를 포함하는 것을 특징으로 할 수 있다.Computing the rotational speed and the rotational acceleration of the upper body joint using the rotation angle of the upper body joint measured by the plurality of sensors, the plurality of sensors measuring the rotation angle of the upper body joint at regular intervals; And calculating rotation speed and rotation acceleration of the upper body joint using the rotation angle and the period of the upper body joint.

본 발명에 따른 휴머노이드 장치 제어 방법은 상반신 외골격 로봇의 상반신 관절에 대하여 예측된 움직임과 현재 측정되는 상반신 관절의 움직임이 일치하지 않는 경우, 상기 하반신 제어 신호에 따라 구동된 하반신 관절을 원상태로 복귀하도록 제어하는 단계를 더 포함할 수 있다.The method for controlling a humanoid device according to the present invention controls the return of the lower body joint driven according to the lower body control signal when the predicted movement of the upper body joint of the upper body exoskeleton robot and the movement of the upper body joint currently measured do not match. It may further comprise the step.

본 발명에 따른 휴머노이드 장치 제어 방법은 상반신 외골격 로봇의 상반신 관절에 대하여 예측된 움직임과 현재 측정되는 상반신 관절의 움직임이 일치하지 않고, 현재 상반신 관절의 움직임에 의해 새로운 움직임이 예측된 경우 상기 휴머노이드 장치로 하여금 새롭게 예측된 움직임과 매칭되는 하반신 관절 움직임을 수행하도록 제어하는 단계를 더 포함할 수 있다.The method for controlling a humanoid device according to the present invention does not coincide with a motion of the upper body joint measured in the upper body joint of the upper body exoskeleton robot, and when the new movement is predicted by the current upper body joint movement, the humanoid device is used. The method may further include controlling to perform the lower body joint movement that matches the newly predicted movement.

본 발명에 따른 실시간 휴머노이드 시스템 및 그 제어 방법에 따라 상반신 외골격 로봇을 사용해서 휴머노이드를 제어하는 경우, 기존의 컨트롤 패드를 이용한 제어보다도 훨씬 직관적이며 자유로운 제어가 가능해진다. 그러므로 이러한 휴머노이드 제어 방식이 실제적인 상황에 사용된다면 지금까지보다도 더욱 효율적으로 휴머노이드를 이용할 수 있을 것이다.When the humanoid is controlled using the upper body exoskeleton robot according to the real-time humanoid system and its control method according to the present invention, more intuitive and free control is possible than the control using the conventional control pad. Therefore, if the humanoid control method is used in a practical situation, the humanoid may be used more efficiently than ever before.

또한 본 발명에 따른 실시간 휴머노이드 시스템 및 그 제어 방법에 따르면, 상반신의 움직임만으로 휴머노이드의 전신을 제어할 수 있기 때문에, 장시간 휴머노이드를 제어 하는 경우에도 크게 힘들지 않다는 장점이 있다. 가령, 인간의 대리자로써 위험 지역을 탐사하는 휴머노이드를 원격으로 제어하는 상황을 생각하면, 일반적인 휴머노이드 제어 방법을 따르는 경우보다 쉽고 편하게 휴머노이드를 제어할 수 있으며, 일의 능률 또한 높아지게 될 것이다.In addition, according to the real-time humanoid system and the control method according to the present invention, since the whole body of the humanoid can be controlled only by the movement of the upper body, there is an advantage that it is not very difficult even when controlling the humanoid for a long time. For example, considering a situation where a human agent remotely controls a humanoid exploring a dangerous area, humanoid control may be easier and more convenient than in general humanoid control methods, and work efficiency will be increased.

또한 먼 미래에 휴머노이드가 인간의 모든 일을 대리하는 상황이 발생했을 때에도 사용자는 집이라는 안전한 공간에서 편하게 앉아서, 단순히 상반신만을 움직이는 것으로 휴머노이드를 제어 할 수 있기 때문에, 본 발명이 효과를 발휘하게 될 것이다. 가령, 건설업 같은 위험한 일을 할 때, 인간은 안전성이 보장되는 장소에서 편안하게, 본 발명에서 제안하는 방식으로 상반신만 움직이고, 실제적인 일은 로봇이 하도록 해줌으로써 일의 효율도 높이고 더불어 안전성도 높일 수 있게 될 것이다.In addition, the present invention will be effective because the user can comfortably control the humanoid by simply sitting in the safe space of the house and moving the upper body even when the situation where the humanoid represents all human tasks in the distant future. . For example, when doing dangerous work such as construction industry, the human body can move comfortably in a place where safety is guaranteed, the upper body only in the manner suggested by the present invention, and the work can be done by the robot to increase the efficiency of work and increase safety. Will be.

추가적으로, 최근에 성행하고 있는 휴머노이드 격투기 대회 같은 곳에서도 본 발명에서 제안하는 방식을 이용하면, 기존의 컨트롤 패드를 이용한 상당히 제한 적인 휴머노이드 제어 방식보다도 더욱 직관적이고 자유롭게 휴머노이드를 제어 할 수 있게 될 것이다. 그렇게 되면, 휴머노이드가 훨씬 다이내믹하고 다양한 동작을 연출 할 수 있게 되기 때문에 관중의 흥미를 더욱 이끌어낼 수 있게 될 것이다. In addition, using the method proposed in the present invention, such as the recently popular humanoid martial arts competition, it will be able to control the humanoid more intuitively and freely than the fairly limited humanoid control method using the conventional control pad. That way, the humanoid will be able to produce a much more dynamic and varied movement, which will be more interesting to the audience.

마지막으로, 사용자가 본 시스템에 익숙해진다면 휴머노이드를 제어한다는 생각을 망각하고, 마치 자신이 직접 움직인다는 생각을 가지고 시스템을 운영할 수도 있게 될 것이다. 탑승형 로봇이 개발 되는 경우, 로봇 제어기로 본 발명에 따른 휴머노이드 제어 방법을 적용한다면 자연스럽게 탑승자에게 몰입형 인터페이스를 제공할 수 있을 것이다.Finally, if users become familiar with the system, they will forget the idea of controlling humanoids and operate the system as if they were moving directly. When the riding robot is developed, if the humanoid control method according to the present invention is applied to the robot controller, the immersive interface may be naturally provided to the occupant.

이하, 본 발명에 따른 실시간 휴머노이드 제어 시스템 및 제어 방법에 대하여 첨부된 도면을 참조하여 상세히 설명한다.Hereinafter, a real-time humanoid control system and a control method according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 실시간 휴머노이드 제어 시스템의 블록 구성을 나타낸 도면이다.1 is a block diagram of a real-time humanoid control system according to an embodiment of the present invention.

도 1에 도시된 바와 같이 실시간 휴머노이드 제어 시스템은 크게 상반신 외골격 로봇(10)과 휴머노이드 장치(20)로 구성될 수 있다. As shown in FIG. 1, the real-time humanoid control system may be largely composed of the upper body exoskeleton robot 10 and the humanoid device 20.

상반신 외골격 로봇(10)은 다수의 센서(11, 12)와 제어부(13), 패턴 예측부(14) 및 통신 인터페이스(15)를 포함할 수 있으며, 휴머노이드 인터페이스(20)는 통신 인터페이스(21), 상반신 제어부(22), 하반신 제어부(23), 상반신 구동부(24), 하반신 구동부(25) 등을 포함하여 구성될 수 있다.The upper body exoskeleton robot 10 may include a plurality of sensors 11 and 12, a controller 13, a pattern predictor 14, and a communication interface 15, and the humanoid interface 20 may include a communication interface 21. The upper body controller 22, the lower body controller 23, the upper body driver 24, the lower body driver 25, and the like may be configured.

다수의 센서들(11, 12)은 상반신 외골격 로봇(10)의 다수의 관절에 각각 부착되어 상반신의 관절 각도 등을 측정하는 구성 요소에 해당한다. The plurality of sensors 11 and 12 correspond to components that are attached to a plurality of joints of the upper body exoskeleton robot 10 and measure joint angles of the upper body, and the like.

제어부(13)는 다수의 센서들(11, 12)이 측정한 관절의 각도 정보 등을 이용하여 관절의 회전 속도, 회전 가속도를 연산하는 기능을 수행한다. 또한, 제어부(13)는 센서들(11, 12)이 측정한 상반신의 관절 각도와 그로부터 연산된 관절의 회전 속도, 회전 가속도의 정보를 통신 인터페이스(15)를 통해서 휴머노이드 장치(20)로 전송한다.The controller 13 performs a function of calculating the rotational speed and the rotational acceleration of the joint using the angle information of the joint measured by the plurality of sensors 11 and 12. In addition, the controller 13 transmits the information on the joint angles of the upper torso measured by the sensors 11 and 12, the rotational speed of the joints, and the rotational acceleration calculated therefrom to the humanoid device 20 through the communication interface 15. .

패턴 예측부(14)는 다수의 센서들(11, 12)이 감지한 관절의 각도 정보와 제어부(13)가 연산한 관절의 회전 속도, 회전 가속도 등의 정보를 이용하여 상반신 관절의 움직임 패턴을 예측한다. 또한, 패턴 예측부(14)는 예측된 움직임 패턴과 매칭되는 휴머노이드의 하반신 관절 움직임을 검색하고, 그에 따른 하반신 제어 신호를 통신 인터페이스(15)를 통해 휴머노이드 장치(20)로 전송한다.The pattern predictor 14 uses the angle information of the joints sensed by the plurality of sensors 11 and 12, and information about the joint's rotational speed, rotational acceleration, and the like, to calculate the movement pattern of the upper body joint. Predict. In addition, the pattern predictor 14 searches for the lower body joint motion of the humanoid matching the predicted movement pattern, and transmits the lower body control signal to the humanoid device 20 through the communication interface 15.

한편, 휴머노이드 장치의 상반신 제어부(22)와 하반신 제어부(23)는 통신 인터페이스(21)를 통해 전달되는 상반신 외골격 로봇(10)으로부터 데이터를 수신한다. 상반신 제어부(22)는 상반신 외골격 로봇(10)으로부터 전송되는 상반신의 관절 별 각도, 회전 속도, 회전 가속도 등의 데이터를 기초로 하여 휴머노이드 장치(20)의 상반신 구동부(24)를 제어한다. 즉, 상반신 제어부(22)는 휴머노이드 장치(20)의 상반신 관절이 상반신 외골격 로봇(10)으로부터 전달된 관절 별 각도, 회전 속도, 회전 가속도와 일치되도록 구동시키는 것이다.Meanwhile, the upper body control unit 22 and the lower body control unit 23 of the humanoid device receive data from the upper body exoskeleton robot 10 transmitted through the communication interface 21. The upper body control unit 22 controls the upper body driver 24 of the humanoid device 20 on the basis of data such as the angle, rotational speed, and rotational acceleration of the upper body, which are transmitted from the upper body exoskeleton robot 10. That is, the upper body control unit 22 drives the upper body joint of the humanoid device 20 to match the angle, rotational speed, and rotational acceleration of each joint transmitted from the upper body exoskeleton robot 10.

하반신 제어부(23)는 상반신 외골격 로봇(10)으로부터 하반신 제어 신호를 전달받는다. 하반신 제어부(23)는 하반신 제어 신호에 따른 관절 움직임을 제어하게 된다. 상반신 제어가 관절의 각도, 회전 속도, 회전 가속도를 일치시키는 제어를 하는 것이라면, 하반신 제어는 하반신 제어 신호에 따라 특정의 관절 움직임만을 수행하는 것이다.The lower body control unit 23 receives a lower body control signal from the upper body exoskeleton robot 10. The lower body control unit 23 controls joint motion according to the lower body control signal. If the upper body control is to control the joints to match the angle, rotational speed, and rotational acceleration of the joint, the lower body control performs only a specific joint movement according to the lower body control signal.

상반신 구동부(24)는 상반신 제어부(22)의 제어에 따라 휴머노이드 장치(20)의 상반신 관절을 구동하며, 하반신 구동부(25)는 하반신 제어부(23)의 제어에 따라 휴머노이드 장치(20)의 하반신 관절을 구동하는 구성 요소에 해당한다.The upper body driver 24 drives the upper body joint of the humanoid device 20 under the control of the upper body control unit 22, and the lower body driver 25 controls the lower body joint of the humanoid device 20 under the control of the lower body control unit 23. Corresponds to the component that drives it.

도 2는 본 발명의 다른 실시예에 따른 실시간 휴머노이드 장치 제어 방법을 나타낸 도면이다.2 is a diagram illustrating a real-time humanoid device control method according to another embodiment of the present invention.

먼저, 상반신 외골격 로봇(10)의 센서들(11, 12)는 상반신 외골격 로봇(10)을 착용한 착용자의 움직임에 따라 상반신 각 관절의 회전 각도를 실시간으로 수집하게 된다(S201). 이 때 각도 값의 수집을 내부 타이머(미도시)를 이용하여 일정한 시간 간격으로 수집하는 것이 바람직하다. First, the sensors 11 and 12 of the upper body exoskeleton robot 10 collect the rotation angles of the upper body joints in real time according to the movement of the wearer wearing the upper body exoskeleton robot 10 (S201). At this time, it is preferable to collect the angle value at regular time intervals using an internal timer (not shown).

그 후 제어부(13)는 이전 시점에서 현 시점까지의 각도 변화량을 계산할 수 있으므로, 관절의 회전 속도를 알 수 있게 된다(S202). 또한, 센서들(11, 12)을 통해 이전 속도와 현재 속도를 구할 수 있으며, 이를 일정한 시간 간격으로 측정하므로 제어부(13)는 상반신 각 관절의 가속도 값을 실시간으로 계산할 수 있게 된다. After that, the control unit 13 can calculate the angle change amount from the previous time point to the current time point, so that the rotation speed of the joint can be known (S202). In addition, the previous speed and the current speed can be obtained through the sensors 11 and 12, and measured at regular time intervals so that the controller 13 can calculate the acceleration value of each upper body joint in real time.

그 후 패턴 예측부(14)는 제어부(13)가 연산한 관절의 현재 각도, 계산된 회 전 속도 및 가속도를 토대로 추후 관절이 어떻게 움직일 것인지 예측한다(S203). 이와 같이 예측된 움직임을 움직임 패턴이라고 정의하기로 한다.Thereafter, the pattern predictor 14 predicts how the joint will move later based on the current angle of the joint calculated by the controller 13, the calculated rotation speed, and the acceleration (S203). The predicted motion is defined as a movement pattern.

일단 패턴 예측부(14)가 패턴을 예측할 수 있는 경우(S204의 Yes), 패턴 예측부(14)는 예측된 움직임 패턴에 해당하는 하반신 명령을 검색한다. 예를 들어, 1번 패턴에 해당하는 하반신 움직임이 예측된 경우 그에 매칭되어 있는 휴머노이드의 무릎을 굽히는 움직이는 명령을 검색하는 것이다. Once the pattern predicting unit 14 can predict the pattern (Yes in S204), the pattern predicting unit 14 searches for a lower body command corresponding to the predicted movement pattern. For example, when the lower body movement corresponding to the first pattern is predicted, the moving command of bending the humanoid's knee that matches the pattern is searched for.

이 경우 패턴 예측부(14)는 통신 인터페이스(15)를 통해 검색된 명령을 전달하기 위한 하반신 제어 신호를 휴머노이드 장치(20)로 전송한다(S205). In this case, the pattern predictor 14 transmits a lower body control signal to the humanoid device 20 for transmitting a command found through the communication interface 15 (S205).

휴머노이드 장치(20)의 하반신 제어부(23)는 상반신 외골격 로봇(10)의 패턴 예측부(14)로부터 하반신 제어 신호를 수신하고, 그 명령에 따라 하반신 구동부(25)를 제어한다(S207). The lower half body control unit 23 of the humanoid device 20 receives a lower half body control signal from the pattern predicting unit 14 of the upper half body exoskeleton robot 10, and controls the lower half body driver 25 according to the command (S207).

이와 같이 움직임 패턴과 매칭되어 있는 하반신 제어 신호를 전송하는 기법을 이용하여, 본 발명에 따른 실시간 휴머노이드 시스템은 사전에 정의되어 있는 하반신 동작을 구동시킬 수 있다.As described above, the real-time humanoid system according to the present invention can drive a predefined lower body torso operation using a technique of transmitting a lower body control signal matched with a movement pattern.

한편, S205에 따라 패턴 예측부(14)가 하반신 제어 신호를 휴머노이드 장치(20)로 전송하는 동시에, 제어부(13)는 상반신을 커버하는 외골격 로봇의 센서들(11, 12)로부터 수집되는 위치 정보와 그로부터 연산된 속도 정보, 가속도 정보를 휴머노이드 장치(20)로 전송한다(S206). Meanwhile, according to S205, the pattern predictor 14 transmits the lower body control signal to the humanoid device 20, and the control unit 13 collects position information collected from the sensors 11 and 12 of the exoskeleton robot covering the upper body. And the speed information and acceleration information calculated therefrom are transmitted to the humanoid device 20 (S206).

이에 휴머노이드 장치(20)는 수신되는 관절 별 센서들(11, 12)이 측정한 위치 정보와 그로부터 연산된 속도 정보와 가속도 정보 등을 이용하여 상반신 구동 부(24)를 구동하게 된다(S208).Accordingly, the humanoid device 20 drives the upper body driver 24 using the position information measured by the sensor-specific sensors 11 and 12 and the velocity information and the acceleration information calculated therefrom (S208).

그 후 패턴 예측부(14)는 예측한 패턴에 해당되는 하반신 제어 신호를 전송한 후에도, 상반신 외골격 로봇(10)의 센서들(11, 12)로부터 전달되는 정보들을 체크하여 그 관절의 움직임이 이전에 예측한 움직임 패턴과 일치하는지 여부를 계속적으로 판단한다.After that, even after transmitting the lower body control signal corresponding to the predicted pattern, the pattern predictor 14 checks the information transmitted from the sensors 11 and 12 of the upper body exoskeleton robot 10 and transfers the motion of the joint. It continuously determines whether or not the motion pattern is predicted to be consistent with.

만일 예측된 움직임 패턴과 현재의 관절 움직임이 동일하지 않은 경우, 패턴 예측부(14)는 원래의 자세로 돌아오게 하는 명령 또는 새로이 예측된 패턴에 상응하는 명령을 휴머노이드 장치(20)로 전송할 수 있다. 이러한 점을 이용하면, 몇 개의 정의된 하반신 동작만으로 여러 개의 조합된 동작 표현이 가능해진다는 효과가 존재한다.If the predicted movement pattern and the current joint movement are not the same, the pattern predictor 14 may transmit a command to return to the original posture or a command corresponding to the newly predicted pattern to the humanoid device 20. . Using this point, there is an effect that several combined motion expressions are possible with only a few defined lower body motions.

사용자는 위와 같은 방식으로 단지 상반신의 움직임만으로 휴머노이드 장치(20)의 전신을 제어할 수 있게 된다. 물론, 하반신의 동작은 상반신과는 다르게 특정한 동작만을 취할 수 있다는 단점이 있지만, 휴머노이드의 사용 목적에 맞게 하반신 동작을 설정한다면, 상황에 맞는 원하는 동작을 취할 수 있을 것이다. In this way, the user can control the whole body of the humanoid device 20 only by the movement of the upper body. Of course, the operation of the lower body can take only a specific operation differently from the upper body, but if the lower body operation is set according to the purpose of using the humanoid, it will be able to take the desired operation according to the situation.

가령, 휴머노이드 격투기의 경우에는 걷기, 달리기, 피하기, 발차기, 일어나기 등의 움직임만 설정해주어도 별 무리 없이 격투기를 할 수 있을 것이다. 본 시스템을 이용하면 보다 자유로운 동작의 구현이 가능하기 때문에 기존의 컨트롤 패드를 이용한 제어보다 훨씬 효율적이고 다채로운 움직임 구현이 가능해진다.For example, in the case of humanoid martial arts, the martial arts can be performed without any difficulty by setting only movements such as walking, running, avoiding, kicking, and rising. By using this system, more freedom of movement can be achieved, which enables more efficient and colorful movements than control using a conventional control pad.

도 3은 도 1에 도시된 실시간 휴머노이드 시스템의 상반신 외골격 로봇의 일 예를 나타낸 도면이다. 3 is a diagram illustrating an example of an upper body exoskeleton robot of the real-time humanoid system shown in FIG. 1.

도 3에 도시된 바와 같이 상반신 외골격 로봇(30)의 각 관절에는 관절의 각도 정보 등을 측정할 수 있는 센서들(31~36)이 존재한다. 이 때 센서들(31~36)은 관절의 회전 값 측정을 위해 가변 저항, 엔코더가 포함된 모터, 포테셜 미터 등이 이용될 수 있다.As shown in FIG. 3, each of the joints of the upper body exoskeleton robot 30 includes sensors 31 to 36 capable of measuring joint angle information and the like. In this case, the sensors 31 to 36 may use a variable resistor, a motor including an encoder, a potentiometer, etc. to measure the rotation value of the joint.

상반신 외골격 로봇(30)은 도 3에 도시된 바와 같이 사용자의 상반신에 부착될 수 있어야 한다. 상반신 외골격 로봇(30)은 사용자의 상반신에 완전히 밀착되도록 구성되는 것이 보다 바람직하다. 이 경우 사용자의 움직임과 상반신 외골격 로봇(30)의 움직임이 완벽히 일치되어 사용자가 휴머노이드를 보다 정교하게 제어할 수 있기 때문이다.The upper body exoskeleton robot 30 should be able to be attached to the upper body of the user as shown in FIG. The upper body exoskeleton robot 30 is more preferably configured to be in close contact with the upper body of the user. In this case, because the user's movement and the movement of the upper body exoskeleton robot 30 is perfectly matched, the user can more precisely control the humanoid.

또한, 상반신 외골격 로봇(30)의 각 관절의 수와 위치는 휴머노이드 장치의 상반신 관절의 수와 위치가 같아야 한다. 이미 살펴본 바와 같이 본 발명에 따른 휴머노이드 장치의 상반신은 상반신 외골격 로봇(30)의 관절에 부착된 센서가 측정된 정보와 동일하게 구동되기 때문이다. In addition, the number and position of each joint of the upper body exoskeleton robot 30 should be the same as the number and position of the upper body joint of the humanoid device. As described above, the upper body of the humanoid device according to the present invention is because the sensor attached to the joint of the upper body exoskeleton robot 30 is driven in the same manner as the measured information.

휴머노이드 상반신의 관절과 상반신 외골격 로봇(30)의 관절의 수는 인간의 관절의 수와 동일하다면, 이상적으로 사용자의 움직임을 반영할 수 있다. 그러나, 휴머노이드 상반신의 관절과 상반신 외골격 로봇(30)의 관절 수가 인간의 관절 수보다 적더라도 휴머노이드 움직임에 제한이 생길 뿐 휴머노이드의 동작 자체에는 큰 문제가 발생하지 않는다.If the number of joints of the humanoid upper body and the joints of the upper body exoskeleton robot 30 is the same as the number of joints of the human, it may ideally reflect the movement of the user. However, even if the number of joints of the humanoid upper body and the upper body exoskeleton robot 30 is smaller than the number of joints of the human body, the humanoid movement is limited, and the operation of the humanoid itself does not occur.

도 4는 도 1에 도시된 상반신 외골격 로봇과 휴머노이드 장치의 제어 신호 전달 과정을 나타낸 도면이다. 4 is a diagram illustrating a control signal transmission process of the upper body exoskeleton robot and the humanoid device illustrated in FIG. 1.

도 4에 도시된 바와 같이 상반신 외골격 로봇(30)은 휴머노이드 장치(40)와 데이터 통신을 할 수 있어야 한다. 상반신 외골격 로봇(30)은 휴머노이드 장치(40)에게 관절 별 센서들(31~36)이 측정한 정보와 하반신 제어 신호를 전송하여 주어야 하며, 휴머노이드 장치(40) 또한 제어 신호에 따른 구동 결과 등을 상반신 외골격 로봇(30)으로 보고해주어야 하기 때문이다.As shown in FIG. 4, the upper body exoskeleton robot 30 should be able to perform data communication with the humanoid device 40. The upper body exoskeleton robot 30 should transmit the information measured by the sensors 31 to 36 and the lower body control signal to the humanoid device 40, and the humanoid device 40 also provides a driving result according to the control signal. This is because you have to report to the upper body exoskeleton robot (30).

일반적으로 상반신 외골격 로봇(30)과 휴머노이드 장치(40)는 무선 통신을 이용하여 데이터 송수신을 하는 것이 바람직하다. 그러나 상반신 외골격 로봇(30)과 휴머노이드 장치(40) 간 데이터 통신을 유선 방식으로 해도 상관 없다. 또한, 도 4와 같이 상반신 외골격 로봇(30)과 휴머노이드 장치(40)가 직접 통신을 하도록 할 수 있으며, 기타 매개 장치, 서버 등을 경유하여 통신을 하도록 통신 환경을 구성하여 주어도 무방하다.In general, the upper body exoskeleton robot 30 and the humanoid device 40 preferably transmits and receives data using wireless communication. However, the data communication between the upper body exoskeleton robot 30 and the humanoid device 40 may be wired. Also, as shown in FIG. 4, the upper body exoskeleton robot 30 and the humanoid device 40 may communicate directly with each other, and a communication environment may be configured to communicate via other media devices and servers.

도 5는 상반신 외골격 로봇의 관절 움직임에 따른 휴머노이드 장치의 구동을 나타낸 도면이다.5 is a view showing the driving of the humanoid device according to the joint movement of the upper body exoskeleton robot.

이미 설명한 바와 같이 사용자의 상반신만을 커버하는 상반신 외골격 로봇은 착용자의 상반신 각 관절 회전 값을 실시간으로 수집한다. 이와 같이 수집된 관절 회전 값을 통해 관절의 회전 속도와 가속도를 획득한다. 또한, 이와 같이 획득된 정보들을 휴머노이드 장치로 전송한다. 휴머노이드 장치는 상반신 외골격 로봇으로 부터 수신한 관절의 각도와, 회전 정보에 따라 휴머노이드 상반신의 관절을 구동한다. 이 때 외골격 로봇의 관절의 수와 휴머노이드 상반신의 관절의 수는 동일하므로 휴머노이드 상반신 관절의 움직임은 외골격 로봇을 착용한 사용자의 움직임과 일치하게 된다. 도 5는 이러한 상반신 구동을 간략하게 설명한 그림이다.As described above, the upper body exoskeleton robot covering only the upper body of the user collects the rotation value of each joint of the upper body of the wearer in real time. The rotation speed and acceleration of the joint are obtained through the joint rotation values collected as described above. In addition, the information thus obtained is transmitted to the humanoid device. The humanoid device drives the joint of the humanoid upper body according to the angle of the joint received from the upper body exoskeleton robot and the rotation information. At this time, since the number of joints of the exoskeleton robot and the number of joints of the humanoid upper body are the same, the movement of the humanoid upper body joint is consistent with the movement of the user wearing the exoskeleton robot. 5 is a diagram briefly explaining such an upper body drive.

도 6은 예측된 움직임의 형태에 따른 휴머노이드 하반신의 구동을 나타낸 도면이다.FIG. 6 is a diagram illustrating driving of the humanoid lower body according to the type of predicted movement.

도 5에서 설명한 바와 같이 휴머노이드 장치의 상반신은 상반신 외골격 로봇의 움직임을 그대도 반영하는 방식으로 제어된다. 반면, 휴머노이드의 하반신은 상반신 외골격 로봇의 패턴 예측부가 착용자의 움직임을 예측해서 매칭되는 움직임에 따라 구동하게 된다. As described in FIG. 5, the upper body of the humanoid device is controlled in such a manner as to reflect the movement of the upper body exoskeleton robot. On the other hand, the lower half of the humanoid is predicted by the pattern predictor of the upper body exoskeleton robot and driven according to the matching movement.

도 6에서는 예측된 패턴과 매칭되는 하반신 제어 신호에 따라 구동되는 휴머노이드 장치의 하반신을 보여준다. 예를 들어 설정되어 있는 여러 패턴들에 따라 휴머노이드 장치의 하반신은

Figure 112009072359751-PAT00001
,
Figure 112009072359751-PAT00002
,
Figure 112009072359751-PAT00003
,
Figure 112009072359751-PAT00004
와 같은 형태로 구동될 수 있음을 보여준다.FIG. 6 shows the lower body of the humanoid device driven according to the lower body control signal matching the predicted pattern. For example, the lower body of the humanoid device
Figure 112009072359751-PAT00001
,
Figure 112009072359751-PAT00002
,
Figure 112009072359751-PAT00003
,
Figure 112009072359751-PAT00004
It can be driven in the form of.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으 나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의하여 정해져야 한다.Although the present invention has been described in detail through the representative embodiments, those skilled in the art to which the present invention pertains can make various modifications without departing from the scope of the present invention with respect to the embodiments described above. Will understand. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined by the claims below and equivalents thereof.

도 1은 본 발명의 일 실시예에 따른 실시간 휴머노이드 제어 시스템의 블록 구성을 나타낸 도면.1 is a block diagram of a real-time humanoid control system according to an embodiment of the present invention.

도 2는 본 발명의 다른 실시예에 따른 실시간 휴머노이드 장치 제어 방법을 나타낸 도면.2 is a diagram illustrating a real-time humanoid device control method according to another embodiment of the present invention.

도 3은 도 1에 도시된 실시간 휴머노이드 시스템의 상반신 외골격 로봇의 일 예를 나타낸 도면.3 is a view showing an example of an upper body exoskeleton robot of the real-time humanoid system shown in FIG.

도 4는 도 1에 도시된 상반신 외골격 로봇과 휴머노이드 장치의 제어 신호 전달 과정을 나타낸 도면.4 is a view showing a control signal transmission process of the upper body exoskeleton robot and humanoid device shown in FIG.

도 5는 상반신 외골격 로봇의 관절 움직임에 따른 휴머노이드 장치의 구동을 나타낸 도면.5 is a view showing the driving of the humanoid device according to the joint movement of the upper body exoskeleton robot.

도 6은 예측된 움직임의 형태에 따른 휴머노이드 하반신의 구동을 나타낸 도면.6 shows the driving of the humanoid lower body according to the type of motion predicted.

<도면의 주요 부분에 대한 부호 설명>Description of the Related Art [0002]

10 : 상반신 외골격 로봇 11, 12 : 센서10: upper body exoskeleton robot 11, 12: sensor

13 : 제어부 14 : 예측부13: control unit 14: prediction unit

15 : 통신 인터페이스 20 : 휴머노이드 장치15 communication interface 20 humanoid device

21 : 통신 인터페이스 22 : 상반신 제어부21: communication interface 22: upper body control unit

23 : 하반신 제어부 24 : 상반신 구동부23: lower body control unit 24: upper body drive unit

25 : 하반신 구동부25: lower body drive unit

Claims (11)

휴머노이드 제어 시스템에 있어서,In the humanoid control system, 다수의 센서들을 통해 다수의 상반신 관절 별 회전 각도 정보를 측정하고, 상기 회전 각도 정보를 이용하여 상반신 관절의 움직임을 예측한 후, 상기 예측된 움직임과 매칭되는 하반신 제어 신호를 휴머노이드 장치로 전송하는 상반신 외골격 로봇; 과The upper body to measure rotation angle information for each of the upper body joints through a plurality of sensors, predict the movement of the upper body joint using the rotation angle information, and then transmit a lower body control signal matching the predicted movement to the humanoid device. Exoskeleton robot; and 상기 외골격 로봇으로부터 전송받은 하반신 제어 신호에 따라 하반신의 관절을 구동하는 것을 특징으로 하는 휴머노이드 장치를 포함하는 휴머노이드 제어 시스템.Humanoid control system comprising a humanoid device for driving the joints of the lower body in accordance with the lower body control signal received from the exoskeleton robot. 제1항에 있어서,The method of claim 1, 상기 상반신 외골격 로봇은,The upper body exoskeleton robot, 다수의 관절 별로 부착되어 상반신 관절의 회전 각도를 측정하는 다수의 센서들;A plurality of sensors attached to each of the plurality of joints to measure a rotation angle of the upper body joint; 상기 다수의 센서들이 측정한 관절의 회전 각도를 이용하여 상기 상반신 관절의 회전 속도와 회전 가속도를 연산하는 제어부; 및A controller configured to calculate rotational speed and rotational acceleration of the upper body joint using the rotation angles of the joints measured by the plurality of sensors; And 상기 상반신 관절의 회전 각도, 관절의 회전 속도 및 회전 가속도를 이용하여 상반신 관절의 움직임을 예측하고, 예측된 움직임과 매칭되는 하반신 제어 신호를 상기 휴머노이드 장치로 전송하는 패턴 예측부를 포함하는 휴머노이드 제어 시 스템.Humanoid control system including a pattern predictor for predicting the motion of the upper body joint using the rotation angle of the upper body joint, the rotational speed and the rotational acceleration of the upper body joint, and transmitting a lower body control signal matching the predicted movement to the humanoid device. . 제2항에 있어서,The method of claim 2, 상기 패턴 예측부는,The pattern prediction unit, 예측된 움직임과 현재 측정된 상반신 관절의 움직임이 일치하지 않는 경우, 상기 하반신 제어 신호에 따른 하반신 관절을 원상태로 복귀시키는 제2 하반신 제어 신호를 상기 휴머노이드 장치로 전송하는 것을 특징으로 하는 휴머노이드 제어 시스템.And a second lower body control signal for returning the lower body joint according to the lower body control signal to the humanoid device when the predicted movement and the movement of the measured upper body joint do not coincide with each other. 제2항에 있어서,The method of claim 2, 상기 패턴 예측부는,The pattern prediction unit, 예측된 움직임과 현재 측정된 상반신 관절의 움직임이 일치하지 않고 현재 상반신 관절의 움직임에 의해 새로운 움직임이 예측된 경우, 상기 새롭게 예측된 움직임에 매칭되는 제3 하반신 제어 신호를 상기 휴머노이드 장치로 전송하는 것을 특징으로 하는 휴머노이드 제어 시스템.If the predicted motion does not match the current measured upper body joint movement and a new motion is predicted by the current upper body joint movement, transmitting a third lower body control signal matching the newly predicted motion to the humanoid device. A humanoid control system characterized by the above. 제2항에 있어서,The method of claim 2, 상기 다수의 센서들은,The plurality of sensors, 일정 주기마다 상반신 관절의 회전 각도를 측정하는 것을 특징으로 하는 휴머노이드 제어 시스템.Humanoid control system, characterized in that for measuring the rotation angle of the upper body joint at regular intervals. 제5항에 있어서,The method of claim 5, 상기 제어부는,The control unit, 상기 다수의 센서들이 측정한 상반신 관절의 회전 각도와 주기를 이용하여 상반신 관절의 회전 속도와 회전 가속도를 연산하는 것을 특징으로 하는 휴머노이드 제어 시스템.The humanoid control system, characterized in that for calculating the rotational speed and rotational acceleration of the upper body joint using the rotation angle and period of the upper body joint measured by the plurality of sensors. 상반신 외골격 로봇을 이용한 휴머노이드 장치 제어 방법에 있어서,In the humanoid device control method using the upper body exoskeleton robot, 상기 상반신 외골격 로봇의 다수의 센서들은 상기 상반신 외골격 로봇의 다수 상반신 관절 별 회전 각도를 측정하는 단계;A plurality of sensors of the upper body exoskeleton robot measuring the rotation angle for each of the plurality of upper body joints of the upper body exoskeleton robot; 상기 측정된 상반신 관절 별 회전 각도를 이용하여 상기 상반신 외골격 로봇 상반신 관절의 움직임을 예측하는 단계;Predicting the movement of the upper body exoskeleton robot upper body joint by using the measured rotation angle of the upper body joint; 상기 예측된 움직임과 매칭되는 하반신 제어 신호를 휴머노이드 장치로 전송하는 단계; 및Transmitting a lower body control signal matching the predicted movement to a humanoid device; And 상기 휴머노이드 장치는 수신되는 하반신 제어 신호에 따라 하반신의 관절을 구동하는 단계를 포함하는 휴머노이드 장치 제어 방법.The humanoid device control method of the humanoid device comprising driving the joints of the lower body according to the received lower body control signal. 제7항에 있어서,The method of claim 7, wherein 상기 측정된 상반신 관절 별 회전 각도를 이용하여 상기 상반신 외골격 로봇 상반신 관절의 움직임을 예측하는 단계는,Predicting the movement of the upper body exoskeleton robot upper body joint using the measured rotation angle of the upper body joint, 상기 다수의 센서들이 측정한 상반신 관절의 회전 각도를 이용하여 상반신 관절의 회전 속도와 회전 가속도를 연산하는 단계; 와 Calculating rotational speed and rotational acceleration of the upper body joint using the rotation angle of the upper body joint measured by the plurality of sensors; Wow 상기 상반신 관절의 회전 각도, 회전 속도 및 회전 가속도를 이용하여 상반신 관절의 움직임을 예측하는 단계를 포함하는 것을 특징으로 하는 휴머노이드 장치 제어 방법.And predicting the movement of the upper torso joint using the rotation angle, the rotational speed, and the rotational acceleration of the upper torso joint. 제8항에 있어서,The method of claim 8, 상기 다수의 센서들이 측정한 상반신 관절의 회전 각도를 이용하여 상반신 관절의 회전 속도와 회전 가속도를 연산하는 단계는,Computing the rotational speed and rotational acceleration of the upper body joint using the rotation angle of the upper body joint measured by the plurality of sensors, 상기 다수의 센서들이 일정 주기마다 상반신 관절의 회전 각도를 측정하는 단계; 와Measuring a rotation angle of the upper body joint by the plurality of sensors at regular intervals; Wow 상기 상반신 관절의 회전 각도와 주기를 이용하여 상반신 관절의 회전 속도와 회전 가속도를 연산하는 단계를 포함하는 것을 특징으로 하는 휴머노이드 장치 제어 방법.And calculating a rotational speed and a rotational acceleration of the upper body joint using the rotation angle and the period of the upper body joint. 제7항에 있어서,The method of claim 7, wherein 상반신 외골격 로봇의 상반신 관절에 대하여 예측된 움직임과 현재 측정되는 상반신 관절의 움직임이 일치하지 않는 경우, 상기 하반신 제어 신호에 따라 구동된 하반신 관절을 원상태로 복귀하도록 제어하는 단계를 더 포함하는 휴머노이드 장치 제어 방법.If the predicted movement of the upper body joint of the upper body exoskeleton robot and the motion of the upper body joint is currently measured, the humanoid device control further comprising the step of controlling the lower body joint driven according to the lower body control signal to return to the original state Way. 제7항에 있어서,The method of claim 7, wherein 상반신 외골격 로봇의 상반신 관절에 대하여 예측된 움직임과 현재 측정되는 상반신 관절의 움직임이 일치하지 않고, 현재 상반신 관절의 움직임에 의해 새로운 움직임이 예측된 경우 상기 휴머노이드 장치로 하여금 새롭게 예측된 움직임과 매칭되는 하반신 관절 움직임을 수행하도록 제어하는 단계를 더 포함하는 휴머노이드 장치 제어 방법.When the predicted motion of the upper body joint of the upper body exoskeleton robot and the current measured upper body joint motion do not match, and a new motion is predicted by the current upper body joint motion, the humanoid device causes the humanoid device to match the newly predicted motion. The method of controlling a humanoid device further comprising the step of controlling to perform a joint movement.
KR1020090114348A 2009-11-25 2009-11-25 Real Time Humanoid Control System and Method Thereof KR101103852B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090114348A KR101103852B1 (en) 2009-11-25 2009-11-25 Real Time Humanoid Control System and Method Thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090114348A KR101103852B1 (en) 2009-11-25 2009-11-25 Real Time Humanoid Control System and Method Thereof

Publications (2)

Publication Number Publication Date
KR20110057793A true KR20110057793A (en) 2011-06-01
KR101103852B1 KR101103852B1 (en) 2012-01-10

Family

ID=44393363

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090114348A KR101103852B1 (en) 2009-11-25 2009-11-25 Real Time Humanoid Control System and Method Thereof

Country Status (1)

Country Link
KR (1) KR101103852B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9393690B2 (en) 2013-10-01 2016-07-19 Electronics And Telecommunications Research Institute Apparatus for inputting teaching data and apparatus and method for generating teaching command for robot
WO2023128544A1 (en) * 2021-12-29 2023-07-06 서울대학교산학협력단 Remote control method for motion tracking robot

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101444817B1 (en) * 2013-07-31 2014-10-01 한국과학기술연구원 Real time robot motion generating system applied to different robot structure
KR101485075B1 (en) * 2014-02-06 2015-01-21 엘아이지넥스원 주식회사 Remote robot system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003117858A (en) * 1999-09-20 2003-04-23 Sony Corp Method and device for control of robot walk
JP3443077B2 (en) 1999-09-20 2003-09-02 ソニー株式会社 Robot motion pattern generation device and motion pattern generation method, and robot
JP3674779B2 (en) 2000-11-20 2005-07-20 ソニー株式会社 Motion control device and motion control method for legged mobile robot, and robot device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9393690B2 (en) 2013-10-01 2016-07-19 Electronics And Telecommunications Research Institute Apparatus for inputting teaching data and apparatus and method for generating teaching command for robot
WO2023128544A1 (en) * 2021-12-29 2023-07-06 서울대학교산학협력단 Remote control method for motion tracking robot

Also Published As

Publication number Publication date
KR101103852B1 (en) 2012-01-10

Similar Documents

Publication Publication Date Title
US20200033937A1 (en) Calibration of Measurement Units in Alignment with a Skeleton Model to Control a Computer System
US9360944B2 (en) System and method for enhanced gesture-based interaction
CN103877726B (en) A kind of virtual reality components system
JP2022500729A (en) Neuromuscular control of augmented reality system
KR101103852B1 (en) Real Time Humanoid Control System and Method Thereof
WO2020153297A1 (en) Robot control system
CN114503057A (en) Orientation determination based on both image and inertial measurement units
KR20190059234A (en) Haptic accessory apparatus
Maeda et al. Wearable robotics as a behavioral interface-the study of the parasitic humanoid
WO2021178138A1 (en) Ring device for control a computing device based on user motion
US20230142242A1 (en) Device for Intuitive Dexterous Touch and Feel Interaction in Virtual Worlds
RU2662399C1 (en) System and method for capturing movements and positions of human body and parts of human body
CN111863198A (en) Rehabilitation robot interaction system and method based on virtual reality
Kao et al. Novel digital glove design for virtual reality applications
CN108062102A (en) A kind of gesture control has the function of the Mobile Robot Teleoperation System Based of obstacle avoidance aiding
WO2020153299A1 (en) Robot control system
CN109801709B (en) Hand posture capturing and health state sensing system for virtual environment
KR101568084B1 (en) Apparatus for walk imitation control of biped robot
CN111367416A (en) Virtual reality gloves and virtual reality interaction system
KR20200082423A (en) Virtual reality-based hand rehabilitation system with haptic feedback
JP2001038658A (en) Tactile sense expressing system in robot
CN117251058B (en) Control method of multi-information somatosensory interaction system
CN211827193U (en) Virtual reality gloves and virtual reality interaction system
EP4354258A1 (en) Virtual reality control method for avoiding motion sickness
WO2020153298A1 (en) Image analysis system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee