KR102335926B1 - 휴머노이드 로봇 제어 시스템 및 방법 - Google Patents

휴머노이드 로봇 제어 시스템 및 방법 Download PDF

Info

Publication number
KR102335926B1
KR102335926B1 KR1020190125451A KR20190125451A KR102335926B1 KR 102335926 B1 KR102335926 B1 KR 102335926B1 KR 1020190125451 A KR1020190125451 A KR 1020190125451A KR 20190125451 A KR20190125451 A KR 20190125451A KR 102335926 B1 KR102335926 B1 KR 102335926B1
Authority
KR
South Korea
Prior art keywords
image
joint
user
position information
humanoid robot
Prior art date
Application number
KR1020190125451A
Other languages
English (en)
Other versions
KR20210042644A (ko
Inventor
최강선
사재민
Original Assignee
한국기술교육대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기술교육대학교 산학협력단 filed Critical 한국기술교육대학교 산학협력단
Priority to KR1020190125451A priority Critical patent/KR102335926B1/ko
Publication of KR20210042644A publication Critical patent/KR20210042644A/ko
Application granted granted Critical
Publication of KR102335926B1 publication Critical patent/KR102335926B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Abstract

본 발명은 휴머노이드 로봇 제어 시스템 및 방법을 공개한다. 본 발명은 서로 이격된 2개의 렌즈를 통해서 사용자를 촬영하여 서로 다른 시점에서 촬영된 2개의 영상으로부터 각각 사용자의 자세를 추정하고, 추정된 자세로부터 사용자의 각 관절의 3차원 위치를 확인하고 노이즈를 제거한 후 대응되는 관절의 위치를 보정한다. 그 후, 각 관절의 3차원 위치 정보를 이용하여 이에 대응되는 휴머노이드 로봇이 사용자와 동일한 자세를 나타내도록 휴머노이드 로봇에 포함되는 각 모터의 각도를 생성하여 휴머노이드 로봇측에 제공함으로써 휴머노이드 로봇의 자세를 제어한다. 따라서, 본 발명은 깊이 센서를 이용하지 않고서도 비교적 간단한 연산을 통해서 신속하게 휴머노이드 로봇을 원격에서 안정적으로 제어할 수 있다.

Description

휴머노이드 로봇 제어 시스템 및 방법{Control system and method for humanoid robot}
본 발명은 로봇 제어 시스템 및 방법에 관한 것으로서, 보다 구체적으로는 휴머노이드 로봇 제어 시스템 및 방법에 관한 것이다.
사람이 접근하기 어려운 공간 또는 사람이 작업하기 위험한 공간에 로봇을 투입하여, 인명 구조 및 위험한 작업을 수행하고자 하는 기술이 활발하게 연구되고 있으나 아직 상용화되지 못하는 실정이다. 이는 로봇의 정확한 움직임 제어에 실패하게 되면, 로봇이 파손되거나 로봇 자체가 위험요소가 될 수 있기 때문이다.
현재 원격 조종 로봇의 제어 정확도와 속도는 트레이드오프 관계에 있어서, 로봇의 제어시에 어느 한 쪽을 선택해야 하며, 보편적인 로봇 원격 조종은 제어의 정확도에 더 큰 비중을 두게 된다. 이 때문에, 대부분의 로봇 원격 조종은 속도가 매우 느리다는 단점이 있다.
이는 로봇을 보다 정확히 제어하기 위한 다중의 검증 과정이 많이 필요하기 때문이다. 실시간으로 로봇을 조종하기 위해서는 모터 제어를 위한 정확한 계산을 수행해야 하지만, 현재의 로봇 제어 알고리즘들은 전체적인 계산량이 많아 실시간 제어에 어려움이 있다.
본 발명이 해결하고자 하는 과제는 연산량이 적은 알고리즘을 이용하여 실시간으로 로봇을 제어할 수 있는, 특히, 인간의 관절 구조를 갖는 휴머노이드 로봇을 제어할 수 있는 휴머노이드 로봇 제어 시스템 및 방법을 제공하는 것이다.
상술한 과제를 해결하기 위한 본 발명의 바람직한 실시예에 따른 휴머노이드 로봇 제어 시스템은, 서로 이격된 두 개의 렌즈를 이용하여, 로봇을 제어하고자 하는 사용자의 자세를 각각 촬영하여 제 1 영상 및 제 2 영상을 생성하는 촬영부; 상기 제 1 영상 및 상기 제 2 영상 각각으로부터 사용자의 자세 정보를 생성하고, 상기 사용자의 자세 정보로부터 사용자의 각 관절의 위치 정보를 생성하는 자세 정보 생성부; 상기 사용자의 각 관절의 위치 정보를 이용하여, 제어 대상인 휴머노이드 로봇이 사용자와 동일한 자세를 나타내도록, 휴머노이드 로봇에 포함된 각 모터의 각도를 제어하는 모터 제어 신호를 생성하는 모터 제어 신호 생성부; 및 상기 모터 제어 신호를 휴머노이드 로봇측으로 전송하는 통신부를 포함한다.
또한, 상기 촬영부는, 두 개의 렌즈가 수평 방향으로 사전에 정의된 거리 만큼 서로 이격되어, 사용자를 촬영한 제 1 영상(좌측 영상) 및 제 2 영상(우측 영상)을 생성할 수 있다.
또한, 상기 자세 정보 생성부는, 상기 제 1 영상 및 상기 제 2 영상에 표현된 사용자의 자세를 추정하여, 상기 제 1 영상의 사용자의 각 관절의 위치 정보 및 상기 제 2 영상의 사용자의 각 관절의 위치 정보를 각각 생성하는 제 1 자세 추정부 및 제 2 자세 추정부; 상기 제 1 영상 및 상기 제 2 영상의 상기 각 관절의 위치 정보 각각에 대해서 노이즈를 제거하는 제 1 노이즈 제거부 및 제 2 노이즈 제거부; 및 상기 제 1 영상 및 상기 제 2 영상의 노이즈가 제거된 서로 대응되는 각 관절 위치 정보 및 이전 시점에 결정된 대응되는 각 관절의 위치 정보를 이용하여 현재 시점의 해당 관절의 위치 정보를 보정하여, 각 관절의 최종 관절 위치 정보를 생성하는 위치 보정부를 포함할 수 있다.
또한, 상기 제 1 노이즈 제거부 및 상기 제 2 노이즈 제거부는, 각 관절의 위치 정보에 대해서 칼만(kalman) 필터링을 수행하여 노이즈 제거를 수행할 수 있다.
또한, 상기 위치 보정부는, 상기 제 1 영상 및 상기 제 2 영상의 노이즈가 제거된 서로 대응되는 관절 위치 정보 및 이전 시점에 결정된 대응되는 관절의 위치 정보에 미디안(median) 필터링을 수행하여 해당 관절의 최종 위치 정보를 생성하여 상기 모터 제어 신호 생성부로 출력할 수 있다.
또한, 상기 모터 제어 신호 생성부는, 상기 자세 정보 생성부로부터 입력된 사용자의 각 관절의 위치 정보를 이용하여, 휴머노이드 로봇이 사용자와 동일한 자세를 나타내도록 휴머노이드 로봇에 포함되는 각 모터의 각도값을 생성하는 관절 모터 각도 생성부를 포함할 수 있다.
또한, 상기 모터 제어 신호 생성부는, 상기 관절 모터 각도 생성부로부터 입력된 각 모터의 각도값과 이전 시점의 대응되는 각 모터의 각도값을 이용하여 IIR(Infinite Impulse Response) 필터링 수행하여 관절 모터 각도값을 보정하는 각도 보정부를 더 포함할 수 있다.
한편, 상술한 과제를 해결하기 위한 본 발명의 바람직한 실시예에 따른 휴머노이드 로봇 제어 방법은, 휴머노이드 로봇 제어 시스템에서 수행되는 휴머노이드 로봇 제어 방법으로서, (a) 서로 이격된 두 개의 렌즈를 이용하여, 로봇을 제어하고자 하는 사용자의 자세를 각각 촬영하여 제 1 영상 및 제 2 영상을 생성하는 단계; (b) 상기 제 1 영상 및 상기 제 2 영상 각각에서 사용자의 자세 정보를 생성하고, 상기 사용자의 자세 정보로부터 사용자의 각 관절의 위치 정보를 생성하는 단계; (c) 상기 사용자의 각 관절의 위치 정보를 이용하여, 제어 대상인 휴머노이드 로봇이 사용자와 동일한 자세를 나타내도록, 휴머노이드 로봇에 포함된 각 모터의 각도를 제어하는 모터 제어 신호를 생성하는 단계; 및 (d) 상기 모터 제어 신호를 휴머노이드 로봇측으로 전송하는 단계를 포함한다.
또한, 상기 (a) 단계는, 두 개의 렌즈가 수평 방향으로 사전에 정의된 거리 만큼 서로 이격되어, 사용자를 촬영한 제 1 영상(좌측 영상) 및 제 2 영상(우측 영상)을 생성할 수 있다.
또한, 상기 (b) 단계는, (b1) 상기 제 1 영상 및 상기 제 2 영상에 표현된 사용자의 자세를 추정하여, 상기 제 1 영상의 사용자의 각 관절의 위치 정보 및 상기 제 2 영상의 사용자의 각 관절의 위치 정보를 각각 생성하는 단계; (b2) 상기 제 1 영상 및 상기 제 2 영상의 상기 각 관절의 위치 정보 각각에 대해서 노이즈를 제거하는 단계; 및 (b3) 상기 제 1 영상 및 상기 제 2 영상의 노이즈가 제거된 서로 대응되는 각 관절 위치 정보 및 이전 시점에 결정된 대응되는 각 관절의 위치 정보를 이용하여 현재 시점의 해당 관절의 위치 정보를 보정하여, 각 관절의 최종 관절 위치 정보를 생성하는 단계를 포함할 수 있다.
또한, 상기 (b2) 단계는, 각 관절의 위치 정보에 대해서 칼만(kalman) 필터링을 수행하여 노이즈 제거를 수행할 수 있다.
또한, 상기 (b3) 단계는, 상기 제 1 영상 및 상기 제 2 영상의 노이즈가 제거된 서로 대응되는 관절 위치 정보 및 이전 시점에 결정된 대응되는 관절의 위치 정보에 미디안(median) 필터링을 수행하여 해당 관절의 최종 위치 정보를 생성할 수 있다.
또한, 상기 (c) 단계는, (c1) 상기 (b) 단계에서 생성된 사용자의 각 관절의 위치 정보를 이용하여, 휴머노이드 로봇이 사용자와 동일한 자세를 나타내도록 휴머노이드 로봇에 포함되는 각 모터의 각도값을 생성하는 단계를 포함할 수 있다.
또한, 상기 (c) 단계는, (c2) 상기 (c1) 단계에서 생성된 각 모터의 각도값과 이전 시점의 대응되는 각 모터의 각도값을 이용하여 IIR(Infinite Impulse Response) 필터링 수행하여 관절 모터 각도값을 보정하는 단계를 더 포함할 수 있다.
본 발명은 서로 이격된 2개의 렌즈를 통해서 사용자를 촬영하여 서로 다른 시점에서 촬영된 2개의 영상으로부터 각각 사용자의 자세를 추정하고, 추정된 자세로부터 사용자의 각 관절의 3차원 위치를 확인하고 노이즈를 제거한 후 대응되는 관절의 위치를 보정한다. 그 후, 각 관절의 3차원 위치 정보를 이용하여 이에 대응되는 휴머노이드 로봇이 사용자와 동일한 자세를 나타내도록 휴머노이드 로봇에 포함되는 각 모터의 각도를 생성하여 휴머노이드 로봇측에 제공함으로써 휴머노이드 로봇의 자세를 제어한다. 따라서, 본 발명은 깊이 센서를 이용하지 않고서도 비교적 간단한 연산을 통해서 신속하게 휴머노이드 로봇을 원격에서 안정적으로 제어할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 휴머노이드 로봇 제어 시스템의 전체적인 구성 및 연결 관계를 도시하는 도면이다.
도 2는 본 발명의 바람직한 실시예에 따른 휴머노이드 로봇 제어 시스템의 세부 구성을 도시하는 블록도이다.
도 3은 본 발명에 적용된 HPE(Human Pose Estimation) 방식을 이용하여 사용자의 자세를 추정한 일 예를 도시하는 도면이다.
도 4는 본 발명의 바람직한 실시예에 따른 휴머노이드 로봇 제어 시스템의 성능을 설명하는 도면이다.
도 5는 본 발명의 바람직한 실시예에 따른 휴머노이드 로봇 제어 방법을 설명하는 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 휴머노이드 로봇 제어 시스템의 전체적인 구성 및 연결 관계를 도시하는 도면이다.
도 1을 참조하면, 본 발명의 바람직한 실시예에 따른 휴머노이드 로봇 제어 시스템(이하, "로봇 제어 시스템"으로 약칭함)은, 휴머노이드 로봇(300)을 제어하고자 하는 사용자(100)가 자세를 취하면, 이를 촬영하여 제어 대상이 되는 휴머노이드 로봇(300)이 사용자와 동일한 자세를 취하도록 휴머노이드 로봇의 각 관절에 포함된 모터를 제어하기 위한 모터 제어 신호를 생성하여 무선 통신 또는 유선 통신 방식으로 휴머노이드 로봇으로 전송한다.
휴머노이드 로봇(300)은 모터 제어 신호를 수신하고, 모터 제어 신호에 따라서 모터가 구동되어 사용자가 취하는 자세와 동일한 자세를 취하도록 구동된다.
이러한 동작을 구현하기 위한 본 발명의 바람직한 실시예에 따른 휴머노이드 로봇 제어 시스템(200)은, 촬영부(210), 자세 정보 생성부(220), 모터 제어 신호 생성부(230) 및 통신부(240)를 포함하여 구성된다.
촬영부(210)는 서로 이격된 두 개의 렌즈를 이용하여, 로봇을 제어하고자 하는 사용자의 자세를 각각 촬영하여 제 1 영상(예컨대, 좌측 영상) 및 제 2 영상(예컨대, 우측 영상)을 생성하고, 이들 영상들을 자세 정보 생성부(220)로 출력한다.
자세 정보 생성부(220)는 촬영부(210)로부터 입력된 제 1 영상 및 제 2 영상 각각에서 사용자의 자세 정보를 추정하고, 사용자의 자세 정보로부터 사용자의 관절 위치를 확인하고, 이에 대응되는 각 관절의 3차원 위치 정보를 생성하여 출력한다. 이하에서 설명될 본 발명의 바람직한 실시예에서는, 도 1에 도시된 바와 같이, 8개의 관절을 갖는 휴머노이드 로봇에 대한 제어 신호를 생성하는 예를 설명한다.
모터 제어 신호 생성부(230)는 자세 정보 생성부(220)로부터 입력된 사용자의 각 관절의 3차원 위치 정보를 이용하여, 이에 대응되는 휴머노이드 로봇이 사용자와 동일한 자세를 나타내도록, 휴머노이드 로봇에 포함된 각 모터의 각도를 제어하는 모터 제어 신호를 생성하여 통신부(240)로 출력한다.
통신부(240)는 모터 제어 신호를 소정의 무선 또는 유선 통신 방식으로 휴머노이드 로봇측으로 전송한다.
한편, 휴머노이드 로봇(300)의 통신부(310)는 모터 제어 신호를 수신하여 로봇 제어부(320)로 출력하고, 로봇 제어부(320)는 통신부(310)로부터 입력된 각 모터 제어 신호를 이용하여 대응되는 각 모터를 구동함으로써 휴머노이드 로봇이 사용자와 동일한 자세를 취하도록 한다.
도 2는 본 발명의 바람직한 실시예에 따른 휴머노이드 로봇 제어 시스템(200)의 세부 구성을 도시하는 블록도이다.
도 2를 참조하면, 본 발명의 촬영부(210)는 사전에 정의된 거리 L 만큼 서로 이격된 2개의 렌즈를 구비하여, 각각의 렌즈를 통해서 서로 다른 시점에서 촬영한 제 1 영상(편의상 "좌측(L) 영상"이라 칭함) 및 제 2 영상(편의상 "우측(R) 영상"이라 칭함)을 각각 자세 정보 생성부(220)로 출력한다. 본 발명의 바람직한 실시예에서는 두 개의 렌즈가 수평 방향으로 서로 거리 L 만큼 이격된 것으로 설명하였으나, 서로 수직으로 또는 사선으로 배치되어도 무방한다.
자세 정보 생성부(220)는 제 1 자세 추정부(221-1), 제 2 자세 추정부(221-2), 제 1 노이즈 제거부(223-1), 제 2 노이즈 제거부(223-2), 및 위치 보정부(225)를 포함한다.
제 1 자세 추정부(221-1) 및 제 2 자세 추정부(221-2)는 각각 촬영부(210)로부터 제 1 영상 및 제 2 영상을 입력받고, 제 1 영상 및 제 2 영상에 표현된 사용자의 자세를 추정하여 사용자의 각 관절의 위치 정보를 제 1 노이즈 제거부(223-1)및 제 2 노이즈 제거부(223-2)로 각각 출력한다.
본 발명의 바람직한 실시예에 따른 제 1 자세 추정부(221-1) 및 제 2 자세 추정부(221-2)는 공지의 자세 추정 알고리즘을 이용하여 사용자의 자세를 추정할 수 있다. 다만, 본 실시예에서는 『A. Kanazawa, M. J. Black, D. W. Jacobs, and J. Malik, "End-to-end recovery of human shape and pose," IEEE Conference on Computer Vision and Pattern Recognition, Jun. 2018.』에 기재된 HPE(Human Pose Estimation) 방식을 이용하여 사용자의 자세를 추정하고, 각 관절의 위치를 추정하였다. 도 3은 본 발명에 적용된 HPE(Human Pose Estimation) 방식을 이용하여 사용자의 자세를 추정한 일 예를 도시하는 도면이다.
이러한 HPE 방식을 도 1(a)에 도시된 8개의 관절을 갖는 휴머노이드 로봇에 적용하면, 제 1 자세 추정부(221-1) 및 제 2 자세 추정부(221-2)가 출력하는 시간 t에, j 번째 관절의 위치 정보는
Figure 112019103318101-pat00001
로 표현된다. 이 때 V는 좌측 영상(L) 또는 우측 영상(R)(V={L,R})을 나타내고, j는 각 관절의 식별번호를 나타낸다(
Figure 112019103318101-pat00002
).
한편, 제 1 노이즈 제거부(223-1)는 제 1 자세 추정부(221-1)로부터 좌측 영상(제 1 영상)에서 추정된 사용자 관절의 위치 정보
Figure 112019103318101-pat00003
를 입력받고, 제 2 노이즈 제거부(223-2)는 제 2 자세 추정부(221-2)로부터 우측 영상(제 2 영상)에서 추정된 사용자 관절의 위치 정보
Figure 112019103318101-pat00004
를 입력받아, 해당 관절의 위치 정보에 포함된 노이즈를 제거한 후, 노이즈가 제거된 관절의 위치 정보를 위치 보정부(225)로 출력한다.
이 때, 제 1 노이즈 제거부(223-1) 및 제 2 노이즈 제거부(223-2)는 다양한 노이즈 필터링 알로리즘을 적용하여 관절의 위치 정보에 포함된 노이즈를 제거할 수 있는데, 본 발명의 바람직한 실시예에서는 칼만 필터를 아래의 수학식 1과 같이, 각 관절의 위치 정보에 적용하여 노이즈를 제거한다.
Figure 112019103318101-pat00005
상기 수학식 1에서
Figure 112019103318101-pat00006
는 시간 t 에서의 좌측 영상 및 및 우측 영상의 각 관절의 위치 정보를 나타내고,
Figure 112019103318101-pat00007
는 칼만 필터링을 통해서 노이즈가 제거된 관절의 위치 정보를 나타낸다.
위치 보정부(225)는 제 1 노이즈 제거부(223-1) 및 제 2 노이즈 제거부(223-2)로부터 입력된 제 1 영상(좌측 영상) 및 제 2 영상(우측 영상)의 서로 대응되는 각 관절 위치 정보(
Figure 112019103318101-pat00008
) 및 이전 시점(t-1)에 위치 보정부(225)에서 결정된 대응되는 각 관절의 위치 정보를 이용하여 현재 시점(t)의 해당 관절의 위치 정보를 보정하여, 최종 관절 위치 정보를 생성하여 모터 제어 신호 생성부(230)로 출력한다.
이를 위해서, 본 발명의 바람직한 실시예에 따른 위치 보정부(225)는 아래의 수학식 2에 따라서 미디안(median) 필터를 이용하였다.
Figure 112019103318101-pat00009
상기 수학식 2에서 알 수 있는 바와 같이, 미디안 필터는 입력 값의 각 차원 별로 중간 값을 반환하는 필터를 의미하며,
Figure 112019103318101-pat00010
은 칼만필터 적용 후 미디안필터를 적용시켜 구해진 관절의 위치 정보를 의미한다.
상기 수학식 2에서 주의할 점은, 좌측 영상의 관절 위치 정보(
Figure 112019103318101-pat00011
)와 우측 영상의 관절 위치 정보(
Figure 112019103318101-pat00012
) 외에, 이전 시간(t-1)에 미디언 필터를 통해서 얻은 최종적인 관절의 위치 정보(
Figure 112019103318101-pat00013
)를 다시 미디안필터에 적용하는 것으로, 이는 좌측 영상에서 추정된 관절의 위치 정보와 우측 영상에서 추정된 관절의 위치 정보가 서로 다른 위치를 나타낼 때 생기는 사용자 자세의 글리치(glitch)를 제거해주는 역할을 한다. 또한, 두 자세가 동일한 형태로 변화할 때, 좀 더 느리게 변화를 유도하는 것으로 볼 수 있으며, 이는 안정적인 로봇의 동작 제어에 기여한다.
한편, 모터 제어 신호 생성부(230)는 위치 보정부(225)로부터 입력된 사용자의 각 관절의 3차원 위치 정보를 이용하여, 제어 대상인 휴머노이드 로봇(300)이 사용자와 동일한 자세를 나타내도록, 휴머노이드 로봇(300)에 포함된 각 모터의 각도를 제어하는 모터 제어 신호를 생성하여 통신부(240)로 출력한다.
이를 위해서, 모터 제어 신호 생성부(230)는 관절 모터 각도 생성부(231) 및 각도 보정부(233)를 포함한다.
먼저, 관절 모터 각도 생성부(231)는 입력된 각 관절의 3차원 위치 정보를 이용하여 이에 대응되는 휴머노이드 로봇이 사용자와 동일한 자세를 나타내도록 휴머노이드 로봇에 포함되는 각 모터의 각도를 계산하여 각도 보정부(233)로 출력한다. 이를 위해서 본 발명의 바람직한 실시예에 따른 관절 모터 각도 생성부(231)는 아래의 수학식 3에 따라서 도 1(b)에 도시된 휴머노이드 로봇(LIMS)에 포함된 각 모터의 각도값들(Qt)을 생성한다.
Figure 112019103318101-pat00014
수학식 3에서 J2Q()는 휴머노이드 로봇에 특화된 Q 연산 함수를 나타낸다.
여기서, Φ1 내지 Φ3 는 도 1(b)에 도시된 LIMS 로봇의 좌측 및 우측 어깨에 설치된 모터를 나타내고, Φ4는 도 1(b)에 도시된 LIMS 로봇의 좌측 및 우측 팔꿈치에 설치된 모터를 나타내며, 각각의 모터는 Qt 에 포함된 각 모터의 각도값들에 따라서 구동된다. 휴머노이드 로봇에 특화된 Q 연산 함수를 이용하여 모터의 각도를 계산하는 방법은 익히 알려진 것이므로 구체적인 설명은 생략한다.
한편, 각도 보정부(233)는 관절 모터 각도 생성부(231)로부터 입력된 현재 시점 t의 각 모터의 각도값들(Qt)을, 이전 시점 t-1에서 결정된 각 모터의 각도값들을 이용하여 보정함으로써, 노이즈 및 오류를 보정하여 최종적으로 휴머노이드 로봇에 포함된 모터들을 제어할 모터 제어 신호를 생성하여 통신부(240)로 출력한다.
관절 모터 각도 생성부(231)로부터 입력된 현재 시점 t의 각 모터의 각도값들(Qt)은, 휴머노이드 로봇을 제어할 때 급격한 변위를 발생시킴으로써 심각한 문제를 초래할 수 있는 불연속적인 각도값들을 포함할 수 있다. 따라서, 각도 보정부(233)는 연속적인 모터의 움직임을 보장하기 위해서, 관절 모터 각도 생성부(231)로부터 입력된 현재 시점 t의 각 모터의 각도값들(Qt)을, 이전 시점 t-1에서 결정된 각 모터의 각도값들을 이용하여 보정한다.
본 발명의 바람직한 실시예에서, 각도 보정부(233)는 아래의 수학식 4와 같이 IIR 필터(Infinite Impulse Response filter)를 이용하여 불연속적인 모터 각도값들을 제거함으로써 각 모터의 각도를 보정하였다.
Figure 112019103318101-pat00015
본 발명의 바람직한 실시예에서, 상기 수학식 4의 감쇄 계수 α는 0.05로 설정하였고,
Figure 112019103318101-pat00016
이 휴머노이드 로봇의 모터 제어 신호로서 통신부(240)를 통해서 휴머노이드 로봇으로 전송된다.
도 4는 본 발명의 바람직한 실시예에 따른 휴머노이드 로봇 제어 시스템의 성능을 설명하는 도면이다.
도 4에 도시된 예를 참조하면, 우측 4번째 모터(
Figure 112019103318101-pat00017
)의 각도 변화를 도시하였다. 상기한 종래의 HPE(Human Pose Estimation) 방식에 따라서만 계산된 각도는 파란색으로, 본 발명의 제 1 및 제 2 노이즈 제거부(223-1,223-2)에서 칼만 필터링되고 위치 보정부(225)에서 미디안 필터링되었으나 각도 보정부(233)에서 IIR 필터링되지 않은 각도는 하늘색으로, 본 발명에 따라서 최종적으로 생성된 각도는 빨간색으로 각각 도시하였다.
도 4를 참조하면, 종래기술에 따른 경우 모터의 각도가 급격하게 변화하는 것을 것을 알 수 있고, 본 발명에 따른 경우에는 각도가 자연스럽게 연속적으로 변화하는 것을 알 수 있다.
아울러, 도 4의 아래에는, 시점 t=1190 및 시점 t=1575에 각각 사용자를 촬영한 영상과, 각 시점에서 종래 기술에 따라서 추정된 자세를 이용하여 제어된 휴머노이드 로봇의 자세(Initial Pose) 및 본 발명에 따라서 제어된 휴머노이드 로봇의 자세(Refined Pose)를 도시하였다. 도시된 바와 같이, 본 발명에 따라서 제어된 휴머노이드 로봇의 자세가 종래기술에 비하여 훨씬 정확하며, 휴머노이드 로봇의 원격 제어에 적합함을 알 수 있다.
지금까지 본 발명의 바람직한 실시예에 따른 휴머노이드 로봇 제어 시스템(200)에 대해서 설명하였다.
도 5는 본 발명의 바람직한 실시예에 따른 휴머노이드 로봇 제어 방법을 설명하는 흐름도이다.
이하에서는, 도 5를 참조하여, 본 발명의 바람직한 실시예에 따른 휴머노이드 로봇 제어 방법을 설명한다. 다만, 후술하는 휴머노이드 로봇 제어 방법은 모두 전술한 휴머노이드 로봇 제어 시스템(200)에서 수행되는 것이므로, 그 기능이 동일하다. 따라서, 별도의 반대되는 설명이 없는 한, 도 1 내지 도 4를 참조하여 설명한 기능들은 본 발명의 휴머노이드 로봇 제어 방법에서 그대로 적용되며, 이하에서는, 설명의 중복을 피하기 위해서, 본 방법의 전체적인 흐름만을 설명하고, 구체적인 기능은 전술한 휴머노이드 로봇 제어 시스템(200)의 기능을 참고해야 한다.
먼저, 본 발명의 휴머노이드 로봇 제어 방법에서, 휴머노이드 로봇 제어 시스템(200)은 내부의 서로 이격된 두 개의 렌즈로 사용자를 촬영하여 제 1 영상(좌측 영상) 및 제 2 영상(우측 영상)을 각각 생성한다(S510).
그 후, 휴머노이드 로봇 제어 시스템(200)은 제 1 영상 및 제 2 영상 각각에서 사용자의 자세를 추정하고, 제 1 영상에서 추정된 사용자의 각 관절의 위치 정보 및 제 2 영상에서 추정된 사용자의 각 관절의 위치 정보를 생성한다(S520).
다음으로, 휴머노이드 로봇 제어 시스템(200)은 제 1 영상 및 제 2 영상의 각 관절 위치 정보에 포함된 노이즈 제거한다(S530). 이를 위해서, 본 발명이 각 관절 위치 정보에 대해서 칼만 필터링을 수행함은 상술한 바와 같다.
그 후, 휴머노이드 로봇 제어 시스템(200)은 제 1 영상 및 제 2 영상으로부터 획득된 서로 대응되는 각 관절의 위치 정보 및 이전 시점에 결정된 서로 대응되는 각 관절의 위치 정보를 이용하여 현재 시점의 관절의 해당 위치 정보를 보정하여 최종 관절 위치 정보를 생성한다(S540). 이 과정에서, 본 발명의 바람직한 실시예가 미디안 필터를 적용함은 상술한 바와 같다.
그 다음으로, 휴머노이드 로봇 제어 시스템(200)은 각 관절의 최종 3차원 위치 정보를 이용하여 제어 대상인 휴머노이드 로봇이 사용자와 동일한 자세를 나타내도록 휴머노이드 로봇에 포함되는 각 모터의 각도를 계산한다(S550).
그 후, 로봇의 급격한 이동을 방지하기 위해서, 현재 시점의 각 모터의 각도값들을, 이전 시점에서 결정된 각 모터의 각도값들을 이용하여 보정하여 최종적으로 휴머노이드 로봇에 포함된 모터들을 제어할 모터 제어 신호를 생성하여 휴머노이드 로봇측으로 전송한다(S560).
모터 제어 신호를 수신한 휴머노이드 로봇은 모터 제어 신호에 따라서 휴머노이드 로봇에 포함된 각 모터를 구동하여 사용자가 취하는 자세를 취하도록 제어된다(S570).
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100:사용자
200:휴머노이드 로봇 제어 시스템
210:촬영부
220:자세 정보 생성부
221-1:제 1 자세 추정부 221-2:제 1 자세 추정부
223-1:제 1 노이즈 제거부 223-2:제 2 노이즈 제거부
225:위치 보정부
230:모서 제어 신호 생성부
231:관절 모터 각도 생성부 233:각도 보정부
240:통신부
300:휴머노이드 로봇
310:통신부
320:로봇 제어부

Claims (14)

  1. 서로 이격된 두 개의 렌즈를 이용하여, 로봇을 제어하고자 하는 사용자의 자세를 각각 촬영하여 제 1 영상 및 제 2 영상을 생성하는 촬영부;
    상기 제 1 영상 및 상기 제 2 영상 각각으로부터 사용자의 자세 정보를 생성하고, 상기 사용자의 자세 정보로부터 사용자의 각 관절의 3차원 위치 정보를 생성하는 자세 정보 생성부;
    상기 사용자의 각 관절의 3차원 위치 정보를 이용하여, 제어 대상인 휴머노이드 로봇이 사용자와 동일한 자세를 나타내도록, 휴머노이드 로봇에 포함된 각 모터의 각도를 제어하는 모터 제어 신호를 생성하는 모터 제어 신호 생성부; 및
    상기 모터 제어 신호를 휴머노이드 로봇측으로 전송하는 통신부를 포함하고,
    상기 자세 정보 생성부는
    상기 제 1 영상 및 상기 제 2 영상에 표현된 사용자의 자세를 추정하여, 상기 제 1 영상의 사용자의 각 관절의 3차원 위치 정보 및 상기 제 2 영상의 사용자의 각 관절의 3차원 위치 정보를 각각 생성하는 제 1 자세 추정부 및 제 2 자세 추정부;
    상기 제 1 영상 및 상기 제 2 영상의 상기 각 관절의 3차원 위치 정보 각각에 대해서 노이즈를 제거하는 제 1 노이즈 제거부 및 제 2 노이즈 제거부; 및
    상기 제 1 영상 및 상기 제 2 영상의 노이즈가 제거된 서로 대응되는 각 관절 3차원 위치 정보 및 이전 시점에 결정된 대응되는 각 관절의 3차원 위치 정보를 이용하여 현재 시점의 해당 관절의 3차원 위치 정보를 보정하여, 각 관절의 최종 3차원 위치 정보를 생성하는 위치 보정부를 포함하며,
    상기 위치 보정부는
    상기 제 1 영상 및 상기 제 2 영상의 노이즈가 제거된 서로 대응되는 관절의 3차원 위치 정보 및 이전 시점에 결정된 대응되는 관절의 3차원 위치 정보에 미디안(median) 필터링을 수행하여 해당 관절의 최종 3차원 위치 정보를 생성하여 상기 모터 제어 신호 생성부로 출력하고,
    상기 모터 제어 신호 생성부는
    상기 자세 정보 생성부로부터 입력된 사용자의 각 관절의 3차원 위치 정보를 이용하여, 휴머노이드 로봇이 사용자와 동일한 자세를 나타내도록 휴머노이드 로봇에 포함되는 각 모터의 각도값을 생성하는 관절 모터 각도 생성부, 및
    상기 관절 모터 각도 생성부로부터 입력된 각 모터의 각도값과 이전 시점의 대응되는 각 모터의 각도값을 이용하여 IIR(Infinite Impulse Response) 필터링 수행하여 관절 모터 각도값을 보정하는 각도 보정부를 포함하는 것을 특징으로 하는 휴머노이드 로봇 제어 시스템.
  2. 제 1 항에 있어서, 상기 촬영부는
    두 개의 렌즈가 수평 방향으로 사전에 정의된 거리 만큼 서로 이격되어, 사용자를 촬영한 제 1 영상(좌측 영상) 및 제 2 영상(우측 영상)을 생성하는 것을 특징으로 하는 휴머노이드 로봇 제어 시스템.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 제 1 노이즈 제거부 및 상기 제 2 노이즈 제거부는
    각 관절의 위치 정보에 대해서 칼만(kalman) 필터링을 수행하여 노이즈 제거를 수행하는 것을 특징으로 하는 휴머노이드 로봇 제어 시스템.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 휴머노이드 로봇 제어 시스템에서 수행되는 휴머노이드 로봇 제어 방법으로서,
    (a) 서로 이격된 두 개의 렌즈를 이용하여, 로봇을 제어하고자 하는 사용자의 자세를 각각 촬영하여 제 1 영상 및 제 2 영상을 생성하는 단계;
    (b) 상기 제 1 영상 및 상기 제 2 영상 각각에서 사용자의 자세 정보를 생성하고, 상기 사용자의 자세 정보로부터 사용자의 각 관절의 3차원 위치 정보를 생성하는 단계;
    (c) 상기 사용자의 각 관절의 3차원 위치 정보를 이용하여, 제어 대상인 휴머노이드 로봇이 사용자와 동일한 자세를 나타내도록, 휴머노이드 로봇에 포함된 각 모터의 각도를 제어하는 모터 제어 신호를 생성하는 단계; 및
    (d) 상기 모터 제어 신호를 휴머노이드 로봇측으로 전송하는 단계를 포함하고,
    상기 (b) 단계는
    (b1) 상기 제 1 영상 및 상기 제 2 영상에 표현된 사용자의 자세를 추정하여, 상기 제 1 영상의 사용자의 각 관절의 3차원 위치 정보 및 상기 제 2 영상의 사용자의 각 관절의 3차원 위치 정보를 각각 생성하는 단계;
    (b2) 상기 제 1 영상 및 상기 제 2 영상의 상기 각 관절의 3차원 위치 정보 각각에 대해서 노이즈를 제거하는 단계; 및
    (b3) 상기 제 1 영상 및 상기 제 2 영상의 노이즈가 제거된 서로 대응되는 각 관절의 3차원 위치 정보 및 이전 시점에 결정된 대응되는 각 관절의 3차원 위치 정보를 이용하여 현재 시점의 해당 관절의 3차원 위치 정보를 보정하여, 각 관절의 최종 3차원 위치 정보를 생성하는 단계를 포함하고,
    상기 (b3) 단계는
    상기 제 1 영상 및 상기 제 2 영상의 노이즈가 제거된 서로 대응되는 관절의 3차원 위치 정보 및 이전 시점에 결정된 대응되는 관절의 3차원 위치 정보에 미디안(median) 필터링을 수행하여 해당 관절의 최종 3차원 위치 정보를 생성하고,
    상기 (c) 단계는
    (c1) 상기 (b) 단계에서 생성된 사용자의 각 관절의 3차원 위치 정보를 이용하여, 휴머노이드 로봇이 사용자와 동일한 자세를 나타내도록 휴머노이드 로봇에 포함되는 각 모터의 각도값을 생성하는 단계; 및
    (c2) 상기 (c1) 단계에서 생성된 각 모터의 각도값과 이전 시점의 대응되는 각 모터의 각도값을 이용하여 IIR(Infinite Impulse Response) 필터링 수행하여 관절 모터 각도값을 보정하는 단계를 포함하는 것을 특징으로 하는 휴머노이드 로봇 제어 방법.
  9. 제 8 항에 있어서, 상기 (a) 단계는
    두 개의 렌즈가 수평 방향으로 사전에 정의된 거리 만큼 서로 이격되어, 사용자를 촬영한 제 1 영상(좌측 영상) 및 제 2 영상(우측 영상)을 생성하는 것을 특징으로 하는 휴머노이드 로봇 제어 방법.
  10. 삭제
  11. 제 8 항에 있어서, 상기 (b2) 단계는
    각 관절의 위치 정보에 대해서 칼만(kalman) 필터링을 수행하여 노이즈 제거를 수행하는 것을 특징으로 하는 휴머노이드 로봇 제어 방법.
  12. 삭제
  13. 삭제
  14. 삭제
KR1020190125451A 2019-10-10 2019-10-10 휴머노이드 로봇 제어 시스템 및 방법 KR102335926B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190125451A KR102335926B1 (ko) 2019-10-10 2019-10-10 휴머노이드 로봇 제어 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190125451A KR102335926B1 (ko) 2019-10-10 2019-10-10 휴머노이드 로봇 제어 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210042644A KR20210042644A (ko) 2021-04-20
KR102335926B1 true KR102335926B1 (ko) 2021-12-03

Family

ID=75743249

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190125451A KR102335926B1 (ko) 2019-10-10 2019-10-10 휴머노이드 로봇 제어 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102335926B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113492404B (zh) * 2021-04-21 2022-09-30 北京科技大学 一种基于机器视觉的仿人机器人动作映射控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019000918A (ja) * 2017-06-12 2019-01-10 日立Ｇｅニュークリア・エナジー株式会社 作業用ロボットのアーム姿勢制御システムおよび方法
WO2019059364A1 (ja) * 2017-09-22 2019-03-28 三菱電機株式会社 遠隔制御マニピュレータシステムおよび制御装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019000918A (ja) * 2017-06-12 2019-01-10 日立Ｇｅニュークリア・エナジー株式会社 作業用ロボットのアーム姿勢制御システムおよび方法
WO2019059364A1 (ja) * 2017-09-22 2019-03-28 三菱電機株式会社 遠隔制御マニピュレータシステムおよび制御装置

Also Published As

Publication number Publication date
KR20210042644A (ko) 2021-04-20

Similar Documents

Publication Publication Date Title
JP6587761B2 (ja) 位置制御装置及び位置制御方法
Mariottini et al. Image-based visual servoing for nonholonomic mobile robots using epipolar geometry
JP6376296B1 (ja) 位置制御装置及び位置制御方法
Fang et al. Homography-based visual servo regulation of mobile robots
WO2020168668A1 (zh) 一种车辆的slam建图方法及系统
JP6771846B2 (ja) 車両の運動を制御するシステム及び方法
JP3994950B2 (ja) 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
JP6108818B2 (ja) 移動装置及び移動装置の位置認識方法
WO2017088720A1 (zh) 规划最优跟随路径的方法、装置及计算机存储介质
JP6458912B1 (ja) 位置制御装置及び位置制御方法
WO2004106856A1 (ja) ステレオカメラ支持装置、ステレオカメラ支持方法及びキャリブレーション検出装置及びキャリブレーション補正装置並びにステレオカメラシステム
CN107192375B (zh) 一种基于航拍姿态的无人机多帧图像自适应定位校正方法
WO2018081366A1 (en) Vision-aided inertial navigation with loop closure
CN105844692A (zh) 基于双目立体视觉的三维重建装置、方法、系统及无人机
KR102335926B1 (ko) 휴머노이드 로봇 제어 시스템 및 방법
WO2020066069A1 (ja) 位置推定装置
Tarrio et al. Realtime edge based visual inertial odometry for MAV teleoperation in indoor environments
CN113570662A (zh) 3d定位来自真实世界图像中地标的系统和方法
US20100246893A1 (en) Method and Apparatus for Nonlinear Dynamic Estimation of Feature Depth Using Calibrated Moving Cameras
US20220050454A1 (en) Delayed Telop Aid
Zhu et al. Multi-robot joint visual-inertial localization and 3-d moving object tracking
Cao et al. Adaptive dynamic surface control for vision-based stabilization of an uncertain electrically driven nonholonomic mobile robot
CN111367291B (zh) 一种自越障机器人及控制方法
KR101071061B1 (ko) 차량의 특징점을 이용한 운전 보조 장치 및 방법과 이에 사용되는 마이크로프로세서 및 기록매체
Andersen A framework for control of a camera head

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant