KR102156231B1 - 혼재 환경에서의 머니퓰레이터 제어장치, 시스템 및 방법 - Google Patents

혼재 환경에서의 머니퓰레이터 제어장치, 시스템 및 방법 Download PDF

Info

Publication number
KR102156231B1
KR102156231B1 KR1020180166367A KR20180166367A KR102156231B1 KR 102156231 B1 KR102156231 B1 KR 102156231B1 KR 1020180166367 A KR1020180166367 A KR 1020180166367A KR 20180166367 A KR20180166367 A KR 20180166367A KR 102156231 B1 KR102156231 B1 KR 102156231B1
Authority
KR
South Korea
Prior art keywords
gripping
manipulator
learning information
information
gripped
Prior art date
Application number
KR1020180166367A
Other languages
English (en)
Other versions
KR20200077145A (ko
Inventor
신동인
김영욱
전세웅
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020180166367A priority Critical patent/KR102156231B1/ko
Publication of KR20200077145A publication Critical patent/KR20200077145A/ko
Application granted granted Critical
Publication of KR102156231B1 publication Critical patent/KR102156231B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 혼재 환경에서의 머니퓰레이터 제어장치, 시스템 및 방법이 개시된다. 본 발명의 머니퓰레이터 제어장치는 머니퓰레이터로부터 파지 대상물체와 복수의 주변 물체가 혼재된 환경에 대한 RGB 정보 및 깊이(depth) 정보가 포함된 영상정보를 수신하고, 머니퓰레이터를 제어하는 제어신호를 상기 머니퓰레이터로 전송하는 통신부 및 영상정보 및 파지 대상물체의 종류, 영역 및 포즈(angle)와 관련된 학습정보인 제1 학습정보를 이용하여 파지 대상물체에 대한 복수의 파지 후보점을 생성하고, 생성된 복수의 파지 후보점 중 이전에 수행된 파지 과정과 관련된 학습정보인 제2 학습정보를 이용하여 파지 대상물체에 대한 파지점을 선정하며, 선정된 파지점을 머니퓰레이터가 파지하도록 제어하는 제어신호를 생성하는 제어부를 포함한다.

Description

혼재 환경에서의 머니퓰레이터 제어장치, 시스템 및 방법{Apparatus, system and method for controlling manipulator in mixed environment}
본 발명은 머니퓰레이터 제어기술에 관한 것으로, 더욱 상세하게는 다종 다량의 물체가 혼재된 환경에서 머니퓰레이터를 제어하는 혼재 환경에서의 머니퓰레이터 제어장치, 시스템 및 방법에 관한 것이다.
머니퓰레이터는 인간의 관절과 암이 짝지어진 장치이며, 파지 대상물체를 파지해서 위치 결정이나 운반을 행하는 장치의 총칭을 의미한다. 머니퓰레이터는 일반적으로 파지 대상물을 파지하는 파지 기구와 파지 기구를 움직이는 암 기구를 갖추고 있다.
한편 종래의 머니퓰레이터의 파지 기술은 파지 대상물체가 서로 겹쳐져 있지 않거나, 단일 종류의 물체가 하나의 박스 내에 존재하는 경우 수행되어 왔다. 즉 종래에는 사전에 파지 대상물체의 파지점을 입력하여 물체 형상 매칭을 통한 파지점을 추출하는 방식을 이용하였다.
하지만 이러한 방식은 다종의 물체가 겹쳐진 물류 현장에서는 사용하기가 어렵고, 사용자가 사전에 파지점을 입력해야 되기 때문에 새로운 물체가 많은 경우 대응하기가 쉽지 않은 문제점을 가지고 있다.
한국공개특허공보 제10-2018-0053482호(2018.05.23.)
본 발명이 이루고자 하는 기술적 과제는 다종 다량의 물체가 혼재되어 있는 환경에서 머니퓰레이터를 제어하여 파지 대상물체를 빠르면서도 정확하게 파지하여 이송하는 혼재 환경에서의 머니퓰레이터 제어장치, 시스템 및 방법을 제공하는데 목적이 있다.
상기 목적을 달성하기 위해, 본 발명에 따른 혼재 환경에서의 머니퓰레이터 제어장치는 머니퓰레이터로부터 파지 대상물체와 복수의 주변 물체가 혼재된 환경에 대한 RGB 정보 및 깊이(depth) 정보가 포함된 영상정보를 수신하고, 상기 머니퓰레이터를 제어하는 제어신호를 상기 머니퓰레이터로 전송하는 통신부 및 상기 영상정보 및 상기 파지 대상물체의 종류, 영역 및 포즈(angle)와 관련된 학습정보인 제1 학습정보를 이용하여 상기 파지 대상물체에 대한 복수의 파지 후보점을 생성하고, 상기 생성된 복수의 파지 후보점 중 이전에 수행된 파지 과정과 관련된 학습정보인 제2 학습정보를 이용하여 상기 파지 대상물체에 대한 파지점을 선정하며, 상기 선정된 파지점을 상기 머니퓰레이터가 파지하도록 제어하는 제어신호를 생성하는 제어부를 포함한다.
또한 상기 제어부는, 상기 선정된 파지점에 의한 파지 성공률을 예측하고, 상기 예측된 파지 성공률이 기 설정된 기준보다 낮으면 이전에 수행된 파지모션 과정과 관련된 제3 학습정보를 이용하여 상기 머니퓰레이터의 움직임과 관련된 파지모션 시퀀스를 생성하며, 상기 파지모션 시퀀스에 따라 상기 머니퓰레이터를 움직여 상기 파지 대상물체를 파지할 수 있는 공간을 확보한 후, 상기 파지 대상물체를 파지하도록 제어하는 제어신호를 생성하는 것을 특징으로 한다.
또한 상기 파지모션 시퀀스는, 상기 머니퓰레이터의 파지부가 상기 주변 물체를 치우기 또는 밀치기, 수직 이동하기, 수평 이동하기, 법선 방향으로 진입하기 및 그립하기 중 적어도 하나의 움직임을 포함하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 파지모션 시퀀스에 따라 상기 머니퓰레이터가 움직이고, 상기 파지 대상물체를 파지하여 이송한 결과를 학습하며, 상기 학습된 결과를 상기 제3 학습정보에 업데이트하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 머니퓰레이터의 파지 성공률을 최우선 순위로 설정하고, 파지 및 이송의 소요시간을 다음 순위로 설정하여 상기 제어신호를 생성하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 복수의 파지 후보점을 상기 파지 대상물체의 포즈 선상에 배치되도록 생성하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 파지점을 파지하여 상기 파지 대상물체를 이송한 결과를 학습하고, 상기 학습된 결과를 상기 제2 학습정보에 업데이트하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 파지 대상물체의 종류가 미인식되면 상기 제1 학습정보 중 종류를 제외하고, 영역 및 포즈만을 이용하여 상기 복수의 파지 후보점을 생성하는 것을 특징으로 한다.
또한 상기 통신부는, 상기 머니퓰레이터의 파지부 종류를 더 수신하고, 상기 제어부는, 상기 수신된 파지부 종류를 더 이용하여 상기 파지점을 선정하는 것을 특징으로 한다.
본 발명에 따른 혼재 환경에서의 머니퓰레이터 제어시스템은 파지 대상물체와 복수의 주변 물체가 혼재된 환경에 대한 RGB 정보 및 깊이 정보가 포함된 영상정보를 수집하고, 상기 파지 대상물체를 파지하여 이송시키는 머니퓰레이터 및 상기 머니퓰레이터로를 영상정보를 수신하고, 수신된 영상정보를 이용하여 상기 머니퓰레이터의 움직임과 관련된 제어를 수행하는 머니퓰레이터 제어장치를 포함하되, 상기 머니퓰레이터 제어장치는, 상기 머니퓰레이터로부터 상기 영상정보를 수신하고, 상기 머니퓰레이터를 제어하는 제어신호를 상기 머니퓰레이터로 전송하는 통신부 및 상기 영상정보 및 상기 파지 대상물체의 종류, 영역 및 포즈와 관련된 학습정보인 제1 학습정보를 이용하여 상기 파지 대상물체에 대한 복수의 파지 후보점을 생성하고, 상기 생성된 복수의 파지 후보점 중 이전에 수행된 파지 과정과 관련된 학습정보인 제2 학습정보를 이용하여 상기 파지 대상물체에 대한 파지점을 선정하며, 상기 선정된 파지점을 상기 머니퓰레이터가 파지하도록 제어하는 제어신호를 생성하는 제어부를 포함하는 것을 특징으로 한다.
본 발명에 따른 혼재 환경에서의 머니퓰레이터 제어방법은 머니퓰레이터 제어장치가 머니퓰레이터로부터 파지 대상물체와 복수의 주변 물체가 혼재된 환경에 대한 RGB 정보 및 깊이 정보가 포함된 영상정보를 수신하는 단계, 상기 머니퓰레이터 제어장치가 상기 영상정보 및 상기 파지 대상물체의 종류, 영역 및 포즈와 관련된 학습정보인 제1 학습정보를 이용하여 상기 파지 대상물체에 대한 복수의 파지 후보점을 생성하는 단계, 상기 머니퓰레이터 제어장치가 상기 생성된 복수의 파지 후보점 중 이전에 수행된 파지 과정과 관련된 학습정보인 제2 학습정보를 이용하여 상기 파지 대상물체에 대한 파지점을 선정하는 단계, 상기 머니퓰레이터 제어장치가 상기 선정된 파지점을 상기 머니퓰레이터가 파지하도록 제어하는 제어신호를 생성하는 단계 및 상기 머니퓰레이터 제어장치가 상기 제어신호를 상기 머니퓰레이터로 전송하는 단계를 포함한다.
본 발명의 혼재 환경에서의 머니퓰레이터 제어장치, 시스템 및 방법은 다종 다량의 물체가 혼재되어 있는 환경에서 학습된 정보와 영상정보를 이용하여 머니퓰레이터를 제어할 수 있다.
이를 통해 파지 대상물체의 파지점을 빠르면서도 정확하게 선정하고, 선정된 파지점을 파지함으로써, 파지 대상물체의 파지 성공률을 높이고, 파지 및 이송되는데 발생되는 소요시간을 단축시킬 수 있다.
도 1은 본 발명의 실시예에 따른 머니퓰레이터 제어시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 머니퓰레이터 제어장치를 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 제어부를 설명하기 위한 블록도이다.
도 4는 본 발명의 실시예에 따른 파지 후보점 생성을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 새로운 물체에 대한 파지 후보점 생성을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 파지점 선정 및 학습을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 파지모션 생성 및 학습을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 머니퓰레이터 제어방법을 설명하기 위한 순서도이다.
이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 머니퓰레이터 제어시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 머니퓰레이터 제어시스템(300)은 다종 다량의 물체가 혼재되어 있는 환경에서 머니퓰레이터(200)를 제어하여 파지 대상물체(350)를 빠르면서도 정확하게 파지하여 이송할 수 있도록 지원한다. 머니퓰레이터 제어시스템(300)은 머니퓰레이터 제어장치(100) 및 머니퓰레이터(200)를 포함한다.
머니퓰레이터(200)는 파지 대상물체(350)를 파지하고, 이송하는 로봇이다. 머니퓰레이터(200)는 암(210), 파지부(230) 및 카메라부(250)를 포함한다.
암(210)은 로봇팔을 의미하며, 복수의 관절을 포함하여 로봇팔이 다양한 방향으로 움직일 수 있도록 한다. 바람직하게는 암(210)은 360°회전 및 상하좌우 움직임을 가질 수 있다.
파지부(230)는 암(210)의 끝단에 설치되고, 파지 대상물체(350)를 파지하는 부분으로 그리퍼(gripper)를 의미한다. 파지부(230)는 집게 형태, 진공 형태 등 다양한 형태로 형성될 수 있다. 이때 파지부(230)가 집게 형태인 경우, 파지부(230)는 파지 대상물체(350)와의 접촉 부분에 마찰력이 있는 탄성부재를 구비하여 미끄럼 방지 및 완충 효과를 얻을 수 있다.
카메라부(250)는 파지부(230)와 인접한 위치에 설치되고, 파지 대상물체(350)를 기준으로 일정 범위를 촬영하여 영상정보를 수집한다. 즉 카메라부(250)는 파지 대상물체(350)와 복수의 주변 물체가 혼재된 환경을 촬영할 수 있다. 이때 카메라부(250)는 RGB 정보 및 깊이 정보가 포함된 영상정보를 수집할 수 있다. 이를 위해 카메라부(250)는 RGB 정보를 수집하는 RGB 카메라 및 깊이(depth) 정보를 수집하는 깊이 카메라를 포함할 수 있다.
여기서 머니퓰레이터(200)는 도면에 도시되지 않았지만 통신모듈(미도시)를 더 포함하여 머니퓰레이터 제어장치(100)와 통신을 수행할 수 있다.
머니퓰레이터 제어장치(100)는 머니퓰레이터(200)의 움직임과 관련된 제어를 수행한다. 머니퓰레이터 제어장치(100)는 머니퓰레이터(200)로부터 수집된 영상정보를 수신하고, 수신된 영상정보 및 다양한 학습과 관련된 학습정보를 이용하여 머니퓰레이터(200)가 파지 대상물체(350)를 빠르면서도 정확하게 파지할 수 있도록 제어한다. 머니퓰레이터 제어장치(100)는 머니퓰레이터(200)와 유무선 통신을 수행할 수 있다. 머니퓰레이터 제어장치(100)의 자세한 내용은 도 2 내지 도 7을 통해 설명한다.
도 2는 본 발명의 실시예에 따른 머니퓰레이터 제어장치를 설명하기 위한 블록도이다.
도 1 및 도 2를 참조하면, 머니퓰레이터 제어장치(100)는 통신부(10) 및 제어부(30)를 포함하고, 저장부(50)를 더 포함한다.
통신부(10)는 머니퓰레이터(100)와 통신을 수행한다. 이때 통신부(10)는 유선 통신 및 무선 통신 중 적어도 하나의 통신을 통해 머니퓰레이터(100)와 통신을 수행할 수 있다. 통신부(10)는 머니퓰레이터(200)로부터 파지 대상물체(350)와 복수의 주변 물체가 혼재된 환경에 대한 RGB 정보 및 깊이 정보가 포함된 영상정보를 수신한다. 통신부(10)는 머니퓰레이터(200)의 파지부(230) 종류를 더 수신할 수 있다. 또한 통신부(10)는 머니퓰레이터(100)를 제어하는 제어신호를 머니퓰레이터(100)로 전송한다.
제어부(30)는 통신부(10)로부터 수신된 영상정보 및 파지 대상물체(350)의 종류, 영역 및 포즈(angle)와 관련된 학습정보인 제1 학습정보를 이용하여 파지 대상물체(350)에 대한 복수의 파지 후보점을 생성한다. 제어부(30)는 복수의 파지 후보점을 파지 대상물체(350)의 포즈 선상에 배치되도록 생성할 수 있다. 여기서 제1 학습정보에 포함된 종류는 파지 대상물체(350)에 대한 종류를 의미하고, 연필, 펜, 가위, 폰, 지갑 등이 포함되며, 영역은 파지 대상물체(350)에 해당되는 위치를 의미하고, 박스 형태로 지정할 수 있으며, 포즈는 파지 대상물체(350)가 위치되는 방향을 의미하고, 선으로 표시된다.
제어부(30)는 생성된 복수의 파지 후보점 중 이전에 수행된 파지 과정과 관련된 학습정보인 제2 학습정보를 이용하여 파지 대상물체(350)에 대한 파지점을 선정한다. 여기서 제2 학습정보는 머니퓰레이터(200)가 파지 대상물체을 파지하고 이송한 결과를 학습한 정보로써, 어떤 위치의 파지점을 파지하였을 때 파지 및 이송이 성공 또는 실패되고, 파지 및 이송되면서 발생되는 소요시간에 대한 정보를 포함할 수 있다. 또한 제어부(30)는 수신된 파지부(230) 종류를 더 이용하여 파지점을 선정할 수 있다. 제어부(30)는 선정된 파지점을 머니퓰레이터(200)가 파지하도록 제어신호를 생성한다.
이때 제어부(30)는 선정된 파지점에 의한 파지 성공률을 예측한다. 제어부(30)는 제2 학습정보를 이용하여 파지 성공률을 예측할 수 있다. 제어부(30)는 예측된 파지 성공률이 기 설정된 기준인 60% 내지 90%보다 낮으면 이전에 수행된 파지모션 과정과 관련된 제3 학습정보를 이용하여 머니퓰레이터(200)의 움직임과 관련된 파지모션 시퀀스를 생성한다. 여기서 제3 학습정보는 머니퓰레이터(200)가 다양한 파지 대상물체에 대해 파지모션을 한 후, 파지하여 이송한 결과를 학습한 정보로써, 머니퓰레이터(200)의 암(210)과 파지부(230)를 어떤 방향으로 움직인 후, 선정된 파지점을 파지하였을 때 파지 및 이송이 성공 또는 실패되고, 파지 및 이송되면서 발생되는 소요시간에 대한 정보를 포함할 수 있다. 제어부(30)는 생성된 파지모션 시퀀스에 따라 머니퓰레이터(200)를 움직여 파지 대상물체(350)를 파지할 수 있는 공간을 확보한 후, 파지 대상물체(350)를 파지하도록 제어하는 제어신호를 생성한다.
한편 제어부(30)는 학습부(40)를 포함할 수 있다. 학습부(40)는 제1 학습정보, 제2 학습정보 및 제3 학습정보를 관리한다. 즉 학습부(40)는 머니퓰레이터(200)가 영상정보를 통해 파지 대상물체를 인지하는 학습, 머니퓰레이터(200)가 선정된 파지점에 따른 파지 및 이송으로 인해 발생된 결과에 대한 학습 및 머니퓰레이터(200)가 생성된 파지모션 시퀀스에 따른 파지 및 이송으로 인해 발생된 결과에 대한 학습을 관리한다. 학습부(40)는 딥러닝(deep learning) CNN(convolutional neural network)을 기반으로 학습을 수행할 수 있으며, 제어부(30) 내부모듈 또는 별도의 모듈로 존재할 수 있다.
저장부(50)는 제어부(30)가 운영하기 위한 프로그램 또는 어플리케이션이 저장된다. 저장부(50)는 통신부(10)로부터 수신된 영상정보가 저장되고, 제어부(30)로부터 학습된 제1 학습정보 내지 제3 학습정보가 저장된다. 또한 저장부(50)는 복수의 파지 후보점 및 파지점이 저장될 수 있다. 저장부(50)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.
도 3은 본 발명의 실시예에 따른 제어부를 설명하기 위한 블록도이고, 도 4는 본 발명의 실시예에 따른 파지 후보점 생성을 설명하기 위한 도면이며, 도 5는 본 발명의 실시예에 따른 새로운 물체에 대한 파지 후보점 생성을 설명하기 위한 도면이고, 도 6은 본 발명의 실시예에 따른 파지점 선정 및 학습을 설명하기 위한 도면이며, 도 7은 본 발명의 실시예에 따른 파지모션 생성 및 학습을 설명하기 위한 도면이다.
도 1 내지 도 7을 참조하면, 제어부(30)는 파지 후보점 생성부(31), 파지점 선정부(33) 및 파지모션 생성부(35)를 포함한다.
파지 후보점 생성부(31)는 딥러닝 CNN을 기반으로 대량의 RGB 정보 및 깊이 정보를 입력값으로 파지 대상물체(350)의 종류(41), 영역(43) 및 포즈(45)를 학습한 제1 학습정보를 이용하여 파지 대상물체(35)에 대한 복수의 파지 후보점을 생성한다. 도 4(a) 내지 도 4(d)에 도시된 바와 같이 종류(41)는 파지 대상물체(350)가 어떤 종류의 물체인지를 인지하는 동시에 해당 물체의 인지율을 소수점(1과 가까울수록 인지된 물체와 동일함)으로 나타내고, 영역(43)는 파지 대상물체(350)가 크기에 대한 범위를 박스로 나타내며, 포즈(45)는 파지 대상물체(350)가 위치된 방향을 선으로 나타낸다. 이때 파지 후보점 생성부(31)는 포즈(45) 선상에 복수의 파지 후보점을 생성한다. 즉 포즈(45)는 머니퓰레이터(200)가 파지를 진행하는데 쉽게 진행할 수 있는 후보점들이 연결된 선일 수 있다.
한편 파지 후보점 생성부(31)는 제1 학습정보를 이용하여 파지 대상물체(350)에 대한 파지 후보점을 생성하는 과정에서 파지 대상물체(350)의 종류가 미인식되면 새로운 물체 또는 처음 인식하는 물체로 판단한다. 파지 후보점 생성부(31)는 새로운 물체 또는 처음 인식되는 물체를 인지하기 위해, 제1 학습정보 중 종류를 제외하고, 영역 및 포즈만을 이용하여 복수의 파지 후보점을 생성한다(도 5).
파지점 선정부(33)는 파지 후보점 생성부(31)로부터 생성된 복수의 파지 후보점 중 이전에 수행된 파지 과정과 관련된 학습정보인 제2 학습정보를 이용하여 파지 대상물체(350)에 대한 파지점을 선정한다. 파지점 선정부(33)는 머니퓰레이터(200)의 파지부(230) 종류를 더 이용하여 파지점을 선정할 수 있다. 예를 들어 파지부(230)가 집게 형태 또는 진공 형태인 경우, 파지점 선정부(33)는 각각의 형태에서의 최적의 파지점을 선정할 수 있다. 파지점 선정부(33)는 파지점이 선정되면 선정되 파지점을 머니퓰레이터(200)의 파지부(230)가 파지하여 파지 대상물체(350)를 이송시킨다. 이때 파지점 선정부(33)는 머니퓰레이터(200)가 파지점을 파지하여 파지 대상물체(350)를 이송한 결과를 학습하고, 학습된 결과를 제2 학습정보에 업데이트한다. 즉 파지점 선정부(33)는 최신 학습된 결과를 제2 학습정보에 업데이트함으로써, 점진적으로 파지 성공률을 높이면서 파지 및 이송의 소요시간을 줄일 수 있는 최적의 파지점을 선정할 수 있다.
파지모션 생성부(35)는 선정된 파지점에 의한 파지 성공률을 예측한다. 파지모션 생성부(35)는 파지 성공률이 60% 내지 90%보다 낮으면 이전에 수행된 파지모션 과정과 관련된 제3 학습정보를 이용하여 머니퓰레이터(200)의 움직임과 관련된 파지모션 시퀀스를 생성한다. 예를 들어 파지모션 생성부(35)는 파지 대상물체(350)가 벽면에 붙어있는 경우, 주변 물체가 겹쳐있는 경우 등이 발생되면 파지모션 시퀀스를 생성할 수 있다.
여기서 파지모션 시퀀스는 머니퓰레이터(200)의 파지부(230)를 움직여 파지 대상물체(350)를 파지할 수 있는 공간을 확보하기 위한 제어신호이다. 즉 파지모션 시퀀스는 머니퓰레이터(200)의 파지부(230)가 파지 대상물체(350)의 주변 물체를 치우기 또는 밀치기, 수직 이동하기, 수평 이동하기, 법선 방향으로 진입하기 및 그립하기 중 적어도 하나의 움직임을 포함할 수 있다.
예를 들어 파지모션 생성부(35)는 파지모션 시퀀스를 수직 이동하기, 그립하기 순서로 생성하거나, 수직 이동하기, 치우기, 그립하기 순서로 생성할 수 있다. 이에 한정하지 않고 파지모션 생성부(35)는 현재 상황에 맞는 머니퓰레이터(200)의 파지부(230) 움직임을 판단하여 다양한 파지모션 시퀀스를 생성할 수 있다.
파지모션 생성부(35)는 파지모션 시퀀스에 따라 머니퓰레이터(200)가 움직이도록 제어하여 파지를 위한 공간 확보를 수행한다. 파지모션 생성부(35)는 파지 대상물체(350)를 파지하여 이송한 결과를 학습하고, 학습된 결과를 제3 학습정보에 업데이트를 한다. 즉 파지모션 생성부(35)는 최신 학습된 결과를 제3 학습정보에 업데이트함으로써, 점진적으로 파지 성공률을 높이면서 파지 및 이송의 소요시간을 줄일 수 있는 최적의 파지모션 시퀀스를 생성할 수 있다.
도 8은 본 발명의 실시예에 따른 머니퓰레이터 제어방법을 설명하기 위한 순서도이다.
도 1 및 도 8을 참조하면, 머니퓰레이터 제어방법은 다종 다량의 물체가 혼재되어 있는 환경에서 학습된 정보와 영상정보를 이용하여 머니퓰레이터(200)를 제어할 수 있다. 이를 통해 머니퓰레이터 제어방법은 파지 대상물체(350)의 파지점을 빠르면서도 정확하게 선정하고, 선정된 파지점을 파지함으로써, 파지 대상물체(350)의 파지 성공률을 높이고, 파지 및 이송되는데 발생되는 소요시간을 단축시킬 수 있다.
S110단계에서, 머니퓰레이터 제어장치(100)는 머니퓰레이터(200)로부터 영상정보를 수신한다. 여기서 영상정보는 파지 대상물체(350)를 기준으로 일정 범위를 촬영한 정보로써, 파지 대상물체(350)뿐만 아니라 주변 물체도 촬영한 정보이다. 영상정보는 RGB 정보 및 깊이 정보를 포함한다.
S120단계에서, 머니퓰레이터 제어장치(100)는 파지 대상물체(350)에 대한 파지 후보점을 생성한다. 머니퓰레이터 제어장치(100)는 영상 정보 및 파지 대상물체(350)의 종류, 영역 및 포즈와 관련된 학습정보인 제1 학습정보를 이용하여 파지 대상물체(350)에 대한 복수의 파지 후보점을 생성한다. 머니퓰레이터 제어장치(100)는 복수의 파지 후보점을 파지 대상물체(350)의 포즈 선상에 배치되도록 생성할 수 있다.
S130단계에서, 머니퓰레이터 제어장치(100)는 파지점을 선정한다. 머니퓰레이터 제어장치(100)는 복수의 파지 후보점 중 이전에 수행된 파지 과정과 관련된 학습정보인 제2 학습정보를 이용하여 파지 대상물체(350)에 대한 파지점을 선정한다. 머니퓰레이터 제어장치(100)는 머니퓰레이터(200)의 파지부(230) 종류를 더 이용하여 파지점을 선정할 수 있다. 머니퓰레이터 제어장치(100)는 선정된 파지점을 파지하여 파지 대상물체(350)를 이송한 결과를 학습하고, 학습된 결과를 제2 학습정보에 업데이트한다.
S140단계에서, 머니퓰레이터 제어장치(100)는 파지모션 시퀀스가 필요한지 판단한다. 머니퓰레이터 제어장치(100)는 선정된 파지점에 의한 파지 성공률을 예측한다. 머니퓰레이터 제어장치(100)는 파지 성공률이 60% 내지 90%보다 낮으면 파지모션 시퀀스가 필요하다고 판단하여 S150단계를 수행하고, 성공률이 90%보다 높으면 파지모션 시퀀스가 필요없다고 판단하여 S160단계를 수행한다.
S150단계에서, 머니퓰레이터 제어장치(100)는 파지모션 시퀀스를 생성한다. 머니퓰레이터 제어장치(100)는 이전에 수행된 파지모션 과정과 관련된 제3 학습정보를 이용하여 머니퓰레이터(200)의 움직임과 관련된 파지모션 시퀀스를 생성한다. 머니퓰레이터 제어장치(100)는 파지모션 시퀀스에 따라 머니퓰레이터(200)를 움직이도록 제어하여 파지를 위한 공간 확보를 수행한다. 머니퓰레이터 제어장치(100)는 파지 대상물체(350)를 파지하여 이송한 결과를 학습하고, 학습된 결과를 제3 학습정보에 업데이트를 한다.
S160단계에서, 머니퓰레이터 제어장치(100)는 파지 대상물체(350)를 파지하고 이송한다. 머니퓰레이터 제어장치(100)는 파지점을 머니퓰레이터(200)의 파지부(230)가 파지하도록 제어한 후, 목표지로 파지 대상물체(350)를 이송시킨다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
10: 통신부
30: 제어부
31: 파지 후보점 생성부
33: 파지점 선정부
35: 파지모션 생성부
40: 학습부
41: 종류
43: 영역
45: 포즈
50: 저장부
100: 머니퓰레이터 제어장치
200: 머니퓰레이터
210: 암
230: 파지부
250: 카메라부
300: 머니퓰레이터 제어시스템
350: 파지 대상물체

Claims (11)

  1. 머니퓰레이터로부터 파지 대상물체와 복수의 주변 물체가 혼재된 환경에 대한 RGB 정보 및 깊이(depth) 정보가 포함된 영상정보를 수신하고, 상기 머니퓰레이터를 제어하는 제어신호를 상기 머니퓰레이터로 전송하는 통신부; 및
    상기 영상정보 및 상기 파지 대상물체의 종류, 영역 및 포즈(angle)와 관련된 학습정보인 제1 학습정보를 이용하여 상기 파지 대상물체에 대한 복수의 파지 후보점을 생성하고, 상기 생성된 복수의 파지 후보점 중 이전에 수행된 파지 과정과 관련된 학습정보인 제2 학습정보를 이용하여 상기 파지 대상물체에 대한 파지점을 선정하며, 상기 선정된 파지점을 상기 머니퓰레이터가 파지하도록 제어하는 제어신호를 생성하는 제어부;를 포함하되,
    상기 제어부는,
    상기 파지 대상물체의 종류가 미인식되면 상기 제1 학습정보 중 종류를 제외하고, 영역 및 포즈만을 이용하여 상기 복수의 파지 후보점을 생성하는 것을 특징으로 하는 혼재 환경에서의 머니퓰레이터 제어장치.
  2. 제 1항에 있어서,
    상기 제어부는,
    상기 선정된 파지점에 의한 파지 성공률을 예측하고, 상기 예측된 파지 성공률이 기 설정된 기준보다 낮으면 이전에 수행된 파지모션 과정과 관련된 제3 학습정보를 이용하여 상기 머니퓰레이터의 움직임과 관련된 파지모션 시퀀스를 생성하며, 상기 파지모션 시퀀스에 따라 상기 머니퓰레이터를 움직여 상기 파지 대상물체를 파지할 수 있는 공간을 확보한 후, 상기 파지 대상물체를 파지하도록 제어하는 제어신호를 생성하는 것을 특징으로 하는 혼재 환경에서의 머니퓰레이터 제어장치.
  3. 제 2항에 있어서,
    상기 파지모션 시퀀스는,
    상기 머니퓰레이터의 파지부가 상기 주변 물체를 치우기 또는 밀치기, 수직 이동하기, 수평 이동하기, 법선 방향으로 진입하기 및 그립하기 중 적어도 하나의 움직임을 포함하는 것을 특징으로 하는 혼재 환경에서의 머니퓰레이터 제어장치.
  4. 제 2항에 있어서,
    상기 제어부는,
    상기 파지모션 시퀀스에 따라 상기 머니퓰레이터가 움직이고, 상기 파지 대상물체를 파지하여 이송한 결과를 학습하며, 상기 학습된 결과를 상기 제3 학습정보에 업데이트하는 것을 특징으로 하는 혼재 환경에서의 머니퓰레이터 제어장치.
  5. 제 1항 또는 제2항에 있어서,
    상기 제어부는,
    상기 머니퓰레이터의 파지 성공률을 최우선 순위로 설정하고, 파지 및 이송의 소요시간을 다음 순위로 설정하여 상기 제어신호를 생성하는 것을 특징으로 하는 혼재 환경에서의 머니퓰레이터 제어장치.
  6. 제 1항에 있어서,
    상기 제어부는,
    상기 복수의 파지 후보점을 상기 파지 대상물체의 포즈 선상에 배치되도록 생성하는 것을 특징으로 하는 혼재 환경에서의 머니퓰레이터 제어장치.
  7. 제 1항에 있어서,
    상기 제어부는,
    상기 파지점을 파지하여 상기 파지 대상물체를 이송한 결과를 학습하고, 상기 학습된 결과를 상기 제2 학습정보에 업데이트하는 것을 특징으로 하는 혼재 환경에서의 머니퓰레이터 제어장치.
  8. 삭제
  9. 제 1항에 있어서,
    상기 통신부는,
    상기 머니퓰레이터의 파지부 종류를 더 수신하고,
    상기 제어부는,
    상기 수신된 파지부 종류를 더 이용하여 상기 파지점을 선정하는 것을 특징으로 하는 혼재 환경에서의 머니퓰레이터 제어장치.
  10. 파지 대상물체와 복수의 주변 물체가 혼재된 환경에 대한 RGB 정보 및 깊이 정보가 포함된 영상정보를 수집하고, 상기 파지 대상물체를 파지하여 이송시키는 머니퓰레이터; 및
    상기 머니퓰레이터로를 영상정보를 수신하고, 수신된 영상정보를 이용하여 상기 머니퓰레이터의 움직임과 관련된 제어를 수행하는 머니퓰레이터 제어장치;를 포함하되,
    상기 머니퓰레이터 제어장치는,
    상기 머니퓰레이터로부터 상기 영상정보를 수신하고, 상기 머니퓰레이터를 제어하는 제어신호를 상기 머니퓰레이터로 전송하는 통신부; 및
    상기 영상정보 및 상기 파지 대상물체의 종류, 영역 및 포즈와 관련된 학습정보인 제1 학습정보를 이용하여 상기 파지 대상물체에 대한 복수의 파지 후보점을 생성하고, 상기 생성된 복수의 파지 후보점 중 이전에 수행된 파지 과정과 관련된 학습정보인 제2 학습정보를 이용하여 상기 파지 대상물체에 대한 파지점을 선정하며, 상기 선정된 파지점을 상기 머니퓰레이터가 파지하도록 제어하는 제어신호를 생성하는 제어부;를 포함하고,
    상기 제어부는,
    상기 파지 대상물체의 종류가 미인식되면 상기 제1 학습정보 중 종류를 제외하고, 영역 및 포즈만을 이용하여 상기 복수의 파지 후보점을 생성하는 것을 특징으로 하는 혼재 환경에서의 머니퓰레이터 제어시스템.
  11. 머니퓰레이터 제어장치가 머니퓰레이터로부터 파지 대상물체와 복수의 주변 물체가 혼재된 환경에 대한 RGB 정보 및 깊이 정보가 포함된 영상정보를 수신하는 단계;
    상기 머니퓰레이터 제어장치가 상기 영상정보 및 상기 파지 대상물체의 종류, 영역 및 포즈와 관련된 학습정보인 제1 학습정보를 이용하여 상기 파지 대상물체에 대한 복수의 파지 후보점을 생성하는 단계;
    상기 머니퓰레이터 제어장치가 상기 생성된 복수의 파지 후보점 중 이전에 수행된 파지 과정과 관련된 학습정보인 제2 학습정보를 이용하여 상기 파지 대상물체에 대한 파지점을 선정하는 단계;
    상기 머니퓰레이터 제어장치가 상기 선정된 파지점을 상기 머니퓰레이터가 파지하도록 제어하는 제어신호를 생성하는 단계; 및
    상기 머니퓰레이터 제어장치가 상기 제어신호를 상기 머니퓰레이터로 전송하는 단계;를 포함하되,
    상기 복수의 파지 후보점을 생성하는 단계는,
    상기 파지 대상물체의 종류가 미인식되면 상기 제1 학습정보 중 종류를 제외하고, 영역 및 포즈만을 이용하여 상기 복수의 파지 후보점을 생성하는 것을 특징으로 하는 혼재 환경에서의 머니퓰레이터 제어방법.
KR1020180166367A 2018-12-20 2018-12-20 혼재 환경에서의 머니퓰레이터 제어장치, 시스템 및 방법 KR102156231B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180166367A KR102156231B1 (ko) 2018-12-20 2018-12-20 혼재 환경에서의 머니퓰레이터 제어장치, 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180166367A KR102156231B1 (ko) 2018-12-20 2018-12-20 혼재 환경에서의 머니퓰레이터 제어장치, 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200077145A KR20200077145A (ko) 2020-06-30
KR102156231B1 true KR102156231B1 (ko) 2020-09-15

Family

ID=71121165

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180166367A KR102156231B1 (ko) 2018-12-20 2018-12-20 혼재 환경에서의 머니퓰레이터 제어장치, 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102156231B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016132086A (ja) * 2015-01-22 2016-07-25 三菱電機株式会社 ワーク供給装置およびワーク把持姿勢計算方法
JP2018161692A (ja) * 2017-03-24 2018-10-18 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101973709B1 (ko) 2016-11-11 2019-04-30 고려대학교 산학협력단 로봇 머니퓰레이터 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016132086A (ja) * 2015-01-22 2016-07-25 三菱電機株式会社 ワーク供給装置およびワーク把持姿勢計算方法
JP2018161692A (ja) * 2017-03-24 2018-10-18 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
KR20200077145A (ko) 2020-06-30

Similar Documents

Publication Publication Date Title
CN109483573B (zh) 机器学习装置、机器人系统以及机器学习方法
US20210162590A1 (en) Deep machine learning methods and apparatus for robotic grasping
US11325252B2 (en) Action prediction networks for robotic grasping
US20200215686A1 (en) Deep machine learning methods and apparatus for robotic grasping
EP3621773B1 (en) Viewpoint invariant visual servoing of robot end effector using recurrent neural network
CN110640730B (zh) 生成用于机器人场景的三维模型的方法和系统
US11717959B2 (en) Machine learning methods and apparatus for semantic robotic grasping
KR20190014586A (ko) 로봇 시스템이 작업을 수행하기 위한 명령어를 생성하기 위한 방법 및 시스템
JP2019181622A (ja) ハンド制御装置およびハンド制御システム
CN111319039B (zh) 机器人
WO2019047415A1 (zh) 轨迹跟踪方法和装置、存储介质、处理器
JP2008023630A (ja) アームを誘導可能な移動体およびアームを誘導する方法
JP2018153874A (ja) 提示装置、提示方法およびプログラム、ならびに作業システム
KR102156231B1 (ko) 혼재 환경에서의 머니퓰레이터 제어장치, 시스템 및 방법
JP6067547B2 (ja) 物体認識装置、ロボット及び物体認識方法
JP7452657B2 (ja) 制御装置、制御方法及びプログラム
JP2007331075A (ja) 移動作業ロボットの物体把持システムおよび物体把持方法
JP2015157343A (ja) ロボット、ロボットシステム、制御装置、および制御方法
US11597079B2 (en) Robot apparatus, robot system, robot control method, and storage medium
Park et al. Learning to reach into the unknown: Selecting initial conditions when reaching in clutter
JP2021181139A (ja) 新規物体操作ロボットの制御プログラムおよび制御方法、ならびに、新規物体操作システム
KR102067878B1 (ko) 재파지를 이용하여 테스크를 수행하는 로봇 핸드 및 그 제어방법
KR20220065232A (ko) 강화학습 기반으로 로봇을 제어하는 장치 및 방법
Yoon et al. Real-time Video Prediction Using GANs With Guidance Information for Time-delayed Robot Teleoperation
CN111273572A (zh) 一种动作分子模板的创建方法及装置、设备和存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant