KR102317041B1 - 물체 파지 장치 및 방법 - Google Patents

물체 파지 장치 및 방법 Download PDF

Info

Publication number
KR102317041B1
KR102317041B1 KR1020190158701A KR20190158701A KR102317041B1 KR 102317041 B1 KR102317041 B1 KR 102317041B1 KR 1020190158701 A KR1020190158701 A KR 1020190158701A KR 20190158701 A KR20190158701 A KR 20190158701A KR 102317041 B1 KR102317041 B1 KR 102317041B1
Authority
KR
South Korea
Prior art keywords
gripping
image
calculating
processor
point
Prior art date
Application number
KR1020190158701A
Other languages
English (en)
Other versions
KR20210069745A (ko
Inventor
신동인
전세웅
부이민트렁
김영욱
김동엽
김태근
정병진
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020190158701A priority Critical patent/KR102317041B1/ko
Publication of KR20210069745A publication Critical patent/KR20210069745A/ko
Application granted granted Critical
Publication of KR102317041B1 publication Critical patent/KR102317041B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 물체 파지를 위해 사용되는 파지 수단의 이동 가능 폭 또는 파지를 위해 사용되는 팁의 폭을 기반으로, 영상 분석을 통해 산출된 객체의 다양한 각도에서의 파지 확률을 산출한 후, 산출된 파지 확률을 합산하여 특정 파지점을 산출하도록 설정된 것을 특징으로 하는 물체 파지 장치 및 방법을 개시한다.

Description

물체 파지 장치 및 방법{Gripping System of object and method thereof}
본 발명은 물체 파지에 관한 것으로, 더욱 상세하게는 그리퍼 또는 석션 툴을 이용한 자동 물체 파지에 관한 것이다.
그리퍼 또는 석션 등은 물체를 파지하는데 이용될 수 있는 로봇 장치이다. 상술한 로봇 장치는 산업계 등에서 특정 물건을 파지하고, 지정된 장소까지 이동시킬 수 있도록 구성함으로써, 물체의 분류와 적재 등 다양한 목적으로 이용되고 있다.
한편, 종래 로봇 장치의 경우, 지정된 종류의 물체를 파지하도록 최적화하는 것이 일반적이기 때문에, 다양한 물체들이 모여 있는 환경에서, 각각의 물체들을 파지하여 분류하기 위한 방안이 없는 상태이다. 특히, 그리퍼 형태의 파지점 인식의 경우, 홀이나 오목한 형태를 가지는 일반 물체의 파지점을 인식하지 못하는 경우 자주 발생하는 문제가 있었다.
대한민국 등록특허공보 제10-1197125호 (12. 11. 07. 공고)
본 발명은 다양한 형태의 물체들이 모여 있는 환경에서도 각 물체의 파지 최적점을 검출하고, 검출된 최적점을 통해 해당 물체를 파지할 수 있도록 하는 물체 파지 장치 및 방법을 제공함에 있다.
또한, 본 발명은 물체 파지의 최적점을 검출함으로써 보다 견고하고 안전하게 물체 파지를 수행할 수 있도록 하는 물체 파지 장치 및 방법을 제공함에 있다.
본 발명의 실시 예에 따른 물체 파지 장치는 기판 상에 놓인 물체에 대한 영상을 획득하고, 획득된 영상에 대한 영상 분석을 통하여, 물체의 파지점을 산출하는 제어 장치를 포함하고, 상기 제어 장치는 상기 물체 파지를 위해 사용되는 파지 수단의 이동 가능 폭 또는 파지를 위해 사용되는 팁의 폭을 기반으로, 상기 영상 분석을 통해 산출된 객체의 다양한 각도에서의 파지 확률을 산출한 후, 산출된 파지 확률을 합산하여 특정 파지점을 산출하도록 설정된 것을 특징으로 한다.
여기서, 상기 제어 장치는 상기 기판 상에 놓인 물체에 대한 영상을 획득하는 카메라, 상기 카메라가 획득한 영상을 분석하기 위한 프로세서, 상기 분석된 영상의 적어도 일부를 임시 또는 반영구적으로 저장하는 메모리를 포함할 수 있다.
특히, 상기 프로세서는 상기 획득된 영상에 대한 바이너리 이미지를 다양한 각도로 회전시킨 회전 이미지들을 산출하고, 상기 회전 이미지들 각각에서 객체의 경계선들을 산출하고, 상기 경계선들에 대한 수직 에지 위치들을 산출하고, 상기 수직 에지 위치들에 대한 파지 확률들을 산출하고, 상기 파지 확률들을 합산하여 상기 특정 파지점을 산출하도록 설정될 수 있다.
또한, 상기 물체 파지 장치는 상기 산출된 특정 파지점을 이용하여 상기 물체 파지를 수행하는 로봇 장치를 더 포함할 수 있다.
이 경우, 상기 프로세서는 상기 로봇 장치를 이용한 특정 물체의 파지를 제어하고, 파지 실패 시, 상기 이미지 획득 및 영상 분석을 재수행하여 새로운 파지점을 산출하도록 설정될 수 있다.
한편, 상기 프로세서는 상기 카메라를 이용하여 상기 기판에 대한 RGB 이미지 및 Depth 이미지를 획득하고, 상기 RGB 이미지 및 상기 Depth 이미지를 기반으로 마스킹된 바이너리 이미지를 획득하도록 설정될 수 있다.
본 발명의 실시 예에 따른 물체 파지 방법은 적어도 하나의 물체가 놓이는 기판에 대한 영상을 획득하는 단계, 상기 획득된 영상에 대한 바이너리 이미지를 다양한 각도로 회전시킨 회전 이미지들을 산출하는 단계, 상기 회전 이미지들 각각에서 객체의 경계선들을 산출하는 단계, 상기 경계선들에 대한 수직 에지 위치들을 산출하는 단계, 상기 수직 에지 위치들에 대한 파지 확률들을 산출하는 단계, 상기 파지 확률들을 합산하여 상기 특정 파지점을 산출하는 단계를 포함하는 것을 특징으로 한다.
특히, 상기 파지 확률들을 산출하는 단계는 상기 물체 파지를 위해 사용되는 파지 수단의 이동 가능 폭 또는 파지를 위해 사용되는 팁의 폭을 기반으로, 상기 파지 확률들을 산출하는 단계를 포함할 수 있다.
본 발명에 따른 물체 파지 장치 및 방법에 따르면, 본 발명은 물체 파지에 있어서 보다 안정적인 방식으로 물체 파지를 수행할 수 있다.
또한, 본 발명은 다양한 종류와 모양을 가진 물체들에 대해서도 자동으로 물체 파지와 분류를 수행할 수 있다.
도 1은 본 발명의 실시 예에 따른 물체 파지 장치의 한 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 물체 파지 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따른 제어 장치 구성의 한 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 제어 장치의 프로세서 구성의 한 예를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 그립 위치 산출과 관련한 도면이다.
도 6은 본 발명의 실시 예에 따른 그립 위치 지정과 관련한 도면이다.
도 7은 본 발명의 실시 예에 따른 물체 파지 방법의 한 예를 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 물체 파지와 관련한 파지점 인식을 나타낸 도면이다.
하기의 설명에서는 본 발명의 실시 예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않는 범위에서 생략될 것이라는 것을 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 바람직한 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 보다 상세하게 설명하고자 한다.
도 1은 본 발명의 실시 예에 따른 물체 파지 장치의 한 예를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 물체 파지 시스템(10)은 로봇 장치(200) 및 제어 장치(100)를 포함할 수 있다. 또는, 물체 파지 시스템(10)은 다수의 물체들(400)이 놓이는 기판(300)을 더 포함할 수 있다.
기판(300)은 물체들(400)이 놓일 수 있는 일정 면적을 가지는 패널을 포함할 수 있다. 기판(300)은 평평한 면을 가지도록 구성될 수 있다. 기판(300)의 테두리는 타원이나 다각형일 수 있으며, 도시된 도면에서는 사각형의 테두리를 가지는 형태를 예시한 것이다. 기판(300) 상에는 적어도 하나의 물체들(400)이 1겹으로 또는 중첩되어 놓일 수 있다. 기판(300)의 크기는 제한되지 않지만, 필요에 따라, 제어 장치(100)가 운용하는 카메라의 일정 촬영 범위 내에 들어올 수 있는 크기로 구성될 수 있다. 기판(300)은 기본적으로 고정된 형태로 제공될 수 있으며, 필요에 따라 이동되거나 또는 상하 좌우 또는 대각선 방향으로 기울어지거나 회전할 수 있으며, 이와 관련한 구동 모듈이 더 포함될 수 있다. 기판(300)은 가장자리 측벽 또는 가이드 펜스(310)가 배치된 형태를 예시하였으나, 본 발명이 이에 한정되는 것은 아니다. 예컨대, 기판(300)은 측벽 또는 가이드 펜스 없는 구조로 제공될 수도 있다.
물체들(400)은 기판(300) 상에 놓이면, 로봇 장치(200)에 의해 파지되어 분류될 수 있다. 이러한 물체들(400)은 본 발명의 물체 파지 시스템(10)을 운용하는 운영자의 의도에 따라 다양한 종류가 될 수 있다. 예컨대, 물체들(400)은, 두루마리 휴지, 주걱, 포크, 컵 등 다양한 종류가 될 수 있다. 물체들(400)과 관련한 이미지는 이하 도 2에서 설명하기로 한다.
로봇 장치(200)는 기판(300) 상에 놓이는 물체들(400) 중 적어도 하나를 제어 장치(100) 제어에 따라 파지하고, 제어 장치(100)의 제어에 따라 지정된 장소로 이동시킨 후, 분류할 수 있다. 이러한 로봇 장치(200)는 구동부(210), 적어도 하나의 가동 축(240), 관절(250) 및 그리퍼(220)를 포함할 수 있다. 추가적으로, 로봇 장치(200)는 영상 획득 장치(230)를 더 포함할 수 있다.
구동부(210)는 제어 장치(100)와 전기적으로 연결된다. 구동부(210)는 제어 장치(100)가 전송하는 제어 신호에 따라 힘을 발생시키고, 발생된 힘을 이용하여 가동 축(240) 및 관절(250) 중 적어도 하나를 조작하여 그리퍼(220)의 위치를 변경할 수 있다. 또한, 구동부(210)는 그리퍼(220)를 조작할 수 있는 힘을 발생시켜, 그리퍼(220)의 파지 동작을 제어할 수 있다.
적어도 하나의 가동 축(240)은 구동부(210)에 기능적으로 연결되고, 구동부(210)가 제공하는 힘에 따라, 길이가 변경될 수 있다. 관절(250)은 구동부(210)가 제공하는 힘에 따라 가동 축(240)을 회전시킬 수 있다. 이러한 관절(250)은 가동축들 간에 배치되어, 가동축들의 회전을 지원할 수 있다.
그리퍼(220)는 가동 축(240)의 끝단에 배치되고, 구동부(210)에서 전달된 힘에 의해 파지 동작을 수행할 수 있다. 도시된 도면에서는 2개의 손가락을 가지는 2지 그리퍼(220)를 도시하였으나, 본 발명이 이에 한정되는 것은 아니다. 예컨대, 그리퍼(220)는 3개 이상의 손가락을 가질 수도 있다.
영상 획득 장치(230)는 로봇 장치(200) 일측에 배치된 형태를 예시하였으나, 본 발명이 이에 한정되는 것은 아니다. 영상 획득 장치(230)는 로봇 장치(200)로부터 벗어나 기판(300)을 촬영할 수 있는 위치라면 어디라도 배치될 수 있다. 다만, 영상 획득 장치(230)는 그리퍼(220)에 인접되게 배치되어, 물체들(400)을 파지하는 동안 영상을 정확하게 획득할 수 있도록 배치될 수 있다. 영상 획득 장치(230)는 후술하게 될 카메라(130)를 포함할 수 있다.
제어 장치(100)는 영상 획득 장치(230)로부터 기판(300) 상에 물체들(400)에 대한 영상을 획득한다. 제어 장치(100)는 획득된 영상을 분석한 후, 각 물체들(400)에 대한 파지점을 검출한다. 제어 장치(100)는 파지점을 기준으로 로봇 장치(200)를 이용하여 파지할 수 있도록 제어한다.
제어 장치(100)는 물체들(400)의 형상이 볼록, 오목 또는 물체들(400)에 홀이 있는 경우에도 물체의 파지점을 인식할 수 있다. 제어 장치(100)는 물체들(400)에 대한 파지를 위하여, 로봇 장치(200)의 그리퍼(220)의 움직일 수 있는 폭, 그리퍼(220) 팁의 폭 등을 파라미터로 설정하여 파지점과 그리퍼의 파지 방향을 인식할 수 있다.
도 2는 본 발명의 실시 예에 따른 물체 파지 동작을 설명하기 위한 도면이다.
도 2를 참조하면, 본 발명의 실시 예에 따른 물체 파지 동작은 201 상태에서와 같이, 기판(300)을 향하는 영상 획득 장치(230)는 기판(300) 상의 물체들(400)을 포함하는 RGB 이미지 또는 Depth 이미지를 획득할 수 있다.
203 상태에서, 물체 파지 시스템(10)은 획득된 이미지에 대한 마스킹을 수행할 수 있다. 마스킹 과정에서, 물체 파지 시스템(10)은 RCNN(Regions-Convolutional Neural Network) 방식을 이용하여 물체들(400)에 대한 객체 검출을 수행할 수 있다. RCNN은 이미지안에 어떤 물체들이 어디에 있는지 찾는 알고리즘이다. 예를 들어, 물체 파지 시스템(10)은 RCNN을 기반으로 하는 Mask-RCNN 어플리케이션을 이용하여 물체들(400)에 대응하는 객체들의 분류 및 객체 검출을 수행할 수 있다.
추가적으로, 물체 파지 시스템(10)은 Fast R-CNN, Faster R-CNN 등의 방식을 통한 딥 러닝 또는 머신 러닝 기반의 객체 검출을 수행할 수도 있다. 물체 파지 시스템(10)은 마스킹 동작을 수행하여 물체들(400)에 대해 마스킹된 객체 검출(Detected masks)을 수행할 수 있다.
205 상태에서, 물체 파지 시스템(10)은 마스킹된 객체들을 기반으로 파지 위치 검출(Detected grip-poses)을 수행할 수 있다. 이 과정에서 물체 파지 시스템(10)은 파지 위치 검출기(Grip-pose detector)를 운용할 수 있다. 파지 위치 검출이 완료되면, 물체 파지 시스템(10)은 로봇 장치(200)를 이용하여 물체 파지, 이동, 분류 등의 작업을 수행할 수 있다.
도 3은 본 발명의 실시 예에 따른 제어 장치 구성의 한 예를 나타낸 도면이다.
도 3을 참조하면, 본 발명의 실시 예에 따른 제어 장치(100)는 통신 인터페이스(110)(또는 통신 회로), 입력부(120), 메모리(140), 디스플레이(150) 및 프로세서(160)를 포함할 수 있다. 추가적으로 또는 대체적으로 제어 장치(100)는 카메라(130)(또는 영상 획득 장치(230))를 더 포함할 수도 있다. 또는, 카메라(130)는 제어 장치(100)와 별도의 구성으로 배치되되, 기판(300) 상에 놓이는 물체들(400)을 촬영할 수 있는 각도와 거리에 배치되고, 촬영된 영상을 유선 또는 무선 방식으로 제어 장치(100)에 제공할 수도 있다.
이 경우, 카메라(130)는 물체 파지 시스템(10)의 구성에 포함되되, 제어 장치(100)와는 독립적으로 구성된 후 제어 장치(100)에 촬영 영상을 전송할 수 있도록 배치될 수 있다.
통신 인터페이스(110)는 주변 장치와 통신 채널을 형성하고, 제어 신호를 전송할 수 있는 통신 회로를 포함할 수 있다. 통신 인터페이스(110)는 예컨대, 로봇 장치(200)와의 무선 또는 유선 통신 연결을 위한 통신 회로, 외부에 카메라(130)가 배치된 경우 해당 카메라(130)와의 유선 또는 무선 연결을 지원하는 통신 회로를 포함할 수 있다. 또한, 통신 인터페이스(110)는 물체 파지 과정에서 발생하는 이벤트(예: 물체 파지 실패 또는 물체 파지 후 이동 중 파지풀림 등)를 지정된 장치(예: 물체 파지 시스템(10)의 운용자 장치)에 전송할 수도 있다.
입력부(120)는 제어 장치(100)의 사용자 입력을 수행할 수 있는 구성을 포함할 수 있다. 예를 들어, 입력부(120)는 키패드, 터치키패드, 터치스크린, 키보드, 마우스, 물리 버튼 등의 입력 수단을 포함할 수 있다. 입력부(120)는 본 발명의 물체 파지와 관련한 어플리케이션 실행을 요청하는 입력 및 물체 파지 요청하는 입력을 사용자 입력에 대응하여 생성할 수 있다.
카메라(130)는 프로세서(160)의 제어에 대응하여 기판(300)에 대한 RGB 이미지 및 Depth 이미지를 획득할 수 있다. 이와 관련하여, 카메라(130)는 RGB 카메라 및 Depth 카메라를 포함할 수 있다. Depth 카메라는 기판(300)의 물체들(400)에 대한 깊이를 측정할 수 있는 카메라로서, 적외선 카메라, TOF(time of flight) 카메라 등을 포함할 수 있다.
카메라(130)는 제어 장치(100) 구성으로서, 제어 장치(100)를 감싸는 하우징의 일측에 배치될 수도 있으나, 기판(300) 관련 영상 획득을 위하여, 기판(300)을 촬영할 수 있는 특정 위치에 배치될 수 있도록 제어 장치(100)와 물리적으로 분리된 위치에 배치될 수도 있다. 이 경우, 카메라(130)는 통신 인터페이스(110)를 통해 제어 장치(100)와 기능적으로 연결될 수 있다.
메모리(140)는 제어 장치(100)의 운용과 관련한 데이터 또는 어플리케이션을 저장할 수 있다. 예를 들어, 메모리(140)는 Mask-RCNN 어플리케이션을 저장할 수 있다. 메모리(140)는 카메라(130)가 획득한 적어도 하나의 영상을 임시 또는 반영구적으로 저장할 수 있다. 메모리(140)는 영상 분석 과정에서 획득되는 마스킹 이미지 및 파지점 검출 이미지 등을 저장할 수 있다.
디스플레이(150)는 제어 장치(100) 운용과 관련한 적어도 하나의 이미지를 출력할 수 있다. 예컨대, 디스플레이(150)는 카메라(130)를 통해 획득되는 RGB 이미지 및 Depth 이미지를 출력할 수 있다. 또한, 디스플레이(150)는 RGB 이미지 및 Depth 이미지를 기반으로 산출된 마스킹 이미지, 마스킹 이미지로부터 산출된 그립 위치가 적용된 이미지 등을 출력할 수 있다. 추가적으로, 디스플레이(150)는 물체 파지, 이동, 적재 등과 관련한 이미지를 출력할 수 있다.
프로세서(160)는 제어 장치(100) 운용과 관련한 적어도 하나의 신호의 전달 및 처리를 수행할 수 있다. 예를 들어, 프로세서(160)는 사용자 입력에 대응하여, 카메라(130)를 활성화하고, 카메라(130)를 이용하여 기판(300)상 RGB 이미지 및 Depth 이미지를 획득하도록 제어할 수 있다. 프로세서(160)는 획득된 이미지들을 기반으로 마스킹 이미지 획득을 수행하고, 획득된 마스킹 이미지로부터 그립 위치를 산출할 수 있다. 프로세서(160)는 산출된 그립 위치를 기반으로 물체들(400)에 대한 파지를 수행하도록 로봇 장치(200)를 제어할 수 있다. 이러한 프로세서(160)는 도 4와 같은 구성을 포함할 수 있다.
도 4는 본 발명의 실시 예에 따른 제어 장치의 프로세서 구성의 한 예를 나타낸 도면이다.
도 4를 참조하면, 본 발명의 프로세서(160)는 영상 수집부(161), 마스킹부(163), 파지점 인식부(165) 및 파지 제어부(167)를 포함할 수 있다.
영상 수집부(161)는 카메라(130)를 제어하여 기판(300) 상에 위치한 물체들(400)에 대한 영상을 수집할 수 있다. 이 과정에서, 영상 수집부(161)는 물체들(400)에 대한 RGB 이미지 및 Depth 이미지를 획득할 수 있다. 영상 수집부(161)는 획득된 이미지들을 마스킹부(163)에 전달할 수 있다. 영상 수집부(161)는 기판(300) 상의 물체들(400)에 대한 영상 수집 과정에서 카메라(130)의 초점 조절 및 줌 조절을 수행할 수 있다. 또는, 영상 수집부(161)는 카메라(130)가 로봇 장치(200)에 배치된 경우, 로봇 장치(200)의 위치를 기판(300) 촬영과 관련하여 지정된 위치로 이동시키고, 영상 수집을 제어할 수 있다. 로봇 장치(200)와 별도로 기판(300)을 촬영할 수 있는 카메라(130)가 배치된 경우, 영상 수집부(161)는 로봇 장치(200)가 기판(300) 상이 물체들(400)을 가리지 않도록 이동시킨 후, 기판(300) 상의 물체들(400)에 대한 영상을 수집하도록 제어할 수 있다.
마스킹부(163)는 영상 수집부(161)가 전달한 영상을 기반으로 마스킹 이미지를 획득할 수 있다. 예를 들어, 마스킹부(163)는 RGB 이미지와 Depth 이미지를 이용하여 배경과 물체들(400)을 분리하고, 물체들(400) 각각을 일정 구획별로 구분할 수 있다. 마스킹부(163)는 마스킹 이미지를 파지점 인식부(165)에 전달할 수 있다.
파지점 인식부(165)는 마스킹부(163)가 전달한 마스킹 이미지에서 객체의 특정 부위를 파지점으로 결정할 수 있다. 이와 관련하여, 파지점 인식부(165)는 마스킹 이미지 중 특정 객체에 관한 바이너리 이미지를 기반으로, 지정된 각도별로 회전한 회전된 이미지들을 산출하고, 회전된 이미지들 각각에서 객체들의 경계 영역을 추출한 후, 경계 영역 중 특정 방향에 대한 가장자리 위치 검출 후, 파지점 후보들을 산출하고, 산출된 후보들을 조합하여 최적 파지점을 산출할 수 있다. 파지점 인식부(165)는 최적 파지점 산출 과정에서, 로봇 장치(200)의 그리퍼(220)의 움직임 가능 폭, 그리퍼(220) 팁의 확장 가능 폭에 대한 파라메터를 기반으로, 파지점 후보들 산출 및 최적 파지점을 산출할 수 있다. 최적 파지점 산출과 관련하여, 파지점 인식부(165)는 복수의 후보들 중 가장 많이 중첩된 후보 영역을 최적 파지점으로 산출할 수 있다.
파지 제어부(167)는 파지점 인식부(165)가 제공한 최적 파지점을 기반으로, 물체에 대한 파지를 제어할 수 있다. 이와 관련하여, 파지 제어부(167)는 로봇 장치(200)의 구동부(210)에 로봇 장치(200)의 이동 거리 및 이동 각도를 제어하고, 지정된 위치에서 물체를 파지할 수 있도록 제어할 수 있다. 파지 제어부(167)는 물체 파지 이후, 지정된 장소로 파지된 물체를 이동시키고, 이동 위치에서 파지 물체를 적재하도록 제어할 수 있다.
도 5는 본 발명의 실시 예에 따른 그립 위치 산출과 관련한 도면이다.
도 5를 참조하면, 프로세서(160)의 파지점 인식부(165)는 501 상태에서와 같이, 마스킹 이미지 중 특정 물체를 포함하는 일정 영역을 추출할 수 있다. 추출된 물체 포함 일정 영역은 바이너리 이미지로 제공될 수 있다.
파지점 인식부(165)는 502 상태에서와 같이, 마스킹부(163)에서 추출된 물체 binary image를 지정된 각각의 각도(angle)로 회전하는 모듈을 포함할 수 있다. 각도는 제어 장치(100)의 연산 속도에 달라질 수 있으며, 예컨대, 파지점 인식부(165)는 5도 단위, 15도 단위, 30도 단위 등 다양한 각도 단위로 물체의 회전 이미지를 추출할 수 있다.
파지점 인식부(165)는 503 상태에서와 같이, 물체의 회전 이미지들로부터 객체 경계(boundary)를 추출하는 모듈을 포함할 수 있다. 한편, 상술한 설명에서는 회전 이미지들을 획득 후, 회전된 이미지들에서 각 객체의 경계 영역을 검출하는 것을 예로 하여 설명하였으나, 본 발명이 이에 한정되는 것은 아니다. 예컨대, 파지점 인식부(165)는 경계 영역 검출 후, 경계 영역들에 대한 회전된 이미지들을 산출할 수도 있다.
파지점 인식부(165)는 504 상태에서와 같이 vertical edge 위치를 인식하는 모듈을 포함할 수 있다. 회전된 이미지들에서 각 객체들의 배치 방향이 상이하게 됨으로, 수직 에지 위치는 각각의 회전 이미지들 별로 다르게 산출될 수 있다.
파지점 인식부(165)는 505 상태에서와 같이, 각 이미지들의 vertical edge 위치를 기반으로 그리퍼 기반 파지 확률을 추출하는 모듈을 포함할 수 있다. 이와 관련하여, 파지점 인식부(165)는 그리퍼(220)에 대한 정보를 수집할 수 있다. 예컨대, 파지점 인식부(165)는 그리퍼(220) 정보 입력을 요청하거나, 로봇 장치(200)로부터 그리퍼(220) 관련 정보를 수집할 수 있다. 파지점 인식부(165)는 그리퍼(220) 관련 정보와 수직 에지 위치들을 기반으로 각 이미지들의 파지 위치 후보들을 산출할 수 있다.
파지점 인식부(165)는 506 상태에서와 같이, 산출된 파지 위치 후보들을 기반으로 최적의 파지 위치를 산출할 수 있다. 이와 관련하여, 파지점 인식부(165)는 각각의 이미지들의 그리퍼 파지 확률을 Merge하여 파지 확률이 가장 높은 파지점을 추출하는 모듈을 포함할 수 있다.
도 6은 본 발명의 실시 예에 따른 그립 위치 지정과 관련한 도면이다.
도 6을 참조하면, 프로세서(160)는 앞서 도 5에서 설명한 바와 같은 방식으로 그립 위치 산출을 수행하고, 산출된 후보군들 중 지정된 기준 값을 넘는 그립 위치 또는 후보군들의 상호 비교를 통한 최적 값의 그립 위치를 지정할 수 있다. 예를 들어, 프로세서(160)는 601 상태에서와 같이, “r”자 형상의 물체들에 대하여, 꺽이는 부분에 인접된 부분 중 지정된 폭을 가지는 지점을 파지점으로 산출할 수 있다. 프로세서(160)는 603 상태에서와 같이, 원형의 물체와 중심부에 형성된 홀 사이의 간격이 지정된 폭을 가지는 지점을 파지점으로 산출할 수 있다. 프로세서(160)는 605 상태에서와 같이 외부 테두리 및 내부 테두리가 불규칙하게 형성된 고리 형태의 물체에 대하여 고리의 폭이 지정된 폭을 가지는 지점을 파지점으로 산출할 수 있다. 프로세서(160)는 607 상태에서와 같이, 원형 테두리를 가지며 중심부의 다양한 형태의 홀을 가진 물체에 대하여, 홀의 일측과 외부 테두리 간의 간격이 지정된 폭을 가지는 지점을 파지점으로 산출할 수 있다. 프로세서(160)는 609 상태에서와 같이, 화살표 모양의 물체에 대하여, 중심에 가까운 영역 중 지정된 크기의 폭을 가지는 지점을 파지점으로 산출할 수 있다. 프로세서(160)는 611 상태에서와 같이, X자 모양의 물체에 대하여, 중심에 가까운 영역 중 지정된 크기의 폭을 가지는 지점을 파지점으로 산출할 수 있다. 상기 지정된 폭은 그리퍼(220)의 움직임 가능 폭 및 그리퍼(220)의 팁 폭을 기반으로 결정될 수 있다.
도 7은 본 발명의 실시 예에 따른 물체 파지 방법의 한 예를 나타낸 도면이다.
도 7을 참조하면, 본 발명의 실시 예에 따른 물체 파지 방법과 관련하여, 제어 장치(100)의 프로세서(160)는 이벤트가 발생하면, 701 단계에서, 해당 이벤트가 물체 파지를 요청하는 이벤트인지 확인할 수 있다. 예를 들어, 프로세서(160)는 물체 파지와 관련한 어플리케이션 실행 및 물체 파지를 위한 동작 실행을 요청하는 이벤트 발생인지 확인할 수 있다.
발생된 이벤트가 물체 파지와 관련이 없는 이벤트인 경우, 703 단계에서, 프로세서(160)는 이벤트 종류에 따른 기능을 수행할 수 있다. 예를 들어, 상기 프로세서(160)는 예를 들어, 상기 프로세서(160)는 그리퍼(220) 관련 정보 입력을 위한 동작으로서, 그리퍼(220) 정보 입력 창을 출력할 수 있다.
물체 파지와 관련한 이벤트가 발생하면, 상기 프로세서(160)는 705 단계에서 영상 수집을 수행할 수 있다. 이와 관련하여, 프로세서(160)는 카메라(130)를 이용하여 기판(300)을 촬영할 수 있다. 카메라(130)가 기판(300)을 향하고 있지 않은 경우, 상기 프로세서(160)는 카메라(130)의 촬영 각도를 제어하여 기판(300)을 향하도록 제어할 수 있다.
707 단계에서, 프로세서(160)는 획득된 영상을 기반으로 마스킹을 수행할 수 있다. 예를 들어, 프로세서(160)는 획득된 이미지에 대한 바이너리 필터링을 수행하여 객체들을 검출하고, Depth 이미지를 이용하여 배경과 객체를 분리하여 마스킹 이미지를 생성할 수 있다.
709 단계에서, 프로세서(160)는 마스킹 이미지를 기반으로 파지점 인식을 수행할 수 있다. 이 동작에서, 프로세서(160)는 기 저장된 그리퍼(220) 동작 정보(예: 그리퍼(220)의 팁 폭 및 그리퍼(220)의 움직임 가능 폭)를 기반으로 파지점 인식을 수행할 수 있다. 이 동작에서, 프로세서(160)는 마스킹 이미지에서의 객체 경계선 추출, 회전, 수직 에지 추출, 후보군들의 파지 확률 합산 등을 수행할 수 있다.
711 단계에서, 프로세서(160)는 인식된 파지점을 기반으로 물체 파지를 시도할 수 있다. 이와 관련하여, 프로세서(160)는 물체 파지를 위해 그리퍼(220)를 포함한 로봇 장치(200)에 물체의 파지점에 대한 좌표를 제공할 수 있다.
713 단계에서, 프로세서(160)는 파지 성공 여부를 확인할 수 있다. 파지 성공 여부 확인을 위하여, 프로세서(160)는 카메라(130)를 이용하여 영상을 촬영하고, 촬영된 영상에서 파지를 목표로한 물체의 변화를 검출할 수 있다. 파지에 실패한 경우, 프로세서(160)는 705 단계이전으로 분기하여 이하 동작을 재수행할 수 있다. 파지에 성공한 경우, 프로세서(160)는 715 단계에서 설정된 동작을 수행할 수 있다. 예컨대, 프로세서(160)는 파지한 물체를 지정된 장소로 이동 후 적재할 수 있다.
다음으로, 717 단계에서, 프로세서(160)는 물체 파지와 관련한 동작 종료를 요청하는 이벤트가 발생하는지 확인할 수 있다. 프로세서(160)는 물체 파지 동작 종료와 관련한 이벤트가 발생하는 경우 물체 파지 동작을 종료할 수 있다. 이 동작에서, 프로세서(160)는 로봇 장치(200)는 지정된 위치로 복귀시키고, 카메라(130) 등의 전원 공급을 차단할 수 있다. 물체 파지와 관련한 동작 종료를 요청하는 이벤트 발생이 없는 경우, 701 단계 이전으로 분기하여 이하 동작을 재수행할 수 있다.
도 8은 본 발명의 실시 예에 따른 물체 파지와 관련한 파지점 인식을 나타낸 도면이다.
도 8을 참조하면, 각 이미지들에서와 같이, 물체 파지 시스템(10)은 물체들의 파지 방향을 지시선(810)으로 지정할 수 있다. 물체 파지 시스템(10)은 지시선(810)들의 좌표를 추출하고, 추출된 좌표를 로봇 장치(200)에 제공하여 해당 물체에 대한 파지를 수행하도록 제어할 수 있다.
상술한 바와 같이, 본 발명의 실시 예에 따른 물체 파지 시스템(10) 및 물체 파지 방법은 다양한 물체 형상에서도 그리퍼와 석션 등에 적용 가능한 파지점을 인식할 수 있다. 특히, 본 발명은 그리퍼의 움직일 수 있는 폭, 그리퍼의 툴 팁의 폭 등의 추가 파라미터를 이용하여 현재 머니퓰레이터에 장착되어 있는 그리퍼에 적합한 파지점을 추출할 수 있다.
한편, 본 명세서와 도면에 개시된 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다.
10: 물체 파지 시스템
100: 제어 장치
200: 로봇 장치
300: 기판
400: 물체들

Claims (8)

  1. 적어도 하나의 물체에 대한 영상을 획득하고, 획득된 영상에 대한 영상 분석을 통하여, 물체의 파지점을 산출하는 제어 장치;를 포함하고,
    상기 제어 장치는,
    상기 물체 파지를 위해 사용되는 파지 수단의 이동 가능 폭 또는 파지를 위해 사용되는 팁의 폭을 기반으로, 상기 영상 분석을 통해 산출된 객체의 다양한 각도에서의 파지 확률을 산출한 후, 산출된 파지 확률을 합산하여 특정 파지점을 산출하도록 설정되는 것으로서,
    기판 상에 놓인 물체에 대한 영상을 획득하는 카메라;
    상기 카메라가 획득한 영상을 분석하기 위한 프로세서; 및
    상기 분석된 영상의 적어도 일부를 임시 또는 반영구적으로 저장하는 메모리;를 포함하며,
    상기 프로세서는,
    상기 획득된 영상에 대한 바이너리 이미지를 다양한 각도로 회전시킨 회전 이미지들을 산출하고,
    상기 회전 이미지들 각각에서 객체의 경계선들을 산출하고,
    상기 경계선들에 대한 수직 에지 위치들을 산출하고,
    상기 수직 에지 위치들에 대한 파지 확률들을 산출하고,
    상기 파지 확률들을 합산하여 상기 특정 파지점을 산출하도록 설정된 것을 특징으로 하는 물체 파지 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 산출된 특정 파지점을 이용하여 상기 물체 파지를 수행하는 로봇 장치;
    를 더 포함하는 것을 특징으로 하는 물체 파지 장치.
  5. 제4항에 있어서, 상기 프로세서는,
    상기 로봇 장치를 이용한 특정 물체의 파지를 제어하고, 파지 실패 시, 상기 이미지 획득 및 영상 분석을 재수행하여 새로운 파지점을 산출하도록 설정된 것을 특징으로 하는 물체 파지 장치.
  6. 제1항에 있어서, 상기 프로세서는,
    상기 카메라를 이용하여 상기 기판에 대한 RGB 이미지 및 Depth 이미지를 획득하고, 상기 RGB 이미지 및 상기 Depth 이미지를 기반으로 마스킹된 바이너리 이미지를 획득하도록 설정된 것을 특징으로 하는 물체 파지 장치.
  7. 적어도 하나의 물체가 놓이는 기판에 대한 영상을 획득하는 단계;
    상기 획득된 영상에 대한 바이너리 이미지를 다양한 각도로 회전시킨 회전 이미지들을 산출하는 단계;
    상기 회전 이미지들 각각에서 객체의 경계선들을 산출하는 단계;
    상기 경계선들에 대한 수직 에지 위치들을 산출하는 단계;
    상기 수직 에지 위치들에 대한 파지 확률들을 산출하는 단계; 및
    상기 파지 확률들을 합산하여 특정 파지점을 산출하는 단계;
    를 포함하는 것을 특징으로 하는 물체 파지 방법.
  8. 제7항에 있어서, 상기 파지 확률들을 산출하는 단계는,
    상기 물체 파지를 위해 사용되는 파지 수단의 이동 가능 폭 또는 파지를 위해 사용되는 팁의 폭을 기반으로, 상기 파지 확률들을 산출하는 단계;
    를 포함하는 특징으로 하는 물체 파지 방법.
KR1020190158701A 2019-12-03 2019-12-03 물체 파지 장치 및 방법 KR102317041B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190158701A KR102317041B1 (ko) 2019-12-03 2019-12-03 물체 파지 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190158701A KR102317041B1 (ko) 2019-12-03 2019-12-03 물체 파지 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210069745A KR20210069745A (ko) 2021-06-14
KR102317041B1 true KR102317041B1 (ko) 2021-10-26

Family

ID=76417457

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190158701A KR102317041B1 (ko) 2019-12-03 2019-12-03 물체 파지 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102317041B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024122838A1 (ko) * 2022-12-06 2024-06-13 한국전자기술연구원 그리퍼의 파지 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019063984A (ja) * 2017-10-02 2019-04-25 キヤノン株式会社 情報処理装置、方法及びロボットシステム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101260367B1 (ko) * 2011-09-26 2013-05-07 한국과학기술연구원 범주 인식에 의한 파지점 생성방법 및 그 방법에 대한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
KR101197125B1 (ko) 2012-03-20 2012-11-07 한국기계연구원 물체 파지 시스템 및 물체 파지 방법
KR102068197B1 (ko) * 2016-01-25 2020-01-20 지멘스 프로덕트 라이프사이클 매니지먼트 소프트웨어 인크. 산업 오브젝트들의 멀티-핸드 파지들을 위한 핸드 포지션들을 예측하기 위한 방법들 및 시스템
KR101919463B1 (ko) * 2016-11-24 2019-02-08 한국폴리텍7대학 산학협력단 비정형 소화물 피킹이 가능한 물류 로봇 제어 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019063984A (ja) * 2017-10-02 2019-04-25 キヤノン株式会社 情報処理装置、方法及びロボットシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024122838A1 (ko) * 2022-12-06 2024-06-13 한국전자기술연구원 그리퍼의 파지 시스템 및 방법
KR20240084587A (ko) 2022-12-06 2024-06-14 한국전자기술연구원 그리퍼의 파지 시스템 및 방법

Also Published As

Publication number Publication date
KR20210069745A (ko) 2021-06-14

Similar Documents

Publication Publication Date Title
KR102650492B1 (ko) 자동화된 패키지 등록 메커니즘과 이를 작동시키는 방법을 구비한 로봇 시스템
JP5806301B2 (ja) ロボットシステムにおける物理的な物体の選択のための方法
US10839261B2 (en) Information processing apparatus, information processing method, and storage medium
CN113696186B (zh) 复杂光照条件下基于视触融合的机械臂自主移动抓取方法
US9044858B2 (en) Target object gripping apparatus, method for controlling the same and storage medium
Nerakae et al. Using machine vision for flexible automatic assembly system
JP7005388B2 (ja) 情報処理装置及び仕分システム
US10434652B2 (en) Workpiece picking system
US10596707B2 (en) Article transfer device
JP2019181622A (ja) ハンド制御装置およびハンド制御システム
KR20160065574A (ko) 로봇 청소기 및 그의 제어방법
WO2020022302A1 (ja) 把持装置
JP2016203293A (ja) ピッキング装置およびピッキング方法
KR101671148B1 (ko) 로봇 청소기 및 그의 제어방법
CN111975745A (zh) 机器人系统
KR102317041B1 (ko) 물체 파지 장치 및 방법
US10562187B2 (en) Robot, robot control device, and robot system
CN115648176A (zh) 视觉引导拾取和放置方法、移动机器人和计算机可读存储介质
CN109927058B (zh) 抓握装置、抓握判定方法和抓握判定程序
US20220234208A1 (en) Image-Based Guidance for Robotic Wire Pickup
JP7505674B2 (ja) ピッキングシステム
KR20140053712A (ko) 센서 융합에 의한 실내로봇용 위치인식 방법
CN114770504B (zh) 机器人控制方法、装置、机器人及存储介质
CN113284129B (zh) 基于3d包围盒的压箱检测方法及装置
JP7481867B2 (ja) 制御装置及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant