KR102178013B1 - 물체 파지를 위한 훈련 데이터 생성 방법 및 파지 자세 결정 방법 - Google Patents

물체 파지를 위한 훈련 데이터 생성 방법 및 파지 자세 결정 방법 Download PDF

Info

Publication number
KR102178013B1
KR102178013B1 KR1020190015125A KR20190015125A KR102178013B1 KR 102178013 B1 KR102178013 B1 KR 102178013B1 KR 1020190015125 A KR1020190015125 A KR 1020190015125A KR 20190015125 A KR20190015125 A KR 20190015125A KR 102178013 B1 KR102178013 B1 KR 102178013B1
Authority
KR
South Korea
Prior art keywords
image
target object
gripping
training data
determining
Prior art date
Application number
KR1020190015125A
Other languages
English (en)
Other versions
KR20200097572A (ko
Inventor
서일홍
유상연
박영빈
고동욱
이진한
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020190015125A priority Critical patent/KR102178013B1/ko
Publication of KR20200097572A publication Critical patent/KR20200097572A/ko
Application granted granted Critical
Publication of KR102178013B1 publication Critical patent/KR102178013B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/408—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by data handling or data format, e.g. reading, buffering or conversion of data
    • G05B19/4086—Coordinate conversions; Other special calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G05D3/125—Control of position or direction using feedback using discrete position sensor

Abstract

물체 파지를 위한 훈련 데이터를 효율적으로 생성할 수 있는 방법이 개시된다. 개시된 물체 파지를 위한 훈련 데이터 생성 방법은 목표 물체를 촬영하여 얻어진 제1이미지에서, 목표 물체 이미지에 대한 윤곽선을 결정하는 단계; 상기 윤곽선을 이용하여, 상기 제1이미지에서 목표 물체 이미지를 추출하는 단계; 및 제1훈련 데이터로 이용되는 제2이미지에 상기 추출된 목표 물체 이미지를 증강하여, 상기 목표 물체 이미지에 대한 윤곽선 정보를 포함하는 제2훈련 데이터를 생성하는 단계를 포함한다.

Description

물체 파지를 위한 훈련 데이터 생성 방법 및 파지 자세 결정 방법{TRAINING DATA GENERATION METHOD AND POSE DETERMINATION METHOD FOR GRASPING OBJECT}
본 발명은 파지 로봇의 물체 파지에 관한 발명으로서, 더욱 상세하게는 물체 파지를 위한 훈련 데이터 생성 방법 및 파지 자세 결정 방법에 관한 것이다.
로봇은 인간의 다양한 편의를 위해 연구, 개발이 진행되어 왔으며, 사용 용도에 따라 단순 반복 작업 및 육체적으로 힘들고 안전상 위험한 업무를 사람을 대신해 수행하는 산업용 로봇과, 인간의 일상 생활에 다양한 편의를 제공하는 지능형 서비스 로봇 등으로 구분된다.
많은 로봇들이 목표 물체를 파지하기 위한 적어도 하나의 엔드 이펙터(end effector), 예컨대 로봇 핸드와 같은 엔드 이펙터를 구비하며, 목표 물체를 파지하기 위한 동작을 수행한다.
로봇이 목표 물체를 파지하기 위해서는 먼저 목표 물체를 인식하는 과정이 필요한데, 최근에는 물체 인식을 위해 기계 학습이 많이 이용되고 있다. 이러한 기계 학습 알고리즘의 하나로서, CNN 기반의 Mask R-CNN 이 있다.
Mask R-CNN은 훈련 데이터로서, 도 1에 도시된 훈련에 이용되는 훈련 물체를 촬영한 이미지(110)와, 훈련 물체 이미지에 대응되는 훈련 물체 영역을 포함하며, 훈련 물체를 촬영한 이미지와 동일한 사이즈의 마스크(120)를 이용한다. 마스크는 훈련 물체를 촬영한 이미지에서 배경 영역이 제거되고, 훈련 물체 이미지에 대응되는 훈련 물체 영역만이 포함한 이미지이다. 즉, 마스크는 훈련 물체를 촬영한 이미지라는 원본 이미지에서 훈련 물체 영역의 위치를 나타낸다.
훈련 물체를 촬영한 이미지(110)가 인공 신경망으로 입력되고, 마스크(120)는 레이블로서 제공된다. 학습 결과로부터 Mask R-CNN은 목표 물체를 촬영한 이미지에서 목표 물체를 인식할 수 있다.
관련 선행문헌으로 특허문헌인 대한민국 공개특허 제2018-0114200호, 비특허문헌인 "HE, Kaiming, et al. Mask r-cnn. In: Computer Vision (ICCV), 2017 IEEE International Conference on. IEEE, 2017. p. 2980-2988."가 있다.
본 발명은 물체 파지를 위한 훈련 데이터를 효율적으로 생성할 수 있는 방법을 제공하기 위한 것이다.
또한 본 발명은 물체 파지를 위한 파지 자세를 효율적으로 결정할 수 있는 방법을 제공하기 위한 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 목표 물체를 촬영하여 얻어진 제1이미지에서, 목표 물체 이미지에 대한 윤곽선을 결정하는 단계; 상기 윤곽선을 이용하여, 상기 제1이미지에서 목표 물체 이미지를 추출하는 단계; 및 제1훈련 데이터로 이용되는 제2이미지에 상기 추출된 목표 물체 이미지를 증강하여, 상기 목표 물체 이미지에 대한 윤곽선 정보를 포함하는 제2훈련 데이터를 생성하는 단계를 포함하는 물체 파지를 위한 훈련 데이터 생성 방법이 제공된다.
또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 파지 로봇에서 목표 물체를 촬영하여 얻어진 제1이미지에서, 목표 물체 이미지를 검출하는 단계; 상기 목표 물체 이미지 및 상기 제1이미지에 대한 깊이 이미지를 이용하여, 목표 물체에 대한 깊이 정보를 반영하는 포인트 클라우드를 생성하는 단계; 상기 파지 로봇의 기저면에 기반하여 상기 포인트 클라우드의 좌표를 회전시키는 단계; 상기 좌표가 회전된 포인트 클라우드를 미리 설정된 평면에 투영하는 단계; 및 상기 투영된 이미지에 외접하는 직사각형을 생성하고, 상기 직사각형의 너비 및 높이에 따라서, 상기 파지 로봇의 파지 자세를 결정하는 단계를 포함하는 물체 파지를 위한 파지 자세 결정 방법이 제공된다.
본 발명에 따르면, 미리 생성된 훈련 데이터에 목표 물체 이미지를 증강함으로써, 적은 비용과 시간을 투입하여 효과적으로 많은 양의 훈련 데이터를 생성할 수 있다.
또한 본 발명에 따르면, 파지 로봇의 물체 파지에 필요한 목표 물체의 자세를 추정하여, 보다 적은 자원으로 파지 자세를 결정할 수 있다.
도 1은 Mask R-CNN을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 물체 파지를 위한 훈련 데이터 생성 방법을 설명하기 위한 도면이다.
도 3은 목표 물체를 촬영하는 환경을 도시하는 도면이다.
도 4는 증강된 훈련 데이터를 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 일실시예에 따른 목표 물체 이미지에 대한 윤곽선 결정 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 물체 파지를 위한 파지 자세 결정 방법을 설명하기 위한 도면이다.
도 8은 RGB-D 카메라가 탑재된 파지 로봇의 일예를 도시하는 도면이다.
도 9는 투영된 이미지를 나타내는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
물체를 파지, 즉 잡는 파지 로봇이 목표 물체를 인식할 수 있도록 학습을 수행하고 또한 학습 효율을 높이기 위해서는 많은 훈련 데이터가 필요하다.
그리고 전술된 바와 같이, 훈련 데이터로서 훈련 물체에 대한 이미지 뿐만 아니라 훈련 물체 영역을 포함하는 마스크가 필요하다. 이러한 마스크를 생성하기 위해서는 훈련 물체 이미지에 대한 윤곽선이 필요한데, 종래의 경우 훈련 물체의 윤곽선 정보는 수작업에 의해 생성되었다. 따라서 매우 많은 시간과 비용이 투입되어야 상당한 양의 훈련 데이터가 확보될 수 있었다.
이에 본 발명은 이미지 증강을 통해 상대적으로 적은 시간과 적은 비용을 투입하여 훈련 데이터를 생성할 수 있는 방법을 제안한다.
본 발명은 윤곽선에 대한 정보를 미리 알고 있는 목표 물체 이미지를 훈련 데이터로 이용되는 이미지에 증강함으로써, 목표 물체 이미지에 대한 윤곽선을 수작업으로 생성할 필요가 없으며, 따라서 훈련 데이터 생성에 소요되는 시간과 비용을 줄일 수 있다.
한편, 파지 로봇이 인식된 목표 물체를 안정적으로 그리고 정확하게 파지하기 위해서는 목표 물체에 대한 자세를 미리 알고 있을 필요가 있다. 그리고 목표 물체에 대한 자세를 추정하기 위해서는 ICP(Iterative Closet Point) 알고리즘과 같은 무거운 알고리즘이 필요하며, 따라서 목표 물체에 대한 자세를 추정하는 과정에 많은 자원이 소비된다.
이에 물체 파지를 위한 본 발명은, 파지 로봇의 물체 파지에 필요한 목표 물체의 자세를 추정함으로써, 보다 적은 자원으로 목표 물체의 자세를 추정하고 최종적으로 파지 자세를 추정하는 방법을 제안한다.
본 발명에 따른 훈련 데이터 생성 방법 및 파지 자세 추정 방법은 프로세서를 포함하는 컴퓨팅 장치, 파지 로봇 등에서 수행될 수 있다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 2는 본 발명의 일실시예에 따른 물체 파지를 위한 훈련 데이터 생성 방법을 설명하기 위한 도면이며, 도 3은 목표 물체를 촬영하는 환경을 도시하는 도면이다. 그리고 도 4는 증강된 훈련 데이터를 설명하기 위한 도면이다.
도 2에서는 컴퓨팅 장치인 훈련 데이터 생성 장치에서 수행되는 훈련 데이터 생성 방법이 일실시예로서 설명된다.
본 발명에 따른 훈련 데이터 생성 장치는 목표 물체를 촬영하여 얻어진 제1이미지에서, 목표 물체 이미지에 대한 윤곽선을 결정(S210)한다.
도 3에 도시된 바와 같이, RGB 카메라(310)가 목표 물체인 콜라 캔(320)을 촬영하여 제1이미지를 생성할 수 있다. 이 때, 제1이미지에 포함된 목표 물체 이미지에 대한 윤곽선을 효과적으로 검출하기 위해, 목표 물체는 단일 색상의 평면에 위치한 상태에서 촬영될 수 있다. 그리고 이러한 평면의 채도는 낮은 것이 바람직하다. 윤곽선 결정 방법은 도 5 및 도 6에서 보다 자세히 설명된다.
훈련 데이터 생성 장치는 단계 S210에서 결정된 윤곽선을 이용하여 제1이미지에서 목표 물체 이미지를 추출(S220)한다. 그리고 제1훈련 데이터로 이용되는 제2이미지에 추출된 목표 물체 이미지를 증강하여, 목표 물체 이미지에 대한 윤곽선 정보를 포함하는 제2훈련 데이터를 생성(S230)한다.
도 4에 도시된 바와 같이, 일실시예로서 훈련 데이터 생성 장치는 도 1에 도시된 제1훈련 데이터로 이용되는 제2이미지(110)에 목표 물체 이미지(430)가 증강된 이미지(410)를 생성할 수 있다.
그리고 도 1에 도시된 제1마스크(120)에 목표 물체 영역(440)을 반영하여, 제2마스크(420)를 생성한다. 제1마스크(120)는 제2이미지(110)에 포함된 훈련 물체 이미지에 대응되는 훈련 물체 영역이 표시되며, 제2이미지(110)에서의 훈련 물체 이미지의 위치와 제1마스크(120)에서의 훈련 물체 영역의 위치는 서로 대응된다.
제2마스크(420)는 훈련 물체 영역 및 목표 물체 영역(440)을 포함하며, 목표 물체 영역(440)은 목표 물체 이미지(430)에 대한 윤곽선을 통해 생성될 수 있다.
이와 같이, 훈련 데이터 생성 장치는 목표 물체 이미지가 증강된 이미지와, 제2마스크를 제2훈련 데이터로서 생성하며, 목표 물체 영역은 목표 물체 이미지에 대한 윤곽선을 통해 생성되기 때문에, 제2훈련 데이터는 목표 물체 이미지에 대한 윤곽선 정보를 포함한다.
결국 본 발명에 따르면, 제1훈련 데이터에 목표 물체 이미지를 증강하여 제2훈련 데이터를 추가로 생성할 수 있으며, 따라서 적은 비용과 시간을 투입하여 많은 양의 훈련 데이터를 효과적으로 생성할 수 있다.
한편, 훈련 데이터 생성 장치는 제2이미지에 증강되는 목표 물체 이미지의 위치를 고려하여 제2훈련 데이터를 생성할 수 있다. 도 4에 도시된 바와 같이, 목표 물체 이미지(430)가 훈련 물체 중 하나인 책의 이미지 상에 오버랩되어 증강된 경우, 제2마스크(420)에서 목표 물체 영역(440) 역시 훈련 물체 영역 상에 오버랩될 필요가 있다.
만일, 목표 물체 이미지가 훈련 물체 이미지 상에 오버랩되어 증강되었음에도 불구하고, 훈련 물체 영역이 목표 물체 영역 상에 오버랩되도록 제2마스크가 생성될 경우, 목표 물체에 대한 인식이 어려워질 수 있다.
도 5 및 도 6은 본 발명의 일실시예에 따른 목표 물체 이미지에 대한 윤곽선 결정 방법을 설명하기 위한 도면이다.
본 발명에 따른 훈련 데이터 생성 장치는 일실시예로서, 2개의 색상 영역에서의 이미지를 이용하여 목표 물체 이미지에 대한 윤곽선을 결정할 수 있으며, 예를 들어 목표 물체인 인형에 대해 도 5(a)와 같은 RGB 이미지와, 도 5(b)와 같은 HSV(Hue, Saturation, Value) 이미지를 이용할 수 있다. HSV 이미지는 RGB 이미지로부터 변환될 수 있다.
본 발명에 따른 훈련 데이터 생성 장치는 RGB 이미지 및 HSV 이미지를 포함하는 제1이미지를 이진화하여 흑백 이미지를 생성한다. 이 때, 훈련 데이터 생성 장치는 RGB 이미지 및 HSV 이미지에 대한 차영상을 생성한 후, 차영상에 대해 이진화를 수행할 수 있으며, OTSU 알고리즘을 사용하여 이진화를 수행할 수 있다.
그리고 훈련 데이터 생성 장치는 RGB 이미지 및 HSV 이미지 각각에 대한 이미지를 혼합한다. 훈련 데이터 생성 장치는 알파 블렌딩(Alpha Blending) 기법을 이용하여 이진화된 두개의 이미지를 혼합할 수 있다. 도 6(a)는 알파 블렌딩에 의해 혼합된 이미지를 나타내며, 혼합 비율은 실시예에 따라 다양하게 결정될 수 있다.
도 6(a)에 도시된 바와 같이, 혼합된 이미지는 인형의 경계선이 일부 끊어진 형태로 생성될 수 있으므로, 훈련 데이터 생성 장치는 이를 보완하기 위해 모폴로지(morphology) 연산을 수행할 수 있다. 도 6(b)는 도 6(a)의 혼합된 이미지에 대해 모폴로지 닫힘(Closing) 연산이 이루어진 결과를 나타내는 이미지이며, 도 6(b)의 이미지는 목표 물체 이미지인 인형 이미지의 윤곽선을 끊김없이 나타내고 있음을 알 수 있다.
도 6(b)의 이미지는 일종의 마스크로서, 훈련 데이터 생성 장치는 도 6(b)의 이미지를 도 5(a)와 같은 RGB 이미지에 적용하여, 목표 물체 이미지를 추출할 수 있다.
도 7은 본 발명의 일실시예에 따른 물체 파지를 위한 파지 자세 결정 방법을 설명하기 위한 도면이며, 도 8은 RGB-D 카메라가 탑재된 파지 로봇의 일예를 도시하는 도면이다. 도 9는 투영된 이미지를 나타내는 도면이다.
도 7에서는 파지 로봇에서 수행되는 파지 자세 추정 방법이 일실시예로서 설명된다.
본 발명에 따른 파지 로봇은 파지 로봇에서 목표 물체를 촬영하여 얻어진 제1이미지에서, 목표 물체 이미지를 검출(S710)한다. 파지 로봇은 학습된 인공 신경망을 이용하여 목표 물체 이미지를 검출할 수 있으며, 일실시예로서 학습된 Mask R-CNN을 이용할 수 있다.
파지 로봇은 목표 물체 이미지 및 제1이미지에 대한 깊이 이미지를 이용하여, 목표 물체에 대한 깊이 정보를 반영하는 포인트 클라우드(point cloud)를 생성(S720)한다. 파지 로봇은 제1이미지 및 깊이 이미지 획득을 위한 RGB-D 카메라를 포함할 수 있으며, 도 8에 도시된 바와 같이, RGB-D 카메라(820)는 파지 로봇(810)의 엔드 이펙터의 윗부분 즉, 파지 로봇(810)의 손목 부분에 위치할 수 있다.
파지 로봇은 스캐너와 유사한 원리로 목표 물체에 대한 깊이 정보를 포인트 클라우드 형태로 생성할 수 있다. 이러한 포인트 클라우드의 깊이 정보는 RGB-D 카메라의 위치에 기반한 정보로서, 포인트 클라우드를 구성하는 포인트들은 RGB-D 카메라의 위치를 기준으로하는 좌표값을 갖는다.
파지 로봇은 파지 로봇의 기저면에 기반하여, 포인트 클라우드의 좌표를 회전시킨다(S730). 전술된 바와 같이, 단계 S720에서 얻어진 포인트 클라우드의 좌표는 RGB-D 카메라 기반의 좌표로서, 파지 동작을 수행하는 파지 로봇 기준으로 포인트 클라우드의 좌표를 변환할 필요가 있다.
파지 로봇은 기저면에 위치한 파지 로봇의 좌표와 RGB-D 카메라의 좌표 사이의 변환 행렬을 이용하여, 포인트 클라우드의 좌표를 회전시킬 수 있다. 여기서, 파지 로봇의 기저면은, 도 8에서 격자 무늬가 표시된 평면과 같이, 파지 로봇(810)이 설치된 평면을 나타낸다. 그리고 도 8에서 초록색 실선 축은 x축, 적색 실선 축은 y축, 청색 실선 축은 z축을 나타낸다.
다시 도 7로 돌아돠, 파지 로봇은 단계 S730에서 좌표가 회전된 포인트 클라우드를 미리 설정된 평면에 투영(S740)한다. 일예로서, 도 8과 같이 기저면이 x-y 평면상에 위치할 경우, 파지 로봇은 좌표가 회전된 포인트 클라우드(830)를 x-y 평면 방향(840)으로 투영하여 x-y 평면에 투영된 이미지를 생성하고, x-z 평면 방향(850)으로 투영하여, x-z 평면에 투영된 이미지를 생성할 수 있다.
그리고 파지 로봇은 투영된 이미지에 외접하는 직사각형을 생성하고, 직사각형의 너비 및 높이에 따라서, 파지 로봇의 파지 자세를 결정(S750)한다.
보다 구체적으로 단계 S740에서, 파지 로봇은 x-y 평면에 투영된 이미지에 외접하는 제1직사각형 및 x-z 평면에 투영된 이미지에 외접하는 제2직사각형을 생성한다. 그리고 제1 및 제2직사각형 중에서, 엔드 이펙터의 파지 가능 폭보다 작은 너비 또는 높이를 갖는 직사각형을 결정한다.
예컨대, 엔드 이펙터로 그리퍼가 이용될 경우, 그리퍼가 최대 벌릴 수 있는 폭이 파지 가능 폭일 수 있다. 또한 직사각형의 너비와 높이는 미리 정의될 수 있으며, 예컨대 상대적으로 짧은 모서리가 너비, 상대적으로 긴 모서리가 높이로 정의될 수 있다.
파지 로봇은 결정된 직사각형에 대응되는 평면 방향을 엔드 이펙터의 진입 방향으로 결정하고, 결정된 직사각형의 최소 너비 또는 최소 높이와 x축 사이의 각도를 엔드 이펙터의 회전각으로 결정한다.
예컨대, 목표 물체가 병(bottle)일 경우, 도 9와 같은 흰색으로 표시된 투영 이미지 및 흰색으로 표시된 외접하는 직사각형이 얻어질 수 있으며, x-y 평면에 대한 제1직사각형(910)의 너비가 파지 가능 폭보다 작은 경우, 파지 로봇은 x-y 평면 방향 즉, x-y 평면에 수직한 방향으로 엔드 이펙터가 진입하는 파지 자세를 결정한다. 그리고 파지 로봇은 제1직사각형(910)의 너비의 방향과 x축 사이의 각도만큼 엔드 이펙터를 회전시켜 목표 물체에 대한 파지를 수행한다.
또는 x-z 평면에 대한 제2직사각형(920)의 너비가 파지 가능 폭보다 작은 경우, 파지 로봇은 x-z 평면 방향 즉, x-z 평면에 수평한 방향으로 엔드 이펙터가 진입하는 파지 자세를 결정한다. 그리고 파지 로봇은 제2직사각형(920)의 너비의 방향과 x축 사이의 각도만큼 엔드 이펙터를 회전시켜 목표 물체에 대한 파지를 수행한다.
한편, 파지 로봇은 제1 및 제2직사각형 모두, 엔드 이펙터의 파지 가능 폭보다 작은 너비 또는 높이를 갖는다면, 제1 및 제2직사각형 중에서 최대의 너비 또는 높이를 갖는 직사각형을 진입 방향과 회전각을 결정하기 위한 직사각형으로 결정한다.
예컨대, 만일 x-y 평면에 대한 제1직사각형의 너비와, x-z 평면에 대한 제2직사각형의 너비가 모두 엔드 이펙터의 파지 가능 폭보다 작다면, 파지 로봇은 제1직사각형보다 높은 높이를 갖는 제2직사각형을 진입 방향과 회전각을 결정하기 위한 직사각형으로 결정한다.
이와 같이, 본 발명에 따르면, 3차원 공간상의 물체의 자세를 추정함이 없이 파지 로봇의 물체 파지에 필요한 물체의 자세만을 추정함으로써, 보다 적은 자원으로 파지 롭소의 파지 자세를 결정할 수 있다.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (9)

  1. 목표 물체를 촬영하여 얻어진 제1이미지에서, 목표 물체 이미지에 대한 윤곽선을 결정하는 단계;
    상기 윤곽선을 이용하여, 상기 제1이미지에서 목표 물체 이미지를 추출하는 단계; 및
    제1훈련 데이터로 이용되는 제2이미지에 상기 추출된 목표 물체 이미지를 증강하여, 상기 목표 물체 이미지에 대한 윤곽선 정보를 포함하는 제2훈련 데이터를 생성하는 단계를 포함하며,
    상기 제2훈련 데이터를 생성하는 단계는
    상기 제2이미지에 포함된 훈련 물체 이미지에 대응되는 훈련 물체 영역이 표시된 훈련 물체 마스크에, 상기 목표 물체 이미지에 대응되는 목표 물체 영역을 반영하는
    물체 파지를 위한 훈련 데이터 생성 방법.
  2. 제 1항에 있어서,
    상기 제1이미지는
    RGB 이미지 및 HSV 이미지를 포함하며,
    상기 목표 물체 이미지에 대한 윤곽선을 결정하는 단계는
    상기 RGB 이미지 및 상기 HSV 이미지를 이진화하는 단계;
    이진화된 두개의 이미지를 혼합하는 단계; 및
    혼합된 이미지에 대해 모폴로지 연산을 수행하여, 상기 윤곽선을 결정하는 단계
    를 포함하는 물체 파지를 위한 훈련 데이터 생성 방법.
  3. 삭제
  4. 제 1항에 있어서,
    상기 목표 물체 영역은
    상기 목표 물체 이미지가 상기 훈련 물체 이미지 상에 증강된 경우, 상기 훈련 물체 영역 상에 오버랩되는
    물체 파지를 위한 훈련 데이터 생성 방법.
  5. 제 1항에 있어서,
    상기 제1이미지는
    상기 목표 물체가 단일 색상의 평면에 위치한 상태에서 촬영된 이미지인
    물체 파지를 위한 훈련 데이터 생성 방법.
  6. 파지 로봇에서 목표 물체를 촬영하여 얻어진 제1이미지에서, 목표 물체 이미지를 검출하는 단계;
    상기 목표 물체 이미지 및 상기 제1이미지에 대한 깊이 이미지를 이용하여, 상기 목표 물체에 대한 깊이 정보를 반영하는 포인트 클라우드를 생성하는 단계;
    x-y 평면상에 위치하는 상기 파지 로봇의 기저면에 기반하여 상기 포인트 클라우드의 좌표를 회전시키는 단계;
    상기 좌표가 회전된 포인트 클라우드를 상기 x-y 평면 및 x-z 평면에 투영하는 단계; 및
    상기 투영된 이미지에 외접하는 직사각형을 생성하고, 상기 직사각형의 너비 및 높이에 따라서, 상기 파지 로봇의 파지 자세를 결정하는 단계를 포함하며,
    상기 파지 로봇의 파지 자세를 결정하는 단계는
    상기 x-y 평면에 투영된 이미지에 외접하는 제1직사각형 및 상기 x-z 평면에 투영된 이미지에 외접하는 제2직사각형을 생성하는 단계;
    상기 제1 및 제2직사각형 중에서, 엔드 이펙터의 파지 가능 폭보다 작은 너비 또는 높이를 갖는 직사각형을 결정하는 단계; 및
    상기 결정된 직사각형에 대응되는 평면 방향을 상기 엔드 이펙터의 진입 방향으로 결정하고, 상기 결정된 직사각형의 최소 너비 또는 최소 높이의 방향과 x축 사이의 각도를 상기 엔드 이펙터의 회전각으로 결정하는 단계
    를 포함하는 물체 파지를 위한 파지 자세 결정 방법.
  7. 삭제
  8. 삭제
  9. 제 6항에 있어서,
    상기 직사각형을 결정하는 단계는
    상기 엔드 이펙터의 파지 가능 폭보다 작은 너비 또는 높이를 갖는 직사각형 중에서, 최대의 너비 또는 높이를 갖는 직사각형을 결정하는
    물체 파지를 위한 파지 자세 결정 방법.
KR1020190015125A 2019-02-08 2019-02-08 물체 파지를 위한 훈련 데이터 생성 방법 및 파지 자세 결정 방법 KR102178013B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190015125A KR102178013B1 (ko) 2019-02-08 2019-02-08 물체 파지를 위한 훈련 데이터 생성 방법 및 파지 자세 결정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190015125A KR102178013B1 (ko) 2019-02-08 2019-02-08 물체 파지를 위한 훈련 데이터 생성 방법 및 파지 자세 결정 방법

Publications (2)

Publication Number Publication Date
KR20200097572A KR20200097572A (ko) 2020-08-19
KR102178013B1 true KR102178013B1 (ko) 2020-11-12

Family

ID=72291748

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190015125A KR102178013B1 (ko) 2019-02-08 2019-02-08 물체 파지를 위한 훈련 데이터 생성 방법 및 파지 자세 결정 방법

Country Status (1)

Country Link
KR (1) KR102178013B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220111074A (ko) 2021-02-01 2022-08-09 한국로봇융합연구원 적재된 객체 인식 장치 및 객체 인식 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802093B (zh) * 2021-02-05 2023-09-12 梅卡曼德（北京）机器人科技有限公司 对象抓取方法及装置
CN112802113B (zh) * 2021-02-05 2024-03-19 梅卡曼德（北京）机器人科技有限公司 一种任意形状物体的抓取点确定方法
KR102479343B1 (ko) * 2021-03-04 2022-12-19 아주대학교산학협력단 인공지능 기반의 식재료 추적 장치 및 방법과 이를 이용한 요리 로봇 시스템
KR102559105B1 (ko) * 2021-10-20 2023-07-26 한국과학기술원 로봇 손 시스템 및 로봇 손 제어 방법
CN116596923B (zh) * 2023-07-17 2023-09-12 天津市蓟州区民力新能源科技有限公司 基于边缘检测的园林植物识别方法及系统
CN117067218B (zh) * 2023-10-13 2024-04-05 宁德时代新能源科技股份有限公司 电芯抓取系统及其控制方法、产线模块

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4399462B2 (ja) * 2004-09-22 2010-01-13 ポリゴンマジック株式会社 画像処理装置、方法、およびプログラム
KR101878239B1 (ko) * 2017-03-22 2018-07-13 경남대학교 산학협력단 모바일 로봇 기반의 도서 관리 시스템
JP2018126862A (ja) * 2018-05-14 2018-08-16 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017151926A1 (en) * 2016-03-03 2017-09-08 Google Inc. Deep machine learning methods and apparatus for robotic grasping

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4399462B2 (ja) * 2004-09-22 2010-01-13 ポリゴンマジック株式会社 画像処理装置、方法、およびプログラム
KR101878239B1 (ko) * 2017-03-22 2018-07-13 경남대학교 산학협력단 모바일 로봇 기반의 도서 관리 시스템
JP2018126862A (ja) * 2018-05-14 2018-08-16 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
논문 (로봇과 인간 16(1), 2019.1, 39_49(11 PAGES))
이강민 외 4명. 스테레오비전과 6축 매니퓰레이터를 이용한 양팔 서비스 로봇 개발. 한국생산제조학회. 2018.6. pp. 271-277 1부*
장경훈 외 3명. 거리 측정 센서의 위치와 각도에 따른 깊이 영상 왜곡 보정 방법 및 하드웨어 구현. 한국정보통신학회. 2014.03.16. pp. 1103-1109 1부*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220111074A (ko) 2021-02-01 2022-08-09 한국로봇융합연구원 적재된 객체 인식 장치 및 객체 인식 방법

Also Published As

Publication number Publication date
KR20200097572A (ko) 2020-08-19

Similar Documents

Publication Publication Date Title
KR102178013B1 (ko) 물체 파지를 위한 훈련 데이터 생성 방법 및 파지 자세 결정 방법
US10997465B2 (en) Information processing device, information processing method, and storage medium
JP6417702B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
TWI395145B (zh) 手勢辨識系統及其方法
US8467596B2 (en) Method and apparatus for object pose estimation
US8442269B2 (en) Method and apparatus for tracking target object
US8970696B2 (en) Hand and indicating-point positioning method and hand gesture determining method used in human-computer interaction system
JP2007090448A (ja) 二次元コード検出装置及びそのプログラム、並びに、ロボット制御情報生成装置及びロボット
WO2012169251A1 (ja) 画像処理装置、情報生成装置、画像処理方法、情報生成方法、制御プログラムおよび記録媒体
JP2011065652A (ja) サインに基づくマンマシンインタラクション
JP2003346162A (ja) 手の画像認識による入力システム
Guo Research of hand positioning and gesture recognition based on binocular vision
JP2019192022A (ja) 画像処理装置、画像処理方法及びプログラム
CN114648756B (zh) 一种基于指向向量的书本文字识别指读方法和系统
WO2011142313A1 (ja) 物体認識装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体
JP2013037539A (ja) 画像特徴量抽出装置およびそのプログラム
Weerasekera et al. Robust asl fingerspelling recognition using local binary patterns and geometric features
CN110310336B (zh) 一种触控投影系统及图像处理方法
JP2018146347A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
WO2023082417A1 (zh) 抓取点信息获取方法、装置、电子设备和存储介质
CN115713547A (zh) 运动轨迹的生成方法、装置及处理设备
CN114022342A (zh) 抓取点信息获取方法、装置、电子设备和存储介质
CN114092428A (zh) 图像数据处理方法、装置、电子设备和存储介质
CN114037595A (zh) 图像数据处理方法、装置、电子设备和存储介质
WO2022096343A1 (en) Method and apparatus for distinguishing different configuration states of an object based on an image representation of the object

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right