KR20230175122A - 대상물의 조작, 특히 픽업을 위한 로봇 제어 방법 - Google Patents

Abstract

본 발명은, 다양한 실시예들에 따른, 대상물의 조작, 특히 픽업을 위한 로봇 제어 방법에 관한 것이며, 이러한 방법은, 대상물을 표시하는 이미지가 획득되는 단계; 이러한 이미지로부터, 대상물의 표면 상의 위치를 표현하는 각각의 픽셀에 대하여, 픽셀의 픽셀 값이, 이러한 위치에서 대상물이 얼마나 양호하게 조작될 수 있는지에 대한 추정치를 지정하는 조작 품질 이미지가 생성되는 단계; 조작 시 사용자 입력에 따라 사용되는 대상물의 위치들 및/또는 조작 시 사용자 입력에 따라 회피되어야 하는 위치들의 설명자들이 등록되는 단계; 이러한 이미지가 설명자 이미지에 매핑되는 단계; 위치들의 등록된 설명자들을 설명자 이미지에 의해 조정함으로써, 대상물의 표면 상의 위치를 표현하는 각각의 픽셀에 대하여, 픽셀의 픽셀 값이, 이러한 위치에서 대상물이 조작되어야 하는지에 대한 추정치를 지정하는 조작 선호도 이미지가 생성되는 단계; 조작 품질 이미지의 픽셀 값들과 조작 선호도 이미지의 픽셀 값들의 고려 하에 대상물의 조작을 위한 위치가 선택되는 단계; 및 선택된 위치에서 대상물을 조작하도록 로봇이 제어되는 단계;를 포함한다.

Description

대상물의 조작, 특히 픽업을 위한 로봇 제어 방법{METHOD FOR CONTROLLING A ROBOT FOR MANIPULATING, IN PARTICULAR PICKING UP, AN OBJECT}

본 발명은 대상물의 조작, 특히 픽업을 위한 로봇 제어 방법에 관한 것이다.

로봇을 통해 대상물이 픽업될 때, 파지를 위해, 예를 들어 용기로부터 대상물을 꺼내기 위해 가장 유망한 대상물 위치들을 인식하기 위한 복수의 접근 방식들이 존재한다. 이러한 접근 방식들은 일반적으로 장면의 RGBD 이미지들(즉, 색상 정보 및 깊이 정보를 갖는 이미지들)에 의해 작동하고, 몇몇 경우들에서는 RGB 이미지나 깊이 이미지로 충분하다. 또한, 이러한 접근법들 중 대부분은, 예를 들어 입력 데이터와 유망한 파지점 사이의 할당을 학습하기 위한 신경망의 사용과 같은 AI 방법들에 의존한다. 따라서, 이러한 AI 방법들이 대상물들의 표면들 상의 신뢰 가능하게 파지 가능한 영역들을 인식할 수 있는 것이 특히 중요하다. 그러나, 이와 관련하여, AI에 있어서 AI 방법들의 주요 도전 과제는, 특정한 방법 및 방식으로 실행되어야 하는 경우에 또는 쉽게 손상될 수 있는 특정 영역들이 회피되어야 하는 경우에 대상물이 어떻게 파지될 수 있는지를 학습하는 것이다. 이러한 과제가 인간의 관점에서는 종종 사소한 반면, 기계 학습 모델에 의해 고려될 수 있는 일반적인 기준들을 사전에 설정하기는 어렵다.

따라서, 로봇을 통한 대상물의 자동 픽업을 가능하게 하는 접근 방식들이 바람직하고, 로봇은 대상물의 어느 위치들이 픽업 시에 회피 또는 선호되어야 할지를 고려한다.

다양한 실시예들에 따라, 대상물의 조작, 특히 픽업을 위한 로봇 제어 방법이 제공되고, 이러한 방법은, 대상물을 표시하는 이미지가 획득되는 단계; 이러한 이미지로부터, 대상물의 표면 상의 위치를 표현하는 각각의 픽셀에 대하여, 픽셀의 픽셀 값이, 이러한 위치에서 대상물이 얼마나 양호하게 조작될 수 있는지에 대한 추정치를 지정하는 조작 품질 이미지가 생성되는 단계; 조작 시 사용자 입력에 따라 사용되는 대상물의 위치들 및/또는 조작 시 사용자 입력에 따라 회피되어야 하는 위치들의 설명자들이 등록되는 단계; 이미지가 설명자 이미지에 매핑되는 단계; 위치들의 등록된 설명자들을 설명자 이미지에 의해 조정함으로써, 대상물의 표면 상의 위치를 표현하는 각각의 픽셀에 대하여, 픽셀의 픽셀 값이, 이러한 위치에서 대상물이 조작되어야 하는지에 대한 추정치를 지정하는 조작 선호도 이미지가 생성되는 단계; 조작 품질 이미지의 픽셀 값들과 조작 선호도 이미지의 픽셀 값들의 고려 하에 대상물의 조작을 위한 위치가 선택되는 단계; 및 선택된 위치에서 대상물을 조작하도록 로봇이 제어되는 단계;를 포함한다.

상술한 방법은, 양호하게 조작될 수 있을 뿐만 아니라(기하학적 특성 또는 물리적 특성과 관련됨, 예를 들어 에지가 없고, 너무 거칠지 않음), (사용자 입력에 상응하게 그리고 그에 따라 사용자 선호도에 상응하게) 조작되기도 해야 하는 위치들에서의 조작; 또는 사용자의 관점에서 회피되어야 하는 위치들에서의 조작의 회피;를 가능하게 한다.

조작은, 특히 픽업(예를 들어, 파지 또는 흡입 그리퍼의 경우의 흡입)을 의미할 수 있다. 픽업 시의 하기에 설명되는 도전 과제들과, 다양한 실시예들에 따라 이를 위해 제공되는 조치들은 픽업 시에서와 마찬가지로, 키의 회전, 버튼의 누름 또는 레버의 당김과 같은 여타 활동 시에도 실행될 수 있거나, 이러한 여타 활동에 성공적으로 적용될 수 있다.

이 경우, 조작을 위한 위치들의 검출은 픽셀 단위로(예를 들어, 입력 이미지의 픽셀에 대해, 그러나 조작 품질 이미지 및 조작 선호도 이미지의 생성 시의 해상도 변경도 실행될 수 있고, 예를 들어 이러한 2개의 이미지들은 감소된 해상도를 가질 수 있음) 실행된다.

하기에는 다양한 실시예들이 제시된다.

실시예 1은, 상술한 바와 같은, 대상물의 조작, 특히 픽업을 위한 로봇 제어 방법이다.

실시예 2는 실시예 1에 따른 방법으로서, 조작 품질 이미지는 대상물들의 이미지들 및/또는 대상물들의 이미지들로부터 도출된 정보들을 조작 품질 이미지들에 매핑하도록 훈련된 제1 신경망에 의해 매핑되고 그리고/또는 이미지는 대상물들의 이미지들을 설명자 이미지들에 매핑하도록 훈련된 제2 신경망에 의해 설명자 이미지에 매핑된다.

신경망들의 사용은, 조작 품질 이미지 또는 조작 선호도 이미지의 생성을 위한 각각의 과제들의 효율적인 실행을 가능하게 한다. 이를 위해, (입력) 이미지는 색상 정보(또는 마찬가지로 회색 값) 및/또는 깊이 정보를 포함할 수 있다.

실시예 3은 실시예 1 또는 실시예 2에 따른 방법으로서, 이러한 방법은 조작 품질 이미지와 조작 선호도 이미지가 조합되는 단계와; 이러한 조합의 사용 하에 대상물의 조작을 위한 위치가 선택되는 단계;를 포함한다.

이에 따라, (예를 들어, 픽셀 단위의 조합을 통해) 조합된 이미지가 생성되고, 이러한 조합된 이미지는 (예를 들어 조작 품질 또는 조작 선호도 또는 이들의 조합의 코딩에 따른) 조합된 이미지 내의 위치의 검색을 통해(최대 픽셀 값 또는 최소 픽셀 값의 검색을 통해) 대상물의 조작, 특히 픽업(파지 또는 흡입)을 위한 양호한 적합성을 갖는 위치를 찾는 것을 가능하게 한다.

실시예 4는 실시예 1 내지 실시예 3 중 어느 하나의 실시예에 따른 방법으로서, 이러한 위치에서 대상물이 조작되어야 하는지에 대한 추정치는, 등록된 설명자들 중 하나의 설명자와, 설명자 이미지 내의 위치에 할당되는 설명자의 일치의 등급이다. 대상물의 각각의 위치에는 (입력) 이미지 내의 픽셀이 할당되고, 이는 설명자 이미지에 매핑되기 때문에, 이에 상응하게 대상물의 각각의 위치에는, 설명자 이미지 내의 픽셀이 할당되고, 이에 따라 (이러한 픽셀의 픽셀 값인) 설명자도 할당된다. 이와 유사하게, 대상물의 위치들은, 본원에서 사용 및 생성된 다양한 이미지들 내의 픽셀을 통해 표현되거나, 이러한 위치들에 (픽셀) 값들이 할당된다.

이에 따라, 추정치 내에는 위치가 회피되어야 하는지 또는 사용되어야 하는지에 대한 불확실성도 나타난다. 이러한 불확실성은, 조작을 위한 위치가 선택될 때 조작 품질 값의 픽셀 값들을 상응하게 고려함으로써 고려될 수 있다.

실시예 5는 실시예 1 내지 실시예 4 중 어느 하나의 실시예에 따른 방법으로서, 이러한 방법은, 대상물의 표면 상의 위치를 표현하는 각각의 픽셀에 대하여, 픽셀의 픽셀 값이, 설명자 이미지 내의 위치에 할당되는 설명자가 등록된 설명자와 얼마나 양호하게 일치하는지를 지정하는 설명자 일치 이미지를 각각의 등록된 설명자에 대하여 형성함으로써 조작 품질 이미지가 생성되는 단계와; 설명자 일치 이미지들이 조작 품질 이미지에 대해 조합되는 단계;를 포함한다.

예를 들어, 설명자 일치 이미지들(예를 들어, "히트 맵들")은, 픽셀 단위로 최대값이 설명자 일치 이미지들을 통해 취해짐으로써(또는 픽셀 값들에서의 일치의 코딩에 따라 최소값도 취해짐으로써) 조합될 수 있다. 이는 조작 품질 이미지의 효율적인 생성을 가능하게 한다.

실시예 6은 실시예 5에 따른 방법으로서, 이러한 방법은 조작 품질 이미지와 조작 선호도 이미지가 픽셀 단위 곱셈, 픽셀 단위 최대값 형성, 픽셀 단위 최소값 형성을 통해 조합되는 단계와; 조작 품질 이미지가, 사전 결정된 최소 품질 미만의 조작 품질을 지정하는 위치들이 제외되는 단계와; 조작 선호도 이미지가, 조작 시 사용자 입력에 따라 사용되어야 하는 위치에 대해 등록된 설명자와의 일치를 사전 결정된 최소 일치 미만으로 지정하는 위치들이 제외되는 단계와; 그리고/또는 조작 선호도 이미지가, 조작 시 사용자 입력에 따라 회피되어야 하는 위치에 대해 등록된 설명자와의 일치를 사전 결정된 최대 일치를 초과하도록 지정하는 위치들이 제외되는 단계;를 포함한다.

이러한 방식으로, 대상물이 조작될 수 있을 뿐만 아니라 조작되기도 해야 하는 위치들을 지정하는 조합된 이미지가 효율적으로 생성될 수 있다.

실시예 7은 실시예 1 내지 실시예 6 중 어느 하나의 실시예에 따른 방법을 실행하도록 구성된 로봇 제어 장치이다.

실시예 8은, 프로세서를 통해 실행될 때 이러한 프로세서로 하여금 실시예 1 내지 실시예 6 중 어느 하나의 실시예에 따른 방법을 실행하도록 하는 명령어를 갖는 컴퓨터 프로그램이다.

실시예 9는, 프로세서를 통해 실행될 때 이러한 프로세서로 하여금 실시예 1 내지 실시예 6 중 어느 하나의 실시예에 따른 방법을 실행하도록 하는 명령어를 저장하는 컴퓨터 판독 가능한 매체이다.

도면들에서 동일한 도면 부호들은 일반적으로, 다양한 전체 관점들에서 동일한 부분들과 관련된다. 도면들은 반드시 축척에 따른 것은 아니며, 그 대신 일반적으로 본 발명의 원리를 설명하는 데에 강조점을 둔다. 하기 설명에서는, 다양한 양태들이 하기 도면들을 참조하여 설명된다.

도 1은 로봇을 도시한 도면이다.
도 2는 일 실시예에 따른, 대상물의 픽업을 위한 위치 결정을 도시한 도면이다.
도 3은 대상물의 조작, 특히 픽업을 위한 로봇 제어 방법을 도시한 흐름도이다.

하기 상세한 설명은, 본 발명이 실행될 수 있는 본 개시 내용의 특정 세부 사항들 및 양태들을 설명을 위해 도시하는 첨부 도면을 참조한다. 또 다른 양태들이 사용될 수 있고, 본 발명의 보호 범위를 벗어나지 않으며 구조적 변경, 논리적 변경 및 전기적 변경이 실행될 수 있다. 본 개시 내용의 다양한 양태들은 반드시 상호 배타적이지는 않은데, 이는 본 개시 내용의 몇몇 양태들이 본 개시 내용의 하나 이상의 또 다른 양태들과 조합될 수 있음으로써, 새로운 양태들이 형성될 수 있기 때문이다.

하기에는 다양한 예시들이 더욱 상세히 설명된다.

도 1은 로봇(100)을 도시한다.

로봇(100)은 워크피스(또는 하나 이상의 또 다른 대상물)의 취급 또는 조립을 위한 로봇 암(101), 예를 들어 산업용 로봇 암을 포함한다. 로봇 암(101)은 조작기(102, 103, 104)들 및 조작기(102, 103, 104)들을 지지하는 베이스(또는 지지부)(105)를 포함한다. "조작기"라는 용어는 로봇 암(101)의 운동 가능한 구성 요소들을 의미하고, 이러한 구성 요소들의 작동은, 예를 들어 과제를 실행하기 위하여 주변부와의 물리적 상호 작용을 가능하게 한다. 제어를 위해, 로봇(100)은, 제어 프로그램에 따라 주변부와의 상호 작용을 구현하도록 구성된 (로봇) 제어 장치(106)를 포함한다. 조작기(102, 103, 104)들의 [지지부(105)에서 가장 먼] 마지막 구성 요소(104)는 엔드 이펙터(end effector)(104)라고도 불리고, 예를 들어 용접 토치, 파지 기구, 도장 장치 등과 같은 하나 이상의 공구를 포함할 수 있다.

[지지부(105)에 더 가까운] 또 다른 조작기(102, 103)들은 위치 결정 장치를 형성할 수 있으므로, 엔드 이펙터(104)와 함께, 자신의 단부에 엔드 이펙터(104)를 갖는 로봇 암(101)이 제공된다. 로봇 암(101)은, 인간의 팔과 유사한 기능들을 제공할 수 있는 (자신의 단부에 공구를 가질 수도 있는) 기계 팔이다.

로봇 암(101)은, 조작기(102, 103, 104)들을 서로 연결하고 지지부(105)와 연결시키는 관절 요소(107, 108, 109)들을 포함할 수 있다. 관절 요소(107, 108, 109)는, 연관된 조작기들의 서로에 대한 회전 가능한 운동(즉, 회전 운동) 및/또는 병진 운동(즉, 변위)을 각각 제공할 수 있는 하나 이상의 관절부를 포함할 수 있다. 조작기(102, 103, 104)들의 운동은, 제어 장치(106)를 통해 제어되는 액추에이터들에 의해 개시될 수 있다.

"액추에이터"라는 용어는, 구동에 대한 반응으로서 메커니즘 또는 프로세스에 영향을 미치도록 형성된 부품을 의미할 수 있다. 액추에이터는 제어 장치(106)를 통해 생성된 명령(소위 활성화)을 기계적 운동으로 구현할 수 있다. 액추에이터, 예를 들어 전기 기계식 컨버터는 활성화에 대한 반응으로서 전기 에너지를 기계 에너지로 변환하도록 구성될 수 있다.

"제어부"라는 용어는, 예를 들어 저장 매체에 저장된 소프트웨어, 펌웨어 또는 이들의 조합을 실행할 수 있고 명령을, 예를 들어 본 예시의 액추에이터에 제공할 수 있는 회로 및/또는 프로세서를 포함할 수 있는 임의 유형의 논리 구현 엔티티를 의미할 수 있다. 시스템, 즉 본 예시의 로봇의 작동을 제어하기 위해, 제어부는 예를 들어 프로그램 코드(예를 들어, 소프트웨어)를 통해 구성될 수 있다.

본 예시에서, 제어 장치(106)는 하나 이상의 프로세서(110)와, 프로세서(110)가 로봇 암(101)을 제어하는데 기반이 되는 코드 및 데이터를 저장하는 메모리(111)를 포함한다. 다양한 실시예들에 따라, 제어 장치(106)는, 메모리(111) 내에 저장된 기계 학습 모델(112)에 기반하여 로봇 암(101)을 제어한다.

다양한 실시예들에 따라, 기계 학습 모델(112)은, 로봇(100)이 대상물(113)을 픽업할 수 있는(또는 다른 방식으로 대상물과 상호 작용할 수 있는, 예를 들어 도장) 대상물(113)의 위치들을 로봇(100)이 인식할 수 있도록 하기 위해 구성되고 훈련된다.

예를 들어, 로봇(100)에는, 로봇이 자신의 작업 공간의 이미지를 캡쳐할 수 있도록 하는 하나 이상의 카메라(114)가 장착될 수 있다. 예를 들어, 카메라(114)는 로봇 암(101)에 고정되므로, 로봇은 자신의 로봇 암(101)을 이리저리 움직임으로써 다양한 관점들로부터 대상물(113)의 이미지들을 찍을 수 있다.

다양한 실시예들에 따라, 기계 학습 모델(112)은 신경망(112)이고, 제어 장치(106)는 대상물(113)의 하나 이상의 디지털 이미지(컬러 이미지, 깊이 이미지 또는 둘 다)를 기반으로 입력 데이터를 신경망(112)에 공급하고, 신경망(112)은, 대상물(113)의 픽업에 적합한 대상물(113)의 위치들(또는 영역들)을 지정하도록 구성된다. 예를 들어, 신경망은 대상물(113)을 표시하는 입력 이미지를 상응하게 분할할 수 있고, 예를 들어 각각의 픽셀에, 픽셀이 캡쳐를 위해 어느 정도로 양호한 적합성을 갖는지를 나타내는 값("조작 품질 값" 또는 본 적용예에서는 "캡쳐 품질 값")을 할당할 수 있다. 이후, 제어 장치(106)는, 픽업을 위한 위치로서 충분한 크기의 영역을 선택할 수 있고, 이러한 영역에서 이러한 값들은 충분히 높다(예를 들어, 임계값을 초과하는 높이, 평균적으로 최대값의 높이 등을 갖는다).

다양한 실시예들에 따라, 카메라에 의해 제공된 원시 이미지 데이터는, 입력으로서 신경망(112)에 직접 공급되는 대신, 제어 장치(106)에 의해 전처리된다. 이러한 전처리의 결과는 (경우에 따라서는 원시 이미지 데이터의 적어도 일부와 함께) 신경망(112)의 입력으로서 사용된다.

이에 대한 한 가지 가능성은 예를 들어, 전처리 시에, 디지털 이미지들 내에 표시된 대상물들의 표면의 법선 벡터들의 표준 편차(또는 분산과 같은 편차에 대한 또 다른 척도)이다. 법선 벡터 표준 편차는 표면의 국소 편평도를 나타내는데 적합하고, 이에 따라 파지 품질(또는 흡입을 위한 대상물 영역의 품질)에 대한 특히 연관성을 갖는 정보이다.

예를 들어, 하나 이상의 카메라는, 예를 들어 카메라(114)에 상응하게, 특히 대상물에 대한 깊이 정보를 포함하는 원시 이미지 데이터(즉, 하나 이상의 이미지)를 제공한다. 이러한 깊이 정보로부터, 전처리 시에 (표면의 다양한 영역들에서의) 대상물의 표면의 법선 벡터들과 그 표준 편차들이 결정된다. 이는 입력으로서 신경망(112)에 공급된다. 신경망(112)의 입력은, 원시 이미지 데이터 또는 선행하는 이미지 향상 전처리(예를 들어, 노이즈 감소)에 따라 그로부터 생성된 이미지 데이터의 일부(또는 전체)도 포함할 수 있다. 이러한 선행하는 이미지 향상 전처리는, 표준 편차 결정의 기반으로서 이후 사용되는 이미지 데이터를 생성하는데 사용될 수도 있다. 신경망은 [예를 들어, (법선 벡터 표준 편차를 포함한) 상응하는 훈련 입력과, 연관된 목표 출력, 즉 지도 학습을 위한 실측 정보(Ground-Truth-Information)에 의하여] 입력을, 대상물의 픽업을 위해 (예를 들어 특히 양호한) 적합성을 갖는 대상물의 위치들 또는 영역들을 식별하는 출력에 매핑하도록 훈련된다.

다양한 아키텍처들이 신경망(112)을 위해 사용될 수 있다. 신경망(112)은 법선 벡터들의 표준 편차들에 대한 단 하나의 입력 채널만을 포함할 수 있거나, 또 다른 데이터(예를 들어, 색상 이미지 데이터 및/또는 깊이 이미지 데이터)에 추가하여 채널의 데이터로서 법선 벡터들의 표준 편차를 포함하는 다중 채널 입력을 포함할 수 있다. 입력 이미지와 동일한 크기의 출력 이미지를 형성하기 위하여 입력 이미지의 각각의 픽셀에 (표시된 대상물의 픽업을 위한 각각의 위치의 적합성을 나타내는) 값을 할당하는 완전한 복잡형 신경망(fully convolutional network, 예를 들어 UNet, ResNet)들이 그 예시들이다.

상기 접근 방식들에 의해서는, 예를 들어 상술한 법선 벡터들이 고려되는 경우, 카메라(114)에 의해 캡쳐된 입력 이미지로부터 조작 품질 이미지가 생성될 수 있고, 이러한 조작 품질 이미지에서는 각각의 픽셀에 대하여 (예를 들어, 간격[0, 1]으로 존재하는) 픽셀 값이, 픽셀에 상응하는(즉, 조작 품질 이미지 내의 픽셀의 위치에 상응하는 입력 이미지 내 위치를 갖는 입력 이미지 내 픽셀에 의해 나타나는) 위치에서 대상물이 얼마나 양호하게 픽업될 수 있는지를 지정한다.

그러나, 조작 품질 이미지에 기반한 대상물의 위치의 선택(예를 들어, 가장 높은 픽셀 값을 갖는 조작 품질 이미지 내의 픽셀에 상응하는 위치에서의 파지)은 최적이 아닌 결과를 제공할 수 있는데, 이는 예를 들어, 대상물이 이러한 위치에서 양호하게 픽업될 수는 있지만(또는 일반적으로 조작될 수는 있지만), 대상물이 이러한 위치에서 픽업되는 경우에는, 예를 들어 처리될 위치 또는 바코드도 그리퍼에 의해 가려지거나, 또한 이러한 위치가 민감하므로 추가 처리가 그다지 양호하게 실행될 수 없기 때문이다.

따라서, 다양한 실시예에 따르면, 대상물의 픽업을 위한 위치는, 위치들에서 얼마나 양호하게 파지될 수 있는지를 지정하는, 조작 품질 이미지가 제공하는 것과 같은 조작 품질 값들의 조합에 기반하여, 위치들에서 파지되어야 하는지를 지정하는 값들(여기서는 "조작 선호도 값들"이라고 불리거나, 본 적용예에서는 "픽업 선호도 값들"이라고 불림)과 조합된다.

다양한 실시예들에 따라, 이러한 조작 선호도 값들을 갖는 조작 선호도 이미지의 생성을 위하여, 추가 신경망이, 예를 들어 제어 장치(106) 내의 추가 기계 학습 모델(115)로서 사용되고, 이러한 추가 기계 학습 모델은 입력 이미지를 설명자 공간 이미지에 매핑한다.

이러한 추가적인 신경망(115)의 예시는 조밀한 대상물 망이다. 조밀한 대상물 망(dense object net: DON)은 이미지를 임의 차원의(차원 D) 설명자 공간 이미지에 매핑한다. 조밀한 대상물 망은, 이미지의 입력 이미지에 대해 설명자 공간 이미지를 출력하는 것이 자기 지도 학습의 사용 하에 훈련되는 신경망이다. 이에 따라, 알려진 대상물의 이미지들이, 이미지의 관점과는 독립적으로 대상물들에서의 위치들을 식별하는 설명자들을 포함하는 설명자 이미지들에 매핑될 수 있다. 대상물 유형마다 각각의 DON이 제공될 수 있다.

이러한 신경망(115)(하기에는 예시로서 DON)은 하기와 같이 입력 이미지에 대해 조작 선호도 이미지를 생성하는 것을 가능하게 한다.

(1) 대상물 유형마다, 대상물 유형의 대상물의 (참조) 이미지가 각각의 DON(115)에 의해 설명자 이미지에 매핑된다.

(2) 사용자는 대상물이 파지되어야 할 대상물의 이미지 상에서 픽셀을 (예를 들어 클릭을 통해) 선택하고, 선택된 픽셀의 설명자[즉, DON(115)에 의해 픽셀이 매핑된 설명자 값]들이 등록된다. 예를 들어, 사용자는, 예를 들어 다각형의 꼭지점들 상의 클릭 또는 상응하는 볼록한 외피 내부의 픽셀들의 클릭을 통하여 영역들을 선택함으로써 픽셀을 선택할 수도 있다. 이는, 표면의, 사용자가 원하는 모든 영역들 또는 위치들이 마킹될 때까지(그리고 관련 설명자들이 등록될 때까지) 반복된다. 이와 유사하게, 사용자는 픽업 시에 회피되어야 하는 위치들도 선택할 수도 있다.

(3) (1)과 (2)는 대상물의 모든 측면들을 기록하기 위해 복수의 참조 이미지들에 대해 반복될 수 있다.

이에 따라, 픽업을 위한 선호되는(또는 회피될) 위치들에 상응하는 설명자들의 집합이 알려진다(그리고 등록된다). DON을 통해서는, 입력 이미지 내의 등록된 설명자들이 검색됨으로써, 입력 이미지 내에 있는 대상물의 위치들이 인식될 수 있다. 이에 상응하게, 하기와 같이 추가 진행이 이루어진다.

(4) 입력 이미지의 경우,

a. DON(115)은 입력 이미지로부터 설명자 이미지를 결정한다.

b. 입력 이미지에 대한 설명자 이미지 내에서는 등록된 설명자들에 대한 검색이 실행되고, 등록된 설명자들 중 하나의 설명자에 대해 픽셀의 설명자가 얼마나 양호하게 매칭되는지를 픽셀의 픽셀 값이 지정하는 방식으로, 즉 명확하게는 등록된 설명자들과의 일치와 관련한 그리고 이에 따라 사용자에 의해 선택된 위치들과 관련한 "(설명자 일치) 히트 맵"의 형태로 (예를 들어, 간격[0, 1]의 픽셀 값들을 갖는) 조작 선호도 이미지가 생성된다. 이는 예를 들어, 등록된 설명자마다 각각의 히트 맵이 생성되고, 조작 선호도 이미지가 이러한 모든 히트 맵들에 걸친 (픽셀 단위의) 최대값으로서 형성되도록 실행될 수 있다.

도 2는 예를 들어 제어 장치(106)를 통해 실행되는, 일 실시예에 따른 대상물의 픽업을 위한 위치의 결정을 도시한다.

입력 이미지(201)는, 조작 품질 이미지(203)(조작이 픽업인 본 경우에는, 픽업 품질 이미지)를 생성하는 제1 신경망(202)[신경망(112)에 상응]에 공급된다.

입력 이미지(201)는 입력 이미지(201)에 대한 설명자 이미지(205)를 생성하는 제2 신경망(204)[신경망(115)에 상응]에 공급된다. 등록된 설명자(208)들에 의한 조정을 통하여, 설명자 이미지(205)로부터는 히트 맵(206), 즉 조작 선호도 이미지(조작이 픽업인 본 경우에는, 조작 선호도 이미지)가 생성된다.

조작 품질 이미지(203) 및 조작 선호도 이미지(206)는, 여기에서는 예를 들어 이러한 2개의 이미지들의 픽셀 값들을 픽셀 단위로 곱함으로써 조합된다.

이후, 제어 장치(106)는 로봇 암(101)이 대상물(113)을 파지하는 위치를, 조작 선호도 이미지와 조작 품질 이미지의 조합(207)에 기반하여 선택한다.

예를 들어, 조합된 이미지(207)가 (예를 들어, 조작 품질 이미지에 조작 선호도 이미지를 픽셀 단위로 곱함으로써) 생성될 수 있고, 픽업을 위한 위치들 또는 픽업 포즈의 결정을 위한 추가 처리가, 예를 들어 조합된 이미지 내의 전역 최대값의 선택을 통해 실행될 수 있다.

즉, 픽업 품질의 결정은, 설명자 이미지들을 생성하는 신경망(예를 들어, DON)의 사용 하에 픽업 선호도를 결정함으로써 보완된다. 사용자는 적은 수의 (초기- 또는 참조-) 이미지들에 대해 수동으로 대상물들의 선호 영역들을 지정할 수 있고, 제어 장치(106)는 이러한 영역들을 설명자들에 의하여 새로운 입력 이미지들에 대해 인식하고, 이에 따라 (픽업 품질이 충분히 높은 경우에도) 이러한 영역들을 다른 영역들에 비해 선호할 수 있다. 사용자가 적은 수의 영역들 또는 위치들만 마킹하면 되므로, 상술한 접근 방식은 경험이 없는 사용자들에게도 간단한 방식으로 사용될 수 있다.

픽업 품질을 결정하는 신경망(112)은, 주석이 달린 기존 입력 데이터(예를 들어, RGB-D 이미지)로부터 지도 방식으로 훈련될 수 있으므로, 대상물들이 픽업될 수 있는 대상물들의 표면의 위치들을 식별하는 라벨들이 제공된다.

신경망(103)의 목표 출력이 DON에 의해 자동으로 생성됨으로써, 상응하는 훈련 데이터가 다시금 DON에 의해 생성될 수 있다. 이를 위해, 알려진 (훈련-) 대상물들의 표면들 상에서는 픽업을 위해 양호한 적합성을 갖는 영역들이 식별된다(이는 불량한 적합성을 갖는 영역들이 마킹됨으로써 간접적으로 실행될 수도 있다). 훈련 입력 이미지들 내의 이러한 영역들의 검출을 통하여, 훈련 입력 이미지들 내의 영역들은 자동으로 식별될 수 있다. 훈련 입력 이미지들 내의 이러한 영역들의 검출은 다시금 설명자들을 통해 실행될 수 있다.

대상물 및 장면 표현을 (설명자 이미지의 형식으로) 생성하기 위한 DON의 훈련은 자체 지도식으로 실행될 수 있다. 예를 들어, 정적인(즉, 위치 고정된, 예를 들어 고정 조립된) 카메라가 이미지들의 캡쳐를 위해 사용될 수 있는, 즉 단 하나의 시점으로부터 각각의 훈련 장면을 표시하는 훈련 이미지들이 캡쳐되는 방법이 이를 위해 사용된다. 이 경우, 훈련 장면의 캡쳐된 훈련 이미지들이 증강됨으로써, 기계 학습 모델을 위한 훈련 데이터가 생성된다. 이는 두 가지의(또는 여러 가지의) 방식들로 실행되므로, 각각의 캡쳐된 훈련 이미지에 대해 훈련 데이터는 캡쳐된 훈련 이미지의 복수의 증강된 버전들을 포함한다. 이후, 사용된 증강을 통해서는, 어느 픽셀이 상응하는지가 결정될 수 있다. (이를 가능하게 함으로써, 다양한 실시예들에 따라 사용될 수 있는)이러한 증강은 예를 들어 무작위 회전, 원근 변환 및 아핀 변환이다. 이후, DON은 훈련 이미지 쌍들의 사용 하의 대비 손실에 의해 훈련될 수 있고, 각각의 훈련 이미지 쌍은 캡쳐된 훈련 이미지와, 훈련 이미지의 증강 또는 훈련 이미지의 2개의 증강된 버전들을 포함한다. 이 경우, 서로 상응하는 픽셀들에 대해 DON이 생성하는 설명자 값들은 양수 쌍으로서 사용되고, 서로 상응하지 않는 픽셀들에 대해 기계 학습 모델이 생성하는 설명자 값들은 음수 쌍으로서 사용된다.

이 경우, DON의 훈련은 예를 들어 하기와 같이 실행된다.

(1) 로봇이 작업할 수 있을(즉, 로봇이 자동으로 픽업할 수 있을) 대상물 유형들의 집합이 선택된다.

(2) 대상물 유형들의 무작위 대상물이 로봇(100)의 작업 영역 내의 용기 내에 위치 설정된다.

(3) 작업 영역의 RGB-D 이미지가 캡쳐된다.

(4) RGB-D 이미지가 증강되고, DON은 증강(및 예를 들어 대비 손실)의 사용 하에 자체 지도식으로 훈련된다.

요약하면, 다양한 실시예들에 따라, 도 3에 도시된 바와 같은 방법이 제공된다.

도 3은 대상물의 조작, 특히 픽업을 위한 로봇 제어 방법을 도시한 흐름도(300)를 보여준다.

301에서는 대상물을 표시하는 이미지가 획득된다.

302에서, 이러한 이미지로부터는, 대상물의 표면 상의 위치를 표현하는 각각의 픽셀에 대하여, 픽셀의 픽셀 값이, 이러한 위치에서 대상물이 얼마나 양호하게 조작될 수 있는지에 대한 추정치를 지정하는 조작 품질 이미지가 생성된다.

303에서는, 조작 시 사용자 입력에 따라 사용되는 대상물의 위치들 및/또는 조작 시 사용자 입력에 따라 회피되어야 하는 위치들의 설명자들이 등록된다.

304에서 이미지는 설명자 이미지에 매핑된다.

305에서는, 위치들의 등록된 설명자들을 설명자 이미지에 의해 조정함으로써, 대상물의 표면 상의 위치를 표현하는 각각의 픽셀에 대하여, 픽셀의 픽셀 값이, 이러한 위치에서 대상물이 조작되어야 하는지에 대한 추정치를 지정하는 조작 선호도 이미지가 생성된다.

306에서는, 조작 품질 이미지의 픽셀 값들과 조작 선호도 이미지의 픽셀 값들의 고려 하에 대상물의 조작을 위한 위치가 선택된다.

307에서 로봇은, 선택된 위치에서 대상물을 조작하도록 제어된다.

다시 말하자면, 다양한 실시예들에 따라, 사용자 선호도들에 따른 주석들은 (예를 들어, 대상물 중심식으로, 자체 지도식으로) 훈련된 대상물 표현 모델(설명자들을 생성함, 예를 들어 DON)에 의하여, 조작을 위한 위치들의 AI 안내 예측과 조합된다. 대상물 표현 모델은, 인간 사용자가, 아마도 (픽업 시에 또는 추가 처리 시에도) 더 큰 성공을 유도할 위치들을 지정할 수 있도록 하고, 이러한 위치들은 새로 캡쳐된 입력 이미지들을 위해 자동으로 인식된다.

도 3의 처리가 제시된 순서대로 반드시 실행될 필요는 없다는 점에 유의해야 한다. 예를 들어, 조작 선호도 이미지는 조작 품질 이미지 이전에 생성될 수도 있다.

도 3의 방법은, 하나 이상의 데이터 처리 유닛을 구비한 하나 이상의 컴퓨터를 통해 실행될 수 있다. "데이터 처리 유닛"이라는 용어는, 데이터 또는 신호의 처리를 가능하게 하는 모든 유형의 엔티티를 의미할 수 있다. 데이터 또는 신호는 예를 들어, 데이터 처리 유닛을 통해 실행되는 적어도 하나(즉, 하나 또는 하나를 초과하는) 특정 기능에 따라 처리될 수 있다. 데이터 처리 유닛은 아날로그 회로, 디지털 회로, 논리 회로, 마이크로프로세서, 마이크로컨트롤러, 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 디지털 신호 프로세서(DSP), 프로그래머블 게이트 어레이(FPGA)의 통합 회로, 또는 이들의 조합을 포함할 수 있거나, 이로 형성될 수 있다. 본원에 더 상세히 설명된 각각의 기능들을 구현하기 위한 또 다른 모든 방법은 데이터 처리 유닛 또는 논리 회로 배열체를 의미할 수도 있다. 본원에 상세히 설명된 하나 이상의 방법 단계가, 데이터 처리 유닛을 통하여, 데이터 처리 유닛을 통해 실행되는 하나 이상의 특정 기능을 통해 실행될 수 있다(예를 들어, 구현될 수 있다).

기계 학습 모델에 대한 입력 데이터로서, 예를 들어 색상 이미지 및 깊이 이미지가 사용된다. 그러나, 이러한 이미지들은, 예를 들어 Radar, LiDAR, 초음파, 모션, 열화상 등과 같은 여타 센서들의 센서 신호들을 통해 보완될 수도 있다. 예를 들어, RGB 이미지 및 깊이 이미지가 로봇 셀에서 캡쳐되고, 이미지는(또는 복수의 이러한 이미지들은) 하나 이상의 대상물의 파지를 위한 후보 위치들을 생성하고, 사용자 선호도에 따른 주석들에 기반하여 설명자 일치 히트 맵을 생성하는데 사용된다. 이후, 우도 히트 맵은, 낮은 우도 값을 갖는 후보 위치들을 폐기하기 위해 사용될 수 있는데, 즉 등록된 설명자 값들, 즉 사용자가 선택한 위치들의 설명자들에 가까운 설명자들을 갖는 후보 위치들은 허용되는 반면, 등록된 설명자 값들에 비해 크게 상이한 설명자들을 갖는 후보 위치들은 폐기된다. 예를 들어, 히트 맵 값이 픽셀 위치에서 한계값 미만인 경우, 이러한 픽셀 위치에 있는 후보 위치는 폐기된다.

이후, 나머지 후보 위치들로부터, 로봇은 (무작위로) 위치를 선택할 수 있고, 선택된 위치에서 각각의 대상물을 파지(또는 흡입)할 수 있다.

다양한 시나리오들 하의 다양한 조작 과제들을 달성하기 위하여, 실시예들이 예를 들어 자동으로 로봇 조작기들에 의해 로봇을 제어하기 위해 그리고 기계 학습 시스템을 훈련하기 위해 사용될 수 있다. 특히, 실시예들이 예를 들어 조립 라인에서 조작 과제들의 실행을 제어하고 모니터링하는데 적용 가능하다.

본원에서는 특정 실시예들이 도시되고 설명되었지만, 관련 분야의 통상의 기술자는, 도시되고 설명된 특정 실시예들이 본 발명의 보호 범위를 벗어나지 않으며 다양한 대안적인 그리고/또는 등가의 구현들로 대체될 수 있음을 인식할 것이다. 본 출원은 본원에 설명된 특정 실시예들의 모든 적응 형태들 또는 변형 형태들을 커버할 것이다. 따라서, 본 발명은 청구 범위 및 그 등가물을 통해서만 제한되는 것으로 의도된다.

Claims (9)

1. 대상물의 조작, 특히 픽업을 위한 로봇 제어 방법으로서, 이러한 방법은,
   대상물을 표시하는 이미지가 획득되는 단계;
   상기 이미지로부터, 대상물의 표면 상의 위치를 표현하는 각각의 픽셀에 대하여, 픽셀의 픽셀 값이, 이러한 위치에서 대상물이 얼마나 양호하게 조작될 수 있는지에 대한 추정치를 지정하는 조작 품질 이미지가 생성되는 단계;
   조작 시 사용자 입력에 따라 사용되는 대상물의 위치들 및/또는 조작 시 사용자 입력에 따라 회피되어야 하는 위치들의 설명자들이 등록되는 단계;
   이미지가 설명자 이미지에 매핑되는 단계;
   위치들의 등록된 설명자들을 설명자 이미지에 의해 조정함으로써, 대상물의 표면 상의 위치를 표현하는 각각의 픽셀에 대하여, 픽셀의 픽셀 값이, 이러한 위치에서 대상물이 조작되어야 하는지에 대한 추정치를 지정하는 조작 선호도 이미지가 생성되는 단계;
   조작 품질 이미지의 픽셀 값들과 조작 선호도 이미지의 픽셀 값들의 고려 하에 대상물의 조작을 위한 위치가 선택되는 단계; 및
   선택된 위치에서 대상물을 조작하도록 로봇이 제어되는 단계;를 포함하는, 로봇 제어 방법.
2. 제1항에 있어서, 조작 품질 이미지는 대상물들의 이미지들 및/또는 대상물들의 이미지들로부터 도출된 정보들을 조작 품질 이미지들에 매핑하도록 훈련된 제1 신경망에 의해 매핑되고 그리고/또는 이미지는 대상물들의 이미지들을 설명자 이미지들에 매핑하도록 훈련된 제2 신경망에 의해 설명자 이미지에 매핑되는, 로봇 제어 방법.
3. 제1항 또는 제2항에 있어서, 조작 품질 이미지와 조작 선호도 이미지가 조합되는 단계와; 이러한 조합의 사용 하에 대상물의 조작을 위한 위치가 선택되는 단계;를 포함하는, 로봇 제어 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서, 위치에서 대상물이 조작되어야 하는지에 대한 추정치는, 등록된 설명자들 중 하나의 설명자와, 설명자 이미지 내의 위치에 할당되는 설명자의 일치의 등급인, 로봇 제어 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 대상물의 표면 상의 위치를 표현하는 각각의 픽셀에 대하여, 픽셀의 픽셀 값이, 설명자 이미지 내의 위치에 할당되는 설명자가 등록된 설명자와 얼마나 양호하게 일치하는지를 지정하는 설명자 일치 이미지를 각각의 등록된 설명자에 대하여 형성함으로써 조작 품질 이미지가 생성되는 단계와; 설명자 일치 이미지들이 조작 품질 이미지에 대해 조합되는 단계;를 포함하는, 로봇 제어 방법.
6. 제5항에 있어서, 조작 품질 이미지와 조작 선호도 이미지가 픽셀 단위 곱셈, 픽셀 단위 최대값 형성, 픽셀 단위 최소값 형성을 통해 조합되는 단계와; 조작 품질 이미지가, 사전 결정된 최소 품질 미만의 조작 품질을 지정하는 위치들이 제외되는 단계와; 조작 선호도 이미지가, 조작 시 사용자 입력에 따라 사용되어야 하는 위치에 대해 등록된 설명자와의 일치를 사전 결정된 최소 일치 미만으로 지정하는 위치들이 제외되는 단계와; 그리고/또는 조작 선호도 이미지가, 조작 시 사용자 입력에 따라 회피되어야 하는 위치에 대해 등록된 설명자와의 일치를 사전 결정된 최대 일치를 초과하도록 지정하는 위치들이 제외되는 단계;를 포함하는, 로봇 제어 방법.
7. 제1항 내지 제6항 중 어느 한 항에 따른 방법을 실행하도록 구성된 로봇 제어 장치.
8. 프로세서를 통해 실행될 때 이러한 프로세서로 하여금 제1항 내지 제6항 중 어느 한 항에 따른 방법을 실행하도록 하는 명령어를 갖는 컴퓨터 프로그램.
9. 프로세서를 통해 실행될 때 이러한 프로세서로 하여금 제1항 내지 제6항 중 어느 한 항에 따른 방법을 실행하도록 하는 명령어를 저장하는 컴퓨터 판독 가능한 매체.

Images