KR20220062622A

KR20220062622A - 데이터 처리 방법 및 관련 장치

Info

Publication number: KR20220062622A
Application number: KR1020227012517A
Authority: KR
Inventors: 타오 조우; 싱야오 유
Original assignee: 선전 센스타임 테크놀로지 컴퍼니 리미티드
Priority date: 2019-10-31
Filing date: 2019-12-20
Publication date: 2022-05-17
Also published as: CN110796671A; TW202119406A; US20220254059A1; WO2021082229A1; CN110796671B; JP2022553356A; TWI748409B

Abstract

본 발명은 데이터 처리 방법 및 관련 장치에 관한 것으로, 이 방법은 하나 이상의 위치 확인 대상 물체를 포함하는 처리 대상점군을 취득하는 것(101)과, 상기 처리 대상점군에서, 서로 상이한 2개 이상의 목표 영역을 결정하고, 상기 목표 영역에서의 점의 초기 법선 벡터에 기초하여 상기 목표 영역에서의 점의 법선 벡터를 유의 법선 벡터로 조정하는 것(102)과, 상기 목표 영역의 유의 법선 벡터에 기초하여 상기 처리 대상점군에 대해 분할 처리를 행하여, 하나 이상의 분할 영역을 얻는 것(103)과, 상기 하나 이상의 분할 영역에서의 점의 3차원 위치에 기초하여 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 취득하는 것(104)을 포함하는 것이다.

Description

데이터 처리 방법 및 관련 장치

본원은 2019년 10월 31일에 중국 국가지식산권국에 제출된, 출원번호가 201911053659.2이고, 발명의 명칭이 「데이터 처리 방법 및 관련 장치」인 중국 특허출원의 우선권을 주장하고, 그 내용 전체가 원용에 의해 본원에 포함된다.

본 발명은 인공 지능 기술 분야에 관한 것으로, 특히 데이터 처리 방법 및 관련 장치에 관한 것이다.

로봇에 관한 연구의 진행과 다양한 측면에서의 수요의 대폭적인 증가에 따라, 로봇의 적용 분야는 넓어지고 있고, 예를 들면 로봇에 의해 수용 프레임 내에 적층되는 물체를 파지한다. 적층되는 물체를 로봇에 의해 파지하는 경우, 먼저, 파지 대상 물체의 공간에서의 위치와 자세(이하, 포즈라고 함)를 식별할 필요가 있고, 다음으로, 식별된 포즈에 기초하여 파지 대상 물체를 파지한다. 종래의 방법에서는 이미지로부터 특징점을 추출하고, 그 후, 이 이미지와 미리 설정된 기준 이미지의 특징 매칭을 행하여 매칭한 특징점을 취득하고, 매칭한 특징점에 기초하여 카메라 좌표계에서의 파지 대상 물체의 위치를 결정하고, 추가로 카메라의 캘리브레이션 파라미터에 기초하여 물체의 포즈를 해석하여 취득한다.

본 발명은 데이터 처리 방법 및 관련 장치를 제공한다.

제1 측면에서는 하나 이상의 위치 확인 대상 물체를 포함하는 처리 대상점군을 취득하는 것과, 상기 처리 대상점군에서, 서로 상이한 2개 이상의 목표 영역을 결정하고, 상기 목표 영역에서의 점의 초기 법선 벡터에 기초하여 상기 목표 영역에서의 점의 법선 벡터를 유의 법선 벡터로 조정하는 것과, 상기 목표 영역의 유의 법선 벡터에 기초하여 상기 처리 대상점군에 대해 분할 처리를 행하여 하나 이상의 분할 영역을 얻는 것과, 상기 하나 이상의 분할 영역에서의 점의 3차원 위치에 기초하여 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 취득하는 것을 포함하는 데이터 처리 방법을 제공한다.

이 측면에서는, 목표 영역의 유의 법선 벡터에 기초하여 점군에 대해 분할 처리를 행함으로써, 분할 정확률을 향상시킨다. 따라서, 분할에 의해 얻어진 분할 영역에서의 점의 3차원 위치에 기초하여 위치 확인 대상 물체의 기준점의 3차원 위치를 결정하는 경우, 위치 확인 대상 물체의 기준점의 3차원 위치의 정밀도를 향상시킬 수 있다.

가능한 일 실현형태에서는 상기 2개 이상의 목표 영역은 제1 목표 영역과 제2 목표 영역을 포함하고, 상기 초기 법선 벡터는 제1 초기 법선 벡터와 제2 초기 법선 벡터를 포함하고, 상기 유의 법선 벡터는 제1 유의 법선 벡터와 제2 유의 법선 벡터를 포함하고, 상기한, 상기 목표 영역에서의 점의 초기 법선 벡터에 기초하여 상기 목표 영역에서의 점의 법선 벡터를 유의 법선 벡터로 조정하는 것은 상기 제1 목표 영역에서의 점의 상기 제1 초기 법선 벡터에 기초하여 상기 제1 목표 영역에서의 점의 법선 벡터를 상기 제1 유의 법선 벡터로 조정하고, 상기 제2 목표 영역에서의 점의 상기 제2 초기 법선 벡터에 기초하여 상기 제2 목표 영역에서의 점의 법선 벡터를 상기 제2 유의 법선 벡터로 조정하는 것을 포함한다.

이 가능한 실현형태에서는 후속 처리에서 각 목표 영역의 법선 벡터에 기초하여 처리 대상점군에 대해 분할 처리를 행하도록, 상기 2개 이상의 목표 영역 각각에 대해, 1개의 유의 법선 벡터를 결정한다.

다른 가능한 실현형태에서는 상기한, 상기 목표 영역의 유의 법선 벡터에 기초하여 상기 처리 대상점군에 대해 분할 처리를 행하여 하나 이상의 분할 영역을 얻는 것은 상기 제1 유의 법선 벡터와 상기 제2 유의 법선 벡터에 기초하여 상기 처리 대상점군에 대해 분할 처리를 행하여, 상기 하나 이상의 분할 영역을 얻는 것을 포함한다.

이 가능한 실현형태에서는 상이한 목표 영역의 유의 법선 벡터에 기초하여 처리 대상점군에 대해 분할 처리를 행함으로써, 분할 정밀도를 향상시켜, 취득한 위치 확인 대상 물체의 기준점의 3차원 위치의 정밀도를 향상시킨다.

다른 가능한 실현형태에서는 상기한, 상기 제1 목표 영역에서의 점의 상기 제1 초기 법선 벡터에 기초하여 상기 제1 목표 영역에서의 점의 법선 벡터를 상기 제1 유의 법선 벡터로 조정하는 것은 상기 제1 목표 영역에서의 점의 상기 제1 초기 법선 벡터에 대해 클러스터링 처리를 행하여 하나 이상의 클러스터를 얻는 것과, 상기 하나 이상의 클러스터 중 포함되는 상기 제1 초기 법선 벡터의 수가 가장 많은 클러스터를 목표 클러스터로 하고, 상기 목표 클러스터 내의 상기 제1 초기 법선 벡터에 기초하여 상기 제1 유의 법선 벡터를 결정하는 것과, 상기 제1 목표 영역에서의 점의 법선 벡터를 상기 제1 유의 법선 벡터로 조정하는 것을 포함한다.

이 가능한 실현형태에서는 제1 목표 영역에서의 점의 법선 벡터를 제1 유의 법선 벡터로 조정함으로써, 제1 목표 영역에서의 노이즈 후의 처리에서의 영향을 저감시켜, 취득한 위치 확인 대상 물체의 포즈의 정밀도를 향상시킨다.

다른 가능한 실현형태에서는 상기한, 상기 제1 초기 법선 벡터에 대해 클러스터링 처리를 행하여 하나 이상의 클러스터를 얻는 것은 상기 제1 목표 영역에서의 점의 제1 초기 법선 벡터를, 벡터를 나타내는 소정 구간으로서, 나타내는 벡터가 서로 상이한 하나 이상의 소정 구간 중 어느 하나에 매핑하는 것과, 포함되는 상기 제1 초기 법선 벡터의 수가 가장 많은 상기 소정 구간을 목표 소정 구간으로 하는 것과, 상기 목표 소정 구간에 포함되는 상기 제1 초기 법선 벡터에 기초하여 상기 제1 유의 법선 벡터를 결정하는 것을 포함한다.

다른 가능한 실현형태에서는 상기한, 상기 목표 소정 구간에 포함되는 상기 제1 초기 법선 벡터에 기초하여 상기 제1 유의 법선 벡터를 결정하는 것은 상기 목표 소정 구간 내의 상기 제1 초기 법선 벡터의 평균값을 상기 제1 유의 법선 벡터로 결정하는 것, 또는 상기 목표 소정 구간 내의 상기 제1 초기 법선 벡터의 중앙값을 상기 제1 유의 법선 벡터로 결정하는 것을 포함한다.

다른 가능한 실현형태에서는 상기한, 상기 제1 유의 법선 벡터와 상기 제2 유의 법선 벡터에 기초하여 상기 처리 대상점군에 대해 분할 처리를 행하여, 상기 하나 이상의 분할 영역을 얻는 것은 상기 제1 유의 법선 벡터에 수직인 평면에 대한 상기 제1 목표 영역의 투영을 결정하고, 제1 투영 평면을 취득하는 것과, 상기 제2 유의 법선 벡터에 수직인 평면에 대한 상기 제2 목표 영역의 투영을 결정하고, 제2 투영 평면을 취득하는 것과, 상기 제1 투영 평면과 상기 제2 투영 평면에 대해 분할 처리를 행하여, 상기 하나 이상의 분할 영역을 얻는 것을 포함한다.

제1 투영 평면과 제2 투영 평면 사이의 거리가 제1 목표 영역과 제2 목표 영역 사이의 거리보다 크기 때문에, 이 가능한 실현형태에서는 제1 목표 영역과 제2 목표 영역을 투영함으로써, 제1 목표 영역과 제2 목표 영역 사이의 거리를 「크게하는」 효과를 달성하고, 분할 처리의 정확률을 향상시킨다.

다른 가능한 실현형태에서는 상기한, 상기 제1 투영 평면과 상기 제2 투영 평면에 대해 분할 처리를 행하여 상기 하나 이상의 분할 영역을 얻는 것은 상기 제1 투영 평면과 상기 제2 투영 평면에서의 임의의 1점을 개시점으로 하고, 제1 소정값을 반경으로 하여 제1 근방 영역을 설정하는 것과, 상기 제1 근방 영역에서 상기 개시점과의 유사도가 제1 임계값 이상인 점을 목표점으로 결정하는 것과, 상기 목표점과 상기 개시점을 포함하는 영역을 분할 영역으로 하고, 상기 하나 이상의 분할 영역을 취득하는 것을 포함한다.

다른 가능한 실현형태에서는 상기한, 상기 하나 이상의 분할 영역에서의 점의 3차원 위치에 기초하여 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 취득하는 것은 상기 하나 이상의 분할 영역 중 목표 분할 영역에서의 점의 3차원 위치의 제1 평균값을 결정하는 것과, 상기 제1 평균값에 기초하여 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 결정하는 것을 포함한다.

다른 가능한 실현형태에서는 상기한, 상기 하나 이상의 분할 영역에서의 점의 3차원 위치의 제1 평균값을 결정한 후, 상기 방법은 상기 목표 분할 영역에서의 점의 법선 벡터의 제2 평균값을 결정하는 것과, 상기 위치 확인 대상 물체의 모델점군으로서, 초기 3차원 위치가 상기 제1 평균값이고, 피치각이 상기 제2 평균값에 의해 결정되는 모델점군을 취득하는 것과, 상기 목표 분할 영역의 좌표계가 상기 모델점군의 좌표계와 일치하도록 상기 목표 분할 영역을 이동하고, 제1 회전 행렬 및/또는 제1 평행 이동량을 취득하는 것과, 상기 제1 회전 행렬 및/또는 제1 평행 이동량, 상기 목표 분할 영역의 법선 벡터에 기초하여 상기 위치 확인 대상 물체의 자세각을 취득하는 것을 추가로 포함한다.

이 가능한 실현형태에서는 목표 분할 영역의 물체 좌표계가 모델점군의 물체 좌표계와 일치하도록 목표 분할 영역을 회전 및/또는 이동시켜 위치 확인 대상 물체의 편주각을 결정함으로써, 위치 확인 대상 물체의 편주각의 정밀도를 향상시키거나 위치 확인 대상 물체의 기준점의 3차원 위치를 보정할 수 있고, 위치 확인 대상 물체의 편주각에 기초하여 위치 확인 대상 물체의 자세를 결정할 수 있다.

다른 가능한 실현형태에서는 상기 방법은 상기 목표 분할 영역의 좌표계가 상기 모델점군의 좌표계와 일치하는 경우, 상기 목표 분할 영역에서의 점이 상기 모델점군의 기준점과 일치하도록 상기 목표 분할 영역을 이동하고, 상기 목표 분할 영역의 기준 위치를 취득하는 것과, 상기 기준 위치에서의 상기 목표 분할 영역과 상기 모델점군의 일치도를 결정하는 것과, 일치도의 최대값에 대응하는 기준 위치를 목표 기준 위치로 하는 것과, 상기 목표 기준 위치에서의 상기 목표 분할 영역에서의 점의 3차원 위치의 제3 평균값을 제1 조정 후의 상기 위치 확인 대상 물체의 기준점의 3차원 위치로 결정하는 것을 추가로 포함한다.

이 가능한 실현형태에서는 목표 분할 영역과 모델점군 사이의 일치도에 기초하여 제1 조정 후의 위치 확인 대상 물체의 기준점의 3차원 위치를 취득하여, 위치 확인 대상 물체의 기준점의 3차원 위치에 대한 보정을 실현한다.

다른 가능한 실현형태에서는 상기한, 상기 기준 위치에서의 상기 목표 분할 영역과 상기 모델점군의 일치도를 결정하는 것은 상기 기준 위치에서의 상기 목표 분할 영역에서의 제1 점과, 상기 모델점군에서 상기 제1 점에 가장 가까운 제2 점 사이의 거리를 결정하는 것과, 상기 거리가 제2 임계값 이하인 경우, 상기 기준 위치의 일치도 지표를 제2 소정값만큼 증가시키는 것과, 상기 일치도와 양의 상관 관계에 있는 상기 일치도 지표에 기초하여 상기 일치도를 결정하는 것을 포함한다.

다른 가능한 실현형태에서는 상기 방법은 상기 모델점군의 기준점의 3차원 위치를 상기 제3 평균값으로 조정하는 것과, 상기 제1 점과, 기준점의 3차원 위치가 상기 제3 평균값인 경우의 모델점군에서 상기 제1 점에 가장 가까운 점인 상기 모델점군 내의 제3 점과의 거리가 제3 임계값 이하가 되도록 상기 목표 기준 위치에서의 상기 목표 분할 영역을 회전 및/또는 평행 이동함으로써, 제2 회전 행렬 및/또는 제2 평행 이동량을 취득하는 것과, 상기 제2 회전 행렬 및/또는 상기 제2 평행 이동량에 기초하여 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 조정하여, 제2 조정 후의 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 취득하고, 상기 제2 회전 행렬 및/또는 상기 제2 평행 이동량에 기초하여 상기 위치 확인 대상 물체의 자세각을 조정하여, 조정 후의 상기 위치 확인 대상 물체의 자세각을 취득하는 것을 추가로 포함한다.

이 가능한 실현형태에서는 상기 목표 기준 위치에서의 상기 목표 분할 영역을 회전 및/또는 평행 이동하여 목표 분할 영역의 기준점의 3차원 위치와 목표 분할 영역의 자세각을 보정하고, 제2 조정 후의 위치 확인 대상 물체의 기준점의 3차원 위치와 조정 후의 위치 확인 대상 물체의 자세각을 얻음으로써, 위치 확인 대상 물체의 포즈를 보정하는 효과를 달성한다.

다른 가능한 실현형태에서는 상기 방법은 상기 위치 확인 대상 물체의 기준점의 3차원 위치와 상기 위치 확인 대상 물체의 자세각을 로봇 좌표계에서의 파지 3차원 위치와 파지 자세각으로 변환하는 것과, 로봇 핸드 모델 및 상기 로봇 핸드 모델의 초기 포즈를 취득하는 것과, 상기 파지 3차원 위치, 상기 파지 자세각, 상기 로봇 핸드 모델 및 상기 로봇 핸드 모델의 초기 포즈에 기초하여 상기 점군에서 상기 로봇 핸드에 의한 상기 위치 확인 대상 물체의 파지의 파지 경로를 얻는 것과, 상기 파지 경로에서 상기 위치 확인 대상 물체에 속하지 않는 점의 수가 제4 임계값 이상인 경우, 상기 위치 확인 대상 물체를 파지 불가 물체로 결정하는 것을 추가로 포함한다.

이 가능한 실현형태에서는 파지 경로에서 위치 확인 대상 물체에 속하지 않는 점의 수를 특정함으로써, 파지 경로에 「장해물」이 존재하는지 여부를 특정할 수 있고, 추가로 위치 확인 대상 물체가 파지 가능한 물체인지 여부를 특정할 수 있다. 이와 같이, 로봇 핸드에 의한 위치 확인 대상 물체의 파지의 성공률을 향상시키고, 파지 경로에 존재하는 「장해물」에 기인하여 위치 확인 대상 물체를 파지할 때 사고가 발생할 확률을 감소시킬 수 있다.

다른 가능한 실현형태에서는 상기한, 상기 처리 대상점군에서 2개 이상의 목표 영역을 결정하는 것은 상기 점군 내의 2개 이상의 목표점을 결정하는 것과, 상기 2개 이상의 목표점의 각각을 구심으로 하고, 상기 제3 소정값을 반경으로 하여 상기 2개 이상의 목표 영역을 설정하는 것을 포함한다.

다른 가능한 실현형태에서는 상기한, 처리 대상점군을 취득하는 것은 상기 하나 이상의 위치 확인 대상 물체가 존재하는 장면의 점군을 포함하는 제1 점군과, 상기 하나 이상의 위치 확인 대상 물체 및 상기 하나 이상의 위치 확인 대상 물체가 존재하는 장면의 점군을 포함하는 제2 점군을 취득하는 것과, 상기 제1 점군과 상기 제2 점군에서 동일한 데이터를 결정하는 것과, 상기 제2 점군에서 상기 동일한 데이터를 제거하여 상기 처리 대상점군을 얻는 것을 포함한다.

이 가능한 실현형태에서는 제1 점군과 제2 점군에서 동일한 데이터를 결정하고, 제2 점군에서 상기 동일한 데이터를 제거하여 처리 대상점군을 얻음으로써, 후속 처리에서의 데이터 처리량을 저감시키고, 처리 속도를 향상시킨다.

다른 가능한 실현형태에서는 기준점은 질량 중심, 무게 중심, 기하학적 중심 중 하나이다.

제2 측면에서는 하나 이상의 위치 확인 대상 물체를 포함하는 처리 대상점군을 취득하는 취득 유닛과,

상기 처리 대상점군에서, 서로 상이한 2개 이상의 목표 영역을 결정하고, 상기 목표 영역에서의 점의 초기 법선 벡터에 기초하여 상기 목표 영역에서의 점의 법선 벡터를 유의 법선 벡터로 조정하는 조정 유닛과,

상기 목표 영역의 유의 법선 벡터에 기초하여 상기 처리 대상점군에 대해 분할 처리를 행하여, 하나 이상의 분할 영역을 얻는 분할 처리 유닛과,

상기 하나 이상의 분할 영역에서의 점의 3차원 위치에 기초하여 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 취득하는 제1 처리 유닛을 포함하는 데이터 처리 장치를 제공한다.

가능한 일 실현형태에서는 상기 2개 이상의 목표 영역은 제1 목표 영역과 제2 목표 영역을 포함하고, 상기 초기 법선 벡터는 제1 초기 법선 벡터와 제2 초기 법선 벡터를 포함하고, 상기 유의 법선 벡터는 제1 유의 법선 벡터와 제2 유의 법선 벡터를 포함하고, 상기 조정 유닛은 상기 제1 목표 영역에서의 점의 상기 제1 초기 법선 벡터에 기초하여 상기 제1 목표 영역에서의 점의 법선 벡터를 상기 제1 유의 법선 벡터로 조정하고, 상기 제2 목표 영역에서의 점의 상기 제2 초기 법선 벡터에 기초하여 상기 제2 목표 영역에서의 점의 법선 벡터를 상기 제2 유의 법선 벡터로 조정하는 것에 사용된다.

다른 가능한 실현형태에서는 상기 분할 처리 유닛은 상기 제1 유의 법선 벡터와 상기 제2 유의 법선 벡터에 기초하여 상기 처리 대상점군에 대해 분할 처리를 행하여, 상기 하나 이상의 분할 영역을 얻는 것에 사용된다.

다른 가능한 실현형태에서는 상기 조정 유닛은 상기 제1 목표 영역에서의 점의 상기 제1 초기 법선 벡터에 대해 클러스터링 처리를 행하여 하나 이상의 클러스터를 얻는 것과, 상기 하나 이상의 클러스터 중, 포함되는 상기 제1 초기 법선 벡터의 수가 가장 많은 클러스터를 목표 클러스터로 하고, 상기 목표 클러스터 내의 상기 제1 초기 법선 벡터에 기초하여 상기 제1 유의 법선 벡터를 결정하는 것과, 상기 제1 목표 영역에서의 점의 법선 벡터를 상기 제1 유의 법선 벡터로 조정하는 것에 사용된다.

다른 가능한 실현형태에서는 상기 조정 유닛은 구체적으로 상기 제1 목표 영역에서의 점의 제1 초기 법선 벡터를, 벡터를 나타내는 소정 구간으로서, 나타내는 벡터가 서로 상이한 하나 이상의 소정 구간 중 어느 하나에 매핑하는 것과, 포함되는 상기 제1 초기 법선 벡터의 수가 가장 많은 상기 소정 구간을 목표 소정 구간으로 하는 것과, 상기 목표 소정 구간에 포함되는 상기 제1 초기 법선 벡터에 기초하여 상기 제1 유의 법선 벡터를 결정하는 것에 사용된다.

다른 가능한 실현형태에서는 상기 조정 유닛은 구체적으로 상기 목표 소정 구간 내의 상기 제1 초기 법선 벡터의 평균값을 상기 제1 유의 법선 벡터로 결정하는 것, 또는 상기 목표 소정 구간 내의 상기 제1 초기 법선 벡터의 중앙값을 상기 제1 유의 법선 벡터로 결정하는 것에 사용된다.

다른 가능한 실현형태에서는 상기 분할 처리 유닛은 상기 제1 유의 법선 벡터에 수직인 평면에 대한 상기 제1 목표 영역의 투영을 결정하고, 제1 투영 평면을 취득하는 것과, 상기 제2 유의 법선 벡터에 수직인 평면에 대한 상기 제2 목표 영역의 투영을 결정하고, 제2 투영 평면을 취득하는 것과, 상기 제1 투영 평면과 상기 제2 투영 평면에 대해 분할 처리를 행하여, 상기 하나 이상의 분할 영역을 얻는 것에 사용된다.

다른 가능한 실현형태에서는 상기 분할 처리 유닛은 구체적으로, 상기 제1 투영 평면과 상기 제2 투영 평면에서의 임의의 1점을 개시점으로 하고, 제1 소정값을 반경으로 하여 제1 근방 영역을 설정하는 것과, 상기 제1 근방 영역에서 상기 개시점과의 사이의 유사도가 제1 임계값 이상인 점을 목표점으로 결정하는 것과, 상기 목표점과 상기 개시점을 포함하는 영역을 분할 영역으로 하고, 상기 하나 이상의 분할 영역을 취득하는 것에 사용된다.

다른 가능한 실현형태에서는 상기 제1 처리 유닛은 상기 하나 이상의 분할 영역 중 목표 분할 영역에서의 점의 3차원 위치의 제1 평균값을 결정하는 것과, 상기 제1 평균값에 기초하여 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 결정하는 것에 사용된다.

다른 가능한 실현형태에서는 상기 장치는 상기한, 상기 하나 이상의 분할 영역에서의 점의 3차원 위치의 제1 평균값을 결정한 후, 상기 목표 분할 영역에서의 점의 법선 벡터의 제2 평균값을 결정하는 결정 유닛과, 상기 위치 확인 대상 물체의 모델점군으로서, 초기 3차원 위치가 상기 제1 평균값이고, 피치각이 상기 제2 평균값에 의해 결정되는 모델점군을 취득하는 것에 추가로 사용되는 상기 취득 유닛과, 상기 목표 분할 영역의 좌표계가 상기 모델점군의 좌표계와 일치하도록 상기 목표 분할 영역을 이동하고, 제1 회전 행렬 및/또는 제1 평행 이동량을 취득하는 이동 유닛과, 상기 제1 회전 행렬 및/또는 제1 평행 이동량 및 상기 목표 분할 영역의 법선 벡터에 기초하여 상기 위치 확인 대상 물체의 자세각을 취득하는 상기 제1 처리 유닛을 추가로 포함한다.

다른 가능한 실현형태에서는 상기 이동 유닛은 추가로, 상기 목표 분할 영역의 좌표계가 상기 모델점군의 좌표계와 일치하는 경우, 상기 목표 분할 영역에서의 점이 상기 모델점군의 기준점과 일치하도록 상기 목표 분할 영역을 이동하고, 상기 목표 분할 영역의 기준 위치를 취득하는 것에 사용되고, 상기 결정 유닛은 추가로, 상기 기준 위치에서의 상기 목표 분할 영역과 상기 모델점군의 일치도를 결정하는 것에 사용되고, 상기 결정 유닛은 추가로, 일치도의 최대값에 대응하는 기준 위치를 목표 기준 위치로 하는 것에 사용되고, 상기 제1 처리 유닛은 상기 목표 기준 위치에서의 상기 목표 분할 영역에서의 점의 3차원 위치의 제3 평균값을 제1 조정 후의 상기 위치 확인 대상 물체의 기준점의 3차원 위치로 결정하는 것에 사용된다.

다른 가능한 실현형태에서는 상기 결정 유닛은 구체적으로 상기 기준 위치에서의 상기 목표 분할 영역에서의 제1 점과, 상기 모델점군에서 상기 제1 점에 가장 가까운 제2 점 사이의 거리를 결정하는 것과, 상기 거리가 제2 임계값 이하인 경우, 상기 기준 위치의 일치도 지표를 제2 소정값만큼 증가시키는 것과, 상기 일치도와 양의 상관 관계에 있는 상기 일치도 지표에 기초하여 상기 일치도를 결정하는 것에 사용된다.

다른 가능한 실현형태에서는 상기 조정 유닛은 추가로, 상기 모델점군의 기준점의 3차원 위치를 상기 제3 평균값으로 조정하는 것에 사용되고, 상기 장치는 상기 제1 점과, 기준점의 3차원 위치가 상기 제3 평균값인 경우의 모델점군에서 상기 제1 점에 가장 가까운 점인 상기 모델점군 내의 제3 점 사이의 거리가 제3 임계값 이하가 되도록 상기 목표 기준 위치에서의 상기 목표 분할 영역을 회전 및/또는 평행 이동함으로써, 제2 회전 행렬 및/또는 제2 평행 이동량을 취득하는 제2 처리 유닛과, 상기 제2 회전 행렬 및/또는 상기 제2 평행 이동량에 기초하여 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 조정하고, 제2 조정 후의 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 취득하고, 상기 제2 회전 행렬 및/또는 상기 제2 평행 이동량에 기초하여 상기 위치 확인 대상 물체의 자세각을 조정하여 조정 후의 상기 위치 확인 대상 물체의 자세각을 취득하는 것에 추가로 사용되는 상기 제1 처리 유닛을 추가로 포함한다.

다른 가능한 실현형태에서는 상기 장치는 상기 위치 확인 대상 물체의 기준점의 3차원 위치와 상기 위치 확인 대상 물체의 자세각을 로봇 좌표계에서의 파지 3차원 위치와 파지 자세각으로 변환하는 변환 유닛과, 로봇 핸드 모델 및 상기 로봇 핸드 모델의 초기 포즈를 취득하는 것에 추가로 사용되는 상기 취득 유닛과, 상기 파지 3차원 위치, 상기 파지 자세각, 상기 로봇 핸드 모델 및 상기 로봇 핸드 모델의 초기 포즈에 기초하여 상기 점군에서 상기 로봇 핸드에 의한 상기 위치 확인 대상 물체의 파지의 파지 경로를 얻는 것에 추가로 사용되는 상기 제1 처리 유닛과, 상기 파지 경로에서 상기 위치 확인 대상 물체에 속하지 않는 점의 수가 제4 임계값 이상인 경우, 상기 위치 확인 대상 물체를 파지 불가 물체로 결정하는 것에 추가로 사용되는 상기 결정 유닛을 추가로 포함한다.

다른 가능한 실현형태에서는 상기 조정 유닛은 상기 점군 내의 2개 이상의 목표점을 결정하는 것과, 상기 2개 이상의 목표점의 각각을 구심으로 하고, 제3 소정값을 반경으로 하여 상기 2개 이상의 목표 영역을 설정하는 것에 사용된다.

다른 가능한 실현형태에서는 상기 취득 유닛은 상기 하나 이상의 위치 확인 대상 물체가 존재하는 장면의 점군을 포함하는 제1 점군과, 상기 하나 이상의 위치 확인 대상 물체 및 상기 하나 이상의 위치 확인 대상 물체가 존재하는 장면의 점군을 포함하는 제2 점군을 취득하는 것과, 상기 제 1 점군과 상기 제2 점군에서 동일한 데이터를 결정하는 것과, 상기 제2 점군에서 상기 동일한 데이터를 제거하여 상기 처리 대상점군을 얻는 것에 사용된다.

다른 가능한 실현형태에서는 상기 기준점은 질량 중심, 무게 중심, 기하학적 중심 중 하나이다.

제3 측면에서는 상기 제1 측면 및 그 가능한 실현형태 중 어느 것의 데이터 처리 방법을 실행하는 프로세서를 제공한다.

제4 측면에서는 프로세서와, 송신 장치와, 입력 장치와, 출력 장치와, 컴퓨터 프로그램 코드를 기억하기 위한 메모리를 구비하고, 상기 컴퓨터 프로그램 코드에 컴퓨터 명령이 포함되고, 상기 컴퓨터 명령이 상기 프로세서에 의해 실행되면, 상기 제1 측면 및 그 가능한 실현형태 중 어느 것의 데이터 처리 방법을 실행시키는 전자 기기를 제공한다.

제5 측면에서는 컴퓨터 프로그램이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램에 프로그램 명령이 포함되고, 상기 프로그램 명령이 전자 기기의 프로세서에 의해 실행되면, 상기 제1 측면 및 그 가능한 실현형태 중 어느 것의 데이터 처리 방법을 상기 프로세서에 실행시키는 컴퓨터 판독 가능 기억 매체를 제공한다.

제6 측면에서는, 명령을 포함하는 컴퓨터 프로그램 제품으로서, 컴퓨터로 동작하면, 상기 제1 측면 및 그 가능한 실현형태 중 어느 하나의 데이터 처리 방법을 상기 컴퓨터에 실행시키는 컴퓨터 프로그램 제품을 제공한다.

또한, 상술한 개략적인 설명 및 다음의 상세한 설명은 예시적이고 해석적인 것에 불과하고, 본 발명을 한정하는 것은 아니다.

이하, 본 발명의 실시예 또는 배경 기술에서의 기술적 해결 수단을 보다 명확하게 설명하기 위해, 본 발명의 실시예 또는 배경 기술에 사용할 필요가 있는 도면에 대해 설명한다.

여기서, 본 명세서의 일부로서 포함되는 도면은 본 발명의 실시예에 적합하고, 명세서와 함께 본 발명의 기술적 해결 수단의 설명에 사용된다.

도 1은 본 발명의 실시예에 따른 데이터 처리 방법의 흐름의 모식도이다.
도 2는 본 발명의 실시예에 따른 다른 데이터 처리 방법의 흐름의 모식도이다.
도 3은 본 발명의 실시예에 따른 다른 데이터 처리 방법의 흐름의 모식도이다.
도 4는 본 발명의 실시예에 따른 다른 데이터 처리 방법의 흐름의 모식도이다.
도 5는 본 발명의 실시예에 따른 데이터 처리 장치의 구조의 모식도이다.
도 6은 본 발명의 실시예에 따른 데이터 처리 장치의 하드웨어 구조의 모식도이다.

이하, 당업자가 본 발명의 수단을 보다 잘 이해할 수 있도록, 본 발명의 실시예에서의 기술적 수단을 본 발명의 실시예에서의 도면과 함께 명확하고 완전하게 설명한다. 설명되는 실시예는 본 발명의 실시예의 일부에 불과하고, 그 전부는 아님이 명백하다. 본 발명의 실시예에 기초하여 당업자가 창조적인 노동을 행하지 않고 얻어지는 다른 모든 실시예는 본 발명의 보호 범위 내에 포함된다.

본 발명의 명세서, 특허청구범위, 및 상기 도면에서의 「제1」, 「제2」 등의 용어는 상이한 대상을 구별하기 위한 것이고, 특정한 순서를 설명하기 위함은 아니다. 또한, 「포함하는」 및 「갖는」이라는 용어 및 이들의 임의의 변형은 배타적이지 않은 포함을 커버하는 것을 의도하고 있다. 예를 들면, 일련의 단계 또는 유닛을 포함하는 프로세스, 방법, 시스템, 제품 또는 설비는 열거된 단계 또는 유닛에 한정되지 않고, 선택 가능적으로 열거되지 않은 단계 또는 유닛을 추가로 포함하고, 혹은 선택 가능적으로 이들 프로세스, 방법, 제품 또는 설비에 고유의 다른 단계 또는 유닛을 추가로 포함한다.

본 명세서에서의 용어 「및/또는」은 관련 대상의 연관 관계를 기술하는 것에 불과하고, 3개의 관계가 존재 가능함을 나타낸다. 예를 들면, A 및/또는 B는 A만이 존재하는 경우, A와 B 양방이 존재하는 경우, B만이 존재하는 경우와 같은 3개의 경우를 나타내도 된다. 또한, 본 명세서에서의 용어 「하나 이상」은 복수 중 어느 하나, 또는 복수 중 2개 이상의 임의의 조합을 나타내고, 예를 들면, A, B, C 중 하나 이상을 포함하는 것은 A, B 및 C로 이루어지는 집합에서 선택된 어느 하나 또는 복수의 요소를 포함하는 것을 나타내도 된다.

본 명세서에서 언급되는 「실시예」란， 실시예와 함께 설명되는 특정한 특징, 구조 또는 특성이 본 발명의 하나 이상의 실시예에 포함될 수 있음을 의미한다. 본 명세서의 각 장소에 나타나는 당해 어구는 반드시 동일한 실시예를 나타내는 것은 아니고, 다른 실시예와 상호 배타적인 별개의 또는 대체 실시예를 나타내는 것은 아니다. 당업자는 본 명세서에 기재된 실시예를 다른 실시예와 조합할 수 있음을 명시적으로 또는 암시적으로 이해할 것이다.

공업 분야에서, 조립 대상 부품은 통상, 수용 프레임 또는 수용 트레이에 재치되고, 수용 프레임 또는 수용 트레이에 재치된 부품을 조립하는 것은 조립 프로세스의 중요한 부분이다. 수작업 조립 방법에서는 조립 대상 부품의 수가 방대하기 때문에 효율이 나쁘고 인건비도 높아진다.

조립 대상 부품을 포함하는 점군과 미리 기억된 기준점군의 특징 매칭을 행함으로써, 조립 대상 부품의 공간에서의 포즈를 결정할 수 있지만, 조립 대상 부품을 포함하는 점군에 노이즈가 존재하는 경우, 조립 대상 부품을 포함하는 점군과 미리 기억된 기준점군의 특징 매칭의 정밀도가 저하되고, 취득한 조립 대상 부품의 포즈의 정밀도가 낮아진다. 본 발명의 실시예에 따른 기술적 수단에 의하면, 조립 대상 부품을 포함하는 점군에 노이즈가 존재하는 경우, 취득한 조립 대상 부품의 포즈의 정밀도를 향상시킬 수 있다.

본 발명의 실시예에 따른 데이터 처리의 기술적 수단은 물체의 3차원 위치를 결정할 필요가 있는 임의의 장면에 적용하는 것이 가능하다. 예를 들면, 파지 대상 물체를 로봇 핸드로 파지하는 장면, 또는 위치가 아직 알려지지 않은 물체의 위치를 확인하는 장면에 적용 가능하다. 이하, 본 발명의 실시예에서의 도면을 참조하면서 본 발명의 실시예를 설명한다.

도 1을 참조한다. 도 1은 본 발명의 실시예에 따른 데이터 처리 방법의 흐름의 모식도이다.

단계(101)에서 하나 이상의 위치 확인 대상 물체를 포함하는 처리 대상점군을 취득한다.

본 발명의 실시예에 개시된 기술적 수단의 실행 주체는 사용자측 장치(User Equipment, UE), 휴대 기기, 사용자 단말, 단말, 셀룰러 폰, 무선 전화, 퍼스널 디지털 어시스턴트(Personal Digital Assistant , PDA), 휴대 기기, 계산 장치, 차재 장치, 웨어러블 장치 등의 단말 장치, 서버 또는 다른 목표 검출 장치여도 된다. 일부 가능한 실현형태에서는 본 발명의 기술적 수단은 프로세서에 의해 메모리에 기억되어 있는 컴퓨터 판독 가능 명령을 불러내어 실현되어도 된다.

본 발명의 실시예에서, 위치 확인 대상 물체는 상기 조립 대상 부품을 포함한다. 처리 대상점군의 각 점은 전부 3차원 위치 정보를 포함한다.

처리 대상점군을 취득하는 가능한 일 실현형태에서는 단말 장치는 키보드, 마우스, 터치 스크린, 터치 패드 및 오디오 입력 장치 등을 포함하는 입력 컴포넌트를 통해 사용자에 의해 입력된 처리 대상점군을 수신할 수 있다. 휴대 전화, 컴퓨터, 태블릿 컴퓨터, 서버 등을 포함하는 제2 단말 장치(본 발명의 실시예에 개시된 기술적 수단의 실행 주체 이외의 단말 장치)에서 송신되는 처리 대상점군을 수신해도 된다.

본 발명의 실시예에 개시된 기술적 수단의 실행 주체는 3차원 레이저 스캐너를 탑재한 로봇이어도 된다.

실제 장면에서는 상기 하나 이상의 위치 확인 대상 물체가 수용 프레임 또는 수용 트레이 내에 재치되기 때문에, 하나 이상의 위치 확인 대상 물체가 적층된 상태에서의 점군을 직접 취득하는 것이 곤란하지만, 위치 확인 대상 물체 및 수용 프레임(또는 수용 트레이)을 포함하는 점군을 취득할 수 있다. 점군에 포함되는 점의 수가 방대하기 때문에, 점군 처리시의 계산량도 매우 크다. 이 때문에, 상기 하나 이상의 위치 확인 대상 물체를 포함하는 점군을 처리하면, 계산량을 감소시켜 처리 속도를 향상시킬 수 있다. 가능한 일 실현형태에서는 하나 이상의 위치 확인 대상 물체가 존재하는 장면의 점군을 포함하는 제1 점군과, 하나 이상의 위치 확인 대상 물체 및 하나 이상의 위치 확인 대상 물체가 존재하는 장면의 점군을 포함하는 제2 점군을 취득한다. 제1 점군과 제2 점군에서 동일한 데이터가 결정된다. 제2 점군에서 상기 동일한 데이터를 제거하여 처리 대상점군을 얻는다. 여기서, 제1 점군을 취득하는 가능한 일 실현형태에서 하나 이상의 위치 확인 대상 물체 및 하나 이상의 위치 확인 대상 물체가 존재하는 장면을 3차원 레이저 스캐너로 주사하여, 제1 점군을 취득한다.

또한, 2개 이상의 위치 확인 대상 물체가 수용 프레임 또는 수용 트레이 내에 재치될 때, 특히 재치 순서에 대한 요구가 없고, 복수의 위치 확인 대상 물체가 수용 프레임 또는 수용 트레이 내에 임의로 적층되어도 된다. 또한, 본 발명에서는 위치 확인 대상 물체가 존재하는 장면의 장면점군(즉, 제1 점군), 및 미리 기억된 배경점군(즉, 제2 점군)의 취득 순서는 특별히 한정하지 않는다.

단계(102)에서, 상기 처리 대상점군에서, 서로 상이한 2개 이상의 목표 영역을 결정하고, 상기 목표 영역에서의 점의 초기 법선 벡터에 기초하여 상기 목표 영역에서의 점의 법선 벡터를 유의 법선 벡터로 조정한다.

상기 2개 이상의 목표 영역 각각은 하나 이상의 점을 포함하고, 상기 2개 이상의 목표 영역의 합집합은 처리 대상점군이다. 예를 들면, 목표 영역 A는 점 a, 점 b, 점 c를 포함하고, 목표 영역 B는 점 b, 점 c, 점 d를 포함하고, 목표 영역 A와 목표 영역 B의 합집합은 점 a, 점 b, 점 c, 점 d를 포함한다. 또한, 예를 들면, 목표 영역 A는 점 a, 점 b를 포함하고, 목표 영역 B는 점 c, 점 d를 포함하고, 목표 영역 A와 목표 영역 B의 합집합은 점 a, 점 b, 점 c, 점 d를 포함한다.

위치 확인 대상 물체의 표면은 통상 매끄러운 평면 또는 곡면이기 때문에, 노이즈가 존재하지 않는 경우, 처리 대상점군도 매끄러운 평면 또는 곡면이어야 한다. 그러나, 처리 대상점군에 노이즈가 존재하는 경우, 처리 대상점군에 있어서, 노이즈가 위치하는 영역이 돌기되거나 오목하거나, 즉, 매끄러운 평면 또는 곡면 전체에서의 돌기 영역 또는 오목한 영역은 노이즈 영역이다. 매끄러운 평면 또는 곡면에서, 돌기 영역의 법선 벡터 또는 오목한 영역의 법선 벡터의 방향이 비돌기 영역 및 비오목한 영역의 법선 벡터의 방향과 상이하고, 즉 노이즈 영역에서의 점의 법선 벡터 방향이 비노이즈 영역에서의 점의 법선 벡터의 방향과 상이한 것은 명백하다. 이에 의해, 본 발명의 실시예에서, 처리 대상점군 내의 점의 법선 벡터의 방향에 의해 처리 대상점군에는 노이즈 영역이 포함되는지 여부를 판단한다.

단계(101)에 의해 처리 대상점군을 취득한 후, 처리 대상점군의 각 점의 법선 벡터, 즉 각 목표 영역에서의 점의 초기 법선 벡터를 결정할 수 있고, 목표 영역에서의 점의 전부 또는 일부의 초기 법선 벡터의 방향에 기초하여 목표 영역에는 노이즈 영역이 포함되는지 여부를 판단할 수 있다.

예를 들면, 목표 영역 A에는 점 a, 점 b, 점 c, 점 d, 점 e, 점 f의 6점이 포함된다. 점 a의 법선 벡터, 점 b의 법선 벡터, 점 c의 법선 벡터 및 점 d의 법선 벡터는 전부 카메라 좌표계(좌표의 원점이 o, 좌표계의 3개의 축이 각각 x, y, z)의 z축에 평행한 것이고, 점 a의 법선 벡터, 점 b의 법선 벡터, 점 c의 법선 벡터 및 점 d의 법선 벡터는 모두 카메라 좌표계의 xoy 평면에 수직인 것이다. 점 e의 법선 벡터는 카메라 좌표계의 z축과 이루는 각도가 45도, 카메라 좌표계의 x축과의 이루는 각도가 90도, 카메라 좌표계의 y축과의 이루는 각도가 60도이고, 점 e의 법선 벡터는 카메라 좌표계의 z축과의 이루는 각도가 60도, 카메라 좌표계의 x축과 이루는 각도가 80도, 카메라 좌표계의 y축과의 이루는 각도가 70도이다. 점 e의 법선 벡터의 방향과 점 f의 법선 벡터의 방향이 다른 4점의 법선 벡터의 방향과 분명히 상이하기 때문에, 점 e와 점 f가 노이즈 영역 내의 점이고, 점 a, 점 b, 점 c 및 점 d가 비노이즈 영역 내의 점인 것으로 판단할 수 있다.

처리 대상점군에 노이즈가 존재하기 때문에, 처리 대상점군에서의 노이즈 영역이 돌기되거나 오목하고, 바꾸어 말하면, 노이즈가 없는 경우, 처리 대상점군은 매끄러운 평면 또는 매끄러운 곡면이어야 하고, 돌기 영역 및/또는 오목한 영역이 존재해서는 안된다. 따라서, 목표 영역에서의 점의 법선 벡터를 유의 법선 벡터로 조정함으로써, 목표 영역을 매끄러운 평면으로 하는 것이 가능하다.

처리 대상점군에서 2개 이상의 목표 영역을 결정하는 일 실현형태에서는 처리 대상점군에서 2개 이상의 목표점을 결정하고, 각 목표점을 각각 구심으로 하고, 제3 소정값을 반경으로 하여 2개 이상 이상의 근방 영역을 설정하고, 즉, 각 목표점은 각각 하나의 근방 영역에 대응한다. 상기 2개 이상의 근방 영역을 상기 2개 이상의 목표 영역으로 하고, 즉, 1개의 근방 영역은 1개의 목표 영역이다.

설명의 편의상, 다음에 2개의 목표 영역을 예로서 설명하고, 즉, 상기 2개 이상의 목표 영역은 제1 목표 영역과 제2 목표 영역을 포함한다.

처리 대상점군으로부터 제1 목표 영역과 제2 목표 영역을 결정하는 일 실현형태에서는 상기 제1 목표 영역은 상기 점군 내의 제4 점(즉, 상기 목표점)을 구심으로 하고, 제3 소정값을 반경으로 하여 제2 근방 영역을 설정함으로써 취득할 수 있다. 상기 제2 목표 영역은 상기 점군 내의 제5 점(즉, 상기 목표점)을 구심으로 하고, 제3 소정값을 반경으로 하여 제3 근방 영역을 설정함으로써 취득할 수 있다. 상기 제4 점과 제5 점은 처리 대상점군의 임의의 2개의 상이한 점이다. 상기 제3 소정값은 양수이고, 선택 가능적으로 제3 소정값은 5㎜이다.

처리 대상점군에서 제1 목표 영역과 제2 목표 영역을 결정하는 다른 실현형태에서는 점군 내의 점의 초기 법선 벡터에 대해 클러스터링 처리를 행함으로써, 제1 목표 영역과 제2 목표 영역을 취득할 수 있다.

제1 목표 영역과 제2 목표 영역을 취득한 후, 제1 목표 영역에서의 점의 초기 법선 벡터(이하, 제1 초기 법선 벡터라고 함)에 기초하여 제1 목표 영역의 제1 유의 법선 벡터를 결정하고, 제2 목표 영역에서의 점의 초기 법선 벡터(이하, 제2 초기 법선 벡터라고 함)에 기초하여 제2 목표 영역의 제2 유의 법선 벡터를 결정할 수 있다. 즉, 상기 2개 이상의 목표 영역 각각은 하나의 유의 법선 벡터에 대응한다.

제1 유의 법선 벡터를 결정하는 가능한 일 실현형태에서는 제1 목표 영역에서의 점의 제1 초기 법선 벡터에 대해 클러스터링 처리를 행하여 하나 이상의 클러스터를 얻는다. 상기 하나 이상의 클러스터 중, 포함되는 제1 초기 법선 벡터의 수가 가장 많은 클러스터를 목표 클러스터로 하고, 목표 클러스터 내의 제1 초기 법선 벡터에 기초하여 제1 유의 법선 벡터를 결정한다.

제1 목표 영역에서의 점의 제1 초기 법선 벡터에 대해 클러스터링 처리를 행하여 하나 이상의 클러스터를 얻는 일 실현형태에서는 제1 목표 영역에서의 각 점의 제1 초기 법선 벡터는 2개 이상의 소정 구간 중 하나에 매핑하고, 포함되는 제1 초기 법선 벡터의 수가 가장 많은 소정 구간 내의 제1 초기 법선 벡터에 기초하여 제1 유의 법선 벡터를 결정한다.

예를 들면, 처리 대상점군 내의 각 점의 법선 벡터는 전부 3개의 방향(즉, x축의 정방향, y축의 정방향 및 z축의 정방향)의 정보를 포함하고, 법선 벡터와 x축이 이루는 각도의 범위(-180도 내지 180도), 법선 벡터와 y축이 이루는 각도의 범위(-180도 내지 180도) 및 법선 벡터와 z축이 이루는 각도의 범위(-180도 내지 180도)를 각각 2개의 구간(0도 이상 180도 미만을 일방의 구간, 180도 이상 -180도 미만을 타방의 구간으로 함)으로 구획하여 8개의 구간을 얻는다. 여기서, 상기 8개의 구간 중 첫번째 구간 내의 법선 벡터는 x축과의 이루는 각도가 -180도 이상 180도 미만, y축과의 이루는 각도가 -180도 이상 180도 미만, z축과의 이루는 각도가 -180도 이상 180도 미만이다. 상기 8개의 구간 중 2번째 구간 내의 법선 벡터는 x축과의 이루는 각도가 -180도 이상 180도 미만, y축과의 이루는 각도가 0도 이상 180도 미만, z축과의 이루는 각도가 -180도 이상 180도 미만이다. 상기 8개의 구간 중 3번째 구간 내의 법선 벡터는 x축과의 이루는 각도가 -180도 이상 180도 미만, y축과의 이루는 각도가 -180도 이상 180도 미만, z축과의 이루는 각도가 0도 이상 180도 미만이다. 상기 8개의 구간 중 4번째 구간 내의 법선 벡터는 x축과의 이루는 각도가 -180도 이상 180도 미만, y축과의 이루는 각도가 0도 이상 180도 미만, z축과의 이루는 각도가 0도 이상 180도 미만이다. 상기 8개의 구간 중 5번째 구간 내의 법선 벡터는 x축과의 이루는 각도가 0도 이상 180도 미만, y축과의 이루는 각도가 -180도 이상 180도 미만, z축과의 이루는 각도가 -180도 이상 180도 미만이다. 상기 8개의 구간 중 6번째 구간 내의 법선 벡터는 x축과의 이루는 각도가 0도 이상 180도 미만, y축과의 이루는 각도가 0도 이상 180도 미만, z축과의 이루는 각도가 -180도 이상 180도 미만이다. 상기 8개의 구간 중 7번째 구간 내의 법선 벡터는 x축과 이루는 각도가 0도 이상 180도 미만, y축과 이루는 각도가 -180도 이상 180도 미만, z축과 이루는 각도가 0도 이상 180도 미만이다. 상기 8개의 구간 중 8번째 구간 내의 법선 벡터는 x축과 이루는 각도가 0도 이상 180도 미만, y축과 이루는 각도가 0도 이상 180도 미만, z축과의 이루는 각도가 0도 이상 180도 미만이다. 제1 목표 영역에서의 점의 제1 초기 법선 벡터와 x축, y축 및 z축이 이루는 각도에 기초하여 제1 목표 영역의 모든 점의 제1 초기 법선 벡터를 상기 8개의 구간 중 하나에 매핑할 수 있다. 예를 들면, 제1 목표 영역에서의 점 a의 제1 초기 법선 벡터는 x축과의 이루는 각도가 120도, y축과의 이루는 각도가 -32도, z축과의 이루는 각도가 45도이면, 점 a의 제1 초기 법선 벡터는 7번째 구간에 매핑된다. 제1 목표 영역에서의 모든 점의 제1 초기 법선 벡터를 모두 상기 8개의 구간 중 하나에 매핑한 후, 상기 8개의 구간의 각각의 제1 초기 법선 벡터의 수를 통계하고, 수가 가장 많은 구간 내의 제1 초기 법선 벡터에 기초하여 제1 유의 법선 벡터를 결정할 수 있다. 선택 가능적으로, 수가 가장 많은 구간 내의 제1 초기 법선 벡터의 평균값을 제1 유의 법선 벡터로 해도 되고, 수가 가장 많은 구간 내의 제1 초기 법선 벡터의 중앙값을 제1 유의 법선 벡터로 해도 되고, 본 발명은 이것을 한정하지 않는다.

제1 목표 영역에서의 점의 제1 초기 법선 벡터에 대해 클러스터링 처리를 행하여 하나 이상의 클러스터를 얻는 다른 실현형태에서는 「소수는 다수를 따른다」는 원칙에 따라 제1 유의 법선 벡터를 결정할 수 있다. 예를 들면, 제1 목표 영역에는 5점이 포함되고, 그 중 3점의 제1 초기 법선 벡터는 전부 벡터 a이고, 2점의 제1 초기 법선 벡터는 전부 벡터 b이다. 이 경우, 제1 유의 법선 벡터가 벡터 a인 것으로 결정할 수 있다.

동일하게, 상기 가능한 실현형태에 의해 상기 2개 이상의 목표 영역 중 어느 하나의 유의 법선 벡터를 결정할 수 있다. 예를 들면, 상기 제2 목표 영역에서의 점의 상기 제2 초기 법선 벡터에 대해 클러스터링 처리를 행하여, 하나 이상의 제2 클러스터를 얻고, 상기 하나 이상의 제2 클러스터 중, 포함되는 상기 제2 초기 법선 벡터의 수가 가장 많은 제2 클러스터를 제2 목표 클러스터로 하고, 상기 제2 목표 클러스터 내의 상기 제2 초기 법선 벡터에 기초하여 상기 제2 유의 법선 벡터를 결정하고, 상기 제2 목표 영역에서의 점의 법선 벡터를 상기 제2 유의 법선 벡터로 조정한다.

상기한, 상기 제2 초기 법선 벡터에 대해 클러스터링 처리를 행하여 하나 이상의 제2 클러스터를 얻는 실현 과정은 상기 제2 목표 영역에서의 점의 제2 초기 법선 벡터를, 벡터값의 구간인 하나 이상의 소정 구간 중 어느 하나에 매핑하는 것과, 포함되는 상기 제2 초기 법선 벡터의 수가 가장 많은 상기 소정 구간을 제2 목표 소정 구간으로 하는 것과, 상기 제2 목표 소정 구간에 포함되는 상기 제2 초기 법선 벡터에 기초하여 상기 제2 유의 법선 벡터를 결정하는 것을 포함한다.

제1 유의 법선 벡터와 제2 유의 법선 벡터를 결정한 후, 제1 목표 영역에서의 점의 전부 또는 일부의 법선 벡터를 제1 초기 법선 벡터에서 제1 유의 법선 벡터로 조정하고, 제2 목표 영역에서의 점의 전부 또는 일부의 법선 벡터를 제2 초기 법선 벡터에서 제2 유의 법선 벡터로 조정할 수 있다. 이와 같이, 제1 목표 영역 및/또는 제2 목표 영역에서의 돌기 영역과 오목한 영역을 매끄러운 영역으로 변경하는 것에 상당한다.

또한, 상기에서는 제1 목표 영역과 제2 목표 영역을 예로 설명했지만, 실제 응용에서는 목표 영역의 수는 3 또는 3 이상이어도 되고, 본 발명에서는 목표 영역의 수는 특별히 한정되지 않는다.

단계(103)에서, 상기 목표 영역의 유의 법선 벡터에 기초하여 상기 처리 대상점군에 대해 분할 처리를 행하여, 하나 이상의 분할 영역을 얻는다.

각 목표 영역의 유의 법선 벡터를 결정한 후, 각 목표 영역의 유의 법선 벡터에 기초하여 처리 대상점군에 대해 분할 처리를 행할 수 있다. 가능한 일 실현형태에서는 목표 영역의 유의 법선 벡터 사이의 거리에 기초하여 목표 영역이 동일한 위치 확인 대상 물체에 속하는지 여부를 결정할 수 있다. 예를 들면, 제1 유의 법선 벡터와 제2 유의 법선 벡터 사이의 거리가 제1 거리 임계값보다 작은 경우, 제1 목표 영역과 제2 목표 영역을 동일한 분할 영역으로 분배할 수 있고, 즉, 동일한 위치 확인 대상 물체에 속한다. 제1 유의 법선 벡터와 제2 유의 법선 벡터 사이의 거리가 제1 거리 임계값 이상이면, 제1 목표 영역과 제2 목표 영역을 2개의 상이한 분할 영역으로 분배할 수 있고, 즉, 제1 목표 영역과 제2 목표 영역은 상이한 위치 확인 대상 물체에 속한다.

본 단계에서는 단계(102)에서 취득한 유의 법선 벡터에 기초하여 점군을 분할하고, 점군에서의 노이즈의 분할 정밀도에 대한 영향을 저감시켜 분할 정밀도를 향상시킬 수 있다.

선택 가능적으로, 상기 분할 처리는 영역 확장법(region growing), 랜덤 샘플 컨센서스(random sample consensus, RANSAC), 요철성에 기초한 분할 방법, 뉴럴 네트워크에 의한 분할 방법 중 어느 하나에 의해 실현되어도 되고, 본 발명은 이것을 한정하지 않는다.

단계(104)에서, 상기 하나 이상의 분할 영역에서의 점의 3차원 위치에 기초하여 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 취득한다.

본 실시예에서, 각 분할 영역은 전부 하나의 위치 확인 대상 물체에 대응한다. 상기 기준점은 질량 중심, 무게 중심, 기하학적 중심 중 하나이다.

가능한 일 실현형태에서는 각 분할 영역에서의 점의 3차원 위치의 평균값을, 위치 확인 대상 물체의 기준점의 3차원 위치로 한다. 예를 들면, 분할 영역 A에서의 점의 3차원 위치의 평균값을 (a, b, c)로 하면, 분할 영역 A에 대응하는 위치 확인 대상 물체의 기준점의 3차원 위치가 (a, b, c)인 것으로 결정할 수 있다.

가능한 다른 실현형태에서는 각 분할 영역에서의 점의 3차원 위치의 중앙값을, 위치 확인 대상 물체의 기준점의 3차원 위치로 한다. 예를 들면, 분할 영역 B에서의 점의 3차원 위치의 중앙값을 (d, e, f)로 하면, 분할 영역 B에 대응하는 위치 확인 대상 물체의 기준점의 3차원 위치가 (d, e, f)인 것으로 결정할 수 있다.

본 실시예에서, 목표 영역의 유의 법선 벡터에 기초하여 점군에 대해 분할 처리를 행함으로써, 분할 정확률을 향상시킨다. 따라서, 분할에 의해 얻어진 분할 영역에서의 점의 3차원 위치에 기초하여 위치 확인 대상 물체의 기준점의 3차원 위치를 결정하는 경우, 위치 확인 대상 물체의 기준점의 3차원 위치의 정밀도를 향상시킬 수 있다.

위치 확인 대상 물체의 공간에서의 위치를 정확하게 확인하기 위해, 위치 확인 대상 물체의 기준점의 3차원 위치를 결정할 필요가 있을 뿐만 아니라, 위치 확인 대상 물체의 카메라 좌표계에서의 자세를 결정할 필요도 있다. 이 때문에, 본 발명의 실시예는 위치 확인 대상 물체의 자세를 결정하는 기술적 수단을 추가로 제공한다.

도 2를 참조한다. 도 2는 본 발명의 실시예에 따른 다른 데이터 처리 방법의 흐름의 모식도이다.

단계(201)에서, 상기 위치 확인 대상 물체의 모델점군을 취득한다.

분할 영역에서의 점의 법선 벡터에 기초하여 분할 영역에 대응하는 위치 확인 대상 물체의 법선 벡터를 결정할 수 있다. 가능한 일 실시형태에서는 분할 영역에서의 점의 법선 벡터의 평균값을, 분할 영역에 대응하는 위치 확인 대상 물체의 법선 벡터로 한다.

위치 확인 대상 물체의 법선 벡터를 결정하면, 위치 확인 대상 물체의 하나의 자세각을 결정할 수 있다. 본 발명의 실시예에서, 위치 확인 대상 물체의 법선 벡터를 위치 확인 대상 물체의 물체 좌표계의 z축으로 하고, 위치 확인 대상 물체의 법선 벡터에 기초하여 위치 확인 대상 물체의 편주각을 결정할 수 있다.

가능한 일 실현형태에서는 목표 분할 영역에서의 점의 법선 벡터의 평균값(즉, 제2 평균값)을 위치 확인 대상 물체의 법선 벡터로서 위치 확인 대상 물체의 편주각을 결정할 수 있다. 상기 목표 분할 영역은 상기 하나 이상의 분할 영역 중 어느 하나이다.

위치 확인 대상 물체가 z축에 대해 회전 대칭인 물체가 아니면, 후에 위치 확인 대상 물체의 포즈(위치 확인 대상 물체의 기준점의 위치 및 위치 확인 대상 물체의 자세를 포함함)를 사용하여 위치 확인 대상 물체를 파지할(예를 들면, 로봇 핸드 또는 로봇을 제어하여 위치 확인 대상 물체를 파지할) 필요가 있는 경우, 위치 확인 대상 물체의 피치각과 롤링각을 추가로 결정할 필요가 있고, 즉 위치 확인 대상 물체의 물체 좌표계의 x축과 y축의 방향을 결정한다. 그러나, 위치 확인 대상 물체가 z축에 대해 회전 대칭인 물체이면, 위치 확인 대상 물체의 피치각과 롤링각을 결정하지 않고, 위치 확인 대상 물체에 대한 파지를 완료하는 것이 가능하다. 이 때문에, 위치 확인 대상 물체는 z축에 대해 회전 대칭인 물체이다.

취득한 분할 영역과 실제의 위치 확인 대상 물체 사이에 오차가 존재할 가능성이 있기 때문에, 분할 영역에 기초하여 결정된 위치 확인 대상 물체의 편주각 및 위치 확인 대상 물체의 기준점의 3차원 위치에 오차가 존재할 가능성이 있다. 이 때문에, 본 단계에서, 우선, 위치 확인 대상 물체를 주사함으로써, 취득된 위치 확인 대상 물체의 모델점군을 취득한다. 모델점군의 기준점의 3차원 위치를 단계(104)에서 취득된 목표 분할 영역에서의 점의 3차원 위치의 제1 평균값으로 하고, 모델점군의 법선 벡터(즉, 모델점군의 물체 좌표계의 z축)을 상기 제2 평균값으로 한다. 이에 의해, 나중에 모델점군에 기초하여 분할 영역의 편주각의 결정 및 목표 분할 영역의 기준점의 3차원 위치의 보정을 행한다.

단계(202)에서, 상기 목표 분할 영역의 좌표계가 상기 모델점군의 좌표계와 일치하도록 상기 목표 분할 영역을 이동하고, 제1 회전 행렬 및/또는 제1 평행 이동량을 취득한다.

모델점군은 위치 확인 대상 물체를 주사함으로써 취득된 것이고, 즉 모델점군의 물체 좌표계가 정해진 것이고, 정확하다. 이 때문에, 목표 분할 영역의 물체 좌표계가 모델점군의 물체 좌표계와 일치하도록 목표 분할 영역을 이동 및/또는 회전시킴으로써 목표 분할 영역의 편주각을 보정함과 함께 목표 분할 영역의 기준점의 3차원 위치를 보정할 수 있다. 상기 목표 분할 영역의 좌표계가 상기 모델점군의 좌표계와 일치하도록 목표 분할 영역을 이동함으로써, 제1 회전 행렬 및/또는 제1 평행 이동량을 취득할 수 있다.

단계(203)에서, 상기 제1 회전 행렬 및/또는 상기 제1 평행 이동량, 상기 목표 분할 영역의 법선 벡터에 기초하여 상기 위치 확인 대상 물체의 자세각을 취득한다.

단계(104)에서 취득된 제1 평균값을 상기 제1 회전 행렬에 곱하여 제1 회전 후의 3차원 위치를 취득한다. 제1 회전 후의 3차원 위치를 상기 제1 평행 이동량에 가산하면, 보정 후의 목표 분할 영역의 기준점의 3차원 위치를 취득할 수 있다.

상기 제2 평균값을 상기 제1 회전 행렬에 곱하여 회전 후의 법선 벡터를 취득한다. 회전 후의 법선 벡터를 상기 제1 평행 이동량에 가산하면, 보정 후의 목표 분할 영역의 법선 벡터를 취득하여 위치 확인 대상 물체의 편주각을 결정할 수 있다. 선택 가능적으로, 위치 확인 대상 물체가 z축에 대해 회전 대칭인 물체이기 때문에, 위치 확인 대상 물체의 피치각과 롤링각을 임의의 값으로 설정하여 위치 확인 대상 물체의 자세각을 취득할 수 있다.

본 실시예에서, 목표 분할 영역의 물체 좌표계가 모델점군의 물체 좌표계와 일치하도록 목표 분할 영역을 회전 및/또는 이동함으로써 위치 확인 대상 물체의 편주각을 결정함으로써, 위치 확인 대상 물체의 편주각의 정밀도를 향상시키거나 위치 확인 대상 물체의 기준점의 3차원 위치를 보정할 수 있고, 위치 확인 대상 물체의 편주각에 기초하여 위치 확인 대상 물체의 자세를 결정할 수 있다.

실제 장면에서, 복수의 위치 확인 대상 물체가 적층되어 있을 가능성이 있다. 이 때문에, 처리 대상점군에 대해 분할 처리를 행하는 경우, 분할 오차가 존재할 가능성이 있다. 점군에 대한 분할 정밀도를 향상시키기 위해, 본 발명의 실시예는 목표 영역(제1 목표 영역과 제2 목표 영역을 포함함)의 유의 법선 벡터에 기초하여 목표 영역을 투영함과 함께, 투영에 의해 취득된 평면을 분할하는 방법을 제공한다.

도 3을 참조한다. 도 3은 본 발명의 실시예에 따른 다른 데이터 처리 방법의 흐름의 모식도이다.

단계(301)에서, 상기 제1 유의 법선 벡터에 수직인 평면에 대한 제1 목표 영역의 투영을 결정하고, 제1 투영 평면을 취득하고, 상기 제2 유의 법선 벡터에 수직인 평면에 대한 상기 제2 목표 영역의 투영을 결정하고, 제2 투영 평면을 취득한다.

제1 유의 법선 벡터에 기초하여 제1 목표 영역을 투영하고, 제1 투영 평면을 취득할 수 있고, 제2 유의 법선 벡터에 기초하여 제2 목표 영역을 투영하고, 제2 투영 평면을 취득할 수 있다. 제1 유의 법선 벡터의 방향과 제2 유의 법선 벡터의 방향이 상이한 경우, 제1 투영 평면과 제2 투영 평면 사이의 거리는 제1 목표 영역과 제2 목표 영역 사이의 거리보다 크다. 즉, 본 단계에서, 제1 목표 영역과 제2 목표 영역을 투영함으로써, 제1 목표 영역과 제2 목표 영역 사이의 거리를 크게 할 수 있다.

단계(302)에서, 상기 제1 투영 평면과 상기 제2 투영 평면에 대해 분할 처리를 행하여 상기 하나 이상의 분할 영역을 얻는다.

제1 목표 영역과 제2 목표 영역 사이의 거리가 작기 때문에, 제1 목표 영역과 제2 목표 영역에 대해 분할 처리를 행하면 큰 분할 오차가 존재할 가능성이 있다. 예를 들면, 동일한 위치 확인 대상 물체에 속하지 않는 점을 동일한 분할 영역으로 배분한다. 제1 투영 평면과 제2 투영 평면 사이의 거리가 제1 목표 영역과 제2 목표 영역 사이의 거리보다 크기 때문에, 제1 투영 평면과 제2 투영 평면에 대해 분할 처리를 행하면, 분할 정확률을 향상시킬 수 있다.

제1 투영 평면과 제2 투영 평면에 대해 분할 처리를 행하는 일 실현형태에서는, 상기 제1 투영 평면과 상기 제2 투영 평면에서의 임의의 1점을 개시점(이하, 제1 개시점이라고 함)으로 하고, 제1 소정값을 반경으로 하여 제1 근방 영역을 설정한다. 상기 제1 근방 영역에서 상기 제1 개시점과의 사이의 유사도가 제1 임계값 이상인 점을 제1 목표점으로 결정한다. 상기 제1 목표점과 상기 제1 개시점을 포함하는 영역을 확인 대상 분할 영역으로 한다. 확인 대상 분할 영역에서 제1 개시점과 상이한 제2 개시점을 선택하고, 제2 개시점을 중심으로 하고, 제1 소정값을 반경으로 하여 제4 근방 영역을 설정한다. 상기 제4 근방 영역에서 상기 제2 개시점과의 사이의 유사도가 제1 임계값 이상인 점을 제2 목표점으로 결정한다. 제2 목표점을 확인 대상 분할 영역으로 배분한다. 투영 평면에서 근방 영역의 개시점과의 사이의 유사도가 제1 임계값 이상인 점을 취득할 수 없을 때까지, 상기 개시점의 선택, 근방 영역의 설정, 목표점의 취득의 단계를 반복하여 실행하면, 확인 대상 분할 영역을 분할 영역으로 결정한다. 상기 제1 소정값은 양수이다. 선택 가능적으로, 제1 소정값은 5㎜이다. 상기 제1 임계값은 양수이다. 선택 가능적으로, 제1 임계값은 85％이다.

본 실시예에서, 제1 목표 영역과 제2 목표 영역을 투영함으로써, 제1 목표 영역과 제2 목표 영역 사이의 거리를 크게 하고, 분할 정확률을 향상시키는 효과를 달성하고, 취득한 위치 확인 대상 물체의 포즈의 정밀도를 향상시킨다.

본 발명의 실시예는 위치 확인 대상 물체의 포즈의 정밀도를 향상시키는 기술적 수단을 추가로 제공한다.

도 4를 참조한다. 도 4는 본 발명의 실시예에 따른 다른 데이터 처리 방법의 흐름도이다.

단계(401)에서, 상기 목표 분할 영역의 좌표계가 상기 모델점군의 좌표계와 일치하는 경우, 상기 목표 분할 영역에서의 점이 상기 모델점군의 기준점과 일치하도록 상기 목표 분할 영역을 이동하고, 상기 목표 분할 영역의 기준 위치를 취득한다.

단계(201)에서 서술한 바와 같이, 목표 분할 영역과 실제 위치 확인 대상 물체 사이에 오차가 존재할 가능성이 있기 때문에, 목표 분할 영역의 기준점과 실제 위치 확인 대상 물체의 기준점 사이에 오차가 존재할 가능성도 있다. 이 때문에, 목표 분할 영역의 기준점의 3차원 위치에 기초하여 결정된 위치 확인 대상 물체의 기준점의 3차원 위치의 정밀도가 낮아진다. 본 단계에서, 목표 분할 영역의 물체 좌표계(즉, 단계(202)를 실행한 후에 취득한 목표 분할 영역의 물체 좌표계)가 모델점군의 물체 좌표계와 일치하는 경우, 목표 분할 영역에서의 임의의 1점이 모델점군의 기준점과 일치하도록 목표 분할 영역을 이동하고, 목표 분할 영역의 기준 위치를 취득함으로써, 그 후에 기준 위치에 기초하여 목표 분할 영역에서의 기준점의 3차원 위치를 결정한다.

단계(402)에서, 상기 기준 위치에서의 상기 목표 분할 영역과 상기 모델점군의 일치도를 결정한다.

본 실시예에서의 일치도는 목표 분할 영역에서의 모델점군과 일치하는 점의 수와, 모델점군의 점의 수의 비를 포함한다. 여기서, 2점간의 거리와 2점간의 일치도는 음의 상관 관계에 있다.

목표 분할 영역에서의 점이 모델점군의 기준점과 순차 일치하도록 목표 분할 영역을 이동하고, 일치할 때마다 모델점군에서 목표 분할 영역에서의 각 점에 대해 거리가 가장 가까운 1점을 결정하고, 목표 분할 영역에서의 각 점과 거리가 가장 가까운 점 사이의 거리를 결정한다. 목표 분할 영역에서의 모델점군과 일치하는 점의 수(동일하게 일치하는 2점간의 거리가 제2 거리 임계값 이하)를 결정하고, 일치할 때마다 목표 분할 영역과 모델점군의 일치도를 결정할 수 있다. 선택 가능적으로, 모델점군에서 목표 분할 영역에서의 각 점에 대해 거리가 가장 가까운 점을 결정하는 것은 kd 트리(k-dimensional tree) 또는 순회 탐색법 중 어느 하나의 알고리즘에 의해 실현되어도 된다.

상기 기준 위치에서의 목표 분할 영역과 모델점군의 일치도를 결정하는 가능한 일 실현형태에서는 상기 기준 위치에서의 목표 분할 영역에서의 제1 점과, 상기 모델점군에서 상기 제1 점에 가장 가까운 제2 점 사이의 거리를 결정한다. 상기 거리가 제2 임계값(즉, 상기 제2 거리 임계값) 이하인 경우, 상기 기준 위치의 일치도 지표를 제2 소정값만큼 증가시킨다. 상기 일치도 지표에 기초하여 상기 일치도를 결정하고, 상기 일치도 지표와 상기 일치도와 양의 상관 관계에 있다. 제2 임계값은 양수이다. 선택 가능적으로, 제2 임계값은 0.3㎜이다.

상기 제1 점은 기준 위치에서의 목표 분할 영역에서의 임의의 1점이다. 상기 제2 소정값은 양수이다. 선택 가능적으로, 제2 소정값은 1이다. 예를 들면, (예 1), 기준 위치에서의 목표 분할 영역이 점 a, 점 b, 점 c를 포함하고, 모델점군이 점 d, 점 e, 점 f, 점 g를 포함한다고 상정한다. 점 d는 모델점군에서 점 a에 가장 가까운 점이고, 점 a와 점 d 사이의 거리는 d₁이다. 점 e는 모델점군에서 점 b에 가장 가까운 점이고, 점 b와 점 e 사이의 거리는 d₂이다. 점 f는 모델점군에서 점 c에 가장 가까운 점이고 점이고, c와 점 f 사이의 거리는 d₃이다. 여기서, d₁은 제2 임계값보다 크다. d₂는 제2 임계값보다 작고, 이에 따라 일치도 지표에 1을 가산해도 된다. d₃은 제2 임계값과 동일하고, 이에 따라 일치도 지표에 1을 가산한다. 기준 위치에서의 목표 분할 영역과 모델점군의 일치도 지표는 2이다.

일치할 때마다 일치도 지표를 결정한 후, 일치도 지표의 최대값에 대응하는 목표 분할 영역과 모델점군의 일치도가 최대인 것으로 결정할 수 있고, 일치도가 최대인 목표 분할 영역에서의 모델점군의 기준점과 일치하는 점의 3차원 위치를 목표 분할 영역의 기준점의 3차원 위치로 결정할 수 있다.

예 1에 이어 예(예 2)를 들고, 모델점군 내의 기준점은 점 f이고, 점 a가 점 f와 일치하는 경우, 목표 분할 영역과 모델점군 사이의 일치도 지표는 1이고, 점 b가 점 f와 일치하는 경우, 목표 분할 영역과 모델점군 사이의 일치도 지표는 1이고, 점 c가 점 f와 일치하는 경우, 목표 분할 영역과 모델점군 사이의 일치도 지표는 2이다. 이 경우, 일치도 지표의 최대값에 대응하는 목표 분할 영역은 점 c가 점 f와 일치하는 경우의 목표 분할 영역이고, 즉 점 c가 점 f와 일치하도록 목표 분할 영역을 이동한 경우, 목표 분할 영역과 모델점군의 일치도가 최대이다.

단계(403)에서, 일치도의 최대값에 대응하는 기준 위치를 목표 기준 위치로 한다.

예 2에 이어서 예를 들어, 점 c가 점 f와 일치하도록 목표 분할 영역을 이동한 경우의 기준 위치를 제1 기준 위치로 하는 것으로 상정하고, 이 때, 제1 기준 위치는 목표 기준 위치이다.

단계(404)에서, 상기 목표 기준 위치에서의 상기 목표 분할 영역에서의 점의 3차원 위치의 제3 평균값을 제1 조정 후의 상기 위치 확인 대상 물체의 기준점의 3차원 위치로 결정한다.

목표 기준 위치에서의 목표 분할 영역과 모델점군의 일치도가 최대인 것은 목표 기준 위치에서의 목표 분할 영역에서의 점의 3차원 위치의 정밀도가 가장 높은 것을 나타낸다. 이 때문에, 목표 기준 위치에서의 목표 분할 영역에서의 점의 3차원 위치의 제3 평균값을 산출하고, 제3 평균값을 제1 조정 후의 위치 확인 대상 물체의 기준점의 3차원 위치로 한다.

본 실시예에서, 목표 분할 영역과 모델점군 사이의 일치도에 기초하여 목표 분할 영역의 목표 기준 위치를 결정하고, 제1 조정 후의 위치 확인 대상 물체의 기준점의 3차원 위치를 결정함으로써, 위치 확인 대상 물체의 기준점의 3차원 위치의 정밀도를 향상시키는 효과를 달성한다.

또한, 실시예에서 목표 분할 영역에 대해 실행된 처리(이하, 목표 처리라고 함)에 대해 설명했지만, 실제 응용에서는 상기 하나 이상의 분할 영역의 각각에 대해 목표 처리를 실행하는 것이 가능하다는 것을 이해해야 한다. 예를 들면, 하나 이상의 분할 영역은 분할 영역 A와, 분할 영역 B와, 분할 영역 C를 포함하고, 실제 응용에서는 분할 영역 A에 대해 목표 처리를 실행하고, 분할 영역 B와 분할 영역 C에 대해 목표 처리를 실행하지 않도록 해도 되고, 분할 영역 A와 분할 영역 B에 대해 목표 처리를 실행하고, 분할 영역 C에 대해 목표 처리를 실행하지 않도록 해도 되고, 분할 영역 A, 분할 영역 B 및 분할 영역 C에 대해 목표 처리를 실행해도 된다.

본 발명은 위치 확인 대상 물체의 포즈의 정밀도를 향상시키는 다른 기술적 수단을 추가로 제공한다. 이 기술적 수단은 상기 모델점군의 기준점의 3차원 위치를 상기 제3 평균값으로 조정하는 것과, 상기 제1 점과, 모델점군 내의 제3 점 사이의 거리가 제3 임계값 이하가 되도록 목표 기준 위치에서의 목표 분할 영역을 회전 및/또는 평행 이동함으로써, 제2 회전 행렬 및/또는 제2 평행 이동량을 취득하는 것과, 상기 제2 회전 행렬 및/또는 상기 제2 평행 이동량에 기초하여 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 조정하여, 제2 조정 후의 위치 확인 대상 물체의 기준점의 3차원 위치를 취득하고, 상기 제2 회전 행렬 및/또는 상기 제2 평행 이동량에 기초하여 상기 위치 확인 대상 물체의 자세각을 조정하고, 조정 후의 상기 위치 확인 대상 물체의 자세각을 취득하는 것을 포함한다.

이 기술적 수단에서, 제1 점은 목표 분할 영역에서의 임의의 1점이고, 제3 점은 기준점의 3차원 위치를 상기 제3 평균값으로 조정한 후의 모델점군에서 제1 점에 가장 가까운 점이다. 상기 제3 임계값은 양수이다. 선택 가능적으로, 제3 임계값은 0.3㎜이다. 제1 점과 제3 점 사이의 거리가 제3 임계값 이하인 경우는 목표 분할 영역과 모델점군 사이의 일치도가 예상대로인 것, 즉 목표 분할 영역의 위치 정밀도가 예상대로인 것을 나타낸다. 제1 점과 제3 점 사이의 거리가 제3 임계값 이하가 되도록 목표 분할 영역을 회전 및/또는 이동함으로써, 제2 회전 행렬 및/또는 제2 평행 이동량을 취득할 수 있다. 취득한 위치 확인 대상 물체의 기준점의 3차원 위치를 제2 회전 행렬에 곱하고, 제2 회전 후의 3차원 위치를 취득한다. 제2 회전 후의 3차원 위치를 제2 평행 이동량에 가산하여, 제2 조정 후의 위치 확인 대상 물체의 기준점의 3차원 위치를 취득한다. 취득한 위치 확인 대상 물체의 자세각(여기서, 목표 분할 영역을 회전시키지 않고 평행 이동하도록 해도 됨)을 제2 회전 행렬에 곱하여, 회전 후의 자세각을 취득한다. 회전 후의 자세각을 제2 평행 이동량에 가산하여, 조정 후의 위치 확인 대상 물체의 자세각을 취득한다.

본 발명의 실시예에 따른 기술적 수단에 의해 위치 확인 대상 물체의 포즈를 취득한 후, 위치 확인 대상 물체의 포즈에 기초하여 로봇 핸드를 제어하여 위치 확인 대상 물체를 파지하는 것이 가능하다. 그러나, 실제의 응용에서는 로봇 핸드에 의한 위치 확인 대상 물체의 파지 경로에는 「장해물」이 존재할 가능성이 있다. 파지 경로에는 「장해물」이 존재하면, 로봇 핸드의 파지 성공률에 영향을 미친다. 이 때문에, 본 발명의 실시예는 파지 경로에서의 「장해물」의 검출에 기초하여 위치 확인 대상 물체를 파지할지 여부를 결정하는 것을 제공한다.

상술한 위치 확인 대상 물체의 포즈 및 조정 후의 위치 확인 대상 물체의 포즈는 전부 위치 확인 대상 물체의 카메라 좌표계에서의 포즈이지만, 로봇 핸드의 파지 경로는 세계 좌표계에서의 곡선이다. 따라서, 로봇 핸드의 파지 경로를 결정할 때, 위치 확인 대상 물체의 포즈(또는 조정 후의 위치 확인 대상 물체의 포즈)를 변환 행렬에 곱하여 위치 확인 대상 물체의 세계 좌표계에서의 포즈(파지 3차 원 위치 및 파지 자세각을 포함함)를 취득할 수 있다. 여기서, 변환 행렬은 카메라 좌표계와 세계 좌표계 사이의 좌표계 변환 행렬이다. 동시에, 로봇 핸드 모델 및 그 초기 포즈를 취득할 수 있다.

파지 3차원 위치, 파지 자세각, 로봇 핸드 모델 및 로봇 핸드 모델의 초기 포즈에 기초하여 세계 좌표계에서의 로봇 핸드에 의한 위치 확인 대상 물체의 파지의 파지 경로를 얻을 수 있다. 세계 좌표계에서의 로봇 핸드에 의한 위치 확인 대상 물체의 파지의 파지 경로를 카메라 좌표계에서의 로봇 핸드에 의한 위치 확인 대상 물체의 파지의 파지 경로로 변환함으로써 점군에서의 로봇 핸드에 의한 위치 확인 대상 물체의 파지의 파지 경로를 얻을 수 있다.

점군에서의 로봇 핸드에 의한 위치 확인 대상 물체의 파지의 파지 경로에서, 위치 확인 대상 물체에 속하지 않는 점의 수를 결정함으로써, 로봇 핸드에 의한 위치 확인 대상 물체의 파지의 파지 경로에서의 「장해물」을 결정한다. 파지 경로에서의 위치 확인 대상 물체에 속하지 않는 점의 수가 제4 임계값 이상인 경우는 파지 경로에는 「장해물」이 존재하는 것을 나타내고, 위치 확인 대상 물체를 파지할 수 없고, 즉, 위치 확인 대상 물체는 파지 불가 물체이다. 파지 경로에서의 위치 확인 대상 물체에 속하지 않는 점의 수가 제4 임계값보다 작은 경우는 파지 경로에는 「장해물」이 존재하지 않는 것을 나타내고, 위치 확인 대상 물체를 파지할 수 있고, 즉, 위치 확인 대상 물체는 파지 가능 물체이다. 상기 제4 임계값은 양의 정수이다. 선택 가능적으로, 제4 임계값은 5이다.

파지 경로에서의 위치 확인 대상 물체에 속하지 않는 점의 수를 결정함으로써, 파지 경로에 「장해물」이 존재하는지 여부를 결정할 수 있고, 위치 확인 대상 물체가 파지 가능 물체인지 여부를 결정할 수 있다. 이와 같이, 로봇 핸드가 위치 확인 대상 물체를 파지하는 성공률을 향상시켜, 파지 경로에서의 「장해물」의 존재에서 기인하여 위치 확인 대상 물체의 파지시에 사고가 발생할 확률을 감소시킬 수 있다.

당업자라면, 구체적인 실시형태에 따른 상기 방법에서는 각 단계의 기재 순서는 실행 순서를 엄밀하게 한정하여 실시 과정을 한정하는 것이 아니고, 각 단계의 실행 순서가 그 기능과 내부 논리에 의해 구체적으로 결정된다는 것을 이해해야 한다.

이상, 본 발명의 실시예의 방법을 상세히 설명했지만, 이하, 본 발명의 실시예의 장치를 제공한다.

도 5를 참조한다. 도 5는 본 발명의 실시예에 따른 데이터 처리 장치의 구조의 모식도이다. 당해 장치(1)는 취득 유닛(11)과, 조정 유닛(12)과, 분할 처리 유닛(13)과, 제1 처리 유닛(14)과, 결정 유닛(15)과, 이동 유닛(16)과, 제2 처리 유닛(17)과, 변환 유닛(18)을 포함한다. 취득 유닛(11)은 하나 이상의 위치 확인 대상 물체를 포함하는 처리 대상점군을 취득하는 것에 사용되고, 조정 유닛(12)은 상기 처리 대상점군에서, 서로 상이한 2개 이상의 목표 영역을 결정하고, 상기 목표 영역에서의 점의 초기 법선 벡터에 기초하여 상기 목표 영역에서의 점의 법선 벡터를 유의 법선 벡터로 조정하는 것에 사용되고, 분할 처리 유닛(13)은 상기 목표 영역의 유의 법선 벡터에 기초하여 상기 처리 대상점군에 대해 분할 처리를 행하여, 하나 이상의 분할 영역을 얻는 것에 사용되고, 제1 처리 유닛(14)은 상기 하나 이상의 분할 영역에서의 점의 3차원 위치에 기초하여 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 취득하는 것에 사용된다.

가능한 일 실현형태에서는 상기 2개 이상의 목표 영역은 제1 목표 영역과 제2 목표 영역을 포함하고, 상기 초기 법선 벡터는 제1 초기 법선 벡터와 제2 초기 법선 벡터를 포함하고, 상기 유의 법선 벡터는 제1 유의 법선 벡터와 제2 유의 법선 벡터를 포함하고, 상기 조정 유닛(12)은 상기 제1 목표 영역에서의 점의 상기 제1 초기 법선 벡터에 기초하여 상기 제1 목표 영역에서의 점의 법선 벡터를 상기 제1 유의 법선 벡터로 조정하고, 상기 제2 목표 영역에서의 점의 상기 제2 초기 법선 벡터에 기초하여 상기 제2 목표 영역에서의 점의 법선 벡터를 상기 제2 유의 법선 벡터로 조정하는 것에 사용된다.

다른 가능한 실현형태에서는 상기 분할 처리 유닛(13)은 상기 제1 유의 법선 벡터와 상기 제2 유의 법선 벡터에 기초하여 상기 처리 대상점군에 대해 분할 처리를 행하여, 상기 하나 이상의 분할 영역을 얻는 것에 사용된다.

다른 가능한 실현형태에서는 상기 조정 유닛(12)은 상기 제1 목표 영역에서의 점의 제1 초기 법선 벡터에 대해 클러스터링 처리를 행하여 하나 이상의 클러스터를 얻는 것과, 상기 하나 이상의 클러스터 중, 포함되는 상기 제1 초기 법선 벡터의 수가 가장 많은 클러스터를 목표 클러스터로 하고, 상기 목표 클러스터 내의 상기 제1 초기 법선 벡터에 기초하여 상기 제1 유의 법선 벡터를 결정하는 것과, 상기 제1 목표 영역에서의 점의 법선 벡터를 상기 제1 유의 법선 벡터로 조정하는 것에 사용된다.

다른 가능한 실현형태에서는 상기 조정 유닛(12)은 구체적으로, 상기 제1 목표 영역에서의 점의 제1 초기 법선 벡터를, 벡터를 나타내는 소정 구간으로서, 나타내는 벡터가 서로 상이한 하나 이상의 소정 구간 중 어느 하나에 매핑하는 것과, 포함되는 상기 제1 초기 법선 벡터의 수가 가장 많은 상기 소정 구간을 목표 소정 구간으로 하는 것과, 상기 목표 소정 구간에 포함되는 상기 제1 초기 법선 벡터에 기초하여 상기 제1 유의 법선 벡터를 결정하는 것에 사용된다.

다른 가능한 실현형태에서는 상기 조정 유닛(12)은 구체적으로 상기 목표 소정 구간 내의 상기 제1 초기 법선 벡터의 평균값을 상기 제1 유의 법선 벡터로 결정하는 것, 또는 상기 목표 소정 구간 내의 상기 제1 초기 법선 벡터의 중앙값을 상기 제1 유의 법선 벡터로 결정하는 것에 사용된다.

다른 가능한 실현형태에서는 상기 분할 처리 유닛(13)은 상기 제1 유의 법선 벡터에 수직인 평면에 대한 상기 제1 목표 영역의 투영을 결정하고, 제1 투영 평면을 취득하는 것과, 상기 제2 유의 법선 벡터에 수직인 평면에 대한 상기 제2 목표 영역의 투영을 결정하고, 제2 투영 평면을 취득하는 것과, 상기 제1 투영 평면과 상기 제2 투영 평면에 대해 분할 처리를 행하여, 상기 하나 이상의 분할 영역을 얻는 것에 사용된다.

다른 가능한 실현형태에서는 상기 분할 처리 유닛(13)은 구체적으로, 상기 제1 투영 평면과 상기 제2 투영 평면에서의 임의의 1점을 개시점으로 하고, 제1 소정값을 반경으로 하여 제1 근방 영역을 설정하는 것과, 상기 제1 근방 영역에서 상기 개시점 사이의 유사도가 제1 임계값 이상인 점을 목표점으로 결정하는 것과, 상기 목표점과 상기 개시점을 포함하는 영역을 분할 영역으로 하고, 상기 하나 이상의 분할 영역을 취득하는 것에 사용된다.

다른 가능한 실현형태에서는 상기 제1 처리 유닛(14)은 상기 하나 이상의 분할 영역 중 목표 분할 영역에서의 점의 3차원 위치의 제1 평균값을 결정하는 것과, 상기 제1 평균값에 기초하여 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 결정하는 것에 사용된다.

다른 가능한 실현형태에서는 상기 장치(1)는 상기한, 상기 하나 이상의 분할 영역에서의 점의 3차원 위치의 제1 평균값을 결정한 후, 상기 목표 분할 영역에서의 점의 법선 벡터의 제2 평균값을 결정하는 결정 유닛(15)과, 상기 위치 확인 대상 물체의 모델점군으로서, 초기 3차원 위치가 상기 제1 평균값이고, 피치각이 상기 제2 평균값에 의해 결정되는 모델점군을 취득하는 것에 추가로 사용되는 상기 취득 유닛(11)과, 상기 목표 분할 영역의 좌표계가 상기 모델점군의 좌표계와 일치하도록 상기 목표 분할 영역을 이동하고, 제1 회전 행렬 및/또는 제1 평행 이동량을 취득하는 이동 유닛(16)과, 상기 제1 회전 행렬 및/또는 제1 평행 이동량, 상기 목표 분할 영역의 법선 벡터에 기초하여 상기 위치 확인 대상 물체의 자세각을 취득하는 제1 처리 유닛(14)을 추가로 포함한다.

다른 가능한 실현형태에서는 상기 이동 유닛(16)은 추가로, 상기 목표 분할 영역의 좌표계가 상기 모델점군의 좌표계와 일치하는 경우, 상기 목표 분할 영역에서의 점이 상기 모델점군의 기준점과 일치하도록 상기 목표 분할 영역을 이동하고, 상기 목표 분할 영역의 기준 위치를 취득하는 것에 사용되고, 상기 결정 유닛(15)은 추가로, 상기 기준 위치에서의 상기 목표 분할 영역과 상기 모델점군의 일치도를 결정하는 것에 사용되고, 상기 결정 유닛(15)은 추가로, 일치도의 최대값에 대응하는 기준 위치를 목표 기준 위치로 하는 것에 사용되고, 상기 제1 처리 유닛(14)은 상기 목표 기준 위치에서의 상기 목표 분할 영역에서의 점의 3차원 위치의 제3 평균값을 제1 조정 후의 상기 위치 확인 대상 물체의 기준점의 3차원 위치로 결정하는 것에 사용된다.

다른 가능한 실현형태에서는 상기 결정 유닛(15)은 구체적으로 상기 기준 위치에서의 상기 목표 분할 영역에서의 제1 점과, 상기 모델점군에서 상기 제1 점에 가장 가까운 제2 점 사이의 거리를 결정하는 것과, 상기 거리가 제2 임계값 이하인 경우, 상기 기준 위치의 일치도 지표를 제2 소정값만큼 증가시키고, 상기 일치도와 양의 상관 관계에 있는 상기 일치도 지표에 기초하여 상기 일치도를 결정하는 것에 사용된다.

다른 가능한 실현형태에서는 상기 조정 유닛(12)은 추가로, 상기 모델점군의 기준점의 3차원 위치를 상기 제3 평균값으로 조정하는 것에 사용되고, 상기 장치(1)는 상기 제1 점과, 기준점의 3차원 위치가 상기 제3 평균값인 경우의 모델점군에서 상기 제1 점에 가장 가까운 점인 상기 모델점군 내의 제3 점 사이의 거리가 제3 임계값 이하가 되도록 상기 목표 기준 위치에서의 상기 목표 분할 영역을 회전 및/또는 평행 이동함으로써, 제2 회전 행렬 및/또는 제2 평행 이동량을 취득하는 제2 처리 유닛(17)과, 상기 제2 회전 행렬 및/또는 상기 제2 평행 이동량에 기초하여 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 조정하고, 제2 조정 후의 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 취득하고, 상기 제2 회전 행렬 및/또는 상기 제2 평행 이동량에 기초하여 상기 위치 확인 대상 물체의 자세각을 조정하여, 조정 후의 상기 위치 확인 대상 물체의 자세각을 취득하는 것에 추가로 사용되는 상기 제1 처리 유닛(14)을 포함한다.

다른 가능한 실현형태에서는 상기 장치(1)는 상기 위치 확인 대상 물체의 기준점의 3차원 위치와 상기 위치 확인 대상 물체의 자세각을 로봇 좌표계에서의 파지 3차원 위치와 파지 자세각으로 변환하는 변환 유닛(18)과, 로봇 핸드 모델 및 로봇 핸드 모델의 초기 포즈를 취득하는 것에 추가로 사용되는 취득 유닛(11)과, 상기 파지 3차원 위치, 상기 파지 자세각, 상기 로봇 핸드 모델 및 상기 로봇 핸드 모델의 초기 포즈에 기초하여 상기 점군에서 상기 로봇 핸드에 의한 상기 위치 확인 대상 물체의 파지의 파지 경로를 얻는 것에 추가로 사용되는 상기 제1 처리 유닛(14)과, 상기 파지 경로에서의 상기 위치 확인 대상 물체에 속하지 않는 점의 수가 제4 임계값 이상인 경우, 상기 위치 확인 대상 물체를 파지 불가 물체로 결정하는 것에 추가로 사용되는 상기 결정 유닛(15)을 추가로 포함한다.

다른 가능한 실현형태에서는 상기 조정 유닛(12)은 상기 점군 내의 2개 이상의 목표점을 결정하는 것과, 상기 2개 이상의 목표점의 각각을 구심으로 하고, 제3 소정값을 반경으로 하여 2개 이상의 목표 영역을 설정하는 것에 사용된다.

다른 가능한 실현형태에서는 상기 취득 유닛(11)은 상기 하나 이상의 위치 확인 대상 물체가 존재하는 장면의 점군을 포함하는 제1 점군과, 상기 하나 이상의 위치 확인 대상 물체 및 상기 하나 이상의 위치 확인 대상 물체가 존재하는 장면의 점군을 포함하는 제2 점군을 취득하는 것과, 상기 제1 점군과 상기 제2 점군에서 동일한 데이터를 결정하는 것과, 상기 제2 점군에서 상기 동일한 데이터를 제거하여 상기 처리 대상점군을 얻는 것에 사용된다.

일부 실시예에서는 본 발명의 실시예에 따른 장치가 구비하는 기능 또는 모듈은 상기 방법의 실시예에 설명되는 방법을 실행하기 위해 이용할 수 있고, 그 구체적인 실현에 대해서는 상기 방법 실시예의 설명을 참조해도 되고, 간소화를 위해 상세한 설명은 생략한다.

본 실시예에서, 목표 영역의 유의 법선 벡터에 기초하여 점군에 대해 분할 처리를 행함으로써, 분할 정확률을 향상시키고, 분할에 의해 얻어진 분할 영역에서의 점의 3차원 위치에 기초하여 위치 확인 대상 물체의 기준점의 3차원 위치를 결정하는 경우, 위치 확인 대상 물체의 기준점의 3차원 위치의 정밀도를 향상시킬 수 있다.

도 6은 본 발명의 실시예에 따른 데이터 처리 장치의 하드웨어 구조의 모식도이다. 당해 데이터 처리 장치(2)는 프로세서(21)와, 메모리(22)와, 입력 장치(23)와, 출력 장치(24)를 구비한다. 이 프로세서(21), 메모리(22), 입력 장치(23) 및 출력 장치(24)는 커넥터를 통해 결합되고, 이 커넥터는 다양한 인터페이스, 전송 라인이나 버스 등을 포함하고, 본 발명의 실시예에서는 이것을 한정하지 않는다. 본 발명의 각 실시예에서는 결합이란, 특정 수단에 의한 상호 접속을 의미하고, 직접적으로 접속되는 것, 또는 예를 들면, 다양한 인터페이스, 전송 라인, 버스 등의 다른 장치를 통해 간접적으로 접속되는 것을 포함하는 것은 이해해야 한다.

프로세서(21)는 하나 이상의 그래픽 프로세서(graphics processing unit, GPU)여도 된다. 프로세서(21)가 하나의 GPU인 경우, 당해 GPU는 싱글 코어 GPU여도 되고, 멀티 코어 GPU여도 된다. 선택 가능적으로, 프로세서(21)는 복수의 GPU로 이루어지는 프로세서군이고, 복수의 프로세서끼리가 하나 이상의 버스를 통해 서로 결합되어 있는 것이어도 된다. 선택 가능적으로, 프로세서는 추가로, 다른 타입의 프로세서 등이어도 되고, 본 발명의 실시예는 이것을 한정하지 않는다.

메모리(22)는 컴퓨터 프로그램 명령 및 본 발명의 기술적 수단을 실행하기 위한 프로그램 코드를 포함한 다양한 컴퓨터 프로그램 코드를 기억할 수 있다. 선택 가능적으로, 메모리는 랜덤 액세스 메모리(random access memory, RAM), 판독 전용 메모리(read-only memory, ROM), 소거 가능 프로그래머블 판독 전용 메모리(erasable progra㎜able read only momery, EPROM) 또는 콤팩트 디스크 판독 전용 메모리(compact disk-read-only memory, CD-ROM)를 포함하지만, 이들에 한정되지 않고, 당해 메모리는 관련 명령 및 데이터를 위한 것이다.

입력 장치(23)는 데이터 및/또는 신호를 입력하기 위한 것이고, 출력 장치(24)는 데이터 및/또는 신호를 출력하기 위한 것이다. 출력 장치(23)와 입력 장치(24)는 독립된 디바이스여도 되고, 일체의 디바이스여도 된다.

본 발명의 실시예에서는 메모리(22)는 관련 명령뿐만 아니라 관련 데이터를 기억할 수도 있다. 예를 들면, 당해 메모리(22)는 입력 장치(23)에 의해 취득된 처리 대상점군을 기억할 수 있거나, 또는 프로세서(21)에 의해 취득한 위치 확인 대상 물체의 포즈 등을 기억할 수도 있고, 본 발명의 실시예는 당해 메모리에 구체적으로 기억된 데이터를 한정하지 않는 것으로 이해할 수 있다.

도 6은 데이터 처리 장치의 간략화된 설계만을 나타내는 것을 이해해야 한다. 실제 적용에서는 데이터 처리 장치는 추가로, 임의의 수의 입력/출력 장치, 프로세서, 메모리 등의 필요한 다른 소자를 각각 포함해도 되지만, 이들에 한정되지 않는다. 본 발명의 실시예를 실시할 수 있는 모든 데이터 처리 장치는 본 발명의 기술적 범위 내인 것으로 이해할 수 있다.

본 발명의 실시예는 컴퓨터 판독 가능 코드를 포함하고, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 동작하면, 전자 기기의 프로세서에 상기 방법을 실현하기 위한 단계를 실행시키는 컴퓨터 프로그램을 추가로 제공한다.

당업자이면, 본 명세서에 개시된 실시예와 함께 설명된 다양한 예시적인 유닛 및 알고리즘 단계는 전자 하드웨어, 또는 컴퓨터 소프트웨어와 전자 하드웨어의 조합으로 실현될 수 있는 것을 인식할 수 있다. 이들 기능이 하드웨어로 실행되는지, 소프트웨어로 실행되는지는 기술적 수단의 특정 응용이나 설계 제약 조건에 의존한다. 당업자는 특정 응용마다 설명한 기능을 상이한 방법에 의해 실현할 수 있지만, 이와 같은 실현은 본 발명의 범위를 벗어나는 것으로는 생각되지 않는다.

당업자에게 명백한 바와 같이, 설명의 용이성 및 간소화를 위해, 상술한 시스템, 장치 및 유닛의 구체적인 작동 과정은 상술한 방법의 실시예에서의 대응 과정을 참조할 수 있고, 여기서는 설명을 생략한다. 또한, 당업자에게는 명백한 바와 같이, 본 발명의 각 실시예는 각각에 중점을 두고 설명하고, 설명의 용이성 및 간소화를 위해, 상이한 실시예에서 동일하거나 또는 유사한 부분은 생략되어 있는 경우가 있다. 따라서, 어느 실시예에서 설명되지 않거나 또는 상세히 설명되지 않는 부분은 다른 실시예의 설명을 참조할 수 있다.

본 발명에서 제공되는 일부 실시예에서 개시된 시스템, 장치 및 방법은 다른 방식에 의해 실현되는 것을 이해해야 한다. 예를 들면, 상술한 장치의 실시예는 예시적인 것에 불과하고, 예를 들면, 상기 유닛의 분할은 논리적인 기능 분할만이고, 실제로 실현되는 경우에는 다른 분할 방식이 있어도 되고, 예를 들면, 복수의 유닛 또는 구성 요소를 조합하거나 다른 시스템에 집적되거나 일부 특징을 무시하거나 실행하지 않아도 된다. 다른 점으로서, 표시 또는 논의된 상호간의 결합 또는 직접 결합 또는 통신 접속은 일부 인터페이스, 장치 또는 유닛을 통한 간접적인 결합 또는 통신 접속이어도 되고, 전기적, 기계적 또는 다른 형태여도 된다.

상기 분리 부재로서 설명한 유닛은 물리적으로 분리되어 있어도 되고, 물리적으로 분리되어 있지 않아도 되고, 유닛으로서 표시되는 부재는 물리적인 유닛이어도 되고, 물리적인 유닛이 아니어도 되고, 즉 하나의 장소에 있어도 되고, 복수의 네트워크 유닛에 분산되어 있어도 된다. 실제 수요에 따라 그 중의 일부 또는 전부의 유닛을 선택하여 본 실시예의 수단의 목적을 달성할 수 있다.

또한, 본 발명의 각 실시예에서의 각 기능 유닛은 하나의 제1 처리 유닛에 집적되어 있어도 되고, 각 유닛이 개별로 물리적으로 존재해도 되고, 2개 이상의 유닛이 하나의 유닛에 집적되어 있어도 된다.

상술한 실시예에서, 그 전부 또는 일부는 소프트웨어, 하드웨어, 펌웨어 또는 이들의 조합에 의해 실현되도록 해도 된다. 소프트웨어에 의해 실현하는 경우에는 그 전부 또는 일부를 컴퓨터 프로그램 제품으로서 실현해도 된다. 상기 컴퓨터 프로그램 제품은 하나 이상의 컴퓨터 명령을 포함한다. 컴퓨터에서 상기 컴퓨터 프로그램 명령이 로드되어 실행되면, 본 발명의 실시예에 기재된 흐름 또는 기능에 대해 그 전부 또는 일부가 생성된다. 컴퓨터는 범용 컴퓨터, 전용 컴퓨터, 컴퓨터 네트워크 또는 다른 프로그램 가능한 장치여도 된다. 상기 컴퓨터 명령은 휘발성 컴퓨터 판독 가능 기억 매체 또는 불휘발성 컴퓨터 판독 가능 기억 매체에 기억되어 있어도 되고, 상기 컴퓨터 판독 가능 기억 매체를 통해 전송되어도 된다. 상기 컴퓨터 명령은 하나의 웹사이트, 컴퓨터, 서버, 또는 데이터 센터로부터 유선(예를 들면, 동축 케이블, 광 파이버, 디지털 가입자선(digital subscriber line, DSL)) 또는 무선(예를 들면, 적외선, 무선, 마이크로파 등)에 의해, 다른 웹 사이트, 컴퓨터, 서버 또는 데이터 센터로 전송되어도 된다. 상기 컴퓨터 판독 가능 기억 매체는 컴퓨터가 가능한 어떤 이용 가능한 매체여도 되고, 하나 이상의 이용 가능한 매체가 집적된 서버, 데이터 센터 등의 데이터 기억 장치여도 된다. 상기 이용 가능한 매체는 자기 매체(예를 들면, 플로피 디스크, 하드 디스크, 자기 테이프), 광 매체(예를 들면, 디지털 유니버설 디스크(digital versatile disk, DVD)) 또는 반도체 매체(예를 들면, 솔리드 스테이트 드라이브(solid state) disk, SSD)) 등이어도 된다.

당업자이면, 상기 실시예의 방법을 실현하는 흐름의 전부 또는 일부를 이해할 수 있고, 당해 플로우는 컴퓨터 프로그램에 의해 관련되는 하드웨어에 지시하여 완성할 수 있고, 당해 프로그램은 컴퓨터 판독 가능 기억 매체에 기억되고, 당해 프로그램이 실행될 때 상기 각 방법의 실시예와 같은 흐름을 포함할 수 있다. 또한, 상술한 기억 매체에는 판독 전용 메모리(read-only memory, ROM) 또는 랜덤 액세스 메모리(random accesss memory, RAM), 자기 디스크, 광 디스크 등의 프로그램 코드를 기억 가능한 각종 매체가 포함된다.

Claims

하나 이상의 위치 확인 대상 물체를 포함하는 처리 대상점군을 취득하는 것과,
상기 처리 대상점군에서, 서로 상이한 2개 이상의 목표 영역을 결정하고, 상기 목표 영역에서의 점의 초기 법선 벡터에 기초하여 상기 목표 영역에서의 점의 법선 벡터를 유의 법선 벡터로 조정하는 것과,
상기 목표 영역의 유의 법선 벡터에 기초하여 상기 처리 대상점군에 대해 분할 처리를 행하여, 하나 이상의 분할 영역을 얻는 것과,
상기 하나 이상의 분할 영역에서의 점의 3차원 위치에 기초하여 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 취득하는 것을 포함하는, 데이터 처리 방법.
제 1 항에 있어서,
상기 2개 이상의 목표 영역은 제1 목표 영역과 제2 목표 영역을 포함하고, 상기 초기 법선 벡터는 제1 초기 법선 벡터와 제2 초기 법선 벡터를 포함하고, 상기 유의 법선 벡터는 제1 유의 법선 벡터와 제2 유의 법선 벡터를 포함하고,
상기한, 상기 목표 영역에서의 점의 초기 법선 벡터에 기초하여 상기 목표 영역에서의 점의 법선 벡터를 유의 법선 벡터로 조정하는 것은
상기 제1 목표 영역에서의 점의 상기 제1 초기 법선 벡터에 기초하여 상기 제1 목표 영역에서의 점의 법선 벡터를 상기 제1 유의 법선 벡터로 조정하고, 상기 제2 목표 영역에서의 점의 상기 제2 초기 법선 벡터에 기초하여 상기 제2 목표 영역에서의 점의 법선 벡터를 상기 제2 유의 법선 벡터로 조정하는 것을 포함하는, 데이터 처리 방법. .
제 2 항에 있어서,
상기한, 상기 목표 영역의 유의 법선 벡터에 기초하여 상기 처리 대상점군에 대해 분할 처리를 행하여, 하나 이상의 분할 영역을 얻는 것은
상기 제1 유의 법선 벡터와 상기 제2 유의 법선 벡터에 기초하여 상기 처리 대상점군에 대해 분할 처리를 행하여 상기 하나 이상의 분할 영역을 얻는 것을 포함하는, 데이터 처리 방법.
제 2 항 또는 제 3 항에 있어서,
상기한, 상기 제1 목표 영역에서의 점의 상기 제1 초기 법선 벡터에 기초하여 상기 제1 목표 영역에서의 점의 법선 벡터를 상기 제1 유의 법선 벡터로 조정하는 것은
상기 제1 목표 영역에서의 점의 상기 제1 초기 법선 벡터에 대해 클러스터링 처리를 행하여 하나 이상의 클러스터를 얻는 것과,
상기 하나 이상의 클러스터 중, 포함되는 상기 제1 초기 법선 벡터의 수가 가장 많은 클러스터를 목표 클러스터로 하고, 상기 목표 클러스터 내의 상기 제1 초기 법선 벡터에 기초하여 상기 제1 유의 법선 벡터를 결정하는 것과,
상기 제1 목표 영역에서의 점의 법선 벡터를 상기 제1 유의 법선 벡터로 조정하는 것을 포함하는, 데이터 처리 방법.
제 4 항에 있어서,
상기한, 상기 제1 초기 법선 벡터에 대해 클러스터링 처리를 행하여 하나 이상의 클러스터를 얻는 것은
상기 제1 목표 영역에서의 점의 제1 초기 법선 벡터를 벡터값의 구간인 하나 이상의 소정 구간 중 어느 하나에 매핑하는 것과,
포함되는 상기 제1 초기 법선 벡터의 수가 가장 많은 상기 소정 구간을 목표 소정 구간으로 하는 것과,
상기 목표 소정 구간에 포함되는 상기 제1 초기 법선 벡터에 기초하여 상기 제1 유의 법선 벡터를 결정하는 것을 포함하는, 데이터 처리 방법.
제 5 항에 있어서,
상기한, 상기 목표 소정 구간에 포함되는 상기 제1 초기 법선 벡터에 기초하여 상기 제1 유의 법선 벡터를 결정하는 것은
상기 목표 소정 구간 내의 상기 제1 초기 법선 벡터의 평균값을 상기 제1 유의 법선 벡터로 결정하는 것, 또는,
상기 목표 소정 구간 내의 상기 제1 초기 법선 벡터의 중앙값을 상기 제1 유의 법선 벡터로 결정하는 것을 포함하는, 데이터 처리 방법.
제 3 항 내지 제 6 항 중 어느 한 항에 있어서,
상기한, 상기 제1 유의 법선 벡터와 상기 제2 유의 법선 벡터에 기초하여 상기 처리 대상점군에 대해 분할 처리를 행하여, 상기 하나 이상의 분할 영역을 얻는 것은
상기 제1 유의 법선 벡터에 수직인 평면에 대한 상기 제1 목표 영역의 투영을 결정하고, 제1 투영 평면을 취득하는 것과,
상기 제2 유의 법선 벡터에 수직인 평면에 대한 상기 제2 목표 영역의 투영을 결정하고, 제2 투영 평면을 취득하는 것과,
상기 제1 투영 평면과 상기 제2 투영 평면에 대해 분할 처리를 행하여 상기 하나 이상의 분할 영역을 얻는 것을 포함하는, 데이터 처리 방법.
제 7 항에 있어서,
상기한, 상기 제1 투영 평면과 상기 제2 투영 평면에 대해 분할 처리를 행하여, 상기 하나 이상의 분할 영역을 얻는 것은
상기 제1 투영 평면에서의 임의의 1점을 개시점으로 하고, 제1 소정값을 반경으로 하여 제1 근방 영역을 설정하는 것과,
상기 제1 근방 영역에서 상기 개시점과의 유사도가 제1 임계값 이상인 점을 목표점으로 결정하는 것과,
상기 목표점과 상기 개시점을 포함하는 영역을 분할 영역으로 하고, 상기 하나 이상의 분할 영역을 취득하는 것을 포함하는, 데이터 처리 방법.
제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
상기한, 상기 하나 이상의 분할 영역에서의 점의 3차원 위치에 기초하여 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 취득하는 것은
상기 하나 이상의 분할 영역 중 목표 분할 영역에서의 점의 3차원 위치의 제1 평균값을 결정하는 것과,
상기 제1 평균값에 기초하여 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 결정하는 것을 포함하는, 데이터 처리 방법.
제 9 항에 있어서,
상기한, 상기 하나 이상의 분할 영역에서의 점의 3차원 위치의 제1 평균값을 결정한 후, 추가로,
상기 목표 분할 영역에서의 점의 법선 벡터의 제2 평균값을 결정하는 것과,
상기 위치 확인 대상 물체의 모델점군으로서, 초기 3차원 위치가 상기 제1 평균값이고, 피치각이 상기 제2 평균값에 의해 결정되는 모델점군을 취득하는 것과,
상기 목표 분할 영역의 좌표계가 상기 모델점군의 좌표계와 일치하도록 상기 목표 분할 영역을 이동하고, 제1 회전 행렬 및/또는 제1 평행 이동량을 취득하는 것과,
상기 제1 회전 행렬 및/또는 제1 평행 이동량, 상기 목표 분할 영역의 법선 벡터에 기초하여 상기 위치 확인 대상 물체의 자세각을 취득하는 것을 포함하는, 데이터 처리 방법.
제 10 항에 있어서,
상기 목표 분할 영역의 좌표계가 상기 모델점군의 좌표계와 일치하는 경우, 상기 목표 분할 영역에서의 점이 상기 모델점군의 기준점과 일치하도록 상기 목표 분할 영역을 이동하고, 상기 목표 분할 영역의 기준 위치를 취득하는 것과,
상기 기준 위치에서의 상기 목표 분할 영역과 상기 모델점군의 일치도를 결정하는 것과,
일치도의 최대값에 대응하는 기준 위치를 목표 기준 위치로 하는 것과,
상기 목표 기준 위치에서의 상기 목표 분할 영역에서의 점의 3차원 위치의 제3 평균값을 제1 조정 후의 상기 위치 확인 대상 물체의 기준점의 3차원 위치로 결정하는 것을 추가로 포함하는, 데이터 처리 방법.
제 11 항에 있어서,
상기한, 상기 기준 위치에서의 상기 목표 분할 영역과 상기 모델점군의 일치도를 결정하는 것은
상기 기준 위치에서의 상기 목표 분할 영역에서의 제1 점과, 상기 모델점군에서 상기 제1 점에 가장 가까운 제2 점 사이의 거리를 결정하는 것과,
상기 거리가 제2 임계값 이하인 경우, 상기 기준 위치의 일치도 지표를 제2 소정값만큼 증가시키는 것과,
상기 일치도와 양의 상관 관계에 있는 상기 일치도 지표에 기초하여 상기 일치도를 결정하는 것을 포함하는, 데이터 처리 방법.
제 11 항 또는 제 12 항에 있어서,
상기 모델점군의 기준점의 3차원 위치를 상기 제3 평균값으로 조정하는 것과,
상기 제1 점과, 기준점의 3차원 위치가 상기 제3 평균값인 경우의 모델점군에서 상기 제1 점에 가장 가까운 점인 상기 모델점군 내의 제3 점과의 거리가 제3 임계값 이하가 되도록 상기 목표 기준 위치에서의 상기 목표 분할 영역을 회전 및/또는 평행 이동함으로써, 제2 회전 행렬 및/또는 제2 평행 이동량을 취득하는 것과,
상기 제2 회전 행렬 및/또는 상기 제2 평행 이동량에 기초하여 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 조정하고, 제2 조정 후의 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 취득하고, 상기 제2 회전 행렬 및/또는 상기 제2 평행 이동량에 기초하여 상기 위치 확인 대상 물체의 자세각을 조정하고, 조정 후의 상기 위치 확인 대상 물체의 자세각을 취득하는 것을 추가로 포함하는, 데이터 처리 방법.
제 10 항 내지 제 13 항 중 어느 한 항에 있어서,
상기 위치 확인 대상 물체의 기준점의 3차원 위치와 상기 위치 확인 대상 물체의 자세각을 로봇 좌표계에서의 파지 3차원 위치와 파지 자세각으로 변환하는 것과,
로봇 핸드 모델 및 상기 로봇 핸드 모델의 초기 포즈를 취득하는 것과,
상기 파지 3차원 위치, 상기 파지 자세각, 상기 로봇 핸드 모델 및 상기 로봇 핸드 모델의 초기 포즈에 기초하여 상기 점군에서 상기 로봇 핸드에 의한 상기 위치 확인 대상 물체의 파지의 파지 경로를 얻는 것과,
상기 파지 경로에서 상기 위치 확인 대상 물체에 속하지 않는 점의 수가 제4 임계값 이상인 경우, 상기 위치 확인 대상 물체를 파지 불가 물체로 결정하는 것을 추가로 포함하는, 데이터 처리 방법.
제 1 항 내지 제 14 항 중 어느 한 항에 있어서,
상기한, 상기 처리 대상점군에서 2개 이상의 목표 영역을 결정하는 것은
상기 점군 내의 2개 이상의 목표점을 결정하는 것과,
상기 2개 이상의 목표점의 각각을 구심으로 하고, 상기 제3 소정값을 반경으로 하여 상기 2개 이상의 목표 영역을 설정하는 것을 포함하는, 데이터 처리 방법.
제 1 항 내지 제 15 항 중 어느 한 항에 있어서,
상기한, 처리 대상점군을 취득하는 것은
상기 하나 이상의 위치 확인 대상 물체가 존재하는 장면의 점군을 포함하는 제1 점군과, 상기 하나 이상의 위치 확인 대상 물체 및 상기 하나 이상의 위치 확인 대상 물체가 존재하는 장면의 점군을 포함하는 제2 점군을 취득하는 것과,
상기 제1 점군과 상기 제2 점군에서 동일한 데이터를 결정하는 것과,
상기 제2 점군에서 상기 동일한 데이터를 제거하여 상기 처리 대상점군을 얻는 것을 포함하는, 데이터 처리 방법.
제 1 항 내지 제 16 항 중 어느 한 항에 있어서,
상기 기준점은 질량 중심, 무게 중심, 기하학적 중심 중 하나인, 데이터 처리 방법.
하나 이상의 위치 확인 대상 물체를 포함하는 처리 대상점군을 취득하는 취득 유닛과,
상기 처리 대상점군에서, 서로 상이한 2개 이상의 목표 영역을 결정하고, 상기 목표 영역에서의 점의 초기 법선 벡터에 기초하여 상기 목표 영역에서의 점의 법선 벡터를 유의 법선 벡터로 조정하는 조정 유닛과,
상기 목표 영역의 유의 법선 벡터에 기초하여 상기 처리 대상점군에 대해 분할 처리를 행하여, 하나 이상의 분할 영역을 얻는 분할 처리 유닛과,
상기 하나 이상의 분할 영역에서의 점의 3차원 위치에 기초하여 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 취득하는 제1 처리 유닛을 포함하는, 데이터 처리 장치.
제 18 항에 있어서,
상기 2개 이상의 목표 영역은 제1 목표 영역과 제2 목표 영역을 포함하고, 상기 초기 법선 벡터는 제1 초기 법선 벡터와 제2 초기 법선 벡터를 포함하고, 상기 유의 법선 벡터는 제1 유의 법선 벡터와 제2 유의 법선 벡터를 포함하고,
상기 조정 유닛은
상기 제1 목표 영역에서의 점의 상기 제1 초기 법선 벡터에 기초하여 상기 제1 목표 영역에서의 점의 법선 벡터를 상기 제1 유의 법선 벡터로 조정하고, 상기 제2 초기 법선 벡터에 기초하여 상기 제2 목표 영역에서의 점의 법선 벡터를 상기 제2 유의 법선 벡터로 조정하는 것에 사용되는, 데이터 처리 장치.
제 19 항에 있어서,
상기 분할 처리 유닛은
상기 제1 유의 법선 벡터와 상기 제2 유의 법선 벡터에 기초하여 상기 처리 대상점군에 대해 분할 처리를 행하여 상기 하나 이상의 분할 영역을 얻는 것에 사용되는, 데이터 처리 장치.
제 19 항 또는 제 20 항에 있어서,
상기 조정 유닛은
상기 제1 목표 영역에서의 점의 상기 제1 초기 법선 벡터에 대해 클러스터링 처리를 행하여 하나 이상의 클러스터를 얻는 것과,
상기 하나 이상의 클러스터 중, 포함되는 상기 제1 초기 법선 벡터의 수가 가장 많은 클러스터를 목표 클러스터로 하고, 상기 목표 클러스터 내의 상기 제1 초기 법선 벡터에 기초하여 상기 제1 유의 법선 벡터를 결정하는 것과,
상기 제1 목표 영역에서의 점의 법선 벡터를 상기 제1 유의 법선 벡터로 조정하는 것에 사용되는, 데이터 처리 장치.
제 21 항에 있어서,
상기 조정 유닛은 구체적으로,
상기 제1 목표 영역에서의 점의 제1 초기 법선 벡터를, 벡터를 나타내는 소정 구간으로서, 나타내는 벡터가 서로 상이한 하나 이상의 소정 구간 중 어느 하나에 매핑하는 것과,
포함되는 상기 제1 초기 법선 벡터의 수가 가장 많은 상기 소정 구간을 목표 소정 구간으로 하는 것과,
상기 목표 소정 구간에 포함되는 상기 제1 초기 법선 벡터에 기초하여 상기 제1 유의 법선 벡터를 결정하는 것에 사용되는, 데이터 처리 장치.
제 22 항에 있어서,
상기 조정 유닛은 구체적으로,
상기 목표 소정 구간 내의 상기 제1 초기 법선 벡터의 평균값을 상기 제1 유의 법선 벡터로 결정하는 것, 또는,
상기 목표 소정 구간 내의 상기 제1 초기 법선 벡터의 중앙값을 상기 제1 유의 법선 벡터로 결정하는 것에 사용되는, 데이터 처리 장치.
제 20 항 내지 제 23 항 중 어느 한 항에 있어서,
상기 분할 처리 유닛은
상기 제1 유의 법선 벡터에 수직인 평면에 대한 상기 제1 목표 영역의 투영을 결정하고, 제1 투영 평면을 취득하는 것과,
상기 제2 유의 법선 벡터에 수직인 평면에 대한 상기 제2 목표 영역의 투영을 결정하고, 제2 투영 평면을 취득하는 것과,
상기 제1 투영 평면과 상기 제2 투영 평면에 대해 분할 처리를 행하여 상기 하나 이상의 분할 영역을 얻는 것에 사용되는, 데이터 처리 장치.
제 24 항에 있어서,
상기 분할 처리 유닛은 구체적으로,
상기 제1 투영 평면과 상기 제2 투영 평면에서의 임의의 1점을 개시점으로 하고, 제1 소정값을 반경으로 하여 제1 근방 영역을 설정하는 것과,
상기 제1 근방 영역에서 상기 개시점과의 사이의 유사도가 제1 임계값 이상인 점을 목표점으로 결정하는 것과,
상기 목표점과 상기 개시점을 포함하는 영역을 분할 영역으로 하고, 상기 하나 이상의 분할 영역을 취득하는 것에 사용되는, 데이터 처리 장치.
제 18 항 내지 제 25 항 중 어느 한 항에 있어서,
상기 제1 처리 유닛은
상기 하나 이상의 분할 영역 중 목표 분할 영역에서의 점의 3차원 위치의 제1 평균값을 결정하는 것과,
상기 제1 평균값에 기초하여 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 결정하는 것에 사용되는, 데이터 처리 장치.
제 26 항에 있어서,
상기한, 상기 하나 이상의 분할 영역에서의 점의 3차원 위치의 제1 평균값을 결정한 후, 상기 목표 분할 영역에서의 점의 법선 벡터의 제2 평균값을 결정하는 결정 유닛과,
상기 위치 확인 대상 물체의 모델점군으로서, 초기 3차원 위치가 상기 제1 평균값이고, 피치각이 상기 제2 평균값에 의해 결정되는 모델점군을 취득하는 것에 추가로 사용되는 상기 취득 유닛과,
상기 목표 분할 영역의 좌표계가 상기 모델점군의 좌표계와 일치하도록 상기 목표 분할 영역을 이동하고, 제1 회전 행렬 및/또는 제1 평행 이동량을 취득하는 이동 유닛과,
상기 제1 회전 행렬 및/또는 제1 평행 이동량 및 상기 목표 분할 영역의 법선 벡터에 기초하여 상기 위치 확인 대상 물체의 자세각을 취득하는 상기 제1 처리 유닛을 추가로 포함하는, 데이터 처리 장치.
제 27 항에 있어서,
상기 이동 유닛은 추가로, 상기 목표 분할 영역의 좌표계가 상기 모델점군의 좌표계와 일치하는 경우, 상기 목표 분할 영역에서의 점이 상기 모델점군의 기준점과 일치하도록 상기 목표 분할 영역을 이동하고, 상기 목표 분할 영역의 기준 위치를 취득하는 것에 사용되고,
상기 결정 유닛은 추가로, 상기 기준 위치에서의 상기 목표 분할 영역과 상기 모델점군의 일치도를 결정하는 것에 사용되고,
상기 결정 유닛은 추가로, 일치도의 최대값에 대응하는 기준 위치를 목표 기준 위치로 하는 것에 사용되고,
상기 제1 처리 유닛은 상기 목표 기준 위치에서의 상기 목표 분할 영역에서의 점의 3차원 위치의 제3 평균값을 제1 조정 후의 상기 위치 확인 대상 물체의 기준점의 3차원 위치로 결정하는 것에 사용되는, 데이터 처리 장치.
제 28 항에 있어서,
상기 결정 유닛은 구체적으로,
상기 기준 위치에서의 상기 목표 분할 영역에서의 제1 점과, 상기 모델점군에서 상기 제1 점에 가장 가까운 제2 점 사이의 거리를 결정하는 것과,
상기 거리가 제2 임계값 이하인 경우, 상기 기준 위치의 일치도 지표를 제2 소정값만큼 증가시키는 것과,
상기 일치도와 양의 상관 관계에 있는 상기 일치도 지표에 기초하여 상기 일치도를 결정하는 것에 사용되는, 데이터 처리 장치.
제 28 항 또는 제 29 항에 있어서,
상기 조정 유닛은 추가로, 상기 모델점군의 기준점의 3차원 위치를 상기 제3 평균값으로 조정하는 것에 사용되고,
상기 장치는
상기 제1 점과, 기준점의 3차원 위치가 상기 제3 평균값인 경우의 모델점군에서 상기 제1 점에 가장 가까운 점인 상기 모델점군 내의 제3 점 사이의 거리가 제3 임계값 이하가 되도록 상기 목표 기준 위치에서의 상기 목표 분할 영역을 회전 및/또는 평행 이동함으로써 제2 회전 행렬 및/또는 제2 평행 이동량을 취득하는 제2 처리 유닛과,
상기 제2 회전 행렬 및/또는 상기 제2 평행 이동량에 기초하여 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 조정하고, 제2 조정 후의 상기 위치 확인 대상 물체의 기준점의 3차원 위치를 취득하고, 상기 제2 회전 행렬 및/또는 상기 제2 평행 이동량에 기초하여 상기 위치 확인 대상 물체의 자세각을 조정하여, 조정 후의 상기 위치 확인 대상 물체의 자세각을 취득하는 것에 추가로 사용되는 상기 제1 처리 유닛을 추가로 포함하는, 데이터 처리 장치.
제 27 항 내지 제 29 항 중 어느 한 항에 있어서,
상기 위치 확인 대상 물체의 기준점의 3차원 위치와 상기 위치 확인 대상 물체의 자세각을 로봇 좌표계에서의 파지 3차원 위치와 파지 자세각으로 변환하는 변환 유닛과,
로봇 핸드 모델 및 상기 로봇 핸드 모델의 초기 포즈를 취득하는 것에 추가로 사용되는 상기 취득 유닛과,
상기 파지 3차원 위치, 상기 파지 자세각, 상기 로봇 핸드 모델 및 상기 로봇 핸드 모델의 초기 포즈에 기초하여 상기 점군에서 상기 로봇 핸드에 의한 상기 위치 확인 대상 물체의 파지의 파지 경로를 얻는 것에 추가로 사용되는 상기 제1 처리 유닛과,
상기 파지 경로에서 상기 위치 확인 대상 물체에 속하지 않는 점의 수가 제4 임계값 이상인 경우, 상기 위치 확인 대상 물체를 파지 불가 물체로 결정하는 것에 추가로 사용되는 상기 결정 유닛을 추가로 포함하는, 데이터 처리 장치.
제 18 항 내지 제 31 항 중 어느 한 항에 있어서,
상기 조정 유닛은
상기 점군 내의 2개 이상의 목표점을 결정하는 것과,
상기 2개 이상의 목표점의 각각을 구심으로 하고, 제3 소정값을 반경으로 하여 상기 2개 이상의 목표 영역을 설정하는 것에 사용되는, 데이터 처리 장치.
제 18 항 내지 제 32 항 중 어느 한 항에 있어서,
상기 취득 유닛은
상기 하나 이상의 위치 확인 대상 물체가 존재하는 장면의 점군을 포함하는 제1 점군과, 상기 하나 이상의 위치 확인 대상 물체 및 상기 하나 이상의 위치 확인 대상 물체가 존재하는 장면의 점군을 포함하는 제2 점군을 취득하는 것과,
상기 제1 점군과 상기 제2 점군에서 동일한 데이터를 결정하는 것과,
상기 제2 점군에서 상기 동일한 데이터를 제거하여 상기 처리 대상점군을 얻는 것에 사용되는, 데이터 처리 장치.
제 18 항 내지 제 33 항 중 어느 한 항에 있어서,
상기 기준점은 질량 중심, 무게 중심, 기하학적 중심 중 하나인, 데이터 처리 장치.
제 1 항 내지 제 17 항 중 어느 한 항의 데이터 처리 방법을 실행하는, 프로세서.
프로세서와, 송신 장치와, 입력 장치와, 출력 장치와, 컴퓨터 프로그램 코드를 기억하기 위한 메모리를 구비하고, 상기 컴퓨터 프로그램 코드에 컴퓨터 명령이 포함되고, 상기 컴퓨터 명령이 상기 프로세서에 의해 실행되면, 제 1 항 내지 제 17 항 중 어느 한 항의 데이터 처리 방법을 실행시키는, 전자 기기.
컴퓨터 프로그램이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램에 프로그램 명령이 포함되고, 상기 프로그램 명령이 전자 기기의 프로세서에 의해 실행되면, 제 1 항 내지 제 17 항 중 어느 한 항의 데이터 처리 방법을 상기 프로세서에 실행시키는, 컴퓨터 판독 가능 기억 매체.
컴퓨터 판독 가능 코드를 포함하고, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 동작하면, 상기 전자 기기의 프로세서에 제 1 항 내지 제 17 항 중 어느 한 항의 데이터 처리 방법을 실행시키는, 컴퓨터 프로그램.