KR101798041B1

KR101798041B1 - 3차원 물체 인식 및 자세 추정 장치 및 그 방법

Info

Publication number: KR101798041B1
Application number: KR1020160081712A
Authority: KR
Inventors: 이석한; 이연호
Original assignee: 성균관대학교산학협력단
Priority date: 2016-06-29
Filing date: 2016-06-29
Publication date: 2017-11-17

Abstract

본 발명의 한 실시예에 따른 3차원 물체 인식 및 자세 추정 장치는, 대상 물체에 대한 3차원 촬영 정보인 점 구름(point cloud)을 이용하여 상기 대상 물체의 인식 및 자세를 추정하는 3차원 물체 인식 및 자세 추정 장치로서, 상기 점 구름에 포함된 각 점의 표면 법선 벡터(surface normal vector)를 이용하여 상기 대상 물체의 복수의 대상 평면을 검출하는 대상 평면 검출부; 상기 복수의 대상 평면 각각의 배향 방향에 대해 카메라 좌표계의 깊이축이 일치되도록 상기 점 구름의 좌표를 복수 회 변환하는 좌표 변환부; 좌표 변환된 복수 개의 상기 점 구름의 좌표에 대한 복수의 깊이 지도를 생성하는 깊이 지도 생성부; 상기 복수의 깊이 지도 각각에 대해서 가장자리를 검출하고, 검출된 가장자리를 이용하여 폐곡선(closed loop boundary)을 생성하는 폐곡선 생성부; 및 생성된 복수의 폐곡선 사이의 거리 및 각도를 이용하여 상기 대상 물체의 인식 및 자세를 추정하는 추정 연산부를 포함한다.

Description

3차원 물체 인식 및 자세 추정 장치 및 그 방법{DEVICE FOR 3 DIMENSIONAL OBJECT RECOGNITION AND POSE ESTIMATION AND METHOD FOR THE SAME}

본 발명은 3차원 물체 인식 및 자세 추정 장치 및 그 방법에 관한 것이다.

공장 자동화에 있어서, 대상 물체의 인식 및 그 자세를 정확히 추정하는 것은 로봇이 대상 물체를 파지함 등에 있어서 매우 중요한 요소이다. 특히 부품의 결합을 위한 볼트 구멍이나 결합 부품을 삽입할 수 있는 구멍이 반드시 존재하는 경우가 많으므로, 이러한 구멍의 위치를 정확하게 찾는 것 또한 공장 자동화에서 매우 중요한 요소를 차지한다.

카메라 또는 관측용 3차원 센서로부터 대상 물체의 자세를 추정하는 데 있어서, 특징점 추출 및 이를 활용하는 방법이 통상적으로 이용되는 방법이다. 구체적으로, 물체의 표면 정보를 열전달 방정식을 이용하거나, 3차원의 점 구름(point cloud)을 메쉬(mesh)화하여 Mesh HOG/Mesh DOG 기반의 특징을 사용하거나, 해리스 코너(Harris Corner) 검출 방법을 3차원으로 확장하는 방법 등이 있다. 선행기술문헌란에 기재된 비특허문헌 1 내지 3은 이러한 방법들에 대해서 개시하고 있다.

하지만 특징점을 추출하는 방식은 다음과 같은 많은 단점을 내포하고 있다. 특징점을 검출하는 영역이 국소적이기 때문에 잡음에 취약하고, 국소 영역 설정 방법에 따라 성능이 좌우될 수 있으며, 모든 3차원 점 구름을 이용하기 때문에 실시간성이 결여되며, 3차원 점은 가려짐이 없는 완벽한 물체의 3차원 점을 필요로 하기 때문에 촬영 방향, 가려짐, 잡음 등에 대한 변화에 취약하고, 센서의 시점에 따라 홀(hole)의 경우 스스로 가려지는 부분이 발생할 수 있기 때문에 폐곡선이 되지 못하거나 왜곡된 폐곡선이 생성되기도 한다.

이러한 단점은 결국 대상 물체의 인식 및 자세 추정이 적절히 수행될 수 없음을 의미한다.

Sun, J., Ovsjanikov, M., & Guibas,2009 L. A concise and provably informative multi-scale signature based on heat diffusion. In Proc. Eurographics symposium on geometry processing, pp. 1383-1392 Zaharescu, A., Boyer, E., Varanasi, K. and Horaud, R. 2009 Surface feature detection and description with applications to mesh matching. In Proc int conf on computer vision and pattern recognition,`pp. 373-380 I. Sipiran and B. Bustos 2010 A Robust 3D Interest Points Detector Based on Harris Operator, Eurographics Workshop on 3D Object Retrieval

해결하고자 하는 기술적 과제는 대상 물체의 자체적 가림 문제를 해결하고 정확한 평면형 폐곡선을 도출하며 이러한 폐곡선을 이용하여 대상 물체의 특징 정의, 인식, 및 자세 추정이 가능한 3차원 물체 인식 및 자세 추정 장치 및 그 방법을 제공하는 데 있다.

상기 대상 평면 검출부는 상기 표면 법선 벡터의 방향의 일치성을 이용하여 동일한 배향을 갖는 복수의 제1 평면을 검출하고, 상기 복수의 제1 평면 중 동일한 평면 상에 위치하는 제1 평면들에 대해서는 분할하여 복수의 제2 평면을 검출함으로써, 상기 복수의 제1 평면 및 상기 복수의 제2 평면을 포함하는 상기 복수의 대상 평면을 검출할 수 있다.

상기 깊이 지도 생성부는 좌표 변환된 복수 개의 상기 점 구름 좌표들을 상기 대상 물체의 촬영에 이용된 카메라의 내부 파라미터(intrinsic parameter)를 이용하여 가상 이미지 평면에 투영함으로써 상기 복수의 깊이 지도를 생성할 수 있다.

상기 폐곡선 생성부는 깊이 지도의 그래디언트의(gradient) 크기를 이용하여 복수의 가장자리 점을 결정하고, 상기 복수의 가장자리 점이 연속적이 되도록 인터폴레이션(interpolation)하고, 획득된 비정형 폐곡선에 대해서 세선화(skeletonization) 처리를 함으로써 상기 폐곡선을 생성할 수 있다.

상기 3차원 물체 인식 및 자세 추정 장치는 상기 폐곡선을 구성하는 점 좌표들의 정보를 이용하여 상기 폐곡선을 원(circle) 또는 비원(non-circle)으로 피팅하는 폐곡선 피팅부를 더 포함할 수 있다.

상기 폐곡선 피팅부는 상기 폐곡선을 구성하는 점 좌표들의 평균 값을 상기 폐곡선의 중심 점으로 하고, 상기 중심 점으로부터 상기 폐곡선을 구성하는 상기 점 좌표들 사이의 거리를 계산하고, 계산된 상기 거리의 일정한 정도에 따라 상기 폐곡선을 원 또는 비원으로 피팅할 수 있다.

상기 폐곡선 피팅부는 상기 폐곡선을 구성하는 점 좌표들 각각의 세 방향의 고유치(eigenvalue)를 획득하고, 상기 세 방향의 고유치가 기준 범위를 초과하는 차이가 있는 경우, 상기 폐곡선을 비원으로 피팅하고, 상기 세 방향의 고유치 중 두 개의 값이 기준 범위 내에서 유사하고 나머지 하나의 값이 기준 범위 이하인 경우, 상기 폐곡선을 원으로 피팅할 수 있다.

상기 추정 연산부는 최소한 3 개의 상기 폐곡선을 이용하여 상기 대상 물체의 자세를 추정할 수 있다.

본 발명의 한 실시예에 따른 3차원 물체 인식 및 자세 추정 방법은, 대상 물체에 대한 3차원 촬영 정보인 점 구름(point cloud)을 이용하여 상기 대상 물체의 인식 및 자세를 추정하는 3차원 물체 인식 및 자세 추정 방법으로서, 상기 점 구름에 포함된 각 점의 표면 법선 벡터를 이용하여 상기 대상 물체의 복수의 대상 평면을 검출하는 대상 평면 검출 단계; 상기 복수의 대상 평면 각각의 배향 방향에 대해 카메라 좌표계의 깊이축이 일치되도록 상기 점 구름의 좌표를 복수 회 변환하는 좌표 변환 단계; 좌표 변환된 복수 개의 상기 점 구름의 좌표에 대한 복수의 깊이 지도를 생성하는 깊이 지도 생성 단계; 상기 복수의 깊이 지도 각각에 대해서 가장자리를 검출하고, 검출된 가장자리를 이용하여 폐곡선(closed loop boundary)을 생성하는 폐곡선 생성 단계; 및 생성된 복수의 폐곡선 사이의 거리 및 각도를 이용하여 상기 대상 물체의 인식 및 자세를 추정하는 추정 연산 단계를 포함할 수 있다.

상기 3차원 물체 인식 및 자세 추정 방법은 상기 대상 평면 검출 단계에서, 상기 표면 법선 벡터의 방향의 일치성을 이용하여 동일한 배향을 갖는 복수의 제1 평면을 검출하고, 상기 복수의 제1 평면 중 동일한 평면 상에 위치하는 제1 평면들에 대해서는 분할하여 복수의 제2 평면을 검출함으로써, 상기 복수의 제1 평면 및 상기 복수의 제2 평면을 포함하는 상기 복수의 대상 평면을 검출할 수 있다.

상기 3차원 물체 인식 및 자세 추정 방법은 상기 깊이 지도 생성 단계에서, 좌표 변환된 복수 개의 상기 점 구름 좌표들을 상기 대상 물체의 촬영에 이용된 카메라의 내부 파라미터를 이용하여 가상 이미지 평면에 투영함으로써 상기 복수의 깊이 지도를 생성할 수 있다.

상기 3차원 물체 인식 및 자세 추정 방법은 상기 폐곡선 생성 단계에서, 깊이 지도의 그래디언트의(gradient) 크기를 이용하여 복수의 가장자리 점을 결정하고, 상기 복수의 가장자리 점이 연속적이 되도록 인터폴레이션(interpolation)하고, 획득된 비정형 폐곡선에 대해서 세선화(skeletonization) 처리를 함으로써 상기 폐곡선을 생성할 수 있다.

상기 3차원 물체 인식 및 자세 추정 방법은 상기 폐곡선을 구성하는 점 좌표들의 정보를 이용하여 상기 폐곡선을 원 또는 비원으로 피팅하는 폐곡선 피팅 단계를 더 포함할 수 있다.

상기 3차원 물체 인식 및 자세 추정 방법은 상기 폐곡선 단계에서, 상기 폐곡선을 구성하는 점 좌표들의 평균 값을 상기 폐곡선의 중심 점으로 하고, 상기 중심 점으로부터 상기 폐곡선을 구성하는 상기 점 좌표들 사이의 거리를 계산하고, 계산된 상기 거리의 일정한 정도에 따라 상기 폐곡선을 원 또는 비원으로 피팅할 수 있다.

상기 3차원 물체 인식 및 자세 추정 방법은 상기 폐곡선 피팅 단계에서, 상기 폐곡선을 구성하는 점 좌표들 각각의 세 방향의 고유치를 획득하고, 상기 세 방향의 고유치가 기준 범위를 초과하는 차이가 있는 경우, 상기 폐곡선을 비원으로 피팅하고, 상기 세 방향의 고유치 중 두 개의 값이 기준 범위 내에서 유사하고 나머지 하나의 값이 기준 범위 이하인 경우, 상기 폐곡선을 원으로 피팅할 수 있다.

상기 3차원 물체 인식 및 자세 추정 방법은 상기 추정 연산 단계에서, 최소한 3 개의 상기 폐곡선을 이용하여 상기 대상 물체의 자세를 추정할 수 있다.

본 발명에 따른 3차원 물체 인식 및 자세 추정 장치 및 그 방법은 대상 물체의 자체적 가림 문제를 해결하고 정확한 평면형 폐곡선을 도출하며 이러한 폐곡선을 이용하여 대상 물체의 특징 정의, 인식, 및 자세 추정이 가능하다.

도 1은 본 발명의 제1 실시예에 따른 3차원 물체 인식 및 자세 추정 장치를 설명하기 위한 도면이다.
도 2는 대상 평면을 갖는 예시적인 대상 물체를 설명하기 위한 도면이다.
도 3은 좌표 변환되지 않은 상태에서 생성된 깊이 지도를 설명하기 위한 도면이다.
도 4는 좌표 변환된 상태에서 생성된 깊이 지도를 설명하기 위한 도면이다.
도 5는 본 발명의 제2 실시예에 따른 3차원 물체 인식 및 자세 추정 장치를 설명하기 위한 도면이다.
도 6은 예시적으로 데이터베이스화 된 제1 내지 제3 엔진 파트를 설명하기 위한 도면이다.
도 7은 종래 기술, 제1 실시예, 및 제2 실시예에 따라 검출된 대상 물체의 폐곡선을 설명하기 위한 도면이다.
도 8 및 9은 제1 실시예 및 제2 실시예의 제1 엔진 파트의 위치 정확도를 비교 설명하기 위한 도면이다.
도 10 및 11는 제1 실시예 및 제2 실시예의 제2 엔진 파트의 위치 정확도를 비교 설명하기 위한 도면이다.
도 12 및 13는 제1 실시예 및 제2 실시예의 제3 엔진 파트의 위치 정확도를 비교 설명하기 위한 도면이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 여러 실시 예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예들에 한정되지 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 따라서 앞서 설명한 참조 부호는 다른 도면에서도 사용할 수 있다.

또한, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다. 도면에서 여러 층 및 영역을 명확하게 표현하기 위하여 두께를 과장되게 나타낼 수 있다.

도 1은 본 발명의 제1 실시예에 따른 3차원 물체 인식 및 자세 추정 장치를 설명하기 위한 도면이다. 도 2는 대상 평면을 갖는 예시적인 대상 물체를 설명하기 위한 도면이고, 도 3은 좌표 변환되지 않은 상태에서 생성된 깊이 지도를 설명하기 위한 도면이고, 도 4는 좌표 변환된 상태에서 생성된 깊이 지도를 설명하기 위한 도면이다.

이하에선 도 1을 기준으로 설명하되, 필요에 따라 도 2 내지 4를 더 참조하여 설명한다.

도 1을 참조하면, 본 발명의 제1 실시예에 따른 3차원 물체 인식 및 자세 추정 장치(10)는 대상 평면 검출부(110), 좌표 변환부(120), 깊이 지도 생성부(130), 폐곡선 생성부(140), 및 추정 연산부(150)를 포함한다.

3차원 물체 인식 및 자세 추정 장치(10)는 대상 물체(target object)에 대한 3차원 촬영 정보인 점 구름(point cloud)를 이용하여 대상 물체의 인식 및 자세를 추정하는 장치다.

프로젝터(projector)로 특정한 패턴의 구조광(structured light)을 대상 물체에 조사하고, 이를 카메라로 촬영하여 3차원 점 구름을 획득하는 기술은 종래의 기술을 이용할 수 있다. 본 실시예에서는 이미 획득된 3차원 촬영 정보인 점 구름을 처리하여 활용하는 방법에 대해 설명한다.

3차원 물체 인식 및 자세 추정 장치(10)는 컴퓨팅 장치(computing device)일 수 있다. 컴퓨팅 장치란 프로세서, 메모리 등을 갖추고, 작성된 프로그램을 수행할 수 있는 장치를 통틀어 의미한다. 휴대성에 따라 데스크탑(desktop), 랩탑(laptop), 스마트폰(smart phone), 태블릿(tablet) 등으로 구분되기도 하고, 연산 능력에 따라 퍼스널 컴퓨터(personal computer)와 서버(server)로 구분되기도 하고, 분담된 역할에 따라 데이터베이스 서버, 연산 서버 등으로 구분되기도 한다.

데이터 베이스 서버, 중계 서버, 연산 서버 등 복수의 컴퓨팅 장치의 집합으로 본 발명의 한 실시예에 따른 컴퓨팅 장치가 구성될 수도 있다. 또한 클라우드 컴퓨팅 기술에 따라서 각 컴퓨팅 장치에 대한 특정한 역할 분담 없이도 그 연산 능력을 자원으로서 끌어다 쓰는 클라우드형 서버도 본 발명의 한 실시예에 따른 컴퓨팅 장치를 구성할 수 있다.

대상 평면 검출부(110), 좌표 변환부(120), 깊이 지도 생성부(130), 폐곡선 생성부(140), 및 추정 연산부(150)는 컴퓨팅 장치를 물리적으로 구분할 수 있는 단위가 될 수도 있다. 예를 들어서, 대상 평면 검출부(110)가 제1 서버, 좌표 변환부(120)가 제2 서버, 깊이 지도 생성부(130)가 제3 서버, 폐곡선 생성부(140)가 제4 서버, 추정 연산부(150)가 제5 서버에서 각각 구현되고, 이러한 제1 내지 제5 서버를 통칭하여 컴퓨팅 장치라고 할 수도 있다.

하지만 한 개의 컴퓨팅 장치가 대상 평면 검출부(110), 좌표 변환부(120), 깊이 지도 생성부(130), 폐곡선 생성부(140), 및 추정 연산부(150)를 기능적으로 모두 포함할 수도 있다. 각각의 기능부가 하드웨어적으로 구분되어 구현될 것인지, 하드웨어적으로 동일하되 소프트웨어적으로 구분되어 구현될 것인지는 당업자의 선택에 따를 수 있다.

전술한 바와 같이 클라우드 컴퓨팅 기술이 보편화된 현 시점에서는 컴퓨팅 장치를 구성하는 하드웨어의 구체적인 구성은 큰 의미가 없으며, 대상 평면 검출부(110), 좌표 변환부(120), 깊이 지도 생성부(130), 폐곡선 생성부(140), 및 추정 연산부(150)의 기능을 포함하는 지 여부로 본 발명의 한 실시예에 따른 3차원 물체 인식 및 자세 추정 장치(10)에 해당하는 지를 판단해야 할 것이다.

당업자는 각각의 기능부를 통폐합하여 다른 이름을 붙일 수 있으므로, 본 발명의 한 실시예에 따른 3차원 물체 인식 및 자세 추정 장치(10)에 해당하는 지 여부는 기능부를 단순히 일대일 대비 판단할 것이 아니라, 전체로서 본 발명의 기능이 구현되고 있는 지로 판단해야 할 것이다.

대상 평면 검출부(110)는 점 구름에 포함된 각 점의 표면 법선 벡터(surface normal vector)를 이용하여 대상 물체의 복수의 대상 평면(target plane)을 검출한다. 예를 들어, 대상 평면 검출부(110)는 3차원 점 구름 정보의 모든 점에 대해 표면 법선 벡터를 추출하고, 표면 법선 벡터의 방향이 일정 기준 범위 내로 일치하면서 서로 인접한 점들을 대상 평면으로 추출할 수 있다

대상 물체는 그 기하학적 형상에 따라 곡면 및 각진 부분도 포함하겠지만, 일반적으로 평면 부분도 포함하는데, 대상 평면 검출부(110)의 검출 대상이 되는 이러한 평면 부분을 본 발명의 실시예에서는 대상 평면이라고 한다.

도 2를 참조하면, 대상 평면을 갖는 예시적인 대상 물체들이 도시되어 있다. 대상 평면은 그 대상 평면 주위에 동일 평면 상에서 연장되는 평면 부재가 더 포함되는 경우이다. 예를 들어, 대상 평면은 홀(hole) 등의 구멍 형상으로 정의되는 평면일 수 있고, 대상 평면은 그 구멍 형상을 둘러싼 주위의 동일 평면 상의 평면 부재를 통해서 연장될 수 있다. 이러한 평면 부재는 일정 기준 이상의 면적을 가질 수 있다.

대상 평면 검출부(110)는 표면 법선 벡터의 방향의 집적도를 측정하여 동일한 배향(orientation)을 갖는 복수의 제1 평면을 검출하고, 복수의 제1 평면 중 동일한 평면 상에 위치하는 제1 평면들에 대해서는 분할하여 복수의 제2 평면을 검출함으로써, 복수의 제1 평면 및 복수의 제2 평면을 포함하는 복수의 대상 평면을 검출할 수 있다.

한 실시예에 따르면, 표면 법선 벡터들은 단위 구체(unit sphere)에 위치하고, IJK 공간 상에서 피크 알고리즘(peak algorithm)에 의해서 평면 배향이 검출될 수 있고, 이는 최적 균등 분포 구체(optimal uniform distribution sphere)로 나뉘어짐 또는 분할될 수 있다. 이러한 분할은 허프 변환 기법(Hough Transform method)에 존재하는 불균일 부분 문제(irregularity patches problem)를 처리할 수 있다. 각각의 검출된 단위 구체의 피크는 서로 평행하는 복수의 평면 상의 복수의 점을 포함한다. 이러한 서로 평행하는 복수의 평면을 본 실시예의 복수의 제1 평면이라고 할 수 있다.

이러한 복수의 제1 평면은 논문 "Nguyen, H. H, Kim, J, Lee, Y, Ahmed, N, & Lee, S. 2013,Accurate and Fast Extraction of Planar Surface Patches from 3D Point Cloud Proc. Of 7th International Conference of Ubiquitous Information Management and Communication 2013 (IMCOM 2013), p.84"에서 제안된 거리 공간(Distance Space) 상의 밀도(density)를 추정함으로써 구분될 수 있다.

또한, 동일한 평면 상의 부분들(patches)을 개별 클러스터(individual clusters)로 분리함으로써 복수의 제2 평면을 검출할 수 있다.

복수의 대상 평면은 이러한 복수의 제1 평면 및 복수의 제2 평면을 포함할 수 있다.

좌표 변환부(120)는 복수의 대상 평면 각각의 배향 방향에 대해 카메라 좌표계의 깊이축(z 축) 또는 광축이 일치되도록 점 구름의 좌표를 복수 회 변환한다.

또한 깊이 지도 생성부(130)는 좌표 변환된 복수 개의 점 구름의 좌표에 대한 복수의 깊이 지도를 생성한다.

좌표 변환부(120) 및 깊이 지도 생성부(130)에 의하면, 복수의 대상 평면 각각에 대해 수직적인 복수의 깊이 지도(orthogonal depth map)가 생성된다. 이러한 좌표 변환부(120)에 의해서 폐곡선을 검출함에 있어서 가려짐이 최소화 되는 대상 물체의 자세를 찾을 수 있다.

깊이 지도 생성부(130)는 좌표 변환된 복수 개의 점 구름 좌표들을 대상 물체의 촬영에 이용된 카메라의 내부 파라미터(intrinsic parameter)를 이용하여 가상 이미지 평면에 투영함으로써 복수의 깊이 지도를 생성할 수 있다.

일반적으로, 카메라의 위치 및 회전 방향 등 카메라 외부 요인을 파라미터화 한 것을 카메라 외부 파라미터(extrinsic parameter)라고 하고, 카메라의 렌즈 구성, 이미지 센서 구성, 렌즈와 이미지 센서 사이의 거리 및 각도 등 카메라 내부 요인을 파라미터화 한 것을 카메라 내부 파라미터라고 한다.

대상 물체의 촬영에 사용된 카메라 내부 파라미터를 사용하여 가상 이미지 평면에 투영하면 물체 평면에 존재하는 폐곡선과 물체의 다른 평면에 존재하는 표면과 깊이 차이가 분명해 지기 때문에 에지를 정확하게 검출 할 수 있는 장점이 있다.

도 3을 참조하면 좌표 변환부(120)를 거치지 않은 상태에서 생성된 깊이 지도가 도시되어 있고, 도 4를 참조하면 좌표 변환부(120)를 거친 상태에서 생성된 깊이 지도가 도시되어 있다. 도 3 및 도 4의 깊이 지도는 대상 물체를 구성하는 3차원 점 구름의 깊이 방향으로 최대 및 최소 값을 구하여 255 단계의 계조 레벨(Gray scale level)로 표현되는 휘도(intensity)값으로 표현되었다.

구체적으로 예를 들면, 8 비트 계조 이미지를 기준으로, 카메라 좌표계의 원점으로부터 0 내지 2.5m의 범위 내에 존재하는 점들이 0 내지 255의 스케일로 각각 변환되었다. 평면의 중심(centroid)은 범위의 중앙에 위치한다. 이미지 평면(image plane)을 설정하고, 이미지 평면과 점들 사이의 가장 짧은 거리를 계산할 수 있다. 이러한 과정을 거쳐, 도면에 도시된 바와 같은 계조 이미지가 획득될 수 있다. 가까운 점일수록 멀리 있는 점보다 밝을 수 있다.

도 3에서는 평면 부재에 존재하는 구멍이 평면 부재와 연속적인 깊이 변화를 이루어 가장자리 검출이 쉽지 않음을 확인할 수 있다. 도 5에서는 평면 부재에 존재하는 구멍과 평면 부재의 깊이 차이가 확연히 달리 표현되었음을 확인할 수 있다. 더불어, 도 5에서는 평면 부재와 주위 배경과의 깊이 차이도 확연히 달리 표현되었다.

폐곡선 생성부(140)는 복수의 깊이 지도 각각에 대해서 가장자리를 검출하고, 검출된 가장자리를 이용하여 폐곡선(closed loop boundary)을 생성한다.

한 실시예에 따르면, 생성된 수직 깊이 지도를 수직, 수평 소벨(Sobel) 연산자를 사용하여 수직성분 가장자리와 수평성분 가장자리를 생성하고, 이의 제곱의 합을 합성하여 최종 가장자리를 생성할 수 있다. 생성된 가장자리 강도가 사전 정의된 값보다 큰 경우만을 유효 가장자리로 남겨 폐곡선을 생성하는데 사용할 수 있다. 비정형 폐곡선이 검출되면 깊이 지도에서 세선화를 진행해야 폐곡선의 명확한 경계를 얻을 수 있는데, 이러한 세선화는 깊이 지도에서 침식과 열기 영상 처리 방법을 사용하여 획득할 수 있다.

한 실시예에 따르면, 폐곡선 생성부(140)는 깊이 지도의 그래디언트의(gradient) 크기를 이용하여 복수의 가장자리 점을 결정하고, 복수의 가장자리 점이 연속적이 되도록 인터폴레이션(interpolation)하고, 획득된 비정형 폐곡선에 대해서 세선화(skeletonization) 처리를 함으로써 폐곡선을 생성할 수 있다.

구체적으로, 대상 물체에서 검출된 각각의 대상 평면마다 깊이 지도가 생성되면 소벨 연산을 통해 가장자리를 검출할 수 있다. 깊이 지도에서 검출된 가장자리 픽셀에 대응되는 3차원 점들을 사용하여 옥트리(Octree)를 생성할 수 있다. 옥트리를 사용하면 3차원 점을 직접 사용하여 폐곡선을 생성할 경우, 가장자리 점이 소실되어 연결되지 않으면 폐곡선이 생성되지 않는다. 따라서 옥트리 셀 크기(Octree Cell size)를 3차원 점 재구성 해상도(3D point reconstruction resolution)에 맞추어 생성하여 폐곡선 생성에 사용하면 인터폴레이션 효과를 얻을 수 있다. 옥트리를 사용하여 세선화함으로써 폐곡선을 생성할 수 있다.

소벨 가장자리 검출(Sobel Edge Detection) 과정은 다음과 같이 수행될 수 있다. 수평 방향에서의 깊이 이미지(depth image)의 그래디언트

는 다음 수학식 1과 같이 연산자를 적용하여 획득할 수 있다.

[수학식 1]

유사하게, 수직 방향에서의 그래디언트

도 아래 수학식 2와 같이 연산자의 트랜스포즈(transpose)를 적용함으로써 획득될 수 있다.

[수학식 2]

그래디언트의 크기(magnitude)

는 아래 수학식 3과 같이 획득될 수 있다.

[수학식 3]

그래디언트의 크기

의 계산 이후에, 아래 수학식 4에 따라 그래디언트 이미지를 바이너리 이미지(binary image)

로 변환시킬 수 있다.

[수학식 4]

최종적으로, AND 로직 연산이 수행될 수 있다.

옥트리를 이용한 인터폴레이션은 다음과 같이 수행될 수 있다.

점 구름 생성 과정에서 가려짐 때문에 일부 3차원 점이 유실되는 부분을 보완하기 위해서 2 레이어 옥트리(2 Layered Octree)를 생성하여 삼차원 데이터를 근사(approximation)시킬 수 있다. 환경에서 물체를 구획(segmentation)하기 위하여 저레벨 옥트리(low level Octree)를 생성할 수 있다. 구획된 물체에 해당되는 점 구름을 사용하여 폐곡선 검출의 정확도를 높이기 위하여 고레벨 옥트리(high level Octree)를 생성하여 폐곡선 점을 근사시킬 수 있다. 물체의 최적 분할 레벨을 구하기 위하여 아래 수학식 5를 이용할 수 있다.

[수학식 5]

이때 n은 분할 레벨이고, M은 물체의 크기이고, d는 이웃 점과의 평균 거리일 수 있다.

세선화는 다음과 같이 수행될 수 있다.

아래 수학식 6과 같이,가장자리

는, B로

를 먼저 침식시키고(eroding), 그런 후에

와 그 침식 간의 차이 설정(set difference)을 수행할 수 있다.

[수학식 6]

이때 B는 구조화 요소(structuring element)이고, 1로 지정된 3*3 사각형 어레이(rectangular array)이다.

최종적으로,

의 연결된 가장자리를 따라, 폐곡선(closed-loop boundary)이 추출될 수 있다. 폐곡선은 시작 점과 끝 점이 동일한 특정 가장자리일 수 있고, 지선 가장자리(branch boundaries)가 연결되어 있지 않을 수 있다.

추정 연산부(150)는 생성된 복수의 폐곡선 사이의 거리 및 각도를 이용하여 대상 물체의 인식 및 자세를 추정한다.

추정 연산부(150)는 미리 생성된 데이터베이스(database)를 참조할 수 있다. 데이터베이스는 대상 물체가 모든 방향에서 촬영된 3차원 모델로부터 추출된 모든 폐곡선을 데이터로서 포함할 수 있다. 이러한 폐곡선들은, 대상 물체를 모든 방향에서 카메라로 촬영한 이후 획득된 점 구름을 이용하여, 상술한 대상 평면 검출부(110), 좌표 변환부(120), 깊이 지도 생성부(130), 폐곡선 생성부(140)를 이용하여 생성될 수 있다. 데이터베이스는 대상 물체에 대해서, 대상 물체로부터 추출된 폐곡선의 중심점들 사이의 거리 및 각도, 반지름, 장축, 단축 등에 대한 정보를 데이터로 저장할 수 있다.

추정 연산부(150)는 실제 공장 자동화 과정에서 위치 이동되고 자세 변환된 대상 물체를 촬영하여 획득된 제한적인 정보를 갖는 3차원 점 구름 데이터를 이용할 수 있다. 제한적인 정보를 갖는 3차원 점 구름 데이터를 이용하여 상술한 대상 평면 검출부(110), 좌표 변환부(120), 깊이 지도 생성부(130), 폐곡선 생성부(140)를 통해 획득된 폐곡선은, 그 개수가 데이터 베이스에 저장된 대상 객체의 모든 폐곡선의 개수보다 적을 수 있다. 추정 연산부(150)는 최소한 3 개의 폐곡선을 이용하여 대상 물체의 자세를 추정할 수 있다.

도 5는 본 발명의 제2 실시예에 따른 3차원 물체 인식 및 자세 추정 장치를 설명하기 위한 도면이다.

도 5를 참조하면, 본 발명의 제2 실시예에 따른 3차원 물체 인식 및 자세 추정 장치(20)는 대상 평면 검출부(210), 좌표 변환부(220), 깊이 지도 생성부(230), 폐곡선 생성부(240), 폐곡선 피팅부(250), 및 추정 연산부(260)를 포함한다.

제2 실시예의 대상 평면 검출부(210), 좌표 변환부(220), 깊이 지도 생성부(230), 폐곡선 생성부(240), 및 추정 연산부(260)는 각각 제1 실시예의 대상 평면 검출부(110), 좌표 변환부(120), 깊이 지도 생성부(130), 폐곡선 생성부(140), 및 추정 연산부(150)에 대응하므로 중복하여 설명하지 않는다.

폐곡선 피팅부(250)는 폐곡선을 구성하는 점 좌표들의 정보를 이용하여 폐곡선을 원(circle) 또는 비원(non-circle)으로 피팅(fitting)할 수 있다. 폐곡선은 원과 비원으로 분류되어 피팅됨으로써 3차원 점 재구성(reconstruction) 과정에서 발생하는 오차를 감소시킬 수 있다. 즉, 폐곡선 추출의 정확도를 향상시킬 수 있다.

한 실시예에서, 폐곡선 피팅부(250)는 폐곡선을 구성하는 점 좌표들의 평균 값을 폐곡선의 중심 점으로 하고, 중심 점으로부터 폐곡선을 구성하는 점 좌표들 사이의 거리를 계산하고, 계산된 거리의 일정한 정도에 따라 폐곡선을 원 또는 비원으로 피팅할 수 있다.

예를 들어, 원 피팅을 하는 경우 중심과 반지름을 획득할 수 있고, 타원 피팅을 하는 경우 중심, 장축 길이, 및 단축 길이를 획득할 수 있다.

한 실시예에서, 폐곡선 피팅부(250)는 폐곡선을 구성하는 점 좌표들 각각의 세 방향의 고유치(eigenvalue)를 획득하고, 세 방향의 고유치가 기준 범위를 초과하는 차이가 있는 경우, 폐곡선을 비원으로 피팅하고, 세 방향의 고유치 중 두 개의 값이 기준 범위 내에서 유사하고 나머지 하나의 값이 기준 범위 이하인 경우, 폐곡선을 원으로 피팅할 수 있다.

물체의 자세를 추정하기 위한 특징으로 폐곡선의 중심 점을 사용할 수 있다. 폐곡선의 중심 점은 클러스터링(clusterting)된 가장자리 삼차원 점들의 좌표 값 평균을 이용하여 획득할 수 있다. 하지만 가장자리가 모든 경계에서 정확히 검출되지 않고 분실되는 경우가 있기 때문에 검출되는 가장자리 3차원 점만을 이용하여 폐곡선의 중심점을 구할 경우 중심점의 위치가 정확하지 않을 수 있다. 이러한 오차를 감소시키기 위하여 폐곡선을 원과 비원으로 분리하고, 원이면 원 피팅을 하고, 비원이면 모델 피팅(model fitting)을 함으로써 각각의 폐곡선의 중심 점을 계산할 수 있다.

3차원 가장자리 검출과 클러스터링이 완료되면 각각의 폐곡선을 원과 비원으로 분류한다. 폐곡선을 구성하는 가장자리 삼차원 점들을 PCA를 사용하여 계산하는 경우 세 방향의 고유치를 획득할 수 있다. 고유치 값이 모두 차이가 있는 경우 비원 폐곡선으로, 2 개의 값이 거의 유사하고 나머지 한 개의 값이 매우 작으면 원 폐곡선으로 분류할 수 있다.

비원 폐곡선의 경우, 검출된 3차원 가장자리 점을 이용하여 초기 중심 점을 획득한다. 초기 중심 점과 가장자리 점들은 한 평면에 있기 때문에 법선(normal)을 갖고 있다. 그러므로 모델 폐곡선(model CLB)에 중심 점과 법선 방향을 일치시킬 수 있으며, 법선 방향의 고유치를 제외한 두 고유치 값에 차이가 있기 때문에 모델 폐곡선과 측정된 폐곡선(measured CLB)의 고유치가 비슷한 고유벡터(eigenvecotr)를 일치시켜 초기 자세를 잡는다. ICP 연산을 통하여 모델 폐곡선과 측정된 폐곡선을 일치시킨 후 분실된 가장자리 점을 일정한 간격으로 추가하여 피팅할 수 있다.

원 폐곡선의 경우, 세선화 과정에서 검출된 가장자리 픽셀에서 3차원 점이 있는 픽셀만 사용하여 허프 변환을 사용하여 원 피팅을 한다. 피팅으로 생성된 각각의 픽셀들은 한 평면 위에 있기 때문에 수직 지도(orthogonal map)에서 거리는 카메라 좌표계 원점에서 3차원 점까지의 거리와 모두 동일하다. 따라서 역 카메라 내부 파라미터(inverse camera intrinsic parameter)를 사용하면 피팅으로 얻은 픽셀의 3차원 점의 공간에서 위치를 계산하여 원을 생성할 수 있다.

도 6은 예시적으로 데이터베이스화 된 제1 내지 제3 엔진 파트를 설명하기 위한 도면이다.

전술한 바와 같이 데이터베이스는 대상 물체에 대해서, 대상 물체로부터 추출된 폐곡선의 중심점들 사이의 거리 및 각도, 반지름, 장축, 단축 등에 대한 정보를 데이터로 저장할 수 있다.

도 6을 참조하면 제1, 제2, 및 제3 엔진 파트가 도시되어 있고, 각 엔진 파트의 추출된 폐곡선에 기반하여 중심점의 위치 및 중심점들 간의 거리 및 각도가 예시적으로 도시되어 있다.

도 7은 종래 기술, 제1 실시예, 및 제2 실시예에 따라 검출된 대상 물체의 폐곡선을 설명하기 위한 도면이다.

종래 기술에 의한 폐곡선 검출은, 도 7의 (a-1) 및 (a-2)을 참조하면, 촬영 위치에 따라서 발생하는 가려짐 때문에 가장자리 3차원 점이 구멍과 구멍의 뒤쪽에서 검출되는 현상이 발생한다.

폐곡선 피팅부(250)를 포함하지 않는 제1 실시예에 의한 폐곡선 검출 결과는, 도 7의 (b-1) 및 (b-2)에 도시된 바와 같다.

폐곡선 피팅부(250)를 포함하는 제2 실시예에 의한 폐곡선 검출 결과는, 도 7의 (c-1) 및 (c-2)에 도시된 바와 같다.

도 8 및 9은 제1 실시예 및 제2 실시예의 제1 엔진 파트의 위치 정확도를 비교 설명하기 위한 도면이고, 도 10 및 11은 제1 실시예 및 제2 실시예의 제2 엔진 파트의 위치 정확도를 비교 설명하기 위한 도면이고, 도 12 및 13은 제1 실시예 및 제2 실시예의 제3 엔진 파트의 위치 정확도를 비교 설명하기 위한 도면이다.

상대적 폐곡선의 위치 정확도를 확인하기 위하여 실험 대상 물체인 제1 내지 제3 엔진 파트의 위치를 임의로 이동시키고 10 회 촬영함으로써 데이터를 획득하였다. 피팅 이전에는 오차가 평균적으로 2.1mm 이하로 측정되었고, 피팅 이후에는 오차가 평균적으로 1.5mm 이하로 측정되었다.

지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

10, 20: 3차원 물체 인식 및 자세 추정 장치
110, 210: 대상 평면 검출부
120, 220: 좌표 변환부
130, 230: 깊이 지도 생성부
140, 240: 폐곡선 생성부
250: 폐곡선 피팅부
150, 260: 추정 연산부

Claims

대상 물체에 대한 3차원 촬영 정보인 점 구름(point cloud)을 이용하여 상기 대상 물체의 인식 및 자세를 추정하는 3차원 물체 인식과 자세 추정 장치로서,
상기 점 구름에 포함된 각 점의 표면 법선 벡터(surface normal vector)를 이용하여 상기 대상 물체의 복수의 대상 평면을 검출하는 대상 평면 검출부;
상기 복수의 대상 평면 각각의 배향 방향에 대해 카메라 좌표계의 깊이축이 일치되도록 상기 점 구름의 좌표를 복수 회 변환하는 좌표 변환부;
좌표 변환된 복수 개의 상기 점 구름의 좌표에 대한 복수의 깊이 지도를 생성하는 깊이 지도 생성부;
상기 복수의 깊이 지도 각각에 대해서 가장자리를 검출하고, 검출된 가장자리를 이용하여 폐곡선(closed loop boundary)을 생성하는 폐곡선 생성부; 및
생성된 복수의 폐곡선 사이의 거리 및 각도를 이용하여 상기 대상 물체의 인식 및 자세를 추정하는 추정 연산부를 포함하는
3차원 물체 인식과 자세 추정 장치.
제1 항에 있어서,
상기 대상 평면 검출부는
상기 표면 법선 벡터의 방향의 집적도를 측정하여 동일한 배향을 갖는 복수의 제1 평면을 검출하고,
상기 복수의 제1 평면 중 동일한 평면 상에 위치하는 제1 평면들에 대해서는 분할하여 복수의 제2 평면을 검출함으로써,
상기 복수의 제1 평면 및 상기 복수의 제2 평면을 포함하는 상기 복수의 대상 평면을 검출하는,
3차원 물체 인식과 자세 추정 장치.
제1 항에 있어서,
상기 깊이 지도 생성부는
좌표 변환된 복수 개의 상기 점 구름 좌표들을 상기 대상 물체의 촬영에 이용된 카메라의 내부 파라미터(intrinsic parameter)를 이용하여 가상 이미지 평면에 투영함으로써 상기 복수의 깊이 지도를 생성하는,
3차원 물체 인식과 자세 추정 장치.
제1 항에 있어서,
상기 폐곡선 생성부는
깊이 지도의 그래디언트의(gradient) 크기를 이용하여 복수의 가장자리 점을 결정하고,
상기 복수의 가장자리 점이 연속적이 되도록 인터폴레이션(interpolation)하고,
획득된 비정형 폐곡선에 대해서 세선화(skeletonization) 처리를 함으로써 상기 폐곡선을 생성하는,
3차원 물체 인식과 자세 추정 장치.
제1 항에 있어서,
상기 폐곡선을 구성하는 점 좌표들의 정보를 이용하여 상기 폐곡선을 원(circle) 또는 비원(non-circle)으로 피팅하는 폐곡선 피팅부를 더 포함하는
3차원 물체 인식과 자세 추정 장치.
제5 항에 있어서,
상기 폐곡선 피팅부는
상기 폐곡선을 구성하는 점 좌표들의 평균 값을 상기 폐곡선의 중심 점으로 하고,
상기 중심 점으로부터 상기 폐곡선을 구성하는 상기 점 좌표들 사이의 거리를 계산하고,
계산된 상기 거리의 일정한 정도에 따라 상기 폐곡선을 원 또는 비원으로 피팅하는,
3차원 물체 인식과 자세 추정 장치.
제5 항에 있어서,
상기 폐곡선 피팅부는
상기 폐곡선을 구성하는 점 좌표들 각각의 세 방향의 고유치(eigenvalue)를 획득하고,
상기 세 방향의 고유치가 기준 범위를 초과하는 차이가 있는 경우, 상기 폐곡선을 비원으로 피팅하고,
상기 세 방향의 고유치 중 두 개의 값이 기준 범위 내에서 유사하고 나머지 하나의 값이 기준 범위 이하인 경우, 상기 폐곡선을 원으로 피팅하는,
3차원 물체 인식과 자세 추정 장치.
제1 항에 있어서,
상기 추정 연산부는
최소한 3 개의 상기 폐곡선을 이용하여 상기 대상 물체의 자세를 추정하는,
3차원 물체 인식과 자세 추정 장치.
대상 물체에 대한 3차원 촬영 정보인 점 구름(point cloud)을 이용하여 상기 대상 물체의 인식 및 자세를 추정하는 3차원 물체 인식과 자세 추정 방법으로서,
상기 점 구름에 포함된 각 점의 표면 법선 벡터를 이용하여 상기 대상 물체의 복수의 대상 평면을 검출하는 대상 평면 검출 단계;
상기 복수의 대상 평면 각각의 배향 방향에 대해 카메라 좌표계의 깊이축이 일치되도록 상기 점 구름의 좌표를 복수 회 변환하는 좌표 변환 단계;
좌표 변환된 복수 개의 상기 점 구름의 좌표에 대한 복수의 깊이 지도를 생성하는 깊이 지도 생성 단계;
상기 복수의 깊이 지도 각각에 대해서 가장자리를 검출하고, 검출된 가장자리를 이용하여 폐곡선(closed loop boundary)을 생성하는 폐곡선 생성 단계; 및
생성된 복수의 폐곡선 사이의 거리 및 각도를 이용하여 상기 대상 물체의 인식 및 자세를 추정하는 추정 연산 단계를 포함하는
3차원 물체 인식과 자세 추정 방법.
제9 항에 있어서,
상기 대상 평면 검출 단계에서,
상기 표면 법선 벡터의 방향의 일치성을 이용하여 동일한 배향을 갖는 복수의 제1 평면을 검출하고,
상기 복수의 제1 평면 중 동일한 평면 상에 위치하는 제1 평면들에 대해서는 분할하여 복수의 제2 평면을 검출함으로써,
상기 복수의 제1 평면 및 상기 복수의 제2 평면을 포함하는 상기 복수의 대상 평면을 검출하는,
3차원 물체 인식과 자세 추정 방법.
제9 항에 있어서,
상기 깊이 지도 생성 단계에서,
좌표 변환된 복수 개의 상기 점 구름 좌표들을 상기 대상 물체의 촬영에 이용된 카메라의 내부 파라미터를 이용하여 가상 이미지 평면에 투영함으로써 상기 복수의 깊이 지도를 생성하는,
3차원 물체 인식과 자세 추정 방법.
제9 항에 있어서,
상기 폐곡선 생성 단계에서,
깊이 지도의 그래디언트의(gradient) 크기를 이용하여 복수의 가장자리 점을 결정하고,
상기 복수의 가장자리 점이 연속적이 되도록 인터폴레이션(interpolation)하고,
획득된 비정형 폐곡선에 대해서 세선화(skeletonization) 처리를 함으로써 상기 폐곡선을 생성하는,
3차원 물체 인식과 자세 추정 방법.
제9 항에 있어서,
상기 폐곡선을 구성하는 점 좌표들의 정보를 이용하여 상기 폐곡선을 원 또는 비원으로 피팅하는 폐곡선 피팅 단계를 더 포함하는
3차원 물체 인식과 자세 추정 방법.
제13 항에 있어서,
상기 폐곡선 피팅 단계에서,
상기 폐곡선을 구성하는 점 좌표들의 평균 값을 상기 폐곡선의 중심 점으로 하고,
상기 중심 점으로부터 상기 폐곡선을 구성하는 상기 점 좌표들 사이의 거리를 계산하고,
계산된 상기 거리의 일정한 정도에 따라 상기 폐곡선을 원 또는 비원으로 피팅하는,
3차원 물체 인식과 자세 추정 방법.
제13 항에 있어서,
상기 폐곡선 피팅 단계에서,
상기 폐곡선을 구성하는 점 좌표들 각각의 세 방향의 고유치를 획득하고,
상기 세 방향의 고유치가 기준 범위를 초과하는 차이가 있는 경우, 상기 폐곡선을 비원으로 피팅하고,
상기 세 방향의 고유치 중 두 개의 값이 기준 범위 내에서 유사하고 나머지 하나의 값이 기준 범위 이하인 경우, 상기 폐곡선을 원으로 피팅하는,
3차원 물체 인식과 자세 추정 방법.
제9 항에 있어서,
상기 추정 연산 단계에서,
최소한 3 개의 상기 폐곡선을 이용하여 상기 대상 물체의 자세를 추정하는,
3차원 물체 인식과 자세 추정 방법.