KR20120023052A

KR20120023052A - 3 차원에 있어서의 형상의 일치를 판정하는 방법 및 장치

Info

Publication number: KR20120023052A
Application number: KR1020117028830A
Authority: KR
Inventors: 료스케 오제키; 히로노부 후지요시
Original assignee: 가부시키가이샤 도요다 지도숏키
Priority date: 2009-06-22
Filing date: 2010-06-04
Publication date: 2012-03-12
Also published as: DE112010002677T5; WO2010150639A1; JP2011003127A; US20120033873A1; CN102428497A; CN102428497B; JP5468824B2

Abstract

3 차원에 있어서의 형상의 일치를 판정하는 방법 및 장치에 있어서, 입체적 형상에 관한 정보를 유효하게 이용할 수 있는 것을 제공한다.
판정 장치 (10) 의 카메라 제어 수단 (33) 은, 거리 화상 카메라 (20) 에 의해 판정 대상 물체의 거리 화상을 촬영한다. 특징점 추출 수단 (34) 은, 이 거리 화상에 기초하여 특징점을 추출한다. 특징량 결정 수단 (35) 은, 특징점 근방의 입체적 형상을 표면점의 깊이로서 산출하고, 표면점의 깊이에 기초하여 특징점의 특징량을 결정한다. 일치 판정 수단 (36) 은, 2 개 형상의 특징량에 기초하여, 이들 형상의 일치를 판정한다.

Description

3 차원에 있어서의 형상의 일치를 판정하는 방법 및 장치{METHOD AND DEVICE FOR DETERMINING SHAPE CONGRUENCE IN THREE DIMENSIONS}

이 발명은, 3 차원에 있어서의 형상의 일치를 판정하는 방법 및 장치에 관한 것으로, 특히 형상에 대한 특징량을 사용하는 것에 관한 것이다.

3 차원에 있어서의 형상의 일치를 판정하는 방법으로서, 판정 대상의 3 차원 형상을 촬영하여 2 차원의 휘도 화상을 작성하고, 이 휘도 화상을 사용하여 판정을 실시하는 방법이 알려져 있다.

예를 들어, 특허문헌 1 에 기재된 방법에서는, 3 차원 형상을 촬영한 휘도 화상으로부터 휘도 분포를 구하고, 이 휘도 분포에 기초하여 특징량을 결정하고, 결정된 특징량을 기준으로 하여 일치를 판정한다.

또한, 2 차원의 휘도 화상에 의해 나타내어진 물체의 일치를 판정하는 방법으로서, 화상의 특징량을 사용하는 방법이 알려져 있다. 예를 들어 비특허문헌 1 및 2 에 「SIFT (Scale Invariant Feature Transform)」로서 기재된 방법에서는, 휘도 화상에 있어서의 휘도 구배에 기초하여 특징점을 추출하고, 특징점에 대하여 특징량을 나타내는 벡터를 구하고, 이 벡터를 기준으로 하여 일치를 판정한다.

일본 공개특허공보 2002-511175호

후지요시 히로노부, 「Gradient 베이스의 특징 추출 - SIFT 와 HOG -」, 정보 처리 학회 연구 보고 CVIM160, 2007년, p.211-224 David G. Lowe, 「Object Recognition from Local Scale-Invariant Features」, Proc. of the International Conference on Computer Vision, Corfu, 1999년 9월

그러나, 종래의 기술에서는, 입체적 형상에 관한 정보를 유효하게 이용할 수 없다는 문제가 있었다. 예를 들어, 특허문헌 1 에 기재된 방법이나, 비특허문헌 1 및 2 에 기재된 방법에서는, 촬영된 2 차원의 휘도 화상만을 사용하기 때문에, 입체적 형상에 관한 정보의 적어도 일부가 소실되어 버린다.

이와 같은 문제가 판정 정밀도에 영향을 미치는 구체예의 하나로서, 판정 대상의 물체 표면에 특징적인 텍스처가 없으며, 또한 표면이 매끄럽게 변화되어 음영이 생기지 않는 경우를 들 수 있다. 이와 같은 경우, 휘도 화상으로부터는 판정의 기준이 되는 정보를 적절히 얻을 수 없다.

다른 구체예로서, 촬영의 앵글이 상이한 경우를 들 수 있다. 2 차원 화상은, 판정 대상의 물체와 카메라의 상대적인 위치 및 자세에 따라 크게 변화된다. 이 때문에, 동일한 물체라도 상이한 각도에서 촬영하면 상이한 화상이 되어, 정밀도가 높은 일치 판정을 실시할 수 없다. 또한, 3 차원의 위치 관계의 변화에 따른 화상의 변화는, 단순한 2 차원 화상의 회전 또는 스케일 변화의 범위를 초과하는 것이기 때문에, 2 차원 화상의 회전 및 스케일 변화에 대하여 완건 (頑健) 한 방법을 사용하는 것만으로는 이 문제를 해소할 수 없다.

이 발명은 이와 같은 문제점을 해소하기 위해서 이루어진 것으로, 3 차원에 있어서의 형상의 일치를 판정할 때에, 입체적 형상에 관한 정보를 유효하게 이용할 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.

이 발명에 관련된, 3 차원에 있어서의 형상의 일치를 판정하는 방법은, 적어도 1 개의 형상에 대하여, 적어도 1 개의 특징점을 추출하는 단계와, 추출된 특징점에 대하여, 특징량을 결정하는 단계와, 결정된 특징량과, 다른 형상에 대하여 기억된 특징량에 기초하여, 형상 각각의 사이의 일치를 판정하는 단계를 포함하는 방법에 있어서, 특징량은 입체적 형상을 나타내는 것을 특징으로 한다.

이 방법은, 형상으로부터 추출된 특징점에 대하여, 입체적 형상을 나타내는 특징량을 결정한다. 이 때문에, 특징량은 입체적 형상에 관한 정보를 포함하게 된다. 그리고, 이 특징량을 사용하여 일치를 판정한다. 일치의 판정은, 형상이 서로 일치하는지 여부의 판정이어도 되고, 형상의 일치 정도를 나타내는 일치도를 산출하는 판정이어도 된다.

특징량을 결정하는 단계는, 특징점의 각각에 대하여, 그 특징점을 포함하는 평면에 대한 법선의 방향을 산출하는 단계를 포함해도 된다. 이와 같이 하면, 형상을 나타내는 시점에 의하지 않고 그 특징점에 관련되는 방향을 특정할 수 있다.

다른 형상에 대하여, 적어도 1 개의 특징점을 추출하는 단계와, 다른 형상의 특징점에 대하여 특징량을 결정하는 단계와, 다른 형상의 특징량을 기억하는 단계를 추가로 포함해도 된다. 이와 같이 하면, 2 개의 형상에 대하여 동일한 방법으로 결정된 특징량을 사용하여 판정을 실시할 수 있다.

특징량을 결정하는 단계는, 형상의 표면을 구성하는 표면점을 추출하는 단계와, 표면점을 법선의 방향을 따라 평면에 투영한 투영점을 특정하는 단계와, 표면점과 투영점의 거리를, 표면점의 깊이로서 산출하는 단계와, 표면점의 깊이에 기초하여, 특징량을 산출하는 단계를 포함해도 된다.

특징량을 결정하는 단계는, 복수의 표면점의 깊이에 기초하여, 특징점의 스케일을 결정하는 단계와, 복수의 표면점의 깊이에 기초하여, 평면에 있어서의 특징점의 방향을 결정하는 단계와, 특징점의 위치와, 특징점의 스케일과, 특징점의 방향에 기초하여, 특징 기술 영역을 결정하는 단계를 포함하고, 표면점의 깊이에 기초하여 특징량을 산출하는 단계에서는, 특징 기술 영역 내의 표면점의 깊이에 기초하여 특징량을 산출하는 것이어도 된다.

특징량은 벡터의 형식에 의해 나타내어져도 된다.

형상 각각의 사이의 일치를 판정하는 단계는, 형상 각각의 특징량을 나타내는 벡터 사이의 유클리드 거리를 산출하는 단계를 포함해도 된다.

형상의 적어도 1 개는 거리 화상에 의해 나타내어져도 된다.

또한, 이 발명에 관련된, 3 차원에 있어서의 형상의 일치를 판정하는 장치는, 형상의 거리 화상을 작성하는 거리 화상 작성 수단과, 거리 화상 및 특징량을 기억하는 기억 수단과, 거리 화상에 의해 나타내어지는 형상에 대하여, 상기 서술한 방법을 사용하여 일치를 판정하는 연산 수단을 구비한다.

이 발명에 관련된, 3 차원에 있어서의 형상의 일치를 판정하는 방법 및 장치에 의하면, 입체적 형상을 나타내는 정보를 특징량으로서 사용하고, 이것에 기초하여 일치를 판정하므로, 입체적 형상에 관한 정보를 유효하게 이용할 수 있다.

도 1 은, 이 발명에 관련된 판정 장치의 구성을 나타내는 도면이다.
도 2 는, 어느 물체에 대한 외관을 나타내는 사진이다.
도 3 은, 도 2 의 물체에 대한 거리 화상이다.
도 4 는, 도 1 의 판정 장치의 동작을 설명하는 플로차트이다.
도 5 는, 도 4 의 단계 S3 및 단계 S7 에 포함되는 처리의 상세를 나타내는 플로차트이다.
도 6 은, 도 1 의 특징점의 근방을 확대하여 나타내는 도면이다.

이하, 이 발명의 실시형태를 첨부 도면에 기초하여 설명한다.

실시형태 1.

도 1 은, 이 발명에 관련된 판정 장치 (10) 의 구성을 나타낸다. 판정 장치 (10) 는, 3 차원에 있어서의 형상의 일치를 판정하는 장치로, 3 차원에 있어서의 형상의 일치를 판정하는 방법을 실행하는 것이다. 물체 (40) 는 3 차원에 있어서의 형상을 갖고, 이 형상이 본 실시형태에 있어서 일치 판정의 대상이 된다. 여기서는, 물체 (40) 를 판정 대상으로서의 제 1 물체로 한다.

판정 장치 (10) 는, 거리 화상 카메라 (20) 를 포함한다. 거리 화상 카메라 (20) 는, 물체 (40) 를 촬영하여, 물체 (40) 의 형상을 나타내는 거리 화상을 작성하는 거리 화상 작성 수단이다. 여기서 거리 화상이란, 거리 화상 카메라 (20) 의 촬영 범위의 물체 또는 그 표면에 포함되는 각 점에 대하여, 거리 화상 카메라 (20) 로부터 그 점까지의 거리를 나타내는 정보를, 화상 형식으로 나타낸 것이다.

도 2 및 도 3 은, 동일한 물체에 대한 외관 및 거리 화상을 대비하는 도면이다. 도 2 는 「

」이라고 쓰여진 원통 형상 물체의 외관을 나타내는 사진이며, 휘도 화상이다. 도 3 은 이 물체를 거리 화상 카메라 (20) 로 촬영한 화상이며, 거리 화상이다. 또한, 도 3 에서는 거리 화상 카메라 (20) 로부터의 거리가 가까운 부분은 밝게, 거리가 먼 부분은 어둡게 도시되어 있다. 도 3 으로부터 알 수 있는 바와 같이, 거리 화상에서는 텍스처 (예를 들어 물체 표면의 「

」이라는 문자) 에 의하지 않고, 물체 표면의 형상을 구성하는 각 점까지의 거리가 나타내어진다.

도 1 에 나타내는 바와 같이, 거리 화상 카메라 (20) 에는 컴퓨터 (30) 가 접속된다. 컴퓨터 (30) 는, 주지된 구성을 갖는 컴퓨터로서, 예를 들어 마이크로칩 또는 퍼스널 컴퓨터 등에 의해 구성된다.

컴퓨터 (30) 는, 연산을 실시하는 연산 수단 (31) 과, 정보를 기억하는 기억 수단 (32) 을 구비한다. 연산 수단 (31) 은 예를 들어 주지된 프로세서이고, 기억 수단 (32) 은 예를 들어 주지된 반도체 메모리 장치 또는 자기 디스크 장치이다.

연산 수단 (31) 은, 연산 수단 (31) 에 도입된 프로그램 또는 기억 수단 (32) 에 기억된 프로그램을 실행함으로써, 거리 화상 카메라 (20) 의 동작을 제어하는 카메라 제어 수단 (33), 거리 화상으로부터 특징점을 추출하는 특징점 추출 수단 (34), 특징점에 대하여 특징량을 결정하는 특징량 결정 수단 (35), 및 형상의 일치를 판정하는 일치 판정 수단 (36) 으로서 기능하는데, 이들 기능의 상세한 것에 대해서는 후술한다.

다음으로, 도 4 의 플로차트를 사용하여, 도 1 에 나타내는 판정 장치 (10) 의 동작에 대하여 설명한다.

먼저, 판정 장치 (10) 는, 제 1 형상을 갖는 제 1 물체로서, 물체 (40) 에 대하여 처리를 실시한다 (단계 S1 ? S4).

여기서, 먼저 판정 장치 (10) 는, 물체 (40) 에 대하여, 그 형상을 나타내는 거리 화상을 작성한다 (단계 S1). 이 단계 S1 에 있어서, 카메라 제어 수단 (33) 이 거리 화상 카메라 (20) 를 제어하여 거리 화상을 촬영시키고, 거리 화상의 데이터를 거리 화상 카메라 (20) 로부터 수신하여 기억 수단 (32) 에 기억한다. 즉, 기억 수단 (32) 은 도 3 에 나타내는 바와 같은 거리 화상의 데이터를 기억하게 된다.

다음으로, 판정 장치 (10) 는, 물체 (40) 의 거리 화상에 기초하여, 물체 (40) 의 형상에 대하여, 적어도 1 개의 특징점을 추출한다 (단계 S2). 이 단계 S2 는 특징점 추출 수단 (34) 에 의해 실행된다.

이 특징점은 어떠한 방법으로 추출되어도 되는데, 이하에 예를 나타낸다. 거리 화상은 2 차원의 화상이므로, 거리를 휘도로서 해석하면, 형식적으로는 2 차원의 휘도 화상과 동일한 구성을 갖는 데이터로 볼 수 있다. 즉, 도 3 의 예에서는, 거리가 가까운 점을 휘도가 높은 점으로 하고, 거리가 먼 점을 휘도가 낮은 점으로 하여 나타내고 있는데, 이 휘도에 의한 표시를 그대로 휘도 화상으로서 사용할 수 있다. 이 때문에, 물체 (40) 의 형상에 대하여 특징점을 추출하는 방법으로서, 2 차원의 휘도 화상으로부터 특징점을 추출하는 주지된 방법을 그대로 응용할 수 있다.

2 차원의 휘도 화상으로부터 특징점을 추출하는 방법으로는, 다수의 것이 주지되어 있으며, 그 어느 것을 사용해도 된다. 예를 들어, 비특허문헌 1 및 2 에 기재된 SIFT 에 의한 방법을 사용하여 특징점을 추출할 수 있다. 즉, 이 경우, 특징점 추출 수단 (34) 은, SIFT 에 의한 방법을 사용하여, 물체 (40) 의 거리 화상으로부터 특징점을 추출한다. SIFT 에 의한 방법에서는, 가우스 함수의 스케일을 변화시키면서, 가우스 함수와 휘도 화상 (본 실시형태에서는 거리 화상) 의 컨볼루션 연산을 실시하고, 컨볼루션의 결과에 있어서 스케일의 변화에 따른 각 화소의 휘도 (거리) 의 차분을 구하고, 이 차분이 극값이 되는 화소에 대응하여 특징점을 추출한다.

여기서는, 도 1 에 나타내는 특징점 (41) 이 추출된 것으로 하고, 이하의 단계 S3 및 S4 에서는 특징점 (41) 을 예로 들어 설명한다. 또한, 복수의 특징점이 추출된 경우, 단계 S3 및 S4 의 처리는 특징점의 각각에 대하여 실행된다.

판정 장치 (10) 는, 특징점 (41) 에 대하여 특징량을 결정한다 (단계 S3). 이 특징량은, 물체 (40) 의 입체적 형상을 나타내는 것이다. 이 단계 S3 의 처리를, 도 5 및 도 6 을 사용하여 상세하게 설명한다.

도 5 는, 단계 S3 에 포함되는 처리의 상세를 나타내는 플로차트이고, 도 6 은, 도 1 의 특징점 (41) 의 근방을 확대하여 나타내는 도면이다.

단계 S3 에 있어서, 먼저 특징량 결정 수단 (35) 은, 특징점 (41) 을 포함하는 평면을 결정한다 (단계 S31). 이 평면은, 예를 들어 특징점 (41) 에 있어서 물체 (40) 의 표면에 접하는 접평면 (42) 으로 할 수 있다.

다음으로, 이 단계 S3 에 있어서, 특징량 결정 수단 (35) 은, 접평면 (42) 의 법선의 방향을 산출한다 (단계 S32).

또한, 거리 화상은 특징점 (41) 및 그 주변의 형상을 나타내는 정보를 포함하고 있으므로, 단계 S31 및 S32 에 있어서 접평면 (42) 및 그 법선의 방향을 산출하는 처리는, 당업자라면 적절히 설계할 수 있다. 이와 같이 하면, 거리 화상 카메라 (20) 의 위치나 앵글에 의하지 않고, 특징점 (41) 에 있어서의 형상에 관련되는 방향을 특정할 수 있다.

다음으로, 특징량 결정 수단 (35) 은, 물체 (40) 표면의 형상에 대하여 그 표면을 구성하는 점을 표면점으로서 추출한다 (단계 S33). 표면점은, 예를 들어 소정의 영역 내에 있어서 등간격의 격자점을 선택함으로써 추출할 수 있는데, 적어도 1 개의 표면점을 추출하는 방법이면 어떠한 방법으로 추출되어도 된다. 도 6 의 예에서는, 표면점 (43 ? 45) 이 추출된 것으로 한다.

다음으로, 특징량 결정 수단 (35) 은, 각 표면점에 대응하는 투영점을 특정한다 (단계 S34). 투영점은, 표면점을, 접평면 (42) 의 법선 방향을 따라 접평면 (42) 에 투영한 점으로서 특정된다. 도 6 에 있어서, 표면점 (43 ? 45) 에 대응하는 투영점을 각각 투영점 (43＇ ? 45＇) 으로 한다.

다음으로, 특징량 결정 수단 (35) 은, 각 표면점의 깊이 (뎁스) 를 산출한다 (단계 S35). 깊이는, 표면점과, 이것에 대응하는 투영점 사이의 거리로서 산출된다. 예를 들어 표면점 (43) 의 깊이는 깊이 (d) 이다.

다음으로, 특징량 결정 수단 (35) 은, 각 표면점의 깊이에 기초하여, 특징점 (41) 의 스케일을 결정한다 (단계 S36). 스케일은, 특징점 (41) 근방의 형상의 특징적인 영역의 크기를 나타내는 값이다.

이 단계 S36 에 있어서, 특징점 (41) 의 스케일은 어떠한 방법으로 결정되어도 되는데, 이하에 예를 나타낸다. 각 투영점은 접평면 (42) 상에 있어서 2 차원의 좌표에 의해 나타낼 수 있고, 또한, 각 투영점에 대응하는 표면점의 깊이는 스칼러값이다. 이 때문에, 깊이를 휘도로서 해석하면, 형식적으로는 2 차원의 휘도 화상과 동일한 구성을 갖는 데이터로 볼 수 있다. 즉, 각 투영점에 대하여 깊이를 나타내는 데이터를, 그대로 휘도 화상으로서 사용할 수 있다. 이 때문에, 특징점 (41) 의 스케일을 결정하는 방법으로서, 2 차원의 휘도 화상에 있어서의 특징점의 스케일을 결정하는 주지된 방법을 그대로 응용할 수 있다.

2 차원의 휘도 화상에 있어서의 특징점의 스케일을 결정하는 방법으로는, 예를 들어 비특허문헌 1 및 2 에 기재되는 SIFT 에 의한 방법을 사용할 수 있다. 즉, 이 경우, 특징량 결정 수단 (35) 은, SIFT 에 의한 방법을 사용하여, 각 표면점의 깊이에 기초하여, 특징점 (41) 의 스케일을 결정한다.

SIFT 에 의한 방법을 사용하면, 특징적인 영역의 크기를 스케일로서 고려할 수 있고, 본 실시형태에 관련된 방법은 사이즈 변동에 대하여 완건한 것이 된다. 즉, 물체 (40) 의 외관상의 사이즈 (즉 물체 (40) 와 거리 화상 카메라 (20) 의 거리) 가 변동된 경우에도, 이것에 따라 스케일이 변동되므로, 외관상의 사이즈를 고려하여 적확하게 형상의 일치를 판정할 수 있다.

다음으로, 특징량 결정 수단 (35) 은, 각 표면점의 깊이에 기초하여, 접평면 (42) 에 있어서의 특징점 (41) 의 방향 (또는 방향 혹은 오리엔테이션) 을 결정한다 (단계 S37). 이 방향은 접평면 (42) 의 법선의 방향과 직교하는 방향이다. 도 6 의 예에서는 방향 A 가 특징점 (41) 의 방향인 것으로 한다.

이 단계 S37 에 있어서, 특징점 (41) 의 방향은 어떠한 방법으로 결정되어도 되는데, 단계 S36 과 동일하게 하여, 비특허문헌 1 및 2 에 기재된 SIFT 에 의한 방법을 사용할 수 있다. 즉, 특징량 결정 수단 (35) 은, SIFT 에 의한 방법을 사용하여, 각 표면점의 깊이에 기초하여, 접평면 (42) 에 있어서의 특징점 (41) 의 방향을 결정한다. SIFT 에 의한 방법에서는, 각 화소의 휘도 구배 (본 실시형태에서는, 각 표면점에 있어서의 깊이 구배) 를 구하고, 이 구배와, 특징점 (41) 을 중심으로 하여 스케일에 따른 가우스 함수의 컨볼루션 연산을 실시하고, 컨볼루션의 결과를 이산화 (離散化) 한 방향마다의 히스토그램으로 나타내고, 히스토그램에 있어서 가장 구배가 큰 방향을 특징점 (41) 의 방향으로서 결정한다.

또한, 도 6 의 예에서는 특징점 (41) 의 방향은 방향 A 뿐이지만, 1 개의 특징점이 복수의 방향을 가져도 된다. SIFT 에 의하면, 깊이 구배가 소정값을 초과하는 극값을 갖는 복수의 방향이 얻어지는 경우가 있는데, 이와 같은 경우라도 이하의 처리를 동일하게 실시할 수 있다.

SIFT 에 의한 방법을 사용하면, 접평면 (42) 내에서 방향 A 를 특정하고, 이것에 좌표축을 맞추어 특징량을 기술할 수 있고, 본 실시형태에 관련된 방법은 회전에 대하여 완건한 것이 된다. 즉, 물체 (40) 가 거리 화상 카메라 (20) 의 시야 내에서 회전한 경우에도, 이것에 따라 특징점의 방향이 회전하므로, 물체의 방향에 대하여 실질적으로 불변이 되는 특징량을 얻을 수 있어, 적확하게 형상의 일치를 판정할 수 있다.

다음으로, 특징량 결정 수단 (35) 은, 단계 S2 에서 추출된 특징점 (41) 의 위치와, 단계 S36 에서 결정된 특징점 (41) 의 스케일과, 단계 S37 에서 결정된 특징점 (41) 의 방향에 기초하여, 특징점 (41) 에 관한 특징 기술 영역 (50) 을 결정한다 (단계 S38). 이 특징 기술 영역 (50) 은, 특징점 (41) 의 특징량을 결정할 때에 고려되는 표면점의 범위를 규정하는 영역이다.

이 특징 기술 영역 (50) 은, 특징점 (41) 의 위치, 특징점 (41) 의 스케일, 및 특징점 (41) 의 방향에 따라 일의적으로 정해지는 것이면 어떻게 결정되어도 된다. 일례로서 정방형의 영역을 사용하는 경우에서는, 접평면 (42) 에 있어서, 정방형의 중심을 특징점 (41) 으로 하고, 한 변의 길이를 스케일에 따른 값으로 하고, 또한 그 방향을 특징점 (41) 의 방향에 따라 결정하면 된다. 또한, 원형의 영역을 사용하는 경우에서는, 접평면 (42) 에 있어서, 원의 중심을 특징점 (41) 으로 하고, 반경을 스케일에 따른 값으로 하고, 또한 그 방향을 특징점 (41) 의 방향에 따라 결정하면 된다.

또한, 이 특징 기술 영역 (50) 은, 도 6 에 나타내는 바와 같이 접평면 (42) 에 있어서 결정해도 되고, 또는 물체 (40) 의 표면에 있어서 결정해도 된다. 어떻게 해도, 접평면 (42) 과 물체 (40) 사이에서 특징 기술 영역 (50) 을 접선 방향으로 투영함으로써, 특징 기술 영역 (50) 에 포함되는 표면점 및 투영점을 등가적으로 확정할 수 있다.

다음으로, 특징량 결정 수단 (35) 은, 특징 기술 영역 (50) 에 포함되는 각 표면점의 깊이에 기초하여, 특징점 (41) 의 특징량을 산출한다 (단계 S39). 이 단계 S39 에 있어서, 특징점 (41) 의 특징량은 어떠한 방법으로 산출되어도 되는데, 단계 S36 및 S37 과 동일하게 하여, 비특허문헌 1 및 2 에 기재된 SIFT 에 의한 방법을 사용할 수 있다. 즉, 이 경우, 특징량 결정 수단 (35) 은, SIFT 에 의한 방법을 사용하여, 각 표면점의 깊이에 기초하여, 특징점 (41) 의 특징량을 산출한다.

여기서, 특징량은 벡터의 형식에 의해 나타낼 수 있다. 예를 들어, SIFT 에 의한 방법에서는, 특징 기술 영역 (50) 을 복수의 블록으로 분할하고, 블록마다 소정수의 방향으로 이산화한 깊이 구배의 히스토그램을 특징량으로 할 수 있다. 예를 들어 4×4 (합계 16) 블록으로 분할하고, 구배를 8 방향으로 이산화하는 경우, 특징량은 4×4×8 = 128 차원의 벡터가 된다. 산출된 벡터에 대하여 정규화를 실시해도 된다. 이 정규화는, 전체 특징점의 벡터 길이의 총합이 일정한 값이 되도록 실시해도 된다.

이상과 같이 하여 단계 S3 이 실행되어, 특징량이 결정된다. 여기서, 각 표면점의 깊이는 물체 (40) 의 입체적 형상을 나타내는 것이므로, 특징량은 특징 기술 영역 (50) 에 있어서의 입체적 형상에 기초하여 산출되는 것이라고 할 수 있다.

다음으로, 판정 장치 (10) 는, 특징량을 기억 수단 (32) 에 기억한다 (도 4, 단계 S4). 이 처리는 특징량 결정 수단 (35) 에 의해 실시된다. 여기서 물체 (40) 에 대한 처리가 종료된다.

계속해서, 판정 장치 (10) 는, 제 2 형상을 갖는 제 2 물체에 대하여, 상기 단계 S1 ? S4 와 동일한 처리를 실시한다 (단계 S5 ? S8). 단계 S5 ? S8 의 처리는 각각 단계 S1 ? S4 와 동일하므로 설명을 생략한다.

다음으로, 판정 장치 (10) 는, 제 1 형상에 대하여 결정된 특징량과, 제 2 형상에 대하여 결정된 특징량에 기초하여, 제 1 형상과 제 2 형상의 일치를 판정한다 (단계 S9). 이 단계 S9 에서는, 일치 판정 수단 (36) 이 일치의 판정을 실시한다. 일치의 판정은 어떠한 방법으로 실시되어도 되는데, 일례를 하기에 나타낸다.

예로서 설명하는 판정 방법에서는, 먼저 kD 트리를 사용하여 특징점간의 대응짓기를 실시한다. 예를 들어, 전체 특징점을 n 계층 (단 n 은 정수) 의 kD 트리에 소트한다. 그리고, 이 kD 트리를 사용한 근사 최근방 탐색 (Best Bin First) 수법에 의해, 일방의 형상 (예를 들어 제 1 형상) 의 특징점의 각각에 대하여, 타방의 형상 (예를 들어 제 2 형상) 의 특징점 중 가장 잘 유사한 것을 탐색하고, 대응짓는다. 이와 같이 하여, 일방의 형상의 특징점 모두에 대하여, 타방의 형상의 특징점 중 어느 1 개가 대응지어져, 조 (組) 가 생성된다.

이 시점에서는, 조 중에는, 실제로는 대응하지 않는 특징점의 조 (즉 오대응의 조) 가 포함되어 있을 우려가 있다. 이와 같은 오대응의 조를 아우트라이어로서 제거하기 위해서, RANSAC (RANdom SAmple Consensus) 라고 불리는 수법을 사용한다. RANSAC 는, M. Fischer 및 R. Bolles 에 의한 「Random Sample Consensus : A paradigm for model fitting with applications to image analysis and automated cartography」라고 제목을 붙인 논문에 기재되어 있다 (Communications of the ACM, 제24권 제6호, p.381 ? 385, 1981년).

RANSAC 에서는, 먼저 특징점의 조 중에서 랜덤하게 소정수 N1 만큼 선택하여 그룹을 작성하고, 선택된 조의 모두에 기초하여, 일방의 형상의 각 특징점의 벡터로부터 타방의 형상의 각 특징점의 벡터로의 호모그래피 (homography) 변환을 구한다. 그리고, 그룹에 포함되는 조의 각각에 대하여, 일방의 형상의 특징점을 나타내는 벡터에 대하여 이 호모그래피 변환을 실시한 결과의 벡터와, 타방의 형상의 특징점의 벡터의 유클리드 거리를 구하고, 이 거리가 소정의 임계값 D 이하인 조는 인라이어, 즉 올바른 대응짓기인 것으로 판정하고, 소정의 임계값 D 를 초과하는 조는 아우트라이어, 즉 잘못된 대응짓기인 것으로 판정한다.

그 후, 다시 랜덤하게 소정수 N1 개의 조를 선택하여 상이한 그룹을 작성하고, 이 그룹에 대해서도 동일하게, 각 조가 인라이어인지 아우트라이어인지를 판정한다. 이와 같이 하여, 그룹의 작성 및 판정을 소정의 횟수 (X 회) 만큼 반복하고, 인라이어로 판정된 조가 가장 많아지는 그룹을 특정한다. 특정된 그룹 에 있어서의 인라이어의 수 N2 가 소정의 임계값 N3 이상이면, 2 개의 형상은 일치하는 것으로 판정하고, N2 가 N3 미만이면, 일치하지 않는 것으로 판정한다. 또는, N2 의 값에 따라, 2 개 형상의 일치 정도를 나타내는 일치도를 결정해도 된다.

또한, 상기 수법에 있어서, 각종 파라미터 즉 N1, N2, N3, D 및 X 는, 당업자라면 실험적으로 적절한 값을 결정할 수 있다.

이상과 같이, 본 발명의 실시형태 1 에 관련된 판정 장치 (10) 에 의하면, 입체적 형상 즉 표면의 기복을, 표면점의 깊이를 사용하여 나타내고, 이것에 기초하여 특징점 및 특징량을 결정한다. 그리고, 이 특징점 및 특징량에 기초하여 입체적 형상의 일치를 판정한다. 이 때문에, 판정에 있어서, 입체적 형상에 관한 정보를 유효하게 이용할 수 있다.

예를 들어, 판정 대상의 물체 표면에 특징적인 텍스처가 없으며, 또한 표면이 매끄럽게 변화되어 음영이 생기지 않는 경우라도, 표면의 변화에 따라 깊이를 산출하여, 적절히 일치를 판정할 수 있다.

또한, 촬영의 앵글이 상이한 경우에도, 적절히 일치를 판정할 수 있다. 동일한 물체이면, 촬영의 앵글이 상이해도 형상은 변화되지 않기 때문에, 동일한 특징점이면 법선 방향 및 깊이 구배는 불변이며, 특징량도 불변이 된다. 이 때문에, 각각의 거리 화상에 공통된 특징점이 포함되어 있는 한, 특징량의 일치에 의해 특징점의 대응을 적절히 검출할 수 있다.

또한, 물체에 대한 시점 변화에 대응할 수 있으므로, 물체의 자세 및 위치에 제약이 없어, 넓은 용도에 응용할 수 있다. 게다가, 1 개의 시점으로부터의 거리 화상을 기준으로 하여 판정을 실시할 수 있으므로, 미리 다수의 시점으로부터의 거리 화상을 기억해 둘 필요가 없어, 메모리 사용량을 저감시킬 수 있다.

상기 서술한 실시형태 1 에서는, 특징량의 결정에는 입체적 형상 (표면점의 깊이) 만을 사용하고 있지만, 이것에 추가하여 텍스처에 관한 정보를 사용해도 된다. 즉, 입력으로 하는 화상은, 거리를 나타내는 정보뿐만 아니라 휘도 (흑백 또는 컬러) 를 나타내는 정보를 포함하는 것이어도 된다. 이 경우, SIFT 에 의한 방법을 사용하여, 휘도에 관한 특징량을 산출할 수 있다. 실시형태 1 에 있어서 얻어지는 입체적 형상에 관한 특징량과, 이와 같은 휘도에 관한 특징량을 맞추어 일치를 판정함으로써, 판정의 정밀도를 향상시킬 수 있다.

실시형태 1 에서는, 특징점의 추출 및 특징량의 결정은 모두 거리 화상에 기초하여 실시된다. 변형예로서, 거리 화상 이외의 정보에 기초하여 이들 처리를 실시해도 된다. 예를 들어 솔리드 모델 등, 특징점의 추출 및 깊이의 산출을 실시할 수 있는 정보이면 어떠한 것이어도 되고, 실제로 물체로서 존재하지 않는 것이어도 동일한 처리를 실시할 수 있다.

실시형태 2.

상기 서술한 실시형태 1 에서는, 판정 장치는, 2 개의 형상을 각각 촬영하여 특징량을 결정한다. 실시형태 2 에서는, 제 1 형상에 대해서는 미리 특징량을 기억해 두고, 제 2 형상에 대해서만 촬영 및 특징량의 결정을 실시하는 것이다.

실시형태 2 에 있어서의 판정 장치의 동작은, 도 4 의 처리 중 단계 S1 ? S3 을 생략한 것이다. 즉, 제 1 형상에 대해서는 특징량의 결정을 실시하지 않고, 외부 (예를 들어 다른 판정 장치) 에서 결정된 특징량을 입력으로서 수취하여, 이것을 기억한다. 이것은 예를 들어 모델 데이터의 입력에 상당한다. 단계 S4 이후의 처리는 실시형태 1 과 동일하고, 제 2 형상에 대하여 촬영, 특징점의 추출, 특징량의 결정을 실시한 후, 제 1 형상과 제 2 형상의 일치를 판정한다.

실시형태 2 는, 모든 판정 장치에 공통된 모델 데이터를 준비해 두고, 이것과 일치하는 물체 (형상) 만을 선별하는 것과 같은 용도에 적절하다. 모델 데이터가 변경이 되는 경우에는, 모든 판정 장치에서 새로운 모델을 다시 촬영할 필요는 없고, 어느 판정 장치에서 모델의 특징량을 결정한 후, 그 특징량의 데이터를 다른 판정 장치에 카피하면 되므로, 작업을 효율화시킬 수 있다.

Claims

3 차원에 있어서의 형상의 일치를 판정하는 방법으로서,
적어도 1 개의 형상에 대하여, 적어도 1 개의 특징점을 추출하는 단계와,
추출된 상기 특징점에 대하여, 특징량을 결정하는 단계와,
결정된 상기 특징량과, 다른 형상에 대하여 기억된 상기 특징량에 기초하여, 상기 형상 각각의 사이의 일치를 판정하는 단계를 포함하는 방법에 있어서,
상기 특징량은 입체적 형상을 나타내는 것을 특징으로 하는 3 차원에 있어서의 형상의 일치를 판정하는 방법.
제 1 항에 있어서,
상기 특징량을 결정하는 상기 단계는, 상기 특징점의 각각에 대하여, 그 특징점을 포함하는 평면에 대한 법선의 방향을 산출하는 단계를 포함하는, 3 차원에 있어서의 형상의 일치를 판정하는 방법.
제 1 항에 있어서,
상기 다른 형상에 대하여, 적어도 1 개의 특징점을 추출하는 단계와,
상기 다른 형상의 상기 특징점에 대하여, 특징량을 결정하는 단계와,
상기 다른 형상의 특징량을 기억하는 단계를 추가로 포함하는, 3 차원에 있어서의 형상의 일치를 판정하는 방법.
제 2 항에 있어서,
상기 특징량을 결정하는 상기 단계는,
상기 형상의 표면을 구성하는 표면점을 추출하는 단계와,
상기 표면점을 상기 법선의 방향을 따라 상기 평면에 투영한 투영점을 특정하는 단계와,
상기 표면점과 상기 투영점의 거리를, 상기 표면점의 깊이로서 산출하는 단계와,
상기 표면점의 상기 깊이에 기초하여, 상기 특징량을 산출하는 단계를 포함하는, 3 차원에 있어서의 형상의 일치를 판정하는 방법.
제 4 항에 있어서,
상기 특징량을 결정하는 상기 단계는,
복수의 상기 표면점의 상기 깊이에 기초하여, 상기 특징점의 스케일을 결정하는 단계와,
복수의 상기 표면점의 상기 깊이에 기초하여, 상기 평면에 있어서의 상기 특징점의 방향을 결정하는 단계와,
상기 특징점의 위치와, 상기 특징점의 스케일과, 상기 특징점의 방향에 기초하여, 특징 기술 영역을 결정하는 단계를 포함하고,
상기 표면점의 상기 깊이에 기초하여 상기 특징량을 산출하는 상기 단계에서는, 상기 특징 기술 영역 내의 상기 표면점의 상기 깊이에 기초하여 상기 특징량을 산출하는, 3 차원에 있어서의 형상의 일치를 판정하는 방법.
제 1 항에 있어서,
상기 특징량은 벡터의 형식에 의해 나타내어지는, 3 차원에 있어서의 형상의 일치를 판정하는 방법.
제 6 항에 있어서,
상기 형상 각각의 사이의 일치를 판정하는 상기 단계는, 상기 형상 각각의 상기 특징량을 나타내는 상기 벡터 사이의 유클리드 거리를 산출하는 단계를 포함하는, 3 차원에 있어서의 형상의 일치를 판정하는 방법.
제 1 항에 있어서,
상기 형상의 적어도 1 개는 거리 화상에 의해 나타내어지는, 3 차원에 있어서의 형상의 일치를 판정하는 방법.
3 차원에 있어서의 형상의 일치를 판정하는 장치로서,
상기 형상의 거리 화상을 작성하는 거리 화상 작성 수단과,
상기 거리 화상 및 상기 특징량을 기억하는 기억 수단과,
상기 거리 화상에 의해 나타내어지는 상기 형상에 대하여, 제 1 항에 기재된 방법을 사용하여 일치를 판정하는 연산 수단을 구비하는, 3 차원에 있어서의 형상의 일치를 판정하는 장치.