KR100886439B1

KR100886439B1 - 물체 상태를 추정하는 추정 시스템, 추정 방법, 및 추정프로그램

Info

Publication number: KR100886439B1
Application number: KR1020067006121A
Authority: KR
Inventors: 루이 이시야마
Original assignee: 닛본 덴끼 가부시끼가이샤
Priority date: 2003-10-30
Filing date: 2004-10-28
Publication date: 2009-03-04
Also published as: CN102298778A; JP4349367B2; CN1864176A; EP1679657B1; WO2005043466A1; KR20060054475A; CA2540084A1; US20070009135A1; EP1679657A4; CN102298778B; US7809159B2; AU2004285183A1; JPWO2005043466A1; EP1679657A1

Abstract

3차원 모델 기억 수단(170)은 대상 물체의 3차원 형상 데이터와 조명 기저 데이터를 미리 기억한다. 비교 화상 생성 수단(110)은 3차원 형상 데이터와 조명 기저 데이터에 의거하여 입력 화상과 동일한 조명 조건 하에서 현재 추정값의 위치/자세로 배열되는 대상 물체를 갖는 재현 화상을 비교 화상으로서 생성한다. 화상 변위 분포 검출 수단(120)은 비교 화상을 부분 화상(소영역)으로 분할하고 각각의 소영역에 대한 비교 화상과 입력 화상 사이의 화상 변위 분포를 검출한다. 자세 차분 계산 수단(130)은 화상 변위 분포와 3차원 형상 데이터에 의거하여 위치/자세 차분값을 산출한다. 종료 판정 수단(140)은 위치/자세 차분값이 소정의 임계값보다 작다고 판정하는 경우, 현재의 위치/자세 추정값을 최적 위치/자세 추정값(13)으로서 출력한다. 그러므로, 화상에 포함된 물체의 위치 또는 자세는 고속으로 추정될 수 있다.

입력 화상 데이터, 위치/자세 초기값, 최적 위치/자세 추정값, 비교 화상 생성 수단, 화상 변위 분포 검출 수단

Description

물체 상태를 추정하는 추정 시스템, 추정 방법, 및 추정 프로그램{ESTIMATION SYSTEM, ESTIMATION METHOD, AND ESTIMATION PROGRAM FOR ESTIMATING OBJECT STATE}

본 발명은 물체의 위치나 자세를 추정하는 추정 시스템, 추정 방법 및 추정 프로그램에 관한 것이고, 보다 구체적으로는, 카메라에 의해 촬영되거나 기억 매체로부터 판독된 화상에 포함된 물체의 위치나 자세 또는 그 모두를 조명 조건이 변동하여도 빠르고 정확하게 추정할 수 있는 물체 상태를 추정하는 추정 시스템, 추정 방법 및 추정 프로그램에 관한 것이다.

물체의 위치나 자세를 추정할 수 있는 장치의 일례로서, 물체의 위치나 자세를 인식하는 위치/자세 인식 장치가 있다. 도 14는 종래의 위치/자세 인식 장치의 구성을 나타내는 블록도이다. 이 위치/자세 인식 장치는 자세 후보군(候補群) 결정 수단(910)과, 비교 화상 생성 수단(920)과, 자세 선택 수단(930)과, 종료 판정 수단(940)을 포함한다.

도 14에 나타낸 위치/자세 인식 장치의 동작을 설명한다. 위치/자세의 추정 대상이 되는 물체 (이하, 대상 물체라고 함)의 화상을 포함하는 입력 화상 데이터(91)가 위치/자세 인식 장치에 입력된다. 기지의 오차를 포함한 대략의 물체의 위 치/자세의 파라미터가 위치/자세 초기값(92)으로서 위치/자세 인식 장치에 입력된다. 자세 후보군 결정 수단(910)은 위치/자세 초기값(92)에 포함된 6개의 위치/자세의 파라미터(X, Y, Z축 방향에서의 3차원 파라미터, 및 X, Y, Z축 주위의 각도 파라미터)를 소정의 변화량에 의해 변화시킴으로 복수의 위치/자세 추정값 군을 결정한다.

미리 위치/자세 인식 장치의 기억부(도시 생략)에 기억되어 있는 대상 물체의 3차원 형상 모델 데이터와 조명 변동 공간을 생성하는 기저 질감(texture) 군에 의거하여, 비교 화상 생성 수단(920)은 대상 물체가 각각의 위치/자세 추정치 군에 대응하는 위치/자세를 가질 때의 조명 조건의 변화에 의해 야기된 화상의 변동을 나타내는 조명 변동 공간 데이터를 생성한다. 비교 화상 생성 수단(920)은 조명 변동 공간 데이터에 의거하여 입력 화상 데이터(91)와 같은 조명 조건 하에서 비교 화상군을 생성한다.

자세 선택 수단(930)은 비교 화상군과 입력 화상 데이터(91)를 비교하고, 가장 높은 유사도를 갖는 비교 화상에 대응하는 위치/자세 추정값을 최적 위치/자세 추정값(93)으로서 출력한다. 비교 화상의 유사도에 개선의 여지가 더 있을 경우에는, 종료 판정 수단(940)은 최적 위치/자세 추정값(93)을 위치/자세 초기값(92)(또는, 현재의 위치/자세 추정값)으로 대신하고 자세 후보군 결정 수단(910)에 그 값을 출력한다. 위치/자세 인식 장치는 비교 화상의 유사도가 더 이상 개선될 수 없게 될 때까지, 상술한 처리를 반복하여 실행함으로써, 최종적으로 대상 물체의 최적의 위치/자세를 얻는다(예를 들어, 일본국 공개특허 제2003-58896호 공보(문헌 1)).

(발명이 해결하려는 과제)

종래의 위치/자세 인식 장치를 이용하면, 최종적으로 대상 물체의 최적의 위치나 자세를 얻을 수 있다. 그러나, 각 처리 시점에서의 최적 위치/자세 추정값(93)에 의거하여 새로운 위치/자세 추정값 군을 생성할 때에, 자세 후보군 결정 수단(910)은 거의 정확한 위치/자세를 얻기 위한 위치/자세의 각 파라미터 변화량을 알지 못한다. 그 대신에, 자세 후보군 결정 수단(910)은 간단히 소정의 변화량에 의해 파라미터를 증감하여 다수 위치/자세 추정값을 생성한다. 위치/자세 인식 장치는 모든 위치/자세 추정값에 대하여 상당히 복잡한 비교 화상의 생성 처리를 행해야만 한다. 따라서, 최종적인 최적 위치/자세 추정값을 얻어질 때까지의 처리 시간이 길어진다.

본 발명은 이러한 과제를 해결하기 위해 이루어진 것으로, 그 목적은 화상에 포함된 물체의 위치나 자세를 종래보다 단시간에서 추정할 수 있게 하는 것이다.

(과제를 해결하기 위한 수단)

본 발명에 따르면, 물체 상태를 추정하는 추정 시스템은 위치 및 자세 중 적어도 하나의 상태가 추정되는 물체를 포함하는 입력 화상을 입력하는 화상 입력 수단과, 물체의 3차원 형상 데이터를 기억하는 3차원 형상 데이터 기억 수단과, 3차원 형상 데이터 기억 수단에 기억되어 있는 3차원 형상 데이터를 이용하여, 소정의 상태에 있는 물체를 포함하는 화상을 비교 화상으로서 생성하는 비교 화상 생성 수단과, 비교 화상 생성 수단에 의해 생성된 입력 화상과 비교 화상 사이의 위치 관계를 화상에서의 소정의 크기를 갖는 소영역마다 검출하는 화상 위치 관계 검출수단과, 화상 위치 관계 검출 수단에 의해 검출된 위치 관계를 이용하여, 비교 화상 에서의 물체 상태의 수정량을 계산하는 수정량 계산 수단과, 수정량 계산 수단에 의해 얻어진 수정량을 이용하여, 비교 화상 생성 수단에 의해 비교 화상 생성시에 설정된 물체 상태를 수정하여 새로운 물체 상태를 산출하는 상태 수정 수단을 구비하는 것을 특징으로 한다.

본 발명에 따르면, 물체 상태를 추정하는 추정 방법은 위치 및 자세 중 적어도 하나의 상태가 추정되는 물체를 포함하는 입력 화상을 입력하는 단계와, 물체의 3차원 형상 데이터를 이용하여, 소정의 상태에 있는 물체를 포함하는 화상을 비교 화상으로서 생성하는 단계와, 비교 화상과 입력 화상 사이의 위치 관계를 화상에서의 소정 크기를 갖는 소영역마다 검출하는 단계와, 검출된 위치 관계를 이용하여, 비교 화상에서의 물체 상태의 수정량을 계산하는 단계와, 계산된 수정량을 이용하여, 비교 화상 생성시에 설정된 물체 상태를 수정하여 새로운 물체 상태를 산출하는 단계를 갖는 것을 특징으로 한다.

본 발명에 따르면, 물체의 위치를 추정하는 추정 프로그램은 위치 및 자세 중 적어도 하나의 상태가 추정되는 물체를 포함하는 입력 화상을 입력하는 단계와, 물체의 3차원 형상 데이터를 이용하여, 소정의 상태에 있는 물체를 포함하는 화상을 비교 화상으로서 생성하는 단계와, 비교 화상과 입력 화상 사이의 위치 관계를 화상에서의 소정 크기를 갖는 소영역마다 검출하는 단계와, 검출된 위치 관계를 이용하여, 비교 화상에서의 물체 상태의 수정량을 계산하는 단계와, 계산된 수정량을 이용하여, 비교 화상 생성시에 설정된 물체 상태를 수정하여 새로운 물체 상태를 산출하는 단계를 컴퓨터에 실행시키는 것을 특징으로 한다.

본 발명에 따르면, 화상 변위 분포와 3차원 형상 데이터에 의거하여 위치나 자세의 차분값을 산출한다. 오차를 포함하는 초기 예상값이 실제의 위치/자세를 최단 거리 내로 수렴하도록 위치/자세의 추정값을 산출한다. 그 때문에, 비교 화상의 생성 횟수를 삭감할 수 있고, 대상 물체의 위치/자세의 추정값 산출 시의 복잡함을 삭감할 수 있다. 따라서, 화상에 포함된 물체의 위치나 자세를 종래보다 단시간에서 추정할 수 있다.

도 1은 본 발명에 따른 물체 상태를 추정하는 추정 시스템을 물체 위치/자세 추정 시스템으로서 적용한 환경의 일례를 나타내는 설명도.

도 2는 물체 위치/자세 추정 시스템 구성의 일례를 나타내는 블록도.

도 3은 3차원 모델 기억 수단의 구성의 일례를 나타내는 블록도.

도 4는 종료 판정 수단의 구성의 일례를 나타내는 블록도.

도 5는 물체 위치/자세 추정 시스템에 의해 실행된 대상 물체의 위치/자세 추정 처리의 일례를 나타내는 플로차트.

도 6은 물체 위치/자세 추정 시스템 구성의 다른 예를 나타내는 블록도.

도 7은 종료 판정 수단의 구성의 일례를 나타내는 블록도.

도 8은 물체 위치/자세 추정 시스템에 의해 실행된 대상 물체의 위치/자세 추정 처리의 다른 예를 나타내는 플로차트.

도 9는 물체 위치/자세 추정 시스템 구성의 또 다른 예를 나타내는 블록도.

도 10은 물체 위치/자세 추정 시스템에 의해 실행된 대상 물체의 위치/자세 추정 처리의 또 다른 예를 나타내는 플로차트.

도 11은 물체 위치/자세 추정 시스템 구성의 또 다른 예를 나타내는 블록도.

도 12는 물체 위치/자세 추정 시스템에 의해 실행된 대상 물체의 위치/자세 추정 처리의 또 다른 예를 나타내는 플로차트.

도 13은 비교 화상과 입력 화상 사이의 화상 변위 분포를 검출하는 처리의 일례를 나타내는 설명도.

도 14는 종래의 위치/자세 인식 장치의 구성을 나타내는 블록도.

(제 1 실시예)

이하, 본 발명의 제 1 실시예를 첨부한 도면을 참조하여 설명한다. 도 1은 본 발명에 따른 물체 상태를 추정하는 추정 시스템이 물체 위치/자세 추정 시스템으로서 적용된 환경의 일례를 나타내는 설명도이다. 도 1에 나타낸 바와 같이, 물체 위치/자세 추정 시스템은 프로그램에 따라서 각각의 처리를 실행하는 컴퓨터(100)(중앙 처리 장치, 프로세서, 또는 데이터 처리 장치)와, 대상 물체의 3차원 형상 및 표면 반사율을 계측하는 3차원 형상 계측 장치(200)와, 대상 물체를 포함하는 피사체를 촬영하는 카메라(300)를 포함한다.

도 2는 물체 위치/자세 추정 시스템 구성의 일례를 나타내는 블록도이다. 도 2에 나타낸 바와 같이, 물체 위치/자세 추정 시스템은 비교 화상 생성 수단(110)과, 화상 변위 분포 검출 수단(120)과, 자세 차분 계산 수단(130)과, 종료 판정 수단(140)과, 3차원 형상 계측 수단(150)과, 조명 기저 계산 수단(160)과, 3차원 모델 기억 수단(170)과, 화상 입력 수단(180)을 포함한다. 도 1에 나타내는 컴퓨터(100)는 도 2에 나타내는 구성 요소 중에서, 비교 화상 생성 수단(110)과, 화상 변위 분포 검출 수단(120)과, 자세 차분 계산 수단(130)과, 종료 판정 수단(140)과, 조명 기저 계산 수단(160)과, 3차원 모델 기억 수단(170)을 포함한다.

3차원 형상 계측 수단(150)은 3차원 형상 계측 장치(200)에 의해 실시된다. 3차원 형상 계측 수단(150)은 위치/자세(위치 및 자세 중 적어도 하나의 상태)를 추정하는 대상 물체의 3차원 형상과 표면 반사율을 계측하고, 대상 물체의 3차원 형상 데이터 및 표면 반사율 데이터를 생성한다. 조명 기저 계산 수단(160)은 예를 들어, 컴퓨터(100)의 제어부(도시 생략)에 의해 실시된다. 대상 물체의 3차원 형상 데이터 및 표면 반사율 데이터에 의거하여서, 조명 기저 계산 수단(160)은 대상 물체의 각 부위의 조명 조건에 따른 휘도의 변화를 나타내는 조명 기저 데이터를 산출한다.

3차원 모델 기억 수단(170)은 컴퓨터(100)에 구비된 기억장치(도시 생략) 에 의하여 실시된다. 3차원 모델 기억 수단(170)은 3차원 형상 계측 수단(150)에 의해 생성된 대상 물체의 3차원 형상 데이터와, 조명 기저 계산 수단(160)에 의해 산출된 조명 기저 데이터를 기억한다. 따라서, 3차원 모델 기억 수단(170)은 도 3에 나타낸 바와 같이, 3차원 형상 데이터 기억부(170a)와 조명 기저 데이터 기억부(조 명 기저 화상군 기억부)(170b)를 포함한다.

화상 입력 수단(180)은 카메라(300)에 의해 실시된다. 화상 입력 수단(180)은 위치/자세가 추정되는 대상 물체를 포함하는 피사체를 촬영하고 입력 화상 데이터(11)를 생성한다. 화상 입력 수단(180)은 생성된 입력 화상 데이터(11)를 컴퓨터(100)에 입력한다. 화상 입력 수단(180)은 입력 화상 중의 대상 물체의 위치/자세의 예상값, 즉 위치/자세 초기값(12)의 입력을 받아들인다. 예를 들어, 화상 입력 수단(180)은 입력 화상을 관찰하면서 입력되는 대상 물체의 대략의 위치/자세 값을, 위치/자세 초기값(12)으로서 입력을 받아들인다. 화상 입력 수단(180)은 입력된 위치/자세 초기값(12)을 컴퓨터(100)에 출력한다.

본 실시예에 있어서, 물체 위치/자세 추정 시스템은 위치/자세 초기값(12)의 오차를 수정함으로써, 대상 물체의 정확한 위치/자세를 추정한다. 즉, 위치/자세 초기값(12)은 대상 물체의 위치/자세 추정값의 초기값으로서 이용될 수 있다. 물체의 위치/자세 추정 시스템은 추정 처리의 각 단계에서 현재의 위치/자세 추정값(처리 개시에서의 위치/자세 초기값(12))과 실제의 대상 물체의 위치/자세 사이의 차분(오차)을 얻고, 위치/자세 추정값의 수정을 순차적으로 반복함으로써, 최종적으로 최적의 위치/자세 추정값을 얻는다.

비교 화상 생성 수단(110)은 예를 들어, 컴퓨터(100)의 제어부에 의해 실시된다. 비교 화상 생성 수단(110)은 3차원 모델 기억 수단(170)에 기억된 대상 물체의 3차원 형상 데이터와 조명 기저 데이터에 의거하여, 입력 화상과 동일 또는 근사의 조명 조건 하에서 대상 물체의 화상을 비교 화상으로서 생성한다. 이 경우 에, 비교 화상 생성 수단(110)은 위치/자세 추정값으로서 주어진 위치/자세에 대상 물체가 있다고 가정하여 얻어진 화상을 비교 화상으로서 생성한다. 위치/자세 추정값로서는 위치/자세 초기값(12) 또는 종료 판정 수단(140)(후술함)이 산출된 위치/자세 추정값을 이용된다.

입력 화상과 동일 또는 근사의 조명 조건 하에서 비교 화상의 생성 처리는 예를 들어, 이하의 공지의 방법에 의해 실행된다. 예를 들어, 대상 물체의 표면의 각 위치에서의 휘도를 나타내는 질감은 조명 조건에 따라 변한다. 조명 변동에 의해 생성된 다양한 질감 공간과 대상 물체의 3차원 형상 데이터를 미리 등록해 둔다. 등록된 질감 공간과 3차원 형상 데이터에 의거하여, 각각의 질감 공간은 필요한 위치/자세에 대상 물체가 있을 때에 조명 조건의 변동에 의해 생성된 조명 변동 공간으로 변환될 수 있다. 비교 화상 생성 수단(110)은 이 변환 방법을 사용하여, 입력 화상과 동일 또는 근사의 조명 조건 하에서의 비교 화상을 생성할 수 있다.

상기의 동일 또는 근사의 조명 조건 하에서 비교 화상의 생성 방법(동일 또는 근사의 조명 조건을 재현하는 화상의 생성 방법)은 예를 들어, 일본국 공개특허 제2002-157595호 공보(이하, 문헌 2로 언급)에 기재되어 있다.

화상 변위 분포 검출 수단(120)은 예를 들어, 컴퓨터(100)의 제어부에 의해 실시된다. 화상 변위 분포 검출 수단(120)은 비교 화상 생성 수단(110)에 의해 생성된 비교 화상을 소정 크기를 갖는 부분(소영역)에 각각 대응하는 부분 화상으로 분할한다. 화상 변위 분포 검출 수단(120)은 각 부분 화상의 휘도값을 입력 화상의 휘도값과 비교하고, 중첩된 화상 사이의 유사도를 최대로 하는 화상 이동 방향 을 검출한다. 즉, 화상 변위 분포 검출 수단(120)은 입력 화상에 대한 비교 화상의 각 소영역의 화상 변위 분포(비교 화상과 입력 화상 사이의 소영역마다의 위치 관계)를 검출한다.

화상 변위 분포 검출 수단(120)은 예를 들어, 일반적으로 옵티컬 플로우(Optical Flow)로 불리는 화상 변위 검출 기술을 이용하여 화상 변위 분포를 검출한다. 보다 구체적으로는, 화상 변위 분포 검출 수단(120)은 화상 내의 물체의 부분들의 이동을 나타내는 이동 벡터의 분포를 검출함으로써, 비교 화상과 입력 화상 사이의 화상 변위 분포를 검출한다. 옵티컬 플로우에 의한 화상 변위 검출 기술이, 예를 들어, 「J.L. Barron, D.J. Fleet, & S.S. Beauchemin, Performance of Optical Flow Techniques", International Journal of Computer Vision, Netherlands, K1uwer Academic Publishers, 1994, 12:1, pp. 43-77」에 기재되어 있다.

자세 차분 계산 수단(130)은 예를 들어, 컴퓨터(100)의 제어부에 의해 실시된다. 화상 변위 분포 검출 수단(120)에 의해 산출한 각 소영역마다의 화상 변위 분포와 대상 물체의 3차원 형상 데이터의 각 부분의 3차원 좌표 데이터(각 소영역에 대응하는 3차원 좌표 데이터)에 의거하여, 대상 물체가 가상적으로 움직였을 때에, 자세 차분 계산 수단(130)은 각 부분이 변위 분포에 가장 가깝게 되는 3차원 운동(이동량 또는 회전량)을 계산한다. 자세 차분 계산 수단(130)은 3차원 운동의 계산 결과를 위치/자세 차분값(수정량)으로서 산출한다.

종료 판정 수단(140)은 도 4에 나타낸 바와 같이, 위치/자세 판정부(141)와, 추정값 기억부(142)와, 추정값 관리부(143)를 포함한다. 종료 판정 수단(140)은 예를 들어, 컴퓨터(100)의 제어부 및 기억부 등에 의해 실시된다.

위치/자세 판정부(141)는 비교 화상 생성 수단(110)이 비교 화상을 생성할 때에 가정한 대상 물체의 위치/자세가 적합한지의 여부를 판정한다. 위치/자세가 적합한지의 여부는 자세 차분 계산 수단(130)에 의해 산출된 위치/자세 차분값과, 소정의 임계값 사이의 대소에 의거하여 판정한다. 즉, 위치/자세 차분값이 임계값보다 작을 경우에는, 현재의 위치/자세가 적합한 것으로 판정된다. 위치/자세 차분값이 임계값보다 작지 않은(같거나 큰) 경우에는, 현재의 위치/자세가 적합하지 않은 것으로 판정한다. 위치/자세 판정부(141)는 판정 결과를 추정값 관리부(143)에 출력한다.

추정값 기억부(142)는 현재의 위치/자세 추정값을 기억한다. 보다 구체적으로는, 추정값 기억부(142)는 위치/자세 추정값의 초기값으로서 위치/자세 초기값(12)과, 또는 후술하는 바와 같이, 추정값 관리부(143)에 의해 산출된 새로운 위치/자세 추정값을 기억한다.

추정값 관리부(143)은 위치/자세 판정부(141)로부터 입력된 판정 결과에 따라서 다음과 같은 처리를 실행한다. 위치/자세 판정부(141)가 현재의 위치/자세가 적합한 것으로 판정한 경우에는, 현재의 위치/자세 추정값이 가장 정확한 추정값(대상 물체의 실제 위치/자세에 가장 가까운 값)이다. 추정값 관리부(143)는 추정값 기억부(142)로부터 현재의 위치/자세 추정값을 판독하고, 이 추정값을 최적 위치/자세 추정값(13)으로서 출력하고, 처리를 종료한다. 위치/자세 판정부(141)가 현재의 위치/자세가 적합하지 않은 것으로 판정할 경우에는, 추정값 관리부(143)는 추정값 기억부(142)로부터 현재의 위치/자세 추정값을 판독하고, 이 추정값의 각 파라미터에 위치/자세 차분값을 가산함으로써, 현재의 위치/자세 추정값으로부터 수정된 새로운 위치/자세 추정값을 산출한다. 이 처리는 비교 화상을 생성할 때에 가정한 대상 물체의 위치/자세의 수정에 상당한다. 추정값 관리부(143)는 추정값 기억부(142)에 기억된 내용을 새로운 위치/자세 추정값으로 갱신하는 동시에, 이 추정값을 비교 화상 생성 수단(110)에 출력한다. 비교 화상 생성 수단(110)에 새로운 위치/자세 추정값이 입력되면, 물체 위치/자세 추정 시스템은 비교 화상 생성 수단(110)에 의해 비교 화상 생성 처리로부터의 일련의 처리 동작을 반복한다.

화상 위치 관계 검출 수단은 화상 변위 분포 검출 수단(120)에 의해 실시된다. 수정량 계산 수단은 자세 차분 계산 수단(130)에 의해 실시된다. 상태수정 수단은 추정값 관리부(143)에 의해 실시된다. 상태 판정 수단은 위치/자세 판정부(141)에 의해 실시된다.

본 실시예에 있어서, 컴퓨터(100)에 구비된 기억장치는 대상 물체의 위치/자세 추정 처리를 실행하기 위한 프로그램들을 기억하고 있다. 예를 들어, 컴퓨터(100)에 구비된 기억장치는 컴퓨터에, 데이터 베이스에 기억된 물체의 3차원 형상 데이터를 이용하여 물체가 소정의 상태(위치 및 자세 중 적어도 하나)에 있는 화상을 비교 화상으로서 생성하는 처리와, 입력 화상과 생성한 비교 화상 사이의 위치 관계를 각 소영역마다 검출하는 처리와, 각 소영역마다의 검출한 위치 관계를 이용하여 비교 화상에서의 물체 상태의 수정량을 계산하는 처리와, 계산한 수정량을 이 용하여 비교 화상 생성시에 설정된 물체 상태를 수정하여 새로운 물체 상태를 산출하는 처리를 실행시키기 위한 물체 상태 추정 프로그램을 기억하고 있다. 이 추정 프로그램은 광디스크나 자기 디스크, 그 밖의 기록 매체에 기록된 상태로 제공되는 것이라도 된다.

다음으로, 동작에 대하여 설명한다. 도 5는 물체 위치/자세 추정 시스템에 의해 실행된 대상 물체의 위치/자세 추정 처리의 일례를 나타내는 플로차트이다. 물체 위치/자세 추정 시스템의 유저(이하, 간단히 유저라고 한다)는 3차원 형상 계측 장치(200)(3차원 형상 계측 수단(150))을 조작하여, 위치/자세가 추정되는 대상 물체의 3차원 형상 및 표면 반사율의 계측 지시를 미리 입력한다. 3차원 형상 계측 수단(150)은 유저의 조작에 따라서, 대상 물체의 3차원 형상 및 표면 반사율을 계측하고 3차원 형상 데이터 및 표면 반사율 데이터를 생성한다.

대상 물체를 한 방향에서만 계측하여 3차원 형상 및 표면 반사율을 계측할 경우에, 보이지 않는 영역이 발생한다. 그러므로, 물체 전체의 형상 및 표면 반사율을 계측할 수 없는 경우가 있다. 이 경우에는, 대상 물체를 그 밖의 다른 방향에서도 계측하여 계측값을 통합함으로써, 물체 전체의 3차원 형상 데이터 및 표면 반사율 데이터가 생성된다.

조명 기저 계산 수단(160)은 3차원 형상 계측 수단(150)에 의해 생성된 3차원 형상 데이터 및 표면 반사율 데이터에 의거하여, 다양한 조명 조건 하에서 대상 물체 화상의 휘도값의 변동을 나타내는 조명 기저 화상군을 산출한다. 조명 기저 계산 수단(160)은 산출된 조명 기저 화상군을 조명 기저 데이터로서 3차원 모델 기 억 수단(170)에 기억시킨다. 조명 기저 계산 수단(160)은 조명 기저 데이터와 함께 3차원 형상 계측 수단(150)로부터의 3차원 형상 데이터를 3차원 모델 기억 수단(170)에 기억시킨다(단계 S10).

유저는 카메라(300)(화상 입력 수단(180))을 조작하여, 대상 물체를 촬영한다. 화상 입력 수단(180)은 유저의 조작에 따라서, 위치/자세가 추정되는 대상 물체를 포함하는 피사체를 촬영하고, 입력 화상 데이터(11)를 생성한다(단계 S11). 화상 입력 수단(180)은 생성된 입력 화상 데이터(11)를 컴퓨터(100)에 출력한다.

유저는 입력 화상을 관찰하면서 입력 화상 중의 대상 물체의 대략의 위치/자세를 나타내는 값을 입력지시한다. 화상 입력 수단(180)은 유저에 의해 입력지시된 대략의 위치/자세의 값을 위치/자세 초기값(12)으로서 컴퓨터(100)에 출력한다(단계 S12). 위치/자세 초기값(12)은 비교 화상 생성 수단(110)에 입력되고, 종료 판정 수단(140)의 추정값 기억부(142)에 기억된다.

유저가 입력 화상을 관찰하면서 수동으로 위치/자세 초기값(12)을 입력지시하는 대신에, 다른 추정 장치/시스템에서 출력된 추정값을 물체 위치/자세 추정 시스템에 입력하여도 좋다. 예를 들어, 물체 위치/자세 추정 시스템보다 정밀도가 떨어지지만 초기값을 입력하지 않아도 대상 물체의 위치/자세를 추정할 수 있는 추정 장치/시스템(예를 들어, 물체의 대략의 회전 각도를 검출하기 위해 센서를 이용하는 장치)이 있을 경우에, 추정 장치/시스템에서 출력된 추정값을 물체 위치/자세 추정 시스템에 입력하여도 좋다. 이 경우에, 수동으로 초기값을 입력하지 않아도, 대상 물체의 정확한 위치/자세를 추정할 수 있다.

비교 화상 생성 수단(110)은 3차원 모델 기억 수단(170)에 미리 기억된 대상 물체의 3차원 형상 데이터 및 조명 기저 데이터를 추출한다. 비교 화상 생성 수단(110)은 화상 입력 수단(180)으로부터 입력 화상 데이터(11)를 또한 기입한다. 비교 화상 생성 수단(110)은 3차원 형상 데이터, 조명 기저 데이터 및 입력 화상 데이터(11)에 의거하여, 위치/자세 초기값(12)으로서 주어진 위치/자세에 대상 물체가 있다고 가정할 경우의 입력 화상과 동일 또는 근사의 조명 조건 하에서 대상 물체의 화상을 비교 화상으로서 생성한다(단계 S13).

화상 변위 분포 검출 수단(120)은 비교 화상 생성 수단(110)에 의해 생성된 비교 화상을 소정의 크기를 갖는 부분에 대응하는 각각의 부분 화상으로 분할한다. 화상 변위 분포 검출 수단(120)은 각 부분 화상을 입력 화상에 중첩시켜 휘도값을 비교하고, 화면상의 화상 사이에 유사도가 최대로 되는 화상 이동 방향을, 화상 변위 분포로서 검출한다(단계 S14). 화상 변위 분포 검출 수단(120)은 입력 화상을 부분 화상으로 분할하고, 각 부분 화상을 비교 화상에 중첩시켜서 휘도값을 비교함으로써, 화상 변위 분포를 검출하여도 좋다.

화상 변위 분포 검출 수단(120)에 의해 검출된 화상 변위 분포와, 대상 물체의 3차원 형상 데이터에 포함되는 각 부분의 3차원 좌표 데이터(각 소영역에 대응하는 데이터)에 의거하여, 자세 차분 계산 수단(130)은 대상 물체가 가상적으로 움직였을 때에, 각 부분이 변위 분포에 가장 가깝게 되도록 대상 물체의 3차원 운동을 계산한다. 자세 차분 계산 수단(130)은 3차원 운동의 계산 결과를 위치/자세 차분값으로서 산출한다(단계 S15).

종료 판정 수단(140)에 있어서, 위치/자세 판정부(141)은 비교 화상 생성 수단(110)이 비교 화상을 생성할 때에 설정되는 대상 물체의 위치/자세가 적합한지의 여부를 판정한다(단계 S16). 보다 구체적으로는, 자세 차분 계산 수단(130)에 의해 산출된 위치/자세 차분값이 소정의 임계값보다 작을 경우에, 현재의 위치/자세가 적합한 것으로 판정한다(단계 S16에서 YES). 이 경우에는, 추정값 관리부(143)가 추정값 기억부(142)로부터 현재의 위치/자세 추정값을 판독하고, 이 추정값을 최적 위치/자세 추정값(13)으로서 출력한다(단계 S17). 처리는 종료된다.

위치/자세 차분값이 소정의 임계값보다 작지 않을 경우에는, 위치/자세 판정부(141)는 현재의 위치/자세가 적합하지 않은 것으로 판정한다(단계 S16). 이 경우에는, 추정값 관리부(143)가 추정값 기억부(142)로부터 현재의 위치/자세 추정값을 판독하고, 이 추정값의 각 파라미터에 위치/자세 차분값을 가산함으로써, 새로운 위치/자세 추정값을 산출한다. 추정값 관리부(143)는 추정값 기억부(142)에 기억된 내용을 새로운 위치/자세 추정값으로 또한 갱신하고, 이 추정값을 비교 화상 생성 수단(110)에 출력한다(단계 S18).

컴퓨터(100)는 단계 S16에서 위치/자세 차분값이 소정의 임계값보다 작다고 판정될 때까지, 단계 S13, S14, S15, S16, 및 S18의 처리를 반복하여 실행한다.

상술한 바와 같이, 본 실시예에 따르면, 물체 위치/자세 추정 시스템은 화상 변위 분포 검출 수단(120)과 자세 차분 계산 수단(130)을 구비한다. 비교 화상과 입력 화상이 소정 크기를 각각 갖는 소영역인 부분 화상으로 분할된다. 2차원 위치 편위를 검출하기 위하여, 비교 화상의 휘도값과 입력 화상의 휘도값을 비교한 다. 물체 위치/자세 추정 시스템은 위치 편위의 분포와 미리 등록된 대상 물체의 3차원 형상 모델에 의거하여, 대상 물체의 위치/자세의 3차원 위치/자세 차분값을 산출하고, 위치/자세 차분값을 현재의 위치/자세 추정값에 가산함으로써 위치/자세 추정값이 갱신되도록 동작한다.

상술한 구성에 의해, 물체 위치/자세 추정 시스템은 오차를 포함하는 초기값으로부터 실제의 위치/자세에 최단 거리 내로 수렴하도록 위치/자세 추정값을 갱신한다. 본 실시예에서는, 많은 위치/자세 추정값을 생성하고, 모든 추정값에 의거한 비교 화상을 생성하여, 이들을 입력 화상과 비교할 필요가 없다. 종래의 위치/자세 인식 장치와 비교하여, 비교 화상의 생성 회수와 대상 물체의 위치/자세의 추정값 산출 시의 복잡함을 삭감할 수 있다. 따라서, 화상에 포함된 물체의 위치나 자세를 고속으로 추정할 수 있다.

미리 입력된 위치/자세의 초기 추정값이 대상 물체의 실제의 위치/자세로부터 X-축, Y-축, Z-축 방향의 평행 이동에서 1mm, 2mm, 3mm, X-축, Y-축, Z-축 주위의 회전 이동에서 각각 6°, 4°, 2°벗어나고 있는 일례를 설명한다. 종래의 위치/자세 인식 장치에서는, 초기값으로부터 최적 방향과 파라미터 양을 변경한다. 예를 들어, 종래의 위치/자세 인식 장치는 파라미터를 평행 방향으로 1mm 정도 변화시키고, 회전 방향으로 2°정도 변화시키면서, 추정값을 탐색한다.

이 경우에, 위치/자세 인식 장치는 합계로 최소 12회의 탐색 처리를 실행할 필요가 있다(평행 방향으로 1+2+3=6회, 및 회전 방향으로 3+2+1=6회). 보다 구체적으로는, 위치/자세 인식 장치는 재현 화상(비교 화상)의 생성 처리 및 입력 화상 과 재현 화상 사이의 유사도의 산출 처리를 각각 최소 12회 실시할 필요가 있다. 실제의 처리에서는, 그 위치에서의 추정값과 실제의 위치/자세 사이의 오차가 최소 인지의 여부를 판단하기 위하여는, 화상 재현 오차의 최소점으로부터 1 단계 더 이상의 위치/자세까지 검색을 계속해야 한다. 그러므로, 위치/자세 인식 장치는 12+6=18회의 최소 탐색 처리를 행하지 않으면 안 된다.

본 실시예에 따르면, 물체 위치/자세 추정 시스템은 초기값으로서 입력된 위치/자세 파라미터를 이용하여, 등록된 3차원 형상 모델과 조명 기저 데이터에 의거하여, 입력 화상과 동일 또는 근사의 조명 조건 하에서 비교 화상을 생성한다. 물체 위치/자세 추정 시스템은 비교 화상과 입력 실제 화상의 블록 사이에서, 화상 상에서 대상 물체가 포함되는 영역을 소정의 크기를 갖는 블록으로 분할하고, 2차원 편위 방향(각 부위를 화상 상에서 상하 좌우로 편위되어 비교했을 경우에, 비교 화상과 입력 화상 사이의 휘도값의 차이가 최소가 되는 이동량, 즉 화상 변위 분포)을 검출한다. 위치/자세의 6개의 파라미터를 동시에 갱신하도록 물체 위치/자세 추정 시스템은 검출한 화상 변위 분포를 최적으로 보정하는 방향으로 위치/자세의 추정값을 갱신한다. 따라서, 종래의 위치/자세 인식 장치와 비교하면, 적은 횟수의 탐색에 의해 정확한 위치/자세 추정값을 얻을 수 있고, 추정값 산출을 위한 복잡함이 삭감될 수 있다.

(제 2 실시예)

다음으로, 본 발명의 제 2 실시예를 첨부한 도면을 참조하여 설명한다. 도 6은 물체 위치/자세 추정 시스템 구성의 다른 예를 나타내는 블록도이다. 도 6에 나타낸 바와 같이, 물체 위치/자세 추정 시스템에서는 제 1 실시예의 종료 판정 수단(140)을 종료 판정 수단(140a)으로 바꾸고, 갱신 비교 화상 생성 수단(110a)를 부가한 것이다. 그 외의 구성요소는 제 1 실시예와 동일하다.

갱신 비교 화상 생성 수단(110a)은 예를 들어, 컴퓨터(100)의 제어부에 의해 실시된다. 자세 차분 계산 수단(130)이 위치/자세 차분값을 산출하면, 갱신 비교 화상 생성 수단(110a)은 종료 판정 수단(140a)로부터 현재의 위치/자세 추정값을 판독하고, 이 추정값에 위치/자세 차분값을 가산함으로써, 새로운 위치/자세 추정값을 산출한다. 이 처리는 제 1 실시예에서 추정값 관리부(143)에 의해 실행된 처리와 동일하다. 그리고, 대상 물체의 3차원 형상 데이터, 조명 기저 데이터에 의거하여, 갱신 비교 화상 생성 수단(110a)은 새로운 위치/자세 추정값의 위치/자세에 대상 물체가 있다고 가정하여 입력 화상과 동일 또는 근사의 조명 조건 하에서 화상을 갱신 비교 화상으로서 생성한다. 새로운 위치/자세 추정값 및 갱신 비교 화상은 종료 판정 수단(140a)에 출력된다.

도 7에 나타낸 바와 같이, 종료 판정 수단(140a)은 위치/자세 판정부(141a)와, 추정값 기억부(142a)와, 제 1 유사도 산출부(145)와, 제 2 유사도 산출부(146)와, 비교 화상 기억부(147)을 포함하고, 예를 들어, 컴퓨터(100)의 제어부 및 기억부 등에 의해 실시된다.

제 1 유사도 산출부(145)는 갱신 비교 화상 생성 수단(110a)에 의해 생성된 입력 화상과 갱신 비교 화상 사이의 제 1 유사도(이하, 갱신 후의 유사도로 한다)를 산출한다. 제 2 유사도 산출부(146)는 후술하는 바와 같이, 비교 화상 기억부 (147)에 기억된 입력 화상과 현재의 비교 화상 사이의 제 2 유사도(이하, 갱신 전 유사도로 한다)를 산출한다.

위치/자세 판정부(141a)는 갱신 후의 유사도와 갱신 전의 유사도를 비교함으로써, 비교 화상 생성 수단(110) 및 갱신 비교 화상 생성 수단(110a)이 비교 화상 및 갱신 비교 화상을 생성할 때에 가정되는 대상 물체의 위치/자세가 적합한지의 여부를 판정한다. 보다 구체적으로는, 갱신 후의 유사도가 갱신 전의 유사도보다 높을 경우에는, 현재의 위치/자세가 적합하지 않은 것으로 판정된다. 갱신 후의 유사도가 갱신 전의 유사도보다 크지 않은(같거나 작은) 경우에는, 현재의 위치/자세가 적합한 것으로 판정한다. 판정 결과는 추정값 기억부(142a) 및 비교 화상 기억부(147)에 출력된다.

비교 화상 기억부(147)는 현재의 비교 화상을 기억한다. 먼저는 비교 화상 생성 수단(110)에 의해 생성된 비교 화상을 기억하고, 그 후에는 갱신 비교 화상 생성 수단(110a)에 의해 생성된 갱신 비교 화상을 기억한다. 위치/자세 판정부(141a)가 현재의 위치/자세가 적합하지 않은 것으로 판정하였을 경우에, 비교 화상 기억부(147)는 기억된 내용을 새로운 갱신 비교 화상에 갱신하고, 새로운 갱신 비교 화상을 화상 변위 분포 검출 수단(120)에 출력한다.

추정값 기억부(142a)는 현재의 위치/자세 추정값을 기억한다. 보다 구체적으로는, 추정값 기억부(142a)는 위치/자세 추정값의 초기값으로서 위치/자세 초기값(12)을 기억하고, 그 후에는 갱신 비교 화상 생성 수단(110a)에 의해 산출된 새로운 위치/자세 추정값을 기억한다. 위치/자세 판정부(141a)가 현재의 위치/자세 가 적합하지 않은 것으로 판정하였을 경우에, 추정값 기억부(142a)는 기억된 내용을 새로운 위치/자세 추정값으로 갱신한다. 위치/자세 판정부(141a)가 현재의 위치/자세가 적합한 것으로 판정하였을 경우에, 추정값 기억부(142a)는 현재의 위치/자세 추정값을 최적 위치/자세 추정값(13)으로서 출력하고, 처리를 종료한다

도 8은 물체 위치/자세 추정 시스템에 의해 실행된 대상 물체의 위치/자세 추정 처리의 다른 예를 나타내는 플로차트이다. 도 8에서의 단계 S10 내지 S15의 처리는 제 1 실시예와 동일하다. 본 실시예에서는, 단계 S20 내지 S22의 처리가 제 1 실시예의 처리에 추가되어 실행된다. 도 8에 나타낸 바와 같이, 단계 S23의 상태 판정 처리의 내용이 제 1 실시예에서와는 다르다.

위치/자세 차분값이 단계 S15에서 산출되면, 갱신 비교 화상 생성 수단(110a)은 위치/자세 차분값을 현재의 위치/자세 추정값에 가산함으로써, 새로운 위치/자세 추정값을 산출한다. 대상 물체의 3차원 형상 데이터, 조명 기저 데이터 및 입력 화상 데이터(11)에 의거하여, 갱신 비교 화상 생성 수단(110a)은 새로운 위치/자세 추정값의 위치/자세에 대상 물체가 있다고 가정하는 입력 화상과 동일 또는 근사의 조명 조건 하에서 화상을 갱신 비교 화상으로서 생성한다(단계 S20). 또한, 후술하는 바와 같이, 새로운 위치/자세 추정값 및 갱신 비교 화상을 이후의 처리에서 이용되는 데이터로서 채용할 것인지의 여부는 갱신 전후의 화상의 유사도를 비교함으로써 종료 판정 수단(140a)에 의해 결정된다.

종료 판정 수단(140a)에서, 제 1 유사도 산출부(145)는 입력 화상과 갱신 비교 화상 생성 수단(110a)에 의해 생성된 갱신 비교 화상 사이의 유사도, 즉 갱신 후의 유사도를 산출한다(단계 S21). 제 2 유사도 산출부(146)는 입력 화상과현재의 위치/자세 추정값에 의거한 현재의 비교 화상 사이의 유사도, 즉 갱신 전의 유사도를 산출한다(단계 S22).

위치/자세 판정부(141a)는 갱신 후의 유사도와 갱신 전의 유사도를 비교한다. 갱신 후의 유사도가 갱신 전의 유사도보다 높을 경우에는, 위치/자세 판정부(141a)는 현재의 위치/자세가 적합하지 않은 것으로 판정한다(단계 S23에서 NO). 갱신 비교 화상 생성 수단(110a)에 의해 산출된 새로운 위치/자세 추정값이 현재의 위치/자세 추정값으로 바뀌고, 이후의 처리에서 이용되는 위치/자세 추정값으로 결정된다(단계 S18). 이 경우에, 갱신 비교 화상 생성 수단(110a)에 의해 산출된 갱신 비교 화상이 현재의 비교 화상으로 바뀌고, 이후의 처리에 이용되는 비교 화상으로 결정된다. 컴퓨터(100)는 갱신 후의 유사도가 갱신 전의 유사도와 같거나 낮게 될 때까지, 단계 S14, S15, S20, S21, S22, S23, 및 S18의 처리를 반복하여 실행한다.

갱신 후의 유사도가 갱신 전의 유사도보다 높지 않을 경우에는, 위치/자세 판정부(141a)는 현재의 위치/자세가 적합한 것으로 판정한다(단계 S23에서 YES). 현재의 위치/자세 추정값(갱신 전의 위치/자세 추정값)을 최종적인 최적 위치/자세 추정값(13)으로서 출력하고(단계 S17), 처리는 종료된다.

이상과 같이, 본 실시예에 따르면, 처리 단계의 횟수가 증가하지만, 제 1 실시예와 비교하여, 위치/자세 차분값이 작아지더라도 비교 화상이 입력 화상에 보다 가까워지도록 추정 처리가 실행될 수 있다. 따라서, 제 1 실시예와 비교하여, 위 치/자세 추정값을 한층 더 좁힐 수 있고, 최종적인 위치/자세 추정값의 정밀도를 증가시킬 수 있다.

(제 3 실시예)

다음으로, 본 발명의 제 3 실시예를 첨부한 도면을 참조하여 설명한다. 도 9는 물체 위치/자세 추정 시스템 구성의 또 다른 예를 나타내는 블록도이다. 도 9에 나타낸 바와 같이, 물체 위치/자세 추정 시스템은 제 1 실시예의 구성 요소 중, 화상 입력 수단(180) 대신에 화상 입력 수단(180a)이 이용되고, 종료 판정 수단(140) 대신에 자세 갱신 수단(140b)이 이용된 것이다.

본 실시예에서는, 위치/자세 추정값이 추정되는 대상 물체를 포함하는 화상은 정지 화상이 아니라 동화상이다. 물체 위치/자세 추정 시스템은 대상 물체가 이동함에 따라 수시로 위치/자세 추정값을 연속하여 출력한다. 본 실시예에서, 화상 입력 수단(180a)은 비디오 카메라 등과 같은 동화상의 촬영 수단에 의해 실시된다. 자세 갱신 수단(140b)은 예를 들어, 컴퓨터(100)의 제어부 및 기억부에 의해 실시된다. 본 실시예에서는, 대상 물체가 인물의 얼굴인 경우를 일례로 설명한다. 그 밖의 구성 요소는 제 1 실시예에서와 동일하다.

도 10은 물체 위치/자세 추정 시스템에 의해 실행된 대상 물체의 위치/자세 추정 처리의 또 다른 예를 나타내는 플로차트이다. 본 실시예에서는, 제 1 실시예에서의 처리에 더하여, 각 처리 시점에서의 동화상에 포함된 정지 화상(프레임 화상) 중 하나(최신의 프레임 화상)를 취하는 단계 S30의 처리가 실행된다. 단계 S16의 상태 판정 처리 대신에 단계 S31의 자세 갱신 처리가 실행된다.

제 1 실시예에서와 마찬가지로, 조명 기저 데이터가 생성되면, 조명 기저 계산 수단(160)은 3차원 형상 데이터 및 조명 기저 데이터를 3차원 모델 기억 수단(170)에 기억시킨다(단계 S10). 유저는 동화상을 관찰하면서 동화상에 포함된 최초의 프레임 화상 중의 인물 얼굴의 대략의 위치/자세를 입력지시한다. 화상 입력 수단(180a)은 유저에 의해 입력지시된 대략의 위치/자세를 위치/자세 초기값(12)으로서 컴퓨터(100)에 출력한다(단계 S12).

비교 화상 생성 수단(110)은 화상 입력 수단(180a)으로부터 현재 시점에서의 프레임 화상을 입력 화상 데이터(11a)로서 취한다(단계 S30). 제 1 실시예에서와 마찬가지로, 비교 화상 생성 수단(110)은 비교 화상을 생성한다(단계 S13). 화상 변위 분포 검출 수단(120)은 화상 변위 분포를 검출한다(단계 S14). 자세 차분 계산 수단(130)은 자세 차분값을 산출한다(단계 S15). 단계 S13 내지 S15에서의 처리 내용은 제 1 실시예와 동일하다.

자세 갱신 수단(140b)은 자세 차분 계산 수단(130)에 의해 산출된 위치/자세 차분값을 현재의 위치/자세 추정값에 가산하여, 위치/자세 추정값의 값을 갱신한다(단계 S31). 이 경우에, 자세 갱신 수단(140b)은 갱신된 위치/자세 추정값을 갱신마다 현재 시점에서의 최적 위치/자세 추정값(13)으로서 출력한다. 컴퓨터(100)는 동화상이 종료할 때까지, 단계 S30, S13, S14, S15, 및 S31의 처리를 반복하여 실행한다.

상술한 바와 같이, 본 실시예에 따르면, 시간의 경과와 함께 변화하는 이동중의 대상 물체의 위치/자세가 리얼 타임으로 추정될 수 있다. 현재의 위치/자세 추정값에 의거하여 생성된 비교 화상과, 현재의 동화상에 포함된 프레임 화상을 비교하여 위치/자세는 항상 갱신된다. 그러므로, 오차의 축적 없이 위치/자세의 추정 처리가 장시간 동안 정확하게 실행될 수 있다.

(제 4 실시예)

다음으로, 본 발명의 제 4 실시예를 첨부한 도면을 참조하여 설명한다. 도 11은 물체 위치/자세 추정 시스템 구성의 또 다른 예를 나타내는 블록도이다. 도 11에 나타낸 바와 같이, 물체 위치/자세 추정 시스템은 제 1 실시예에서 나타낸 구성에 더하여, 특징 추출 수단(190)을 포함한다. 그 밖의 구성 요소는 제 1 실시예에서와 동일하다.

특징 추출 수단(190)은 예를 들어, 컴퓨터(100)의 제어부에 의해 실시된다. 특징량 추출 수단은 특징 추출 수단(190)에 의해 실시된다.

도 12는 물체 위치/자세 추정 시스템에 의해 실행된 대상 물체의 위치/자세 추정 처리의 또 다른 예를 나타내는 플로차트이다. 본 실시예에서는 비교 화상의 휘도값과 입력 화상의 휘도값을 직접 비교하여 화상의 편위를 검출하는 대신에, 위치 편위 검출에 적합한 화상 특징량을 필터를 이용하여 추출함으로써, 화상 변위 분포가 검출된다. 본 실시예에서는 화상 특징량으로서 에지 특징량이 이용되는 경우를 설명한다. 에지 특징량이 아닌 화상 특징량으로서, 가보르(Gabor) 특징량 등과 같은 다른 특징량을 사용해도 된다.

도 12에서 단계 S10 내지 S13의 처리는 제 1 실시예와 동일하다. 비교 화상 생성 수단(110)이 비교 화상을 생성하면, 특징 추출 수단(190)은 비교 화상 및 입 력 화상의 각각에 대하여 화상 특징량으로서 에지 검출 필터를 이용하여 에지 화상을 생성한다(단계 S40).

특징 추출 수단(190)은 화상의 종 방향으로 향하는 에지 검출 필터와, 화상의 횡 방향으로 향하는 에지 검출 필터를 구비한다. 단계 S40에서 특징 추출 수단(190)은 종 방향 및 횡 방향의 에지 검출 필터를 개별적으로 이용하여, 비교 화상에 대한 종 방향의 에지 화상(이하, 종 에지라 한다) 및 횡 방향의 에지 화상(이하, 횡 에지라 한다)과, 입력 화상에 대한 종 에지 및 횡 에지를 생성한다. 즉, 특징 추출 수단(190)은 단계 S40에서 4개의 에지 화상을 생성한다.

화상 변위 분포 검출 수단(120)은 비교 화상의 종 에지 및 횡 에지를 소정 크기를 갖는 부분으로 분할하여, 부분 에지 화상을 생성한다. 화상 변위 분포 검출 수단(120)은 각 부분 에지 화상을 입력 화상의 종 에지 및 횡 에지와 중첩시켜 비교한다. 화면상에서 유사도가 증가하는 이동 방향을 조사하고, 유사도가 증가하는 방향을 화상 변위 분포로서 출력한다(단계 S41).

단계 S41에서, 종 방향의 에지 화상끼리를 비교하면 횡 방향의 화상의 편위가 명확하게 검출되기 때문에, 화상 변위 분포 검출 수단(120)은 비교 화상 및 입력 화상의 종 에지끼리를 비교함으로써, 횡 방향의 화상 변위를 검출한다. 횡 방향의 에지 화상끼리를 비교하면 종 방향의 화상의 편위가 명확하게 검출되기 때문에, 화상 변위 분포 검출 수단(120)은 비교 화상 및 입력 화상의 횡 에지끼리를 비교함으로써, 종 방향의 화상 변위를 검출한다. 이와 같이, 각 방향의 위치 편위를 검출하기 위하여 최적의 화상 특징량을 사용할 경우, 화상 변위 분포의 검출 정밀 도를 증가시킬 수 있다.

단계 S15 내지 S18의 처리는 제 1 실시예와 동일하다.

상술한 바와 같이, 본 실시예에 따르면, 비교 화상의 휘도값과 입력 화상의 휘도값을 직접 비교하는 대신에, 휘도값보다도 위치 편위 검출을 민감하게 할 수 있는 화상 특징량을 이용하여, 각 부분의 화상의 위치 편위로서 화상 변위가 검출된다. 이러한 이유 때문에, 휘도값을 이용하는 경우와 비교하여, 화상 변위가 정확하게 검출될 수 있다. 따라서, 산출된 위치/자세 차분값의 정밀도를 증가시킬 수 있고, 최종적으로 얻어진 위치/자세 추정값의 정밀도가 증가될 수 있다.

(제 5 실시예)

제 1 실시예의 구체예를 제 5 실시예로써 설명한다. 본 실시예에서는, 물체 위치/자세 추정 시스템은 미리 등록되는 대상 물체의 3차원 형상을 계측하기 위한 3차원 형상 계측 장치(200), 위치/자세가 추정되는 대상 물체를 포함하는 피사체를 촬영하는 카메라(300), 및 데이터 처리 장치 / 데이터 기억 장치로서 퍼스널 컴퓨터(컴퓨터(100))를 구비한다. 본 실시예에서는, 위치/자세가 추정되는 대상 물체가 인물의 얼굴인 일례를 설명한다.

(3차원 형상 데이터 등록 처리)

우선, 시스템의 준비 단계의 처리인 단계 S10의 3차원 형상 데이터의 등록 처리에 대하여 설명한다. 도 5에 나타내는 3차원 형상 데이터의 등록 처리에서는, 상술한 바와 같이, 위치/자세가 추정되는 대상 물체(본 예에서는, 특정 인물의 얼굴)의 3차원 형상과, 대상 물체의 표면의 임의의 조명 조건에 따른 휘도값의 변동 을 나타내는 조명 기저 데이터가 컴퓨터(100)에 구비된 기억 장치에 기억된다.

유저는 3차원 형상 계측 장치(200)를 조작하여, 얼굴의 3차원 형상 및 표면 반사율의 계측을 지시한다. 데이터 처리용의 컴퓨터(100)는 3차원 형상 계측 장치(200)로부터 3차원 형상 데이터 및 표면 반사율 데이터(또는, 표면 반사율 데이터에 상당하는 화상 데이터)을 취한다.

3차원 형상 데이터와 표면 반사율 데이터(또는, 화상 데이터)에 의거하여, 컴퓨터(100)는 얼굴 표면의 휘도의 조명 변동을 나타내는 조명 기저군을 산출한다. 컴퓨터(100)는 산출된 조명 기저군을 조명 기저 데이터로서 예를 들어, 기억 장치에 기억시킨다. 이 경우에, 컴퓨터(100)는 다음의 기술을 이용하여 조명 기저군을 생성한다. 조명 기저군의 생성 기술은 본 실시예의 기술로 한정되지 않는다. 비교 화상 생성 알고리즘(후술함)에 따라 다양한 조명 기저군의 생성 기술이 이용될 수 있다.

본 실시예에서는, 단계 S10의 3차원 형상 데이터의 등록 처리 및 단계 S13의 비교 화상 생성 처리에서의 조명 조건의 변동을 보정하는 방법을 설명한다. 조명 조건의 변화가 작거나 또는 없는 경우에는, 보정 처리는 생략될 수 있다. 이 경우에, 컴퓨터(100)는 조명 기저군을 산출하지 않고, 대상 물체 표면의 각 점의 휘도값을 예를 들어, 기억 장치에 기억시켜도 좋다.

3차원 형상 데이터의 표면에 대하여, 조명 기저 질감을 계산하기 위한 질감 좌표계는 이하와 같이 정의된다. 본 예에서는, 3차원 형상 데이터는 대상 물체의 무게 중심에 설정된 원점을 갖는 3차원 좌표(x, y, z)로서, 물체 표면의 각 점의 좌표 데이터를 포함한다. 즉, 3차원 형상 데이터는 물체 표면의 점의 좌표 데이터의 집합이다. 이 경우에, 물체 무게 중심에 위치된 중심을 갖는 물체를 둘러싸는 구면(球面)이 정의된다. 그 구표면에의 점 P의 투영 점을 Q라고 설정한다. 점 Q의 경도 및 위도(s,t)를 물체 표면의 각 점 P의 질감 좌표로서 정의한다. 물체 형상에 따른 다른 임의의 좌표계를 사용하여, 조명 기저군을 산출할 수 있다.

컴퓨터(100)는 다양한 조명 조건 i 하에서 물체 표면의 각 점의 휘도 I_i(s,t)를 산출한다. 조명 조건을 설정할 때에, 예를 들어, 1개의 점광원을 무한 거리에 있다고 가정한다. 경도 및 위도는 19×19=361개의 방향 벡터 L_i를 얻기 위해, -90°에서 +90°까지 10°간격마다 변화된다. 방향 벡터 L_i에 의거하여, 광 조사를 위한 조명 조건이 설정된다. 조사 방향과 조사 방향의 수는 임의로 설정될 수 있다. 법선 벡터를 N(s,t), 표면 반사율 데이터를 r(s,t)로 한다. 물체 표면 각 점의 휘도 I_i(s,t)은 다음으로 주어진다.

[수식 1]

여기에서, S(s, t, L)은 캐스트 셰도우(그림자)를 나타낸다. S(s, t, L) 값은 각 점(s, t)과 방향 벡터 L_i의 무한 거리에 있는 광원 사이에 물체 표면이 있을 경우에는 0이 되고(그림자가 되므로 휘도값이 0가 된다), 물체 표면이 존재하지 않을 경우에는 1이 된다. 이 그림자를 판정하는 방법은 컴퓨터 그래픽의 분야에서 주지 기술인 광선 추적(ray tracing)을 이용하여 실시할 수 있다.

다음으로, 컴퓨터(100)는 임의의 조명 조건 하에서 물체 표면의 휘도값을 재현할 수 있는 기저 질감 군을 산출한다. 컴퓨터(100)는 방향 L_i(L_i는 벡터)의 점광원 하에서의 물체 표면 각 점(s,t)에 대하여 수식 1을 이용하여 산출된 휘도값을 모든 점에 대하여 순서로 나열한 벡터를 생성한다. 이 휘도값을 순서로 나열하여 얻어진 벡터는 샘플 질감 I_i(I_i는 벡터)로 설정된다. 샘플 질감 군{I_i} (i=1,2,...,361)의 공분산 행렬 V는 수식 3에 의해 산출될 수 있다. 수식 3에서의 S는 샘플 질감 군{I_i} (i=1,2,...,361)을 나타내고, 수식 2에 의해 주어진다.

[수식 2]

[수식 3]

컴퓨터(100)는 공분산 행렬 V의 10개의 고유값(σ_j)과 10개의 고유벡터(G_j)를 고유값의 내림차순으로 산출한다. 이 경우, 컴퓨터(100)는 고유벡터군 {G_j} (j=1,2,...,10)를 조명 기저군으로서 생성하고, 예를 들어, 기억 장치에 기억시킨다. 10개 값의 산출은 단지 일례이다. 고유값 및 고유벡터의 개수는 10개보다 크거나 작을 수 있다.

상술한 조명 기저군의 산출 방법이, 예를 들어, 문헌 2에 기재되어 있다.

다음으로, 물체 위치/자세 추정 시스템이 물체의 위치/자세를 화상에 의거하여 추정하는 처리를 순차적으로 설명한다.

(화상 입력 처리)

유저는 카메라(300) 등과 같은 촬영 장치를 조작하여, 위치/자세가 추정되는 대상 물체를 촬영한다. 컴퓨터(100)는 카메라(300)로부터 입력 화상 데이터를 취한다. 카메라(300)에 의해 화상을 취하는 대신에, 컴퓨터(100)는 기억 매체로부터 화상 데이터를 판독하여도 좋고, 또는 통신 네트워크를 통하여 다른 컴퓨터로부터 화상 데이터를 수신하여도 좋다.

본 실시예에서는, 대상 물체는 카메라(300)의 거의 정면을 향하고, 상하 좌우 방향으로 약 10°의 자세 변동을 갖는 것으로 가정한다. 대상 물체는 카메라(300)로부터 약 50cm 떨어진 지점에 놓인다. 대상 물체(본 예에서는, 인물의 얼굴)는 카메라(300)의 거의 중앙에 놓이고, 약 10cm의 위치의 변동을 갖는다. 본 실시예에서는, 위치/자세 초기값으로서, 대상 물체가 카메라(300)의 정면을 향하고 그 화면의 중앙에 놓이며, 50cm 떨어져 있는 경우에 얻어진 값이 항상 이용되는 것으로 한다.

(비교 화상 생성 처리)

컴퓨터(100)는 예를 들어, 기억 장치에 미리 기억된 3차원 형상 데이터와 조명 기저 데이터를 판독한다. 컴퓨터(100)는 현재의 위치/자세 초기값의 위치/자세에 대상 물체가 있는 것으로 가정하는 입력 화상과 동일한 조명 조건 하에서 대상 물체의 화상을 비교 화상으로서 생성한다. 이 경우에, 컴퓨터(100)는 다음의 기술 을 이용하여 비교 화상을 생성한다. 비교 화상의 생성 기술은 본 실시예에서의 기술로 한정되지 않는다. 조명 기저 데이터의 산출에 이용된 방법에 따라 다양한 비교 화상의 생성 기술이 이용될 수 있다.

물체 표면의 점의 3차원 데이터의 좌표를 [X Y Z 1], 그 점에 대응하는 비교 화상 상의 좌표를 [U V], 그 동차 좌표를 [u v w], 카메라(300)의 내부 파라미터(화 소의 사이즈 및 화상 중심)을 나타내는 3×3 행렬을 K, 물체 위치의 평행 이동을 나타내는 벡터를 T, 및 물체의 자세 변동을 나타내는 회전 행렬을 R이라고 한다. 그러면, 동차 좌표 [u v w]는 수식 5를 이용하여 산출된다. 좌표[U V]는 수식 4를 이용하여 산출된다. 수식 4에서의 행렬 M은 물체의 회전과 평행 이동의 운동량(momentum)을 나타내고, 수식 6을 이용하여 산출된다.

[수식 4]

[수식 5]

[수식 6]

컴퓨터(100)는 수식 4, 수식 5 및 수식 6을 이용하여 3차원 형상 데이터의 각 점의 좌표 [U V]를 산출함으로써, 화상 중에서의 배경을 제외한 대상 물체의 부분에 대응하는 화소를 결정한다. 컴퓨터(100)는 그것들의 각 화소가 3차원 형상 데이터에 포함된 점 중의 하나에 대응하는지를 결정한다.

여기에서, 화상 중에 대상 물체에 대응하는 화소 개수가 a개라고 하며, 그들 a개 화소의 휘도값을 종으로 나열하여 얻어진 벡터를 비교 화상 벡터 I_c로 설정한다. 입력 화상 중의 동일한 화소 위치에서 a개 화소의 휘도값을 종으로 나열하여 얻어진 벡터를 입력 화상 벡터 I_q로 설정한다. 비교 화상 벡터의 제 b 요소에 대응하는 3차원 형상 데이터의 점의 개수를 나타내는 함수를 c(b)(b=1,2,...,a)일 경우, 투영 행렬 Γ는 제 (b, c(b)) 요소가 1이며, 그 이외의 요소가 0인 행렬로서 정의될 수 있다. 이 경우에, 현재의 위치/자세 추정값에 대응하는 화상 조명 기저군 {B_i} (i=1,2,...,10)은 조명 기저군 {G_i}에 의거하여, 수식 7을 이용하여 산출된다.

[수식 7]

비교 화상 I_c(I_c는 벡터)는 화상 조명 기저군 {B_i}의 선형 결합 중에서 가장 입력 화상 I_q (I_q는 벡터)에 가장 근사한 화상으로서, 수식 8 및 수식 9를 이용하여 산출된다.

[수식 8]

[수식 9]

상술한 비교 화상의 생성 방법은 예를 들어, 문헌 2에 기재되어 있다.

생성한 비교 화상의 화소 중, 물체 표면에 대응하지 않는 화소에 대해서는 휘도값이 결정될 수 없다. 컴퓨터(100)는 이 화소를 처리 대상에서 제외하고 이하의 처리를 실행한다.

본 실시예에서의 조명 조건의 변동을 보정하는 방법에 대하여 설명한다. 조명 조건의 변화가 작거나 없는 경우에는, 처리는 생략될 수 있다. 이 경우에, 컴퓨터(100)는 화상 조명 기저군 B_i (i=1,2,...,10)을 산출하지 않고, 미리 기억되어 있는 물체 표면의 휘도값을 함수 c(b)를 이용하여 재배열한 비교 화상 벡터 I_c를 산출할 수 있다.

(화상 변위 분포 검출 처리)

다음으로, 컴퓨터(100)는 다음의 방법을 이용하여, 비교 화상과 입력 화상 사이의 각 부분 영역에 대한 화상 변위 분포를 검출한다. 화상 변위 분포의 검출 방법은 본 실시예로 한정되지 않는다, 옵티컬 플로우를 이용하는 화상 변위 검출 방법으로서 제안된 다양한 기술이 적용될 수 있다.

도 13은 비교 화상과 입력 화상 사이의 화상 변위 분포를 검출하는 처리의 일례를 나타내는 설명도이다. 도 13에 나타낸 바와 같이, 컴퓨터(100)는 비교 화상을 소정의 크기를 갖는 부분으로 분할하여 부분 화상을 생성함으로써, 부분 비교 화상군을 생성한다. 입력 화상의 사이즈가 100×100 화소이며, 부분 비교 화상으로서 분할된 부분 화상의 블록 사이즈가 10×10 화소라고 가정한다. 부분 비교 화상을 추출하는 블록 사이의 간격을 20 화소로 한다. 이 경우에, 컴퓨터(100)는 비교 화상으로부터 도 13에 나타나 있는 바와 같은 정사각형의 영역을 부분 비교 화상군으로서 추출한다.

추출된 부분 비교 화상 중 14 블록은 물체 표면을 포함한다. 컴퓨터(100)는 도 13에 나타낸 바와 같이, 이들 14개의 부분 비교 화상을 추출한다. 추출시의 블록 사이즈, 블록 간격, 및 화상의 해상도는 본 실시예로 한정되지 않는다. 예를 들어, 시스템의 처리 능력이나 요구되는 위치/자세의 추정 정밀도에 따라 변경될 수 있다. 컴퓨터(100)는 비교 화상을 분할하지 않고 입력 화상을 분할하여 얻어진 부분 화상군을 이용하여 화상 변위 분포의 검출할 수 있다.

컴퓨터(100)는 추출한 각 부분 비교 화상을 입력 화상의 대응하는 위치에 중첩시키고 동일한 사이즈에서 추출된 부분 입력 화상과 비교하고, 화상 상에서 가장 유사도가 최대로 되는 이동 방향을 조사하고, 유사도가 최대로 되는 방향을 화상 변위 분포로서 출력한다. 이 경우, 컴퓨터(100)는 비교 화상 중 물체 표면을 포함하지 않는 배경 화상은 이용하지 않고, 물체 표면을 포함하고 산출된 휘도값을 갖는 화소만을 이용하여 유사도를 계산한다.

본 실시예에서는, 유사도의 척도로서 휘도값의 평균 절대 오차(휘도값의 차 분의 절대값의 총합을 화소 수로 나누어 얻어진 값)의 역수를 이용하는 일례를 설명한다. 유사도의 척도로서 에지 검출이나 다른 특징량 변환에 의해 얻어진 수치를 이용하는 다른 화상 비교 방법이 사용될 수 있다.

본 실시예에서는, 화상 변위를 고속으로 검출하기 위하여, 컴퓨터(100)는 u방향과 v방향의 플러스 방향 및 마이너스 방향에 인접한 1 화소분만큼 화상을 편위시켜 유사도를 산출한다. 컴퓨터(100)는 본 실시예에서 나타낸 화상 변위의 검출 방법을 이용하지 않고, 다른 화상 변위 검출 방법을 이용하여 유사도를 산출할 수 있다. 예를 들어, 컴퓨터(100)는 u, v방향에 2 화소 이상만큼 화상을 편위시켜 유사도를 산출할 수 있다. 또한, 컴퓨터(100)는 u, v방향에 더하여 경사 방향으로도 편위시켜서, 즉, 합계 8방향으로 화소를 편위시켜 유사도를 산출할 수 있다.

본 실시예에서는, 컴퓨터(100)는 다음의 방법에 의해 부분 비교 화상 j의 화상 변위를 나타내는 2차원 벡터 D_j를 결정한다.

(1) 컴퓨터(100)는 u 방향의 플러스 및 마이너스 방향에 1 화소분만큼 화상을 편위시킨 경우의 유사도를 산출한다. 플러스 방향으로 편위시켜서 유사도가 최대로 된다고 판단할 경우에는, 컴퓨터(100)는 벡터의 제 1 요소의 값을 1로 설정한다. 마이너스 방향으로 편위시켜 유사도가 최대로 된다고 판단할 경우에는, 컴퓨터(100)는 벡터의 제 1 요소의 값을 -1로 설정한다. 어느 방향에도 편위되지 않고 유사도가 최대로 된 것으로 판단할 경우에는, 컴퓨터(100)는 벡터의 제 1 요소의 값을 0으로 설정한다.

(2) 컴퓨터(100)는 v 방향의 플러스 및 마이너스 방향에 1 화소분만큼 화상을 편위시켜 유사도를 산출한다. 플러스 방향으로 편위시켜 유사도가 최대로 된다고 판단될 경우에는, 컴퓨터(100)는 벡터의 제 2 요소의 값을 1로 설정한다. 마이너스 방향으로 편위시켜 유사도가 최대로 된다고 판단될 경우에는, 컴퓨터(100)는 벡터의 제 2 요소의 값을 -1로 설정한다. 어느 방향에도 편위되지 않고 유사도가 최대로 된다고 판단될 경우에는, 컴퓨터(100)는 벡터의 제 2 요소의 값을 0으로 설정한다.

상술한 순서에 따라서 2차원 벡터가 산출될 경우, 컴퓨터(100)는 도 13에 나타낸 바와 같이, 14 블록의 각 부분 비교 화상의 화상 변위를 나타내는 2차원 벡터를 포함하는 화상 변위 분포 벡터군 {D_j}를 화상 변위 분포로서 산출한다. 도 13을 참조하면, 각 화살표는 각 부분 비교 화상의 화상 변위를 나타내는 2차원 벡터 D_j를 나타낸다. 또한, 화살표가 없는 주기 기호를 포함하는 화소에 대하여는, 화상 변위를 나타내는 벡터는 제로(zero) 벡터인 것을 나타낸다.

일반적으로, 입력 화상의 조명 조건이 시간 경과에 따라 변화하는 경우에는, 비교 화상의 휘도값은 입력 화상의 휘도값과 다르게 된다. 그러므로, 화상 변위 분포 벡터군 {D_j}는 정확하게 산출될 수 없다. 본 발명에 따르면, 비교 화소 생성 처리에 있어서, 조명 기저 벡터군을 이용하여 입력 화상과 동일 또는 근사의 조명 조건 하에서 비교 화상이 생성된다. 이러한 이유 때문에, 입력 화상을 촬영했을 때의 조명 조건이 변동하더라도, 화상 변위 분포 검출 처리에서 화상 변위 분포 벡 터군 {D_j}이 정확하게 산출될 수 있다.

(자세 차분 계산 처리)

다음으로, 생성된 화상 변위 분포와 각 소영역에 대응하는 대상 물체의 3차원 형상 데이터의 각 부분의 3차원 좌표 데이터에 의거하여, 컴퓨터(100)는 대상 물체가 화면상에서 가상적으로 움직였을 경우에, 대상 물체의 각 부분이 변위 분포에 가장 가깝게 되도록 하는 3차원 운동을 산출한다. 그리고, 컴퓨터(100)는 3차원 운동의 계산 결과를 위치/자세 차분값으로서 산출한다.

3차원 운동을 산출할 경우, 컴퓨터(100)는 비교 화상 및 입력 화상을 각각 동화상의 프레임 화상으로 가정하고, 비교 화상의 프레임 화상 및 입력 화상의 프레임 화상의 순서로 연속하는 동화상으로서 간주한다. 3차원 운동은 화상 변위 분포를 이들의 프레임 화상들의 의사(pseudo) 옵티컬 플로우로서 간주하여 산출된다. 컴퓨터(100)는 예를 들어, 리대수(Lie algebra)를 이용하는 다음의 방법에 따라서, 옵티컬 플로우에 의거하는 물체 운동 추정 기술을 이용하여 3차원 운동을 산출한다.

수식 5의 행렬 M은 리대수 군으로서 SE(3) 군을 형성한다. SE(3)은 3개의 회전 운동과 3개의 병진 운동인 합계 6개의 운동으로 분해할 수 있다. 대상 물체의 위치/자세의 편위가 미소할 경우에는, 행렬 M은 단위 행렬 I에 가깝다. M=I의 근방에서 미분이 행해질 경우, 수식 10의 6개의 행렬을 얻을 수 있다. 수식 10의 각 행렬은 SE(3)의 리대수이고, M=I 근방에서의 행렬 M의 증분을 나타내는 선형 벡터 공간의 기저로 된다.

[수식 10]

운동이 미소할 경우에는, 행렬 M은 수식 11에 의해 주어진 {M_i}의 선형합으로 근사할 수 있다.

[수식 11]

컴퓨터(100)는 화상 변위 분포 검출 처리에서 산출된 화상 변위 분포에 의거한 계수 α_i를 산출함으로써, 운동량을 나타내는 행렬 M, 즉 위치/자세의 편위량(편위 방향)을 산출할 수 있다.

각 운동 모드 i의 방향으로 위치/자세를 변화시킬 경우의 물체 표면상의 각 점의 화상 좌표의 편미분은 수식 12에 의해 산출된다.

[수식 12]

물체 표면의 점의 화소 좌표 [U V]의 편미분은 수식 13에 의해 산출된다.

[수식 13]

수식 13에서, 0_i(0_i는 벡터)는 화소 좌표 [U V]를 편미분한 양을 나타낸다. 위치/자세가 변화되었을 경우 물체 표면의 화상 상의 운동량을 d(d는 벡터)로 한다. 수식 14에 나타낸 바와 같이, d는 각 운동 모드 i에서의 운동량의 선형 합으로서 산출된다.

[수식 14]

수식 14에 의해 산출된 각 점의 운동량 d가 화상 변위 분포에 가장 가깝게 되도록 대상 물체의 위치/자세 추정값을 갱신함으로써, 컴퓨터(100)는 위치/자세 추정값을 입력 화상 중의 대상 물체의 정확한 위치/자세 값으로 효율적으로 가깝게 할 수 있다. 이렇게 하기 위해서, 컴퓨터(100)는 화상 변위 분포 검출 처리에 의해 검출된 부분 비교 화상 D_j의화상 변위에 대하여, 위치/자세의 오차를 나타내는 오차 e를 최소화하도록 계수 α_i를 수식 15에 의해 나타낸 바와 같이, 최소 자승법을 이용하여 산출한다.

[수식 15]

계수 α_i를 구하기 위하여, 수식 12에서 이용된 부분 비교 화상 j의 3차원 좌표 [X Y Z]를 결정할 필요가 있다. 본 실시예에서는, 각 부분 비교 화상 j에 포함된 물체 표면의 점의 각 3차원 좌표의 무게 중심(평균값)이 이용되는 일례를 설명한다. 3차원 좌표는 투영 행렬 Γ로서 산출된 비교 화상의 화소와 3차원 형상 데이터 사이의 대응 관계에 의거하여 용이하게 얻어질 수 있다. 3차원 좌표로서 중심을 이용하지 않고, 각 부분 비교 화상의 중앙부에 가장 가까운 화소에 대응하는 물체 표면상의 점의 3차원 좌표를 이용하는 등 다른 좌표값을 사용해도 된다.

컴퓨터(100)는 수식 15를 이용하여 산출된 계수 α_i와, 소정의 이득(gain) 정수 g에 의거하여, 수식 16을 이용하여 위치/자세 차분 ΔM을 산출한다.

[수식 16]

본 실시예에서는, 이득 정수 g는 g=1의 고정 값이다. 이득 정수 g의 값이 증가될 경우, 추정값의 탐색이 빠르게 수렴될 수 있다. 위치/자세의 오차가 작아짐에 따라 이득 정수 g의 값이 작아지도록 제어될 경우, 대상 물체의 위치/자세의 추정 정밀도를 증가될 수 있다.

상술한 물체 운동 추정 기술은, 예를 들어, 「Tom Drummond, Roberto Ciplla, "Real Time Feature-Based Facial Tracking Using Lie Algebras", IEICE Transactions on Information and Systems, Vol. E84-D, No. 12, December 2001, p.1733-1738」에 기재되어 있다.

(종료 판정 처리)

다음으로, 컴퓨터(100)는 위치/자세 추정값을 갱신하여 위치/자세의 추정 처리를 반복하여 실행할지, 현재의 위치/자세 추정값이 충분히 정확한 최적 위치/자세 추정값로서 출력할지를 판정한다. 본 실시예에서는, 추정된 대상 물체의 위치/자세의 허용 오차의 값의 임계값을 미리 정하고, 임계값에 의거하여 종료 판정이 실행된다. 종료 판정의 방법으로서, 본 실시예에 나타낸 임계값을 이용한 방법에 한정되지 않고 다른 방법을 사용해도 된다.

위치/자세의 추정 오차로서, 평행 이동 및 회전 방향의 허용 오차의 임계값이 미리 결정되어 예를 들어, 컴퓨터(100)에 구비된 기억 장치에 기억시킨다. 본 실시예에서는, 평행 이동 방향의 허용 오차는 5mm로 한다. 회전 방향에 대하여는, X-축 및 Y-축 주위의 허용 오차를 1.5°, Z-축 주위의 허용 오차를 1°라고 한다. 각 허용 오차 값은 본 실시예에서 나타낸 경우로 한정되지 않는다.

컴퓨터(100)는 위치/자세 차분 ΔM에 포함된 평행 이동 벡터와 회전 행렬 R에 의거하여, 평행 이동량 및 각각의 축 주위의 회전 각도를 산출한다. 컴퓨터(100)는 산출된 평행 이동량 및 회전 각도가 소정의 임계값보다 작은지의 여부를 판단한다. 임계값보다 작은 것으로 판단될 경우에, 컴퓨터(100)는 현재의 위치/자세 추정값이 충분히 정확한 추정값(즉, 최적의 추정값)이라고 판단하고, 현재의 위치/자세 추정값을 최적 위치/자세 추정값으로서 출력하고 처리를 종료한다.

평행 이동량 및 회전 각도 중의 적어도 하나가 임계값보다 작지 않은 것으로 판단될 경우에, 컴퓨터(100)는 위치/자세 추정값을 갱신하고 추정 처리를 반복하여 실행한다. 컴퓨터(100)는 갱신 후의 위치/자세 추정값 [R^*|T^*]을 현재의 위치/자세 추정 [R|T]에 의거하여 수식 17을 이용하여 산출한다.

[수식 17]

여기에서, Euclideanise는 행렬을 회전 이동 행렬로 수정하는 조작을 의미한다. 예를 들어, Euclideanise(E)는 행렬 E를 회전 이동 행렬로 수정하는 조작을 의미하고, 특이값 분해 E=UWV^T에 의거하여 행렬 E'=UV^T를 산출함으로써 실시된다.

수식 17을 이용하여 산출된 갱신 후의 위치/자세를 나타내는 회전 이동 행렬 및 평행 이동 벡터에 의거하여, 컴퓨터(100)는 현재의 위치/자세 추정값을 추정하고, 비교 화상 생성 처리 이후의 처리를 반복하여 실행한다.

본 실시예에서는, 종료 판정을 실행하여 위치/자세가 반복하여 갱신된다. 그러나, 종료 판정 처리를 실행하지 않고 한 번만 위치/자세 추정값이 갱신되어 처리를 종료할 수 있다. 이 경우에, 대상 물체의 위치/자세의 추정 처리가 보다 고속으로 실행될 수 있다.

본 실시예에서는, 대상 물체의 위치 및 자세 모두를 추정하는 물체 위치/자세 추정 시스템이 설명되었다. 컴퓨터는 대상 물체의 위치만을 추정하는 물체 위치 추정 시스템, 또는 대상 물체의 자세만을 추정하는 물체 자세 추정 시스템으로서도 적용될 수도 있다.

본 발명에 따른 물체 상태를 추정하는 추정 시스템은 화상에 포함되어 있는 물체의 위치/자세를 계측하는 계측 장치에 적용될 수 있다. 위치/자세가 변화하는 물체를, 화상을 이용하여 식별하거나 대조하기 위한 인식장치에 적용될 수도 있다. 비디오 화상 중에 이동하는 물체를, 동화상을 이용하여 추적하는 추적 장치에 적용될 수도 있다. 계측 장치, 인식 장치 또는 추적 장치를, 컴퓨터를 이용하여 실시하기 위한 프로그램에 적용될 수도 있다.

Claims

삭제
삭제
삭제
위치 및 자세 중 적어도 하나의 상태가 추정되는 물체를 포함하는 입력 화상을 입력하는 화상 입력 수단과,

상기 물체의 3차원 형상 데이터를 기억하는 3차원 형상 데이터 기억 수단과,

상기 3차원 형상 데이터 기억 수단에 기억된 상기 3차원 형상 데이터를 이용하여 소정의 상태에 있는 상기 물체를 포함하는 화상을 비교 화상으로서 생성하는 비교 화상 생성 수단과,

상기 입력 화상과 상기 비교 화상 생성 수단에 의해 생성된 상기 비교 화상 사이의 위치 관계를 화상에서의 소정의 크기를 갖는 소영역(sub-region)마다 검출하는 화상 위치 관계 검출 수단과,

상기 화상 위치 관계 검출 수단에 의해 검출된 상기 위치 관계를 이용하여 상기 비교 화상에서의 상기 물체 상태의 수정량을 계산하는 수정량 계산 수단과,

상기 수정량 계산 수단에 의해 얻어진 수정량을 이용하여 상기 비교 화상 생성 수단에 의해 비교 화상 생성시에 설정된 상기 물체 상태를 수정함으로써, 새로운 물체 상태를 산출하는 상태 수정 수단과,

상기 수정량 계산 수단에 의해 얻어진 수정량에 의거하여, 상기 비교 화상 생성 수단에 의해 설정된 상기 물체 상태가 실제 위치/자세에 적합한지의 여부를 판정하는 상태 판정 수단을 포함하고,

상기 물체 상태가 실제 위치/자세에 적합한 것으로 판정될 때에는, 상기 비교 화상 생성 수단에 의해 설정된 상기 물체 상태가 추정값로서 출력되고,

상기 물체 상태가 실제 위치/자세에 적합하지 않은 것으로 판정될 때에는, 상기 상태 수정 수단에 의해 산출된 새로운 물체 상태를 소정의 상태로 설정함으로써, 상기 비교 화상 생성 수단에 의한 상기 비교 화상 생성 처리, 상기 화상 위치 관계 검출 수단에 의한 위치 관계 검출 처리, 및 상기 수정량 계산 수단에 의한 상기 수정량 산출 처리를 포함하는 추정 처리가 다시 실행되며,

상기 추정 처리가 다시 실행된 후에 상기 비교 화상과 상기 입력 화상 사이의 갱신 후 유사도인 제 1 유사도를 산출하는 제 1 유사도 산출 수단과,

상기 추정 처리가 다시 실행되기 전에 상기 비교 화상과 상기 입력 화상 사이의 갱신 전 유사도인 제 2 유사도를 산출하는 제 2 유사도 산출 수단을 더 포함하고,

상기 상태 판정 수단은 상기 갱신 후 유사도인 제 1 유사도와 상기 갱신 전 유사도인 제 2 유사도를 비교하고, 상기 갱신 후 유사도인 제 1 유사도가 상기 갱신 전 유사도인 제 2 유사도보다 더 클 때에는, 상기 물체 상태가 실제 위치/자세에 적합하지 않은 것으로 판정하고, 상기 갱신 후 유사도인 제 1 유사도가 상기 갱신 전 유사도인 제 2 유사도보다 더 크지 않을 때에는, 상기 물체 상태가 실제 위치/자세에 적합한 것으로 판정하는 것을 특징으로 하는 물체 상태를 추정하는 추정 시스템.
삭제
위치 및 자세 중 적어도 하나의 상태가 추정되는 물체를 포함하는 입력 화상을 입력하는 화상 입력 수단과,

상기 물체의 3차원 형상 데이터를 기억하는 3차원 형상 데이터 기억 수단과,

상기 3차원 형상 데이터 기억 수단에 기억된 상기 3차원 형상 데이터를 이용하여 소정의 상태에 있는 상기 물체를 포함하는 화상을 비교 화상으로서 생성하는 비교 화상 생성 수단과,

상기 입력 화상과 상기 비교 화상 생성 수단에 의해 생성된 상기 비교 화상 사이의 위치 관계를 화상에서의 소정의 크기를 갖는 소영역(sub-region)마다 검출하는 화상 위치 관계 검출 수단과,

상기 화상 위치 관계 검출 수단에 의해 검출된 상기 위치 관계를 이용하여 상기 비교 화상에서의 상기 물체 상태의 수정량을 계산하는 수정량 계산 수단과,

상기 수정량 계산 수단에 의해 얻어진 수정량을 이용하여 상기 비교 화상 생성 수단에 의해 비교 화상 생성시에 설정된 상기 물체 상태를 수정함으로써, 새로운 물체 상태를 산출하는 상태 수정 수단을 포함하며,

상기 비교 화상 생성 수단은,

조명 조건에 따라 변하는 물체 표면의 휘도값을 재현하는 수단과,

상기 재현된 휘도값을 이용하여 상기 입력 화상에 가까운 조명 조건 하에서 상기 비교 화상을 생성하는 수단을 포함하는 것을 특징으로 하는 물체 상태를 추정하는 추정 시스템.
제 6 항에 있어서,

상기 조명 조건에 따라 상기 물체 표면의 휘도의 변동을 나타내는 조명 기저 화상군(群)을 기억하는 조명 기저 화상군 기억 수단을 더 포함하고,

상기 비교 화상 생성 수단은 상기 조명 기저 화상군 기억 수단에 기억된 상기 조명 기저 화상군을 이용하여 상기 물체 표면의 휘도값을 재현하는 것을 특징으로 하는 물체 상태를 추정하는 추정 시스템.
제 7 항에 있어서,

상기 물체의 상기 3차원 형상 데이터 및 상기 물체 표면의 반사율 데이터를 계측하는 3차원 형상 계측 수단과,

상기 3차원 형상 계측 수단에 의해 계측되는 상기 3차원 형상 데이터 및 상기 물체 표면의 반사율 데이터를 이용하여, 상기 조명 조건에 따라 상기 물체 표면의 휘도의 변동을 나타내는 조명 기저 화상을 계산하는 조명 기저 계산 수단을 더 포함하는 것을 특징으로 하는 물체 상태를 추정하는 추정 시스템.
제 8 항에 있어서,

상기 조명 기저 계산 수단은 복수의 조명 조건 하에서 3차원 형상 데이터의 각 점의 상기 휘도값을 나타내는 벡터군을 산출하고, 상기 벡터군의 주요 성분 분 석에 의해 고유값(eigenvalue)의 내림차순으로 기저 벡터군을 얻고, 상기 기저 벡터군을 상기 조명 기저 화상군으로서 출력하고,

상기 비교 화상 생성 수단은 상기 물체의 3차원 형상 데이터를 이용함으로써, 현재 시점에서의 추정값에 상기 물체가 있는 상기 화상의 화소와 상기 물체의 상기 3차원 형상 데이터의 각 점 사이의 대응을 구하고, 상기 대응을 이용함으로써, 상기 추정값에 상기 물체가 있는 상기 화상에 상기 조명 기저 화상군이 투영되는 화상 조명 기저군을 생성하고, 상기 화상 조명 기저군의 선형 결합에 의해 입력 화상에 가장 가까운 화상을 상기 비교 화상으로서 생성하는 것을 특징으로 하는 물체 상태를 추정하는 추정 시스템.
위치 및 자세 중 적어도 하나의 상태가 추정되는 물체를 포함하는 입력 화상을 입력하는 화상 입력 수단과,

상기 물체의 3차원 형상 데이터를 기억하는 3차원 형상 데이터 기억 수단과,

상기 3차원 형상 데이터 기억 수단에 기억된 상기 3차원 형상 데이터를 이용하여 소정의 상태에 있는 상기 물체를 포함하는 화상을 비교 화상으로서 생성하는 비교 화상 생성 수단과,

상기 입력 화상과 상기 비교 화상 생성 수단에 의해 생성된 상기 비교 화상 사이의 위치 관계를 화상에서의 소정의 크기를 갖는 소영역(sub-region)마다 검출하는 화상 위치 관계 검출 수단과,

상기 화상 위치 관계 검출 수단에 의해 검출된 상기 위치 관계를 이용하여 상기 비교 화상에서의 상기 물체 상태의 수정량을 계산하는 수정량 계산 수단과,

상기 수정량 계산 수단에 의해 얻어진 수정량을 이용하여 상기 비교 화상 생성 수단에 의해 비교 화상 생성시에 설정된 상기 물체 상태를 수정함으로써, 새로운 물체 상태를 산출하는 상태 수정 수단을 포함하며,

상기 수정량 계산 수단은 상기 비교 화상과 상기 입력 화상 사이의 소영역마다 상기 위치 관계를 나타내는 화상 변위 분포와 상기 물체의 3차원 형상 데이터를 이용하여, 대상 물체의 이동량이 화상 변위 분포에 가까워지도록 하는 상기 물체의 3차원 운동을 수정량으로서 산출하는 것을 특징으로 하는 물체 상태를 추정하는 추정 시스템.
삭제
삭제
삭제
삭제
위치 및 자세 중 적어도 하나의 상태가 추정되는 물체를 포함하는 입력 화상을 입력하는 단계와,

상기 물체의 3차원 형상 데이터를 이용하여, 소정의 상태에 있는 상기 물체를 포함하는 화상을 비교 화상으로서 생성하는 단계와,

상기 비교 화상과 상기 입력 화상 사이의 위치 관계를 상기 화상에서의 소정의 크기를 갖는 소영역마다 검출하는 단계와,

상기 검출된 위치 관계를 이용하여, 상기 비교 화상에서의 상기 물체 상태의 수정량을 계산하는 단계와,

상기 계산된 수정량을 이용하여, 비교 화상 생성시에 설정된 상기 물체 상태를 수정함으로써, 새로운 물체 상태를 산출하는 단계와,

상기 계산된 수정량에 의거하여, 비교 화상 생성시에 설정된 상기 물체 상태가 실제 위치/자세에 적합한지의 여부를 판정하는 단계와,

상기 물체 상태가 실제 위치/자세에 적합한 것으로 판정될 때에는, 비교 화상 생성시에 설정된 상기 물체 상태를 추정값으로서 출력하는 단계를 포함하고,

상기 물체 상태가 실제 위치/자세에 적합하지 않은 것으로 판정될 때에는, 산출된 새로운 물체 상태를 소정의 상태로 설정하여, 상기 비교 화상을 생성하는 상기 단계, 상기 위치 관계를 검출하는 상기 단계, 및 상기 수정량을 계산하는 상기 단계를 포함하는 추정 처리를 다시 실행하며,

추정 처리가 다시 실행된 후에 상기 비교 화상과 상기 입력 화상 사이의 갱신 후 유사도인 제 1 유사도를 산출하는 단계와,

상기 추정 처리가 다시 실행되기 전에 상기 비교 화상과 상기 입력 화상 사이의 갱신 전 유사도인 제 2 유사도를 산출하는 단계를 더 포함하고,

상기 판정 단계에서 상기 갱신 후 유사도인 제 1 유사도와 상기 갱신 전 유사도인 제 2 유사도를 비교하고, 상기 갱신 후 유사도인 제 1 유사도가 상기 갱신 전 유사도인 제 2 유사도보다 높을 때에는, 상기 물체 상태가 실제 위치/자세에 적합하지 않은 것으로 판정하고, 상기 갱신 후 유사도인 제 1 유사도가 상기 갱신 전 유사도인 제 2 유사도보다 높지 않을 때에는, 상기 물체 상태가 실제 위치/자세에 적합한 것으로 판정하는 것을 특징으로 하는 물체 상태를 추정하는 추정 방법.
삭제
위치 및 자세 중 적어도 하나의 상태가 추정되는 물체를 포함하는 입력 화상을 입력하는 단계와,

상기 물체의 3차원 형상 데이터를 이용하여, 소정의 상태에 있는 상기 물체를 포함하는 화상을 비교 화상으로서 생성하는 단계와,

상기 비교 화상과 상기 입력 화상 사이의 위치 관계를 상기 화상에서의 소정의 크기를 갖는 소영역마다 검출하는 단계와,

상기 검출된 위치 관계를 이용하여, 상기 비교 화상에서의 상기 물체 상태의 수정량을 계산하는 단계와,

상기 계산된 수정량을 이용하여, 비교 화상 생성시에 설정된 상기 물체 상태를 수정함으로써, 새로운 물체 상태를 산출하는 단계를 포함하며,

상기 비교 화상을 생성하는 상기 단계는,

조명 조건에 따라 변하는 물체 표면의 휘도값을 재현하는 단계와,

상기 재현된 휘도값을 이용하여 상기 입력 화상에 가까운 조명 조건 하에서 상기 비교 화상을 생성하는 단계를 포함하는 것을 특징으로 하는 물체 상태를 추정하는 추정 방법.
제 17 항에 있어서,

상기 비교 화상을 생성하는 상기 단계는 조명 조건에 따라 상기 물체 표면의 휘도의 변동을 나타내는 조명 기저 화상군을 이용하여 상기 물체 표면의 상기 휘도 값을 재현하는 것을 특징으로 하는 물체 상태를 추정하는 추정 방법.
제 18 항에 있어서,

상기 물체의 3차원 형상 데이터 및 상기 물체 표면의 반사율 데이터를 계측하는 단계와,

상기 3차원 형상 데이터 및 상기 물체 표면의 반사율 데이터를 이용하여, 상기 조명 조건에 따라 상기 물체 표면의 휘도의 변동을 나타내는 조명 기저 화상을 계산하는 단계를 더 포함하는 것을 특징으로 하는 물체 상태를 추정하는 추정 방법.
제 19 항에 있어서,

상기 조명 기저 화상을 계산하는 상기 단계에서, 복수의 조명 조건 하에서 3차원 형상 데이터의 각 점의 휘도값을 나타낸는 벡터군을 산출하고, 이 벡터군으로부터 주요 성분 분석에 의해 고유값의 내림차순으로 기저 벡터군을 얻고, 상기 기저 벡터군을 조명 기저 화상군으로서 출력하고,

상기 비교 화상을 생성하는 상기 단계에서, 상기 물체의 상기 3차원 형상 데이터를 이용하여 현재 시점에서의 추정값에 상기 물체가 있는 상기 화상의 화소와 상기 물체의 상기 3차원 형상 데이터의 각 점 사이의 대응을 얻고, 상기 대응을 이용하여 추정값에 상기 물체가 있는 상기 화상에 상기 조명 기저 화상군을 투영하는 화상 조명 기저군을 생성하고, 상기 화상 조명 기저군의 선형 결합에 의해 상기 입 력 화상에 가장 가까운 화상을 상기 비교 화상으로서 생성하는 것을 특징으로 하는 물체 상태를 추정하는 추정 방법.
위치 및 자세 중 적어도 하나의 상태가 추정되는 물체를 포함하는 입력 화상을 입력하는 단계와,

상기 물체의 3차원 형상 데이터를 이용하여, 소정의 상태에 있는 상기 물체를 포함하는 화상을 비교 화상으로서 생성하는 단계와,

상기 비교 화상과 상기 입력 화상 사이의 위치 관계를 상기 화상에서의 소정의 크기를 갖는 소영역마다 검출하는 단계와,

상기 검출된 위치 관계를 이용하여, 상기 비교 화상에서의 상기 물체 상태의 수정량을 계산하는 단계와,

상기 계산된 수정량을 이용하여, 비교 화상 생성시에 설정된 상기 물체 상태를 수정함으로써, 새로운 물체 상태를 산출하는 단계를 포함하며,

상기 수정량을 계산하는 상기 단계에서, 상기 비교 화상과 상기 입력 화상 사이의 소영역마다 상기 위치 관계를 나타내는 화상 변위 분포와 상기 물체의 3차원 형상 데이터를 이용하여, 대상 물체의 이동량이 화상 변위 분포에 가까워지도록 하는 상기 물체의 3차원 운동량을 상기 수정량으로서 산출하는 것을 특징으로 하는 물체 상태를 추정하는 추정 방법.
삭제
삭제
삭제
삭제
위치 및 자세 중 적어도 하나의 상태가 추정되는 물체를 포함하는 입력 화상을 입력하는 단계와,

상기 물체의 3차원 형상 데이터를 이용하여, 소정의 상태에 있는 상기 물체를 포함하는 화상을 비교 화상으로서 생성하는 단계와,

상기 비교 화상과 상기 입력 화상 사이의 위치 관계를 상기 화상에서의 소정의 크기의 소영역마다 검출하는 단계와,

상기 검출된 위치 관계를 이용하여, 상기 비교 화상에서의 상기 물체 상태의 수정량을 계산하는 단계와,

상기 계산된 수정량을 이용하여, 비교 화상 생성시에 설정된 상기 물체 상태를 수정함으로써, 새로운 물체 상태를 산출하는 단계와,

상기 계산된 수정량에 의거하여, 비교 화상 생성시에 설정된 상기 물체 상태가 실제 위치/자세에 적합한지의 여부를 판정하는 단계와,

상기 물체 상태가 실제 위치/자세에 적합한 것으로 판정될 때에는, 비교 화상 생성시에 설정된 상기 물체 상태를 추정값으로서 출력하는 단계와,

상기 물체 상태가 실제 위치/자세에 적합하지 않은 것으로 판정될 때에는, 상기 비교 화상을 생성하는 상기 단계, 상기 위치 관계를 검출하는 상기 단계, 및 상기 새로운 물체 상태를 상기 소정의 상태로 설정하여 상기 수정량을 산출하는 상기 단계를 포함하는 추정 처리를 다시 실행하는 단계와,

상기 추정 처리를 다시 실행한 후에 상기 비교 화상과 상기 입력 화상 사이의 갱신 후 유사도인 제 1 유사도를 산출하는 단계와,

상기 추정 처리를 다시 실행하기 전에 상기 비교 화상과 상기 입력 화상 사이의 갱신 전 유사도인 제 2 유사도를 산출하는 단계와,

상기 판정 단계로서, 상기 갱신 후 유사도인 제 1 유사도가 상기 갱신 전 유사도인 제 2 유사도보다 높을 때에는, 상기 물체 상태가 실제 위치/자세에 적합한 것으로 판정하고, 상기 갱신 후 유사도인 제 1 유사도가 상기 갱신 전 유사도인 제 2 유사도보다 높지 않을 때에는, 상기 물체 상태가 실제 위치/자세에 적합하지 않은 것으로 판정하는, 상기 갱신 후 유사도인 제 1 유사도와 상기 갱신 전 유사도인 제 2 유사도를 비교하는 단계를 컴퓨터에 실행시키는 물체 상태를 추정하는 추정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
삭제
위치 및 자세 중 적어도 하나의 상태가 추정되는 물체를 포함하는 입력 화상을 입력하는 단계와,

상기 물체의 3차원 형상 데이터를 이용하여, 소정의 상태에 있는 상기 물체를 포함하는 화상을 비교 화상으로서 생성하는 단계와,

상기 비교 화상과 상기 입력 화상 사이의 위치 관계를 상기 화상에서의 소정의 크기의 소영역마다 검출하는 단계와,

상기 검출된 위치 관계를 이용하여, 상기 비교 화상에서의 상기 물체 상태의 수정량을 계산하는 단계와,

상기 계산된 수정량을 이용하여, 비교 화상 생성시에 설정된 상기 물체 상태를 수정함으로써, 새로운 물체 상태를 산출하는 단계를 컴퓨터에 실행시키고,

상기 비교 화상을 생성하는 상기 단계에서,

조명 조건에 따라 변하는 물체 표면의 휘도값을 재현하는 단계와,

상기 재현된 휘도값을 이용하여 상기 입력 화상에 가까운 조명 조건 하에서 상기 비교 화상을 생성하는 단계를 컴퓨터에 실행시키는 물체 상태를 추정하는 추정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
제 28 항에 있어서,

상기 비교 화상을 생성하는 상기 단계로서, 상기 조명 조건에 따라 상기 물체 표면의 휘도의 변동을 나타내는 조명 기저 화상군을 이용하여 상기 물체 표면의 휘도값을 재현하는 단계를 컴퓨터에 실행시키는 물체 상태를 추정하는 추정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
제 29 항에 있어서,

상기 물체의 상기 3차원 형상 데이터 및 상기 물체 표면의 반사율 데이터를 계측하는 단계와,

상기 3차원 형상 데이터 및 상기 물체 표면의 상기 반사율 데이터를 이용하여, 상기 소정의 조명 조건에 따라 상기 물체 표면의 휘도의 상기 변동을 나타내는 조명 기저 화상을 계산하는 단계를 컴퓨터에 더 실행시키는 물체 상태를 추정하는 추정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
제 30 항에 있어서,

상기 조명 기저 화상을 계산하는 상기 단계로서, 복수의 조명 조건 하에서 상기 3차원 형상 데이터의 각 점의 상기 휘도값을 나타내는 벡터군을 산출하고, 상기 벡터군의 주요 성분 분석에 의해 고유값의 내림차순으로 기저 벡터군을 얻고, 상기 기저 벡터군을 상기 조명 기저 화상군으로서 출력하는 단계와,

상기 비교 화상을 생성하는 상기 단계로서, 상기 물체의 상기 3차원 형상 데이터를 이용하여 현재 시점에서의 추정값에 상기 물체가 있는 상기 화상의 화소와 상기 물체의 상기 3차원 형상 데이터의 점 사이의 대응을 얻고, 상기 대응을 이용하여 상기 추정값에 상기 물체가 있는 상기 화상에 상기 조명 기저 화상군을 투영하는 화상 조명 기저군을 생성하고, 상기 화상 조명 기저군의 선형 결합에 의해 상기 입력 화상에 가장 가까운 화상을 상기 비교 화상으로서 생성하는 단계를 컴퓨터에 실행시키는 물체 상태를 추정하는 추정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
위치 및 자세 중 적어도 하나의 상태가 추정되는 물체를 포함하는 입력 화상을 입력하는 단계와,

상기 물체의 3차원 형상 데이터를 이용하여, 소정의 상태에 있는 상기 물체를 포함하는 화상을 비교 화상으로서 생성하는 단계와,

상기 비교 화상과 상기 입력 화상 사이의 위치 관계를 상기 화상에서의 소정의 크기의 소영역마다 검출하는 단계와,

상기 검출된 위치 관계를 이용하여, 상기 비교 화상에서의 상기 물체 상태의 수정량을 계산하는 단계와,

상기 계산된 수정량을 이용하여, 비교 화상 생성시에 설정된 상기 물체 상태를 수정함으로써, 새로운 물체 상태를 산출하는 단계를 컴퓨터에 실행시키고,

상기 수정량을 계산하는 상기 단계로서, 상기 비교 화상과 상기 입력 화상에서의 소영역마다 상기 위치 관계를 나타내는 화상 변위 분포와 상기 물체의 상기 3차원 형상 데이터를 이용하여, 대상 물체의 이동량이 화상 변위 분포에 가깝게 되는 상기 물체의 3차원 운동량을 수정량으로서 산출하는 단계를 컴퓨터에 실행시키는 물체 상태를 추정하는 추정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
삭제
삭제
삭제
삭제
삭제
삭제
삭제