KR101178176B1 - 확률적 다중 해석에 기반한 3차원 물체 인식 및 자세 추정 시스템과 그 방법 - Google Patents

Abstract

본 발명은 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 시스템 및 그 방법에 대한 것으로서, 특히 약한 인식기를 통해 생성된 물체의 자세 후보들에 융합된 확률 증거를 추가하여 보다 정확하게 물체를 인식하고 그 자세를 추정할 수 있는 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 시스템 및 그 방법에 관한 것이다. 본 발명은 약한 인식기를 이용하여 획득된 불확실한 증거를 기초로 물체의 자세 후보들을 생성하고, 이에 추가적인 확률 증거를 추가하여 보다 정확하게 물체를 인식하고 자세를 추정할 수 있는 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 시스템 및 그 방법을 제공할 수 있다.

Description

확률적 다중 해석에 기반한 3차원 물체 인식 및 자세 추정 시스템과 그 방법{SYSTEM AND METHOD OF PROBABILISTIC MULTIPLE INTERPRETATIONS GENERATION BASED 3D OBJECT RECOGNITION AND POSE ESTIMATION}

본 발명은 물체 인식 및 자세 추정 시스템 및 그 방법에 대한 것으로서, 특히 약한 인식기를 통해 생성된 물체의 자세 후보들에 융합된 확률 증거를 추가하여 보다 정확하게 물체를 인식하고 그 자세를 추정할 수 있는 확률적 다중 해석에 기반한 3차원 물체 인식 및 자세 추정 시스템 및 그 방법에 관한 것이다.

물체 인식의 문제는 컴퓨터 비전에서 주된 관심 분야 중 하나이다. 종래 물체 인식에 대한 가장 일반적인 접근 방법으로서 모델 기반 인식 방법이 있다. 이 방법은 장면으로부터 추출된 특징을 물체에 대해 미리 저장된 특징과 매칭함으로써 물체를 인식하는 방법으로, M. F. S. Farias 등의 "Multi-view Technique For 3D Polyhedral Object Rocognition Using Surface Representation"(Revista Controle & Automacao., pp. 107-117, 1999), Y. Shirai의 "Three-Dimensional Computer Vision"(New York: Springer Verlag), J. Ben-Arie 등의 "Iconic recognition with affine-invariant spectral"(In Proc. IAPR-IEEE International Conference on Pattern an Recognition, volume 1, pp. 672-676, 1996) 등에 이와 같은 방법이 개시되어 있다. 이 밖에도 미리 정의된 모델 정보를 사용하여 물체를 인식하는 여러 방법들이 공지되어 있다.

Fischler와 Bolles는 "Random sample consensus: A paradigm for model

fitting with applications to image analysis and automated cartography"(Comm. Assoc. Comp. Mach, 24(6):381-395, 1981)에서 RANSAC을 이용하여 물체를 인식하는 방법으로, 장면 위에 모든 모델의 점들을 투사하여 투사된 점들이 검출된 장면의 점들과 근접한지 여부를 결정함으로써 물체를 인식하는 방법을 제안하였다. 그러나 이 방법은 여러번의 가설과 검증 과정을 거쳐야 하기 때문에 그리 효율적인 방법이 아닌 것으로 평가되었다. 또한, Olson은 "Efficient pose clustering using a randomized algorithm"(IJCV, 23(2):131-147, June 1997)에서 자세 클러스터링(pose clustering) 방법을 통해서 물체를 인식하는 방법을 제안하였다. 이 방법은 자세 공간을 이산적으로 발생시키고, 조사할 물체를 포함하여 클러스터(cluster)를 발견함으로써 물체를 인식한다. 그러나, 자세 공간이 6차원이기 때문에 데이터 크기가 상당히 크고, 충분히 정확한 자세가 생성될 때에만 자세 클러스터가 검출될 수 있다는 단점이 있었다. 다음으로, David 등은 "Softposit: Simultaneous pose and correspondence determination"(7th ECCV, volume III, pages 698-703, Copenhagen, Denmark, May 2002)에서 에너지 함수를 최소화함으로써 매칭과 자세 추정이 동시에 해결되는 인식방법을 제안하였다. 그러나 이는 비용 함수의 높은 비선형성으로 인하여 함수적 최소화 방법에서 최소값으로 수렴하지 않을 우려가 있었다.

또한, Johnson과 Herbert는 "Using spin images for efficient object recognition in cluttered 3D scenes"(IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 21, May 1999)에서 복잡한 3D 장면에서 스핀 이미지 기반의 인식 알고리즘을 제안하였고, Andrea Frome 등은 "Recognizing Objects in Range Data Using Regional Point Descriptors"(European Conference on Computer Vision, Prague, Czech Republic, 2004)에서 3D 형태 상황(shape context)의 성능을 스핀 이미지와 비교하였다. Jean Ponce 등은 "3D Object Modeling and Recognition Using Affine-Invariant Patches and Multi-View Spatial Constraints"(CVPR, volume 2, pp. 272-280, 2003)에서 아핀 인베리언트 패치(Affine invariant patches)를 이용한 3D 물체 인식 접근 방법을 소개하였고, 가장 최근에는 D. Lowe.의 "Object recognition from local scale invariant features"(Proc. 7th International Conf. Computer Vision (ICCV'99), pp.1150.1157, Kerkyra, Greece, September 1999)에서와 같이 여러 문헌들이 이미지 패치에서 디스크립터의 사용을 제안하였다.

물체 인식과 관련한 또 다른 접근 방법에는, Belongie 등이 "Shape matching and object recognition using shape contexts"(IEEE Trans. On Pattern Analysis and Machine Intelligence, 24(4):509-522, April 2002)에서 제안하고 있는 바와 같은 형태 상황(shape context)에 의해 착안된 로컬 형태 특징에 기반을 둔 방법이 있다. Owen Carmichael 등의 "Shape-Based Recognition of Wiry Object"(IEEE PAMI, May 2004)에서는, 이미지의 각각의 에지 픽셀에서 히스토그램 또는 형태 상황이 계산된 다음, 히스토그램에서 각각의 빈(bin)이 상기 픽셀 근처에 있는 에지 픽셀의 수로 고려되고, 가장 가까운 이웃(neighbor) 검색 및 히스토그램 거리를 측정한 다음, 모델 이미지로부터 형태 상황 및 테스트 이미지로부터 형태 상황 간의 일치 여부를 결정하는 방법을 개시하고 있다. 그러나 이 방법은 배경(background)이 관여될 때는 효과적이지 못한 문제가 있었고, 최근 A. Thayananthan 등은 "Shape context and chamfer matching in cluttered scenes"(Proc. IEEE Conference On Computer Vision and Pattern Recognition, 2003)에서 이 문제를 해결하기 위하여 고도로 복잡한 장면에서 형태 상황 매칭을 평가하는 방법을 제안하였다.

상술한 방법들 이외에도 물체 인식에 관한 많은 연구들이 알려져 있다. 그러나 알려진 방법들은 대부분 제한된 특징을 갖는 단일의 장면 정보에서 완전한 텍스쳐 환경 또는 정확한 3D 데이터가 구비되는 조건하에서만 잘 동작할 수 있다는 문제가 있었다.

본 발명의 목적은 센서의 잡음과 불확실성을 극복하여 강인한 물체 인식 및 자세 추정을 가능하게 하는 확률적 다중 해석에 기반한 3차원 물체 인식 및 자세 추정 시스템 및 그 방법을 제공하는 것이다.

상술한 목적을 달성하기 위해 본 발명은 영상 획득 장치로부터 입력된 단수 또는 다수의 영상에서 인식하고자 하는 물체의 특징을 추출하는 단계와, 상기 추출된 물체의 특징으로부터 인식하고자 하는 물체의 자세 후보들을 생성하는 단계와, 상기 자세 후보들 각각에 상기 인식하고자 하는 물체가 실제로 존재할 확률을 할당하는 단계와, 상기 영상 획득 장치의 관측으로부터 추출된 물체의 특징을 기반으로 생성되어 상기 물체가 실제로 존재할 확률이 할당된 자세 후보들과, 상기 관측 이전의 관측으로부터 추출된 물체의 특징을 기반으로 생성되어 물체가 실제로 존재할 확률이 할당된 자세 후보들 사이에서 상호 융합할 수 있는 자세 후보 짝들을 융합하여 최종 자세 후보들을 선정하고 각각의 상기 물체가 실제로 존재할 확률을 갱신하는 단계를 포함하는 것을 특징으로 하는 확률적 다중 해석에 기반한 3차원 물체 인식 및 자세 추정 방법을 제공한다.

상기 영상 획득 장치로부터 입력된 단수 또는 다수의 영상에서 인식하고자 하는 물체의 특징을 추출하는 단계는, 상기 영상에서 3차원 평행 라인과 교차 라인을 포함하는 3차원 라인을 획득하는 단계를 포함한다. 상기 추출된 물체의 특징으로부터 인식하고자 하는 물체의 자세 후보들을 생성하는 단계는, 상기 추출된 특징을 기반으로 인식하고자 하는 물체의 모델과의 매칭을 통하여 개개의 특징에 대하여 하나 또는 다수의 대표적인 물체 자세 후보들을 생성하는 단계를 포함하고, 상기 대표적인 물체 자세 후보들의 생성은 독립된 오리엔테이션을 기반으로 가능한 위치 영역을 단수 또는 복수의 후보들로 표현한다. 상기 자세 후보들 각각에 상기 인식하고자 하는 물체가 실제로 존재할 확률을 할당하는 단계는, 상기 물체가 존재할 때 자세 후보 생성에 사용된 특징인 3차원 라인과 상기 존재하는 물체에 대한 추가적인 특징들이 검출될 수 있는 가능 확률과, 상기 물체가 존재하지 않을 때 상기 자세 후보 생성에 쓰였던 특징인 3차원 라인과 추가적인 특징들이 검출될 수 있는 불가능 확률을 구하여 상기 자세 후보들에 할당하는 단계를 포함한다. 상기 인식하고자 하는 물체가 실제로 존재할 확률의 계산식은,

이며, 상기

는

또는

이고, 상기

은 상기 자세 후보 생성에 사용된 특징인 제 1 독립 측량이며, 상기

는 상기 존재하는 물체에 대한 추가적인 특징인 제 2 독립 측량이고, 상기

는 목표 물체일 확률이며, 상기

는 목표 물체가 아닐 확률이고, 상기

는 상기 가능 확률이며, 상기

는 상기 불가능 확률이다. 상기 영상 획득 장치의 관측으로부터 추출된 물체의 특징을 기반으로 생성되어 상기 물체가 실제로 존재할 확률이 할당된 자세 후보들과, 상기 관측 이전의 관측으로부터 추출된 물체의 특징을 기반으로 생성되어 물체가 실제로 존재할 확률이 할당된 자세 후보들 사이에서 상호 융합할 수 있는 자세 후보 짝들을 융합하여 최종 자세 후보들을 선정하고 각각의 상기 물체가 실제로 존재할 확률을 갱신하는 단계에서, 상기 상호 융합할 수 있는 자세후보 짝들을 융합은, 상기 자세 후보 짝이 가우시안 확률밀도 함수로 표현된 경우 계산식은,

로 산출되며, 상기

는 상태 벡터이고, 상기

은 상기 자세 후보 생성에 사용된 특징인 제 1 독립 측량에 대한 상태 벡터이며, 상기

는 상기 존재하는 물체에 대한 추가적인 특징인 제 2 독립 측량에 대한 상태 벡터이고, 상기

은

이며, 상기

는

이고, 상기

는 제 1 독립 측량(

)에 대한 목표 물체(

)의 확률이며, 상기

는 제 2 독립 측량(

)에 대한 목표 물체(

)의 확률이다. 상기 영상 획득 장치로부터 입력된 단수 또는 다수의 영상에서 인식하고자 하는 물체의 특징을 추출하는 단계와, 상기 추출된 물체의 특징으로부터 인식하고자 하는 물체의 자세 후보들을 생성하는 단계와, 상기 자세 후보들 각각에 상기 인식하고자 하는 물체가 실제로 존재할 확률을 할당하는 단계와, 상기 영상 획득 장치의 관측으로부터 추출된 물체의 특징을 기반으로 생성되어 상기 물체가 실제로 존재할 확률이 할당된 자세 후보들과, 상기 관측 이전의 관측으로부터 추출된 물체의 특징을 기반으로 생성되어 물체가 실제로 존재할 확률이 할당된 자세 후보들 사이에서 상호 융합할 수 있는 자세 후보 짝들을 융합하여 최종 자세 후보들을 선정하고 각각의 상기 물체가 실제로 존재할 확률을 갱신하는 단계를 순차적으로 반복하여 인식하고자 하는 물체의 자세를 최종 확정하고 상기 물체가 실제로 존재할 확률을 추출할 수 있다.

또한, 본 발명은 물체 이미지를 획득하는 영상 획득부와, 상기 물체 이미지에서 물체의 특징을 추출하는 다중 증거 추출부와, 상기 물체의 특징으로 상기 물체의 자세 후보들을 생성하는 다중 해석 생성부와, 상기 물체가 실제로 존재할 확률을 할당하는 확률 할당부와, 상기 영상 획득 장치의 관측으로부터 추출된 물체의 특징을 기반으로 생성되어 상기 물체가 실제로 존재할 확률이 할당된 자세 후보들과, 상기 관측 이전의 관측으로부터 추출된 물체의 특징을 기반으로 생성되어 물체가 실제로 존재할 확률이 할당된 자세 후보들 사이에서 상호 융합할 수 있는 자세 후보 짝들을 융합하여 최종 자세 후보들을 선정하고 각각의 상기 물체가 실제로 존재할 확률을 갱신하는 확률 융합부를 포함하는 것을 특징으로 하는 확률적 다중 해석 생성에 기반한 3차원 물체 인식 및 자세 추정 시스템을 제공한다.

상기 다중 증거 추출부는 상기 영상 획득부에서 획득된 이미지에서 색상 이미지를 추출하는 색상 추출부와, 상기 영상 획득부에서 획득된 이미지에서 2차원 라인을 추출하는 2차원 라인 추출부와, 상기 이미지에서 추출된 2차원 라인과 3차원 점군 데이터에서 3차원 라인을 획득하는 3차원 라인 추출부와, 상기 3차원 라인에서 3차원 평행 라인과 교차 라인을 획득하는 3차원 평행 라인/교차 라인 추출부를 포함할 수 있다. 상기 인식하고자 하는 물체가 실제로 존재할 확률의 계산식은,

이며, 상기

는

또는

이고, 상기

은 상기 자세 후보 생성에 사용된 특징인 제 1 독립 측량이며, 상기

는 상기 존재하는 물체에 대한 추가적인 특징인 제 2 독립 측량이고, 상기

는 목표 물체일 확률이며, 상기

는 목표 물체가 아닐 확률이고, 상기

는 상기 가능 확률이며, 상기

는 상기 불가능 확률이다. 상기 상호 융합할 수 있는 자세후보 짝들을 융합은, 상기 자세 후보 짝이 가우시안 확률밀도 함수로 표현된 경우 계산식은,

로 산출되며, 상기

는 상태 벡터이고, 상기

은 상기 자세 후보 생성에 사용된 특징인 제 1 독립 측량에 대한 상태 벡터이며, 상기

는 상기 존재하는 물체에 대한 추가적인 특징인 제 2 독립 측량에 대한 상태 벡터이고, 상기

은

이며, 상기

는

이고, 상기

는 제 1 독립 측량(

)에 대한 목표 물체(

)의 확률이며, 상기

는 제 2 독립 측량(

)에 대한 목표 물체(

)의 확률이다.

본 발명은 약한 인식기를 이용하여 획득된 불확실한 증거를 기초로 물체의 자세 후보들을 생성하고, 이에 추가적인 확률 증거를 추가하여 보다 정확하게 물체를 인식하고 자세를 추정할 수 있는 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 시스템 및 그 방법을 제공할 수 있다.

도 1은 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 시스템의 개념도.
도 2는 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법의 순서도.
도 3은 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법의 평행 라인에 기반한 다중 해석들을 나타낸 도면.
도 4는 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법의 교차 라인에 기반한 다중 해석들을 나타낸 도면.
도 5는 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법의 3차원 라인에 기반한 해석들을 나타낸 도면.
도 6은 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법의 커버리지 연산을 나타낸 도면.
도 7은 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법의 오류와 커버리지에 대한 가능 연산을 나타낸 도면.
도 8은 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법의 엔트로피와 커버리지를 설명하기 위한 도면.
도 9는 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법의 엔트로피와 커버리지에 대한 불가능 연산을 나타낸 도면.
도 10은 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법의 두 개의 해석 사이의 지원을 설명하기 위한 도면.
도 11은 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법의 실험 플랫폼과 목표 물체.
도 12는 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법의 실험 결과.

이하, 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.

그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상의 동일 부호는 동일한 요소를 지칭한다.

도 1은 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 시스템의 개념도이다.

본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 시스템은 도 1에 도시된 바와 같이, 영상 획득부(100)와, 다중 증거 추출부(200)와, 물체 모델(300), 다중 해석 생성부(400), 자세 판단부(500), 확률 할당부(600), 확률 융합부(700), 다중 해석 산출부(800)를 포함한다.

영상 획득부(100)는 실시간으로 실제의 주변환경이 포함된 인식할 물체에 대한 장면을 연속으로 촬영하여 2차원 및 2차원 영상정보를 획득한다. 본 발명은 영상 획득부로 스테레오 카메라를 사용할 수 있다.

다중 증거 추출부(200)는 영상 획득부(100)로부터 실시간 영상 정보를 입력받아 다양한 증거를 추출한다. 이러한 다중 증거 추출부(200)는 영상 획득부(100)에서 획득된 이미지에서 색상 이미지를 추출하는 색상 추출부(210)와, 영상 획득부(100)에서 획득된 이미지에서 2차원 라인을 추출하는 2차원 라인 추출부(220), 영상 획득부(100)에서 획득된 이미지에서 추출된 2차원 라인과 3차원 점군 데이터에서 3차원 라인을 획득하는 3차원 라인 추출부(230), 3차원 라인 추출부(230)에서 획득된 3차원 라인에서 3차원 평행 라인과 교차 라인을 획득하는 3차원 평행 라인/교차 라인 추출부(240)를 포함한다. 물론, 이는 하나의 예시일뿐이며, 다중 증거 추출부는 물체 이미지의 색상과 라인뿐만 아니라 SHIFT를 이용하여 물체의 특징, 즉, 증거를 추출할 수도 있다.

물체 모델(300)은 다중 증거 추출부(200)에서 추출된 3차원 평행 라인과 교차 라인과 비교하기 위한 물체 모델로서, 물체에 대한 3차원 기하학 와이어 프레임과 표면 질감 등에 대한 정보를 미리 추출하여 데이터베이스화한 것이다. 이러한 물체 모델은 물체, 예를 들어, 가정내에 존재할 수 있는 냉장고와 텔레비전 및 가구 등과 같은 물체들에 대한 3차원 기하학 와이어 프레임과 표면 질감 등이 데이터베이스화된다.

다중 해석 생성부(400)는 다중 증거 추출부(200)에서 획득된 3차원 평행 라인과 교차 라인을 기초로 영상 획득부(100)를 통해 이미지를 캡춰한 물체가 취할 수 있는 자세 후보들을 생성한다. 즉, 다중 해석 생성부(400)에서 다중 해석 생성이란 물체에 대해서 획득된 3차원 평행 라인과 교차 라인을 기초로 생성된 물체의 자세 후보들을 생성하는 것을 의미한다.

자세 판단부(500)는 다중 해석 생성부(400)에서 생성된 물체의 자세 후보들의 자세를 판단한다.

확률 할당부(600)는 자세 후보들에 대해서 물체의 2차원 라인과 색상 등을 포함하는 2차원 특징과, 3차원 평행 라인과 교차 라인을 포함하는 3차원 특징 각각에 대해서 해당 물체가 취할 수 있는 자세의 확률을 할당한다. 이는, 물체가 존재할 경우 획득 가능한 증거인 가능 확률

와 물체가 존재하지 않을 경우 획득 가능한 증거인 불가능 확률

를 2차원 특징과 3차원 특징 각각에 대해서 계산한다. 여기서, F는 묘사된 특징이며,

는 대상 물체의 존재,

는 각 대상 물체의 부재를 의미한다. 이때, 가능 확률은 예를 들어, 물체가 냉장고일 경우, 냉장고에 대해 획득 가능한 증거, 예를 들어, 냉장고의 높이와 폭 등에 의해 정의되는 라인 길이일 수 있다. 또한, 불가능 확률은 냉장고가 존재하지 않을 경우, 특정 길이를 가지는 라인이 존재하지 않을 확률을 의미한다. 본 발명은 이러한 가능 확률과 불가능 확률을 모두 계산하여 물체의 인식 가능성을 증가시킬 수 있다.

확률 융합부(700)는 확률 할당부(600)에서 계산된 2차원 특징에 대한 확률과 3차원 특징에 대한 확률을 융합한다. 또한, 이에 따라 불명확한 자세 후보들이 보다 명확해질 수 있다.

다중 해석 산출부(800)는 확률 융합부(700)에서 2차원 특징과 3차원 특징에 대한 확률이 융합되어 보다 명확해진 물체의 자세 후보들을 출력한다.

상술한 바와 같이 본 발명은 약한 인식기를 이용하여 획득된 불확실한 증거를 기초로 물체의 자세 후보들을 생성하고, 이에 추가적인 확률 증거를 추가하여 보다 정확하게 물체를 인식하고 자세를 추정할 수 있는 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 시스템을 제공할 수 있다.

다음은 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법에 대해 도면을 참조하여 설명하고자 한다. 후술할 내용 중 전술된 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 시스템의 설명과 중복되는 내용은 생략하거나 간략히 설명하기로 한다.

도 2는 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법의 순서도이다.

본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법은 도 2에 도시된 바와 같이, 이미지를 획득하는 단계와, 다중 해석을 생성하는 단계와, 확률 증거를 추가하는 단계, 및 다중 해석을 산출하는 단계를 포함한다.

이미지를 획득하는 단계는 3차원 라인 추출과 물체 모델 특징을 기초로 선택된 3차원 평행 라인과 교차 라인이 추출되도록 이미지를 획득한다. 이는 스테레오 카메라 등을 이용하여 수행할 수 있다. 이때, 이미지를 획득하는 단계에서는 획득된 이미지에서 색상과 라인 및 SHIFT에 의해 물체의 특징을 추출할 수 있으며, 이하에서는 물체의 라인을 획득하는 것을 예시한다. 또한, 이에 따라, 이미지를 획득하는 단계는 2차원 라인 및 3차원 라인을 획득하는 단계와, 3차원 평행 라인과 교차 라인을 획득하는 단계를 포함한다.

2차원 라인 및 3차원 라인을 획득하는 단계는 추출된 증거 중에서 라인(line) 특징의 경우, 먼저 입력된 2차원 영상으로부터 모든 라인들을 추출하고, 추출된 2차원 라인에 대응되는 3차원 점들(3차원 점군 데이터)을 맵핑하여 2차원 라인을 3차원 라인으로 전환한 후, 3차원 라인에 대한 3차원 평행 라인과 교차 라인을 추출한다. 이를 데이터베이스에 미리 저장된 모델 상의 3차원 라인 정보와 비교하여 다양한 물체의 위치 및 자세를 생성한다. 이는 본 발명이 물체의 자세를 정확하게 판단할 수 없는 약한(weak) 인식기를 이용하므로, 추출된 증거들을 이용하여 물체의 예상되는 자세 후보들을 생성한다. 2차원 영상으로부터 물체의 자세를 생성하는데 필요한 모든 라인들을 추출하기 위하여, 먼저 캐니 에지(canny edge) 알고리즘에 의해 에지들을 그리고, 그려진 에지를 그들의 연결관계에 기초하여 수평선, 수선선 및 대각선 세그먼트로 분류한다. 다음에, 2차원에서 라인들의 앨리어싱(aliasing) 문제에 기초하여 각 라인들의 세그먼트를 인접하는 라인들의 세그먼트와 연결함으로써 2차원 라인들을 추출한다. 추출한 2차원 라인들의 픽셀에 대응하는 3차원 점들이 있는 경우, 3차원 라인들이 획득될 수 있다. 한편, 인식될 물체는 데이터베이스에 정의된 3차원 라인들의 세트로 표현된다. 데이터베이스에 미리 저장된 모델 상의 두드러진 라인들을 방향(orientation)과 관계(relationship)라는 두 개의 파라미터에 기초하여 사용함으로써, 장면에서 3차원 라인들의 근처에 생성될 수 있는 가능한 자세들을 효율적으로 발견할 수 있다. 한편, 본 발명은 2차원 라인 및 3차원 라인을 획득하는 단계에서 물체의 색상 이미지도 획득한다.

3차원 평행 라인과 교차 라인을 획득하는 단계는 2차원 라인 및 3차원 라인을 획득하는 단계에서 획득된 3차원 라인과 미리 데이터베이스화된 물체 모델 특징을 기초로 선택된, 물체에 대한 3차원 평행 라인과 교차 라인을 추출한다.

다중 해석을 생성하는 단계는 물체의 3차원 평행 라인과 교차 라인을 기초로 물체가 취할 수 있는 자세 후보들을 생성한다. 이때, 준비된 물체 모델은 물체에 대한 3차원 기하학 와이어 프레임과 표면 질감 등에 대한 정보를 미리 추출하여 데이터베이스화한 것이다. 이때, 다중 해석 생성이란 물체에 대해서 획득된 3차원 평행 라인과 교차 라인을 기초로 생성된 물체의 자세 후보들을 생성하는 것을 의미하며, 다중 해석을 생성하는 단계는 이미지를 캡춰한 물체가 취할 가능성이 있는 자세들의 후보들을 생성한다.

도 3은 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법의 평행 라인에 기반한 다중 해석들이다. 도 4는 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법의 교차 라인에 기반한 다중 해석들이다.

평행 라인 쌍과 교차 라인 쌍은 가정환경 내에 인공 물체의 라인 특징의 물리적인 병합이다. 이는 도 3과 도 4에 도시된 바와 같이, 쓰레기통이 목표 물체라 간주할 때, 도 3(a)에 도시된 바와 같이, 다중 해석은 불연속 모드와 연속 모드, 여기서 불연속 모드는 모호함(ambiguity)을 의미하며, 연속 모드는 불확실성(uncertainty)을 나타낸다. 평행 쌍의 경우, 연속 모드는 도 3(c)에 도시된 바와 같이 기준 평행 라인을 따라 이동하는 영역(sliding area)로 나타낼 수 있다. 하지만, 수선한 쌍의 연속 모드의 경우, 도 4(b)에 도시된 바와 같이 자세 공간 내에 불확실한 영역을 커버할 수 있는 가우시안 확률 밀도 함수로 나타낼 수 있다.

도 5는 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법의 3차원 라인에 기반한 해석들이다.

도 5에 도시된 바와 같이, 모델 매칭 절차를 수행하는 동안 추정되는 자세를 해석한다. 모델 데이터는 도 3(a)에 도시된 쓰레기통 등과 같은 물체의 와이어 프레임이다. 이전에 생성된 해석들과 추정된 자세는 이어서, "S. I. Lee, B. I. Cho, J.-K. Lee et al., "Visibility-based modelling and control for network-based robotics," Pattern Recognition Letters, vol. 30, no. 11, pp. 968-976, 2009."에 따른 가시성 테스트를 한 후, 도 5(a)의 파란색 3차원 라인과 같이 유효 기하학 증거를 찾는다.

도 5(b)에 도시된 바와 같이, 해석의 번째 라인 세그먼트를

로 둔다. 이때,

이며,

은 해석의 모든 가시적인 라인 세그먼트(도 5(a)의 검은색 3차원 라인(쓰레기통 형상))의 개수이다.

에 속하는 라인 특징

는 라인 특징의 중간점과

사이의 거래에 의해 결정된다. 라인 특징과

사이의 각도

는 확률에 속하는 모든 라인 특징을 찾아서 이용될 수 있다. 두 개의 임계값은 선험적으로 상세화되고 각각이 거리 임계값과 각도 임계값으로

및

와 같은 관련성이 없는 라인 특징을 제거하기 위해 이용된다. 이는 해석의 한 라인 세그먼트가 여러 라인 특징을 소유하는 경우일 수 있으며, 이와 같이 하나의 라인 특징

을 찾을 수 있다. 여기서

이며,

는

에 속하는 라인 특징의 개수이다.

해석된 라인 특징의 가능확률(likelihood probability)

을 계산하기 위해, 오차 거리뿐만 아니라 특정 행의 커버리지를 이용한다. 이때,

번째 기준 라인 세그먼트와

번째 라인 특징의 오차 거리를

와 라인 특징의 중간점과 기준(reference) 라인 사이의 거리에 의해 정의한다. 추가적으로, 라인 특징과

번째 라인 세그먼트

사이의 각도

는 아래의 수학식1과 같이 계산될 수 있다.

이상에서 설명한 바와 같이, 각각의 기준 라인은 출발점 내부에서 몇 가지 라인 특징들을 가진다. 그 결과로서, 각각의

번째 기준 라인과 관련된 오류는 아래의 수학식2와 같이 집계될 필요가 있다.

여기서, 각각의 오류

을 계산할 때, 거리와 각 오차가 임계값

와

에 의해 정상화된다. 특히, 계수

는 거리 오차와 각 오차 사이에 상대적인 가중치를 부과하기 위해 이용된다. 그 후, 각각 라인의 커버리지(coverage)를 계산하기 위해, 라인 특징을 상응하는 기준 라인에 투영한다.

도 6은 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법의 커버리지 연산을 나타낸 것이다.

도 6에 도시된 바와 같이, 기준 라인

의 녹색 부분은 라인의 커버리지가 기준 라인에 대하여 특징을 이룬다. 따라서,

번째 기준 라인과 관련된 커버리지는 수학식3과 같이 계산된다.

일련의 기준 라인이 주어지면, 총 오류는 수학식4에서와 같이 각각 오류와 커버리지의 평균을 가짐으로써 계산된다.

마지막으로, 가능확률(likelihood probability)은 수학식5와 같이 계산된다.

도 7은 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법의 오류와 커버리지에 대한 가능 연산을 나타낸 것이다.

가능성이 오류에 포물선인 동안 커버리지에 비례하며, 가능성의 도표식 도해는 도 7과 같이 나타난다.

도 8은 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법의 엔트로피와 커버리지의 설명이고, 도 9는 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법의 엔트로피와 커버리지에 대한 불가능 연산을 나타낸 것이다.

한편, 불가능확률(unlikelihood probability)의 계산은 커버리지 뿐만 아니라 엔트로피(entropy)도 선택된다. 여기서 엔트로피는 유효 증거의 분배 분석에 사용되며, 명확하게는 주어진 두 개의 해석은 동일한 커버리지를 갖는다. 하지만, 입증 자료는 도 8에 도시된 바와 같이 다양한 분포를 가지고 있으며, 여기서 해석 도 8(a)와 도 8(b)가 한계선에 의해 커버되는 동일한 커버리지를 가지고 있지만, 실제로는 도 8(a)가 도 8(b)보다 강인(robust)하다.

표1은 엔트로피와 커버리지 계산의 알고리듬을 보여준다.

1. 는 로 일반화되며, 이다. 2. 엔트로피 는 와 같이 계산된다. 3. 엔트로피 는 로 일반화되며, 이다. 4. 총 커버리지는 이며, 범위 을 가진다.

표1을 참조하면, 엔트로피는

로 표시되며, 총 커버리지는

로 표현된다. 여기서, 엔트로피를 일반화하는 이유는 불가능 효과를 계산하기 위한 것이다. 이와 같이, 불가능확률(unlikelihood probability)은 수학식6에 의해 계산된다.

여기서,

는 엔트로피와 커버리지 사이의 중요한 균형 유지 계수이다. 또한, 도 9는 불가능확률이 엔트로피와 커버리지에 반비례한다는 것을 보여준다.

입자 필터링의 주요 목적은 일반적으로 비-가우시안(non-Gaussian)과 잠재적인 다중 모델 확률 밀도 함수(probability density function)로 관심을 갖는 변수를 "추적하는 것(track)"이다. 이러한 방법의 기본은 전체 확률 밀도 함수의 샘플 기반 표현을 구성하는 것이다. 또한, 순차적인 몬테카를로 방법(Monte Carlo methods)으로 알려진 입자 필터링은 시뮬레이션을 기반으로 한 세련된 모형 추정 기술이다. 이는 일반적으로 베이즈(Bayesian) 모델을 추정하는데 사용되며, MCMC(Markov chain Monte Carlo) 배치 방법의 축차와 유사하다.

입자 필터링은 관찰 데이터를 기반으로 숨겨진 매개변수의 시퀀스를 추정하는 것을 목표로 하며, 모든 베이즈 추론(Bayesian estimates)은 사후 분포에 따른다. 또한, 입자 필터링의 두 개의 중요한 구성은 상태 변화(state transition)와 관찰 모델(observation models)들이며, 이는 수학식7과 수학식8과 같이 각각 정의될 수 있다.

여기서,

는 상태 벡터이며,

는 시스템 잡음이다.

는 운동 특성이며,

는 관찰 잡음이다. 또한,

는 본 발명에 따른 관찰 모델들이며,

는 로봇 주행 잡음이며,

는 로봇 모션을 의미한다. 그리고,

는 카메라 잡음과 계산 오류로부터 도출되며,

는 다중 해석 생성의 프로세스이다.

확률 증거를 추가하는 단계는 다중 해석을 생성하는 단계에서 생성된 자세 후보들에 확률 증거를 추가한다. 이러한 확률 증거를 추가하는 단계는 2차원 특징 기초의 외형에 의한 확률을 할당하는 단계와, 3차원 라인에 의한 확률을 할당하는 단계와, 2차원 확률과 3차원 확률을 융합하는 단계, 및 가우시안 확률밀도 함수로 표현하는 단계를 포함한다.

2차원 특징 기초의 외형에 의한 확률을 할당하는 단계는 물체의 색상과 2차원 라인 등을 포함하는 물체의 2차원 특징을 기초로 물체의 존재 및 부존재에 따라 획득 가능한 증거의 획득 확률을 구하고, 이를 각각의 자세 후보들에 할당한다.

3차원 라인에 의한 확률을 할당하는 단계는 물체의 3차원 평행 라인과 교차 라인을 포함하는 3차원 라인을 기초로 물체가 존재할 때와 존재하지 않을 때에 따라 획득 가능한 증거의 획득 확률을 구하고, 이를 각각의 자세 후보들에 할당한다.

즉, 2차원 특징 기초의 외형에 의한 확률을 할당하는 단계와 3차원 라인에 의한 확률, 즉, 3차원 확률을 할당하는 단계는 물체의 2차원 특징과 3차원 라인을 기초로 물체가 존재할 경우 획득 가능한 증거인 가능 확률

와 물체가 존재하지 않을 경우 획득 가능한 증거인 불가능 확률

를 계산한다. 여기서,

는 묘사된 특징이며,

는 대상 물체의 존재,

는 각 대상 물체의 부재를 의미한다. 이때, 가능 확률은 예를 들어, 물체가 냉장고일 경우, 냉장고에 대해 획득 가능한 증거, 예를 들어, 냉장고의 높이와 폭 등에 의해 정의되는 라인 길이일 수 있다. 또한, 불가능 확률은 냉장고가 존재하지 않을 경우, 특정 길이를 가지는 라인이 존재하지 않을 확률을 의미한다. 본 발명은 이러한 가능 확률과 불가능 확률을 모두 계산하여 물체의 인식 가능성을 증가시킬 수 있다.

2차원 확률과 3차원 확률을 융합하는 단계는 계산된 2차원 확률과 3차원 확률을 융합한다.

가우시안 확률밀도 함수로 표현하는 단계는 각 해석, 즉, 각각의 생성된 물체의 자세 후보들의 불확실한 자세는 다차원 가우시안 확률밀도 함수로 묘사한다. 또한, 이에 따라 점으로 표현된 물체의 자세 후보들은 공간적으로 표현될 수 있다.

다중 해석을 산출하는 단계는 3차원 라인과 2차원 색상 이미지 양쪽으로부터 지원된 증거에 의해 확률 부여와 자세 분할에 의한 가시 테스트에 해석이 만족한다면 3차원 워크스페이스 내에 대상 물체의 가능한 자세로 표현되는 가중된 다중 해석을 출력한다.

도 10은 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법의 두 개의 해석 사이의 지원을 도시한 것이다. 여기서, 도 10에서 왼쪽 그래프는

이며, 오른쪽 그래프는

이다.

이러한 확률 증거를 추가하는 단계는 우선, 대상 물체의 자세를 추정할 필요가 있으며, 상태 벡터(

)는 트위스트 표현에 의해 6차원 벡터가 된다. 동일한 목표

에 대해서

과

가 해석의 쌍이라 가정하면, 이는 두 개의 독립적인 측량

과

로부터 생성된다. 이는

과

또는 동등하게,

,

과

,

로 모두 정의된다. 여기서, 두 가지 해석을 융합하는 가능성과, 가능할 경우

내에 그들을 융합할 수 있다. 이는 먼저, 이러한 두 가지 해석이 서로 지원하는지 아닌지 규정해야 하며, 도 10에 도시된 바와 같이

과

는 상호 지원과 편향 지원 및 무지원과 같은 연합 중 하나를 특징으로 한다. 우선, 상호 지원의 경우,

이

을 지원하거나 그 반대이다. 또한, 편향 지원의 경우,

이

을 지원하지만

은

을 지원하지 않으며,

이

을 지원하지 않을 경우

은

을 지원한다. 무지원의 경우,

은

을 지원하지 않으며,

역시

을 지원하지 않는다. 여기서, 지원은

과

의 평균 사이의 마할라노비스(Mahalanobis) 거리에 의해 결정된다. 만약, 상호 지원 또는 편향 지원 중 어느 하나와 같이

과

가 각각이 지원할 경우,

가 되며, 여기서,

는 수학식9와 같이 연산될 수 있다.

여기서,

또는

이고,

는

와 같이 단순화될 수 있다. 이 세 개의 파트는 다중 해석의 생성으로부터 이미 알고 있다. 이때, 융합 확률

뿐만 아니라,

도 연산될 수 있다. 또한,

와

도 이미 정의되어 알고 있다. 무지원의 경우, 두 개의 가우시안 확률 밀도 함수로 가중 융합되어 단순화되며, 더욱 자세하게는

과

에 의해

로 나타낼 수 있다.

한편, 정리 "C. Genest, J. V. Zidek, "Combining Probability distributions: A Critique and an Annotated Bibliography," Statistical Science, vol. 1, no. 1. pp. 114-135. 1986."에 따르면, 확률 밀도 함수의 결합을 위해 두 개의 상이한 접근이 있다. 첫 번째 접근은 보조 확률 밀도 함수의 가중치 합으로 설명될 수 있으며, 다중 형태 확률 밀도 함수는 이것으로부터 얻을 수 있다. 두 번째 접근은 개별적인 확률 밀도 함수의 배로 가중하여 연결된 확률 밀도를 연산할 수 있다. 하나의 형태 확률 밀도 함수는 일반화 후에 얻을 수 있다. 하나의 모델 확률 밀도를 얻기 위해서, 이러한 확률 융합은 수학식10과 같은 단봉형(單峰形, unimodal) 가우시안 분산에 근접한다.

여기서,

이고,

이다.

또한, 이러한 결과로부터, 확률 융합은 수학식10에 따라 값

와 공분산(共分散, covariance)

을 갖는 단봉형 가우시안 확률 밀도 함수 형태가 된다.

상술한 바와 같이 본 발명은 획득된 이미지로부터 물체의 특징을 추출하여 물체의 자세 후보들을 생성한다. 또한, 자세 후보들에 해당 물체가 실제로 존재할 확률을 할당하며, 물체가 실제로 존재할 확률이 할당된 자세 후보들 사이에서 상호 융합할 수 있는 자세 후보 짝들을 융합하여 최종 자세 후보들을 선정하고, 각각의 물체가 실제로 존재할 확률을 갱신하여 물체 인식 확률을 증가시킨다. 이때, 자세 후보 짝은 새로운 관측에 따른 이미지에서 생성된 자세 후보와, 새로운 관측 이전에 따른 이미지에서 생성된 자세 후보에서 선출될 수 있다.

한편, 전술된 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법을 실험하였다.

도 11은 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법의 실험 플랫폼과 목표 물체이다.

이러한 실험은 도 11에 도시된 바와 같이, 본 발명을 Pioneer 3-AT 로봇 플랫폼과 Bumblebee 스테레오 카메라를 이용하여 실제 가정환경에서 실시하였다. Bumblebee 스테레오 카메라의 해상도는 640ㅧ480이며, 쓰레기통을 인식하기 위한 목표 물체로 선정하였다. 실험의 진행은 먼저, 연속하는 3차원 라인 특징을 "Z.J. Lu, S.M. Baek, S.H. Lee, "Robust 3D Line Extraction from Stereo Point Clouds," Robotics, Automation and Mechatronics, 2008 IEEE Conference on, pp.1-5, 21-24 Sept. 2008"과 같이 3차원 점 구름(point clouds)으로부터 추출하고, 평행 쌍들과 수선 쌍들을 생성했다. 그리고, 모델과 비교하여 평행 쌍들과 수선 쌍들 중 한 쌍을 선택하고, 불필요한(ghost) 해석들을 제거하기 위해 각각의 불연속 모드를 위한 가시도 테스트를 수행하였다. 확률 계산은 두 단계로 나누어질 수 있으며, 처음에는 3차원 라인에 의해 확률을 기하학적 증거로 추정하고, 3차원 자세를 2차원 이미지 평면에 투영하고 해석을 검증하기 위해 조화된 HSV 컬러 히스토그램을 이용했다. 이와 같은 과정에 의해 높은 확률을 갖는 소수의 가능한 해석이 입자 필터링의 입력으로 선택되었다. 이와 같은 과정은 도 12를 참조하여 이해할 수 있다.

도 12는 본 발명에 따른 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법의 실험 결과이다. 도 12의 (a)는 실험 환경이며, (b)는 3차원 라인들을 나타낸 것이다. 도 12의 (c)는 3차원 평행 라인들이며, (d)는 다중 해석을 나타낸 것이다. 도 12의 (e)는 2차원 프로젝션이며, (f)는 기하학적인 유효 증거를 나타낸 것이다. (g)는 해석 융합을 나타내며, (h)는 집중된 하나의 자세를 나타낸다.

도 12(a) 내지 도 12(f)는 목표물인 쓰레기통에 대한 다중 해석 생성 단계를 보여주고 있다. 또한, 도 12(g) 내지 도 12(h)는 해석이 연속적 관측에 의해 연속적으로 용융 및 수정되고, 가장 강하고 안정적이며 정확한 단 하나의 자세로 집중되는 것을 보여준다.

이와 같이, 본 발명은 약한 인식기를 이용하여 획득된 불확실한 증거를 기초로 물체의 자세 후보들을 생성하고, 이에 추가적인 확률 증거를 추가하여 보다 정확하게 물체를 인식하고 자세를 추정할 수 있는 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 방법을 제공할 수 있다.

이상에서는 도면 및 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 기술적 사상으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 즉, 본 발명에 따른 물체 인식 및 자세 추정 방법은 홈 서비스 로봇과 같은 로봇과, CCTV 등과 같은 영상 장치를 포함하는 다양한 분야에 적용될 수 있다.

100: 영상 획득부 200: 다중 증거 추출부
210: 색상 추출부 220: 2차원 라인 추출부
230: 3차원 라인 추출부
240: 3차원 평행 라인/교차 라인 추출부
300: 물체 모델 400: 다중 해석 생성부
500: 자세 판단부 600: 확률 할당부
700: 확률 융합부 800: 다중 해석 산출부

Claims (11)

1. 영상 획득 장치로부터 입력된 단수 또는 다수의 영상에서 인식하고자 하는 물체의 특징을 추출하는 단계와,
   상기 추출된 물체의 특징으로부터 인식하고자 하는 물체의 자세 후보들을 생성하는 단계와,
   상기 자세 후보들 각각에 상기 인식하고자 하는 물체가 실제로 존재할 확률을 할당하는 단계와,
   상기 영상 획득 장치의 관측으로부터 추출된 물체의 특징을 기반으로 생성되어 상기 물체가 실제로 존재할 확률이 할당된 자세 후보들과, 상기 관측 이전의 관측으로부터 추출된 물체의 특징을 기반으로 생성되어 물체가 실제로 존재할 확률이 할당된 자세 후보들 사이에서 상호 융합할 수 있는 자세 후보 짝들을 융합하여 최종 자세 후보들을 선정하고 각각의 상기 물체가 실제로 존재할 확률을 갱신하는 단계를 포함하는 것을 특징으로 하는 확률적 다중 해석에 기반한 3차원 물체 인식 및 자세 추정 방법.
2. 청구항 1에 있어서,
   상기 영상 획득 장치로부터 입력된 단수 또는 다수의 영상에서 인식하고자 하는 물체의 특징을 추출하는 단계는,
   상기 영상에서 3차원 평행 라인과 교차 라인을 포함하는 3차원 라인을 획득하는 단계를 포함하는 것을 특징으로 하는 확률적 다중 해석에 기반한 3차원 물체 인식 및 자세 추정 방법.
3. 청구항 1에 있어서,
   상기 추출된 물체의 특징으로부터 인식하고자 하는 물체의 자세 후보들을 생성하는 단계는,
   상기 추출된 특징을 기반으로 인식하고자 하는 물체의 모델과의 매칭을 통하여 개개의 특징에 대하여 하나 또는 다수의 대표적인 물체 자세 후보들을 생성하는 단계를 포함하고,
   상기 대표적인 물체 자세 후보들의 생성은 독립된 오리엔테이션을 기반으로 가능한 위치 영역을 단수 또는 복수의 후보들로 표현하는 것을 특징으로 하는 확률적 다중 해석에 기반한 3차원 물체 인식 및 자세 추정 방법.
4. 청구항 1에 있어서,
   상기 자세 후보들 각각에 상기 인식하고자 하는 물체가 실제로 존재할 확률을 할당하는 단계는,
   상기 물체가 존재할 때 자세 후보 생성에 사용된 특징인 3차원 라인과 상기 존재하는 물체에 대한 추가적인 특징들이 검출될 수 있는 가능 확률과, 상기 물체가 존재하지 않을 때 상기 자세 후보 생성에 쓰였던 특징인 3차원 라인과 추가적인 특징들이 검출될 수 있는 불가능 확률을 구하여 상기 자세 후보들에 할당하는 단계를 포함하는 것을 특징으로 하는 확률적 다중 해석에 기반한 3차원 물체 인식 및 자세 추정 방법.
5. 청구항 4에 있어서,
   상기 인식하고자 하는 물체가 실제로 존재할 확률의 계산식은,
   

   

   이며,
   상기

   

   는

   

   또는

   

   이고,
   상기

   

   은 상기 자세 후보 생성에 사용된 특징인 제 1 독립 측량이며,
   상기

   

   는 상기 존재하는 물체에 대한 추가적인 특징인 제 2 독립 측량이고,
   상기

   

   는 목표 물체일 확률이며,
   상기

   

   는 목표 물체가 아닐 확률이고,
   상기

   

   는 상기 가능 확률이며,
   상기

   

   는 상기 불가능 확률인 것을 특징으로 하는 확률적 다중 해석에 기반한 3차원 물체 인식 및 자세 추정 방법.
6. 청구항 1에 있어서,
   상기 영상 획득 장치의 관측으로부터 추출된 물체의 특징을 기반으로 생성되어 상기 물체가 실제로 존재할 확률이 할당된 자세 후보들과, 상기 관측 이전의 관측으로부터 추출된 물체의 특징을 기반으로 생성되어 물체가 실제로 존재할 확률이 할당된 자세 후보들 사이에서 상호 융합할 수 있는 자세 후보 짝들을 융합하여 최종 자세 후보들을 선정하고 각각의 상기 물체가 실제로 존재할 확률을 갱신하는 단계에서,
   상기 상호 융합할 수 있는 자세후보 짝들을 융합은,
   상기 자세 후보 짝이 가우시안 확률밀도 함수로 표현된 경우 계산식은,
   

   

   로 산출되며,
   상기

   

   는 상태 벡터이고,
   상기

   

   은 상기 자세 후보 생성에 사용된 특징인 제 1 독립 측량에 대한 상태 벡터이며,
   상기

   

   는 상기 존재하는 물체에 대한 추가적인 특징인 제 2 독립 측량에 대한 상태 벡터이고,
   상기

   

   은

   

   이며,
   상기

   

   는

   

   이고,
   상기

   

   는 제 1 독립 측량(

   

   )에 대한 목표 물체(

   

   )의 확률이며,
   상기

   

   는 제 2 독립 측량(

   

   )에 대한 목표 물체(

   

   )의 확률인 것을 특징으로 하는 확률적 다중 해석에 기반한 3차원 물체 인식 및 자세 추정 방법.
7. 청구항 1에 있어서,
   상기 영상 획득 장치로부터 입력된 단수 또는 다수의 영상에서 인식하고자 하는 물체의 특징을 추출하는 단계와, 상기 추출된 물체의 특징으로부터 인식하고자 하는 물체의 자세 후보들을 생성하는 단계와, 상기 자세 후보들 각각에 상기 인식하고자 하는 물체가 실제로 존재할 확률을 할당하는 단계와, 상기 영상 획득 장치의 관측으로부터 추출된 물체의 특징을 기반으로 생성되어 상기 물체가 실제로 존재할 확률이 할당된 자세 후보들과, 상기 관측 이전의 관측으로부터 추출된 물체의 특징을 기반으로 생성되어 물체가 실제로 존재할 확률이 할당된 자세 후보들 사이에서 상호 융합할 수 있는 자세 후보 짝들을 융합하여 최종 자세 후보들을 선정하고 각각의 상기 물체가 실제로 존재할 확률을 갱신하는 단계를 순차적으로 반복하여 인식하고자 하는 물체의 자세를 최종 확정하고 상기 물체가 실제로 존재할 확률을 추출하는 것을 특징으로 하는 확률적 다중 해석에 기반한 3차원 물체 인식 및 자세 추정 방법.
8. 물체 이미지를 획득하는 영상 획득부와,
   상기 물체 이미지에서 물체의 특징을 추출하는 다중 증거 추출부와,
   상기 물체의 특징으로 상기 물체의 자세 후보들을 생성하는 다중 해석 생성부와,
   상기 물체가 실제로 존재할 확률을 할당하는 확률 할당부와,
   상기 영상 획득 장치의 관측으로부터 추출된 물체의 특징을 기반으로 생성되어 상기 물체가 실제로 존재할 확률이 할당된 자세 후보들과, 상기 관측 이전의 관측으로부터 추출된 물체의 특징을 기반으로 생성되어 물체가 실제로 존재할 확률이 할당된 자세 후보들 사이에서 상호 융합할 수 있는 자세 후보 짝들을 융합하여 최종 자세 후보들을 선정하고 각각의 상기 물체가 실제로 존재할 확률을 갱신하는 확률 융합부를 포함하는 것을 특징으로 하는 확률적 다중 해석 생성에 기반한 3차원 물체 인식 및 자세 추정 시스템.
9. 청구항 8에 있어서,
   상기 다중 증거 추출부는 상기 영상 획득부에서 획득된 이미지에서 색상 이미지를 추출하는 색상 추출부와,
   상기 영상 획득부에서 획득된 이미지에서 2차원 라인을 추출하는 2차원 라인 추출부와,
   상기 이미지에서 추출된 2차원 라인과 3차원 점군 데이터에서 3차원 라인을 획득하는 3차원 라인 추출부와,
   상기 3차원 라인에서 3차원 평행 라인과 교차 라인을 획득하는 3차원 평행 라인/교차 라인 추출부를 포함하는 것을 특징으로 하는 확률적 다중 해석 생성에 기반한 3차원 물체 인식 및 자세 추정 시스템.
10. 청구항 8에 있어서,
    상기 인식하고자 하는 물체가 실제로 존재할 확률의 계산식은,
    

    

    이며,
    상기

    

    는

    

    또는

    

    이고,
    상기

    

    은 상기 자세 후보 생성에 사용된 특징인 제 1 독립 측량이며,
    상기

    

    는 상기 존재하는 물체에 대한 추가적인 특징인 제 2 독립 측량이고,
    상기

    

    는 목표 물체일 확률이며,
    상기

    

    는 목표 물체가 아닐 확률이고,
    상기

    

    는 상기 가능 확률이며,
    상기

    

    는 상기 불가능 확률인 것을 특징으로 하는 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 시스템.
11. 청구항 8에 있어서,
    상기 상호 융합할 수 있는 자세후보 짝들을 융합은,
    상기 자세 후보 짝이 가우시안 확률밀도 함수로 표현된 경우 계산식은,
    

    

    로 산출되며,
    상기

    

    는 상태 벡터이고,
    상기

    

    은 상기 자세 후보 생성에 사용된 특징인 제 1 독립 측량에 대한 상태 벡터이며,
    상기

    

    는 상기 존재하는 물체에 대한 추가적인 특징인 제 2 독립 측량에 대한 상태 벡터이고,
    상기

    

    은

    

    이며,
    상기

    

    는

    

    이고,
    상기

    

    는 제 1 독립 측량(

    

    )에 대한 목표 물체(

    

    )의 확률이며,
    상기

    

    는 제 2 독립 측량(

    

    )에 대한 목표 물체(

    

    )의 확률인 것을 특징으로 하는 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 시스템.

Images