KR101225644B1 - 로봇의 물체 인식 및 자세 추정 방법 - Google Patents

Abstract

로봇의 물체 인식 및 자세 추정 기술이 개시된다. 개시된 기술 중 일실시예에 따른 방법은 (a) 로봇의 움직임에 대한 정보를 이용하여 이전의 제1 인터프리테이션들을 상태 공간에 전파하는 단계; (b) 현재 획득된 증거들 중 선택된 제1 증거를 기초로 대상 물체의 자세 후보들 각각에 대한 확률 분포 함수를 획득하는 단계; (c) 상기 현재 획득된 증거들 중 제2 증거를 기초로 상기 대상 물체의 자세 후보들 각각에 대한 확률값을 산출하는 단계; (d) 상기 획득된 확률 분포 함수 및 상기 산출된 확률값을 기초로, 제2 인터프리테이션들을 생성하는 단계; 및 (e) 상기 전파된 제1 인터프리테이션들 및 상기 생성된 제2 인터프리테이션들을 기초로 현재의 제1 인터프리테이션들을 생성하고, 상기 (a) 단계로 복귀하는 단계를 포함한다.

Description

로봇의 물체 인식 및 자세 추정 방법 {method for object recognition and pose estimation at robot}

개시된 기술은 로봇의 물체 인식 및 자세 추정 기술에 관한 것이며, 보다 상세하지만 제한됨이 없이는(more particularly, but not exclusively), 가정(domestic) 환경에서 로봇이 3차원 물체의 인식 및 상기 3차원 물체의 자세 추정을 정확하고 효율적으로 수행하기 위한 기술에 관한 것이다.

3차원 물체의 인식 및 자세 추정은 지능 로봇 분야(intelligent robotics)에서 중요한 문제들 중 하나이다.

3차원 물체의 인식 및 자세 추정을 수행하는 대부분의 기술들은 모델 기반의 인식/추정 기술(일례로, 장면으로부터 추출된 특징을 물체에 대해 미리 저장된 특징과 매칭을 통하여 인식/추정을 수행하는 기술)을 이용하며, 그 예로는, D. Jang, "Recognition of 3D objects from a sequence of images," Intelligent Computing in Signal Processing and Pattern Recognition, vol. 345, pp. 1024-1029, 2006.에 개시된 기술, S. Q. Xie et al, "Three-dimensional object recognition system for enhancing the intelligence of a KUKA robot", International Journal of Advanced Manufacturing Technology, vol. 38, no. 7-8, pp. 822-839, Sep, 2008.에 개시된 기술, F. Rothganger et al., "3D object modeling and recognition using local affine-invariant image descriptors and multi-view spatial constraints," International Journal of Computer Vision, vol. 66, no. 3, pp. 231-259, Mar. 2006.에 개시된 기술을 들 수 있다.

이러한 기술들에서 대응 특징(coresponding feature)에 대한 표현(representation), 식별(identification), 및 검증(verification)은 이미지가 물체의 부분적 가림(parial object occlusion)이 있는 경우, 노이즈 있는 측정(noisy measurment)의 경우, 조도(illumination)의 변화가 있는 경우, 시점(view point)의 변화가 있는 경우에는 더더욱 중요하다.

개시된 기술이 이루고자 하는 기술적 과제는 3차원 물체의 인식 및 자세 추정을 정확하고 효율적으로 수행하기 위한 기술을 제공하는 데 있다.

상기의 기술적 과제를 이루기 위해, 개시된 기술의 일 측면은 (a) 로봇의 움직임에 대한 정보를 이용하여 이전의 제1 인터프리테이션들을 상태 공간에 전파하는 단계; (b) 현재 획득된 증거들 중 선택된 제1 증거를 기초로 대상 물체의 자세 후보들 각각에 대한 확률 분포 함수를 획득하는 단계; (c) 상기 현재 획득된 증거들 중 제2 증거를 기초로 상기 대상 물체의 자세 후보들 각각에 대한 확률값을 산출하는 단계; (d) 상기 획득된 확률 분포 함수 및 상기 산출된 확률값을 기초로, 제2 인터프리테이션들을 생성하는 단계; 및 (e) 상기 전파된 제1 인터프리테이션들 및 상기 생성된 제2 인터프리테이션들을 기초로 현재의 제1 인터프리테이션들을 생성하고, 상기 (a) 단계로 복귀하는 단계를 포함하고, 상기 제1 및 제2 인터프리테이션들은 상기 대상 물체의 자세 후보들 각각에 대한 확률 분포를 포함하는 로봇의 물체 인식 및 자세 추정 방법을 제공한다.

일실시예에 있어서, 상기 (e) 단계는, 상기 전파된 제1 인터프리테이션들 및 상기 생성된 제2 인터프리테이션들을 확률적 추론에 따라 융합하여 융합된 인터프리테이션들을 생성하는 단계; 및 상기 융합된 인터프리테이션들을 미리 설정된 갯수 만큼 샘플링하여 상기 현재의 제1 인터프리테이션들을 생성하고, 상기 (a) 단계로 복귀하는 단계를 포함한다.

일실시예에 있어서, 상기 제1 증거는 3차원 특징에 대한 정보이고, 상기 제2 증거는 2차원 특징에 대한 정보이다. 일실시예에 있어서, 상기 3차원 특징에 대한 정보는, 스테레오 카메라의 촬영을 통하여 얻어지는 촬영 대상의 3차원 라인에 대한 정보를 포함한다. 일실시예에 있어서, 상기 3차원 라인에 대한 정보는, 3차원 수선 라인 및 3차원 평행 라인에 대한 정보를 포함한다. 일실시예에 있어서, 상기 2차원 특징에 대한 정보는, 스테레오 카메라의 촬영을 통하여 얻어지는 촬영 대상의 컬러 정보 및 텍스쳐 정보 중 적어도 하나를 포함한다.

일실시예에 있어서, 상기 (c) 단계는, 상기 대상 물체가 존재할 때의 상기 제2 증거에 대한 확률 분포와 상기 대상 물체가 존재하지 않을 때의 상기 제2 증거에 대한 확률 분포를 기초로, 상기 확률 값을 산출하는 단계를 포함한다.

일실시예에 있어서, 상기 확률 분포 함수는 가우시안 확률 분포 함수이다.

일실시예에 있어서, 상기 자세 후보는 상기 대상 물체의 위치 및 회전으로 정의된다. 일실시예에 있어서, 상기 대상 물체의 회전은 쿼터니언으로 표현된다.

일실시예에 있어서, 상기 움직임에 대한 정보는 상기 로봇의 오도미터 정보이다.

상기의 기술적 과제를 이루기 위해, 개시된 기술의 다른 측면은 여러 실시예에 따른 물체 인식 및 자세 추정 방법을 실현시키기 위한 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.

상기에서 제시한 본 발명의 실시예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 본 발명의 모든 실시예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

3차원 물체의 인식 및 상기 3차원 물체에 대한 자세 추정이 정확하고 효율적으로 수행될 수 있다.

도 1은 일실시예에 따른 물체 인식 및 자세 추정 장치의 구성을 나타내는 블록도이다.
도 2는 일실시예에 따른 물체 인식 및 자세 추정 방법을 나타내는 흐름도이다.
도 3은 도 1의 관측부의 구체적인 구성을 예시하는 블록도이다.
도 4는 도 1의 관측부의 구체적인 동작을 예시하는 흐름도이다.

본 발명의 실시예들에 관한 설명은 본 발명의 구조적 내지 기능적 설명들을 위하여 예시된 것에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예들에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 본 발명의 실시예들은 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.

한편, 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

“제1”, “제2” 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로 이들 용어들에 의해 본 발명의 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

“및/또는”의 용어는 하나 이상의 관련 항목으로부터 제시가능 한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, “제1 항목, 제2 항목 및/또는 제3 항목”의 의미는 "제1 항목, 제2 항목 및 제3 항목 중 적어도 하나 이상"을 의미하는 것으로, 제1, 제2 또는 제3 항목뿐만 아니라 제1, 제2 및 제3 항목들 중 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미한다.

본 발명에서 기재된 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명에서 기술한 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

개시된 기술은 스테레오 카메라(예컨대, bumblebee camera)를 구비한 각종 기기(예컨대, 로봇) 및 주어진 데이터(예컨대, 스트레오 카메라의 촬영으로 얻어진 좌 이미지 및 우 이미지, 3차원 정보를 산출하기 위해 필요한 스테레오 카메라의 뷰간 거리 등과 같은 카메라 모델 파라미터 정보)를 기초로 3차원 물체의 인식 및 자세 추정을 수행하는 처리 장치(예컨대, 컴퓨터) 등에 적용될 수 있다. 이하에서는, 편의상, 본 발명의 3차원 물체의 인식 및 자세 추정을 수행하는 주체를 물체 인식 및 자세 추정 장치로 칭하여 개시된 기술을 설명하고자 한다.

도 1은 일실시예에 따른 물체 인식 및 자세 추정 장치(100)의 구성을 나타내는 블록도이다. 일실시예에 있어서, 물체 인식 및 자세 추정 장치(100)는 로봇에 포함될 수 있다.

도 1을 참조하면, 물체 인식 및 자세 추정 장치(100)는 전파부(110), 영상 획득부(120), 관측부(130), 및 융합부(140)를 포함한다.

영상 획득부(120)는 실시간으로 실제의 주변환경이 포함된 인식할 물체에 대한 장면을 연속으로 촬영하여 2차원 영상 정보를 획득한다. 일실시예에 있어서, 영상 획득부(120)는 주변환경에 대한 좌 이미지 및 우 이미지를 획득하는 스테레오 카메라를 포함한다. 이렇게 획득된 2차원 영상 정보는 관측부(130)에서의 증거를 생성하는데 사용될 수 있다. 여기서, 증거는 영상 정보로부터 얻을 수 있는 다양한 특징 예컨대, 3차원 라인 정보, 컬러, 물체의 형상 등을 들 수 있으나 반드시 이에 한정되는 것은 아니다.

전파부(110)는 로봇의 움직임에 대한 정보를 이용하여 이전의 제1 인터프리테이션들을 상태 공간에 전파한다. 본 명세서에서 인터프리테이션은 증거로부터 얻어지는 대상 물체(즉, 로봇이 인식하고자 하는 물체)의 자세 후보들 각각에 대한 확률 분포 P(자세, 대상 물체 | 증거)를 포함하는 개념으로서, P(자세, 대상 물체 | 증거)는 베이스 룰에 의해 P(자세 | 대상 물체, 증거)와 P(대상 물체 | 증거)의 곱으로 산출될 수 있다. 일실시예에 있어서, 상기 확률 분포는 관측부(130)에서 구해지는 확률 분포 함수 및 확률 값으로 표현될 수 있다. 일례로, 전파부(110)의 전파(propagation) 동작은 파티클 필터와 같은 재귀적 베이시언 필터(recursive bayesian filter)에서의 예측 동작(예컨대, 이전의 사후 확률 분포 및 제어 정보를 이용하여 현재 시점의 사전 확률 분포를 예측하는 동작)으로 구현될 수 있다. 상기 움직임에 대한 정보의 예로는, 오도미터 정보, 인코더 정보 등을 들 수 있으나 반드시 이에 한정되는 것은 아니다.

일실시예에 있어서, 상기 자세 후보는, 상기 대상 물체의 위치 및 회전으로 정의될 수 있다. 일실시예에 있어서, 상기 대상 물체의 회전은 쿼터니언으로 표현될 수 있다.

관측부(130)는 현재 획득된 증거들 중 선택된 제1 증거(즉, 초기 증거)를 기초로 대상 물체의 자세 후보들 각각에 대한 확률 분포 함수를 획득한다. 또한, 관측부(130)는 상기 현재 획득된 증거들 중 제2 증거(즉, 추가 증거)를 기초로 상기 대상 물체의 자세 후보들 각각에 대한 확률값을 산출한다. 또한, 관측부(130)는 상기 획득된 확률 분포 함수 및 상기 산출된 확률값을 기초로, 제2 인터프리테이션들을 생성한다. 일례로, 관측부(120)의 관측(observation) 동작은 파티클 필터와 같은 재귀적 베이시언 필터(recursive bayesian filter)에서의 관측 동작(예컨대, 현재 상태가 주어졌을 때 증거의 확률 분포 즉, liklihood를 구하는 동작)에 대응될 수 있다. 일실시예에 따른 관측부(130)의 구체적인 동작은 도 2 내지 도 4를 참조하여 후술한다.

이와 같이, 관측부(130)에서는 계층적 방식을 사용하므로, 일실시예에 따른물체 인식 및 자세 추정 장치(100)는 많은 증거들에 대해 생성될 수 있는 수많은 후보들을 선별할 수 있다는 점과 그 만큼 이에 부여할 확률 값을 계산하는 비용이 줄어든다는 효과를 도출할 수 있다.

융합부(140)는 전파부(110)에서 전파된 제1 인터프리테이션들 및 관측부(130)에서 생성된 제2 인터프리테이션들을 기초로 현재의 제1 인터프리테이션들을 생성한다. 이렇게 융합부(140)에서 생성된 제1 인터프리테이션들은 전파부(110)에 제공되고 상태 공간 상에 전파되어 다음의 제1 인터프리테이션의 생성에 기초가 되는 정보로 사용된다. 일례로, 융합부(140)의 융합 동작은 재귀적 베이시언 필터(recursive bayesian filter)에서의 융합 동작(예컨대, 현재 상태의 사전 확률 분포와 관측을 통하여 얻어진 likelihood를 기초로 현재 상태의 사후 확률 분포를 구하는 동작) 및 리샘플링(파티클 필터의 경우) 동작 등에 대응될 수 있다.

도 2는 일실시예에 따른 물체 인식 및 자세 추정 방법(200)을 나타내는 흐름도이다.

도 1을 참조하여, 도 2의 실시예를 설명하면 다음과 같다.

S210에서, 전파부(110)는 로봇의 움직임에 대한 정보를 이용하여 이전의 제1 인터프리테이션들을 상태 공간에 전파한다.

S220에서, 관측부(130)는 영상 획득부(120)로부터 제공되는 영상 정보로부터 증거들을 획득하고, 획득된 증거들 중 제1 증거를 선택하고, 상기 선택된 제1 증거를 기초로 대상 물체의 자세 후보들 각각에 대한 확률 분포 함수를 획득한다. 일실시예에 있어서, 상기 확률 분포 함수는 제1 증거의 노이즈(예컨대, 분산 값) 등으로 결정되는 가우시안 확률 분포 함수이다.

S230에서, 관측부(140)는 S220에서 획득된 증거들 중 제2 증거(즉, 제1 증거와는 다른 증거)를 기초로 상기 대상 물체의 자세 후보들 각각에 대한 확률값을 산출한다. 일례로, 관측부(140)는 상기 대상 물체가 존재할 때의 상기 제2 증거에 대한 확률 분포와 상기 대상 물체가 존재하지 않을 때의 상기 제2 증거에 대한 확률 분포를 기초로, 상기 확률 값을 산출한다.

일실시예에 있어서, 상기 제1 증거는 3차원 특징(feature)에 대한 정보이고, 상기 제2 증거는 2차원 특징에 대한 정보이다. 일실시예에 있어서, 상기 3차원 특징에 대한 정보는, 스테레오 카메라의 촬영을 통하여 얻어지는 촬영 대상의 3차원 라인에 대한 정보를 포함할 수 있다. 일실시예에 있어서, 상기 3차원 라인에 대한 정보는, 3차원 수선 라인 및 3차원 평행 라인에 대한 정보를 포함할 수 있다. 일실시예에 있어서, 상기 2차원 특징에 대한 정보는, 스테레오 카메라의 촬영을 통하여 얻어지는 촬영 대상의 컬러 정보 및/또는 텍스쳐 정보를 포함할 수 있다.

S240에서, 관측부(140)는 S220에서 획득된 확률 분포 함수 및 S230에서 산출된 확률값을 기초로, 제2 인터프리테이션을 생성한다. 일실시예에 있어서, S240은 제2 인터프리테이션을 생성하되, 상태 공간 상에서 겹치지 않도록 하는 제2 인터프리테이션들을 선별하는 단계를 포함한다.

S250에서, 융합부(150)는 S210에서 전파된 제1 인터프리테이션들 및 S240에서 생성된 제2 인터프리테이션들을 기초로 현재의 제1 인터프리테이션들을 생성한다. 일실시예에 있어서, S260은 상기 전파된 제1 인터프리테이션들 및 상기 생성된 제2 인터프리테이션들을 확률적 추론에 따라 융합하여 융합된 인터프리테이션들을 생성하는 단계; 및 상기 융합된 인터프리테이션들을 미리 설정된 갯수 만큼 샘플링하여 상기 현재의 제1 인터프리테이션들을 생성하는 단계를 포함할 수 있다.

S260에서, 물체 인식 및 자세 추정 장치(100)는 트랙킹(즉, 물체 인식 및 자세 추정)을 종료할지 여부를 판단한다. 종료 여부 판단 방법의 예로는, 미리 설정된 반복 횟수(즉, 재귀 횟수)에 도래하였는지, 인식 및 추정된 내용이 어느 정도 수렴하였는지, 트래킹 종료를 나타내는 사용자의 입력이 이루어졌는지 등을 기초로 종료 여부를 판단할 수 있으나, 반드시 이에 한정되는 것은 아니다.

종료할 것으로 판단되면(S260), 물체 인식 및 자세 추정 장치(100)는 일실시예에 따른 물체 인식 및 자세 추정 동작을 종료하고, 그렇지 않으면(S260), S210으로 복귀한다.

도 3은 도 1의 관측부(130)의 구체적인 구성을 예시하는 블록도이다.

도 3을 참조하면, 관측부(130)는 다중 증거 추출부(310), 다중 해석 생성부(320), 자세 판단부(330), 확률 할당부(340), 물체 모델(350), 확률 융합부(360), 및 다중 해석 산출부(380)를 포함할 수 있다.

다중 증거 추출부(310)는 영상 획득부(120)로부터 실시간 영상 정보를 입력받아 다양한 증거를 추출하고, 추출된 증거와 모델상의 정보를 비교하여 다양한 물체의 위치 및 자세를 생성한다. 이러한 다중 증거 추출부(310)는 영상 획득부(120)에서 획득된 이미지에서 색상 이미지를 추출하는 색상 추출부(312)와, 영상 획득부(120)에서 획득된 이미지에서 2차원 라인을 추출하는 2차원 라인 추출부(314), 영상 획득부(120)에서 획득된 이미지에서 추출된 2차원 라인과 3차원 점군(point cloud) 데이터에서 3차원 라인을 획득하는 3차원 라인 추출부(316), 3차원 라인 추출부(316)에서 획득된 3차원 라인에서 3차원 평행 라인과 수선 라인을 획득하는 3차원 평행 라인/수선 라인 추출부(318)를 포함한다.

물체 모델(350)은 다중 증거 추출부(310)에서 추출된 3차원 평행 라인과 수선 라인을 비교하기 위한 물체 모델로서, 물체에 대한 3차원 기하학 와이어 프레임과 표면 질감 등에 대한 정보를 미리 추출하여 데이터베이스화한 것이다. 이러한 물체 모델은 물체, 예를 들어, 가정내에 존재할 수 있는 냉장고와 텔레비전 및 가구 등과 같은 물체들에 대한 3차원 기하학 와이어 프레임과 표면 질감(즉, texture) 등이 데이터베이스화된다.

다중 해석 생성부(320)는 다중 증거 추출부(310)에서 획득된 3차원 평행 라인과 수선 라인을 기초로 영상 획득부(120)를 통해 이미지를 캡춰한 물체가 취할 수 있는 자세 후보들을 생성한다. 즉, 다중 해석 생성부(320)에서 다중 해석 생성이란 물체에 대해서 획득된 3차원 평행 라인과 수선 라인을 기초로 생성된 물체의 자세 후보들을 생성하는 것을 의미한다.

자세 판단부(330)는 다중 해석 생성부(320)에서 생성된 물체의 자세 후보들의 자세를 판단한다.

확률 할당부(340)는 자세 후보들에 대해서 물체의 2차원 라인과 색상 등을 포함하는 2차원 특징과, 3차원 평행 라인과 수선 라인을 포함하는 3차원 특징 각각에 대해서 해당 물체가 취할 수 있는 자세의 확률을 할당한다. 이는, 물체가 존재할 경우 획득 가능한 증거인 가능 확률 P(F/O)과 물체가 존재하지 않을 경우 획득 가능한 증거인 불가능 확률 P(F/-O)을 2차원 특징과 3차원 특징 각각에 대해서 계산한다. 여기서, F는 묘사된 특징이며, O는 대상 물체의 존재, -O는 각 대상 물체의 부재를 의미한다. 이때, 가능 확률은 예를 들어, 물체가 냉장고일 경우, 냉장고에 대해 획득 가능한 증거, 예를 들어, 냉장고의 높이와 폭 등에 의해 정의되는 라인 길이일 수 있다. 또한, 불가능 확률은 냉장고가 존재하지 않을 경우, 특정 길이를 가지는 라인이 존재하지 않을 확률을 의미한다. 본 발명은 이러한 가능 확률과 불가능 확률을 모두 계산하여 물체의 인식 가능성을 증가시킬 수 있다.

확률 융합부(360)는 확률 할당부(340)에서 계산된 2차원 특징에 대한 확률과 3차원 특징에 대한 확률을 융합한다. 또한, 이에 따라 불명확한 자세 후보들이 보다 명확해질 수 있다.

다중 해석 산출부(370)는 확률 융합부(360)에서 2차원 특징과 3차원 특징에 대한 확률이 융합되어 보다 명확해진 물체의 자세 후보들을 출력한다.

상술한 바와 같이 일실시예에 따른 관측부(130)는 약한 인식기를 이용하여 획득된 불확실한 증거를 기초로 물체의 자세 후보들을 생성하고, 이에 추가적인 확률 증거를 추가하여 보다 정확하게 물체를 인식하고 자세를 추정할 수 있는 홈 서비스 로봇을 위한 확률적 다중 해석 생성에 기반한 3D 물체 인식 및 자세 추정 시스템을 제공할 수 있다.

도 4는 도 1의 관측부(130)의 구체적인 동작을 예시하는 흐름도로서, 도 2의 S220, S230, S240에 대응될 수 있다.

도 4를 참조하면, 관측부(130)의 동작은 이미지를 획득하는 단계와, 다중 해석을 생성하는 단계와, 확률 증거를 추가하는 단계, 및 다중 해석을 산출하는 단계를 포함한다.

이미지를 획득하는 단계는 3차원 라인 추출과 물체 모델 특징을 기초로 선택된 3차원 평행 라인과 수선 라인이 추출되도록 이미지를 획득한다. 이러한 이미지를 획득하는 단계는 2차원 라인 및 3차원 라인을 획득하는 단계와, 3차원 평행 라인과 수선 라인을 획득하는 단계를 포함한다.

2차원 라인 및 3차원 라인을 획득하는 단계는 추출된 증거 중에서 라인(line) 특징의 경우, 먼저 입력된 2차원 영상으로부터 모든 라인들을 추출하고, 추출된 2차원 라인에 대응되는 3차원 점들(3차원 점군 데이터)을 맵핑하여 2차원 라인을 3차원 라인으로 전환한 후, 3차원 라인에 대한 3차원 평행 라인과 수선 라인을 추출한다. 이를 데이터베이스에 미리 저장된 모델 상의 3차원 라인 정보와 비교하여 다양한 물체의 위치 및 자세를 생성한다. 이는 본 발명이 물체의 자세를 정확하게 판단할 수 없는 약한(weak) 인식기를 이용하므로, 추출된 증거들을 이용하여 물체의 예상되는 자세 후보들을 생성한다. 2차원 영상으로부터 물체의 자세를 생성하는데 필요한 모든 라인들을 추출하기 위하여, 먼저 캐니 에지(canny edge) 알고리즘에 의해 에지들을 그리고, 그려진 에지를 그들의 연결관계에 기초하여 수평선, 수직선 및 대각선 세그먼트로 분류한다. 다음에, 2차원에서 라인들의 앨리어싱(aliasing) 문제에 기초하여 각 라인들의 세그먼트를 인접하는 라인들의 세그먼트와 연결함으로써 2차원 라인들을 추출한다. 추출한 2차원 라인들의 픽셀에 대응하는 3차원 점들이 있는 경우, 3차원 라인들이 획득될 수 있다. 한편, 인식될 물체는 데이터베이스에 정의된 3차원 라인들의 세트로 표현된다. 데이터베이스에 미리 저장된 모델 상의 두드러진 라인들을 방향(orientation)과 관계(relationship)라는 두 개의 파라미터에 기초하여 사용함으로써, 장면에서 3차원 라인들의 근처에 생성될 수 있는 가능한 자세들을 효율적으로 발견할 수 있다. 한편, 본 발명은 2차원 라인 및 3차원 라인을 획득하는 단계에서 물체의 색상 이미지도 획득한다.

3차원 평행 라인과 수선 라인을 획득하는 단계는 2차원 라인 및 3차원 라인을 획득하는 단계에서 획득된 3차원 라인과 미리 데이터베이스화된 물체 모델 특징을 기초로 선택된, 물체에 대한 3차원 평행 라인과 수선 라인을 추출한다.

다중 해석을 생성하는 단계는 물체의 3차원 평행 라인과 수선 라인을 기초로 물체가 취할 수 있는 자세 후보들을 생성한다. 이때, 준비된 물체 모델은 물체에 대한 3차원 기하학 와이어 프레임과 표면 질감 등에 대한 정보를 미리 추출하여 데이터베이스화한 것이다. 이때, 다중 해석 생성이란 물체에 대해서 획득된 3차원 평행 라인과 수선 라인을 기초로 생성된 물체의 자세 후보들을 생성하는 것을 의미하며, 다중 해석을 생성하는 단계는 이미지를 캡처한 물체가 취할 가능성이 있는 자세들의 후보들을 생성한다.

확률 증거를 추가하는 단계는 다중 해석을 생성하는 단계에서 생성된 자세 후보들에 확률 증거를 추가한다. 이러한 확률 증거를 추가하는 단계는 2차원 특징 기초의 외형에 의한 확률을 할당하는 단계와, 3차원 라인에 의한 확률을 할당하는 단계와, 2차원 확률과 3차원 확률을 융합하는 단계, 및 가우시안 확률밀도 함수로 표현하는 단계를 포함한다.

2차원 특징 기초의 외형에 의한 확률을 할당하는 단계는 물체의 색상과 2차원 라인 등을 포함하는 물체의 2차원 특징을 기초로 물체의 존재 및 부존재에 따라 획득 가능한 증거의 획득 확률을 구하고, 이를 각각의 자세 후보들에 할당한다.

3차원 라인에 의한 확률을 할당하는 단계는 물체의 3차원 평행 라인과 수선 라인을 포함하는 3차원 라인을 기초로 물체가 존재할 때와 존재하지 않을 때에 따라 획득 가능한 증거의 획득 확률을 구하고, 이를 각각의 자세 후보들에 할당한다.

즉, 2차원 특징 기초의 외형에 의한 확률을 할당하는 단계와 3차원 라인에 의한 확률, 즉, 3차원 확률을 할당하는 단계는 물체의 2차원 특징과 3차원 라인을 기초로 물체가 존재할 경우 획득 가능한 증거인 가능 확률 P(F/O)와 물체가 존재하지 않을 경우 획득 가능한 증거인 불가능 확률 P(F/-O)를 계산한다. 여기서, F는 묘사된 특징이며, O는 대상 물체의 존재, -O는 각 대상 물체의 부재를 의미한다. 이때, 가능 확률은 예를 들어, 물체가 냉장고일 경우, 냉장고에 대해 획득 가능한 증거, 예를 들어, 냉장고의 높이와 폭 등에 의해 정의되는 라인 길이일 수 있다. 또한, 불가능 확률은 냉장고가 존재하지 않을 경우, 특정 길이를 가지는 라인이 존재하지 않을 확률을 의미한다. 본 발명은 이러한 가능 확률과 불가능 확률을 모두 계산하여 물체의 인식 가능성을 증가시킬 수 있다.

2차원 확률과 3차원 확률을 융합하는 단계는 계산된 2차원 확률과 3차원 확률을 융합한다.

가우시안 확률밀도 함수로 표현하는 단계는 각 해석, 즉, 각각의 생성된 물체의 자세 후보들의 불확실한 자세는 다차원 가우시안 확률밀도 함수로 묘사한다. 또한, 이에 따라 점으로 표현된 물체의 자세 후보들은 공간적으로 표현될 수 있다.

다중 해석을 산출하는 단계는 3차원 라인과 2차원 색상 이미지 양쪽으로부터 지원된 증거에 의해 확률 부여와 자세 분할에 의한 가시 테스트에 해석이 만족한다면 3차원 워크스페이스 내에 대상 물체의 가능한 자세로 표현되는 가중된 다중 해석을 출력한다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 패킷이 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이러한 본원 발명인 장치는 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.

상기에서 제시한 본 발명의 실시예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 본 발명의 모든 실시예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

3차원 물체의 인식 및 상기 3차원 물체에 대한 자세 추정이 정확하고 효율적으로 수행될 수 있다.

Claims (12)

1. (a) 로봇의 움직임에 대한 정보를 이용하여 이전의 제1 인터프리테이션들을 상태 공간에 전파하는 단계;
   (b) 현재 획득된 영상정보에서 선택된 제1 증거를 기초로 대상 물체의 자세 후보들을 추출하고, 상기 대상 물체의 자세 후보들 각각에 대한 확률 분포 함수를 획득하는 단계;
   (c) 상기 추출된 자세 후보들 각각에 대하여 상기 영상정보에서 선택된 제2 증거를 기초로 상기 대상 물체의 자세 후보들 각각에 대한 확률값을 산출하는 단계;
   (d) 상기 획득된 확률 분포 함수 및 상기 산출된 확률값을 기초로, 제2 인터프리테이션들을 생성하는 단계; 및
   (e) 상기 전파된 제1 인터프리테이션들 및 상기 생성된 제2 인터프리테이션들을 기초로 현재의 제1 인터프리테이션들을 생성하고, 상기 (a) 단계로 복귀하는 단계를 포함하고,
   상기 제1 및 제2 인터프리테이션들은 상기 대상 물체의 자세 후보들 각각에 대한 확률 분포를 포함하되,
   상기 (e) 단계는,
   (e1) 상기 전파된 제1 인터프리테이션들 및 상기 생성된 제2 인터프리테이션들을 확률적 추론에 따라 융합하여 융합된 인터프리테이션들을 생성하는 단계; 및
   (e2) 상기 융합된 인터프리테이션들을 미리 설정된 갯수 만큼 샘플링하여 상기 현재의 제1 인터프리테이션들을 생성하고, 상기 (a) 단계로 복귀하는 단계를 포함하는 로봇의 물체 인식 및 자세 추정 방법.
2. 삭제
3. 제1항에 있어서,
   상기 제1 증거는 3차원 특징에 대한 정보이고, 상기 제2 증거는 2차원 특징에 대한 정보인 로봇의 물체 인식 및 자세 추정 방법.
4. 제3항에 있어서, 상기 3차원 특징에 대한 정보는,
   스테레오 카메라의 촬영을 통하여 얻어지는 촬영 대상의 3차원 라인에 대한 정보를 포함하는 로봇의 물체 인식 및 자세 추정 방법.
5. 제4항에 있어서, 상기 3차원 라인에 대한 정보는,
   3차원 수선 라인 및 3차원 평행 라인에 대한 정보를 포함하는 로봇의 물체 인식 및 자세 추정 방법.
6. 제3항에 있어서, 상기 2차원 특징에 대한 정보는,
   스테레오 카메라의 촬영을 통하여 얻어지는 촬영 대상의 컬러 정보 및 텍스쳐 정보 중 적어도 하나를 포함하는 로봇의 물체 인식 및 자세 추정 방법.
7. 제1항에 있어서, 상기 (c) 단계는,
   상기 대상 물체가 존재할 때의 상기 제2 증거에 대한 확률 분포와 상기 대상 물체가 존재하지 않을 때의 상기 제2 증거에 대한 확률 분포를 기초로, 상기 확률 값을 산출하는 단계를 포함하는 로봇의 물체 인식 및 자세 추정 방법.
8. 제1항에 있어서, 상기 확률 분포 함수는,
   가우시안 확률 분포 함수인 로봇의 물체 인식 및 자세 추정 방법.
9. 제1항에 있어서, 상기 자세 후보는,
   상기 대상 물체의 위치 및 회전으로 정의되는 로봇의 물체 인식 및 자세 추정 방법.
10. 제9항에 있어서, 상기 대상 물체의 회전은
    쿼터니언으로 표현되는 로봇의 물체 인식 및 자세 추정 방법.
11. 제1항에 있어서, 상기 움직임에 대한 정보는
    상기 로봇의 오도미터 정보인 로봇의 물체 인식 및 자세 추정 방법.
12. 제1항에 기재된 방법을 실현시키기 위한 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록 매체.

Images