KR20130073812A

KR20130073812A - 객체 포즈 추정을 위한 장치 및 방법

Info

Publication number: KR20130073812A
Application number: KR1020120122003A
Authority: KR
Inventors: 왕 시잉; 가오 슈정
Original assignee: 삼성전자주식회사
Priority date: 2011-12-23
Filing date: 2012-10-31
Publication date: 2013-07-03
Also published as: CN103177269A; US9087379B2; US20130182947A1; CN103177269B; KR101994316B1

Abstract

객체 포즈(pose)를 추정(estimate)하기 위한 장치 및 방법이 제공된다. 상기 장치는 객체를 객체 추적부 및 객체 식별부에 입력하기 위한 객체 입력부, 추적 방법에 기초하여 상기 객체의 추적 포즈 확률밀도를 획득하기 위한 객체 추적부, 트레이닝 모델에 기초하여 상기 객체의 식별 포즈 확률밀도를 획득하기 위한 객체 식별부, 및 상기 추적 포즈 확률밀도와 상기 식별 포즈 확률밀도를 융합하여 상기 객체의 추정 포즈 확률밀도를 획득하고, 상기 객체의 상기 추정 포즈 확률밀도에 기초하여 상기 객체의 객체 포즈를 추정하기 위한 결합부를 포함한다. 상기 융합을 통해 객체 추적 과정에 나타나는 누적된 오차를 수정할 수 있으므로 더욱 정확한 객체 추정 결과를 획득할 수 있다.

Description

객체 포즈 추정을 위한 장치 및 방법{DEVICE AND METHOD FOR OBJECT POSE ESTIMATION}

객체 포즈(pose)를 추정(estimate)하기 위한 기술에 관한 것으로, 보다 상세하게는 객체의 연속적인 포즈에 대해 추정할 수 있는 장치 및 방법에 관한 것이다.

객체 포즈 추정은 컴퓨터의 비전, 인간-기계 상호작용, 및 기타 관련 영역에 대한 중요 내용이다. 예컨대, 사용자의 머리를 추정될 객체로 간주하면 사용자의 연속적인 머리 포즈에 대한 추정을 통하여 사용자가 표현하고 싶은 풍부한 개성화 정보를 알 수 있다. 예를 들어, 연설자의 머리 포즈를 통해 그의 강연 내용 및 감정을 알 수 있다. 또한, 객체(이를 테면, 머리) 포즈의 추정 결과는 더욱 더 우호적 인간-기계 상호작용을 진행하기 위해 사용될 수 있으며, 예를 들어, 머리 포즈에 대한 추정을 통해 사용자의 시선 초점을 획득할 수 있고 더 효과적인 인간-기계 상호작용을 진행할 수 있다.

현재 사용된 객체 포즈 추정 방법은 일반적으로 추적(tracking) 기반의 방법 및 학습 기반의 방법으로 구분된다. 상기 추적 기반의 방법은 비디오 시퀀스에 있는 현재 프레임(Current Frame)과 전 프레임(Previous Frame)의 사이에 하나의 쌍(paired) 매칭 방법으로 객체의 포즈를 추정하는 것이다. 상기 방법의 장점은 짧은 시간 비율에서 상대적으로 포즈의 정밀도가 높지만 상기 방법에서는 누적된 오차에 의하여 추적 드리프트(drift)가 발생할 수 있고, 객체의 회전 범위가 넓거나 또는 속도가 빠르면 특징 매칭 오류에 의하여 추적이 실패할 수도 있다. 키 프레임 기술을 이용하여 추적 드리프트 문제를 해결 할 수 있지만 현실에서 키 프레임을 합리적으로 선택 및 갱신하는 것은 아직 해결하기 어려운 문제다.

다른 측면에 따르면, 상기 학습 기반의 방법은 일반적으로 객체 포즈 추정을 분류(classify) 방식 또는 복귀 방식으로 정의하며, 라벨을 포함하는 샘플을 통해 트레이닝을 진행하고 획득된 트레이닝 모델을 이용하여 객체의 포즈를 추정한다. 상기 학습 기반의 방법의 단점은 분류 방식이 객체 포즈에 대한 러프(rough) 추정만 완성할 수 있고 복귀 방식이 현실 환경에 의해 쉽게 영향을 받기 때문에 정확한 추정 결과를 획득할 수 없다.

따라서, 최근 객체 포즈 추정에 대한 많은 연구가 진행되고 있지만, 현실에서는 컴퓨터 비전의 방법을 이용하여 연속적으로 안정하게 객체 포즈를 획득하는 것은 어렵고, 특히 조명이 급속적으로 변화하면서 객체의 회전 범위가 넓거나 또는 객체의 속도가 빠르면 효과적인 객체 포즈 추정을 실현할 수 없다.

예시적 실시예는 현재 기술에 객체 포즈 추적을 효과적으로 실현할 수 없는 문제를 극복하는 객체 포즈를 추정하기 위한 장치 및 방법을 제공한다.

일측면에 따르면, 객체 포즈(pose)를 추정(estimate)하기 위한 장치를 제공한다. 상기 장치는 객체를 객체 추적부 및 객체 식별부에 입력하기 위한 객체 입력부, 추적 방법에 기반하여 상기 객체의 추적 포즈 확률밀도를 획득하기 위한 객체 추적부, 트레이닝(training) 모델에 기초하여 상기 객체의 식별 포즈 확률밀도를 획득하기 위한 객체 식별부, 및 추적 포즈 확률밀도와 식별 포즈 확률밀도를 융합하여 상기 객체의 추정 포즈 확률밀도를 획득하고, 상기 객체의 추정 포즈 확률밀도에 기초하여 상기 객체의 객체 포즈를 추정하기 위한 결합부를 포함한다.

상기 장치는 상기 결합부에 의해 추정된 상기 객체 포즈에 기반하여 객체 식별부의 트레이닝 모델을 갱신하는 온라인 갱신부를 더 포함할 수 있다.

상기 객체 식별부는 우선, 입력 객체를 포함하는 이미지에 대하여 Gabor 파형 전환(wavelet transformation)을 하고, 다음으로 Gabor 파형 전환된 이미지에서 객체의 밝기 분포를 획득하고 객체의 특징으로 하여 상기 객체의 특징에 대해 트레이닝 모델에 기초하여 상기 객체의 식별된 포즈의 확률밀도를 획득할 수 있다.

상기 트레이닝 모델은 랜덤 포레스트(random forest) 모델이고, 상기 온라인 갱신부는 상기 랜덤 포레스트 모델을 갱신하기 위해 상기 객체 포즈가 온라인 키 샘플(key sample)인지를 확인하고, 상기 객체 포즈가 온라인 키 샘플일 경우 랜덤 포레스트 모델에서 상기 온라인 키 샘플이 대응하는 잎 노드(leaf node)를 설정하고, 이에 따라 전체의 랜덤 포레스트 모델을 갱신할 수 있다.

객체 식별부는 인접한 두 프레임 이미지에 객체의 상대적인 포즈를 계산하고, 상기 상대적인 포즈를 이용하여 추적 포즈 확률밀도에 대한 전개(spread)를 가이드(guide)할 수 있다.

상기 객체는 사람의 머리를 포함할 수 있다.

객체 식별부는 인접한 두 프레임 이미지에 있는 머리부위의 상대적인 포즈를 계산하기 위해, 사람의 머리부위의 매칭 특징 포인트에 기반하여 POSIT 처리를 실행한 후 직교 반복(Orthogonal iteration) 방법을 이용하여 POSIT 처리 후 내부의 매칭 특징 포인트를 처리할 수 있다.

결합부는 추적 포즈 확률밀도에 기초하여 식별 포즈 확률밀도에 있는 각 식별 포즈에 대해 밀도 융합하여 상기 객체의 추정 포즈 확률밀도를 획득할 수 있다.

결합부는 획득된 추정 포즈 확률밀도에 있는 각각의 추정 포즈를 랜덤 확산하고, 랜덤 확산된 추정 포즈 확률밀도에 기초하여 상기 객체의 객체 포즈를 추정할 수 있다.

결합부가 랜덤 확산된 추정 포즈 확률밀도에 기초하여 상기 객체의 객체 포즈를 추정하게 되면, 상기 결합부는 추정 포즈 확률밀도에 각종 추정 포즈의 확률치를 다시 획득하고, 상기 결합부는 각 추정 포즈의 ML(maximum likelihood)을 계산하여 확률치로 간주할 수 있다.

결합부는 다시 획득된 ML이 대응하는 추정 포즈를 상기 객체의 추정 포즈로 간주할 수 있다.

다른 일측에 따르면, 객체 포즈(pose)를 추정(estimate)하기 위한 방법이 제공된다. 상기 방법은 추정될 객체를 입력하는 단계, 추적 방법에 기초하여 상기 객체의 추적 포즈 확률밀도를 획득하는 단계, 트레이닝(training) 모델에 기초하여 상기 객체의 식별 포즈 확률밀도를 획득하는 단계, 및 추적 포즈 확률밀도와 식별 포즈 확률밀도를 융합하여 상기 객체의 추정 포즈 확률밀도를 획득하고, 상기 객체의 추정 포즈 확률밀도에 기반하여 상기 객체의 객체 포즈를 추정하는 단계를 포함한다.

상기 방법은 추정된 상기 객체 포즈에 기초하여 트레이닝 모델을 갱신하는 단계를 더 포함할 수 있다.

추적 방법에 기초하여 상기 객체의 추적 포즈 확률밀도를 획득하는 단계는 인접한 두 프레임 이미지에 객체의 상대적인 포즈를 계산하고 상기 상대적인 포즈를 이용하여 추적 포즈 확률밀도에 대한 전개(spread)를 가이드하는 단계를 포함할 수 있다.

추적 방법에 기초하여 상기 객체의 추적 포즈 확률밀도를 획득하는 단계는 트레이닝 모델에 기초하여 상기 객체의 식별 포즈 확률밀도를 획득하는 단계와 병행하여 실행될 수 있다.

객체 포즈를 추정하기 위한 장치 및 방법은 정태적인 객체 식별 결과를 이용하여 동태적인 객체 추적 결과에 영향을 주고 객체 추적 과정에서 나타나는 추적 드리프트 문제를 해결할 수 있다.

이하, 첨부된 도면을 참조하여 실시예를 설명한다. 이에 따라 상기 및/또는 기타 목적과 장점이 더욱 명확하게 된다.
도 1은 예시적 실시예에 따른, 객체 포즈 추정 장치를 도시한 블록도이다.
도 2은 예시적 실시예에 따른, 객체 포즈 추정 방법을 도시한 흐름도이다.
도 3은 예시적 실시예에 따른, 추적 포즈 확률밀도와 식별 포즈 확률밀도를 융합하여 객체 포즈 추정을 도시한다.
도 4은 예시적 실시예에 따른, 트레이닝 모델에 대한 온라인 갱신의 렌더링을 도시한다.

이하, 실시예들에 대해서 첨부된 도면을 참조하여 상세히 설명한다. 실시예들의 예시는 첨부된 도면에 도시되고, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 예시적 실시예에 따른, 객체 포즈 추정 장치를 도시한 블록도이다. 도1과 같이 예시적 실시예에 따른 객체 포즈 추정 장치는 객체 입력부(10), 객체 추적부(20), 객체 식별부(30), 및 결합부(40)를 포함할 수 있다.

보다 상세하게, 객체 입력부(10)는 객체를 객체 추적부(20) 및 객체 식별부(30)에 입력한다. 예시적 실시예에 따른 객체 포즈는 각 인체 부위(이를 테면, 머리, 신체, 다리 등)의 포즈를 포함하고 예를 들어, 운동하는 물체 등과 같은 비 인체의 각종 객체의 포즈도 포함한다.

객체 추적부(20)는 추적 방법에 기초하여 상기 객체의 추적 포즈 확률밀도 (probability density)를 획득하고, 객체 식별부(30)는 트레이닝(training) 모델에 기초하여 상기 객체의 식별 포즈 확률밀도를 획득하며, 결합부(40)는 추적 포즈 확률밀도와 식별 포즈 확률밀도를 융합하여 상기 객체의 추정 포즈 확률밀도를 획득한다. 결합부(40)는 상기 객체의 추정 포즈 확률밀도에 기초하여 상기 객체의 객체 포즈를 추정할 수 있다. 도1에 도시한 바와 같이 예시적 실시예에 따른 객체 포즈 추정 장치는 동태적인 포즈 추적 결과 및 정태적인 포즈 식별 결과를 융합하며 두 가지 확률밀도의 융합을 통해 동태적인 포즈 추적 결과에 오차가 누적되는 것을 방지할 수 있으므로 추적 드리프트 문제를 해결할 수 있다.

또한, 추가된 구성으로 도1의 객체 포즈 추정 장치는 온라인 갱신부(50)를 더 포함할 수 있다. 온라인 갱신부(50)는 결합부(40)에 의해 추정된 객체 포즈에 기초하여 객체 식별부(30)의 트레이닝 모델을 갱신할 수 있다. 이와 같은 방식을 통해 실질적으로 트레이닝 모델의 샘플 양이 증가할 수 있고 증가된 샘플은 실제 환경에 더욱 부합되어 트레이닝 모델의 표준화 기능을 향상시킬 수 있다. 또한, 상기 온라인 갱신 방식은 대부분의 샘플에 대해 저장이 필요없고 메모리에 대한 요구가 낮다.

해당 기술분야에서 통상의 지식을 가진 자라면 본 발명은 도1에 도시된 객체 포즈 추정 장치의 구체적인 구조에 의해 제한되지 않는 것으로 이해해야 한다. 예를 들어, 객체 입력부(10) 또는 결합부(40)는, 객체 추적부(20) 또는 객체 식별부(30)에 합병될 수 있고 온라인 갱신부(50) 또한 객체 식별부(30)에 합병될 수 있다. 또한, 상기 언급한 여러 유닛(unit)을 조합된 여러 유닛으로 조합하여 하나의 제어기를 통해 실현할 수 있다. 다시 말하면, 해당 기술분야에서 통상의 지식을 가진 자라면 도1에 도시된 장치의 구조로부터 다양한 수정 및 변형이 가능한 것으로 이해해야 한다.

도 2은 예시적 실시예에 따른 객체 포즈 추정 방법을 도시한 흐름도이다. 도1에 도시된 객체 포즈 추정 장치를 통해 상기 객체 포즈 추정 방법을 실행할 수 있다.

도2를 참조하면 단계(S100)에서, 객체 입력부(10)에 의해 객체를 객체 추적부(20) 및 객체 식별부(30)에 입력된다. 여기서 상기 객체의 데이터 포맷이 어느 특정 포맷으로 제한되지 않고 객체 추적 및 객체 식별을 실현할 수 있는 데이터 포맷의 이미지(그레이(gray) 이미지, RGB 이미지, 적외선 이미지, 깊이(depth) 이미지)가 모두 적용될 수 있다. 또한, 바람직하게, 상기 객체 입력부(10)는 머리와 같은 객체에 대해 AAM(Active Appearance Model) 피팅 및 페이스 위치측정 등 처리를 실행하여, 오리지널의 이미지에서 머리 부위를 분리시킨 다음에 머리를 추정될 객체로 객체 추적부(20) 및 객체 식별부(30)에 입력할 수 있다.

단계(S200)에서, 객체 추적부(20)에 의해 추적 방법에 기초하여 상기 객체의 추적 포즈 확률밀도를 획득한다. 보다 상세하게, 추적된 객체를 강체(rigid body)로 간주하고, 추적 과정을 최적화하기 위해 상기 객체의 각 관측 상태에 대해 객체 운동의 사후확률(posterior probability)을 최대화하여 추적 포즈 확률밀도를 획득할 수 있다. 해당 기술분야에서 통상의 지식을 가진 자라면 입자 필터(particle filter)와 같은 각종 추적 방법을 이용하여 입력 객체의 연속적인 포즈에 대한 추적을 실현할 수 있다는 것을 알 수 있다. 다시 말하면, 연속적으로 입력된 객체에 기초하여 추적 포즈 확률 분포(probability distribution)를 획득하는 추적 방법이 모두 적용될 수 있다.

바람직하게, 개선된 추적 방식을 사용하여 객체의 추적 포즈 확률밀도를 획득할 수 있다. 상기 바람직한 방식으로, 성공 매칭된 인접한 두 프레임 이미지에 대하여 객체 추적부(20)는 상기 인접한 두 프레임 이미지의 상대적인 포즈를 계산하고 상기 상대적인 포즈를 이용하여 추적 포즈 확률밀도의 전개(spread)를 가이드하여 더욱 더 정확한 추적 포즈 확률밀도를 획득할 수 있다.

이하에서, 머리를 객체로 하여 객체 추적부(20)가 상기 바람직한 방식에 따른 동작을 실행하는 실시예를 상세하게 설명한다.

성공적으로 매칭된 인접한 두 프레임 이미지에 대하여 전 프레임 이미지에 추정된 머리 포즈 확률밀도는 입자 세트 Pyaw（N）및 Ppitch（N）로 표시된다. Pyaw（N）은 머리 포즈에 대한 N개 샘플의 수평 편향각(yaw)의 확률 분포를 나타내고, Ppitch（N）은 머리 포즈에 대한 N개 샘플의 수직 경사각(pitch)의 확률 분포를 나타낸다. 여기서 제1 프레임 이미지가 전 프레임 이미지를 구비하지 않으므로 확률치가 같은 임의 입자 세트 Pyaw（N）및 Ppitch（N）또는 기타 적절한 머리 포즈 확률밀도를 선택하고, 이에 기초하여 포즈 추적을 진행할 수 있다.

다음으로, 객체 추적부(20)는 상기 인접한 두 프레임 이미지에 대하여 페이스에 있는 2차원 특징 포인트를 추출하고, 해당하는 대응 관계를 구축한 후 3D 페이스 모델에 의해 3D 포즈 추정 방법(예, POSIT방법)을 이용하여 상기 특징 포인트의 3차원 좌표를 획득하고, 상기 인접한 두 프레임 이미지에 있는 상대적인 포즈

를 재구축한다.

는 현재 시간을 나타내고,

는 상대적인 포즈의 회전 행렬(rotation matrix)을 나타내며,

는 상대적인 포즈의 translation vector를 나타낸다. 바람직하게, 수렴성(convergence)을 확보하기 위해 POSIT처리 후, 직교 반복(Orthogonal iteration, OI) 방법을 이용하여 내부의 매칭 특징 포인트를 처리한다.

상대적인 포즈

를 계산할 경우, 객체 포즈 확률밀도(즉, 객체 포즈를 회복)에 효과적으로 영향을 줄 수 있는 상대적인 포즈를 획득하기 위해, 적어도 4쌍의 매칭된 특징 포인트를 선택한다. 여기서, 객체 추적부(20)는 객체 포즈를 회복하기 위한 매칭 포인트의 최소 세트를 임의로 선택하고 상대적인 포즈를 계산할 수 있는 대량의 매칭 포인트를 선택할 수 있다. 각각의 회복된 객체 포즈에 대하여 3D페이스 모델의 3차원 정점에서 이미지 평면까지의 투사 오차에 따라 컨피던스(confidence) 를 계산한다. 마지막으로 가장 높은 컨피던스를 갖는 포즈를 선택하며 재구축된 상대적인 포즈

로 결정한 후에 입자 세트 Pyaw（N）및 Ppitch（N）에 있는 모든 샘플을 재구축된 상대적인 포즈

에 기초하여 조절 및 갱신하여 밀도의 전개 과정을 실현할 수 있다. 갱신된 입자 세트 Pyaw（N）및 Ppitch（N）는 객체 추적부(20)가 추적 알고리즘에 따라 획득된 현재 프레임의 추적 포즈 확률 분포이다.

단계(S300)에서, 객체 식별부(30)는 트레이닝 모델에 기초하여 현재 프레임 이미지에 상기 객체의 식별 포즈 확률밀도를 획득할 수 있다. 예시적 실시예에 따라, 객체 식별부(30)는 정태적 이미지에 대해 객체 포즈 식별을 임의로 실행하는 방식으로 식별 포즈 확률밀도를 획득할 수 있으며 단계(S200)에 획득된 추적 포즈 확률밀도와 융합하여 객체 추적부(20)에 발생하는 누적된 오차를 수정할 수 있다. 여기서 트레이닝 모델에 기초하여 식별 포즈 확률밀도를 획득하는 방법은 복잡한 실제 환경(이를 테면, 조명이 급속적으로 변화거나 객체가 차단된 문제를 나타나는 경우)에서 추적 실패에 따른 추정이 실효된 문제를 보상할 수 있다.

예시로, 객체 식별부(30)는 랜덤 포레스트 모델에 기초하여 객체의 식별 포즈 확률밀도를 획득할 수 있다. 여기서 랜덤 포레스트 모델은 미리 오프라인 트레이닝을 통해 획득된 예측 트리 세트(tree set)일 수 있고, 복귀 알고리즘에 근거하여 각 프레임 입력 객체의 특징에 따라 대응하는 각각의 포즈의 확률밀도를 획득할 수 있다. 랜덤 포레스트의 복귀를 이용하여 객체 포즈를 식별하는 것은 해당 기술분야의 일반적인 상식으로, 이에 대한 설명을 생략한다.

바람직하게, 예시적 실시예에 따라, 객체의 특징을 추출하기 전의 오리지널의 이미지에 대해 Gabor 파형 전환 (wavelet transformation)을 한다. 이에 따라 복잡한 환경에서 특징 추출의 기능을 개선함으로써 식별 결과에 조명, 드리프트, 변형에 대해 더 좋은 견고성(robustness)을 나타날 수 있다.

Gabor 전환된 객체에 대하여, 객체 식별부(30)는 객체가 그리딩(예, 8×8 grid)된 후에 그것의 밝기 분포를 추출할 수 있다. 또한 밝기 분포를 객체의 특징으로 하고 상기 특징에 기초하여 랜덤 포레스트의 복귀를 통해 해당 식별 포즈 확률밀도를 획득할 수 있다. 여기서, 각 특징을 zero-mean 및 단위 분산(variance)으로 표준화하여, 서로 다른 Gabor 코어의 사이즈 변화의 균형을 맞춘다.

여기서, 단계(S200) 및 단계(S300)는 상기 설명된 순서에 제한되지 않으므로 병행 실행도 가능하다.

다음으로, 단계(S400)에서, 결합부(40)에 의해 단계(S200)에서 획득된 추적 포즈 확률밀도와 단계(S300)에서 획득된 식별 포즈 확률밀도를 융합하여 객체의 추정 포즈 확률밀도를 획득하고, 상기 객체의 추정 포즈 확률밀도에 기초하여 상기 객체의 객체 포즈를 추정한다.

도 3은 예시적 실시예에 따른 추적 포즈 확률밀도와 식별 포즈 확률밀도를 융합하여 객체 포즈 추정을 도시한 것이다. 도3에 도시된 （A）, （A'）,（B）,（C）및（C'）에서 각 서클(circle)은 하나의 포즈를 나타내고 서클의 사이즈는 해당 포즈의 확률치를 나타낸다. 보다 상세하게, 도3의 (A)는 전 프레임에 대해 추정된 객체의 포즈 확률밀도를 나타내고, 도3의（A'）은 현재 프레임과 전 프레임 사이의 상대적인 포즈

에 기초하여 전 프레임의 객체 포즈 확률밀도(A)를 조절 및 갱신 (즉, 확률밀도의 전개)하여 획득된 현재 프레임 객체의 추적 포즈 확률밀도를 나타낸다. 도3의（B）는 랜덤 포레스트에 기초하여 획득된 현재 프레임 객체의 식별 포즈 확률밀도를 나타낸다. 도3의（C）는 추적 포즈 확률밀도（A'）와 식별 포즈 확률밀도（B）를 융합하여 획득된 추정 포즈 확률밀도를 나타낸다. 여기서 상기 융합을 처리하는 경우, 결합부(40)는 추적 확률밀도（A'）에 기초하여 식별 포즈 확률밀도（B）에 있는 각각의 식별 포즈에 대해 밀도 융합할 수 있다. 보다 상세하게, 결합부(40)는 추적 포즈 확률밀도（A'）에 추적 포즈가 존재 여부를 판단하여 추적 포즈와 상기 식별 포즈 사이의 거리가 일정한 임계값(threshold)(상기 임계값은 필요에 따라 인위적으로 설정되거나 기타 방식으로 계산해서 획득됨)보다 작아야 한다. 만약 이런 추적 포즈가 존재하는 경우, 다시 말해, 상기 추적 포즈의 확률치가 증가하고(이를 테면, 상기 추적 포즈의 확률치가 1/M으로 증가하고, 여기서, M는 랜덤 포레스트에 랜덤 트리의 양을 나타낸다), 해당하는 추적 포즈가 존재하지 않는 경우, 상기 식별 포즈를 새로운 추적 포즈로 하여 추적 포즈의 확률밀도에 추가하고, 상기 새로운 추적 포즈의 확률치는 1/M로 될 수 있다. 식별 포즈 확률밀도（B）에 있는 모든 식별 포즈에 대해 상기 처리를 실행한 후에, 융합된 추정 포즈 확률밀도를 획득할 수 있다. 그리고 각각의 포즈의 확률치는 표준화 처리된다. 바람직하게, 낮은 확률 포즈를 삭제하고 필요에 따라 높은 확률 포즈를 보류하여 추후 처리할 수 있다.

상기 밀도 융합 처리 후, 선택적인 결합부(40)는 획득된 추정 포즈 확률밀도에 있는 각각의 추정 포즈에 대해 랜덤 확산(이를 테면, 브라운 운동(Brownian movement))하여 더 효과적인 추정 포즈 확률밀도（C'）를 획득한다.

이에 기초하여 결합부(40)는 다시 추정 포즈 확률밀도（C'）에 있는 각각의 추정 포즈의 확률치를 획득한다. 여기서, 각각의 추정 포즈의 ML(maximum likelihood)를 계산하여 확률치로 간주한다. 바람직하게 각각의 포즈의 라이클리후드(likelihood) 확률을 추출된 특징 포인트와 2차원 투사 사이의 위치 차이 합에 정비례하도록 설정하고, 상기 2차원 투사는 상기 특징 포인트의 3차원 좌표와 대응한다. 입자 세트 Pyaw（N및 Ppitch（N）에 의해 표시된 머리 포즈에 대하여, 제 i개 수평 오프셋 샘플pyaw-i의 확률치는 Ppitch（N）중 모든 수직 경사 샘플에 대해 추정된 ML이고, 제j개 수직 경사 샘플ppitch-j의 가중치는 Pyaw（N）중 모든 수평 오프셋 샘플에 대해 추정된 ML이다.

이에 기초하여, 결합부(40)는 가장 높은 확률치의 포즈를 추정된 객체 포즈로 간주한다.

위와 같이 결합부(40)에 의해 획득된 추적 포즈를 통해 각각의 포즈의 확률치를 다시 계산하고 최종 추정 포즈를 획득하는 예시에 대해 설명했다. 그러나 해당 기술분야에서 통상의 지식을 가진 자라면 본 발명이 상기 실시예에 의해 제한되지 않는 것으로 이해해야 한다. 추적 포즈에 따른 각각의 포즈의 확률치를 추정하는 방식은 모두 본 발명에 적용될 수 있다.

또한, 바람직한 추가 처리로써, 단계(S500)에서, 온라인 갱신부(50)는 결합부(40)가 단계 (S400)에서 추정된 최종 객체 포즈에 기초하여 객체 식별부(30)에 있는 트레이닝 모델을 갱신할 수 있다. 예를 들어, 랜덤 포레스트가 트레이닝 모델로 간주된 경우, 온라인 갱신부(50)는 상기 추정된 객체 포즈를 out-of-bag 샘플으로 간주하고 랜덤 포레스트에 각각의 트리의 OOBE （out-of-bag-error） 및 전체의 랜덤 포레스트의 OOBE를 계산한다. 전체 랜덤 포레스트의 OOBE가 임계값(예, 0.5 또는 기타 실제 응용 설정된 값) 보다 큰 경우, 상기 객체 포즈를 온라인 키 샘플으로 간주하고 랜덤 포레스트에서 상기 키 샘플이 대응하는 잎 노드를 설정하고 이에 따라 전체의 랜덤 포레스트 모델을 갱신한다.

예시로, 랜덤 포레스트에 있는 현재 트리Tt에 대하여, 온라인 키 샘플 S를 결정한 다음에, 현재 트리Tt가 키 샘플S에 가입된 후의 OOBE 값이 임계값 보다 큰지의 여부를 확인할 수 있다. 만약 임계값 보다 작은 경우 잎 노드 갱신 알고리즘을 진행한다.

이하에서, 잎 노드 갱신 알고리즘에 대해서 상세히 설명한다. 상기 온라인 키 샘플S에 대하여, 잎 노드에서 이미 상기 샘플S의 포즈와 일치 또는 유사하는 노드 클래스(class)가 존재한다면, 노드 클래스의 개수에 1을 더하고, 그렇지 않으면, 잎 노드에 새 노드 클래스를 추가하며 새 노드 클래스가 샘플S를 구비하도록 하면서 잎 노드의 총 클래스 개수에 1을 더한다. 그 다음 현재 잎 노드에 대해 분류 여부를 판단한다. 예를 들어, 잎 노드의 총 클래스 개수가 일정 임계값(상기 임계값이 실제 상황에 따라 설정될 수 있다)보다 큰지의 여부를 판단하고, 임계값 보다 큰 경우 현재 기술에 사용된 노드 스플리팅(splitting) 방법으로 노드 스플리팅하고 그렇지 않은 경우 온라인 갱신 과정을 종료한다.

도 4는 예시적 실시예에 따른, 트레이닝 모델에 대한 온라인 갱신의 렌더링을 도시한다. 도4(a)는 해당 기술 분야에 일반적으로 사용된 Boston University의 jam7측정 이미지 시퀀스를 도시한 것이다. 도4(b)에서 Ground truth는 상기 측정 이미지 시퀀스에 대해 자기 센서를 이용하여 실제(real) 머리yaw포즈를 나타낸 것이고 RF는 종래의 오프라인 랜덤 포레스트에 기초하여 식별된 결과를 나타낸 것이다. OnlineRF-1 및 OnlineRF-2는 제시된 온라인 갱신된 랜덤 프레스트에 기초하여 식별된 결과이다. 따라서 제시된 추정된 객체 포즈에 기초하여 트레이닝 모델을 갱신하는 방법이 실제 객체와 거의 비슷한 식별 결과를 획득할 수 있다.

예시적 실시예에 따른 객체 포즈 추정 장치 및 객체 포즈 추정 방법에서는 동태적인 포즈 추적 결과 및 정태적인 포즈 식별 결과를 융합하여 동태적인 포즈 추적 결과에 오차가 누적된 것을 방지할 수 있으므로 추적 드리프트 문제를 해결할 수 있다. 또한, 인접 이미지의 상대적인 포즈를 이용하여 추적 포즈 확률밀도의 전개를 가이드하여 더욱 정확한 추적 포즈 확률밀도를 획득할 수 있다. 또한, 식별 포즈 확률밀도를 획득하는데 사용된 트레이닝 모델에 대해 온라인 갱신의 방식으로 지속적으로 트레이닝할 수 있고, 이와 같은 방식을 통해 실질적으로 트레이닝 모델의 샘플 수량이 증가할 수 있고, 증가된 샘플은 실제 환경에 더욱 부합되어 트레이닝 모델의 표준화 기능을 향상시킬 수 있다. 또한, 상기 온라인 갱신 방식은 대부분의 샘플에 대해 저장이 필요하지 않고 메모리에 대한 요구가 낮다.

여기서, 예시적 실시예에 따른 객체 포즈 추정 장치는 인간-기계 상호작용의 장치에 포함될 수 있다. 예를 들어, 상기 인간-기계 상호작용의 장치는 객체 포즈 추정 장치에 의하여 추정된 머리 포즈 및 추출된 눈의 위치에 따라 윈도우(window)를 합성할 수 있다.

위와 같이, 비록 한정된 실시예에 의해 설명되었으나, 본 발명은 위에서 기술된 실시예들에 의해 한정되지 않으며, 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예들에 국한되어 정의되어서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정의되어야 한다.

Claims

객체 포즈(pose)를 추정(estimate)하는 장치에 있어서,
객체를 객체 추적부 및 객체 식별부에 입력하기 위한 객체 입력부;
추적 방법에 기초하여 상기 객체의 추적 포즈 확률밀도를 획득하기 위한 객체 추적부;
트레이닝(training) 모델에 기초하여 상기 객체의 식별 포즈 확률밀도를 획득하기 위한 객체 식별부; 및
상기 추적 포즈 확률밀도와 상기 식별 포즈 확률밀도를 융합하여 상기 객체의 추정 포즈 확률밀도를 획득하고, 상기 객체의 상기 추정 포즈 확률밀도에 기초하여 상기 객체의 객체 포즈를 추정하기 위한 결합부
를 포함하는 장치.
제1항에 있어서,
상기 결합부에 의해 추정된 상기 객체 포즈에 기초하여 상기 객체 식별부의 상기 트레이닝 모델을 갱신하는 온라인 갱신부
를 더 포함하는 장치.
제1항에 있어서,
상기 객체 식별부는,
입력 객체를 포함하는 이미지에 대해 Gabor 파형 전환 (wavelet transformation)을 하고, Gabor 파형 전환된 이미지에서 객체의 밝기 분포를 획득하고 객체의 특징으로 하여 상기 객체의 특징에 대해 상기 트레이닝 모델에 기반하여 상기 객체의 식별된 포즈의 확률밀도를 획득하는 것을 특징으로 하는 장치.
제2항에 있어서,
상기 트레이닝 모델은 랜덤 포레스트(random forest) 모델이고,
상기 온라인 갱신부는 상기 랜덤 포레스트 모델을 갱신하도록 상기 객체 포즈가 온라인 키 샘플(key sample)인지의 여부를 확인하고, 상기 객체 포즈가 온라인 키 샘플인 경우 상기 랜덤 포레스트 모델에서 상기 온라인 키 샘플이 대응하는 잎 노드(leaf node)를 설정하고, 이에 따라 전체 랜덤 포레스트 모델을 갱신하는 것을 특징으로 하는 장치.
제1항에 있어서,
상기 객체 식별부는,
인접한 두 프레임 이미지에 객체의 상대적인 포즈를 계산하고, 상기 상대적인 포즈를 이용하여 상기 추적 포즈 확률밀도에 대한 전개(spread)를 가이드하는 것을 특징으로 하는 장치.
제5항에 있어서,
상기 객체는 사람의 머리를 포함하는 것을 특징으로 하는 장치.
제6항에 있어서,
상기 객체 식별부는,
상기 인접한 두 프레임 이미지에 있는 머리 부분의 상대적인 포즈를 계산하도록 사람의 머리 부분의 매칭 특징 포인트에 기초하여 POSIT 처리를 실행한 후에 직교 반복(Orthogonal iteration) 방법을 이용하여 POSIT처리 후 내부의 매칭 특징 포인트를 처리하는 것을 특징으로 하는 장치.
제1항에 있어서,
상기 결합부는,
상기 추적 포즈 확률밀도에 기초하여 상기 식별 포즈 확률밀도에 있는 각각의 식별 포즈에 대해 밀도 융합하여 상기 객체의 상기 추정 포즈 확률밀도를 획득하는 것을 특징으로 하는 장치.
제8항에 있어서,
상기 결합부는,
획득된 추정 포즈 확률밀도에 있는 각각의 상기 추정 포즈를 랜덤 확산하고, 랜덤 확산된 추정 포즈 확률밀도에 기초하여 상기 객체의 객체 포즈를 추정하는 것을 특징으로 하는 장치.
제9항에 있어서,
상기 결합부는 랜덤 확산된 추정 포즈 확률밀도에 기초하여 상기 객체의 객체 포즈를 추정하게 되는 경우 상기 결합부는 추정 포즈 확률밀도에 각각의 추정 포즈의 확률치를 다시 획득하고,
상기 결합부는,
각각의 추정 포즈의 ML(maximum likelihood)를 계산하여 확률치로 간주하는 것을 특징으로 하는 장치.
제10항에 있어서,
상기 결합부는,
다시 획득된 ML이 대응하는 추정 포즈를 상기 객체의 추정 포즈로 간주하는 것을 특징으로 하는 장치.
객체 포즈(pose)를 추정(estimate)하는 방법이 있어서,
추정될 객체를 입력하는 단계;
추적 방법에 기초하여 상기 객체의 추적 포즈 확률밀도를 획득하는 단계;
트레이닝(training) 모델에 기초하여 상기 객체의 식별 포즈 확률밀도를 획득하는 단계; 및
상기 추적 포즈 확률밀도와 상기 식별 포즈 확률밀도를 융합하여 상기 객체의 추정 포즈 확률밀도를 획득하고, 상기 객체의 상기 추정 포즈 확률밀도에 기초하여 상기 객체의 객체 포즈를 추정하는 단계
를 포함하는 방법.
제12항에 있어서,
추정된 상기 객체 포즈에 기초하여 상기 트레이닝 모델을 갱신하는 단계
를 더 포함하는 방법.
제12항에 있어서,
상기 추적 방법에 기초하여 상기 객체의 추적 포즈 확률밀도를 획득하는 단계는,
인접한 두 프레임 이미지에 객체의 상대적인 포즈를 계산하고, 상기 상대적인 포즈를 이용하여 상기 추적 포즈 확률밀도에 대한 전개(spread)를 가이드하는 단계를 포함하는 것을 특징으로 하는 방법.
제14항에 있어서,
상기 추적 방법에 기초하여 상기 객체의 추적 포즈 확률밀도를 획득하는 단계는,
상기 트레이닝 모델에 기초하여 상기 객체의 상기 식별 포즈 확률밀도를 획득하는 단계와 병행하여 실행되는 것을 특징으로 하는 방법.