KR101169533B1

KR101169533B1 - 얼굴 자세 추정 장치, 얼굴 자세 추정 방법 및 얼굴 자세 추정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체

Info

Publication number: KR101169533B1
Application number: KR1020107014972A
Authority: KR
Inventors: 히데아키 사사하라; 요시히로 노구치; 게이지 시마다
Original assignee: 아사히 가세이 가부시키가이샤
Priority date: 2008-01-16
Filing date: 2009-01-16
Publication date: 2012-07-30
Also published as: US20110052013A1; CN101952853B; CN101952853A; EP2234062A1; US8401251B2; WO2009091029A1; JPWO2009091029A1; KR20100094560A; EP2234062A4; JP4728432B2

Abstract

고정밀도이며, 화상으로부터 얼굴 기관을 검출할 수 없는 경우라도 얼굴 자세를 추정하는 것을 가능하게 하는 얼굴 자세 추정 장치, 얼굴 자세 추정 방법 및 얼굴 자세 추정 프로그램을 제공한다. 얼굴 자세 추정 장치(10)의 얼굴 기관 검출부(11)는, 화상 프레임으로부터 얼굴 기관을 검출한다. 얼굴 자세 후보군 생성부(16)는 얼굴 자세 후보군을 생성한다. 제1 유사도 산출부(12)는, 3D 모델 베이스 유사도를 산출한다. 제2 유사도 산출부(13)는, 어피어런스 베이스 유사도를 산출한다. 제1 우도 산출부(141)는, 3D 모델 베이스 유사도에 대응하는 제1 우도를 산출한다. 제2 우도 산출부(142)는, 어피어런스 베이스 유사도에 대응하는 제2 우도를 산출한다. 통합 우도 산출부(143)는, 제1 우도와 제2 우도를 이용하여 통합 우도를 산출한다. 얼굴 자세 추정부(15)는, 통합 우도를 이용하여 얼굴 자세를 추정한다.

Description

얼굴 자세 추정 장치, 얼굴 자세 추정 방법 및 얼굴 자세 추정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체{FACE POSTURE ESTIMATING DEVICE, FACE POSTURE ESTIMATING METHOD, AND COMPUTER READABLE RECORDING MEDIUM RECORDING FACE POSTURE ESTIMATING PROGRAM}

본 발명은, 얼굴을 촬영한 화상을 이용하여 얼굴 자세를 추정하는 얼굴 자세 추정 장치, 얼굴 자세 추정 방법 및 얼굴 자세 추정 프로그램에 관한 것이다.

얼굴 방향이나 얼굴 자세를 추정하는 기술은, 다양한 분야에서 응용이 가능하다. 여기서,「얼굴 방향」은, 요우, 피치, 롤의 3방향을 나타내는 정보로 표시된다.

또, 「얼굴 자세」는 적어도 얼굴 방향을 나타낸다. 「얼굴 자세」는, 얼굴 방향에 더하여, 3차원 공간에서의 위치의 개념을 포함하는 경우도 있다. 따라서, 「얼굴 자세」는, 요우, 피치, 롤, x 좌표, y 좌표, z 좌표의 최대 6차원의 정보로 표시된다. 얼굴 방향이나 얼굴 자세를 추정하는 기술은, 특히 차량 운전자의 안전운전 지원의 분야에서 유용하다.

컴퓨터 비젼에 의한 얼굴 방향 추정이나 얼굴 자세 추정에 이용되는 대표적인 방법으로서, 3차원 얼굴 형상 모델 베이스(이하 「3D 모델 베이스」라고 함)의 방법과, 어피어런스 베이스의 방법과, 얼굴 특징 베이스의 방법이 알려져 있다(예를 들어, 사토 요이치 : "컴퓨터 비젼에 의한 얼굴의 트래킹", 영상 정보 미디어 학회지 Vol.60, No.4, pp.516-519(2006)). 이하, 각 방식에 관해 설명한다.

얼굴 자세를 추정하기 위해, 3D 모델 베이스의 방법을 적용하는 경우에 관해 설명한다. 여기서는, 시계열 필터의 하나인 파티클 필터를 이용한 방법을 예로 든다. 파티클 필터는 베이지언 필터(bayesian filter)의 근사 계산법이며, 유한한 파티클에 의해 확률 밀도 함수를 표현하는 것이다. 파티클 필터에서는, 상태량과 우도(尤度)를 갖는 가설을 다수 이용함으로써 트래킹 대상을 이산적인 확률 밀도 함수로서 표현하고, 이 확률 밀도 함수를 상태 천이 모델에 의해 전파시키고 있다. 얼굴 자세에 관한 「상태」는 얼굴 위치나 얼굴 방향 등의 얼굴 자세 정보에 관한 상태를 의미한다. 얼굴 자세의 추정 과정에서는, 얼굴 자세의 상태에 관한 가설을 다수 생성하고, 그 각 가설에 관해 입력된 얼굴 화상과의 유사도를 산출하고, 이 유사도에 기초하여 가설의 집합을 갱신한다. 그리고, 유사도가 가장 높은 가설의 상태량에 대응하는 얼굴 자세를 추정 결과로서 출력한다.

어피어런스 베이스의 방법에서는, 여러 방향을 향한 얼굴 화상을 미리 준비 해 두고, 새롭게 얼굴 화상이 입력되었을 때 그것이 어떤 얼굴 화상과 가장 유사한지를 추정하고 있다. 화상간의 유사도의 산출에는, 대응하는 화소간의 화소값의 차의 제곱합이 자주 이용된다.

얼굴 특징 베이스의 방법에서는, 입력 화상 중에서의 눈이나 입 등의 상대적인 위치 관계에 기초하여 얼굴 특징을 구하여 얼굴 방향을 추정한다. 얼굴 특징 베이스의 방법으로서, 예를 들어, 일본 특허 공개 2005-196567호 공보(이하 「문헌 1」이라고 함) 및 일본 특허 공개 평 11-281661호 공보(이하 「문헌 2」라고 함)에서는, 운전자의 얼굴을 촬영한 화상을 분석하여 얼굴 방향을 추정하고 있다.

그러나, 문헌 1 및 2에 기재된 기술에서는, 눈, 코, 입과 같은 기정의 얼굴 기관을 이용하여 얼굴 방향을 추정하고 있어, 얼굴 방향의 변화 또는 안경, 선글래스 착용 등에 의해 그 부위가 가려지면, 얼굴 자세를 추정하는 것이 불가능해진다. 이 때문에, 추정 가능한 각도 범위는 대략 좌우 60도 이내로 한정된다. 추정 가능한 각도 범위가 한정되면, 운전자의 안전 운전 지원을 충분히 행할 수 없다는 문제점이 생긴다.

또, 3D 모델 베이스의 방법에 의해 얼굴 방향 추정이나 얼굴 자세 추정을 한 경우에는, 입력 카메라 화상에서의 눈, 코, 입과 같은 기정의 얼굴 기관의 위치를 이용하기 때문에, 예를 들어 얼굴이 크게 옆으로 향하는 경우 등에 얼굴 기관의 일부가 화상으로부터 사라지면, 얼굴 자세를 추정하는 것이 불가능해진다는 문제가 생긴다. 또한, 일반적으로 3D 모델 베이스 방법에 이용하는 3차원 얼굴 형상 모델은 강체(剛體)이기 때문에, 표정 변화나 얼굴 자세의 변위 등에 의해 피부가 인장되거나 하여 얼굴 기관 위치에 변화가 생기면, 입력된 얼굴 화상과 3차원 얼굴 형상 모델과의 괴리가 커져, 고정밀도의 얼굴 자세 추정이 불가능해지는 문제도 생긴다.

본 발명은 이상의 문제점을 감안하여 이루어진 것으로, 고정밀도이며, 화상으로부터 얼굴 기관을 검출할 수 없는 경우라도 얼굴 자세를 추정하는 것을 가능하게 하는 얼굴 자세 추정 장치, 얼굴 자세 추정 방법 및 얼굴 자세 추정 프로그램을 제공하는 것을 목적으로 한다.

또한, 본 발명은, 이용자를 구속하지 않고, 이용자에게 기구를 장착시키는 일 없이, 눈, 코, 입이 가려지는 범위에서의 얼굴 자세를 추정할 수 있도록 하는 것을 목적으로 한다. 또, 안경 착용, 머리 모양의 변화 등으로 기정의 얼굴 기관이 가려지는 경우라도 얼굴 자세를 추정할 수 있도록 하는 것을 목적으로 한다.

본 발명은, 얼굴을 시계열적으로 촬영한 얼굴 화상으로부터 상기 얼굴의 적어도 방향을 나타내는 얼굴 자세를 추정하는 얼굴 자세 추정 장치에 있어서, 상기 얼굴 화상으로부터 얼굴 기관을 검출하는 얼굴 기관 검출 수단과, 추정되는 얼굴 자세의 후보인 얼굴 자세 후보의 집합인 얼굴 자세 후보군을 생성하는 얼굴 자세 후보군 생성 수단과, 상기 얼굴 자세 후보군 생성 수단에 의해 생성된 얼굴 자세 후보군 각각의 얼굴 기관과, 상기 얼굴 기관 검출 수단에 의해 검출된 실제의 얼굴 기관의 각각 위치에 대응하는 제1 파라미터에 의한 제1 유사도를 산출하는 제1 유사도 산출 수단과, 상기 얼굴 자세 후보군 생성 수단에 의해 생성된 얼굴 자세 후보군 각각의 얼굴 화상과, 상기 얼굴 기관 검출 수단에 의해 검출 대상이 된 실제의 얼굴 화상의 각각 미리 정해진 기준 자세와의 변위에 따른 화소값에 대응하는 제2 파라미터에 의한 제2 유사도를 산출하는 제2 유사도 산출 수단과, 상기 제1 유사도 산출 수단에 의해 산출된 제1 유사도에 대응하는 제1 우도를 산출하는 제1 우도 산출 수단과, 상기 제2 유사도 산출 수단에 의해 산출된 제2 유사도에 대응하는 제2 우도를 산출하는 제2 우도 산출 수단과, 상기 제1 우도와 상기 제2 우도를 이용하여, 상기 얼굴 자세 후보군 각각의 정확도를 나타내는 통합 우도를 산출하는 통합 우도 산출 수단과, 상기 통합 우도 산출 수단에 의해 산출된 통합 우도를 이용하여 얼굴 자세를 추정하는 얼굴 자세 추정 수단을 갖추며, 상기 통합 우도는, 상기 얼굴 자세 후보군 생성 수단에 의한 얼굴 자세 후보군의 새로운 갱신 생성에 반영되는 것을 특징으로 하는 얼굴 자세 추정 장치를 제공한다.

본 발명에 의하면, 얼굴 자세 추정 장치는, 제1 파라미터에 의한 제1 유사도에 대응하는 제1 우도와, 제2 파라미터에 의한 제2 유사도에 대응하는 제2 우도를 이용하여 통합 우도를 산출하고, 그 산출된 통합 우도를 이용하여 얼굴 자세를 추정하기 때문에, 제1 우도와 제2 우도를 개별적으로 이용하여 얼굴 자세를 추정할 때보다 고정밀도의 얼굴 자세 추정을 할 수 있다.

바람직한 양태에서, 상기 통합 우도 산출 수단은, 상기 제1 우도 또는 상기 제2 우도 중 어느 하나가 산출되지 않은 경우에는, 산출된 하나의 우도만 이용하여 상기 통합 우도를 산출하는 것을 특징으로 한다.

본 발명에 의하면, 통합 우도 산출 수단은, 제1 우도 또는 제2 우도 중 어느 하나가 산출되지 않은 경우에는, 산출된 하나의 우도만 이용하여 상기 통합 우도를 산출하기 때문에, 얼굴 기관을 검출할 수 없는 경우에도 얼굴 자세를 추정하는 것이 가능해진다.

바람직한 양태에서, 상기 제1 유사도 산출 수단과 상기 제2 유사도 산출 수단은, 각각의 성능 특성을 보완하는 보완 관계인 것을 특징으로 한다.

본 발명에 의하면, 제1 유사도 산출 수단과 제2 유사도 산출 수단이 보완 관계에 있어 서로 보완할 수 있기 때문에, 고정밀도의 얼굴 자세 추정을 할 수 있다.

바람직한 양태에서, 상기 통합 우도 산출 수단은, 상기 제1 우도와 상기 제2 우도를 곱하는 것을 특징으로 한다.

본 발명에 의하면, 제1 우도와 제2 우도를 곱함으로써 통합 우도를 산출하기 때문에, 얼굴 자세를 추정하기 위한 정밀도가 높은 통합 우도를 산출할 수 있다.

바람직한 양태에서, 상기 제1 유사도 산출 수단은, 3차원 얼굴 형상 모델 베이스에 의한 유사도 산출 수단이며, 상기 제1 파라미터는 위치의 오차이고, 상기 제2 유사도 산출 수단은, 투영 변환 어피어런스 베이스에 의한 유사도 산출 수단이며, 상기 제2 파라미터는 화소값의 오차인 것을 특징으로 한다.

바람직한 양태에서, 상기 얼굴 자세 추정 수단은, 상기 통합 우도 산출 수단에 의해 산출된 통합 우도가 가장 높은 얼굴 자세 후보에 기초하여 얼굴 자세를 추정하는 것을 특징으로 한다.

본 발명에 의하면, 상기 얼굴 자세 추정 수단은, 상기 통합 우도 산출 수단에 의해 산출된 통합 우도가 가장 높은 얼굴 자세 후보에 기초하여 얼굴 자세를 추정하기 때문에, 정밀도 높게 얼굴 자세를 추정하는 것이 가능하다.

바람직한 양태에서, 상기 얼굴 자세 추정 수단은, 상기 얼굴 자세 후보군 생성 수단에 의해 생성된 얼굴 자세 후보군의 적어도 일부에 기초하는 수치의, 평균값과, 중앙값과, 상기 통합 우도에 의한 가중을 실시한 평균값인 무게 중심(重心) 중 어느 하나에 기초하여 얼굴 자세를 추정하는 것을 특징으로 한다.

본 발명에 의하면, 상기 얼굴 자세 추정 수단은 얼굴 자세 후보군의 적어도 일부에 기초하는 수치의, 평균값과, 중앙값과, 무게 중심 중 어느 하나에 기초하여 얼굴 자세를 추정하기 때문에, 통합 우도가 가장 높은 얼굴 자세 후보를 얼굴 자세로 하는 경우에 비해, 추정 정밀도는 낮아지지만, 추정 정밀도가 현저하게 저하되는 것이 아니다.

바람직한 양태에서, 상기 얼굴 자세 추정 수단은, 상기 통합 우도 산출 수단에 의해 산출된 가장 높은 통합 우도가 미리 정해진 임계값을 초과하는 경우에, 상기 가장 높은 통합 우도에 대응하는 얼굴 자세 후보에 기초하여 얼굴 자세를 추정하고, 상기 가장 높은 통합 우도가 미리 정해진 임계값 이하인 경우에, 상기 얼굴 자세 후보군 생성 수단에 의해 생성된 얼굴 자세 후보군의 적어도 일부에 기초하는 수치의, 평균값과, 중앙값과, 상기 통합 우도에 의한 가중을 실시한 평균값인 무게 중심 중 어느 하나에 기초하여 얼굴 자세를 추정하는 것을 특징으로 한다.

본 발명에 의하면, 얼굴 기관의 검출 오차 등으로 인해 가장 높은 우도가 미리 정해진 임계값 이하인 경우에도, 평균값, 중앙값 등을 이용하여 얼굴 자세를 추정할 수 있으므로, 정밀도가 높은 얼굴 자세의 추정을 할 수 있다.

바람직한 양태에서, 상기 얼굴 자세 후보군 생성 수단은, 상기 통합 우도 산출 수단에 의해 산출된 통합 우도가 비교적 높은 것에 대응하는 얼굴 자세 후보군에 기초하여, 다음 상기 제1 유사도와 상기 제2 유사도의 산출에 이용되는 얼굴 자세 후보군을 생성하는 것을 특징으로 한다.

본 발명에 의하면, 실제의 얼굴 자세에 비교적 근사한 얼굴 자세 후보군을 생성하는 것이 가능해진다.

바람직한 양태에서, 상기 얼굴 화상은, 차량 운전자의 얼굴이 촬영된 화상인 것을 특징으로 한다.

본 발명에 의하면, 얼굴 자세 추정 장치는 운전자의 얼굴 자세를 추정할 수 있어, 얼굴 자세 추정 장치를 운전자의 안전 운전 지원에 이용할 수 있다.

또, 본 발명은, 상술한 얼굴 자세 추정 장치를 갖춘 차량을 제공하는 것을 특징으로 한다.

본 발명에 의하면, 차량 내에서 운전자의 얼굴 방향 추정을 할 수 있어, 얼굴 자세 추정 장치를 차량 내에서의 안전 운전 지원에 이용할 수 있다.

또, 본 발명은, 얼굴을 시계열적으로 촬영한 얼굴 화상으로부터 상기 얼굴의 적어도 방향을 나타내는 얼굴 자세를 추정하는 얼굴 자세 추정 방법에 있어서, 상기 얼굴 화상으로부터 얼굴 기관을 검출하는 얼굴 기관 검출 단계와, 추정되는 얼굴 자세의 후보인 얼굴 자세 후보의 집합인 얼굴 자세 후보군을 생성하는 얼굴 자세 후보군 생성 단계와, 상기 얼굴 자세 후보군 생성 단계에서 생성된 얼굴 자세 후보군 각각의 얼굴 기관과, 상기 얼굴 기관 검출 단계에 의해 검출된 실제의 얼굴 기관의 각각 위치에 대응하는 제1 파라미터에 의한 제1 유사도를 산출하는 제1 유사도 산출 단계와, 상기 얼굴 자세 후보군 생성 단계에서 생성된 얼굴 자세 후보군 각각의 얼굴 화상과, 상기 얼굴 기관 검출 단계에서 검출 대상이 된 실제의 얼굴 화상의 각각 미리 정해진 기준 자세와의 변위에 따른 화소값에 대응하는 제2 파라미터에 의한 제2 유사도를 산출하는 제2 유사도 산출 단계와, 상기 제1 유사도 산출 단계에서 산출된 제1 유사도에 대응하는 제1 우도를 산출하는 제1 우도 산출 단계와, 상기 제2 유사도 산출 단계에서 산출된 제2 유사도에 대응하는 제2 우도를 산출하는 제2 우도 산출 단계와, 상기 제1 우도와 상기 제2 우도를 이용하여, 상기 얼굴 자세 후보군 각각의 정확도를 나타내는 통합 우도를 산출하는 통합 우도 산출 단계와, 상기 통합 우도 산출 단계에서 산출된 통합 우도를 이용하여 얼굴 자세를 추정하는 얼굴 자세 추정 단계를 갖춘 것을 특징으로 하는 얼굴 자세 추정 방법을 제공한다.

또, 본 발명은, 컴퓨터에, 얼굴을 시계열적으로 촬영한 얼굴 화상으로부터 얼굴 기관을 검출하는 얼굴 기관 검출 단계와, 추정되는 얼굴 자세의 후보인 얼굴 자세 후보의 집합인 얼굴 자세 후보군을 생성하는 얼굴 자세 후보군 생성 단계와, 상기 얼굴 자세 후보군 생성 단계에서 생성된 얼굴 자세 후보군 각각의 얼굴 기관과, 상기 얼굴 기관 검출 단계에 의해 검출된 실제의 얼굴 기관의 각각 위치에 대응하는 제1 파라미터에 의한 제1 유사도를 산출하는 제1 유사도 산출 단계와, 상기 얼굴 자세 후보군 생성 단계에서 생성된 얼굴 자세 후보군 각각의 얼굴 화상과, 상기 얼굴 기관 검출 단계에서 검출 대상이 된 실제의 얼굴 화상의 각각 미리 정해진 기준 자세와의 변위에 따른 화소값에 대응하는 제2 파라미터에 의한 제2 유사도를 산출하는 제2 유사도 산출 단계와, 상기 제1 유사도 산출 단계에서 산출된 제1 유사도에 대응하는 제1 우도를 산출하는 제1 우도 산출 단계와, 상기 제2 유사도 산출 단계에서 산출된 제2 유사도에 대응하는 제2 우도를 산출하는 제2 우도 산출 단계와, 상기 제1 우도와 상기 제2 우도를 이용하여, 상기 얼굴 자세 후보군 각각의 정확도를 나타내는 통합 우도를 산출하는 통합 우도 산출 단계와, 상기 통합 우도 산출 단계에서 산출된 통합 우도를 이용하여 얼굴 자세를 추정하는 얼굴 자세 추정 단계를 실행시키기 위한 얼굴 자세 추정 프로그램을 제공한다.

도 1은 본 발명의 실시형태에 따른 얼굴 자세 추정 장치의 기능 구성을 나타내는 블록도이다.
도 2는 동 실시형태에 따른 얼굴 자세 추정 처리의 전체 플로우도이다.
도 3은 동 실시형태에 따른 특징점 탐색 영역 설정의 일례를 나타낸 도면이다.
도 4는 동 실시형태에 따른 특징점 탐색 영역 내의 휘도 화상의 엣지 추출의 일례를 나타낸 도면이다.
도 5는 동 실시형태에 따른 선택된 특징점의 일례를 나타낸 도면이다.
도 6은 동 실시형태에 따른 얼굴 자세 트래킹 처리의 흐름을 나타내는 플로우도이다.
도 7은 동 실시형태에 따른 3차원 얼굴 형상 모델에 의한 얼굴 자세 분포 생성의 일례를 나타낸 도면이다.
도 8은 동 실시형태에 따른 단계 602에서 산출된 얼굴 기관의 2차원 좌표의 분포의 일례를 나타낸 도면이다.
도 9는 동 실시형태에 따른 투영 변환 화상의 일례를 나타낸 도면이다.
도 10은 동 실시형태에 따른 얼굴 자세 추정 처리의 흐름을 나타내는 플로우도이다.
도 11은 동 실시형태에 따른 얼굴 자세 추정 처리의 흐름의 개략도이다.
도 12는 본 발명 방식에 의한 얼굴 자세의 변위 요우각 추정 결과를 나타내는 그래프이다.
도 13은 본 발명 방식에 의한 얼굴 자세의 요우각 추정 결과를 나타내는 그래프이다.
도 14는 3D 모델 베이스의 우도 특성을 변경한 경우의, 본 발명 방식에 의한 얼굴 자세 요우각 추정 결과를 나타내는 그래프이다.
도 15는 3D 모델 베이스만으로 얼굴 자세의 요우각 추정을 한 결과를 나타내는 그래프이다.
도 16은 3D 모델 베이스의 우도 특성을 도 15로부터 변경하고, 또한 3D 모델 베이스만으로 얼굴 자세의 요우각 추정을 한 결과를 나타내는 그래프이다.
도 17은 어피어런스 베이스만으로 얼굴 자세의 요우각 추정을 한 경우의 결과를 나타내는 그래프이다.

이하, 본 발명의 실시형태를 도면을 참조하면서 설명한다. 이하의 설명에서 참조하는 각 도면에서는, 다른 도면과 동등한 부분은 동일한 부호로 나타낸다.

(얼굴 자세 추정 장치의 구성)

도 1은, 본 발명의 실시형태에 따른 얼굴 자세 추정 장치(10)의 기능 구성을 나타내는 블록도이다. 도 1에 나타낸 바와 같이, 얼굴 자세 추정 장치(10)는, 얼굴 기관 검출부(11), 제1 유사도 산출부(12), 제2 유사도 산출부(13), 우도 산출부(14) 및 얼굴 자세 추정부(15)를 갖추고 있다. 이들 기능 구성은, 도시하지 않은 얼굴 자세 추정 장치(10)의 CPU(Central Processing Unit)가, ROM(Read Only Memory)이나 하드디스크 등의 기억 장치에 기억된 프로그램을 실행함으로써 얼굴 자세 추정 장치(10)에 실현된다. 또, 얼굴 자세 추정 장치(10)는, 카메라로 촬영된 화상 프레임을 입력하기 위한 도시하지 않은 입력 인터페이스를 갖추고 있다.

얼굴 기관 검출부(11)는, 얼굴이 촬영된 화상 프레임으로부터 얼굴 기관을 검출한다.

제1 유사도 산출부(12)는, 3D 모델 베이스에 의한 추정 방법을 이용하여 유사도를 산출한다. 이 방법의 내용은, 오카 켄지, 사토 요이치, 나카니시 야스토, 고이케 히데키 : "적응적 확산 제어를 수반하는 파티클 필터를 이용한 두부 자세 추정 시스템", 신학론지 D-II, J88-D-II, 8, pp.1601-1613(2005)에 서술되어 있다. 구체적으로는, 제1 유사도 산출부(12)는, 얼굴 자세 정보에 관한 상태량의 확률 밀도 함수를 표현한 이산적인 가설(이하 「얼굴 자세 후보」라고 함)이 다수(N개 : N은 자연수) 모인 것인 가설군(이하 「얼굴 자세 후보군」이라고 함)을 생성한다. 다음으로, 얼굴 자세 후보군을 구성하는 얼굴 자세 후보에 기초하여, 3차원 얼굴 형상 모델을 3차원적으로 이동 및 회전시켜, 3차원 얼굴 형상 모델 상의 얼굴 기관의 각 특징점을 화상 프레임의 평면 상에 투영한다(화상 프레임의 평면 상에 투영된 각 특징점을, 이하 「얼굴 기관 좌표 후보」라고도 함). 그리고, 얼굴 기관 검출부(11)에 의해 검출된 얼굴 기관과, 대응하는 얼굴 기관의 상기 특징점이 투영된 위치의 오차(「제1 유사도」에 대응, 이하 「3D 모델 베이스 유사도」라고도 함)를 산출한다. 얼굴 자세 후보마다 이 오차를 산출하는 처리를, 얼굴 자세 후보군을 구성하는 모든 얼굴 자세 후보에 관해 행하여, 이들 N개의 유사도를 구한다.

제2 유사도 산출부(13)는, 얼굴 화상의 투영 변환 어피어런스를 이용한 어피어런스 베이스(투영 변환 어피어런스 베이스)에 의한 추정 방법을 이용하여 유사도를 산출한다. 구체적으로는, 제2 유사도 산출부(13)는, 우선, 얼굴 자세 후보군을 구성하는 N개의 얼굴 자세 후보 각각에 대응하는 얼굴 위치나 얼굴 방향 등의 얼굴 자세 정보를 참조한다. 다음으로, 미리 정해진 기준 위치에 대한 이 얼굴 자세 정보의 변위를 구한다. 미리 정해진 기준 위치란, 얼굴 기관의 검출 대상의 화상보다 시계열적으로 이전에 촬영된 화상에 대하여 추정된 얼굴 자세 정보이다. 그리고, 구해진 N개의 변위에 기초하여, 이 화상에 대하여 투영 변환을 한다. 투영 변환에 의해 얻어진 N개의 화상(이하 「투영 변환 화상」이라고 함)은 기준 위치가 된 과거의 화상에 대하여 각 얼굴 자세 후보의 얼굴 자세 정보를 반영한 화상이다. 제2 유사도 산출부(13)는, 이들 N개의 각각의 투영 변환 화상과 입력 화상의 대응하는 특징점간의 휘도의 오차(「제2 유사도」에 대응, 이하 「어피어런스 베이스 유사도」라고도 함)를 산출한다. 휘도의 오차에 한정되지 않고, 휘도의 개념을 포함하는 화소값의 오차이어도 된다. 또, 투영 변환의 방법으로서, 예를 들어, 시점 변환의 기능을 갖는 아핀 변환을 이용할 수 있다.

우도 산출부(14)는, 제1 우도 산출부(141)와, 제2 우도 산출부(142)와, 통합 우도 산출부(143)를 갖추고 있다.

제1 우도 산출부(141)는, 제1 유사도 산출부(12)에 의해 산출된 3D 모델 베이스 유사도에 기초하여, 그 3D 모델 베이스 유사도에 대응하는 우도(「제1 우도」에 대응)를 산출한다. 이 우도는, 3D 모델 베이스의 방법에서의, 얼굴 자세 후보의 정확도를 나타내는 값이다. 구체적인 산출식의 예는 후술한다.

제2 우도 산출부(142)는, 제2 유사도 산출부(13)에 의해 산출된 어피어런스 베이스 유사도에 기초하여, 어피어런스 베이스 유사도에 대응하는 우도(「제2 우도」에 대응)를 산출한다. 이 우도는, 어피어런스 베이스의 방법에서의, 얼굴 자세 후보의 정확도를 나타내는 값이다. 구체적인 산출식의 예는 후술한다.

통합 우도 산출부(143)는, 제1 우도 산출부(141)에 의해 산출된 우도와, 제2 우도 산출부(142)에 의해 산출된 우도 양쪽을 이용하여, 얼굴 자세 후보군을 구성하는 각 얼굴 자세 후보의 정확도를 나타내는 통합 우도를 산출한다. 얼굴 기관이 가려져 있거나 하여 얼굴 기관을 검출할 수 없는 경우에는, 3D 모델 베이스 유사도를 산출할 수 없기 때문에, 통합 우도 산출부(143)는 어피어런스 베이스 유사도만을 이용하여 통합 우도를 산출하여, 얼굴 자세의 추정을 가능하게 한다. 또, 어떤 이유로 인해 어피어런스 베이스 유사도를 산출할 수 없는 경우에는, 3D 모델 베이스 유사도만을 이용하여 통합 우도를 산출하여, 얼굴 자세의 추정을 가능하게 한다.

양쪽 우도를 이용하는 구체적인 통합 우도의 산출법의 예로는, 통합 우도 산출부(143)는, 동일한 얼굴 자세 후보에 대하여, 제1 우도 산출부(141)에 의해 산출된 우도와, 제2 우도 산출부(142)에 의해 산출된 우도를 곱함으로써, 상기 얼굴 자세 후보에 대한 통합 우도를 산출한다. 이와 같이 우도끼리 곱함으로써, 서로 독립적인 3D 모델 베이스에 의한 우도와 어피어런스 베이스에 의한 우도를, 동시에 일어나는 우도로서 위치 부여할 수 있다. 이와 같이 동시에 일어나는 우도를 이용함으로써, 3D 모델 베이스와 어피어런스 베이스가 각각 갖는 각각의 성능 특성(후술)을 보완한 성능 특성을 실현한다고 생각된다. 통합 우도의 산출 방법은, 곱에 한정되는 것은 아니다.

얼굴 자세 추정부(15)는, 통합 우도 산출부(143)에 의해 산출된 통합 우도를 이용하여 얼굴 자세를 추정한다. 구체적으로는, 얼굴 자세 추정부(15)는, 통합 우도가 가장 높은 얼굴 자세 후보에 대응하는 얼굴 자세 정보에 기초하여 얼굴 자세를 추정한다. 또는, 얼굴 자세 후보군의 전부 또는 일부에 대응하는 얼굴 자세 정보에 포함되는 각종 수치에 관하여, 평균값과, 중앙값과, 통합 우도에 의한 가중을 실시한 평균값(무게 중심) 중 어느 하나를 얼굴 자세로 추정한다. 예를 들어, 산출된 가장 높은 통합 우도의 값에 따라, 이러한 얼굴 자세 추정의 방법을 변경해도 된다.

얼굴 자세 후보군 생성부(16)는, 가설로서의 얼굴 자세 후보의 집합인 얼굴 자세 후보군을 생성한다. 구체적으로는, 얼굴 자세 후보군 생성부(16)는, 미리 초기값으로서의 임의의 얼굴 자세 후보군을 생성한다. 통합 우도 산출부(143)에 의해 통합 우도가 산출된 후에는, 촬영에 의해 순서대로 입력되는 화상 프레임에 대하여 얼굴 자세 추정의 처리를 계속하기 위해, 통합 우도가 비교적 큰 얼굴 자세 후보군을 이용하여, 다음 화상 프레임의 얼굴 자세 추정에 이용되는 얼굴 자세 후보군을 생성한다.

(실시예 1 : 미리 정해진 얼굴 기관을 검출할 수 있는 범위에서의 얼굴 자세 추정)

다음으로, 도 2 내지 도 10을 참조하여, 얼굴 자세 추정 장치(10)가 행하는 얼굴 자세 검출 처리에 관해 설명한다. 본 실시예에서는, 미리 정해진 얼굴 기관을 검출할 수 있는 범위에서의 얼굴 자세 추정에서, 차량을 운전하고 있는 운전수의 얼굴 자세를 추정하는 경우를 예를 들어 설명한다. 전제로서, 차량 내에 설치된 비디오 카메라에 의해 운전자의 얼굴이 순서대로 시계열적으로 촬영되고, 그 촬영된 얼굴 영상이 화상 프레임으로서 얼굴 자세 추정 장치(10)에 입력되는 것으로 한다.

도 2의 단계 100에서, 얼굴 자세 추정 장치(10)는, 입력 인터페이스로부터 순서대로 입력되는 화상 프레임의 1프레임 화상을 취득한다.

단계 101에서, 얼굴 기관 검출부(11)는, 그 프레임 화상으로부터 전체 얼굴을 검출한다. 프레임 화상으로부터의 얼굴 검출은, 예를 들어 서포트 벡터 머신 등의 기존의 얼굴 검출 기술을 이용하여 행할 수 있다.

단계 102에서, 전체 얼굴 검출이 성공했는지의 여부를 판단하여, 성공했다고 판단한 경우에는 단계 103과 단계 107로 진행한다. 실패했다고 판단한 경우에는 다시 단계 100으로 되돌아가, 다음 프레임 화상을 취득하여, 단계 101에서의 전체 얼굴 검출 처리를 반복한다.

단계 102에서 전체 얼굴 검출이 성공했다고 판단한 경우에는, 제1 유사도 산출부(12)가 행하는 3D 모델 베이스에 의한 유사도 산출 처리(단계 103～105)와, 제2 유사도 산출부(13)가 행하는 어피어런스 베이스에 의한 유사도 산출 처리(단계 107～109) 양쪽이 동시에 실시된다.

우선, 제1 유사도 산출부(12)가 행하는 3D 모델 베이스에 의한 유사도 산출 처리에 관해, 처리의 흐름을 설명한다. 단계 103에서, 단계 101에서의 전체 얼굴 검출 결과를 이용하여 각각의 미리 정해진 얼굴 기관 탐색 영역을 설정하여, 얼굴 기관 검출을 한다. 얼굴 기관 탐색 영역 내에서의 얼굴 기관 검출은, 예를 들어 서포트 벡터 머신 등의 기존 검출 기술을 이용하여 행할 수 있다.

단계 103에서의 얼굴 기관 검출 처리가 종료되면, 단계 105에서 다음 1프레임 화상을 취득하여, 다시 단계 103의 얼굴 기관 검출 처리를 반복한다.

단계 105와 단계 103에서의 처리가 루프하여 행해지고 있는 경우에는, 단계 103에서는, 단계 106에서 설정된 얼굴 기관 탐색 영역 내에서의 얼굴 기관 검출이 행해진다. 단계 106에서의 처리는 후술한다.

단계 104에서는, 단계 103에서 얼굴 기관 검출이 행해질 때마다, 그 검출된 얼굴 기관의 화상 프레임 중의 위치와, 단계 106에서 생성된 얼굴 기관 좌표 후보의 위치의 오차를 3D 모델 베이스 유사도로서 산출한다.

다음으로, 제2 유사도 산출부(13)가 행하는 어피어런스 베이스에 의한 유사도 산출 처리의 흐름을 설명한다. 단계 107에서, 얼굴 화상의 특징점을 설정한다. 얼굴 화상의 특징점이란, 시계열의 화상 프레임이 주어진 경우에, 그 화상의 특정 위치를 추적하기 쉬운 점이다. 특징점의 설정 방법의 일례로는, 단계 101에서의 전체 얼굴 검출 결과를 이용하여, 또는 단계 106에서 설정된 특징점 탐색 영역을 이용하여, 화상 프레임 내의 안면 상의 특징점 탐색 영역을 결정하고, 그 영역 중에서 휘도 화상의 엣지를 추출하고, 그 엣지에 걸친 2점쌍 중에서, 그 2점간의 휘도의 오차가 큰 것을 복수쌍 선택하여, 이들을 특징점으로 한다. 도 3에 화면 상의 특징점 탐색 영역 설정의 일례를 나타낸다. 이 예와 같이, 특징점 탐색 영역으로는, 화면 상의 휘도 변화가 큰 얼굴 기관 영역이나 두발과 안면의 경계 영역, 또는 턱의 영역 등을 선택한다. 그리고, 도 4에 나타낸 바와 같이, 특징점 탐색 영역 내의 휘도 화상의 엣지를 추출하고, 도 5에 나타낸 바와 같이, 그 엣지에 걸친 2점쌍에서 그 2점간의 휘도의 오차가 큰 것을 복수쌍 선택하여, 이들 점을 특징점으로 한다.

단계 108에서, 다음 1프레임 화상을 취득한다.

단계 109에서, 단계 106에서 생성된 각각의 투영 변환 화상군과, 단계 108에서 취득된 프레임 화상의 대응하는 특징점간의 휘도값의 오차를 어피어런스 베이스 유사도로서 산출한다.

단계 106에서는, 얼굴 자세 트래킹 처리를 한다.

도 6은, 단계 106에서의 얼굴 자세 트래킹 처리의 흐름을 나타낸 도면이다. 주로 도 6을 참조하여, 단계 106에서의 얼굴 자세 트래킹 처리에 관해 상세하게 설명한다.

우선, 3차원의 얼굴 형상 모델을 미리 준비해 둔다. 이 3차원 얼굴 형상 모델은, 애플리케이션에 따른 얼굴 형상, 예를 들어 일본인 성인 남성의 평균 얼굴 형상, 또는 일본인 성인 여성의 평균 얼굴 형상 등이다. 또, 얼굴 자세 추정의 대상이 되는 특정 개인의 얼굴 형상을 측정한 것이어도 된다.

단계 601에서, 얼굴 자세 후보군 생성부(16)는, 상기 3차원 얼굴 형상 모델을 이용하여, 추정을 하는 6변수의 얼굴 자세, 즉 카메라에 정대면한 얼굴 방향을 기준으로 한 고개를 가로 저음(요우), 끄덕임(피치), 갸웃거림(롤)의 3차원과, 얼굴 형상 모델의 중심의 위치(x 좌표, y 좌표, z 좌표)의 3차원의 총 6변수에 대하여, 각각 독립된 난수에 의한 얼굴 자세의 분포(확률 밀도 함수)를 생성한다. 본 실시예에서는, 이 얼굴 자세의 분포를 총 500(=N)개 생성하는 것으로 하고, 이들 각각의 분포를 표현하는 가설인 얼굴 자세 후보의 집합을 얼굴 자세 후보군으로 한다.

도 7에는, 두 눈의 눈구석과 눈초리, 두 입꼬리 등의 배치를 갖는 3차원 얼굴 형상 모델의 일례를 나타낸다. 이 3차원 얼굴 형상 모델에서, 요우, 피치, 롤의 얼굴 방향 및 3차원 얼굴 형상 모델의 중심 좌표의 위치에 관해, 난수를 이용하여 분포를 생성함으로써, 500개의 얼굴 자세가 생성된다. 그 얼굴 자세의 분포가 각각 눈구석과 눈초리, 두 입꼬리 등의 3차원 배치를 갖는다.

단계 602에서, 단계 601에서 생성한 500개의 3차원의 각 얼굴 자세 후보를 화상 프레임 상에 투영함으로써, 각 얼굴 자세 후보에 대응한, 화상 프레임 내에서의 얼굴 기관의 2차원 좌표를 산출한다. 500개의 얼굴 자세 후보에 대하여 산출된 그 2차원 좌표를 얼굴 기관 좌표 후보군으로 한다. 이 얼굴 기관 좌표 후보군은, 도 2에 나타내는 단계 104에서, 그 각각의 얼굴 기관 좌표 후보군과 실제 얼굴 기관의 좌표의 오차를 3D 모델 베이스 유사도로서 산출하기 위해 사용된다.

도 8에는, 단계 602에서 산출된 얼굴 기관의 2차원 좌표의 분포의 예를 나타낸다. 이 예는, 단계 601에서 생성된, 3차원 얼굴 형상 모델에서의 눈구석과 눈초리, 입꼬리, 코구멍의 3차원 배치의 조합 분포를, 투영 변환을 이용하여 화상 프레임 내에서의 2차원 좌표로 변환한 분포이며, 분포는 흰점으로 나타나 있다.

단계 605에서는, 제1 우도 산출부(141)는, 도 2의 단계 104에서 산출된 500개의 각각의 3D 모델 베이스 유사도를,

[수학식 1]

의 식을 이용하여 우도 P_p로 변환한다. 여기서, (x_m, y_m)은 촬영된 프레임 화상으로부터 검출된 얼굴 기관의 좌표이고, (x_d, y_d)는 500개의 얼굴 기관 좌표 후보로 구성되는 얼굴 기관 좌표 후보군이다. 또, σ은 500개의 얼굴 기관 좌표 후보로 구성되는 얼굴 기관 좌표 후보군의 표준편차를 나타내고, e는 자연대수의 밑을 나타낸다.

단계 603에서는, 단계 601에서 생성한 3차원의 얼굴 자세 후보군을 구성하는 각 얼굴 자세 후보의 얼굴 자세 정보를 참조한다. 다음으로, 미리 정해진 기준 위치에 대한 이 얼굴 자세 정보의 변위를 구한다. 이 기준 위치에 대응하는 얼굴 화상을, 구한 500개의 각 변위에 기초하여, 얼굴 기관의 검출 대상의 화상을 투영 변환함으로써, 투영 변환 화상군을 생성한다. 기준 위치는, 화상 프레임을 처리할 때마다 갱신한 것을 이용해도 되고, 고정된 기준 위치를 이용해도 된다. 그 투영 변환 화상은, 도 2의 단계 109에서, 그 각각의 투영 변환 화상군과 화상 프레임의 대응하는 특징점간의 휘도값의 오차를 어피어런스 베이스 유사도로서 산출하기 위해서 이용된다. 도 9에는 투영 변환 화상의 일례를 나타낸다.

단계 606에서, 제2 우도 산출부(142)는, 단계 109에서 산출된 500개의 각각의 어피어런스 베이스 유사도를,

[수학식 2]

의 식을 이용하여 우도 P_i로 변환한다. 여기서, I_d는 촬영된 프레임 화상으로부터 검출된 안면 특징점의 휘도이고, I_m은 500개의 각 투영 변환 화상의 대응하는 특징점의 휘도이다. 또, σ은 500개의 투영 변환 화상으로 구성되는 투영 변환 화상군의 표준편차를 나타내고, e는 자연대수의 밑을 나타낸다.

단계 604에서, 통합 우도 산출부(143)는, 단계 605에서 산출한 우도 및 단계 606에서 산출한 우도에 관해, 공통의 얼굴 자세 후보에 대응하는 우도끼리 곱함으로써, 단계 601에서 생성한 500개의 얼굴 자세 후보에 각각 대응하는 통합 우도를 산출한다.

이와 같이, 단계 605 및 단계 S606에서, 3D 모델 베이스 유사도(차원은 거리)와, 어피어런스 베이스 유사도(차원은 휘도)를, 동일한 차원의 우도로 변환로 변환함으로써, 단계 S604에서 곱하여 통합 우도를 산출하는 것이 가능해진다. 산출한 통합 우도가 현저하게 낮거나 하여 얼굴 자세의 트래킹이 실패했다고 판단한 경우, 단계 100으로 되돌아가 화상 프레임 취득부터 처리를 다시 한다.

그리고, 단계 607에서, 단계 604에서 통합 우도가 대응된 500개의 얼굴 자세 후보 중에서, 대응하는 통합 우도의 편차에 따라, 높은 것부터 순서대로, 보다 소수의 얼굴 자세 후보군을 선출한다.

그 후, 다시 단계 601의 얼굴 자세 후보군 생성 처리로 되돌아가, 얼굴 자세 후보군 생성부(16)는, 단계 607에서 소수로 선출된 얼굴 자세 후보군에 대하여, 대응하는 통합 우도의 가중에 따라 얼굴 자세의 6변수에 독립적인 난수를 발생시킴으로써, 다시 총 500개의 얼굴 자세 후보로 구성되는 얼굴 자세 후보군을 생성하고, 다음 화상 프레임을 처리하기 위해, 이하와 같은 처리를 반복한다.

단계 608에서, 단계 604에서 산출된, 통합 우도가 대응된 500개의 얼굴 자세 후보 중에서 그 값이 최대가 되는 통합 우도에 대응한 얼굴 자세 정보에 포함되는 각종 수치에 기초하는 얼굴 자세를 출력한다. 또는, 얼굴 자세 후보군에 대응하는 얼굴 자세 정보에 포함되는 각종 수치에 관한 무게 중심이나 평균 또는 중앙값 등을, 추정한 얼굴 자세로서 출력한다.

또, 단계 609에서는, 단계 604에서 산출된, 통합 우도가 대응된 500개의 얼굴 자세 후보에 관해, 통합 우도에 의한 가중을 고려하여, 각 얼굴 자세 후보(3차원의 얼굴 기관 좌표)를 화상 프레임 상에 투영한 2차원 좌표의 분포 영역을 생성함으로써, 도 2의 단계 103에서 이용되는 얼굴 기관 탐색 영역이나, 단계 107에서 이용되는 안면 특징점 탐색 영역을 설정한다.

(얼굴 자세 추정 처리)

다음으로, 도 10에 나타내는 처리 플로우를 참조하여, 단계 608에서 얼굴 자세 추정부(15)가 행하는 얼굴 자세 추정 처리에 관해 설명한다.

단계 604부터, 500개의 얼굴 자세 후보와, 각각의 얼굴 자세 후보에 대응한 통합 우도가 입력된다.

단계 801에서, 그 500개의 통합 우도 중에서 가장 높은 우도(이하, 「최고 통합 우도」라고 함)에 대응한 얼굴 자세 후보를 선출한다.

또, 단계 802에서는, 얼굴 자세 후보의 얼굴 자세 정보인, 얼굴 방향 3파라미터, 얼굴 위치 3파라미터의 총 6파라미터 각각에 관해, 500개의 얼굴 자세 후보에 대응한 통합 우도의 가중에 의한 평균, 즉 무게 중심을 계산함으로써 얼굴 자세를 산출한다. 가중의 방법으로는, 예를 들어, 각 파라미터에 대하여 통합 우도를 곱한다. 무게 중심에 한정되지 않고, 평균값이나 중앙값을 얼굴 자세로 해도 된다.

그리고, 단계 803에서, 단계 801에서의 얼굴 자세 추정 결과 또는 단계 802에서의 얼굴 자세 추정 결과 중 어느 한쪽을 선택하여, 선택한 추정 결과를 얼굴 자세로서 출력한다.

단계 801에서의 얼굴 자세 추정 결과는, 입력된 얼굴 화상의 조명 조건 등이 양호하고, 카메라 앞이 손으로 가려진 경우 등 화상의 부분이 가려지는 것 등이 발생하지 않은 상황에서 얼굴 자세 추정이 고정밀도로 행해지고 있는 경우에는 매우 유효한 한편, 조명 조건이 나쁘거나, 화상의 부분이 가려지는 것 등이 발생한 상황에서는, 예를 들어 얼굴 기관의 오류 검출 등의 영향을 직접 받기 때문에, 추정된 얼굴 자세가 1프레임마다 크게 변화하는 경우도 생길 수 있다.

또, 단계 802에서의 얼굴 자세 추정 결과는, 통합 우도를 고려한 얼굴 자세 후보군 전체의 연산 결과에 의한 것이기 때문에, 급격한 얼굴 자세 변화에 대한 대응 응답은 다소 둔하지만, 예를 들어 얼굴 기관의 오류 검출 등의 영향을 저감하는 것이 가능하여, 추정된 얼굴 자세가 1프레임마다 크게 변화하는 등의 현상을 억제할 수 있다.

단계 803에서의 선택은, 예를 들어, 단계 801에서 선출한 최고 통합 우도가 미리 정해진 임계값을 초과하여, 최고 통합 우도에 대응한 얼굴 자세의 추정을 신뢰할 수 있는 경우에는 단계 801의 얼굴 자세 추정 결과를 선택하고, 미리 정해진 임계값을 초과하지 않은 경우에는 단계 802의 얼굴 자세 후보군의 분포의 무게 중심으로부터 산출한 얼굴 자세 추정 결과를 선택한다. 얼굴 자세 후보군의 분포 무게 중심을 얼굴 자세 추정 결과의 선택지의 하나로서 준비함으로써, 얼굴 기관의 검출 오차 등에 대하여 견고한 시스템을 구축하는 것이 가능해진다.

(실시예 1의 정리)

도 11에는, 실시예 1에 따른 얼굴 자세 추정 처리의 흐름을 개략적으로 나타낸다.

단계 601에서는, 3D 모델 베이스와 어피어런스 베이스 양쪽에 이용되는 공통의 얼굴 자세 후보군이 생성된다.

단계 602, 104, 605에서는, 공통의 얼굴 자세 후보에 대하여 3D 모델 베이스에 의한 유사도 및 우도가 산출된다. 단계 603, 109, 606에서는, 공통의 얼굴 자세 후보에 대하여, 어피어런스 베이스에 의한 유사도 및 우도가 산출된다.

그리고, 단계 604에서, 3D 모델 베이스에 의한 우도와 어피어런스 베이스에 의한 우도가 통합되어, 공통의 얼굴 자세 후보에 대한 통합 우도가 산출된다.

단계 608에서는, 최고 통합 우도에 대응하는 얼굴 자세, 또는 우도가 높은 얼굴 자세 후보군의 중앙값이나 평균값 등이 추정 결과로서 출력된다.

또, 단계 601에서는, 단계 604에서 산출된, 예를 들어 500개의 얼굴 자세 후보 중, 예를 들어 통합 우도가 높은 상위 50개만이 선택되어, 선택된 50개의 얼굴 자세 후보에 기초하여, 또 새로운 500개의 얼굴 자세 후보가 생성된다.

이와 같이, 단계 604에서, 3D 모델 베이스와 어피어런스 베이스에 의한 통합 우도를 산출함으로써, 얼굴 자세의 추정 정밀도가 향상되고, 또 그 추정 결과를 이용하여, 단계 601에서의, 3D 모델 베이스와 어피어런스 베이스 양쪽에 이용하는 공통의 얼굴 자세 후보군을 생성할 수 있어, 얼굴 자세 후보군의 공통화가 비로소 가능해졌다. 또, 종래에는 3D 모델 베이스 및 어피어런스 베이스 각각의 방법을 각각의 얼굴 자세 후보군에 대하여 이용하여 얼굴 자세를 추정했기 때문에 얼굴 자세 추정의 정밀도가 불충분했지만, 성능 특성(후술)이 보완적인 관계에 있는 2개의 방법을 이용하여 얼굴 자세를 추정함으로써, 고정밀도로 얼굴 자세를 추정하는 것이 가능해졌다.

(실시예 2 : 미리 정해진 얼굴 기관이 가려지는 범위를 포함하는 얼굴 자세 추정)

다음으로, 미리 정해진 얼굴 기관이 가려지는 범위를 포함하는 얼굴 자세 추정의 실시예에 관해 설명한다.

일례로서, 운전자의 얼굴 영상을 촬영하는 카메라가, 미터ㆍ후드 상 등의 운전자의 정면에 설치되어 있는 경우에는, 운전자의 옆방향의 얼굴 방향(요우각)이, 정면 방향을 0도로 하여 좌우로 대략 60도 이상 옆으로 향한 경우, 3차원 얼굴 형상 모델 베이스에 의한 얼굴 자세 추정에서 일반적으로 이용되는 눈구석ㆍ눈초리나 코구멍이나 입꼬리가 촬영 화상으로부터 가려져서, 3D 모델 베이스에 의한 얼굴 자세를 추정할 수 없게 된다. 본 실시예에서는, 운전자의 수평 방향(요우 방향)의 얼굴 방향이, 정면 방향으로부터 옆방향으로 향하기 시작하여, 60도를 초과하여 옆으로 향한 경우의 얼굴 자세 추정에 관해 설명한다.

운전자의 얼굴 방향이 정면 방향으로부터 옆방향 60도 이내에서는, 카메라에 의해 촬영된 프레임 화상 내의 얼굴 화상에서 미리 정해진 얼굴 기관을 검출할 수 있기 때문에, 실시예 1에서 설명한 바와 같이, 도 2에 나타내는 전체 처리 플로우에서의 단계 103, 단계 104, 단계 105, 단계 106의 루프와, 단계 107, 단계 108, 단계 109, 단계 106의 루프가 함께 동작한다.

그리고, 단계 106에서는, 단계 104에서 산출된 3D 모델 베이스 유사도와, 단계 109에서 산출된 어피어런스 베이스 유사도 양쪽을 이용하여 통합 우도를 산출하고, 예를 들어 파티클 필터 등에 의한 얼굴 자세 트래킹 처리를 실시하여, 그 얼굴 자세 트래킹 처리의 결과로서 얼굴 자세 추정값을 출력한다.

이어서 얼굴이 옆방향으로 더 향하여 60도를 초과한 경우에 관해 설명한다.

좌우 옆방향으로의 얼굴 방향이 대략 60도를 초과하면, 카메라로 촬영한 프레임 화상 내의 얼굴 화상에서 얼굴 절반의 얼굴 기관이 가려지기 시작하므로, 미리 정해진 얼굴 기관의 검출을 할 수 없게 된다.

이러한 상황이 되면, 단계 103과 단계 104에서의 처리를 할 수 없기 때문에, 단계 106에서는, 단계 109에서 산출된 어피어런스 베이스 유사도만을 얼굴 자세 추정을 위한 우도로서 이용함으로써 얼굴 자세 트래킹 처리를 실시하고, 그 결과로서 얼굴 자세 추정값을 출력한다.

(실시예 3 : 항상 미리 정해진 얼굴 기관이 가려지는 경우의 얼굴 자세 추정)

다음으로, 예를 들어 운전자의 선글래스 등의 장착에 의한 눈구석ㆍ눈초리의 가려짐이나, 또는 마스크 등의 장착에 의한 입꼬리의 가려짐 등, 항상 미리 정해진 얼굴 기관이 가려지는 경우의 얼굴 자세 추정에 관한 실시예에 관해 설명한다.

이 경우에는, 항상 미리 정해진 얼굴 기관이 가려지기 때문에, 도 2에 나타내는 전체 처리 플로우에서의 단계 100, 단계 101, 단계 102의 전체 얼굴 검출과, 단계 107, 단계 108, 단계 109, 단계 106의 루프는 동작하지만, 단계 103, 단계 104, 단계 105, 단계 106의 루프는 한번도 동작하지 않는다.

단계 107, 단계 108, 단계 109, 단계 106의 루프에서는, 단계 106에서 설정된 특징점으로부터의 얼굴 자세의 변위분만이 추정된다. 이 때문에, 절대값으로서의 얼굴 자세를 산출하기 위해 기준 위치가 필요해진다. 통상의 경우, 이 기준 위치는, 단계 103, 단계 104, 단계 105, 단계 106의 루프에 의해 3D 모델 베이스에 의한 얼굴 자세 추정 처리가 일단 실시되면 얻을 수 있다.

이 실시예의 경우, 운전자가 선글래스나 마스크를 장착하고 있기 때문에, 한번도 단계 103, 단계 104, 단계 105, 단계 106의 루프가 실시되지 않아, 기준 위치를 얻을 수 없다.

이것을 해결하기 위해, 운전자의 운전중인 얼굴 방향으로서 가장 빈도가 큰 것은 정면 방향이라고 추정할 수 있기 때문에, 단계 106에서, 과거의 어느 구간의 얼굴 자세 변위의 이력을 구하여, 그 변위 히스토그램으로부터 가장 빈도가 큰 얼굴 방향을 정면 방향(요우각) 0도로 함으로써 기준 위치를 설정한다. 그리고, 그 기준 위치에 대응하는 프레임 화상으로부터의 얼굴 자세 변위분을 더함으로써, 얼굴 자세 추정 처리를 실시한다.

(추정 데이터)

도 12에는, 본 발명 방법을 이용하여, 얼굴의 정면 방향으로부터 옆방향 60도를 초과하는 범위에서 얼굴 자세를 추정한 결과를 나타낸다. 그래프의 횡축은 화상 프레임 번호(시간), 종축은 얼굴의 정면 방향으로부터 60도 옆방향(요우 방향)을 기준(0도)으로 하여 그 기준으로부터 얼굴이 옆방향으로 변위된 각도를 나타낸다. 실선이 실제 얼굴 자세를 나타내고 있고, 점의 분포가 얼굴 자세 추정 장치(10)로부터 출력된 얼굴 자세 추정 결과를 나타낸다. 도 12에서 알 수 있듯이, 얼굴 기관을 검출할 수 없는, 얼굴의 정면 방향으로부터 옆방향 60도를 초과하는 범위에서도, 10도 이내의 오차로 얼굴 자세를 추정하는 것이 가능하다.

도 13에는, 얼굴 자세의 요우각의 추정을, 본 발명 방법을 이용하여 행한 결과를 나타낸다. 여기서는, (1)식에 나타내는 3D 모델 베이스에 의한 우도 P_p의 계수값 σ_m을 16(σ_m ²=256)으로 하여 추정했다. 그래프의 종축이 얼굴 자세의 요우각을 나타내고, 얼굴 정면 방향을 0°로 하여, + 방향이 우측 방향, - 방향이 좌측 방향을 나타내고 있다. 그래프의 횡축은 경과 시간을 나타내고 있다. 실선이 실제 얼굴 자세를 나타내고 있고, 점의 분포가 얼굴 자세 추정 장치(10)로부터 출력된 얼굴 자세 추정 결과를 나타낸다. 이 경우에는, 얼굴 자세는 얼굴 정면 방향(0°)으로부터 시작하고, 그 후 10초후 근처부터 좌측으로 향하기 시작하여, 약 23초후에 좌측 방향으로 약 90°까지 향한 지점에서 정면 방향으로 되돌아가기 시작하여, 42초후 근처에서 정면 방향으로 되돌아가고, 그대로 우측 방향으로 향하기 시작하여, 약 50초후에 우측 방향으로 약 90°까지 향하고 있다. 이 도면에 나타낸 바와 같이, 좌우 방향 약 90도의 전체 방향에서, 10도 이내의 오차로 얼굴 자세를 추정 가능하다는 것을 알 수 있다.

도 14에는, 도 13에서의 3D 모델 베이스의 우도 특성을 변경한 경우의 얼굴 자세의 요우각 추정 결과를 나타낸다. 도 14에서는, (1)식에 나타내는 3D 모델 베이스에 의한 우도 P_p의 계수값 σ_m을 1(σ_m ²=1)로 하여 추정했다. 어피어런스 베이스의 우도 특성은 도 13과 동일한 것을 사용하고 있다.

도 14에서는, 도 13과 마찬가지로, 공통의 얼굴 자세 후보군에 대하여 3D 모델 베이스 및 어피어런스 베이스를 이용한 통합 우도를 이용함으로써, 얼굴 자세 추정의 성능의 비약적 향상을 실현할 수 있다는 것을 알 수 있다. 그러나, 도 13과 비교하면, 추정 정밀도의 저하가 확인된다.

3D 모델 베이스에서는, 얼굴 자세 후보군에 대한 우도 분포 특성은 (1)식에 나타내는 3D 모델 베이스에 의한 우도 P_p의 계수값 σ_m ²으로 결정되고, 그 결과, 예를 들어 σ_m ²의 값을 작게 하여 위치의 오차가 작은 것만을 고려한 우도로 함으로써, 추정 얼굴 자세에 대하여 예민한 반면, 추적 완건성(頑健性)에 약한 특성을 강조하거나, 또는 반대로 σ_m ²의 값을 크게 하여 위치 오차가 큰 것까지 고려한 우도로 함으로써, 추정 얼굴 자세에 대하여 둔감한 반면, 추적 완건성에 강한 특성 경향을 부여하는 등, 정밀도 민감성과 추정 완건성의 특성을 변화시킬 수 있다.

또, 어피어런스 베이스에서는, 얼굴 자세 후보군에 대한 우도 분포 특성은 (2)식에 나타내는 어피어런스 베이스에 의한 우도 P_i의 계수값 σ_a ²로 결정되고, 그 결과, 예를 들어 σ_a ²의 값을 작게 하여 위치 오차가 작은 것만을 고려한 우도로 함으로써, 추정 얼굴 자세에 대하여 예민한 반면, 추적 완건성에 약한 특성을 부여하거나, 또는 반대로 σ_m ²의 값을 크게 하여 위치 거리가 큰 것까지 고려한 우도로 함으로써, 추정 얼굴 자세에 대하여 둔감한 반면, 추적 완건성에 강한 특성 경향을 강조시키는 등, 정밀도 민감성과 추정 완건성의 특성을 변화시킬 수 있다.

그리고, 3D 모델 베이스 얼굴 자세 추정의 우도 특성과 어피어런스 베이스 얼굴 자세 추정의 우도 특성을 각각 조정함으로써, 가장 효과적인 통합 우도를 얻을 수 있다. 3D 모델 베이스, 어피어런스 베이스의 각각에 대한 최적의 우도 특성은, 몇개의 특성 조합을 시험하여, 이들 중에서 최적의 조합을 찾아냄으로써 구할 수 있다.

상기에서는, 도 13 및 도 14를 이용하여, 3D 모델 베이스의 우도 특성을 변경한 것에 의한 영향만을 나타냈지만, 어피어런스 베이스의 우도 특성을 변화시키거나, 또는 3D 모델 베이스와 어피어런스 베이스 양쪽의 우도 특성을 변화시켜, 가장 효과적인 통합 우도를 구할 수 있다.

도 15에는, 도 13에 나타내는 본 발명 방식과의 비교에서, 얼굴 자세의 요우각의 추정을 3D 모델 베이스만으로 행한 결과를 나타낸다. 여기서는, 도 13과 마찬가지로, (1)식에 나타내는 3D 모델 베이스에 의한 우도 P_p의 계수값 σ_m을 16(σ_m ²=256)으로 하여 추정했다. 도 15에 나타낸 바와 같이, 많은 얼굴 기관이 화면에서 가려지는 60°를 초과하는 약 21초후에, 얼굴 자세를 추정할 수 없게 되는 것을 알 수 있다. 또, 60° 이내에서도, 3D 모델 베이스만으로는 추정 정밀도가 나빠, 본 발명의 어피어런스 베이스와의 통합 우도를 이용하는 효과를 확인할 수 있다.

도 16에는, 도 14에 나타내는 본 발명 방식과의 비교에서, 얼굴 자세의 요우각의 추정을 3D 모델 베이스만으로 행한 결과를 나타낸다. 도 16에서는, 도 14와 마찬가지로, (1)식에 나타내는 3D 모델 베이스에 의한 우도 P_p의 σ_m을 1(σ_m ²=1)로 하여 추정했다. 도 16에서는, 도 15에 나타내는 계수값 σ_m을 16으로 한 경우의 3D 모델 베이스의 얼굴 자세 요우각 추정 결과와 비교하여, 시작부터 10초후 근처까지와, 38초후부터 45초후 근처까지의 추정 결과에 큰 값의 변동이 없어, 정밀도가 향상되었다. 반면, 추적 완건성은 약해져, 도 15에서는 21초후 근처까지 추정할 수 있었던 것이, 도 16에서는 18초후 근처에서 추정할 수 없게 되었다. 즉, 우도 특성을 변경함으로써, 도 15에 나타내는 추정 결과와 비교하여, 추정 얼굴 자세에 대하여 예민한 반면, 추적 완건성에 약한 특성이 강조되고 있다.

도 17에는, 도 13 및 도 14에 나타내는 본 발명 방식과의 비교에서, 얼굴 자세의 요우각의 추정을 어피어런스 베이스만으로 행한 추정 결과를 나타낸다. 도 17에서는, 어피어런스 베이스의 우도 특성은, 도 13 및 도 14과 동일한 것을 이용하고 있다. 어피어런스 베이스에 의한 얼굴 자세 추정은, 특정한 얼굴 기관 좌표를 이용하지 않기 때문에, 요우각이 대략 60°를 초과한 경우에도, 얼굴 자세를 추정할 수 있다는 것을 알 수 있다. 그러나, 어피어런스 베이스에 의한 얼굴 자세 추정에서는 2차원 화상 패턴의 투영 변환 정보만을 이용하기 때문에, 추정 정밀도가 높지는 않아, 본 발명의 3D 모델 베이스와의 통합 우도를 이용하는 효과를 확인할 수 있다.

도 15～도 17에 나타내는 단독 방법에 의한 추정 결과에서 알 수 있듯이, 일반적으로, 3D 모델 베이스에 의한 얼굴 자세 추정은 정밀도에 대하여 민감하게 반응하는 반면, 추정에 대한 완건성에는 약한 특성을 갖는다. 한편, 어피어런스 베이스의 얼굴 자세 추정은 정밀도에 대해서는 둔감한 반면, 추정에 대한 완건성에는 강한 특성을 갖는다.

이에 비해, 도 13 및 도 14에 나타낸 바와 같이, 본 발명 방식에 의한 얼굴 자세 추정은, 3D 모델 베이스와 어피어런스 베이스의 개개의 추정 결과와 비교하여 매우 고정밀도이다.

그 이유로는, 3D 모델 베이스와 어피어런스 베이스를, 공통 얼굴 자세 후보군에 대해 우도 레벨로 통합함으로써, 3D 모델 베이스가 갖는, 추정 정밀도에 민감한 반면 완건성에는 약한 특성과, 어피어런스 베이스가 갖는, 추정 정밀도에 둔감한 반면 완건성에는 강한 특성의 양자의 좋은 특성을 조합하는 것이 가능해져, 결과적으로 추정 정밀도에 민감하고 또한 완건성에도 강한 특성을 실현할 수 있다.

또, 3D 모델 베이스에만 의한 얼굴 자세 추정에서는 추정할 수 없었던 약 21초후부터 35초후까지의 얼굴 자세 추정에서도, 얼굴 자세 추정에는 충분한 얼굴 기관수가 아니더라도, 화면 상에서 검출할 수 있는 일부의 얼굴 기관 좌표를 이용한 우도를 어피어런스 베이스에 의한 우도와 통합하여, 공통의 얼굴 자세 후보군을 이용함으로써, 어피어런스 베이스에만 의한 얼굴 자세 추정과 비교하여, 고정밀도의 추정을 실현할 수 있다.

상기 예에서, 일반적으로 3D 모델 베이스의 얼굴 자세 추정은 정밀도에 대하여 민감하게 반응하는 반면 추정에 대한 완건성에는 약한 특성을 갖는 한편, 어피어런스 베이스의 얼굴 자세 추정은 정밀도에 대해서는 둔감한 반면 추정에 대한 완건성에는 강한 특성을 갖는다는 것을 나타낼 수 있다. 그리고, 이 양자를 공통의 얼굴 자세 후보군에 대하여 우도 베이스로 통합함으로써, 각각의 좋은 특성을 조합하는 것이 가능해져, 결과적으로 추정 정밀도에 민감하고 또한 완건성에도 강한 특성을 실현할 수 있다.

이상 설명한 바와 같이, 얼굴 자세 추정 장치(10)는, 3D 모델 베이스 유사도에 대응하는 우도와, 어피어런스 베이스 유사도에 대응하는 우도를 이용하여 통합 우도를 산출하고, 그 산출된 통합 우도를 이용하여 얼굴 자세를 추정하기 때문에, 3D 모델 베이스 유사도에 대응하는 우도와, 어피어런스 베이스 유사도에 대응하는 우도를 개별적으로 이용하여 얼굴 자세를 추정할 때보다 고정밀도의 얼굴 자세 추정을 할 수 있다. 종래에는, 각각의 방법을 각각의 얼굴 자세 후보군에 대하여 이용하여 얼굴 자세를 추정했기 때문에 얼굴 자세 추정의 정밀도가 불충분했지만, 성능 특성이 보완적인 관계에 있는 2개의 방법을 이용하여 얼굴 자세를 추정함으로써, 고정밀도로 얼굴 자세를 추정하는 것이 가능해진다. 즉, 3D 모델 베이스는, 미리 정해진 얼굴 기관을 정밀도 좋게 검출할 수 있는 조건에서는, 고정밀도의 얼굴 자세 추정을 할 수 있는 반면, 미리 정해진 얼굴 기관의 검출 오차가 큰 경우에 얼굴 자세 추정 성능이 급격하게 떨어지고, 또 미리 정해진 얼굴 기관 검출을 행할 수 없는 얼굴 방향 범위에는 대응할 수 없다. 한편, 어피어런스 베이스는, 2차원의 얼굴 화상만을 대상으로 하고 있기 때문에, 3D 모델 베이스와 비교하여 얼굴 자세 추정 정밀도는 떨어지지만, 미리 정해진 얼굴 기관 검출 좌표를 이용하지 않기 때문에, 얼굴 기관 검출 오차의 직접적인 영향은 없고, 또 얼굴 방향 범위의 제약도 없다는 보완 관계에 있다.

상술한 실시예에서는, 보완적인 관계에 있는 방법으로서, 어피어런스 베이스 및 3D 모델 베이스에 관해 설명했지만, 이들 방법과 동일한 보완 관계에 있는 다른 명칭의 방법도 물론 본 발명에 적용할 수 있다.

또, 한쪽 우도가 산출되지 않는 경우에는, 산출된 한쪽 우도만 이용하여 상기 통합 우도를 산출하기 때문에, 얼굴 기관을 검출할 수 없는 경우에도 얼굴 자세를 추정하는 것이 가능해진다. 운전자 등의 이용자를 구속하지 않고, 이용자에게 기구를 장착시키는 일 없이, 눈, 코, 입이 가려지는 범위에서의 얼굴 자세의 추정을 할 수 있다. 또, 안경 착용, 머리 모양의 변화 등으로 기정의 얼굴 기관이 가려지는 경우에도, 얼굴 자세를 추정할 수 있다.

본 발명은, 화상으로부터 얼굴 기관을 검출할 수 없는 경우에도 얼굴 자세를 검출하는 것이 가능하여, 차량 운전자의 안전 운전 지원에 이용할 수 있다.

10 : 얼굴 자세 추정 장치 11 : 얼굴 기관 검출부
12 : 제1 유사도 산출부 13 : 제2 유사도 산출부
14 : 우도 산출부 141 : 제1 우도 산출부
142 : 제2 우도 산출부 143 : 통합 우도 산출부
15 : 얼굴 자세 추정부 16 : 얼굴 자세 후보군 생성부

Claims

얼굴을 시계열적으로 촬영한 얼굴 화상으로부터 상기 얼굴의 적어도 방향을 나타내는 얼굴 자세를 추정하는 얼굴 자세 추정 장치에 있어서,
상기 얼굴 화상으로부터 얼굴 기관을 검출하는 얼굴 기관 검출 수단과,
추정되는 얼굴 자세의 후보인 얼굴 자세 후보의 집합인 얼굴 자세 후보군을 생성하는 얼굴 자세 후보군 생성 수단과,
상기 얼굴 자세 후보군 생성 수단에 의해 생성된 얼굴 자세 후보군 각각의 얼굴 기관과, 상기 얼굴 기관 검출 수단에 의해 검출된 실제의 얼굴 기관의 각각 위치에 대응하는 제1 파라미터에 의한 제1 유사도를 산출하는 제1 유사도 산출 수단과,
상기 얼굴 자세 후보군 생성 수단에 의해 생성된 얼굴 자세 후보군 각각의 얼굴 화상과, 상기 얼굴 기관 검출 수단에 의해 검출 대상이 된 실제의 얼굴 화상의 각각 미리 정해진 기준 자세와의 변위에 따른 화소값에 대응하는 제2 파라미터에 의한 제2 유사도를 산출하는 제2 유사도 산출 수단과,
상기 제1 유사도 산출 수단에 의해 산출된 제1 유사도에 대응하는 제1 우도(尤度)를 산출하는 제1 우도 산출 수단과,
상기 제2 유사도 산출 수단에 의해 산출된 제2 유사도에 대응하는 제2 우도를 산출하는 제2 우도 산출 수단과,
상기 제1 우도와 상기 제2 우도를 이용하여, 상기 얼굴 자세 후보군 각각의 정확도를 나타내는 통합 우도를 산출하는 통합 우도 산출 수단과,
상기 통합 우도 산출 수단에 의해 산출된 통합 우도가 가장 높은 얼굴 자세 후보에 기초하여 얼굴 자세를 추정하는 얼굴 자세 추정 수단
을 포함하고,
상기 통합 우도는, 상기 얼굴 자세 후보군 생성 수단에 의한 얼굴 자세 후보군의 새로운 갱신 생성에 반영되는 것을 특징으로 하는 얼굴 자세 추정 장치.
제1항에 있어서,
상기 통합 우도 산출 수단은, 상기 제1 우도 또는 상기 제2 우도 중 어느 하나가 산출되지 않은 경우에는, 산출된 하나의 우도만 이용하여 상기 통합 우도를 산출하는 것을 특징으로 하는 얼굴 자세 추정 장치.
제1항 또는 제2항에 있어서,
상기 제1 유사도 산출 수단과 상기 제2 유사도 산출 수단은, 각각의 성능 특성을 보완하는 보완 관계인 것을 특징으로 하는 얼굴 자세 추정 장치.
제1항에 있어서,
상기 통합 우도 산출 수단은, 상기 제1 우도와 상기 제2 우도를 곱하는 것을 특징으로 하는 얼굴 자세 추정 장치.
제1항 또는 제2항에 있어서,
상기 제1 유사도 산출 수단은, 3차원 얼굴 형상 모델 베이스에 의한 유사도 산출 수단이며, 상기 제1 파라미터는 위치의 오차이고, 상기 제2 유사도 산출 수단은, 투영 변환 어피어런스 베이스에 의한 유사도 산출 수단이며, 상기 제2 파라미터는 화소값의 오차인 것을 특징으로 하는 얼굴 자세 추정 장치.
삭제
제1항 또는 제2항에 있어서,
상기 얼굴 자세 추정 수단은, 상기 통합 우도 산출 수단에 의해 산출된 통합 우도가 가장 높은 얼굴 자세 후보에 기초하여 얼굴 자세를 추정하는 것 대신, 상기 얼굴 자세 후보군 생성 수단에 의해 생성된 얼굴 자세 후보군의 적어도 일부에 기초하는 수치의, 평균값과, 중앙값과, 상기 통합 우도에 의한 가중을 실시한 평균값인 무게 중심(重心) 중 어느 하나에 기초하여 얼굴 자세를 추정하는 것을 특징으로 하는 얼굴 자세 추정 장치.
제1항 또는 제2항에 있어서,
상기 얼굴 자세 추정 수단은, 상기 통합 우도 산출 수단에 의해 산출된 가장 높은 통합 우도가 미리 정해진 임계값을 초과하는 경우에, 상기 가장 높은 통합 우도에 대응하는 얼굴 자세 후보에 기초하여 얼굴 자세를 추정하고,
상기 가장 높은 통합 우도가 미리 정해진 임계값 이하인 경우에, 상기 얼굴 자세 후보군 생성 수단에 의해 생성된 얼굴 자세 후보군의 적어도 일부에 기초하는 수치의, 평균값과, 중앙값과, 상기 통합 우도에 의한 가중을 실시한 평균값인 무게 중심 중 어느 하나에 기초하여 얼굴 자세를 추정하는 것을 특징으로 하는 얼굴 자세 추정 장치.
제1항 또는 제2항에 있어서,
상기 얼굴 자세 후보군 생성 수단은, 상기 통합 우도 산출 수단에 의해 산출된 통합 우도가 높은 것부터 순서대로 미리 결정된 수의 통합 우도에 대응하는 얼굴 자세 후보군에 기초하여, 다음의 상기 제1 유사도와 상기 제2 유사도의 산출에 이용되는 얼굴 자세 후보군을 생성하는 것을 특징으로 하는 얼굴 자세 추정 장치.
제1항 또는 제2항에 있어서,
상기 얼굴 화상은, 차량의 운전자의 얼굴이 촬영된 화상인 것을 특징으로 하는 얼굴 자세 추정 장치.
제1항 또는 제2항에 기재된 얼굴 자세 추정 장치를 갖춘 차량.
얼굴을 시계열적으로 촬영한 얼굴 화상으로부터 상기 얼굴의 적어도 방향을 나타내는 얼굴 자세를 추정하는 얼굴 자세 추정 방법에 있어서,
상기 얼굴 화상으로부터 얼굴 기관을 검출하는 얼굴 기관 검출 단계와,
추정되는 얼굴 자세의 후보인 얼굴 자세 후보의 집합인 얼굴 자세 후보군을 생성하는 얼굴 자세 후보군 생성 단계와,
상기 얼굴 자세 후보군 생성 단계에서 생성된 얼굴 자세 후보군 각각의 얼굴 기관과, 상기 얼굴 기관 검출 단계에 의해 검출된 실제의 얼굴 기관의 각각 위치에 대응하는 제1 파라미터에 의한 제1 유사도를 산출하는 제1 유사도 산출 단계와,
상기 얼굴 자세 후보군 생성 단계에서 생성된 얼굴 자세 후보군 각각의 얼굴 화상과, 상기 얼굴 기관 검출 단계에서 검출 대상이 된 실제의 얼굴 화상의 각각 미리 정해진 기준 자세와의 변위에 따른 화소값에 대응하는 제2 파라미터에 의한 제2 유사도를 산출하는 제2 유사도 산출 단계와,
상기 제1 유사도 산출 단계에서 산출된 제1 유사도에 대응하는 제1 우도를 산출하는 제1 우도 산출 단계와,
상기 제2 유사도 산출 단계에서 산출된 제2 유사도에 대응하는 제2 우도를 산출하는 제2 우도 산출 단계와,
상기 제1 우도와 상기 제2 우도를 이용하여, 상기 얼굴 자세 후보군 각각의 정확도를 나타내는 통합 우도를 산출하는 통합 우도 산출 단계와,
상기 통합 우도 산출 단계에서 산출된 통합 우도가 가장 높은 얼굴 자세 후보에 기초하여 얼굴 자세를 추정하는 얼굴 자세 추정 단계
를 포함하는 것을 특징으로 하는 얼굴 자세 추정 방법.
컴퓨터에,
얼굴을 시계열적으로 촬영한 얼굴 화상으로부터 얼굴 기관을 검출하는 얼굴 기관 검출 단계와,
추정되는 얼굴 자세의 후보인 얼굴 자세 후보의 집합인 얼굴 자세 후보군을 생성하는 얼굴 자세 후보군 생성 단계와,
상기 얼굴 자세 후보군 생성 단계에서 생성된 얼굴 자세 후보군 각각의 얼굴 기관과, 상기 얼굴 기관 검출 단계에 의해 검출된 실제의 얼굴 기관의 각각 위치에 대응하는 제1 파라미터에 의한 제1 유사도를 산출하는 제1 유사도 산출 단계와,
상기 얼굴 자세 후보군 생성 단계에서 생성된 얼굴 자세 후보군 각각의 얼굴 화상과, 상기 얼굴 기관 검출 단계에서 검출 대상이 된 실제의 얼굴 화상의 각각 미리 정해진 기준 자세와의 변위에 따른 화소값에 대응하는 제2 파라미터에 의한 제2 유사도를 산출하는 제2 유사도 산출 단계와,
상기 제1 유사도 산출 단계에서 산출된 제1 유사도에 대응하는 제1 우도를 산출하는 제1 우도 산출 단계와,
상기 제2 유사도 산출 단계에서 산출된 제2 유사도에 대응하는 제2 우도를 산출하는 제2 우도 산출 단계와,
상기 제1 우도와 상기 제2 우도를 이용하여, 상기 얼굴 자세 후보군 각각의 정확도를 나타내는 통합 우도를 산출하는 통합 우도 산출 단계와,
상기 통합 우도 산출 단계에서 산출된 통합 우도가 가장 높은 얼굴 자세 후보에 기초하여 얼굴 자세를 추정하는 얼굴 자세 추정 단계
를 실행시키기 위한 얼굴 자세 추정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.