KR20060064553A - 화상 처리 장치, 화상 처리 방법 및 프로그램 - Google Patents

Abstract

리얼한(realistic) 애니메이션을 용이하게 실현하는 것을 과제로 한다.

이러한 과제를 해결하기 위해서, 특징점 추출부(135)는 얼굴(顔)이 찍혀 있는 얼굴 화상(畵像)으로부터, 상세한 특징점을 추출해서, 얼굴 모델 생성부(136)에 공급한다. 한편, 얼굴 모델 생성부(136)는 상세한 특징점에 의거해서, 얼굴의 3차원 모델인 얼굴 모델을 생성하고, 그 주변 부분을 깊이(奧行: depth) 방향인 Z방향으로 확장한다. 또, 얼굴 모델 생성부(136)는 얼굴 모델과는 별도로, 두발(頭髮) 모델을 생성한다. 그리고, 얼굴 모델 생성부(136)는 얼굴 모델에 두발 모델을 합성한다.

정규화 얼굴 화상 기억부,　통상 특징점 추출부,　상세 특징점 추출부,　얼굴 모델 생성부,　얼굴 모델 기억부, 애니메이션 처리부,　표준 3차원 모델 기억부,　얼굴 처리부.

Description

화상 처리 장치, 화상 처리 방법 및 프로그램{METHOD, APPARATUS, AND COMPUTER PROGRAM FOR PROCESSING IMAGE}

도 1은 컴퓨터의 하드웨어 구성예를 도시하는 블록도,

도 2는 본 발명을 적용한 화상(畵像) 처리 장치의 1실시 형태의 구성예를 도시하는 블록도,

도 3은 화상 처리 장치의 동작을 설명하는 플로차트,

도 4는 전처리(前處理: pre-process)를 설명하는 플로차트,

도 5는 얼굴(顔) 화상을 도시하는 도면,

도 6은 얼굴 스케일과 옷 경계(境界)를 추정하는 방법을 설명하기 위한 도면,

도 7은 2진화(2値化: binarized) 화상을 도시하는 도면,

도 8은 정규화(正規化) 얼굴 화상을 도시하는 도면,

도 9는 정규화 얼굴 화상을 도시하는 도면,

도 10은 정규화 얼굴 화상을 도시하는 도면,

도 11은 상세 특징점 추출부(135)의 구성예를 도시하는 블록도,

도 12는 눈(目) 템플레이트를 도시하는 도면,

도 13은 눈 특징점 검출부(202)의 처리를 설명하는 플로차트,

도 14는 눈 템플레이트를 도시하는 도면,

도 15는 눈 템플레이트를 도시하는 도면,

도 16은 눈 템플레이트의 제어점의 이동을 설명하기 위한 도면,

도 17은 눈 템플레이트의 제어점의 이동을 설명하기 위한 도면,

도 18은 입(口) 특징점 검출부(203)의 처리를 설명하는 플로차트,

도 19는 입 템플레이트를 도시하는 도면,

도 20은 턱(顎) 특징점 검출부(204)의 처리를 설명하는 플로차트,

도 21은 통상 특징점을 도시하는 도면,

도 22는 통상 특징점을 도시하는 도면,

도 23은 상세 특징점을 도시하는 도면,

도 24는 상세 특징점을 도시하는 도면,

도 25는 얼굴 모델 생성부(136)의 구성예를 도시하는 블록도,

도 26은 표준 얼굴 모델을 도시하는 도면,

도 27은 정규화 얼굴 화상을 도시하는 도면,

도 28은 얼굴 모델을 도시하는 도면,

도 29는 목(首) 모델 적응부(適應部: fitter)(262)의 처리를 설명하기 위한 도면,

도 30은 귀(耳) 모델 적응부(263)의 처리를 설명하기 위한 도면,

도 31은 얼굴 모델을 도시하는 도면,

도 32는 Z값 변환 함수를 도시하는 도면,

도 33은 얼굴 모델을 도시하는 도면,

도 34는 확장부(264)의 처리를 설명하기 위한 도면,

도 35는 확장부(264)의 처리를 설명하기 위한 도면,

도 36은 주변 부분을 Z방향으로 확장하고 있지 않은 얼굴 모델에서 생성된 CG 애니메이션을 도시하는 도면,

도 37은 주변 부분을 Z방향으로 확장한 얼굴 모델에서 생성된 CG 애니메이션을 도시하는 도면,

도 38은 합성부(265)를 설명하기 위한 도면,

도 39는 목 모델과 귀 모델을 합성하고 있지 않은 얼굴 모델에서 생성한 CG를 도시하는 도면,

도 40은 목 모델과 귀 모델을 합성한 얼굴 모델에서 생성한 CG를 도시하는 도면,

도 41은 표준 두발(頭髮) 모델을 정규화 얼굴 화상에 매핑해서 얻어지는 두발 모델을 도시하는 도면,

도 42는 Z값을 변경한 두발 모델을 도시하는 도면,

도 43은 두발 모델을 합성하지 않은 얼굴 모델에서 생성한 CG를 도시하는 도면,

도 44는 두발 모델을 합성한 얼굴 모델에서 생성한 CG를 도시하는 도면,

도 45는 두발 모델을 합성하는 않은 얼굴 모델에서 생성한 CG를 도시하는 도 면,

도 46은 두발 모델을 합성한 얼굴 모델에서 생성한 CG를 도시하는 도면,

도 47은 얼굴 모델 생성부(136)가 얼굴 모델을 생성하는 처리를 설명하는 플로차트,

도 48은 얼굴 모델 생성부(136)가 두발 모델을 생성해서 얼굴 모델에 합성하는 처리를 설명하는 플로차트,

도 49는 CG를 도시하는 도면,

도 50은 CG를 도시하는 도면,

도 51은 CG를 도시하는 도면,

도 52는 CG를 도시하는 도면.

[부호의 설명]

101:　버스,　102:　CPU,　103:　ROM,　104:　RAM,　105:　하드디스크, 106:　출력부,　107:　입력부,　108:　통신부,　109:　드라이브,　110:　입출력 인터페이스,　111:　리무버블 기록 매체,　131:　기억부,　132:　전처리부,　133:　정규화 얼굴 화상 기억부,　134:　통상 특징점 추출부,　135:　상세 특징점 추출부,　136:　얼굴 모델 생성부,　137:　얼굴 모델 기억부, 138: 애니메이션 처리부,　139:　조작부,　140:　표시부,　201: 템플레이트 기억부,　202:　눈 특징점 검출부,　203:　입 특징점 검출부,　204: 턱 특징점 검출부,　251:　표준 3차원 모델 기억부,　252:　얼굴 처리부,　253: 두발 처리부,　254:　합성부,　261:　얼굴 모델 적응부,　262:　목 모델 적응부, 263:　귀 모델 적응부,　264:　확장부,　265: 　합성부,　271:　매핑부,　272:　비두발(非頭髮) 부분 검출부,　273:　Z값 변경부,　274:　필터부.

본 발명은 화상 처리 장치, 화상 처리 방법 및 프로그램에 관한 것으로서, 특히 예를 들면 리얼한(realistic) 애니메이션을, 용이하게 실현할 수 있도록 하는 화상 처리 장치, 화상 처리 방법 및 프로그램에 관한 것이다.

예를 들면, 사람 얼굴의 리얼한 CG(Computer Graphics)를 생성하기에는, 얼굴의 충실한 3차원 모델, 즉 3차원 형상(形狀)과 텍스처(texture)를 얻을 필요가 있다. 얼굴의 충실한 3차원 모델을 얻는 방법으로서는, 예를 들면 Cyberware사(社)가 행하고 있는 방법, 즉 3차원 스캐너에 의해 실제의 얼굴을 스캔하는 방법이나, 실제의 얼굴 형태(型)를 취해 모형(模型)을 작성하고, 3차원 포인터를 이용해서, 모형의 데이터를 입력하는 방법이 있다(예를 들면, 비특허 문헌 1 참조).

이들 방법에 의하면, 리얼하고 고정세(高精細: high precise 또는 high resolution)한 3차원 모델을 얻을 수 있으므로, 정세(精細)한 CG가 필요하게 되는 영화 제작이나, 리얼리티가 중요한 게임 제작 등에서 자주 이용된다.

그러나, 3차원 스캐너는 고가(高價)이고, 또 3차원 스캐너에 의해서 얼굴 전체를 스캔하는 것은, 다대(多大)한 시간을 필요로 한다. 마찬가지로, 3차원 포인 터도 고가이고, 또 3차원 포인터에 의한 데이터의 입력은 사람 손에 의해서 행해지지 않으면 안되기 때문에, 다대한 코스트(시간과 노력)를 필요로 한다.

또, 최근에는 CPU(Central Processing Unit)나 메모리 등의 고속화 및 저(低) 가격화에 의해, 대용량의 디지털 데이터로 되는 화상의 데이터 처리도 비교적 용이하게 가능하게 되어져 있고, 그와 같은 데이터 처리의 하나로서, 3차원 모델을, 촬영 방향이 다른 복수의 화상(2차원의 화상)으로부터 생성하는 처리가 있다. 예를 들면, 비특허 문헌 2에서는, 5매(枚: 장)의 다른 방향에서 촬영한 얼굴 화상(얼굴이 찍혀 있는 화상)으로부터 리얼한 3차원 모델을 생성하는 방법이 제안되어 있으며, 이 방법에 의하면, Cyberware사의 방법과 비교해서, 용이하게 3차원 모델을 생성할 수가 있다.

그러나, 비특허 문헌 2에 기재된 방법에서는, 얼굴의 특징점을, 복수매(複數枚)의 얼굴 화상으로부터 얻고, 그 특징점에 의거해서, 얼굴의 3차원 모델을 변형하기 때문에, 그 3차원 모델에는 원래(元)의 얼굴 화상에 찍히고 있는 실제의 얼굴과 미묘한 차이가 생긴다. 즉, 비특허 문헌 2에 기재된 방법에서는, 복수의 얼굴 화상으로부터 얻어지는 특징점의 정밀도(精度)가 그만큼 높지 않기 때문에, 어떤 방향에서 촬상(撮像)된 얼굴 화상의 특징점 중에서, 다른 방향에서 촬상된 얼굴 화상의 특징점에 정확하게 대응하는 특징점을 지정하는 것이 곤란하며, 또 라이팅(lighting)이 행해지는 결과, 정면에서 본 얼굴의 3차원 모델에서 생성된 CG에서조차, 실물과 다른 인상(印象)을 주어 버린다.

또, 3차원 모델을 생성하는 방법으로서, 상술한 Cyberware사의 방법에서 얻 어지고 있는 얼굴의 3차원 모델의 샘플을 이용하고, 1매의 얼굴 화상의 안면(顔面) 부분과 3차원 모델의 렌더링(rendering) 결과와의 오차가 최소로 되도록, 3차원 모델을 반복적(反復的)으로 수정함으로써, 정확한 3차원 모델을 재구성하는 수법이 있다(예를 들면, 비특허 문헌 3 참조).

그러나, 이 방법에서는, 다수의 샘플을 이용해서, 3차원 모델을 반복적으로 수정한다고 하는 알고리즘의 성질 상(上), 최종적인 3차원 모델을 얻기까지 다대한 시간을 필요로 한다.

한편, 정면에서 얼굴을 촬영한 1매의 얼굴 화상에, 적당한 3차원 형상을 부가하는(적응(適應: fit)시키는) 것에 의해, 얼굴의 3차원 모델을 생성하는 방법이 있으며(예를 들면, 특허 문헌 1 참조), 이 방법에 의하면, 얼굴 화상에 찍혀 있는 본인과의 유사성이 높은 얼굴의 3차원 모델을, 비교적 용이하게 생성할 수가 있다.

그러나, 정면에서 얼굴을 촬영한 1매의 얼굴 화상에는, 얼굴의 주변 부분(뺨(頰)으로부터 귀(耳)에 걸친 측면, 머리 꼭대기부(頭頂部), 턱(顎)의 하측(下側))이 찍혀 있지 않기 때문에, 그와 같은 얼굴 화상에서 생성되는 3차원 모델도, 정면에서 보이는 얼굴의 범위(얼굴 화상에 찍혀 있는 얼굴의 범위)의 것으로 된다. 따라서, 예를 들면, 그와 같은 3차원 모델을, 경사 방향에서 본 CG(2차원의 화상)를 생성하기 위해서 회전시키면, 3차원 모델에 없는 얼굴의 주변 부분이 정면에 나타나는 것에 의해, 경사 방향에서 본 CG가 파탄(破綻)하는(부자연스럽게 되는) 일이 있었다.

그래서, 정면에서 얼굴을 촬영한 1매의 얼굴 화상에서 생성된 3차원 모델에, 다른 방법으로 생성된, 얼굴의 주변 부분이 존재하는 3차원 모델을 결합하는 것에 의해, 정면에서 얼굴을 촬영한 1매의 얼굴 화상에서 생성된 3차원 모델에, 얼굴의 주변 부분을 부가하는 것이 생각된다.

그러나, 정면에서 얼굴을 촬영한 1매의 얼굴 화상으로부터 3차원 모델을 생성하는 처리 이외에, 얼굴의 주변 부분이 존재하는 3차원 모델을 생성하는 처리를 행하는 것은, 처리 전체의 간편성(簡便性)이 없어지게 된다. 또, 정면에서 얼굴을 촬영한 1매의 얼굴 화상에서 생성된 3차원 모델과, 다른(他) 방법으로 생성된, 얼굴의 주변 부분이 존재하는 3차원 모델을 결합한 경우에는, 그 결합 부분에, 위화감을 일으킨다.

한편, 두발(頭髮)은 가늘기 때문에, 예를 들면, 3차원 스캐너에 의해서 두발을 스캔해도, 정확하게 캡처(capther)하는 것이 곤란했다. 이 때문에, 종래의 얼굴의 3차원 모델을 생성하는 방법에서는, 두발은 얼굴의 3차원 모델에 반영되지 않는 일이 많다.

또, 얼굴의 3차원 모델의 생성 후에, 그 3차원 모델에, 얼굴 화상의 두발(의 텍스처)을 합성하는 것에 의해, 두발을 얼굴의 3차원 모델에 반영하는 방법이 있지만, 이 방법에서는, 본인의 두발의 형상(머리 모양)이나 질감을 재현하는 것은 어렵다. 즉, 얼굴의 3차원 모델은 그 윤곽이 얼굴의 윤곽과 일치하도록 생성되므로, 3차원 모델에서, 얼굴의 윤곽에서 비어져 나온 부분에 대응하는 위치(부분)에, 3차원 형상은 존재하지 않는다. 그러나, 두발은, 일반적으로 얼굴의 윤곽에서 비어져 나온 범위에도 존재하기 때문에, 얼굴의 3차원 모델에 단지 얼굴 화상의 두발을 합 성해도, 얼굴의 3차원 모델에는, 얼굴의 윤곽에서 비어져 나온 범위의 두발이 반영되지 않고, 그 결과, 얼굴 화상에 찍혀 있는 바와 같은 두발의 두발 형태(髮型: hair style)나 질감은 얻어지지 않는다.

그런데, 예를 들면 깜박임(瞬: twinkle of an eye)이나, 입(lips)의 개폐, 얼굴(목(首))을 기울이는 등과 같은, 얼굴의 리얼한 애니메이션(의 CG)을 실현하는 것의 요청은 높다.

얼굴의 리얼한 애니메이션을 실현하기에는, 예를 들면 깜박임을 행하는 눈(目)이나, 개폐하는 입(口), 기우는 얼굴의 윤곽 등의 움직이는 부위에 대해서, 국소적으로 정밀도가 높은 많은 특징점이 필요하게 된다. 즉, 예를 들면, 눈에 대해서는, 리얼한 깜박임을 실현하기 위해서, 눈구멍(眼孔: eye socket)에서 노출되어 있는 안구(眼球) 부분의 윤곽 상(上)의 정확하고 다수(多數)인 점과, 눈꺼풀과 눈구멍과의 경계(境界) 상의 정확하고 다수인 점을, 특징점으로서 검출(檢出)할 필요가 있다.

그러나, 종래에 있어서는, 특징점은 예를 들면 소위 얼굴 인식이나, 얼굴의 3차원 모델의 생성에 이용되어, 그만큼의 정밀도나 수(數)가 요구되고 있지 않았다.

즉, 특징점을 검출하는 방법으로서는, 예를 들면 얼굴 화상을 와아핑(warping)(변형 첩부(貼付: adhesion)에 의한 가산)하고, 주성분(主成分) 분석으로 차원(次元) 압축을 하는 것에 의해, 얼굴 화상의 정보량을 어느 정도 삭감해서, 특징점을 검출하는 AAM(Active Appearance Models)이라고 불리는 방법이 있다(예를 들면, 비특허 문헌 4 참조). AAM에 의하면, 얼굴 화상에 찍혀 있는 얼굴의 특징점과 텍스처 각각에 대해서 주성분 분석을 가하여 정보를 추출하고, 하나의 얼굴을 주성분 파라미터로 표현하며, 그 주성분 파라미터를 변화시키는 것에 의해서, 새로운 얼굴에 대해서도 특징점과 텍스처의 정보를 대략적으로 복원할 수가 있다.

AAM에서는, 얼굴 화상의 정보량을 어느 정도 삭감함으로써, 원래의 얼굴 화상을 흐릿한(indistinct) 화상으로 하고, 그 흐릿한 화상을 이용해서, 특징점을 검출하기 때문에, 대역적(大域的: general)(대국적(大局的))인 특징점이 얻어진다. 따라서, AAM에 의한 특징점의 검출 방법은, 예를 들면 3차원 모델의 생성에는 이용할 수가 있지만, 정밀도가 높은 특징점을 필요로 하는 리얼한 애니메이션에는 적합하지 않다(不向).

한편, 예를 들면 상술한 비특허 문헌 2에 기재된 방법에서는, 3차원 모델의 생성에 복수매의 얼굴 화상으로부터 얻은 특징점이 이용되지만, 이 방법에서 생기는, 3차원 모델과, 원래의 얼굴 화상에 찍히고 있는 실제의 얼굴과의 미묘한 어긋남은, 복수매의 얼굴 화상 각각에 대해서, 다수의 특징점을 정밀도 좋게 지정하는 것에 의해 저감할 수가 있다.

그러나, 촬영 방향이 다른 복수매의 얼굴 화상 각각에 대해서, 대응하는 특징점을, 수많이(많은 수로), 게다가 고정밀도로 지정하는 것은 곤란하다. 또, 만일 그와 같은 특징점을 얻을 수 있었다고 해도, 그 결과 얻어지는 CG는 3차원 모델의, 소위 겉보기(눈에 비치는 모습: visible)의 정밀도가 수반하지 않기 때문에, 얼굴 화상에 찍혀 있는 본인을 정면에서 본 화상과는 반드시 일치하지 않는, 종래의 소 위 CG적인 부자연스러운 CG로 되어 버리는 것이 예상된다.

[특허 문헌 1] 일본 특개(特開) 2002-32783호 공보

[비특허 문헌 1] "Cyberware", [online], Cyberware, [헤이세이(平成) 16년 12월 6일 검색], 인터넷<URL：http://www.cyberware.com/>

[비특허 문헌 2] Frederic Pighin, Jamie Hecker, Dani Lischinski, Richard Szeliski, and David Salesin. Synthesizing Realistic Facial Expressions from Photographs. Proceedings of SIGGRAPH 98, in Computer Graphics Proceedings, Annual Conference Series, 1998.

[비특허 문헌 3] BLANZ, V., AND VETTER, T. A morphable model for the synthes is of 3D faces. Proceedings of ACM SIGGRAPH 99, in Computer Graphics Proceedings, Annual Conference Series, 1999.

[비특허 문헌 4] T.F. Cootes, G.J.Edwards, and C.J.Taylor, "Active Appearance Models", Proc. Fifth European Conf. Computer Vision, H. Burkhardt and B. Neumann, eds, vol. 2, pp. 484-498, 1998

이상과 같이, 종래에 있어서는, 리얼한 애니메이션을 용이하게 실현하는 요소(要素) 기술이 제안되어 있지 않았다.

본 발명은 이와 같은 상황을 감안해서 이루어진 것으로서, 리얼한 애니메이션을 용이하게 실현할 수 있도록 하는 것이다.

본 발명의 제1 화상 처리 장치는, 화상으로부터, 그 화상에 표시되어 있는 물체의 3차원 모델을 생성하는 3차원 모델 생성 수단과, 3차원 모델 생성 수단에서 생성된 3차원 모델의 주변 부분을, 깊이(奧行: depth) 방향인 Z방향으로 확장하는 확장 수단을 구비하는 것을 특징으로 한다.

본 발명의 제1 화상 처리 방법은, 화상으로부터, 그 화상에 표시되어 있는 물체의 3차원 모델을 생성하는 3차원 모델 생성 스텝과, 3차원 모델 생성 스텝에서 생성된 3차원 모델의 주변 부분을, 깊이 방향인 Z방향으로 확장하는 확장 스텝을 포함하는 것을 특징으로 한다.

본 발명의 제1 프로그램은, 화상으로부터, 그 화상에 표시되어 있는 물체의 3차원 모델을 생성하는 3차원 모델 생성 스텝과, 3차원 모델 생성 스텝에서 생성된 3차원 모델의 주변 부분을, 깊이 방향인 Z방향으로 확장하는 확장 스텝을 포함하는 것을 특징으로 한다.

본 발명의 제2 화상 처리 장치는, 화상으로부터, 그 화상에 표시되어 있는 얼굴의 3차원 모델인 얼굴 모델을 생성하는 3차원 모델 생성 수단과, 화상에, 미리 준비되어 있는 두발의 모델인 두발 모델을 매핑하는 매핑 수단과, 화상으로부터, 두발이 아닌 부분인 비두발(非頭髮) 부분을 검출하는 비두발 부분 검출 수단과, 화상에 매핑된 두발 모델 중, 비두발 부분에 매핑된 부분의, 깊이 방향인 Z방향의 위치를 나타내는 Z값을 변경하는 Z값 변경 수단과, Z값 변경 수단에서 Z값이 변경된 두발 모델과 얼굴 모델을 합성하는 합성 수단을 구비하는 것을 특징으로 한다.

본 발명의 제2 화상 처리 방법은, 화상으로부터, 그 화상에 표시되어 있는 얼굴의 3차원 모델인 얼굴 모델을 생성하는 3차원 모델 생성 스텝과, 화상에, 미리 준비되어 있는 두발의 모델인 두발 모델을 매핑하는 매핑 스텝과, 화상으로부터, 두발이 아닌 부분인 비두발 부분을 검출하는 비두발 부분 검출 스텝과, 화상에 매핑된 두발 모델 중, 비두발 부분에 매핑된 부분의, 깊이 방향인 Z방향의 위치를 나타내는 Z값을 변경하는 Z값 변경 스텝과, Z값 변경 스텝에서 Z값이 변경된 두발 모델과 얼굴 모델을 합성하는 합성 스텝을 포함하는 것을 특징으로 한다.

본 발명의 제2 프로그램은, 화상으로부터, 그 화상에 표시되어 있는 얼굴의 3차원 모델인 얼굴 모델을 생성하는 3차원 모델 생성 스텝과, 화상에, 미리 준비되어 있는 두발의 모델인 두발 모델을 매핑하는 매핑 스텝과, 화상으로부터, 두발이 아닌 부분인 비두발 부분을 검출하는 비두발 부분 검출 스텝과, 화상에 매핑된 두발 모델 중, 비두발 부분에 매핑된 부분의, 깊이 방향인 Z방향의 위치를 나타내는 Z값을 변경하는 Z값 변경 스텝과, Z변경 스텝에서 Z값이 변경된 두발 모델과 얼굴 모델을 합성하는 합성 스텝을 포함하는 것을 특징으로 한다.

본 발명의 제3 화상 처리 장치는, 얼굴의 소정 부위의 템플레이트의 위치와 사이즈를, 화상에 표시되어 있는 얼굴에 적응시키는 제1 적응 수단과, 템플레이트의 형상(形狀)을 규정하는 복수의 파라미터를, 그 복수보다 적은 1이상의 파라미터에 의거해서 변경하는 것에 의해, 위치와 사이즈가 화상에 표시되어 있는 얼굴에 적응한 템플레이트의 형상을, 소정 부위의 형상의 범위 내에서 변형하고, 화상에 표시되어 있는 얼굴에 적응시키고, 위치, 사이즈 및 형상이 화상에 표시되어 있는 얼굴에 적응한 템플레이트로부터, 얼굴의 소정 부위의 특징점을 구(求)하는 제2 적응 수단을 구비하는 것을 특징으로 한다.

본 발명의 제3 화상 처리 방법은, 얼굴의 소정 부위의 템플레이트의 위치와 사이즈를, 화상에 표시되어 있는 얼굴에 적응시키는 제1 적응 스텝과, 템플레이트의 형상을 규정하는 복수의 파라미터를, 그 복수보다 적은 1이상의 파라미터에 의거해서 변경하는 것에 의해, 위치와 사이즈가 화상에 표시되어 있는 얼굴에 적응한 템플레이트의 형상을, 소정 부위의 형상의 범위 내에서 변형하고, 화상에 표시되어 있는 얼굴에 적응시키고, 위치, 사이즈 및 형상이 화상에 표시되어 있는 얼굴에 적응한 템플레이트로부터, 얼굴의 소정 부위의 특징점을 구하는 제2 적응 스텝을 포함하는 것을 특징으로 한다.

본 발명의 제3 프로그램은, 얼굴의 소정 부위의 템플레이트의 위치와 사이즈를, 화상에 표시되어 있는 얼굴에 적응시키는 제1 적응 스텝과, 템플레이트의 형상을 규정하는 복수의 파라미터를, 그 복수보다 적은 1이상의 파라미터에 의거해서 변경하는 것에 의해, 위치와 사이즈가 화상에 표시되어 있는 얼굴에 적응한 템플레이트의 형상을, 소정 부위의 형상의 범위 내에서 변형하고, 화상에 표시되어 있는 얼굴에 적응시키고, 위치, 사이즈 및 형상이 화상에 표시되어 있는 얼굴에 적응한 템플레이트로부터, 얼굴의 소정 부위의 특징점을 구하는 제2 적응 스텝을 포함하는 것을 특징으로 한다.

본 발명의 제1 화상 처리 장치, 화상 처리 방법 및 프로그램에 있어서는, 화 상으로부터, 그 화상에 표시되어 있는 물체의 3차원 모델이 생성되고, 그 3차원 모델의 주변 부분이, 깊이 방향인 Z방향으로 확장된다.

본 발명의 제2 화상 처리 장치, 화상 처리 방법 및 프로그램에 있어서는, 화상으로부터, 그 화상에 표시되어 있는 얼굴의 얼굴 모델이 생성된다. 한편, 화상에, 미리 준비되어 있는 두발의 모델인 두발 모델이 매핑됨과 동시에, 화상으로부터, 두발이 아닌 부분인 비두발 부분이 검출된다. 그리고, 화상에 매핑된 두발 모델 중, 비두발 부분에 매핑된 부분의, 깊이 방향인 Z방향의 위치를 나타내는 Z값이 변경되고, 그 Z값이 변경된 두발 모델과 얼굴 모델이 합성된다.

본 발명의 제3 화상 처리 장치 및 화상 처리 방법과 프로그램에 있어서는, 얼굴의 소정 부위의 템플레이트의 위치와 사이즈가, 화상에 표시되어 있는 얼굴에 적응된다. 또, 템플레이트의 형상을 규정하는 복수의 파라미터를, 그 복수보다 적은 1이상의 파라미터에 의거해서 변경하는 것에 의해, 위치와 사이즈가 화상에 표시되어 있는 얼굴에 적응한 템플레이트의 형상이, 소정 부위의 형상의 범위 내에서 변형되어, 화상에 표시되어 있는 얼굴에 적응된다. 그리고, 위치, 사이즈 및 형상이 화상에 표시되어 있는 얼굴에 적응한 템플레이트로부터, 얼굴의 소정 부위의 특징점이 구해진다.

[발명을 실시하기 위한 최량의 형태]

이하에 본 발명의 실시 형태를 설명하겠지만, 청구항에 기재된 구성 요건과 발명의 실시 형태에서의 구체예와의 대응 관계를 예시하면, 다음과 같이 된다. 이 기재는 청구항에 기재되어 있는 발명을 서포트하는 구체예가, 발명의 실시 형태에 기재되어 있는 것을 확인하기 위한 것이다. 따라서, 발명의 실시 형태 중에는 기재되어 있지만, 구성 요건에 대응하는 것으로서, 여기에는 기재되어 있지 않은 구체예가 있었다고 해도, 그것은 그 구체예가, 그 구성 요건에 대응하는 것이 아닌 것을 의미하는 것은 아니다. 역(逆)으로, 구체예가 구성 요건에 대응하는 것으로서 여기에 기재되어 있었다고 해도, 그것은 그 구체예가, 그 구성 요건 이외의 구성 요건에는 대응하지 않는 것인 것을 의미하는 것도 아니다.

또, 이 기재는, 발명의 실시 형태에 기재되어 있는 구체예에 대응하는 발명이, 청구항에 모두 기재되어 있는 것을 의미하는 것은 아니다. 환언(換言)하면, 이 기재는 발명의 실시 형태에 기재되어 있는 구체예에 대응하는 발명으로서, 이 출원의 청구항에는 기재되어 있지 않은 발명의 존재, 즉, 장래에 분할 출원되거나, 보정에 의해 추가되는 발명의 존재를 부정하는 것은 아니다.

청구항 1에 기재된 화상 처리 장치는,

3차원의 물체가 표시된 2차원의 화상으로부터, 상기 물체의 3차원 모델을 생성하는 화상 처리 장치(예를 들면, 도 2의 화상 처리 장치)에 있어서,

상기 화상으로부터, 그 화상에 표시되어 있는 상기 물체의 3차원 모델을 생성하는 3차원 모델 생성 수단(예를 들면, 도 25의 얼굴 모델 적응부(261))과,

상기 3차원 모델 생성 수단에서 생성된 상기 3차원 모델의 주변 부분을, 깊이 방향인 Z방향으로 확장하는 확장 수단(예를 들면, 도 25의 확장부(264))

을 구비하는 것을 특징으로 한다.

청구항 5에 기재된 화상 처리 장치는,

상기 화상에, 미리 준비되어 있는 두발의 모델인 두발 모델을 매핑하는 매핑 수단(예를 들면, 도 25의 매핑부(271))과,

상기 화상으로부터, 두발이 아닌 부분인 비두발 부분을 검출하는 비두발 부분 검출 수단(예를 들면, 도 25의 비두발 부분 검출부(272))과,

상기 화상에 매핑된 상기 두발 모델 중, 상기 비두발 부분에 매핑된 부분의, Z방향의 위치를 나타내는 Z값을 변경하는 Z값 변경 수단(예를 들면, 도 25의 Z값 변경부(273))과,

상기 Z값 변경 수단에서 Z값이 변경된 상기 두발 모델과 상기 얼굴 모델을 합성하는 합성 수단(예를 들면, 도 25의 합성부(254))

을 더 구비하는 것을 특징으로 한다.

청구항 6에 기재된 화상 처리 장치는,

상기 Z값 변경 수단에서 Z값이 변경된 상기 두발 모델의 Z값에 대해서, 로우패스 필터에 의한 필터링을 행하는 필터 수단(예를 들면, 도 25의 필터부(274))를 더 구비하는

것을 특징으로 한다.

청구항 8에 기재된 화상 처리 장치는,

얼굴의 소정 부위의 템플레이트의 위치와 사이즈를, 상기 화상에 표시되어 있는 얼굴에 적응시키는 제1 적응 수단(예를 들면, 도 13의 스텝 S202의 처리를 행하는 도 11의 눈 특징점 검출부(202))과,

상기 템플레이트의 형상을 규정하는 복수의 파라미터를, 그 복수보다 적은 1이상의 파라미터에 의거해서 변경하는 것에 의해, 위치와 사이즈가 상기 화상에 표시되어 있는 얼굴에 적응한 상기 템플레이트의 형상을, 상기 소정 부위의 형상의 범위 내에서 변형하고, 상기 화상에 표시되어 있는 얼굴에 적응시키는 제2 적응 수단(예를 들면, 도 13의 스텝 S203의 처리를 행하는 도 11의 눈 특징점 검출부(202))

을 더 구비하고,

상기 3차원 모델 생성 수단은, 위치, 사이즈 및 형상이 상기 화상에 표시되어 있는 얼굴에 적응한 상기 템플레이트로부터 얻어지는 얼굴의 특징점에 의거해서, 상기 화상에 표시되어 있는 상기 얼굴의 얼굴 모델을 생성하는

것을 특징으로 한다.

청구항 9에 기재된 화상 처리 방법은,

3차원의 물체가 표시된 2차원의 화상으로부터, 상기 물체의 3차원 모델을 생성하는 화상 처리 방법에 있어서,

상기 화상으로부터, 그 화상에 표시되어 있는 상기 물체의 3차원 모델을 생성하는 3차원 모델 생성 스텝(예를 들면, 도 47의 스텝 S251)과,

상기 3차원 모델 생성 스텝에서 생성된 상기 3차원 모델의 주변 부분을, 깊이 방향인 Z방향으로 확장하는 확장 스텝(예를 들면, 도 47의 스텝 S252)

을 포함하는 것을 특징으로 한다.

청구항 10에 기재된 프로그램은,

3차원의 물체가 표시된 2차원의 화상으로부터, 상기 물체의 3차원 모델을 생성하는 화상 처리를, 컴퓨터에 실행시키는 프로그램에 있어서,

상기 화상으로부터, 그 화상에 표시되어 있는 상기 물체의 3차원 모델을 생성하는 3차원 모델 생성 스텝(예를 들면, 도 47의 스텝 S251)과,

상기 3차원 모델 생성 스텝에서 생성된 상기 3차원 모델의 주변 부분을, 깊이 방향인 Z방향으로 확장하는 확장 스텝(예를 들면, 도 47의 스텝 S252)

을 포함하는 것을 특징으로 한다.

청구항 11에 기재된 화상 처리 장치는,

3차원의 얼굴이 표시된 2차원의 화상으로부터, 상기 얼굴의 3차원 모델인 얼굴 모델을 생성하는 화상 처리 장치(예를 들면, 도 2의 화상 처리 장치)에 있어서,

상기 화상으로부터, 그 화상에 표시되어 있는 상기 얼굴의 3차원 모델인 얼굴 모델을 생성하는 3차원 모델 생성 수단(예를 들면, 도 25의 얼굴 모델 적응부(261))과,

상기 화상에, 미리 준비되어 있는 두발의 모델인 두발 모델을 매핑하는 매핑 수단(예를 들면, 도 25의 매핑부(271))과,

상기 화상으로부터, 두발이 아닌 부분인 비두발 부분을 검출하는 비두발 부분 검출 수단(예를 들면, 도 25의 비두발 부분 검출부(272))과,

상기 화상에 매핑된 상기 두발 모델 중, 상기 비두발 부분에 매핑된 부분의, 깊이 방향인 Z방향의 위치를 나타내는 Z값을 변경하는 Z값 변경 수단(예를 들면, 도 25의 Z값 변경부(273)),과

상기 Z값 변경 수단에서 Z값이 변경된 상기 두발 모델과 상기 얼굴 모델을 합성하는 합성 수단(예를 들면, 도 25의 합성부(254))

을 구비하는 것을 특징으로 한다.

청구항 13에 기재된 화상 처리 장치는,

상기 Z값 변경 수단에서 Z값이 변경된 상기 두발 모델의 Z값에 대해서, 로우패스 필터에 의한 필터링을 행하는 필터 수단(예를 들면, 도 25의 필터부(274))을 더 구비하는

것을 특징으로 한다.

청구항 15에 기재된 화상 처리 방법은,

3차원의 얼굴이 표시된 2차원의 화상으로부터, 상기 얼굴의 3차원 모델인 얼굴 모델을 생성하는 화상 처리 방법에 있어서,

상기 화상으로부터, 그 화상에 표시되어 있는 상기 얼굴의 3차원 모델인 얼굴 모델을 생성하는 3차원 모델 생성 스텝(예를 들면, 도 47의 스텝 S251)과,

상기 화상에, 미리 준비되어 있는 두발의 모델인 두발 모델을 매핑하는 매핑 스텝(예를 들면, 도 48의 스텝 S272)과,

상기 화상으로부터, 두발이 아닌 부분인 비두발 부분을 검출하는 비두발 부분 검출 스텝(예를 들면, 도 48의 스텝 S273)과,

상기 화상에 매핑된 상기 두발 모델 중, 상기 비두발 부분에 매핑된 부분의, 깊이 방향인 Z방향의 위치를 나타내는 Z값을 변경하는 Z값 변경 스텝(예를 들면, 도 48의 스텝 S274)과,

상기 Z값 변경 스텝에서 Z값이 변경된 상기 두발 모델과 상기 얼굴 모델을 합성하는 합성 스텝(예를 들면, 도 48의 스텝 S276)

을 포함하는 것을 특징으로 한다.

청구항 16에 기재된 프로그램은,

3차원의 얼굴이 표시된 2차원의 화상으로부터, 상기 얼굴의 3차원 모델인 얼굴 모델을 생성하는 화상 처리를, 컴퓨터에 실행시키는 프로그램에 있어서,

상기 화상으로부터, 그 화상에 표시되어 있는 상기 얼굴의 3차원 모델인 얼굴 모델을 생성하는 3차원 모델 생성 스텝(예를 들면, 도 47의 스텝 S251)과,

상기 화상에, 미리 준비되어 있는 두발의 모델인 두발 모델을 매핑하는 매핑 스텝(예를 들면, 도 48의 스텝 S272)과,

상기 화상으로부터, 두발이 아닌 부분인 비두발 부분을 검출하는 비두발 부분 검출 스텝(예를 들면, 도 48의 스텝 S273)과,

상기 화상에 매핑된 상기 두발 모델 중, 상기 비두발 부분에 매핑된 부분의, 깊이 방향인 Z방향의 위치를 나타내는 Z값을 변경하는 Z값 변경 스텝(예를 들면, 도 48의 스텝 S274)과,

상기 Z값 변경 스텝에서 Z값이 변경된 상기 두발 모델과 상기 얼굴 모델을 합성하는 합성 스텝(예를 들면, 도 48의 스텝 S276)

을 포함하는 것을 특징으로 한다.

청구항 17에 기재된 화상 처리 장치는,

3차원의 얼굴이 표시된 2차원의 화상으로부터, 상기 얼굴의 특징점을 구하는 화상 처리 장치(예를 들면, 도 2의 화상 처리 장치)에 있어서,

얼굴의 소정 부위의 템플레이트의 위치와 사이즈를, 상기 화상에 표시되어 있는 얼굴에 적응시키는 제1 적응 수단(예를 들면, 도 13의 스텝 S202의 처리를 행하는 도 11의 눈 특징점 검출부(202))과,

상기 템플레이트의 형상을 규정하는 복수의 파라미터를, 그 복수보다 적은 1이상의 파라미터에 의거해서 변경하는 것에 의해, 위치와 사이즈가 상기 화상에 표시되어 있는 얼굴에 적응한 상기 템플레이트의 형상을, 상기 소정 부위의 형상의 범위 내에서 변형하고, 상기 화상에 표시되어 있는 얼굴에 적응시키고, 위치, 사이즈 및 형상이 상기 화상에 표시되어 있는 얼굴에 적응한 상기 템플레이트로부터, 상기 얼굴의 소정 부위의 특징점을 구하는 제2 적응 수단(예를 들면, 도 13의 스텝 S203의 처리를 행하는 도 11의 눈 특징점 검출부(202))

을 구비하는 것을 특징으로 한다.

청구항 20에 기재된 화상 처리 방법은,

3차원의 얼굴이 표시된 2차원의 화상으로부터, 상기 얼굴의 특징점을 구하는 화상 처리 방법에 있어서,

얼굴의 소정 부위의 템플레이트의 위치와 사이즈를, 상기 화상에 표시되어 있는 얼굴에 적응시키는 제1 적응 스텝(예를 들면, 도 13의 스텝 S202)과,

상기 템플레이트의 형상을 규정하는 복수의 파라미터를, 그 복수보다 적은 1이상의 파라미터에 의거해서 변경하는 것에 의해, 위치와 사이즈가 상기 화상에 표시되어 있는 얼굴에 적응한 상기 템플레이트의 형상을, 상기 소정 부위의 형상의 범위 내에서 변형하고, 상기 화상에 표시되어 있는 얼굴에 적응시키고, 위치, 사이즈 및 형상이 상기 화상에 표시되어 있는 얼굴에 적응한 상기 템플레이트로부터, 상기 얼굴의 소정 부위의 특징점을 구하는 제2 적응 스텝(예를 들면, 도 13의 스텝 S203)

을 포함하는 것을 특징으로 한다.

청구항 21에 기재된 프로그램은,

3차원의 얼굴이 표시된 2차원의 화상으로부터, 상기 얼굴의 특징점을 구하는 화상 처리를, 컴퓨터에 실행시키는 프로그램에 있어서,

얼굴의 소정 부위의 템플레이트의 위치와 사이즈를, 상기 화상에 표시되어 있는 얼굴에 적응시키는 제1 적응 스텝(예를 들면, 도 13의 스텝 S202)과,

상기 템플레이트의 형상을 규정하는 복수의 파라미터를, 그 복수보다 적은 1이상의 파라미터에 의거해서 변경하는 것에 의해, 위치와 사이즈가 상기 화상에 표시되어 있는 얼굴에 적응한 상기 템플레이트의 형상을, 상기 소정 부위의 형상의 범위 내에서 변형하고, 상기 화상에 표시되어 있는 얼굴에 적응시키고, 위치, 사이즈 및 형상이 상기 화상에 표시되어 있는 얼굴에 적응한 상기 템플레이트로부터, 상기 얼굴의 소정 부위의 특징점을 구하는 제2 적응 스텝(예를 들면, 도 13의 스텝 S203)

을 포함하는 것을 특징으로 한다.

이하, 도면을 참조해서, 본 발명의 실시 형태에 대해 설명한다.

도 1에는, 본 발명을 적용한 화상 처리 장치를 실현하는 컴퓨터의 하드웨어 의 구성예를 도시하고 있다.

컴퓨터는 CPU(102)를 내장(內藏)하고 있다. CPU(102)에는 버스(101)를 거쳐서 입출력 인터페이스(110)가 접속되어 있고, CPU(102)는 입출력 인터페이스(110)를 거쳐서, 유저(user)에 의해 키보드나 마우스, 마이크 등으로 구성되는 입력부(107)가 조작 등 되는 것에 의해 지령(指令)이 입력되면, 그것에 따라서, ROM(Read Only Memory)(103)에 격납(格納: store)되어 있는 프로그램을 실행한다. 혹은 또, CPU(102)는 하드디스크(105)에 격납되어 있는 프로그램, 위성(衛星) 혹은 네트워크로부터 전송(轉送)되고, 통신부(108)에서 수신되어 하드 디스크(105)에 인스톨된 프로그램, 또는 드라이브(109)에 장착(裝着)된 리무버블(removable) 기록 매체(111)로부터 판독출력(讀出: read)되어 하드디스크(105)에 인스톨된 프로그램을, RAM(Random Access Memory)(104)에 로(load)해서 실행한다. 이것에 의해, CPU(102)는 후술하는 플로차트에 따른 처리, 혹은 후술하는 블록도의 구성에 의해 행해지는 처리를 행한다. 그리고, CPU(102)는 그 처리 결과를, 필요에 따라서, 예를 들면 입출력 인터페이스(110)를 거쳐서, LCD(Liquid Crystal Display)나 스피커 등으로 구성되는 출력부(106)로부터 출력, 혹은 통신부(108)로부터 송신, 나아가서는 하드 디스크(105)에 기록 등 시킨다.

CPU(102)에 실행시키는 프로그램은, 컴퓨터에 내장되어 있는 기록 매체로서의 하드 디스크(105)나 ROM(103)에 미리 기록해 둘 수가 있다.

혹은 또, 프로그램은 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto Optical) 디스크, DVD(Digital Versatile Disc), 자기 디스 크, 반도체 메모리 등의 리무버블 기록 매체(111)에, 일시적 혹은 영속적(永續的)으로 격납(기록)해 둘 수가 있다. 이와 같은 리무버블 기록 매체(111)는, 소위 패키지 소프트웨어로서 제공할 수가 있다.

또한, 프로그램은 상술한 바와 같은 리무버블 기록 매체(111)로부터 컴퓨터에 인스톨하는 것 이외에, 다운로드 사이트로부터, 디지털 위성방송용의 인공위성을 거쳐서, 컴퓨터에 무선으로 전송하거나, LAN(Local Area Network), 인터넷이라는 네트워크를 거쳐서, 컴퓨터에 유선으로 전송하고, 컴퓨터에서는 그와 같이 해서 전송되어 오는 프로그램을, 예를 들면 NIC(Network Interface Card)나, IEEE(Institute of Electrical and Electronics Engineers) 1394 또는 USB(Universal Serial Bus)에 준거(準據)한 인터페이스인 통신부(108)에서 수신하여, 내장하는 하드디스크(105)에 인스톨할 수가 있다.

도 1의 실시 형태에서는, 컴퓨터(CPU(102))가 하드디스크(105)에 인스톨되어 있는 (어플리케이션) 프로그램을 실행하는 것에 의해, 예를 들면 3차원의 물체로서의, 예를 들면 사람의 얼굴이 표시된(찍혀 있는(displaying)) 2차원의 화상으로부터, 그 얼굴의 3차원 모델을 생성하는 처리(모델링 처리)와, 그 3차원 모델로부터, 얼굴(의 부위)이 움직이는 CG를 생성해서 표시하는 처리(애니메이션 처리)를 행하는 화상 처리 장치로서 기능한다.

즉, 도 2에는 도 1의 컴퓨터가 프로그램을 실행하는 것에 의해서 등가적(等價的)으로 실현되는 화상 처리 장치의 1실시 형태의 구성예를 도시하고 있다.

기억부(131)에는, 사람의 얼굴이 찍혀 있는 2차원의 화상(의 화상 데이터)이 공급되도록 되어 있다. 기억부(131)는 예를 들면 도 1의 RAM(104)에 상당하고, 그곳에 공급되는 1매의, 사람의 얼굴이 찍혀 있는 화상(이하, 적당히 얼굴 화상이라고 한다)을 일시(一時) 기억한다.

또한, 기억부(131)에 기억시키는 얼굴 화상은 디지털(스틸) 카메라로 촬영한 화상이나, 사진을 스캐너로 취입(取入: provided)해서 얻어지는 화상 등을, 통신부(108)로부터 하드디스크(105)에 기억해 두고, 기억부(131)에 공급할 수가 있다.

전처리부(前處理部: pre-processor)(132)는 기억부(131)에 기억된 1매의 얼굴 화상을 판독출력하여, 후술하는 전처리를 행한다. 그리고, 전처리부(132)는 전처리의 결과 얻어지는 1매의 화상(이하, 적당히 정규화(正規化) 얼굴 화상이라고 한다)을, 정규화 얼굴 화상 기억부(133)에 공급한다.

정규화 얼굴 화상 기억부(133)는 예를 들면 도 1의 RAM(104)에 상당(相當)하고, 전처리부(132)에서 공급되는 1매의 정규화 얼굴 화상(의 화상 데이터)을 일시 기억한다.

통상 특징점 추출부(134)는 정규화 얼굴 화상 기억부(133)에 기억되어 있는 정규화 얼굴 화상으로부터 특징점을 추출(검출)하고, 또 그 특징점으로부터 정규화 얼굴 화상에 찍혀 있는 눈과 입의 영역인 눈 영역과 입 영역을 구한다. 그리고, 통상 특징점 추출부(134)는 특징점과 눈 영역 및 입 영역의 정보를, 상세 특징점 추출부(135)에 공급한다.

상세 특징점 추출부(135)는 통상 특징점 추출부(134)에서 공급되는 특징점이나 눈영역, 입영역의 정보에 의거해서, 정규화 얼굴 화상 기억부(133)에 기억되어 있는 정규화 얼굴 화상으로부터 특징점을 추출(검출)하여, 얼굴 모델 생성부(136)에 공급한다.

여기서, 통상 특징점 추출부(134)가 정규화 얼굴 화상으로부터 추출하는 특징점은, 예를 들면 전술(前述)한 AAM 등에 의해서 추출되는 대역적인 특징점이며, 정규화 얼굴 화상에 찍혀 있는 얼굴의 눈이나, 입, 얼굴의 윤곽의 대략적인 위치 등을 인식할 수 있으면 좋고, 그만큼의 정밀도나 수는 요구되지 않는다. 이것에 대해서, 상세 특징점 추출부(135)가 정규화 얼굴 화상으로부터 추출하는 특징점은, 후술하는 얼굴의 CG의 애니메이션(CG 애니메이션)의 생성 등에 이용되는 것이며, 통상 특징점 추출부(134)에서 추출되는 특징점과 비교해서, 수도 많고 정밀도도 높은 것이다.

이하, 통상 특징점 추출부(134)에서 추출되는 특징점과, 상세 특징점 추출부(135)에서 추출되는 특징점을 구별하기 위해서, 통상 특징점 추출부(134)에서 추출되는 특징점을 통상 특징점이라고도 하며, 상세 특징점 추출부(135)에서 추출되는 특징점을 상세 특징점이라고도 한다.

얼굴 모델 생성부(136)는 정규화 얼굴 화상 기억부(133)에 기억된 1매의 정규화 얼굴 화상과, 상세 특징점 추출부(135)에서 공급되는 특징점에 의거해서, 정규화 얼굴 화상에 찍혀 있는 얼굴의 3차원 모델인 얼굴 모델을 생성하여, 얼굴 모델 기억부(137)에 공급한다.

얼굴 모델 기억부(137)는 예를 들면 도 1의 RAM(104)에 상당하고, 얼굴 모델 생성부(136)에서 공급되는 얼굴 모델(의 데이터)을 일시 기억한다.

애니메이션 처리부(138)는 얼굴 모델 기억부(137)에 기억된 얼굴 모델에 의거해서, 조작부(139)의 조작에 따라 얼굴(의 부위)이 움직이는 CG 애니메이션(의 데이터)을 생성하여, 표시부(140)에 공급한다.

조작부(139)는, 예를 들면, 도 1의 입력부(107)에 상당하고, 유저에 의해서 조작되며, 그 조작에 대응한 조작 신호를 애니메이션 처리부(138)에 공급한다.

표시부(140)는 예를 들면 도 1의 출력부(106)에 상당하고, 애니메이션 처리부(138)에서 공급되는 CG 애니메이션을 표시한다.

다음에, 도 3의 플로차트를 참조해서, 도 2의 화상 처리 장치의 동작에 대해서 설명한다.

기억부(131)에는, 사람의 얼굴을 정면에서 촬상한 1매의 얼굴 화상이, 이미 기억되어 있고, 스텝 S101에서는, 전처리부(132)가 기억부(131)에 기억된 1매의 얼굴 화상을 판독출력해서, 전처리를 행한다. 그리고, 전처리부(132)는 전처리의 결과 얻어지는 1매의 정규화 얼굴 화상을 정규화 얼굴 화상 기억부(133)에 공급해서 기억시키고, 스텝 S102에서 S103으로 진행한다.

스텝 S103에서는, 통상 특징점 추출부(134)는 예를 들면 AAM에 의해서, 정규화 얼굴 화상 기억부(133)에 기억되어 있는 정규화 얼굴 화상으로부터, 통상 특징점을 추출하고, 또 눈 영역과 입 영역을 구한다. 그리고, 통상 특징점 추출부(134)는 특징점과 눈 영역 및 입 영역의 정보를, 상세 특징점 추출부(135)에 공급하고, 스텝 S104로 진행한다.

스텝 S104에서는, 상세 특징점 추출부(135)는 통상 특징점 추출부(134)에서 공급되는 통상 특징점이나 눈 영역의 정보, 입 영역의 정보와, 정규화 얼굴 화상 기억부(133)에 기억되어 있는 정규화 얼굴 화상에 의거해서, 그 정규화 얼굴 화상의 특정의 부위, 즉 예를 들면 정규화 얼굴 화상에 찍혀 있는 얼굴의 목, 입, 턱 등의 특징점을 추출하여, 얼굴 모델 생성부(136)에 공급한다.

그리고, 스텝 S104에서 S105로 진행하며, 얼굴 모델 생성부(136)는 정규화 얼굴 화상 기억부(133)에 기억된 1매의 정규화 얼굴 화상과 상세 특징점 추출부(135)에서 공급되는 특징점에 의거해서, 정규화 얼굴 화상에 찍혀 있는 얼굴의 얼굴 모델을 생성하고, 스텝 S106으로 진행한다. 스텝 S106에서는, 얼굴 모델 생성부(136)는 정규화 얼굴 화상에 찍혀 있는 사람의 두발의 3차원 모델인 두발 모델을 생성하여, 스텝 S105에서 생성한 얼굴 모델에 합성하고, 스텝 S107로 진행한다.

스텝 S107에서는, 얼굴 모델 생성부(136)는 상세 특징점 추출부(135)에서 공급되는 상세 특징점에 의거해서, 스텝 S106에서 두발 모델을 합성한 얼굴 모델에 대해서, 눈(안구)의 3차원 모델인 눈 모델과 치아(齒: teeth)(입 안)의 3차원 모델인 치아 모델을 매립하고(합성하고), 그 결과 얻어지는 얼굴 모델을 얼굴 모델 기억부(137)에 공급하여 기억시키고, 스텝 S108로 진행한다.

스텝 S108에서는, 애니메이션 처리부(138)가 얼굴 모델 기억부(137)에 기억된 얼굴 모델에 의거해서, 조작부(139)의 조작에 따라 얼굴(의 부위)이 움직이는 CG 애니메이션(의 데이터)을 생성하여, 표시부(140)에 공급한다. 이것에 의해, 표시부(140)에서는, 기억부(131)에 기억된 얼굴 화상에 찍혀 있는 얼굴의 CG가 조작부(139)의 조작에 따라 움직이는 CG 애니메이션이 표시된다.

또한, 얼굴 모델 기억부(137)에 기억된 얼굴 모델은 예를 들면 도 1의 통신부(108)를 거쳐서, 인터넷 상의 서버에 업로드하거나, 혹은 다른 장치에 송신할 수가 있다. 또, 얼굴 모델 기억부(137)에 기억된 얼굴 모델은 예를 들면 드라이브(109)를 거쳐서, 리무버블 기록 매체(111)에 기록하고, 제3자 등에게 배포할 수가 있다.

다음에, 도 4의 플로차트를 참조해서, 도 3의 스텝 S102에서, 도 2의 전처리부(132)가 행하는 전처리에 대해서 설명한다.

전처리부(132)는 우선 최초에, 스텝 S121에서, 기억부(131)에 기억된 1매의 얼굴 화상의 사이즈를 필요에 따라서 축소하고, 스텝 S122로 진행한다. 즉, 기억부(131)에 기억된 얼굴 화상이, 예를 들면 시판(市販)의 디지털 카메라로 촬상된 화상인 경우, 그대로의 사이즈로는 이후(後)의 처리의 부하가 큰 것(大)으로 되므로, 그 부하를 저감하기 위해서, S121에서는, 얼굴 화상의 사이즈가 예를 들면 화소를 솎아내는(間引: decimatting)(로우패스 필터링) 등을 행하는 것에 의해서, 소정의 사이즈로 축소된다.

또한, 기억부(131)에 기억된 얼굴 화상이 소정의 사이즈 이하인 경우에는, 스텝 S121의 처리는 스킵(skip)된다.

또, 기억부(131)에 기억된 얼굴 화상은 그것에 찍혀 있는 사람(얼굴)의 부분과 다른(他) 부분을 식별하기 쉽도록, 배경이 예를 들면 회색 1색 등의 단일색으로 되어 있다고 한다.

여기서, 도 5에, 기억부(131)에 기억되고, 전처리부(132)에 의한 전처리의 대상(對象)으로 되는 얼굴 화상의 예를 도시한다.

스텝 S122에서는, 전처리부(132)는 스텝 S121의 처리에 의해 소정의 사이즈로 축소된 얼굴 화상에 찍혀 있는 사람의 얼굴의 부분을 포함하는 직사각형(矩形: rectangular)의 영역인 얼굴 스케일을 추정하고, 또 얼굴 화상에 찍혀 있는 사람의 어깨(肩) 아래에 있는 옷(服)과 그것보다 윗부분(上部分)과의 경계(이하, 적당히 옷 경계라고 한다)를 추정한다.

여기서, 도 6을 참조해서, 얼굴 스케일과 옷 경계를 추정하는 방법을 설명한다.

도 6에는 도 5의 얼굴 화상을 스텝 S121에서 축소해서 얻어지는 얼굴 화상을 도시하고 있다.

예를 들면, 얼굴 화상이 화소값로서 RGB(Red, Greeen, Blue)의 3값을 가지고 있는 것으로 하면, 전처리부(132)는 우선, 얼굴 화상의 RGB의 값에 의거해서, 얼굴 화상으로부터 그것에 찍혀 있는 사람과 배경과의 경계(이하, 적당히 인물 경계라고 한다)를 검출한다.

즉, 전처리부(132)는 얼굴 화상의 좌단(左端)과 우단(右端)의 각각으로부터, 내측(內側) 방향을 향해서, 에지(edge)로 되어 있는 에지 화소를, 얼굴 화상의 각 행에 대해서 검출해 간다. 구체적으로는, 전처리부(132)는 얼굴 화상의 어떤 행(行)에 주목하면, 그 행의 하나의 화소를 주목 화소로서 주목하고, 주목 화소와 주목 화소에 대해서 얼굴 화상의 내측 방향에 인접하는 화소와의 R, G, B의 값 각각 끼리의 차분(差分)의 자승합(自乘和: sum of squares)(이하, 적당히 RGB 자승 오차 (誤差)라고 한다)를 계산하고, 그 RGB 자승 오차와 고정의 임계값(threshold)(작은 임계값)을 비교하는 것을, 얼굴 화상의 좌단과 우단의 각각으로부터, 내측 방향을 향해서 순차 행함으로써 에지 화소를 검출하고, 그 에지 화소를 인물 경계(를 구성하는 화소)의 후보(候補)로 한다.

즉, 전처리부(132)는 얼굴 화상의 내측 방향을 향해서 최초에 발견되는, RGB 자승 오차가 고정의 임계값보다 큰 화소를, 에지 화소로서 검출하고, 그 에지 화소를 인물 경계의 후보로 한다. 여기서, 에지 화소는 인물 경계(인 에지로 되고 있는 화소)일 가능성도 있지만, 배경내에 존재하는 어떠한 에지(로 되고 있는 화소)일 가능성도 있다.

전처리부(132)는 최초의 인물 경계의 후보의 검출 후, 그 인물 경계의 후보보다도 외측의 얼굴 화상의 영역(횡방향(橫方向)으로 늘어서는 화소)을 배경으로 가정하고, 배경을 대표하는 RGB의 값(이하, 적당히 배경 RGB값이라고 한다)을 구한다. 여기서, 배경 RGB값으로서는, 예를 들면 배경의 각 화소의 RGB의 값의 평균값이나, 배경의 임의의 화소의 RGB의 값 등을 채용할 수가 있다.

전처리부(132)는 그 후 또, 인물 경계의 후보로부터 내측 방향을 향해서, 에지 화소의 검출을 속행(續行)한다. 단, 최초에 검출된 인물 경계의 후보로부터 내측의 화소에 대해서는, RGB 자승 오차와 비교하는 임계값으로서는, 얼굴 화상의 내측의 화소일 수록 값이 커지는 가변(可變)의 임계값이 채용된다.

그리고, 전처리부(132)는 새로운 에지 화소가 검출된 경우, 즉 어떤 화소에서, 그의 RGB 자승 오차가 가변의 임계값보다도 큰 경우, 현재의 인물 경계의 후보 로부터 새로운 에지 화소까지의 사이에 있는 화소(횡방향으로 늘어서는 화소)의 화소값을 대표하는 RGB의 값(이하, 적당히 외측 대표 RGB값이라고 한다)을 구한다. 여기서, 외측 대표 RGB값으로서는, 예를 들면 현재의 인물 경계의 후보로부터 새로운 에지 화소까지의 사이에 있는 각 화소의 RGB의 값의 평균값이나, 현재의 인물 경계의 후보로부터 새로운 에지 화소까지의 사이에 있는 임의의 화소(예를 들면, 새로운 에지 화소의, 얼굴 화상의 외측의 방향으로 인접하는 화소 등)의 RGB의 값 등을 채용할 수가 있다.

또, 전처리부(132)는 새로운 에지 화소의, 얼굴 화상의 내측 방향에 있는 화소의 RGB의 값(이하, 적당히 내측 대표 RGB값이라고 한다)을 구한다. 여기서, 내측 대표 RGB값으로서는, 예를 들면 새로운 에지 화소의, 얼굴 화상의 내측 방향으로 인접하는 화소의 RGB의 값 등을 채용할 수가 있다.

그리고, 전처리부(132)는 내측 대표 RGB값의 배경 유사도(類似度)와 외측 RGB값의 배경 유사도를 구한다. 여기서, 배경 유사도란, 배경과의 유사성을 나타내는 값이며, 내측 대표 RGB값의 배경 유사도로서는 예를 들면 내측 대표 RGB값의 R, G, B의 값 각각과, 배경 RGB값의 R, G, B의 값 각각과의 차분의 자승합을 채용할 수가 있다. 마찬가지로, 외측(外側) 대표 RGB값의 배경 유사도로서는, 예를 들면 외측 대표 RGB값의 R, G, B의 값 각각과, 배경 RGB값의 R, G, B의 값 각각과의 차분의 자승합을 채용할 수가 있다. 이 경우, 배경 유사도의 「값」이 작을 수록, 배경과의 유사성이 높은 것을 나타낸다.

전처리부(132)는 내측 대표 RGB값의 배경 유사도와 외측 RGB값의 배경 유사 도를 구한 후, 그들 배경 유사도에 의거해서, 내측 대표 RGB값과 외측 RGB값 중의 어느것이 배경 RGB값과의 유사성이 높은지를 판정(判定)한다.

내측 대표 RGB값보다도 외측 RGB값이 배경 RGB값과의 유사성이 높은 경우, 전처리부(132)는 현재의 인물 경계의 후보로부터 새로운 에지 화소까지의 사이가,배경이라고 하여, 인물 경계의 후보를 새로운 에지 화소로 갱신한다. 그리고, 전처리부(132)는 에지 화소의 검출을 속행한다.

또, 외측 대표 RGB값보다도 내측 RGB값이 배경 RGB값과의 유사성이 높은 경우, 전처리부(132)는 에지 화소의 검출을 속행한다. 그리고, 얼굴 화상의 좌단 또는 우단의 각각으로부터 개시(開始)한 에지 화소의 검출이, 타단의 화소까지 행해진 경우, 전처리부(132)는 그 시점에서, 인물 경계의 후보로 되어 있는 화소를 인물 경계로서 결정(확정)한다.

예를 들면, 도 5에 도시한 얼굴 화상에 대해서는, 도 6에 도시하는 바와 같이, 인물 경계가 결정된다.

전처리부(132)는 인물 경계를 결정하면, 얼굴 화상을 예를 들면 위에서 아래방향(下方向)으로 스캔해서, 인물 경계를 관측하는 것에 의해, 얼굴 스케일과 옷 경계를 추정한다.

여기서, 도 6에 도시하는 바와 같이, 인물 경계는 윗방향(上方向)에서 아래방향으로 관측해 가면, 얼굴 화상에 찍혀 있는 사람의 머리 꼭대기부로부터 폭이 넓어져 가고, 도 6에서 화살표 A로 나타내는 바와 같이, 관자놀이 부근에서 극대값으로 되고, 그 후 목 방향에 걸쳐서 폭이 감소해 간다. 그리고, 목에서 어깨에 걸 쳐서, 인물 경계의 폭은 다시 넓어져 간다.

따라서, 얼굴 화상을, 윗방향에서 아래방향으로 스캔하여, 인물 경계를 관측한 경우, 최초에 발견되는, 인물 경계로 되어 있는 화소의 행으로부터, 2회째의 인물 경계의 폭의 넓어짐의 개시점으로 되고 있는 화소의 행까지의 종방향(縱方向)(수직 방향) 부분(도 6에서 화살표 B로 나타내는 부분)과, 최초에 발견되는 폭의 극대값의 행의, 인물 경계의 좌단으로부터 우단까지의 횡방향(수평 방향)의 부분(도 6에서 화살표 A로 나타내는 부분)에는, 얼굴 화상에 찍혀 있는 사람의 얼굴(안면(顔面))이 존재한다. 또, 예를 들면, 2회째의 인물 경계의 폭의 넓어짐의 개시점으로 되고 있는 화소의 행 이하에는, 사람의 어깨가 찍혀 있다.

그래서, 전처리부(132)는 얼굴 화상을 윗방향에서 아래방으로 스캔하여, 인물 경계를 관측해 나가, 최초에 발견되는, 인물 경계로 되어 있는 화소의 행으로부터, 2회째의 인물 경계의 폭의 넓어짐의 개시점으로 되고 있는 화소의 행까지를, 종방향의 길이(도 6에서 화살표 B로 나타내는 부분)로 함과 동시에, 최초에 발견되는 폭의 극대값의 행의, 인물 경계의 좌단으로부터 우단까지를, 횡방향의 길이(도 6에서 화살표 A로 나타내는 부분)로 하는 직사각형을 검출한다. 그리고, 전처리부(132)는 그 직사각형을 소정수 배(倍)한 직사각형의 영역, 또는 그 직사각형의 가로(橫)와 세로(縱)를 소정 사이즈만큼 넓힌 직사각형의 영역을, 얼굴 화상에 찍혀 있는 사람의 얼굴의 부분을 포함하는 직사각형의 영역인 얼굴 스케일로서 추정한다.

또, 전처리부(132)는 2회째의 인물 경계의 폭의 넓어짐의 개시점으로 되고 있는 화소의 행을, 얼굴 화상에 찍혀 있는 사람의 어깨 아래에 있는 옷과, 그것보다 윗부분과의 경계인 옷 경계로서 추정한다.

여기서, 이하의 처리는 얼굴 화상 중의 얼굴 스케일을 대상으로 하고, 그 얼굴 스케일 중의 옷 경계보다 위에 안면이 있는 것으로 해서 행해진다.

도 4로 되돌아가서, 스텝 S122에서, 상술한 바와 같이 얼굴 스케일과 옷 경계가 추정된 후에는 스텝 S123으로 진행하고, 전처리부(132)는 얼굴 스케일 내의 얼굴 화상을 2진화(2値化: binarized)하며, 그 결과 얻어지는 2진화 화상을 대상으로 해서, 얼굴 스케일에 찍혀 있는 얼굴의 눈과 입의 템플레이트 매칭을 행한다.

즉, 전처리부(132)는 얼굴 스케일 내의 얼굴 화상의, 예를 들면 색상(色相)과 채도(彩度)에 의거해서, 얼굴 스케일 내의 살색 영역의 화소값을 예를 들면 1로 함과 동시에, 그 이외의 색 영역의 화소값을 예를 들면 0으로 하는 2진화 화상을 생성한다.

여기서, 도 7에, 도 6에 도시한 얼굴 화상으로부터 얻어지는 2진화 화상을 도시한다. 도 7의 2진화 화상에서, 흰 부분은 화소값이 1인 살색의 화소이며, 검은 부분은 화소값이 0인, 살색 이외의 색의 화소이다. 얼굴(안면)의 대부분의 부분에서는, 화소값이 살색을 나타내는 1로 되지만, 검정색(黑色)의 눈의 검은 자위(黑目: dark eyes), 불그스름한 색의 입술(唇) 부분에서는, 화소값이 0으로 된다.

전처리부(132)는 2진화 화상의 생성 후, 그 2진화 화상을 대상으로 해서, 얼굴 스케일에 찍혀 있는 얼굴의 눈과 입의 템플레이트 매칭을 행한다.

즉, 전처리부(132)는 정방형(正方形: square) 중에, 눈과 입의 직사각형 영 역이 설치된 템플레이트인 눈입(目口: eye-and-mouth) 템플레이트를 가지고 있다. 즉, 눈입 템플레이트는 도 7에 도시하는 바와 같이, 정방형 형상(狀)으로 화소가 배치된 템플레이트이며, 눈과 입 영역의 화소값이 0이고, 그 밖의 영역의 화소값이 1로 되어 있다. 전처리부(132)는 도 7에 도시하는 바와 같이, 눈입 템플레이트를, 얼굴 스케일 상에 배치하고, 눈입 템플레이트의 각 화소와 얼굴 스케일의 동일 위치의 화소와의 화소값의 차분의 자승합을 계산하는 것을, 눈입 템플레이트를 얼굴 스케일 상에 배치하는 위치와, 눈입 템플레이트의 사이즈를 바꾸면서 행하는 템플레이트 매칭을 행한다.

그리고, 전처리부(132)는 템플레이트 매칭의 결과, 얼굴 스케일에 가장 매치(match)하는 눈입 템플레이트의 위치와 사이즈, 즉 자승합을 최소로 하는 눈입 템플레이트의 위치와 사이즈를 검출한다. 또한, 눈입 템플레이트를 이용한 템플레이트 매칭에서, 눈입 템플레이트의 사이즈는 횡방향과 종방향의 길이를 독립적으로 바꾸어도 좋고, 원래의 정방형과 상사형(相似形)으로 되도록 바꾸어도 좋다. 여기서는, 처리를 간단하게 하기 위해서, 눈입 템플레이트의 사이즈를, 원래의 정방형과 상사형으로 되도록 바꾸기로 한다.

여기서, 위치와 사이즈가 얼굴 스케일에 가장 매치한 상태의 눈입 템플레이트를, 매치 눈입 템플레이트라고 한다.

또, 눈입 템플레이트에는, 얼굴의 중심(中心) 위치로 해야 할 위치의 정보(이하, 적당히 중심 정보라고 한다)가 포함되어 있다. 얼굴의 중심 위치로 해야 할 위치로서는, 예를 들면 눈입 템플레이트의 형상인 정방형의 중심 위치 등을 채용할 수가 있다.

다시 도 4로 되돌아가서, 전처리부(132)는 스텝 S123에서, 매치 눈입 템플레이트가 얻어지면, 스텝 S124로 진행하고, 전처리부(132)는 매치 눈입 템플레이트에 의거해서, 얼굴 화상(스텝 S122에서 축소된 얼굴 화상)을 축소(또는 확대)하고, 스텝 S125로 진행한다.

즉, 전처리부(132)는 매치 눈입 템플레이트의 사이즈로부터, 얼굴 화상에 찍혀 있는 얼굴의 사이즈를 추정하고, 그 얼굴의 사이즈가 3차원 모델의 생성이나 CG 애니메이션의 생성에 적합한 사이즈로서 미리 정해진 사이즈를 중심으로 하는 소정 범위 내의 사이즈로 되도록, 얼굴 화상을 축소한다.

스텝 S125에서는, 전처리부(132)는 스텝 S124에서 축소한 후의 얼굴 화상으로부터, 얼굴의 중심 위치를 중심(中心)(무게중심(重心))으로 하는 직사각형의 영역, 즉 예를 들면, 가로×세로가 512×512 화소인 정방형 형상의 영역을 잘라낸다. 또한, 얼굴의 중심 위치는 매치 눈입 템플레이트에 포함되는 중심 정보로부터 인식된다.

여기서, 스텝 S125에서, 전처리부(132)가 스텝 S124에서 축소한 후의 얼굴 화상으로부터, 상술한 바와 같은 512×512 화소의 정방형 형상의 영역을 잘라내는 경우에는, 스텝 S124에서는, 그 512×512 화소의 정방형 형상의 영역에, 적절한 사이즈로 얼굴이 포함되도록, 얼굴 화상이 축소된다.

스텝 S125에서 얼굴 화상으로부터 잘라내어지는 영역의 화상(이것도, 얼굴 화상이라고 한다)에는, 적절한 사이즈로 얼굴이 찍혀 있고, 그와 같은 얼굴 화상이 얻어진 후에는, 스텝 S125에서 S126으로 진행하고, 전처리부(132)는 스텝 S125에서 얻어진 얼굴 화상의 색 보정을 행하고, 스텝 S127로 진행한다.

즉, 얼굴 화상의 배경이, 예를 들면 상술한 바와 같이 회색 1색인 경우에는, 전처리부(132)는 얼굴 화상 중, 스텝 S122에서 얻어진 인물 경계의 외측, 다시말해 배경을 구성하는 화소의 화소값으로서의 RGB의 값을 샘플링 하고, 그 샘플링한 RGB의 값을 이용해서 미리 준비된 회색의 RGB의 값으로부터의 편차(偏差: deviation)와, 얼굴 화상의 배경의 화소의 RGB의 값과의 관계를 근사(近似)하는 1차 함수를 R, G, B 각각에 대해서 구한다. 그리고, 전처리부(132)는 그 일차 함수에 의거해서, 스텝 S125에서 얻어진 화상의 전체의 색 보정을 행한다.

스텝 S127에서는, 전처리부(132)는 색 보정 후의 화상의 휘도값(輝度値)(휘도 레벨)을 보정한다.

즉, 전처리부(132)는 색 보정 후의 화상의 전체를 대상으로, 휘도값의 최소값과 최대값을 검출한다. 지금, 휘도값이 예를 들면 8비트로 나타내어지는 것으로 하면, 전처리부(132)는 색 보정 후의 화상에서의 휘도값의 최소값이 0으로 되고, 최대값이 255(=2⁸-1)로 되도록, 색 보정 후의 화상의 모든 화소값에 1차 변환을 행하고, 이것에 의해, 색 보정 후의 화상의 휘도값을 보정한다.

그리고, 스텝 S127에서 S128로 진행하고, 전처리부(132)는 휘도값의 보정 후의 화상을 정규화 얼굴 화상으로서, 정규화 얼굴 화상 기억부(133)(도 2)에 공급(출력)하여 기억시키고, 전처리를 종료한다. 또한, 전처리부(132)는 정규화 얼굴 화상에, 인물 경계나 옷 경계, 눈입 템플레이트로부터 얻어지는 얼굴의 중심 위치 등의 정보도 적당히 포함시켜서, 정규화 얼굴 화상 기억부(133)에 공급하여 기억시킨다.

여기서, 도 8에는, 도 5에 도시한 얼굴 화상을 대상으로 해서 전처리를 행하는 것에 의해 얻어지는 정규화 얼굴 화상을 도시하고 있다.

도 4의 스텝 S125에서, 상술한 바와 같이 가로×세로가 512×512 화소인 정방형 형상의 영역이 잘라내어지는 경우에는, 정규화 얼굴 화상은 그와 같은 512×512 화소의 화상으로 된다.

이상과 같이, 정규화 얼굴 화상 기억부(133)에 정규화 얼굴 화상이 기억되면, 도 3(의 스텝 S103)에서 설명한 바와 같이, 통상 특징점 추출부(134)는 정규화 얼굴 화상 기억부(133)에 기억된 정규화 얼굴 화상으로부터, 예를 들면 AAM에 의해서 통상 특징점을 추출하고, 또 그 통상 특징점으로부터, 정규화 얼굴 화상에 찍혀 있는 눈과 입 각각의 눈 영역과 입 영역을 구한다. 그리고, 통상 특징점 추출부(134)는 통상 특징점과 눈 영역 및 입 영역(의 정보)을 상세 특징점 추출부(135)에 공급한다.

여기서, 도 9에, 통상 특징점 추출부(134)에서, 도 8에 도시한 정규화 얼굴 화상으로부터 얻어지는 통상 특징점과 눈 영역 및 입 영역을 도시한다. 또, 도 10에, 통상 특징점 추출부(134)에서, 다른 정규화 얼굴 화상으로부터 얻어지는 통상 특징점과 눈 영역 및 입 영역을 도시한다.

AAM에 의하면, 도 9나 도 10에 ○표(印)로 나타내는 바와 같이, 정규화 얼굴 화상에 찍혀 있는 얼굴의 눈이나 입 얼굴의 윤곽 등에서의 특징적인 점으로서의 특징점(통상 특징점)이, 대략적으로(대역적으로) 얻어진다. 통상 특징점 추출부(134)는 정규화 얼굴 화상으로부터 얻어진 특징점에 의거해서, 눈이 위치하는 직사각형의 영역인 눈 영역과, 입이 위치하는 직사각형의 영역인 입 영역을 구하고, 통상 특징점과 함께 상세 특징점 추출부(135)에 공급한다.

또한, 통상 특징점은 정규화 얼굴 화상에 찍혀 있는 얼굴의 눈이나 입, 얼굴의 윤곽 등에 대한, 대략적인 특징적인 점이며, 따라서 그와 같은 통상 특징점으로부터 구해지는 눈 영역이나 입 영역도, 눈이나 입의 대략적인 위치를 나타내는 영역이다.

다음에, 도 11은 도 2의 상세 특징점 추출부(135)의 구성예를 도시하는 블록도이다.

템플레이트 기억부(201)는 눈, 입, 턱(얼굴의 윤곽)의 템플레이트를 기억하고 있으며, 눈의 템플레이트(눈 템플레이트)를 눈 특징점 검출부(202)에, 입의 템플레이트(입 템플레이트)를 입 특징점 검출부(203)에, 턱의 템플레이트(턱 템플레이트)를 턱 특징점 검출부(204)에 각각 공급한다.

눈 특징점 검출부(202)에는, 템플레이트 기억부(201)로부터 눈 템플레이트가 공급되는 것 이외에, 정규화 얼굴 화상 기억부(133)(도 2)로부터, 그곳에 기억된 정규화 얼굴 화상이 공급됨과 동시에, 통상 특징점 추출부(134)로부터, 통상 특징점과 눈 영역 및 입 영역의 정보(이하, 적당히 모두(全)를 통합해서 영역 정보라고 한다)가 공급되도록 되어 있다.

눈 특징점 검출부(202)는 정규화 얼굴 화상 기억부(133)로부터의 정규화 얼굴 화상, 통상 특징점 추출부(134)로부터의 영역 정보 및 템플레이트 기억부(201)로부터의 눈 템플레이트에 의거해서, 정규화 얼굴 화상의 눈에 대해서 상세 특징점을 검출(추출)하여, 턱 특징점 검출부(204)에 공급함과 동시에, 얼굴 모델 생성부(136)(도 2)에 공급한다.

입 특징점 검출부(203)에는, 템플레이트 기억부(201)로부터 입 템플레이트가 공급되는 것 이외에, 정규화 얼굴 화상 기억부(133)(도 2)로부터, 그곳에 기억된 정규화 얼굴 화상이 공급됨과 동시에, 통상 특징점 추출부(134)로부터 영역 정보가 공급되도록 되어 있다.

입 특징점 검출부(203)는 정규화 얼굴 화상 기억부(133)로부터의 정규화 얼굴 화상, 통상 특징점 추출부(134)로부터의 영역 정보 및 템플레이트 기억부(201)로부터의 입 템플레이트에 의거해서, 정규화 얼굴 화상의 입에 대해서 상세 특징점을 검출(추출)하여, 턱 특징점 검출부(204)에 공급함과 동시에, 얼굴 모델 생성부(136)(도 2)에 공급한다.

턱 특징점 검출부(204)에는, 템플레이트 기억부(201)로부터 턱 템플레이트가 공급됨과 동시에, 눈 특징점 검출부(202)와 입 특징점 검출부(203)로부터 각각 눈과 입의 상세 특징점이 공급되는 것 이외에, 정규화 얼굴 화상 기억부(133)(도 2)로부터, 그곳에 기억된 정규화 얼굴 화상이 공급된다.

턱 특징점 검출부(204)는 정규화 얼굴 화상 기억부(133)로부터의 정규화 얼굴 화상 및 템플레이트 기억부(201)로부터의 턱 템플레이트, 또 눈 특징점 검출부 (202)로부터의 눈의 상세 특징점 및 입 특징점 검출부(203)로부터의 입의 상세 특징점에 의거해서, 정규화 얼굴 화상의 얼굴의 윤곽, 특히 턱(아래턱)에 대해서 상세 특징점을 검출(추출)하여, 얼굴 모델 생성부(136)(도 2)에 공급한다.

다음에, 도 12에는, 도 11의 템플레이트 기억부(201)에 기억되어 있는 눈의 템플레이트의 예를 도시하고 있다.

눈 템플레이트는 외측으로부터 순서(順)대로, 눈꺼풀과 눈구멍과의 표준적인 경계(이하, 적당히 눈의 외측 윤곽이라고도 한다) 상의 점, 눈구멍에서 노출되어 있는 안구 부분의 표준적인 윤곽(이하, 적당히 눈의 내측 윤곽이라고도 한다) 상의 점 및, 눈동자(瞳: pupil)의 중심의 점으로 구성된다.

여기서, 눈 템플레이트를 구성하는 점을, 이하에서 적당히 제어점이라고도 한다. 도 12에서는, 제어점을 □표로 나타내고 있다.

눈 템플레이트에서, 눈의 외측 윤곽 상의 제어점은 눈꺼풀과 눈구멍과의 경계(선)를 정밀도 좋게 재현할 수 있을 정도의 수(다수)만큼 설치되어 있으며, 도 12에서는 30개의 제어점이 설치되어 있다.

또, 눈 템플레이트에서, 눈의 내측 윤곽 상의 제어점도 눈구멍에서 노출되어 있는 안구 부분의 윤곽(선)을 정밀도 좋게 재현할 수 있을 정도의 수(다수)만큼 설치되어 있으며, 도 12에서는 20개의 제어점이 설치되어 있다.

또, 눈 템플레이트에서, 눈동자의 중심의 제어점은 실제의 눈동자의 중심에 상당하는 위치에 1점만 설치되어 있다.

또한, 눈 템플레이트의 제어점의 수는 상술한 수에 한정되는 것은 아니며, 특히 눈의 내측 윤곽 상의 제어점은 눈구멍에서 노출되어 있는 안구 부분의 윤곽을 정밀도 좋게 재현할 수 있을 정도의 수이면 좋고, 눈의 외측 윤곽 상의 제어점도 눈꺼풀과 눈구멍과의 경계를 정밀도 좋게 재현할 수 있을 정도의 수이면 좋다.

또, 도 12에 도시한 눈 템플레이트는 (정규화 얼굴 화상에 찍혀 있는 사람의) 오른쪽 눈의 눈 템플레이트이다. 템플레이트 기억부(201)에는, 오른쪽 눈의 눈 템플레이트와 마찬가지의 왼쪽 눈의 눈 템플레이트도 기억되어 있다.

또, 템플레이트 기억부(201)에는, 도 12에 도시한 눈 템플레이트와 마찬가지의 입 템플레이트 및 턱 템플레이트도 기억되어 있다.

여기서, 입 템플레이트는 예를 들면 윗입술과 아랫입술과의 표준적인 경계(선)로서의 선분(線分) 상에 제어점이 늘어선 것이며, 그 제어점으로서는, 윗입술과 아랫입술과의 경계를 정밀도 좋게 재현할 수 있을 정도의 수(다수)가 설치되어 있다. 또, 턱 템플레이트는 예를 들면 얼굴의 표준적인 윤곽으로서의 타원(의 원주(圓周)) 상에 제어점이 늘어선 것이며, 그 타원의 턱(아랫턱(下顎))에 상당하는 부분에는, 턱(아랫턱의 윤곽)을 정밀도 좋게 재현할 수 있을 정도의 다수의 제어점이 설치되어 있다.

다음에, 도 13의 플로차트를 참조해서, 도 11의 눈 특징점 검출부(202)의 처리에 대해서 설명한다.

눈 특징점 검출부(202)는 우선 스텝 S201에서, 정규화 얼굴 화상 기억부(133)로부터의 정규화 얼굴 화상(도 2)과, 통상 특징점 추출부(134)로부터의 영역 정보 중의 눈 영역의 정보에 의거해서, 템플레이트 기억부(201)로부터의 눈 템플레 이트의 사이즈와 위치의 초기값을 결정한다.

즉, 눈 특징점 검출부(202)는 예를 들면 정규화 얼굴 화상의, 눈 영역의 정보가 나타내어지는 직사각형의 영역에, 눈 템플레이트가 내접(內接)하도록, 눈 템플레이트를 (그 형상을 유지한 채로) 확대 또는 축소하고, 정규화 얼굴 화상 상(上)에 배치한다. 스텝 S201에서 정규화 얼굴 화상 상에 배치된 눈 템플레이트의 사이즈와 위치가 각각의 초기값이다. 여기서, 눈 템플레이트의 사이즈와 위치의 초기값을 각각, 초기 사이즈와 초기 위치라고 한다.

스텝 S201에서 S202로 진행하고, 눈 특징점 검출부(202)는 눈 템플레이트의 사이즈와 위치를 각각, 초기 사이즈와 초기 위치로부터 서서히 변화시켜, 정규화 얼굴 화상에 표시되어 있는(찍혀 있는) 얼굴에 적응(피트(fit))시키는 위치/사이즈 피트 처리를 행한다.

즉, 스텝 S202의 위치/사이즈 피트 처리에서는, 눈 특징점 검출부(202)는 눈 템플레이트의 형상을 유지한 채로, 그 사이즈와 위치를 변화시켜, 각 사이즈와 각 위치에 대해서 눈 템플레이트가 정규화 얼굴 화상에 찍혀 있는 얼굴의 눈에 피트하고 있는 정도를 평가하는 평가 함수를 연산한다.

여기서, 눈 특징점 검출부(202)는 눈 템플레이트를 확대 또는 축소하는 것에 의해, 그 사이즈를, 형상을 유지한 채로 변화시킨다. 또, 눈 특징점 검출부(202)는 눈 템플레이트의 전체(의 제어점)를 평행 이동하는 것에 의해,그 위치를, 형상을 유지한 채로 변화시킨다. 또한, 눈 특징점 검출부(202)에서는, 눈 템플레이트의 평행 이동 이외에, 예를 들면 눈동자의 중심의 제어점을 중심으로 하는 회전에 의해 서, 눈 템플레이트의 위치를 변화시키는 것도 가능하다.

눈 특징점 검출부(202)는 평가 함수가, 가장 피트하고 있는 것을 나타내고 있는 값으로 될 때, 다시말해 평가 함수가 예를 들면 최대값 또는 최소값으로 될 때의 눈 템플레이트의 사이즈와 위치를 구한다.

또한, 평가 함수가 최대값 또는 최소값의 어느것(one)으로 되었을 때가, 가장 피트하고 있는 것을 나타내는지는, 어떠한 평가 함수를 채용하는지에 따라서 다르다.

또, 어떤 위치 p와 사이즈 s에 대한 평가 함수 f(p, s)로서는, 예를 들면 다음 식 등을 채용할 수가 있다.

f(p, s)=(-A₁+A₂)+(B₁-B₂)

　　　　　　　　　　　　　　　　　…(1)

여기서, 식 (1)에서, A₁은 눈동자의 중심의 제어점을 중심으로 하는 반경 R₀의 범위(예를 들면, 눈의 검은 자위의 일부 영역에 상당하는 범위)의 정규화 얼굴 화상으로부터 샘플링한 N₀개의 화소의 화소값의 총합(總和: sum)을 나타내고, A₂는 눈동자의 중심의 제어점으로부터 좌우로 거리 L₁만큼 떨어진 위치를 각각 중심으로 하는 반경 R₁의 범위(예를 들면, 눈의 흰 자위(白目)의 일부 영역에 상당하는 범위)의 정규화 얼굴 화상으로부터 샘플링한 N₁개의 화소의 화소값의 총합을 나타낸다. 또, B₁은 눈의 외측 윤곽 상의 상반분(上半分: upper half)의 제어점의 각각을 중심 으로 하는 반경 R₂의 범위(예를 들면, 눈꺼풀의 일부 영역에 상당하는 범위)의 정규화 얼굴 화상으로부터 샘플링한 N₂개의 화소의 화소값의 총합을 나타내고, B₂는 눈의 내측 윤곽 상의 상반분의 제어점의 각각을 중심으로 하는 반경 R₃의 범위(예를 들면, 동공(瞳孔)에서 노출되어 있는 안구의 윤곽 부근의 일부 영역에 상당하는 범위)의 정규화 얼굴 화상으로부터 샘플링한 N₃개의 화소의 화소값의 총합을 나타낸다.

따라서, 식 (1)의 f(p, s)=(-A₁+A₂)+(B₁-B₂)에서, 부(負)의 부호가 붙어 있는 A₁과 B₂는 어두운(화소값이 작은) 것이 기대되는 화소의 총합이며, 정(正)의 부호가 붙어 있는 A₂와 B₁은 밝은(화소값이 큰) 것이 기대되는 화소값의 총합이기 때문에, 평가 함수 f(p, s)가 최대값으로 될 때, 눈 템플레이트의 위치 p와 사이즈 s가 정규화 얼굴 화상에 찍혀 있는 얼굴의 눈에 가장 피트하고 있게 된다.

또한, 평가 함수 f(p, s)를 계산하는데 필요로 되는 A₁ 및 A₂를 구하는데 있어서는, 눈동자의 중심의 제어점을 중심으로 하는 반경 R₀의 범위의 정규화 얼굴 화상으로부터 샘플링하는 화소의 수인 N₀개(個)와, 눈동자의 중심의 제어점으로부터 좌우로 거리 L₁만큼 떨어진 위치를 각각 중심으로 하는 반경 R₁의 범위의 정규화 얼굴 화상으로부터 샘플링하는 화소의 수인 N₁개는 동일한 수이어도 좋고, 다른 수이 라도 좋다. 또, 눈동자의 중심의 제어점을 중심으로 하는 반경 R₀의 범위의 정규화 얼굴 화상의 화소 모두와, 눈동자의 중심의 제어점으로부터 좌우로 거리 L₁만큼 떨어진 위치를 각각 중심으로 하는 반경 R₁의 범위의 정규화 얼굴 화상의 화소 모두를 샘플링해도 좋다.

마찬가지로, 평가 함수 f(p, s)를 계산하는데 필요로 되는 B₁ 및 B₂를 구하는데 있어서는, 눈의 외측 윤곽 상의 상반분의 제어점의 각각을 중심으로 하는 반경 R₂의 범위의 정규화 얼굴 화상으로부터 샘플링하는 화소의 수인 N₂개와, 눈의 내측 윤곽 상의 상반분의 제어점의 각각을 중심으로 하는 반경 R₂의 범위의 정규화 얼굴 화상으로부터 샘플링하는 화소의 수인 N₃개도 동일한 수이어도 좋고, 다른 수이어도 좋다. 또, 눈의 외측 윤곽 상의 상반분의 제어점의 각각을 중심으로 하는 반경 R₂의 범위의 정규화 얼굴 화상의 화소 모두와, 눈의 내측 윤곽 상의 상반분의 제어점의 각각을 중심으로 하는 반경 R₃의 범위의 정규화 얼굴 화상의 화소 모두를 샘플링해도 좋다.

또, 평가 함수 f(p, s)를 계산함에 있어서, 정규화 얼굴 화상으로부터의 화소의 샘플링은 어떤 규칙(예를 들면, 1화소 간격으로 샘플링하는 등의 규칙)에 따라서 행해도 좋고, 랜덤하게 행해도 좋다.

또, 정규화 얼굴 화상 마다의 휘도값이나 콘트라스트의 다름(違: differences)의 영향을 저감하기 위해서, 예를 들면 식 f(p, s)=(-A₁+A₂)+(B₁-B₂)로 나타내어지는 평가 함수 f(p, s)에 대해서는, 어두운 것이 기대되는 화소의 화소값은 부의 부호가 붙어 있는 A₁이나 B₂를 구하는 총합의 대상으로 하고, 밝은 것이 기대되는 화소의 화소값은 정의 부호가 붙어 있는 A₂나 B₁을 구하는 총합의 대상으로 할 수가 있다.

즉, 예를 들면 상술한 경우에 있어서는, 정의 부호가 붙어 있는 B₁을, 눈의 외측 윤곽 상의 상반분의 제어점의 각각을 중심으로 하는 반경 R₂의 범위의 정규화 얼굴 화상으로부터 샘플링한 N₂개의 화소의 화소값의 총합으로 했지만, 눈의 외측 윤곽 상의 상반분의 제어점 중, 예를 들면 어두운 것이 기대되는 눈꼬리(目尻: eye corner) 부근의 제어점을 중심으로 하는 반경 R₂의 범위의 정규화 얼굴 화상으로부터 샘플링한 화소의 화소값은, 정의 부호가 붙어 있는 B₁이 아니라, 부의 부호가 붙어 있는 B₂를 구하는 총합의 대상으로 할 수가 있다.

또, 상술한 경우에는, 평가 함수가 최대값 또는 최소값으로 되었을 때의 눈 템플레이트의 사이즈와 위치를, 정규화 얼굴 화상에 가장 피트하고 있는 사이즈와 위치로서 구하는 것으로 했지만, 그 밖에 예를 들면 평가 함수가 소정의 임계값 이하 또는 이상으로 되었을 때의 눈 템플레이트의 사이즈와 위치를, 정규화 얼굴 화상에 가장 피트하고 있는 사이즈와 위치로서 구할 수가 있다. 또, 예를 들면, 전회 (前回)의 평가 함수에 대한 이번(今回)의 평가 함수의 변화분(變化分)이, 소정의 임계값 이하 또는 이상으로 되었을 때의 눈 템플레이트의 사이즈와 위치를, 정규화 얼굴 화상에 가장 피트하고 있는 사이즈와 위치로서 구할 수도 있다.

스텝 S202의 처리 후에는 스텝 S203으로 진행하고, 눈 특징점 검출부(202)는 스텝 S202에서 구해진 위치와 사이즈의 눈 템플레이트를 기준으 해서, 그 눈 템플레이트의 형상을 변형하고, 눈 템플레이트의 형상을, 정규화 얼굴 화상에 찍혀 있는 얼굴의 눈에 적응(피트)시키는 형상 피트 처리를 행한다.

즉, 눈 특징점 검출부(202)는 스텝 S202에서는, 눈 템플레이트의 위치와 사이즈를 변화시켜, 눈 템플레이트를 정규화 얼굴 화상에 찍혀 있는 얼굴의 눈에 피트시켰지만, 스텝 S203에서는, 눈 템플레이트의 형상을 변화시켜, 눈 템플레이트를 정규화 얼굴 화상에 찍혀 있는 얼굴의 눈에 더욱더 피트시키는 형상 피트 처리를 행한다.

구체적으로는, 예를 들면 눈 특징점 검출부(202)는 제1 형상 피트 처리로서, 눈 템플레이트의 외측 윤곽 상의 제어점 중, 눈꼬리 부분에 상당하는 복수의 제어점의 위치를 위(上), 아래(下), 왼쪽(左), 또는 오른쪽(右)으로 이동시키고, 그 복수의 제어점을 연결한 선을, 정규화 얼굴 화상의 눈꼬리의 윤곽(눈꺼풀과 눈구멍과의 경계의 눈꼬리 측)에 (가능한 한) 일치시킨다.

또, 눈 특징점 검출부(202)는 제2 형상 피트 처리로서, 눈 템플레이트의 외측 윤곽 상의 제어점 중, 상측(上側)의 복수의 제어점의 위치를 위 또는 아래로 이동시키고, 그 복수의 제어점을 연결한 선을, 정규화 얼굴 화상의 눈꺼풀과 눈구멍 과의 경계의 상측에 (가능한 한) 일치시킴과 동시에, 눈 템플레이트의 외측 윤곽 상의 제어점 중, 하측(下側)의 복수의 제어점의 위치를 위 또는 아래로 이동시키고, 그 복수의 제어점을 연결한 선을, 눈꺼풀과 눈구멍과의 경계의 하측으로 (가능한 한) 일치시킨다.

또, 눈 특징점 검출부(202)는 제3 형상 피트 처리로서, 눈 템플레이트의 외측 윤곽 상의 제어점 중, 코에 가까운 측의 복수의 제어점의 위치를 위, 아래, 왼쪽 또는 오른쪽으로 이동시키고, 그 복수의 제어점을 연결한 선을, 정규화 얼굴 화상의 눈꺼풀과 눈구멍과의 경계의, 코에 가까운 측에 (가능한 한) 일치시킨다.

또, 눈 특징점 검출부(202)는 제4 형상 피트 처리로서, 눈 템플레이트의 내측 윤곽 상의 제어점 중의 눈꼬리 측의 복수의 제어점의 위치를 위, 아래, 왼쪽 또는 오른쪽으로 이동시키고, 그 복수의 제어점을 연결한 선을, 정규화 얼굴 화상의 눈구멍에서 노출되어 있는 안구의 눈꼬리 측의 흰 자위의 윤곽에 (가능한 한) 일치시킴과 동시에, 눈 템플레이트의 내측 윤곽 상의 제어점 중의 코에 가까운 측의 복수의 제어점의 위치를 위, 아래, 왼쪽 또는 오른쪽으로 이동시키고, 그 복수의 제어점을 연결한 선을, 정규화 얼굴 화상의 눈구멍에서 노출되어 있는 안구의 흰 자위의 코에 가까운 측의 윤곽에 (가능한 한) 일치시킨다.

또, 눈 특징점 검출부(202)는 제5 형상 피트 처리로서, 눈 템플레이트의 내측 윤곽 상의 제어점 중의 상측의 복수의 제어점의 위치를 위 또는 아래로 이동시키고, 그 복수의 제어점을 연결한 선을, 정규화 얼굴 화상의 눈구멍에서 노출되어 있는 안구의 상측 윤곽에 (가능한 한) 일치시킴과 동시에, 눈 템플레이트의 내측 윤곽 상의 제어점 중의 하측의 복수의 제어점의 위치를 위 또는 아래로 이동시키고, 그 복수의 제어점을 연결한 선을, 정규화 얼굴 화상의 눈구멍에서 노출되어 있는 안구의 하측의 윤곽에 (가능한 한) 일치시킨다.

제1∼제5 피트 처리는 스텝 S202의 위치/사이즈 피트 처리와 마찬가지로, 제어점을 이동시킨 각 위치에 대해서, 눈 템플레이트가 정규화 얼굴 화상에 찍혀 있는 얼굴의 눈에 피트하고 있는 정도를 평가하는 평가 함수를 연산하고, 그 평가 함수가 가장 피트하고 있는 것을 나타내고 있는 값으로 될 때를 검출하는 것에 의해서 행해진다.

또한, 제1∼제5 형상 피트 처리 각각에서 연산하는 평가 함수로서는, 동일한 함수를 채용할 수도 있고, 다른 함수를 채용할 수도 있다. 또, 예를 들면 제2 형상 피트 처리 등에서는, 눈 템플레이트의 외측 윤곽 상의 제어점 중, 상측의 복수의 제어점과 눈 템플레이트의 외측 윤곽 상의 제어점 중, 하측의 복수의 제어점을 이동시키지만, 이 상측의 복수의 제어점을 이동시키는 경우와 하측의 복수의 제어점을 이동시키는 경우에서도, 평가 함수로서 다른 함수를 채용할 수가 있다. 이동 대상의 제어점(의 세트)이 다를 때 마다, 적절한 함수를 평가 함수로서 채용하는 것에 의해, 눈 템플레이트의 형상을 정규화 얼굴 화상에 보다 고정밀도로 피트시킬 수가 있다.

또, 평가 함수의 연산에는, 이동 대상의 복수의 제어점의 일부 또는 모두를 이용해도 좋고, 나아가서는, 이동 대상으로 되어 있지 않은 제어점을 이용해도 좋다. 즉, 예를 들면, 제1 형상 피트 처리로서, 눈 템플레이트의 외측 윤곽 상의 제 어점 중, 눈꼬리의 부분에 상당하는 복수의 제어점을 이동시키는 경우에는, 그 이동 대상의, 눈꼬리의 부분에 상당하는 복수의 제어점의 일부 또는 모든 위치 부근의 정규화 얼굴 화상의 화소를 샘플링하여, 평가 함수를 연산해도 좋고, 또 눈 템플레이트의, 눈꼬리의 부분에 상당하는 복수의 제어점 이외의 제어점의 위치 부근의 정규화 얼굴 화상의 화소도 샘플링하여, 평가 함수를 연산해도 좋다.

스텝 S203의 형상 피트 처리가 종료하면, 위치, 사이즈 및 형상이 정규화 얼굴 화상(의 눈)에 피트(적응)한 눈 템플레이트(이하, 적당히 적응 눈 템플레이트라고도 한다)가 얻어진다. 눈 특징점 검출부(202)는 적응 눈 템플레이트로부터, 정규화 얼굴 화상의 눈의 특징점을 구하여, 상세 특징점으로서 턱 특징점 검출부(204)(도 11)에 공급함과 동시에, 얼굴 모델 생성부(136)(도 2)에 공급하고, 처리를 종료한다.

여기서, 눈 특징점 검출부(202)에서는, 예를 들면 적응 눈 템플레이트의 제어점 중의 일부 또는 모두를, 정규화 얼굴 화상의 눈의 상세 특징점으로서 구할 수가 있다. 또, 눈 특징점 검출부(202)에서는, 예를 들면 적응 눈 템플레이트의 제어점을 연결한 선 상의 점을 샘플링하고, 그 샘플링된 점을, 정규화 얼굴 화상의 눈의 상세 특징점으로서 구할 수가 있다.

이상과 같이, 눈 특징점 검출부(202)에서는, 눈 템플레이트의 위치와 사이즈를, 정규화 얼굴 화상의 얼굴(정규화 얼굴 화상에 찍혀 있는 얼굴)의 눈에 피트시키고, 위치와 사이즈가 피트한 눈 템플레이트를 기준으로 해서, 그 형상을, 정규화 얼굴 화상의 얼굴의 눈에 피트시키도록 했으므로, 정규화 얼굴 화상의 한정된 범위 를 대상으로 처리를 행하는 것만으로, 다수의 상세 특징점을 얻을 수가 있다. 즉, 다수의 정밀도가 높은 특징점을 용이하게 얻을 수가 있다.

또한, 눈 특징점 검출부(202)에서는 스텝 S203에서, 눈 템플레이트의 형상을 정규화 얼굴 화상에 피트시킨 후, 도 13에서 점선으로 나타내는 바와 같이, 스텝 S202로 되돌아가고, 형상이 피트한 눈 템플레이트를 기준으로 해서, 그 눈 템플레이트의 위치와 사이즈를 정규화 얼굴 화상에 피트시키고, 이하 마찬가지로 해서, 스텝 S202 및 S203의 처리를 1회 이상 반복하도록 할 수가 있다. 이 경우, 보다 정밀도가 높은 특징점을 얻을 수가 있다.

다음에, 도 14에는, 도 13의 스텝 S202의 위치/사이즈 피트 처리에 의해서 얻어지는, 위치와 사이즈가 정규화 얼굴 화상에 피트한 눈 템플레이트를 도시하고 있다.

즉, 도 14의 좌측에는, 어떤 정규화 얼굴 화상을 대상으로 위치/사이즈 피트 처리가 행해지는 것에 의해서 얻어지는, 위치와 사이즈가 정규화 얼굴 화상에 피트한 눈 템플레이트를 도시하고 있고, 도 14의 우측에는, 다른 정규화 얼굴 화상을 대상으로 위치/사이즈 피트 처리가 행해지는 것에 의해서 얻어지는, 위치와 사이즈가 정규화 얼굴 화상에 피트한 눈 템플레이트를 도시하고 있다.

도 14의 좌측과 우측의 어느것에서도, 눈 템플레이트의 위치 및 사이즈는 정규화 얼굴 화상의 눈에 피트(매치)하고 있다. 즉, 눈 템플레이트의 위치와 사이즈는 각각, 정규화 얼굴 화상의 눈의 위치와 사이즈에 (거의) 일치하고 있다.

단, 도 14의 좌측에서는, 눈 템플레이트의 형상이, 정규화 얼굴 화상의 눈에 비교적 피트하고 있는데 대해, 도 14의 우측에서는, 눈 템플레이트의 형상이, 정규화 얼굴 화상의 눈에 그다지 피트하고 있지 않다.

그래서, 도 15에는, 위치와 사이즈가 정규화 얼굴 화상에 피트한 눈 템플레이트를 기준으로 해서, 도 13의 스텝 S203의 형상 피트 처리를 행하는 것에 의해서 얻어지는, 위치, 사이즈 및 형상이 정규화 얼굴 화상에 피트한 눈 템플레이트를 도시하고 있다.

즉, 도 15의 좌측에는, 도 14의 좌측의 눈 템플레이트를 기준으로 해서, 형상 피트 처리를 행하는 것에 의해서 얻어지는 눈 템플레이트를 도시하고 있고, 도 15의 우측에는, 도 14의 우측의 눈 템플레이트를 기준으로 해서, 형상 피트 처리를 행하는 것에 의해서 얻어지는 눈 템플레이트를 도시하고 있다.

도 15의 좌측과 우측의 어느것에서도, 눈 템플레이트의 위치, 사이즈, 형상은 정규화 얼굴 화상의 눈에 피트하고 있다. 즉, 눈 템플레이트의 위치, 사이즈, 형상은 어느것이나, 정규화 얼굴 화상의 눈의 위치, 사이즈, 형상에 (거의) 일치하고 있다.

그런데, 눈 특징점 검출부(202)(도 11)에서는, 스텝 S203(도 13)에서, 눈 템플레이트의 형상을 변화시켜, 눈 템플레이트의 형상을, 정규화 얼굴 화상의 얼굴의 눈에 피트시키는 형상 피트 처리를 행하지만, 눈 템플레이트의 형상을 변화시키는 방법으로서는, 예를 들면 눈 템플레이트를 구성하는 복수의 제어점의 각각을 독립적으로 이동시키는 방법이 있다.

예를 들면, 지금, 정규화 얼굴 화상 상에, 왼쪽에서 오른쪽 방향을 x축(軸) 으로 함과 동시에, 아래에서 위 방향을 y축으로 하는 xy 좌표계를 상정(想定)하고, 제어점의 이동을, 그 이동 후의 제어점의 위치를 나타내는 xy 좌표계 상의 좌표(x, y)를 부여하는 것에 의해서 행하는 것으로 하면, 눈 템플레이트를 구성하는 복수의 제어점 각각의 좌표(x, y)의 모두에 의해서, 눈 템플레이트의 형상이 규정된다. 따라서, 이 경우, 눈 템플레이트의 형상을 규정하는 파라미터는 눈 템플레이트를 구성하는 복수의 제어점 각각의 좌표(x, y)의 모두이며, 그 파라미터의 수는 눈 템플레이트를 구성하는 제어점의 수의 2배 (x좌표와 y좌표)이다.

눈 템플레이트를 구성하는 복수의 제어점의 각각을, 독립적으로 이동시키는 경우에는, 그 복수의 제어점 각각의 좌표(x, y)를 독립적으로 부여할 필요가 있다.

그러나, 눈 템플레이트는 (입 템플레이트나 턱 템플레이트도 마찬가지), 상술한 바와 같이, 어느 정도의 수의 제어점으로 구성되기 때문에, 그와 같은 수의 제어점 모두의 좌표(x, y)를 독립적으로 부여하는 것은 귀찮고, 또 복수의 제어점 각각의 좌표(x, y)를 독립적으로 부여하면, 그 좌표(x, y)의 조합(組合)의 수는 팽대(膨大)하기 때문에, 정규화 얼굴 화상의 얼굴의 눈에 피트하는 형상의 눈 템플레이트가 얻어지기 까지, 방대한 시간을 필요로 하게 된다. 또, 눈 템플레이트를 구성하는 복수의 제어점의 각각을 독립적으로 이동시키면, 눈 템플레이트의 형상이, 눈으로서 취(取)할 수 있는 형상의 범위를 넘(超)어 정규화 얼굴 화상의 눈에 피트할 수 없는 형상으로 되는 일이 있으며, 그와 같은 정규화 얼굴 화상의 눈에 피트할 수 없는 눈 템플레이트의 형상에 대해서, 상술한 바와 같은 평가 함수의 연산 등을 행하는 것은, 말하자면 쓸데없는 일이다.

그래서, 눈 특징점 검출부(202)(도 11)는 스텝 S203(도 13)의 형상 피트 처리에서, 눈 템플레이트의 형상을 규정하는 복수의 파라미터로서의, 그 눈 템플레이트를 구성하는 복수의 제어점 각각의 좌표(x, y)를, 그 복수의 파라미터의 수(눈 템플레이트를 구성하는 제어점의 수의 2배의 수)보다 적은 1이상의 수의 파라미터에 의거해서 변경하는 것에 의해, 눈 템플레이트의 형상을, 눈으로서 취할 수 있는 형상의 범위 내에서 변화시키도록(변형하도록) 되어 있다.

그래서, 눈 템플레이트를 구성하는 복수의 제어점 각각의 좌표(x, y)를, 적은 수의 파라미터에 의거해서 변경하는 방법에 대해서 설명한다.

눈 특징점 검출부(202)는 예를 들면 도 13의 스텝 S203에서 설명한 제2 형상 피트 처리에서, 눈 템플레이트의 외측 윤곽 상의 제어점 중, 상측 또는 하측의 복수의 제어점을 이동시키는 경우나, 제5 형상 피트 처리에서, 눈 템플레이트의 내측 윤곽 상의 제어점 중의 상측 또는 하측의 복수의 제어점의 위치를 이동시키는 경우, 예를 들면 식 (2)에 따라서, 눈 템플레이트를 구성하는 제어점 중, 이동 대상의 제어점의 좌표(x_n, y_n)을 구한다.

x_n=x_n′

y_n=(1-t)y_n′+ty_max(n) 단, t≥0일 때

y_n=(1-(-t))y_n′+(-t) y_min(n) 단, t＜0일 때

　　　　　　　　　　　　　　　　　 …(2)

여기서, 식 (2)에서, n은 이동 대상의 복수의 제어점 중의 n번째(番目)의 제 어점을 나타내는 인덱스이며, x_n과 y_n은 각각 n번째의 제어점의, 이동 후의 x 좌표와 y 좌표를 나타낸다. 또, x_n′과 y_n′는 각각, n번째의 제어점의, 이동 직전의 x 좌표와 y 좌표를 나타낸다. 또, y_max(n)은 n번째의 제어점이 취할 수 있는 y 좌표의 최대값을 나타내고, y_min(n)은 n번째의 제어점이 취할 수 있는 y 좌표의 최소값을 나타낸다. 또, t는 이동 대상의 복수의 제어점 중의 복수의 제어점 각각의 좌표(x, y)를 변경하는데 부여되는 (1개의) 파라미터이며, 여기서는 -1에서 +1까지의 범위의 실수를 취하는 것으로 한다.

또한, 식 (2)에서, y_max(n) 및 y_min(n)은 파라미터 t가 -1에서 +1까지의 범위로 변화하는 한, 식 (2)에서 부여되는 좌표(x_n, y_n)에 위치하는 제어점에 의해서 형상이 나타내어지는 눈 템플레이트가, 눈으로서 취할 수 있는 형상의 범위 내의 형상으로 되는 바와 같은 값으로, 미리 설정되어 있다.

식 (2)에 의하면, 이동 대상의 복수의 제어점, 즉 지금의 경우, 눈 템플레이트의 외측 윤곽 상의 제어점 중, 상측 또는 하측의 복수의 제어점이나, 눈 템플레이트의 내측 윤곽 상의 제어점 중의 상측 또는 하측의 복수의 제어점은 그 좌표(x, y)가 1개의 파라미터 t에 의거해서 변경되는 것에 의해, 도 16에 도시하는 바와 같이 이동하며, 이것에 의해, 눈 템플레이트의 형상이, 눈으로서 취할 수 있는 형상의 범위 내에서 변화한다.

즉, 도 16의 위에서 1번째는, 형상이 변화하기 전의 눈 템플레이트(를 구성 하는 제어점), 즉 위치와 사이즈가 정규화 얼굴 화상에 피트한 눈 템플레이트를 나타내고 있다. 따라서, 이 눈 템플레이트의 형상은 템플레이트 기억부(201)(도 11)에 기억되어 있는 눈 템플레이트의 형상과 동일(상사)하다.

도 16의 위에서 2번째는 도 16의 위에서 1번째의 눈 템플레이트를, 제어점의 이동 직전의 상태의 눈 템플레이트로 함과 동시에, 파라미터 t를 0으로 해서 식 (2)에 의해 구한 좌표(x_n, y_n)로 제어점을 이동한 눈 템플레이트를 나타내고 있다. 도 16의 위에서 2번째의 눈 템플레이트의 형상은, 도 16의 위에서 1번째의 눈 템플레이트의 형상과 동일하다.

도 16의 위에서 3번째는 도 16의 위에서 1번째의 눈 템플레이트를, 제어점의 이동 직전의 상태의 눈 템플레이트로 함과 동시에, 파라미터 t를 1로 해서 식 (2)에 의해 구한 좌표(x_n, y_n)로 제어점을 이동한 눈 템플레이트를 나타내고 있다. 도 16의 위에서 3번째의 눈 템플레이트의 형상은, 도 16의 위에서 1번째의 눈 템플레이트의 형상과 비교해서, 눈꼬리 부분이 처진 형상으로 되어 있다.

도 16의 위에서 4번째는 도 16의 위에서 1번째의 눈 템플레이트를, 제어점의 이동 직전의 상태의 눈 템플레이트로 함과 동시에, 파라미터 t를 -1로 해서 식 (2)에 의해 구한 좌표(x_n, y_n)로 제어점을 이동한 눈 템플레이트를 나타내고 있다. 도 16의 위에서 4번째의 눈 템플레이트의 형상은, 도 16의 위에서 1번째의 눈 템플레이트의 형상과 비교해서, 눈꼬리 부분이 처진 형상으로 되어 있다.

도 16의 위에서 5번째는, 도 16의 위에서 1번째의 눈 템플레이트를, 제어점 의 이동 직전의 상태의 눈 템플레이트로 함과 동시에, 파라미터 t를 0.45로 해서 식 (2)에 의해 구한 좌표(x_n, y_n)로 제어점을 이동한 눈 템플레이트를 나타내고 있다. 도 16의 위에서 5번째의 눈 템플레이트의 형상은, 도 16의 위에서 1번째의 눈 템플레이트의 형상과 비교해서, 눈꼬리의 부분이 다소(多少) 위로 치켜올라간 형상으로 되어 있다.

도 16에서는, 위에서 5번째의 눈 템플레이트의 형상, 즉 파라미터 t가 0.45일 때의 눈 템플레이트의 형상이, 정규화 얼굴 화상의 눈에 가장 피트하고 있다.

여기서, 도 16에서는, n번째의 제어점에 대한 y_max(n)은 +1이고, y_min(n)은 -1로 되어 있다.

또한, 제어점의 좌표(x_n, y_n)을 구하는 식은 식 (2)에 한정되는 것은 아니다. 또, 이동하는 제어점의 단위(세트)도, 눈 템플레이트의 외측 윤곽 상의 제어점 중, 상측 또는 하측의 복수의 제어점이나, 눈 템플레이트의 내측 윤곽 상의 제어점 중의 상측 또는 하측의 복수의 제어점에 한정되는 것은 아니다.

즉, 눈 특징점 검출부(202)에서는, 예를 들면 도 13의 스텝 S203에서 설명한 제4 형상 피트 처리에서, 눈 템플레이트의 내측 윤곽 상의 제어점 중의 코에 가까운 측의 복수의 제어점을 이동시키는 경우, 예를 들면 식 (3)에 따라서, 그 코에 가까운 측의 복수의 제어점의 좌표(x_n, y_n)를 구한다.

x_n=(x_n′-x_min(n)) t_x+x_min(n)

yⁿ=(1-t) y_n′+t_yy_max(n) 단, t_y≥0일 때

y_n=(1-(-t))y_n′+(-t)y_min(n) 단, t_y＜0일 때

　　　　　　　　　　　　　　　　　　　　　　　　…(3)

여기서, 식 (3)에서, n, x_n, y_n, x_n′, y_n′, y_max(n), y_min(n)은 식 (2)에서의 경우와 마찬가지의 것이다. 또, x_min(n)은 n번째의 제어점이 취할 수 있는 x 좌표의 최소값을 나타낸다. 또, t_x와 t_y는 눈 템플레이트를 구성하는 복수의 제어점 각각의 좌표(x, y)를 변경하는데 부여되는 (2개의) 파라미터이며, 파라미터 t_x는 예를 들면 0에서 +1까지의 범위의 실수(實數)를 취하고, 파라미터 t_y는 예를 들면 -1에서 +1까지의 범위의 실수를 취한다.

또한, 식 (3)에서, x_min(n), y_max(n) 및 y_min(n)은 파라미터 t_x가 0에서 +1까지의 범위에서 변화하고, 또한 파라미터 t_y가 -1에서 +1까지의 범위에서 변화하는 한, 식 (3)에서 부여되는 좌표(x_n, y_n)에 위치하는 제어점에 의해서 형상이 나타내어지는 눈 템플레이트가, 눈으로서 취할 수 있는 형상의 범위 내의 형상으로 되는 바와 같은 값으로 미리 설정되어 있다.

식 (3)에 의하면, 이동 대상의 복수의 제어점, 즉 지금의 경우, 눈 템플레이트의 내측 윤곽 상의 제어점 중의 코에 가까운 측의 복수의 제어점은, 그 좌표(x, y)가 2개의 파라미터 t_x와 t_y에 의거해서 변경되는 것에 의해, 도 16에 도시한 경우와 마찬가지로, 눈 템플레이트의 형상이, 눈으로서 취할 수 있는 형상의 범위 내에서 변화하도록 이동한다.

구체적으로는, 예를 들면 도 17의 위에서 1번째에 나타내는 눈 템플레이트의 복수의 제어점에서의, 내측 윤곽 상의 제어점 중, 도면중 ■표로 나타내는, 코에 가까운 측의 복수의 제어점은 2개의 파라미터 t_x와 t_y에 의거해서, 눈 템플레이트의 형상이, 눈으로서 취할 수 있는 형상의 범위 내에서 변화하도록 이동한다.

예를 들면, 코에 가까운 측의 복수의 제어점 중의 n번째의 제어점은 x방향에 대해서는, 파라미터 t_x에 의거해서, 도 17의 위에서 2번째에 나타내는 바와 같이, x좌표가 x_min(n) 이상으로 되는 위치로 이동한다. 또한, 도 17의 위에서 2번째에서는, x_min(n)은 0으로 되어 있다.

또, 코에 가까운 측의 복수의 제어점 중의 n번째의 제어점은 y방향에 대해서는, 파라미터 t_y에 의거해서, 도 17의 위에서 3번째에 나타내는 바와 같이, y좌표가 y_min(n) 이상이고, y_max(n) 이하의 범위 내의 위치로 이동한다. 또한, 도 17의 위에서 3번째에서는, y_max(n)은 +1이고, y_min(n)은 -1로 되어 있다.

이상과 같이, 눈 템플레이트의 형상을 규정하는 복수의 파라미터로서의, 복수의 제어점의 x좌표와 y좌표가, 그 수보다 적은 1이상의 파라미터로서의 t나 t_x와 t_y에 의거해서 변경되는 것에 의해, (위치와 사이즈가 정규화 얼굴 화상에 피트하고 있는) 눈 템플레이트의 형상이, 눈의 형상의 범위 내에서 변화(변형)되므로, 다시말해 눈 템플레이트를 구성하는 복수의 제어점이, 눈의 형상의 범위를 일탈하지 않도록, 몇개의 단위(세트)로, 소위 연동(連動)해 이동하므로, 적은 수의 파라미터의 조작에 의해서, 눈 템플레이트의 형상을 정규화 얼굴 화상에 피트시킬 수가 있다. 즉, 눈 템플레이트의 형상을 정규화 얼굴 화상에 용이하게 피트시킬 수가 있다.

또한, 형상 피트 처리에서는, 예를 들면 눈 템플레이트를 구성하는 제어점 중, 외측 윤곽 상의 제어점(을 연결하는 선)을, 정규화 얼굴 화상의 눈꺼풀과 눈구멍과의 경계에 일치시키도록 이동시킨 후, 내측 윤곽 상의 제어점(을 연결하는 선)을, 정규화 얼굴 화상의 눈구멍에서 노출되어 있는 안구 부분의 윤곽에 일치시키도록 이동시킬 수가 있다.

이와 같이, 외측 윤곽 상의 제어점(을 연결하는 선)을, 정규화 얼굴 화상의 눈꺼풀과 눈구멍과의 경계에 일치시키도록 이동시킨 후, 내측 윤곽 상의 제어점을 이동시키는 것에 의해, 내측 윤곽 상의 제어점을 이동시키는 범위를 제한할 수 있으므로, 새로운 처리의 용이화를 도모할 수가 있다.

즉, 내측 윤곽 상의 제어점이, 외측 윤곽 상의 제어점을 연결하는 선으로 둘러싸이는 범위의 외측에 위치하는 것은, 눈 템플레이트의 형상이, 눈의 형상의 범위로부터 일탈하게 되기 때문에, 내측 윤곽 상의 제어점을 이동시킬 수 있는 위치는, 외측의 윤곽 상의 제어점을 연결하는 선으로 둘러싸이는 범위로 제한되며, 그 만큼 처리량을 적게 할 수가 있다.

다음에, 도 18의 플로차트를 참조해서, 도 11의 입 특징점 검출부(203)의 처리에 대해서 설명한다.

입 특징점 검출부(203)에서 행해지는 처리(의 흐름)는, 처리의 대상으로 되는 얼굴 부위가 눈이 아니라 입으로 될 뿐이며, 거시적(巨視的)으로는, 눈 특징점 검출부(202)에서 행해지는, 도 13에서 설명한 처리와 마찬가지이다.

입 특징점 검출부(203)는 우선 스텝 S211에서, 정규화 얼굴 화상 기억부(133)로부터의 정규화 얼굴 화상(도 2)과, 통상 특징점 추출부(134)로부터의 영역 정보 중의 입 영역의 정보에 의거해서, 템플레이트 기억부(201)로부터의 입 템플레이트의 사이즈와 위치의 초기값을 결정한다.

즉, 입 템플레이트는 다수의 제어점이 횡방향으로, 일직선 상에 늘어선 것이고, 입 특징점 검출부(203)는 예를 들면 정규화 얼굴 화상의, 입 영역의 정보가 나타내는 직사각형 영역의 횡방향의 길이에, 입 템플레이트의 길이(횡방향의 길이)가 일치하도록, 입 템플레이트의 사이즈를 확대 또는 축소하고, 그 확대 또는 축소 후의 입 템플레이트를, 입 영역의 정보가 나타내는 직사각형 영역의 종방향의 중점(中点)의 위치에, 또한 그 직사각형 영역에 내접하도록, 정규화 얼굴 화상 상에 배치한다. 스텝 S211에서 정규화 얼굴 화상 상에 배치된 입 템플레이트의 사이즈와 위치가, 각각의 초기값이다. 여기서, 입 템플레이트의 사이즈와 위치의 초기값도 각각, 초기 사이즈와 초기 위치라고 한다.

그리고, 스텝 S211에서 S212로 진행하고, 입 특징점 검출부(203)는 입 템플 레이트의 사이즈와 위치를 각각, 초기 사이즈와 초기 위치로부터 서서히 변화시켜, 정규화 얼굴 화상에 표시되어 있는(찍혀 있는) 얼굴에 적응(피트)시키는 위치/사이즈 피트 처리를 행한다.

즉, 스텝 S212의 위치/사이즈 피트 처리에서는, 입 특징점 검출부(203)는 입 템플레이트의 형상을 유지한 채로, 그 사이즈와 위치를 변화시켜, 각 사이즈와 위치에 대해서, 입 템플레이트가 정규화 얼굴 화상에 찍혀 있는 얼굴의 입(윗입술과 아랫입술과의 경계)에 피트하고 있는 정도를 평가하는 평가 함수를 연산한다.

여기서, 입 특징점 검출부(203)는 입 템플레이트를 확대 또는 축소하는 것에 의해, 그 사이즈를, 형상을 유지한 채로 변화시킨다. 또, 입 특징점 검출부(203)는 입 템플레이트의 전체(의 제어점)를 평행 이동시키는 것에 의해, 그 위치를, 형상을 유지한 채로 변화시킨다. 또한, 입 특징점 검출부(203)에서는, 입 템플레이트의 평행 이동 이외에, 예를 들면 임의의 제어점 등을 중심으로 하는 회전에 의해서, 입 템플레이트의 위치를 변화시키는 것도 가능하다.

입 특징점 검출부(203)는 평가 함수가, 가장 피트하고 있는 것을 나타내고 있는 값으로 될 때의 입 템플레이트의 사이즈와 위치를 구한다.

스텝 S212의 처리 후에는 스텝 S213으로 진행하고, 입 특징점 검출부(203)는 스텝 S212에서 구해진 위치와 사이즈의 입 템플레이트를 기준으로 해서, 그 입 템플레이트의 형상을 변형하고, 입 템플레이트의 형상을, 정규화 얼굴 화상에 찍혀 있는 얼굴의 입에 적응(피트)시키는 형상 피트 처리를 행한다.

즉, 입 특징점 검출부(203)는 스텝 S212에서는, 입 템플레이트의 위치와 사 이즈를 변화시켜, 입 템플레이트를, 정규화 얼굴 화상에 찍혀 있는 얼굴의 입에 피트시켰지만, 스텝 S213에서는, 입 템플레이트의 형상을 변화시켜, 입 템플레이트를, 정규화 얼굴 화상에 찍혀 있는 얼굴의 입에 더욱더 피트시키는 형상 피트 처리를 행한다.

구체적으로는, 입 특징점 검출부(203)는 입 템플레이트를 구성하는 제어점의 1이상을 이동 대상으로 해서 이동시키지만, 그 이동 대상으로 하는 제어점의 수를 서서히 적게 해 간다.

즉, 입 특징점 검출부(203)는 형상 피트 처리에서 우선 최초에, 입 템플레이트를 구성하는 제어점 모두를 이동 대상으로서 선택하고, 그 이동 대상의 제어점 모두를, 눈 특징점 검출부(202)에서의 경우와 마찬가지로 연동해서 이동시킨다. 즉, 입 특징점 검출부(203)는 입 템플레이트의 형상을 규정하는 복수의 파라미터로서의, 복수의 제어점의 x좌표와 y좌표를, 그 수보다 적은 1이상의 파라미터에 의거해서 변경하는 것에 의해, (위치와 사이즈가 정규화 얼굴 화상에 피트하고 있는) 입 템플레이트의 형상을, 입의 형상의 범위 내에서 변화(변형)시키고, 이것에 의해 적은 수의 파라미터의 조작에 의해서 입 템플레이트의 형상을 정규화 얼굴 화상의 입에 가능한 한 일치시킨다.

다음에, 입 특징점 검출부(203)는 입 템플레이트를 구성하는 제어점 중, 예를 들면 좌반분(左半分: 왼쪽 절반)의 복수의 제어점을 이동 대상으로서 선택하고, 그 이동 대상의 제어점 모두를 눈 특징점 검출부(202)에서의 경우와 마찬가지로 연동해서 이동시켜, 입 템플레이트의 형상을 정규화 얼굴 화상의 입에 피트시킨다.

계속해서, 입 특징점 검출부(203)는 입 템플레이트를 구성하는 제어점 중, 예를 들면 우반분(右半分: 오른쪽 절반)의 제어점을 이동 대상으로서 선택하고, 그 이동 대상의 제어점 모두를 눈 특징점 검출부(202)에서의 경우와 마찬가지로 연동해서 이동시켜, 입 템플레이트의 형상을 정규화 얼굴 화상의 입에 피트시킨다.

그 후, 입 특징점 검출부(203)는 입 템플레이트를 구성하는 제어점 중, 중심 부근의 복수의 제어점, 좌단과 중심과의 중점 부근의 복수의 제어점, 우단과 중심과의 중점 부근의 복수의 제어점을 순차 이동 대상으로서 선택하고, 그 이동 대상의 제어점 모두를 눈 특징점 검출부(202)에서의 경우와 마찬가지로 연동해서 이동시켜, 입 템플레이트의 형상을 정규화 얼굴 화상의 입에 피트시킨다.

그리고, 입 특징점 검출부(203)는 최후에, 입 템플레이트를 구성하는 제어점을 1개씩 이동 대상으로서 선택하여 이동시켜, 입 템플레이트의 형상을 정규화 얼굴 화상의 입에 피트시킨다. 이 경우에도, 제어점의 이동은 입 템플레이트의 형상이, 입의 형상의 범위 내로 되도록 행해진다. 단, 이 경우, 제어점은 하나(1점)씩 이동되므로, 그 이동은 이동 대상의 제어점의 좌표(x, y)를 직접 부여하는 것에 의해서 행해진다.

또한, 입 템플레이트의 형상을 정규화 얼굴 화상의 입에 피트시키는 처리는, 도 13의 스텝 S202의 위치/사이즈 피트 처리에서 설명한 경우와 마찬가지로, 제어점을 이동시킨 각 위치에 대해서, 입 템플레이트가 정규화 얼굴 화상에 찍혀 있는 얼굴의 입에 피트하고 있는 정도를 평가하는 평가 함수를 연산하는 것에 의해서 행해진다.

스텝 S213의 형상 피트 처리가 종료하면, 위치, 사이즈 및 형상이 정규화 얼굴 화상(의 입)에 피트(적응)한 입 템플레이트(이하, 적당히 적응 입 템플레이트라고도 한다)가 얻어진다. 입 특징점 검출부(203)는 적응 입 템플레이트로부터, 정규화 얼굴 화상의 입의 특징점을 구해서, 상세 특징점으로서 턱 특징점 검출부(204)(도 11)에 공급함과 동시에, 얼굴 모델 생성부(136)(도 2)에 공급하고, 처리를 종료한다.

여기서, 입 특징점 검출부(203)에서는, 예를 들면 적응 입 템플레이트의 제어점 중의 일부 또는 모두를, 정규화 얼굴 화상의 입의 상세 특징점으로서 구할 수가 있다. 또, 입 특징점 검출부(203)에서는, 예를 들면 적응 입 템플레이트의 제어점을 연결한 선 상의 점을 샘플링하고, 그 샘플링된 점을 정규화 얼굴 화상의 입의 상세 특징점으로서 구할 수가 있다.

이상과 같이, 입 특징점 검출부(203)에서도, 눈 특징점 검출부(202)(도 11)와 마찬가지로, 입 템플레이트의 위치와 사이즈를, 정규화 얼굴 화상의 얼굴(정규화 얼굴 화상에 찍혀 있는 얼굴)의 입에 피트시키고, 위치와 사이즈가 피트한 입 템플레이트를 기준으로 해서, 그 형상을 정규화 얼굴 화상의 얼굴의 입에 피트시키도록 했으므로, 다수의 상세 특징점을 용이하게 얻을 수가 있다.

또, 입 특징점 검출부(203)에서, 입 템플레이트의 복수의 제어점을 이동시키는 경우에는, 눈 특징점 검출부(202)와 마찬가지로, 입 템플레이트의 형상을 규정하는 복수의 파라미터로서의, 복수의 제어점의 x좌표와 y좌표가, 그 수보다 적은 1이상의 파라미터에 의거해서 변경되는 것에 의해, (위치와 사이즈가 정규화 얼굴 화상에 피트하고 있는) 입 템플레이트의 형상이, 눈의 형상의 범위 내에서 변화(변형)되므로, 입 템플레이트의 형상을 정규화 얼굴 화상에 용이하게 피트시킬 수가 있다.

또, 입 특징점 검출부(203)에서는, 입 템플레이트의, 이동 대상으로 하는 제어점을 서서히 적게 해 가는 것에 의해, 평가 함수의, 소위 수속성(收束性: convergence)이 향상하고, 또 1개의 제어점이 다른 제어점으로부터 극단적으로 어긋난 위치로 이동하는 것을 방지할 수가 있다.

또한, 입 특징점 검출부(203)에서, 입 템플레이트의, 이동 대상으로 하는 제어점을 서서히 적게 해 가는 경우에는 아울러, 이동 대상의 제어점을 이동시킬 수 있는 범위를 서서히 좁게 해 갈 수가 있다.

또, 입 특징점 검출부(203)에서도, 눈 특징점 검출부(202)(도 11)와 마찬가지로, 스텝 S213에서, 입 템플레이트의 형상을 정규화 얼굴 화상에 피트시킨 후, 도 18에서 점선으로 나타내는 바와 같이, 스텝 S212로 되돌아가고, 형상이 피트한 입 템플레이트를 기준으로 해서, 그 입 템플레이트의 위치와 사이즈를 정규화 얼굴 화상에 피트시키며, 이하 마찬가지로 해서, 스텝 S212 및 S213의 처리를 1회 이상 반복하도록 할 수가 있다. 이 경우, 보다 정밀도가 높은 특징점을 얻을 수가 있다.

또, 도 18에서는, 입 특징점 검출부(203)는 스텝 S211에서, 통상 특징점 추출부(134)(도 2)로부터의 영역 정보 중의 입 영역의 정보에 의거해서, 템플레이트 기억부(201)로부터의 입 템플레이트의 사이즈와 위치의 초기값인 초기 사이즈와 초 기 위치를 결정하도록 했지만, 입 템플레이트의 초기 사이즈와 초기 위치는 또, 눈 특징점 검출부(202)에서 얻어진 눈의 상세 특징점에도 의거해서 결정할 수가 있다.

즉, 예를 들면 왼쪽 눈과 오른쪽 눈의 상세 특징점 중, 눈동자의 중심의 점인 특징점끼리의 중점을, 정규화 얼굴 화상에 찍혀 있는 사람의 눈의 중심으로 해서, 입 템플레이트의 중심(입 템플레이트를 좌우로 2분(分)하는 점)의 횡방향의 위치를, 눈의 중심의 횡방향의 위치에 일치시침과 동시에, 입 템플레이트의 중심의 종방향의 위치를, 입 영역의 정보가 나타내는 직사각형 영역의 종방향의 중점의 종방향의 위치에 일치시키고, 또 입 영역의 정보가 나타내는 직사각형 영역으로부터 비어져 나오지 않는 사이즈의 입 템플레이트의 사이즈와 위치를 각각, 초기 사이즈와 초기 위치로 할 수가 있다.

또한, 눈 특징점 검출부(202)의 처리와 입 특징점 검출부(203)의 처리는 기본적으로는, 어느 쪽을 먼저 행해도 상관없으며, 동시에 행해도 상관없다. 단, 입 특징점 검출부(203)에서 상술한 바와 같이, 입 템플레이트의 초기 사이즈와 초기 위치를 눈 특징점 검출부(202)에서 얻어진 눈의 상세 특징점에도 의거해서 결정하는 경우에는, 눈 특징점 검출부(202)의 처리를 먼저 행하고, 그 처리의 종료후, 즉 눈의 상세 특징점이 얻어진 후에, 입 특징점 검출부(203)의 처리를 행할 필요가 있다.

다음에, 도 19에는, 도 18의 스텝 S212의 위치/사이즈 피트 처리에 의해서 얻어지는, 위치와 사이즈가 정규화 얼굴 화상에 피트한 입 템플레이트와, 그 입 템플레이트를 기준으로 해서, 도 18의 스텝 S213의 형상 피트 처리를 행하는 것에 의 해서 얻어지는, 위치, 사이즈 및 형상이 정규화 얼굴 화상에 피트한 입 템플레이트를 도시하고 있다.

즉, 도 19의 왼쪽 위(左上)는 어떤 정규화 얼굴 화상을 대상으로 위치/사이즈 피트 처리를 행하는 것에 의해서 얻어지는, 위치와 사이즈가 정규화 얼굴 화상에 피트한 입 템플레이트를 나타내고 있고, 도 19의 오른쪽 위(右上)는 다른 정규화 얼굴 화상을 대상으로 위치/사이즈 피트 처리를 행하는 것에 의해서 얻어지는, 위치와 사이즈가 정규화 얼굴 화상에 피트한 입 템플레이트를 나타내고 있다.

도 19의 왼쪽 위와 오른쪽 위의 어느것에서도, 입 템플레이트의 위치 및 사이즈는 정규화 얼굴 화상의 입(윗입술과 아랫입술과의 경계)에 피트(매치)하고 있다. 즉, 입 템플레트의 위치와 사이즈는 각각, 정규화 얼굴 화상의 입의 위치와 사이즈에 (거의) 일치하고 있다.

단, 입 템플레이트의 형상은 정규화 얼굴 화상의 입에 피트하고 있지 않다.

그래서, 도 19의 왼쪽 아래(左下)는 도 19의 왼쪽 아래의 입 템플레이트를 기준으로 해서, 형상 피트 처리를 행하는 것에 의해서 얻어지는 입 템플레이트를 나타내고 있고, 도 19의 오른쪽 아래(右下)는 도 19의 오른쪽 위의 입 템플레이트를 기준으로 해서 형상 피트 처리를 행하는 것에 의해서 얻어지는 입 템플레이트를 나타내고 있다.

도 19의 왼쪽 아래와 오른쪽 아래의 어느것에서도, 입 템플레이트의 위치, 사이즈, 형상은 정규화 얼굴 화상의 입에 피트하고 있다. 즉, 입 템플레이트의 위치, 사이즈, 형상은 어느것이나, 정규화 얼굴 화상의 입(윗입술과 아랫입술과의 경 계)의 위치, 사이즈, 형상에 (거의) 일치하고 있다.

다음에, 도 20의 플로차트를 참조해서, 도 11의 턱 특징점 검출부(204)의 처리에 대해서 설명한다.

턱 특징점 검출부(204)에서 행해지는 처리(의 흐름)는 처리의 대상으로 되는 얼굴 부위가 눈이 아니라 턱으로 될 뿐이며, 거시적으로는, 눈 특징점 검출부(202)에서 행해지는, 도 13에서 설명한 처리와 마찬가지이다.

턱 특징점 검출부(204)는 우선 스텝 S221에서, 정규화 얼굴 화상 기억부(133)(도 2)로부터의 정규화 얼굴 화상, 눈 특징점 검출부(202)(도 11)로부터의 눈의 상세 특징점 및 입 특징점 검출부(203)로부터의 입의 상세 특징점에 의거해서, 템플레이트 기억부(201)로부터의 턱 템플레이트의 사이즈와 위치의 초기값을 결정한다.

즉, 턱 특징점 검출부(204)는 예를 들면 왼쪽 눈과 오른쪽 눈의 상세 특징점 중, 눈동자의 중심의 점인 특징점 끼리의 중점을, 정규화 얼굴 화상에 찍혀 있는 사람의 눈의 중심으로 함과 동시에, 입의 상세 특징점 중, 중심의 제어점(예를 들면, 정규화 얼굴 화상에 피트시키기 전의 입 템플레이트의 중점에 위치하고 있는 제어점)이었던 상세 특징점을, 정규화 얼굴 화상에 찍혀 있는 사람의 입의 중심으로 해서, 눈의 중심과 입의 중심을 연결하는 직선(이하, 적당히 중심선이라고 한다)을 구한다.

또, 턱 특징점 검출부(204)는 눈의 중심과 입의 중심 사이의 길이를 구하고, 그 길이에 따라, 턱 템플레이트의 사이즈를 확대 또는 축소한다.

그리고, 턱 특징점 검출부(204)는 입의 중심으로부터 중심선을 따라서, 눈의 중심과 입의 중심 사이의 길이를 소정수 배한 길이만큼 아래쪽(下方)의 위치(이하, 적당히 아랫턱 표준 위치라고 한다)를 구하고, 그 아랫턱 표준 위치에, 턱 템플레이트의, 아랫턱의 중심의 제어점이 위치하도록, 턱 템플레이트를 정규화 얼굴 화상 상에 배치한다.

즉, 턱 템플레이트는 상술한 바와 같이, 얼굴의 표준적인 윤곽으로서의 타원(의 원주) 상에 제어점이 늘어선 것이며, 턱(아랫턱)에 상당하는 부분에는, 턱(아랫턱의 윤곽)을 정밀도 좋게 재현할 수 있을 정도의 다수의 제어점이 설치되어 있다. 그리고, 턱 템플레이트에서는, 타원의 아랫턱에 상당하는 부분의 최하부에, 아랫턱의 중심이라고 불리는 제어점이 설치되어 있고, 턱 특징점 검출부(204)는 그 제어점의 위치가 아랫턱 표준 위치에 일치하도록(또한, 그 제어점에서의 접선이 중심선과 직교하도록), 턱 템플레이트를 정규화 얼굴 화상 상에 배치한다. 스텝 S221에서 정규화 얼굴 화상 상에 배치된 턱 템플레이트의 사이즈와 위치가 각각의 초기값이다. 여기서, 턱 템플레이트의 사이즈와 위치의 초기값도 각각 초기 사이즈와 초기 위치라고 한다.

그리고, 스텝 S221에서 S222로 진행하고, 턱 특징점 검출부(204)는 턱템플레이트의 사이즈와 위치를 각각, 초기 사이즈와 초기 위치로부터 서서히 변화시켜, 정규화 얼굴 화상에 표시되어 있는(찍혀 있는) 얼굴에 적응(피트)시키는 위치/사이즈 피트 처리를 행한다.

즉, 스텝 S222의 위치/사이즈 피트 처리에서는, 턱 특징점 검출부(204)는 턱 템플레이트의 형상을 유지한 채로, 그 사이즈와 위치를 변화시켜, 각 사이즈와 위치에 대해서, 턱 템플레이트가 정규화 얼굴 화상에 찍혀 있는 얼굴의 윤곽, 특히 아랫턱(얼굴의 하측의 윤곽)에 피트하고 있는 정도를 평가하는 평가 함수를 연산한다.

여기서, 턱 특징점 검출부(204)는 턱 템플레이트를 확대 또는 축소하는 것에 의해, 그 사이즈를, 형상을 유지한 채로 변화시킨다. 또, 턱 특징점 검출부(204)는 턱 템플레이트의 전체(의 제어점)를 평행 이동시키는 것에 의해, 그 위치를, 형상을 유지한 채로 변화시킨다. 또한, 턱 특징점 검출부(204)에서는, 턱 템플레이트의 평행 이동 이외에, 예를 들면 임의의 제어점 등을 중심으로 하는 회전에 의해서, 턱 템플레이트의 위치를 변화시키는 것도 가능하다.

턱 특징점 검출부(204)는 평가 함수가 가장 피트하고 있는 것을 나타내고 있는 값으로 될 때의 턱 템플레이트의 사이즈와 위치를 구한다.

스텝 S222의 처리 후에는, 스텝 S223으로 진행하고, 턱 특징점 검출부(204)는 스텝 S222에서 구해진 위치와 사이즈의 턱 템플레이트를 기준으로 해서, 그 턱 템플레이트의 형상을 변형하여, 턱 템플레이트의 형상을, 정규화 얼굴 화상에 찍혀 있는 얼굴의 윤곽, 특히 아랫턱에 적응(피트)시키는 형상 피트 처리를 행한다.

즉, 턱 특징점 검출부(204)는 스텝 S222에서는, 턱 템플레이트의 위치와 사이즈를 변화시켜, 턱 템플레이트를 정규화 얼굴 화상에 찍혀 있는 얼굴의 아랫턱에 피트시켰지만, 스텝 S223에서는, 턱 템플레이트의 형상을 변화시켜, 턱 템플레이트를 정규화 얼굴 화상에 찍혀 있는 얼굴의 아랫턱에 더욱더 피트시키는 형상 피트 처리를 행한다.

구체적으로는, 턱 특징점 검출부(204)는 입 특징점 검출부(203)와 마찬가지로, 턱 템플레이트의 복수의 제어점을 연동해서 이동시키는 것, 즉 턱 템플레이트의 형상을 규정하는 복수의 파라미터로서의, 복수의 제어점의 x좌표와 y좌표를, 그 수보다 적은 1이상의 파라미터에 의거해서 변경하는 것에 의해, (위치와 사이즈가 정규화 얼굴 화상에 피트하고 있는) 턱 템플레이트의 형상을, 아랫턱(얼굴의 윤곽)의 형상의 범위 내에서 변화(변형)시키고, 이것에 의해, 적은 수의 파라미터의 조작에 의해서, 턱 템플레이트의 형상을 정규화 얼굴 화상의 아랫턱에 가능한 한 일치시키는 것을, 이동 대상으로 하는 제어점을 서서히 적게 하면서 반복한다.

그리고, 턱 특징점 검출부(204)에서, 스텝 S223의 형상 피트 처리가 종료하면, 위치, 사이즈 및 형상이 정규화 얼굴 화상(의 아랫턱)에 피트(적응)한 턱 템플레이트(이하, 적당히 적응 턱 템플레이트라고도 한다)가 얻어진다. 턱 특징점 검출부(204)는 적응턱 템플레이트로부터 정규화 얼굴 화상의 얼굴의 윤곽, 특히 아랫턱의 특징점을 구해서, 상세 특징점으로서 얼굴 모델 생성부(136)(도 2)에 공급하고, 처리를 종료한다.

여기서, 턱 특징점 검출부(204)에서는, 예를 들면 적응턱 템플레이트의 제어점 중의 일부 또는 모두를, 정규화 얼굴 화상의 턱의 상세 특징점으로서 구할 수가 있다. 또, 턱 특징점 검출부(204)에서는, 예를 들면 적응 턱 템플레이트의 제어점을 연결한 선 상의 점을 샘플링하고, 그 샘플링된 점을, 정규화 얼굴 화상의 턱의 상세 특징점으로서 구할 수가 있다.

턱 특징점 검출부(204)에서도, 눈 특징점 검출부(202)나 입 특징점 검출부(203)에서의 경우와 마찬가지로, 턱 템플레이트의 형상을 정규화 얼굴 화상에 용이하게 피트시킬 수 있고, 또 다수의 정밀도가 높은 특징점을 용이하게 얻을 수가 있다.

또한, 턱 특징점 검출부(204)에서도, 눈 특징점 검출부(202)(도 11)와 마찬가지로, 스텝 S223에서, 턱 템플레이트의 형상을 정규화 얼굴 화상에 피트시킨 후, 도 20에서 점선으로 나타내는 바와 같이, 스텝 S222로 되돌아가고, 형상이 피트한 턱 템플레이트를 기준으로 해서, 그 턱 템플레이트의 위치와 사이즈를 정규화 얼굴 화상에 피트시키며, 이하 마찬가지로 해서, 스텝 S222 및 S223의 처리를 1회 이상 반복하도록 할 수가 있다. 이 경우, 보다 정밀도가 높은 특징점을 얻을 수가 있다.

다음에, 도 21∼도 24를 참조해서, 도 2의 통상 특징점 추출부(134)에서 얻어지는 통상 특징점과 상세 특징점 추출부(135)에서 얻어지는 상세 특징점에 대해서, 더욱더 설명한다.

도 21 및 도 22에는, 통상 특징점 추출부(134)에서 얻어지는 통상 특징점, 즉 예를 들면 AAM에 의해서 얻어지는 특징점을 도시하고 있다.

도 21에는 얼굴 전체에 대해서 얻어진 통상 특징점을 도시하고 있고, 도 22에는 얼굴의 어떤 부위로서의 눈 부분에 대해서 얻어진 통상 특징점을 도시하고 있다.

도 21 및 도 22로부터, 통상 특징점은 정밀도가 높지 않고, 또 수도 적은 것을 알 수 있다. 즉, 통상 특징점은 도 21에 도시하는 바와 같이, 눈이나 입, 턱(아 랫턱), 코 등의 위치에 드문드문 얻어진다. 또, 통상 특징점은 예를 들면 눈에 대해서는 도 22에 도시하는 바와 같이, 눈의 위치 부근에서 얻어지고, 예를 들면 눈구멍에서 노출되어 있는 안구 부분의 윤곽이나, 눈꺼풀과 눈구멍과의 경계의 위치를, 정확하게는 나타내지 않는다.

한편, 도 23 및 도 24에는 상세 특징점 추출부(135)에서 얻어지는 상세 특징점을 도시하고 있다.

즉, 도 23에는, 눈 템플레이트의 내측 윤곽 상의 제어점으로부터 얻어진 상세 특징점을 나타내고 있고, 도 24에는, 눈 템플레이트의 외측 윤곽 상의 제어점으로부터 얻어진 상세 특징점을 도시하고 있다.

도 23으로부터, 눈 템플레이트의 내측 윤곽 상의 제어점으로부터 얻어진 상세 특징점은, 눈구멍에서 노출되어 있는 안구 부분의 윤곽의 위치를 정확하게 나타내고 있는 것을 알 수 있다. 또, 눈 템플레이트의 내측 윤곽 상의 제어점으로부터 얻어진 상세 특징점은, 그들을 연결하는 것에 의해서, 눈구멍에서 노출되어 있는 안구 부분의 윤곽을 정밀도 좋게 재현할 수 있을 정도의 수만큼 얻어지고 있다.

또, 도 24로부터, 눈 템플레이트의 외측 윤곽 상의 제어점으로부터 얻어진 상세 특징점은, 눈꺼풀과 눈구멍과의 경계의 위치를 정확하게 나타내고 있는 것을 알 수 있다. 또, 눈 템플레이트의 외측 윤곽 상의 제어점으로부터 얻어진 상세 특징점은, 그들을 연결하는 것에 의해서, 눈꺼풀과 눈구멍과의 경계를 정밀도 좋게 재현할 수 있을 정도의 수만큼 얻어지고 있다.

다음에, 도 25는 도 2의 얼굴 모델 생성부(136)의 구성예를 도시하는 블록도 이다.

얼굴 모델 생성부(136)는 표준 3차원 모델 기억부(251), 얼굴 처리부(252), 두발 처리부(253) 및 합성부(254)로 구성되어 있다.

표준 3차원 모델 기억부(251)는 표준적인 얼굴의 3차원 형상을 가지는 얼굴 모델, 표준적인 목의 3차원 형상을 가지는 목 모델, 표준적인 귀(좌우의 귀)의 3차원 형상을 가지는 귀 모델 및, 표준적인 두발의 3차원 형상을 가지는 두발 모델을 기억하고 있다. 이들 얼굴 모델, 목 모델, 귀 모델 및 두발 모델은 미리 준비되고, 표준 3차원 모델 기억부(251)에 기억된다. 또한, 미리 준비하는 얼굴 모델, 목 모델, 귀 모델은 예를 들면, 실재(實在)하는 사람의 얼굴, 목, 귀를 본뜬 것이라도 좋지만, 여기서는 가상적인 얼굴, 목, 귀를 본뜬 것으로 되고 있으며, 예를 들면 얼굴 모델은 좌우가 완전히 대칭으로 되어 있다.

표준 3차원 모델 기억부(251)에 기억되어 있는 얼굴 모델, 목 모델 및 귀 모델은 얼굴 처리부(252)에 공급되고, 두발 모델은 두발 처리부(253)에 공급된다.

얼굴 처리부(252)는 얼굴 모델 적응부(261), 목 모델 적응부(262), 귀 모델 적응부(263), 확장부(264) 및 합성부(265)로 구성된다.

얼굴 모델 적응부(261)에는, 정규화 얼굴 화상 기억부(133)(도 2)로부터 정규화 얼굴 화상이, 상세 특징점 추출부(135)로부터 상세 특징점이, 표준 3차원 모델 기억부(251)로부터 얼굴 모델이 각각 공급된다. 얼굴 모델 적응부(261)는 상세 특징점 추출부(135)로부터의 상세 특징점 등에 의거해서, 표준 3차원 모델 기억부(251)로부터의 얼굴 모델을, 정규화 얼굴 화상 기억부(133)로부터의 정규화 얼굴 화상에 찍혀 있는 얼굴(안면)에 적응시키고, 이것에 의해, 정규화 얼굴 화상에 찍혀 있는 얼굴(안면)의 3차원 모델로서의 얼굴 모델을 생성하여, 확장부(264)에 공급한다.

목 모델 적응부(262)에는, 정규화 얼굴 화상 기억부(133)로부터 정규화 얼굴 화상이, 상세 특징점 추출부(135)로부터 상세 특징점이, 표준 3차원 모델 기억부(251)로부터 목 모델이 각각 공급된다. 목 모델 적응부(262)는 상세 특징점 추출부(135)로부터의 상세 특징점 등에 의거해서, 표준 3차원 모델 기억부(251)로부터의 목 모델을, 정규화 얼굴 화상 기억부(133)로부터의 정규화 얼굴 화상에 찍혀 있는 목에 적응시키고, 이것에 의해, 정규화 얼굴 화상에 찍혀 있는 목의 3차원 모델로서의 목 모델을 생성하여, 합성부(265)에 공급한다.

귀 모델 적응부(263)에는, 정규화 얼굴 화상 기억부(133)로부터 정규화 얼굴 화상이, 상세 특징점 추출부(135)로부터 상세 특징점이, 표준 3차원 모델 기억부(251)로부터 귀 모델이 각각 공급된다. 귀 모델 적응부(263)는 상세 특징점 추출부(135)로부터의 상세 특징점 등에 의거해서, 표준 3차원 모델 기억부(251)로부터의 귀 모델을, 정규화 얼굴 화상 기억부(133)로부터의 정규화 얼굴 화상에 찍혀 있는 귀(좌우의 귀)에 적응시키고, 이것에 의해, 정규화 얼굴 화상에 찍혀 있는 귀의 3차원 모델로서의 귀 모델을 생성하여, 합성부(265)에 공급한다.

확장부(264)는 얼굴 모델 적응부(261)에서 공급되는 얼굴 모델의 주변 부분을 깊이 방향인 Z방향으로 확장하고, 그 결과 얻어지는 얼굴 모델을 합성부(265)에 공급한다.

합성부(265)는 확장부(264)에서 공급되는 얼굴 모델에, 목 모델 적응부(262)에서 공급되는 목 모델과 귀 모델 적응부(263)에서 공급되는 귀 모델을 합성하고, 그 목 모델과 귀 모델이 합성된 얼굴 모델을 합성부(254)에 공급한다.

두발 처리부(253)는 매핑부(271), 비두발 부분 검출부(272), Z값 변경부(273) 및 필터부(274)로 구성된다.

매핑부(271)에는, 정규화 얼굴 화상 기억부(133)(도 2)로부터 정규화 얼굴 화상이, 상세 특징점 추출부(135)로부터 상세 특징점이, 표준 3차원 모델 기억부(251)로부터 두발 모델이 각각 공급된다. 매핑부(271)는 상세 특징점 추출부(135)로부터의 상세 특징점 등에 의거해서, 표준 3차원 모델 기억부(251)로부터의 두발 모델을, 정규화 얼굴 화상 기억부(133)로부터의 정규화 얼굴 화상에 찍혀 있는 머리 부분(頭部)에 매핑하여, Z값 변경부(273)에 공급한다.

비두발 부분 검출부(272)에는, 정규화 얼굴 화상 기억부(133)로부터 정규화 얼굴 화상이 공급된다. 비두발 부분 검출부(272)는 정규화 얼굴 화상 기억부(133)로부터의 정규화 얼굴 화상으로부터, 두발이 아닌 부분인 비두발 부분을 검출하고, 그 비두발 부분의 정보를 Z값 변경부(273)에 공급한다.

Z값 변경부(273)는 매핑부(271)에서 공급되는 두발 모델(정규화 얼굴 화상의 머리 부분에 매핑된 두발 모델) 중, 비두발 부분에 매핑된 부분을, 비두발 부분 검출부(272)로부터의 비두발 부분의 정보로부터 검출하고, 그 비두발 부분에 매핑된 부분의 Z값을 변경하여, 필터부(274)에 공급한다.

필터부(274)는 Z값 변경부(273)에서 Z값이 변경된 두발 모델의 Z값에 대해 서, 로우패스 필터에 의한 필터링을 행하고(가하고), 그 필터링 후의 두발 모델을 합성부(254)에 공급한다.

합성부(254)는 얼굴 처리부(265)(의 합성부(265))에서 공급되는 얼굴 모델에, 두발 처리부(253)(의 필터부(274))에서 공급되는 두발 모델을 합성하고, 그 두발 모델이 합성된 얼굴 모델을, 최종적인 얼굴 모델로서 얼굴 모델 기억부(137)(도 2)에 공급하여 기억시킨다.

다음에, 도 26∼도 28을 참조해서, 도 25의 얼굴 모델 적응부(261)의 처리에 대해서 설명한다.

도 26에는, 표준 3차원 모델 기억부(251)에 기억되어 있는 얼굴 모델을 도시하고 있다.

표준 3차원 모델 기억부(251)에 기억되어 있는 얼굴 모델은 상술한 바와 같이, 표준적인 얼굴(정면을 향한 얼굴)의 3차원 형상을 가지는 3차원 모델이며, 예를 들면 그 3차원 형상의 각 점에 대해서, 횡방향을 x축, 종방향을 y축, 깊이 방향을 z축으로 하는 xyz 좌표계 상의 좌표(x, y, z)를 가지고 있다. 좌표(x, y, z) 중의 깊이 방향(Z방향)의 좌표인 z좌표는 특히 Z값이라고 불리며, 도 26에는, 횡방향을 x축으로 함과 동시에, 종방향을 y축으로 해서 정의(定義)되는 xy 좌표계에서, 좌표(x, y)로 나타내어지는, 정면에서 본 얼굴 모델 상의 각 점의 Z값을, 농담(濃淡)에 의해서 도시하고 있다.

즉, 예를 들면 지금, z축을 앞쪽측(手前側: front)에서 뒤쪽방향(奧方向: back away)으로 취함과 동시에, 얼굴 모델의 맨 앞쪽측에 있는 점의 Z값을 0으로 한다고 하면, 도 26에서는, 작은 Z값인 점(앞쪽측의 점)이 밝게, 큰 Z값인 점(뒤쪽측(奧側: behind)의 점)이 어둡게 각각 나타내어져 있다.

표준 3차원 모델 기억부(251)에 기억되어 있는 얼굴 모델에는, 도 26에 도시하는 바와 같이, 그 얼굴 모델(정면에서 본 얼굴 모델)의 종방향을 4개의 영역(D_v1, D_v2, D_v3, D_v4)으로 분할함과 동시에, 횡방향을 2개의 영역(D_h1과 D_h2)으로 분할하기 위해서, 5개의 기준점(D_p1, D_p2, D_p3, D_p4, D_p5)이 설정(기억)되어 있다.

여기서, 기준점 D_p1은 얼굴의 맨 위의 점, 즉 이마(額)와 머리카락과의 경계 상의 가장 위의 점이며, 기준점 D_p2는 눈의 중심점(예를 들면, 오른쪽 눈과 왼쪽 눈의 눈동자의 중심 끼리의 중점)이다. 또, 기준점 D_p3은 코의, 윗입술(上脣) 측의 경계상의 점이며, 기준점 D_p4는 입(윗입술과 아랫입술과의 경계) 상의 점이다. 또, 기준점 D_p5는 얼굴의 맨 아래의 점, 즉 아랫턱과 목의 경계 상의 가장 아래의 점이다.

그리고, 영역 D_v1은 기준점 D_p1을 통과하는 수평선(x축과 평행한 직선)과 기준점 D_p2를 통과하는 수평선 사이에 위치하는 영역이며, 영역 D_v2는 기준점 D_p2를 통과하는 수평선과 기준점 D_p3을 통과하는 수평선 사이에 위치하는 영역이다. 또, 영역 D_v3은 기준점 D_p3을 통과하는 수평선과 기준점 D_p4를 통과하는 수평선 사이에 위치하는 영역이며, 영역 D_v4는 기준점 D_p4를 통과하는 수평선과 기준점 D_p5를 통과하는 수평선 사이에 위치하는 영역이다.

또한, 표준 3차원 모델 기억부(251)에 기억되어 있는 얼굴 모델은 상술한 바와 같이 좌우 대칭이며, 5개의 기준점(D_p1, D_p2, D_p3, D_p4, D_p5)은 모두 대칭의 축 상에 존재한다.

그리고, 5개의 기준점(D_p1, D_p2, D_p3, D_p4, D_p5)을 그 순(順)으로 연결하는 선에 의해서, 얼굴 모델의 횡방향이 2개의 영역(D_h1과 D_h2)으로 분할된다.

여기서, 기준점(D_p1, D_p2, D_p3, D_p4, D_p5)을 그 순으로 연결하는 선은, 대칭 축에 일치한다. 따라서, 얼굴 모델의 2개의 영역(D_h1과 D_h2)은 대칭인 영역이다.

표준 3차원 모델 기억부(251)에 기억되어 있는 얼굴 모델은 이상과 같은 5개의 기준점(D_p1∼D_p5)에 의해서, 종방향이 4개의 영역(D_p1, D_p2, D_p3, D_p4)에 분할됨과 동시에, 횡방향이 2개의 영역(D_h1과 D_h2)으로 분할되고, 그 결과, 합계 8개의 영역(R₁, R₂, R₃, R₄, R₅, R₆, R₇, R₈)으로 분할되어 있다.

얼굴 모델 적응부(261)(도 25)는 표준 3차원 모델 기억부(251)로부터의 얼굴 모델(이하, 적당히 표준 얼굴 모델이라고 한다)을, 정규화 얼굴 화상 기억부(133)로부터의 정규화 얼굴 화상에 찍혀 있는 얼굴(안면)에 적응시키기 위해서, 상세 특징점 추출부(135)로부터의 상세 특징점 등에 의거해서, 정규화 얼굴 화상에 찍혀 있는 얼굴을, 표준 얼굴 모델의 8개의 영역(R₁∼R8) 각각에 대응하는 8개의 영역(대 응 영역)으로 분할한다.

즉, 도 27에는, 정규화 얼굴 화상에 찍혀 있는 얼굴을, 표준 얼굴 모델의 8개의 영역(R₁∼R8) 각각의 대응 영역으로 분할한 상태를 도시하고 있다.

얼굴 모델 적응부(261)는 우선, 정규화 얼굴 화상 상의, 5개의 기준점(D_p1∼D_p5)(도 26) 각각에 대응하는 점(대응점)을 검출한다.

즉, 얼굴 모델 적응부(261)는 예를 들면, 상세 특징점 추출부(135)로부터의 상세 특징점 중, 턱의 상세 특징점을 연결하는 것에 의해, 정규화 얼굴 화상에 찍혀 있는 얼굴의 윤곽을 인식하고, 그 윤곽으로부터 기준점 D_p1의 대응점, 다시말해 정규화 얼굴 화상에 찍혀 있는 얼굴의 맨 위의 점(이마와 머리카락과의 경계 상의 가장 위의 점)을 검출한다.

또, 얼굴 모델 적응부(261)는 상세 특징점 추출부(135)로부터의 상세 특징점 중, 눈의 상세 특징점에 의거해서, 눈동자의 중심의 점인 상세 특징점 끼리의 중점을 구하고, 이 중점을 기준점 D_p2의 대응점, 다시말해 정규화 얼굴 화상에 찍혀 있는 얼굴의 눈의 중심으로서 검출한다.

또, 얼굴 모델 적응부(261)는 정규화 얼굴 화상을 대상으로, 화상 처리를 행하는 것에 의해, 그 정규화 얼굴 화상에 찍혀 있는 얼굴에서의 콧구멍, 즉 눈과 입 사이에 있는, 작고 어두운 2개의 구멍(대략 타원형상(楕圓狀)의 영역)을 검출하고, 예를 들면 그 2개의 구멍의 중심 끼리를 사이의 중점을 기준점 D_p3의 대응점, 즉 정 규화 얼굴 화상에 찍혀 있는 얼굴에서의 코의, 윗입술 측의 경계 상의 점으로서 검출한다.

또, 얼굴 모델 적응부(261)는 상세 특징점 추출부(135)로부터의 상세 특징점 중, 입의 상세 특징점에 의거해서, 그 상세 특징점 중, 중심의 제어점(예를 들면, 정규화 얼굴 화상에 피트시키기 전의 입 템플레이트의 중점에 위치하고 있는 제어점)이었던 상세 특징점을 기준점 D_p4의 대응점, 즉 정규화 얼굴 화상에 찍혀 있는 얼굴에서의 입(윗입술과 아랫입술과의 경계) 상의 점으로서 검출한다.

또, 얼굴 모델 적응부(261)는 상세 특징점 추출부(135)로부터의 상세 특징점 중, 턱의 상세 특징점에 의거해서, 그 상세 특징점 중, 아래턱의 중심의 제어점인 상세 특징점을 기준점 D_p5의 대응점, 즉 정규화 얼굴 화상에 찍혀 있는 얼굴의 맨 밑의 점(아래턱과 목의 경계 상의 가장 아래의 점)으로서 검출한다.

그리고, 얼굴 모델 적응부(261)는 도 27에 도시하는 바와 같이, 기준점(D_p1∼D_p5) 각각의 대응점의 각각을 통과하는 5개의 수평선에 의해서, 정규화 얼굴 화상을, 종방향으로 4개의 영역(D_v1∼D_v4)(도 26) 각각에 대응하는 4개의 영역으로 분할한다.

또, 얼굴 모델 적응부(261)는 도 27에 도시하는 바와 같이, 기준점(D_p1∼D_p5) 각각의 대응점의 인접하는 대응점 끼리를 직선으로 연결하는 것에 의해, 정규화 얼굴 화상을, 횡방향으로 2개의 영역(D_h1과 D_h2)(도 26) 각각에 대응하는 2개의 영역으 로 분할한다.

이상과 같이, 얼굴 모델 적응부(261)는 정규화 얼굴 화상을, 종방향으로 4개의 영역으로 분할함과 동시에, 횡방향으로 2개의 영역으로 분할하며, 이것에 의해, 정규화 얼굴 화상(에 찍혀 있는 얼굴)을 도 27에 도시하는 바와 같이, 합계 8개의 영역(R₁∼R₈)(도 26) 각각의 8개의 대응 영역으로 분할한다.

그 후, 얼굴 모델 적응부(261)는 표준 얼굴 모델(도 26)을, 정규화 얼굴 화상 기억부(133)로부터의 정규화 얼굴 화상에 찍혀 있는 얼굴에, 8개의 영역(R₁∼R₈) 각각마다 적응시킨다.

즉, 얼굴 모델 적응부(261)는 기준점(D_p1∼D_p5) 중, 표준 얼굴 모델의 영역 R₁의 경계 상에 있는 기준점(D_p1과 D_p2)(도 26)이 정규화 얼굴 화상 상의 대응점에 일치하고, 또한 영역 R₁이 정규화 얼굴 화상의 대응 영역에 일치하도록, 영역 R₁의 각 점(x, y, z)의 x좌표와 y좌표를 변경하는 것에 의해, 영역 R₁(내의 표준 얼굴 모델)을 변형(매핑)한다.

마찬가지로, 얼굴 모델 적응부(261)는 다른 영역(R₂∼R₈)도 변형하고, 이것에 의해, 표준 얼굴 모델 전체를, 정규화 얼굴 화상에 찍혀 있는 얼굴의 전체에 적응시킨 얼굴 모델을 얻어, 확장부(264)에 공급한다.

여기서, 도 28에, 도 26의 표준 얼굴 모델을, 도 27의 정규화 얼굴 화상에 찍혀 있는 얼굴에 적응시킨 얼굴 모델을 도시한다. 도 28에서도, 도 26에서의 경우 와 마찬가지로, 횡방향을 x축으로 함과 동시에, 종방향을 y축으로 해서 정의되는 xy 좌표계에서, 좌표(x, y)로 나타내어지는 얼굴 모델 상의 각 점의 Z값을, 농담에 의해서 나타내고 있다.

정규화 얼굴 화상에 찍혀 있는 얼굴에 적응시킨 얼굴 모델에는, 정규화 얼굴 화상에 찍혀 있는 얼굴의 각 점(화소)에 대응하는 점이 존재하고, 얼굴 모델 적응부(261)는 얼굴 모델의 각 점에, 그 점이 대응하는 정규화 얼굴 화상에 찍혀 있는 얼굴의 점에서의 화소값을 부여한다. 따라서, 정규화 얼굴 화상에 찍혀 있는 얼굴에 적응시킨 얼굴 모델은, xyz 좌표계 상의 좌표(x, y, z) 이외에, 화소값(색)을 가지고 있다.

다음에, 도 29를 참조해서, 도 25의 목 모델 적응부(262)의 처리에 대해서 설명한다.

목 모델 적응부(262)는 상세 특징점 추출부(135)로부터의 상세 특징점 중, 눈의 상세 특징점에 의거해서, 정규화 얼굴 화상에 찍혀 있는 얼굴에서의 좌우 각각의 눈동자의 중심을 구한다. 또, 목 모델 적응부(262)는 상세 특징점 추출부(135)로부터의 상세 특징점 중, 입의 상세 특징점에 의거해서, 정규화 얼굴 화상에 찍혀 있는 얼굴에서의 입의 중심을 구한다.

그리고, 목 모델 적응부(262)는 도 29에 사선(斜線)을 그어서 나타내는 바와 같이, 정규화 얼굴 화상에서, 좌우 각각의 눈동자의 중심 각각을 통과하는 종방향의 2개의 직선 사이에 위치하고, 입의 중심을 통과하는 횡방향의 직선보다 하측의 영역을 목이 존재하는 목 영역으로서 결정하고, 그 목 영역에 표준 3차원 모델 기 억부(251)로부터의 목 모델을 적응시킨다. 즉, 목 모델 적응부(262)는 목 영역의 각 점에 목 모델의 각 점이 대응하도록, 목 모델을 변형(매핑)한다.

목 모델 적응부(262)는 이상과 같이 해서, 목 영역에 적응시킨 목 모델을, 정규화 얼굴 화상에 찍혀 있는 목에 적응시킨 목 모델로서 합성부(265)(도 25)에 공급한다.

다음에, 도 30을 참조해서, 도 25의 귀 모델 적응부(263)의 처리에 대해서 설명한다.

귀 모델 적응부(263)는 상세 특징점 추출부(135)로부터의 상세 특징점 중, 눈의 상세 특징점에 의거해서, 정규화 얼굴 화상에 찍혀 있는 얼굴에서의 눈의 중심을 구한다. 또, 귀 모델 적응부(263)는 정규화 얼굴 화상으로부터, 그 정규화 얼굴 화상에 찍혀 있는 얼굴에서의 콧구멍을 구한다. 또, 귀 모델 적응부(263)는 상세 특징점 추출부(135)로부터의 상세 특징점 중, 턱의 상세 특징점을 연결해서 얻어지는, 정규화 얼굴 화상에 찍혀 있는 얼굴의 윤곽으로부터, 그 얼굴의 최대의 폭을 구한다.

그리고, 귀 모델 적응부(263)는 도 30에 도시하는 바와 같이, 눈의 중심과 콧구멍 사이의 길이를 종방향의 길이로 하고, 얼굴의 폭을 횡방향의 길이로 하는 직사각형을 소정수 배로 된 직사각형 내의 영역을, 귀가 존재하는 귀영역의 후보(이하, 적당히 귀 영역 후보라고 한다)로서 구한다.

귀 모델 적응부(263)는 귀 영역 후보를 대상으로, 얼굴 좌우의 외측으로부터 얼굴의 윤곽을 향해서, 가로(수평) 방향으로 정규화 얼굴 화상의 화소를 스캔하고, 살색의 화소를 검출한다.

그리고, 귀 모델 적응부(263)는 최초에 검출된 살색의 화소와, 정규화 얼굴 화상에 찍혀 있는 얼굴의 윤곽까지의 횡방향의 거리를 구하고, 그 거리가 소정의 거리 이상인 경우, 얼굴의 윤곽 방향을 향해서 귀가 존재한다고 해서, 정규화 얼굴 화상의 화소의 스캔을 얼굴의 윤곽까지 속행하고, 귀가 찍혀 있는 화소로서의 살색의 화소를 검출한다. 귀 모델 적응부(263)는 직사각형의 귀 영역 후보의 각 행에 대해서 상술한 처리를 행하고, 이것에 의해, 귀가 찍혀 있는 화소로 이루어지는 귀 영역을 검출한다.

귀 모델 적응부(263)는 귀 영역의 검출 후, 그의 목 영역에 표준 3차원 모델 기억부(251)로부터의 귀 모델을 적응시킨다. 즉, 귀 모델 적응부(263)는 귀 영역의 각 점에 귀 모델의 각 점이 대응하도록, 귀 모델을 변형(매핑)한다.

귀 모델 적응부(263)는 이상과 같이 해서, 귀 영역에 적응시킨 귀 모델을 정규화 얼굴 화상에 찍혀 있는 귀에 적응시킨 귀 모델로서 합성부(265)(도 25)에 공급한다.

다음에, 도 31∼도 37을 참조해서, 도 25의 확장부(264)의 처리에 대해서 설명한다.

확장부(264)는 얼굴 모델 적응부(261)(도 25)에서 공급되는 얼굴 모델의 주변 부분을, 깊이 방향인 Z방향으로 확장한다.

즉, 도 31에는, 얼굴 모델 적응부(261)에서 얻어지는 얼굴 모델을 모식적(模式的)으로 도시하고 있다. 또한, 도 31에서, 횡방향에는 z축을 취하고 있다.

얼굴 화상은 사람을 정면에서 촬상해서 얻어지는 화상이기 때문에, 얼굴 화상에서, 그 사람의 얼굴은 정면에서 보이는 범위 밖에 찍혀 있지 않다. 따라서, 얼굴 화상에는 물론, 그 얼굴 화상으로부터 얻어지는 정규화 얼굴 화상에도, 정면에서 보이지 않는 부분, 즉 예를 들면 얼굴의 측면 부분이나 머리 꼭대기부 등은 찍혀 있지 않다.

이 때문에, 그와 같은 정규화 얼굴 화상에 적응시킨 얼굴 모델은 도 31에 도시하는 바와 같이, 얼굴의 측면 부분이나 머리 꼭대기부가 실질적으로 존재하지 않는 것, 즉 그 만큼의 깊이가 없는 것으로 된다.

여기서, 도 31에서는, 얼굴 모델의 맨 앞쪽측의 Z값(z좌표)을 0으로 함과 동시에, z₁, z₂, z₃에 식 0＜z₁＜z₂＜z₃으로 나타내어지는 관계가 있다고 하고, z₁, z₂, z₃ 중, z₂까지밖에 얼굴 모델의 깊이가 존재하지 않는다. 또한, Z값이 클수록, 뒤쪽측인 것을 나타내는 것으로 한다.

확장부(264)는 얼굴 모델에 어느 정도의 깊이를 갖게 하기 위해서, 얼굴 모델의 Z값(z좌표)을 예를 들면 비선형(非線形)인 함수에 따라서 변환하여, 얼굴 모델을 Z방향으로 비선형으로 신장(伸張)하는 것에 의해, 얼굴 모델의 주변 부분을 Z방향으로 확장한다.

즉, 도 32에는, 확장부(264)가 얼굴 모델의 Z값의 변환에 이용하는 함수(이하, 적당히 Z값 변환 함수라고 한다)의 예를 도시하고 있다.

도 32에서는, Z값 변환 함수의 인수(引數: parameter)로 되는, 얼굴 모델 원 래의 Z값인 z_in을 횡축에 취하고, Z값 변환 함수에 의한 변환 후의 Z값인 z_out를 종축에 취하고 있다.

도 32의 Z값 변환 함수에 의하면, 0이상 z₁ 이하의 값의 z_in은 동일한 값의 z_out로 변환되고, z₁을 넘(越)는 값의 z_in은 그 z_in보다 큰 값의 z_out로 변환된다. 예를 들면, z₁보다 크고(大), z₂ 이하의 값인 z_in은 z₁보다 크고, z₃ 이하인 원래의 z_in보다 큰 값의 z_out로 변환된다.

따라서, 도 32의 Z값 변환 함수에 의하면, 도 31에 도시한 얼굴 모델은, 도 33에 도시하는 바와 같이, Z방향(뒤쪽측)으로 확장된다.

즉, 도 33에는, 도 31의 얼굴 모델을 도 32의 Z값 변환 함수에 의거해서, Z방향으로 신장해서 얻어지는 얼굴 모델을, 도 31과 마찬가지로 모식적으로 도시하고 있다.

도 32의 Z값 변환 함수에 의거해서, 도 31의 얼굴 모델의 Z값을 변환하는 것에 의해, 0 이상 z₁ 이하의 Z값은, 동일한 Z값으로 변환되고, z₁을 넘는 Z값은 그것보다 큰 Z값으로 변환된다.

즉, 도 31의 얼굴 모델에 대해서는, z₁보다 크고, z₂ 이하의 범위의 Z값이, z₁보다 크고, z₃ 이하의 범위의 원래의 Z값보다 큰 Z값으로 변환되고, 그 결과, 0에서 z₂까지의 Z값 밖에 취할 수 없었던 도 31의 얼굴 모델은, 0에서 z₃까지의 Z값을 취하는 도 33의 얼굴 모델로 된다.

여기서, 도 34 및 도 35에는, 얼굴 화상에 찍혀 있는 사람(피사체)과, 그 얼굴 화상에서 생성된 얼굴 모델을, 윗방향에서 본 모습을 모식적으로 도시하고 있다.

도 34 및 도 35의 왼쪽에서 1번째에 도시하는 바와 같이, 얼굴 화상은 사람을 정면에서 촬상해서 얻어지는 화상이며, 얼굴 화상에는 그 사람의 얼굴은 정면에서 보이는 범위 밖에 찍혀 있지 않다. 따라서, 얼굴 화상에는 물론, 그 얼굴 화상으로부터 얻어지는 정규화 얼굴 화상에도, 정면에서 보이지 않는 부분, 즉 예를 들면 얼굴의 측면 부분이나 머리 꼭대기부 등은 찍혀 있지 않다.

이 때문에, 그와 같은 정규화 얼굴 화상에 적응시킨 얼굴 모델은 도 34 및 도 35의 왼쪽에서 2번째에 도시하는 바와 같이, 얼굴의 측면 부분 등이 실질적으로 존재하지 않는 것, 즉 그 만큼의 깊이가 없는 것으로 된다.

따라서, 그와 같은 얼굴 모델에 의거해서 얼굴의 CG 애니메이션을 생성(작성)한 경우, 도 34의 왼쪽에서 3번째에 도시하는 바와 같이, 얼굴을 좌우로 조금(僅) 회전시키는 것만으로, 얼굴 모델에 실질적으로 존재하지 않는 얼굴의 측면 부분이 정면 방향을 향하고, 그 결과, CG 애니메이션이 파탄(破綻: destroy)한다.

한편, 도 35의 왼쪽에서 3번째에 도시하는 바와 같이, 그 만큼의 깊이가 없는 얼굴 모델의 주변 부분을 Z방향으로 확장하여, 얼굴 모델에 어느 정도의 깊이를 갖게 하고, 그와 같은 얼굴 모델에 의거해서 얼굴의 CG 애니메이션을 생성한 경우에는, 도 35의 왼쪽에서 4번째에 도시하는 바와 같이, 얼굴을 다소 좌우로 회전시 키더라도, 확장한 주변 부분이 존재하므로, 상술한 바와 같은 CG 애니메이션의 파탄을 방지할 수가 있다.

즉, 도 36에는, 주변 부분을 Z방향으로 확장하고 있지 않은 얼굴 모델에 의거해서, 얼굴의 CG 애니메이션을 생성하고, 마주보아 왼쪽 방향으로 회전시킨 상태를 도시하고 있다.

또, 도 37에는, 주변 부분을 Z방향으로 확장한 얼굴 모델에 의거해서, 얼굴의 CG 애니메이션을 생성하고, 마주보아 왼쪽 방향으로 회전시킨 상태를 도시하고 있다.

도 36에서는, 얼굴 모델의 측면 부분이 존재하지 않기 때문에, 왼쪽 방향으로 회전한 얼굴이 부자연스럽게 찌부러져 버려 있는데 대해, 도 37에서는, 얼굴 모델의 측면 부분이 존재하고 있으므로, 왼쪽 방향을 향한 자연스러운(리얼한) 얼굴의 CG 애니메이션이 실현되고 있는 것을 알 수가 있다.

또한, 얼굴 모델의 Z값의 변환에 이용하는 Z값 변환 함수는, 도 32에 도시한 함수에 한정되는 것은 아니다. 또, 본 실시 형태에서는, Z값 변환 함수를 비선형의 함수로 했지만, Z값 변환 함수는 선형의 함수이더라도 좋다. 단, Z값 변환 함수는 도 32에 도시한 바와 같이, 작은 Z값은 동일한 값으로 변환하고, 큰 Z값은 보다 큰 Z값으로 변환하는 함수로 해서, 즉 얼굴 모델의 앞쪽측의 점은 그대로의 위치로 변환하고, 얼굴 모델의 뒤쪽측의 점일 수록 보다 뒤쪽측으로 이동시키는 것이 바람직하다.

다음에, 도 38∼도 40을 참조해서, 도 25의 합성부(265)의 처리에 대해서 설 명한다.

합성부(265)는 확장부(264)에서 공급되는 얼굴 모델에 대해서, 목 모델 적응부(262)에서 공급되는 목 모델과, 귀 모델 적응부(263)에서 공급되는 귀 모델 중, 얼굴 모델보다도 앞쪽측의 부분을 합성한다.

즉, 도 38에는, 얼굴 모델에 대해서 목 모델 중, 얼굴 모델보다도 앞쪽측의 부분을 합성하는 모습(樣子)을 모식적으로 도시하고 있다.

또한, 도 38에서는, 횡방향이 Z방향이며, 왼쪽이 앞쪽측이고, 오른쪽이 뒤쪽측으로 되어 있다.

합성부(265)는 목 모델의 각 점의 Z값을, 그 점과 좌표(x, y)가 동일한 얼굴 모델의 점(목 모델의 점에 대응하는 얼굴 모델의 점)의 Z값을 비교한다. 그리고, 목 모델의 점의 Z값이, 그것에 대응하는 얼굴 모델의 점의 Z값 미만인 경우, 다시말해 목 모델의 점이 도 38에서 화살표 a₁로 나타내는 바와 같이, 그것에 대응하는 얼굴 모델의 점보다도 앞쪽측에 있는 경우(목 모델의 점의 앞쪽측에 얼굴 모델이 존재하지 않는 경우), 그 목 모델의 점을 얼굴 모델에 합성한다.

한편, 목 모델의 점의 Z값이, 그것에 대응하는 얼굴 모델의 점의 Z값 이상인 경우, 다시말해 목 모델의 점이 도 38에서 화살표 a₂로 나타내는 바와 같이, 그것에 대응하는 얼굴 모델의 점보다 안쪽측에 있는 경우(또는, Z방향에 대해서 동일 위치에 있는 경우), 그 목 모델의 점은 얼굴 모델에 합성되지 않는다.

합성부(265)는 귀 모델에 대해서도 목 모델과 마찬가지로, 귀 모델 중, 얼굴 모델보다도 앞쪽측의 부분을 얼굴 모델에 합성한다.

예를 들면, 디지털 카메라 등에 의해서, 피사체인 사람을 촬상해서, 얼굴 화상을 얻는 경우, 그 얼굴 화상에서의 목이나 귀의 찍힘 정도(具合: degree)는 피사체로 된 사람의 개성(머리 모양이나, 자태, 자세 등)이나, 촬상시의 각도(촬영 방향)의 조금의 어긋남 등에 의해서 크게 다르다. 이 때문에, 표준 얼굴 모델을 정규화 얼굴 화상에 찍혀 있는 얼굴에 적응시키는 것만으로는, 목이나 귀가 부자연스러운 얼굴 모델, 따라서, 전체적으로도 부자연스러운 얼굴 모델이 얻어지는 일이 있다.

그래서, 얼굴 처리부(252)(도 25)에서는, 얼굴(안면)의 얼굴 모델(귀와 목의 3차원 형상이 없는 얼굴 모델)과는 별로, 목 모델과 귀 모델을 생성해서 얼굴 모델에 합성함으로써, 자연스러운 얼굴 모델을 얻도록 되어 있다.

즉, 도 39는 표준 얼굴 모델을 정규화 얼굴 화상에 찍혀 있는 얼굴에 적응시켜 얻어지는 얼굴 모델의 좌측면도이며, 도 40은 그 얼굴 모델에 목 모델과 귀 모델을 합성해서 얻어지는 얼굴 모델의 좌측면도이다.

도 39에서는, 귀(왼쪽 귀)가 부자연스럽게 비뚤어지고, 목이 거의 존재하지 않는 얼굴 모델로 되어 있는데 대해, 도 40에서는, 자연스러운 귀와 목이 존재하며, 전체적으로 자연스러운 얼굴 모델로 되어 있는 것을 알 수 있다.

다음에, 도 41∼도 46을 참조해서, 도 25의 두발 처리부(253)의 처리에 대해서 설명한다.

두발은, 일반적으로 얼굴의 윤곽 내측에도, 얼굴의 윤곽으로부터 비어져 나 온 범위에도 존재하며, 즉 얼굴 모델의 윤곽으로부터 비어져 나온 범위에도 존재하고, 또 머리 모양은 사람에 따라서 크게 다르다. 그래서, 두발 처리부(253)는 얼굴 모델과는 별도로, 3차원 형상을 가지는 두발 모델을 생성하고, 이것에 의해, 정규화 얼굴 화상에 찍혀 있는 사람의 두발의 머리 모양이나 질감과 마찬가지 머리 모양이나 질감을 가지는 두발의 얼굴 모델을 실현한다.

즉, 두발 처리부(253)의 매핑부(271)(도 25)는 상세 특징점 추출부(135)(도 2)로부터의 상세 특징점으로부터, 정규화 얼굴 화상에 찍혀 있는 얼굴의 윤곽을 인식하고, 그 얼굴의 윤곽에 의거해서, 정규화 얼굴 화상 기억부(133)(도 2)로부터의 정규화 얼굴 화상 상에, 두발 윤곽선으로 둘러싸이는 두발 존재 영역을 설정(결정)한다.

여기서, 두발 윤곽선은 두발이 존재할 수 있다고 예상되는 범위의 윤곽선이다.

매핑부(271)는 정규화 얼굴 화상의 두발 존재 영역에, 표준 3차원 모델 기억부(251)에 기억된 두발 모델(이하, 적당히 표준 두발 모델이라고 한다)을 매핑한다.

즉, 예를 들면 두발 존재 영역에는 매핑에 이용되는 점으로서의 1이상의 매핑점이 설정되어 있고(결정되어 있고), 표준 두발 모델에는 각 매핑점에 대응하는 점(대응점)이 설정되어 있다. 매핑부(271)는 정규화 얼굴 화상 상의 두발 존재 영역의 매핑점이 표준 두발 모델의 대응점에 일치하도록, 표준 두발 모델을 변형한다.

도 41에는, 표준 두발 모델을 정규화 얼굴 화상(의 두발 존재 영역)에 매핑해서 얻어지는 두발 모델을 도시하고 있다.

또한, 도 41의 좌측은 두발 모델의 정면도이며, 도 41의 우측은 두발 모델의 좌측면도이다.

도 41에 도시하는 바와 같이, 두발 모델은 머리 꼭대기부로부터 이마에 걸쳐서 얼굴 형상의 앞쪽측을 덮고, 측방 머리(側頭) 상부에서 중부(中部)로 걸쳐서 얼굴 형상보다 후측(後側)(뒤쪽측)을 향해 내려 가는 3차원 형상을 가진다.

매핑부(271)는 도 41에 도시하는 바와 같이 두발 모델을 정규화 얼굴 화상에 매핑하고, 그 매핑 후의 두발 모델을 Z값 변경부(273)(도 25)에 공급한다.

한편, 두발 처리부(253)의 비두발 부분 검출부(272)(도 25)는 정규화 얼굴 화상 기억부(133)에 기억된 정규화 얼굴 화상에서, 예를 들면 검지 않은 부분(영역)과 살색 부분을, 두발이 아닌 비두발 영역으로서 검출하고, 그 비두발 영역의 정보를 Z값 변경부(273)에 공급한다.

Z값 변경부(273)는 비두발 부분 검출부(272)에서 공급되는 정보로부터, 정규화 얼굴 화상 상의 비두발 부분을 인식하고, 매핑부(271)로부터의 두발 모델 중, 비두발 부분에 매핑된 부분의 Z값을 변경한다. 즉, Z값 변경부(273)는 두발 모델과 얼굴 처리부(252)(도 25)에서 얻어지는 얼굴 모델을 합성했을 때에, 두발 모델 중, 비두발 부분에 매핑된 부분이, 얼굴 모델보다도 안쪽측에 위치하도록, 두발 모델의 Z값을 변경한다. 구체적으로는, Z값 변경부(273)는 두발 모델 중, 비두발 부분에 매핑된 부분의 Z값을, 예를 들면 무한대에 상당하는 큰 값으로 변경한다.

이것에 의해, 도 41에 도시한 두발 모델은 도 42에 도시하는 바와 같이 된다.

즉, 도 42에는, 도 41의 두발 모델 중, 비두발 부분에 매핑된 부분의 Z값을 변경해서 얻어지는 두발 모델을 도시하고 있다.

또한, 도 41과 마찬가지로, 도 42의 좌측은 두발 모델의 정면도이며, 도 42의 우측은 두발 모델의 좌측면도이다.

도 42에 도시하는 바와 같이, 정규화 얼굴 화상에 찍혀 있는 사람의 두발의 머리 모양이나 질감과 마찬가지 머리 모양이나 질감을 가지는 두발 모델을 얻을 수 있다.

여기서, 도 43에는, 어떤 정규화 얼굴 화상으로부터 얻어진 얼굴 모델에 두발 모델을 합성하지 않고서 생성한 CG를 도시하고 있고, 도 44에는, 그 얼굴 모델에 두발 모델을 합성해서 생성한 CG를 도시하고 있다. 또, 도 45에는, 다른 정규화 얼굴 화상으로부터 얻어진 얼굴 모델에 두발 모델을 합성하지 않고서 생성한 CG를 도시하고 있고, 도 46에는, 그 얼굴 모델에 두발 모델을 합성해서 생성한 CG를 도시하고 있다.

도 43이나 도 45의, 두발 모델없이 생성된 CG에서는, 두발이 얼굴의 윤곽(표면)에 첩부(貼付: stick)한 바와 같이 부자연스럽게 찌부러져 버려 있는데 대해, 도 44나 도 46의, 두발 모델을 이용해서 생성된 CG에서는, 질감 등이 자연스러운 두발로 되어 있는 것을 알 수 있다.

다음에, 도 47의 플로차트를 참조해서, 도 2의 얼굴 모델 생성부(136)가, 도 3의 스텝 S105에서 행하는, 얼굴 모델을 생성하는 처리에 대해서 설명한다.

얼굴 모델 생성부(136)의 얼굴 처리부(252)(도 25)에서의 얼굴 모델 적응부(261)가 스텝 S251에서, 상세 특징점 추출부(135)에서 공급되는 상세 특징점 등에 의거해서, 표준 3차원 모델 기억부(251)에 기억된 표준 얼굴 모델을 정규화 얼굴 화상 기억부(133)에 기억된 정규화 얼굴 화상에 찍혀 있는 얼굴(안면)에 적응시키고, 이것에 의해, 정규화 얼굴 화상에 찍혀 있는 얼굴(안면)의 3차원 모델로서의 얼굴 모델을 생성하여, 확장부(264)에 공급하고, 스텝 S252로 진행한다.

스텝 S252에서는, 확장부(264)는 얼굴 모델 적응부(261)에서 공급되는 얼굴 모델의 주변 부분을 Z방향으로 확장하고, 그 결과 얻어지는 얼굴 모델을 합성부(265)에 공급하고, 스텝 S253으로 진행한다.

스텝 S253에서는, 목 모델 적응부(262)가 상세 특징점 추출부(135)에서 공급되는 상세 특징점 등에 의거해서, 표준 3차원 모델 기억부(251)에 기억된 목 모델을 정규화 얼굴 화상 기억부(133)로부터의 정규화 얼굴 화상에 찍혀 있는 목에 적응시키고, 이것에 의해, 정규화 얼굴 화상에 찍혀 있는 목의 3차원 모델로서의 목 모델을 생성하여, 합성부(265)에 공급하고, 스텝 S254로 진행한다.

스텝 S254에서는, 귀 모델 적응부(263)가 상세 특징점 추출부(135)로부터의 상세 특징점 등에 의거해서, 표준 3차원 모델 기억부(251)로부터의 귀 모델을 정규화 얼굴 화상 기억부(133)로부터의 정규화 얼굴 화상에 찍혀 있는 귀(좌우의 귀)에 적응시키고, 이것에 의해, 정규화 얼굴 화상에 찍혀 있는 귀의 3차원 모델로서의 귀 모델을 생성하여, 합성부(265)에 공급하고, 스텝 S255로 진행한다.

스텝 S255에서는, 합성부(265)가 확장부(264)에서 공급되는 얼굴 모델에 대해서, 목 모델 적응부(262)에서 공급되는 목 모델과 귀 모델 적응부(263)에서 공급되는 귀 모델 중, 얼굴 모델보다도 앞쪽측의 부분을 합성하고, 그 합성 후의 얼굴 모델을 합성부(254)에 공급하고, 리턴(return)한다.

다음에, 도 48의 플로차트를 참조해서, 도 2의 얼굴 모델 생성부(136)가 도 3의 스텝 S106에서 행하는, 두발 모델을 생성하여 얼굴 모델에 합성하는 처리에 대해서 설명한다.

얼굴 모델 생성부(136)의 두발 처리부(253)(도 25)에서의 매핑부(271)는 스텝 S271에서, 상세 특징점 추출부(135)로부터의 상세 특징점 등에 의거해서, 정규화 얼굴 화상 기억부(133)(도 2)에 기억된 정규화 얼굴 화상 상에 두발 윤곽선을 설정하고(그리고), 그 두발 윤곽선으로 둘러싸이는 두발 존재 영역을 인식하고, 스텝 S272로 진행한다.

스텝 S272에서는, 매핑부(271)가 정규화 얼굴 화상의 두발 존재 영역에, 표준 3차원 모델 기억부(251)에 기억된 표준 두발 모델을 매핑하고, 그 매핑의 결과 얻어지는 두발 모델을 Z값 변경부(273)에 공급하고, 스텝 S273으로 진행한다.

스텝 S273에서는, 비두발 부분 검출부(272)가 정규화 얼굴 화상 기억부(133)에 기억된 정규화 얼굴 화상으로부터, 두발이 아닌 부분인 비두발 부분을 검출하고, 그 비두발 부분의 정보를 Z값 변경부(273)에 공급하고, 스텝 S274로 진행한다.

스텝 S274에서는, Z값 변경부(273)가 비두발 부분 검출부(272)에서 공급되는 정보로부터, 정규화 얼굴 화상의 비두발 부분을 인식한다. 또, Z값 변경부(273)는 매핑부(271)에서 공급되는 두발 모델 중, 비두발 부분에 매핑된 부분을 검출하고, 그 비두발 부분에 매핑된 부분의 Z값을 변경한다. 그리고, Z값 변경부(273)는 Z값 변경 후의 두발 모델을 필터부(274)에 공급하고, 스텝 S274에서 S275로 진행한다.

스텝 S275에서는, 필터부(274)는 Z값 변경부(273)로부터의 두발 모델의 Z값에 대해서, 로우패스 필터에 의한 필터링을 행한다. 이 필터링에 의해서 두발 모델의, Z방향에 대해서 급준(急峻: sharp)하게 변화하고 있는 부분은 매끄럽게(滑: smooth) 변화하도록 변경되고, 두발 모델은 자연스러운 두발을 나타내는 것으로 된다. 필터부(274)는 Z값의 필터링을 행한 두발 모델을 합성부(254)에 공급하고, 스텝 S276으로 진행한다.

스텝 S276에서는, 얼굴 모델 생성부(136)에서의 합성부(254)(도 25)가 얼굴 처리부(265)의 합성부(265)에서 공급되는 얼굴 모델에, 두발 처리부(253)의 필터부(274)에서 공급되는 두발 모델 중, 얼굴 모델보다도 앞쪽측의 부분을 합성하고, 리턴한다.

그 후, 얼굴 모델 생성부(136)(의 합성부(254))는 도 3의 스텝 S107에서 설명한 바와 같이, 두발 모델이 합성된 얼굴 모델에 대해서, 상세 특징점 추출부(135)로부터 공급되는 상세 특징점에 의거해서, 눈 모델과 치아 모델을 매립하고, 그 결과 얻어지는 얼굴 모델을, 최종적인 얼굴 모델로서 얼굴 모델 기억부(137)(도 2)에 공급하여 기억시킨다.

또한, 눈 모델이 매립된 후의 얼굴 모델이 부자연스러운 것으로 되지 않도록, 얼굴 모델에 매립되는 눈 모델의 흰 자위 부분의 화소값은 정규화 얼굴 화상에 찍혀 있는 얼굴의 눈의 흰 자위 부분의 화소값에 의거해서, 그 화소값과 마찬가지 값으로 보정된다.

이상과 같이 해서, 얼굴 모델이 얼굴 모델 기억부(137)에 기억된 후에는, 도 3의 스텝 S108에서 설명한 바와 같이, 애니메이션 처리부(138)(도 2)가 얼굴 모델 기억부(137)에 기억된 얼굴 모델에 의거해서, 조작부(139)의 조작에 따라 얼굴(의 부위)이 움직이는 CG 애니메이션(의 데이터)을 생성하여, 표시부(140)에 공급한다. 이것에 의해, 표시부(140)에서는, 기억부(131)에 기억된 얼굴 화상에 찍혀 있는 얼굴의 CG가 조작부(139)의 조작에 따라 움직이는 CG 애니메이션이 표시된다.

도 49∼도 52에는 이상과 같이 해서, 표시부(140)에 표시된 CG 애니메이션을 도시하고 있다.

즉, 도 49에는, 원래의 얼굴 화상(얼굴 모델, 나아가서는 CG 애니메이션을 생성하는데 이용한 얼굴 화상)에 찍혀 있는 얼굴과 마찬가지 상태의 CG 애니메이션을 도시하고 있다.

또, 도 50에는, 눈(눈꺼풀)을 감은 상태의 CG 애니메이션을 도시하고있고, 도 51에는, 입을 연 상태의 CG 애니메이션을 도시하고 있다. 도 52에는, 얼굴(목)을 마주보아 왼쪽으로 회전하고, 눈동자도 마주보아 왼쪽으로 이동한 상태의 CG 애니메이션을 도시하고 있다.

도 49∼도 52로부터, 리얼한 CG 애니메이션이 실현되고 있는 것을 알 수 있다.

또한, 눈의 개폐(깜박임)는 눈의 상세 특징점에 의거해서 행해지고, 입의 개 폐는 입의 상세 특징점에 의거해서 행해진다. 또, 얼굴의 회전은 턱의 상세 특징점에 의거해서, 얼굴과 목을 분리해서 행해진다.

이상과 같이, 도 2의 화상 처리 장치에 의하면, 매우 사실적인 CG 애니메이션을 용이하게 생성(작성)할 수가 있다.

또, 1매의 얼굴 화상으로부터 CG 애니메이션을 생성할 수 있으므로, 예를 들면 배우나 역사상의 인물 등의, 실제로 촬영하는 것이 곤란한 인물이더라도, 사진 등으로부터 그 인물의 CG 애니메이션을 생성하여, 동화상(動畵: video)(영상)을 제작할 수가 있다.

또한, 얼굴의 CG 애니메이션은 예를 들면 마우스가 조작되어, CG 애니메이션이 표시되어 있는 화면의 임의의 위치가 클릭된 경우에, 그 클릭된 위치의 방향으로 시선과 목을 향하게 하도록 할 수가 있다.

또, 얼굴의 CG 애니메이션은 예를 들면 복수의 버튼 중 어느것인가의 버튼이 조작된 경우에, 그 조작된 버튼에 따라 표정(눈이나 입의 열림 정도나 시선의 방향 등)을 바꾸거나, 혹은 목(얼굴) 등을 움직이도록 할 수가 있다.

또, 얼굴의 CG 애니메이션은 유저의 몸짓 등을 센서에 의해서 검출하고, 그 몸짓에 따라 움직이도록 할 수가 있다.

또, 얼굴의 CG 애니메이션은 유저의 얼굴을 카메라로 촬상해서 특징점의 움직임을 추출(검출)하고, 그 움직임과 마찬가지로 움직이도록 할 수가 있다.

또, 얼굴의 CG 애니메이션에는 CG에 의한 각종 장식(裝飾), 가공을 행할 수가 있다.

예를 들면, 얼굴의 CG 애니메이션에는, 임의의 배경을 합성할 수가 있다. 또, 예를 들면 CG 애니메이션에는 모자나, 관(冠), 티아라(tiara) 등의 쓰개를 부가할 수가 있다. 또, 예를 들면, CG 애니메이션에는, 네클리스(necklace: 목걸이)나, 이어링(earing: 귀걸이), 피어스(piercing) 등의 장식품을 부가할 수가 있다. 또, 예를 들면, CG 애니메이션에는 안경이나 컬러 콘택트렌즈 등의 소위 아이웨어(eye wear)를 부가할 수가 있다. 또, 예를 들면, 얼굴의 CG 애니메이션에는, 페이스페인트(face paint: 화장)을 행하거나, 혹은 땀이나 혈관, 새파래진 상태를 나타내는 심볼 등의, 소위 만화적 연출을 행할 수가 있다. 또, 예를 들면, 여러가지 두발 형태의 두발 모델을 준비해 두고, 그 중의 임의의 두발 모델을 이용해서 애니메이션 CG를 생성하도록 할 수가 있다. 또, 예를 들면, 얼굴의 CG 애니메이션에는, 나비나 벌 등의 벌레의 CG 애니메이션을 표시하고, 그 벌레의 움직임에 추종(追從)하는 움직임을 하게 하며, 또 그 벌레를 먹는 움직임을 하게 할 수가 있다.

또한, 상술한 실시 형태에서는, 도 1에 도시한 범용 컴퓨터에서, 얼굴 모델을 생성하는 모델링 처리를 행하고, 나아가서는 그 얼굴 모델로부터, 리얼한 CG 애니메이션을 생성(작성)하는 애니메이션 처리를 행하도록 했지만, 모델링 처리나 애니메이션 처리는 컴퓨터 이외의 임의의 장치에서 행하는 것이 가능하다.

특히, 화상을 촬상하는 촬상 장치와 화상을 표시하는 표시 장치를 가지는, 예를 들면 휴대 전화기나 디지탈 카메라, 화상 전화기 등에서는, 얼굴 화상의 촬상, 그 얼굴 화상을 이용한 모델링 처리 및 그 모델링 처리에 의해서 얻어지는 얼굴 모델을 이용한 애니메이션 처리를 모두 행하고, 또 그 애니메이션 처리에 의해 서 얻어지는 CG 애니메이션을 표시할 수가 있다.

또, 모델링 처리 및 애니메이션 처리를, 통신 기능을 가지는 장치, 즉 예를 들면 화상 전화기 등에 실장한 경우에는, 전화 상대의 실제의 화상 대신에, 애니메이션 처리에 의해서 얻어지는 CG 애니메이션을 표시하여, 통화(커뮤니케이션)를 행하는, 소위 캐릭터 전화(character communication)을 실현할 수가 있다.

이 경우, 방대한 정보량을 매우 저코스트로 전달할 수가 있다. 즉, 화상 전화기에서, 실제의 유저의 화상을 표시하는 경우에는, 어느 정도 짧은 주기(周期)로, 유저의 화상을 전화 상대의 장치에 송신할 필요가 있다. 이것에 대해서, CG 애니메이션이면, 그 CG 애니메이션의 데이터를 송신하고, 그 후에는 그 CG 애니메이션을 움직이는 데이터만을 보내면 좋다. 또, CG 애니메이션에 의하면, 유저는 현재의 유저의 화상을 실제로 송신하지 않아도, 전화 상대에게 자신의 존재를 인식시킬 수가 있다. 또, 유저는 현재의 유저의 화상을 실제로 송신하지 않아도 되므로, 현재의 상황을 전화 상대에게 알리고 싶지 않을 때에, 프라이버시가 유지된다. 또, CG 애니메이션은, 리얼한 CG이기 때문에, 유저의 표정도 반영된다. 사람은 타인의 표정을 순식간에 읽어낼(讀取: recognize) 수 있기 때문에, 유저가 어떤 의미의 표정을 한 CG 애니메이션을, 전화 상대에게 송신함으로써, 유저가 의도하는 정보를 효과적이고 효율적으로, 전화 상대에게 전달할 수가 있다. 또, 표정을 부가하는 것에 의해, 보다 기억에 남는 커뮤니케이션이 가능하게 된다.

또한, 상술한 바와 같이 리얼한 얼굴의 CG 애니메이션은 예를 들면 휴대 전화기에서의, 소위 착(着: call signal) 애니메이션, 대기(待受: idle screen) 애니 메이션 등으로서 사용할 수가 있다. 또, 휴대전화기에서는, 착신 시에 CG 애니메이션을 표시시키고, 착신음으로서의 노래 등과 아울러, 노래를 부르고 있는 바오 같이 움직이게 할 수가 있다. 또, 휴대 전화기에서는, 소유자 얼굴의 얼굴 모델(의 데이터)을 전화 상대의 휴대전화기에 송신하고, 그 휴대 전화기에서, 얼굴 모델에 의거해서 CG 애니메이션을 생성하여 표시할 수가 있다.

또, 얼굴의 CG 애니메이션은 예를 들면 게임에도 이용할 수가 있다. 즉, RPG(Role Playing game)에서, 주인공의 CG에 유저 얼굴의 CG 애니메이션을 이용할 수가 있다. 또, 소위 액션 게임이나, 레이스 게임, 격투 게임 등에서는, 유저가 조작하는 캐릭터의 CG에, 그 유저의 얼굴의 CG 애니메이션을 이용할 수가 있다.

이 경우, 유저는 게임의 캐릭터에 대한 깊은 생각(思入)이 매우 강해져, 게임의 즐거움이 증가한다.

또, 모델링 처리 중, 상세 특징점을 추출(검출)하는 처리는 예를 들면, 게임의 진행이나 캐릭터의 움직임 등을 상세 특징점에 의거해서 제어하는데 이용할 수가 있다. 즉, 예를 들면, 유저의 얼굴을 카메라로 촬상해서 얻어지는 얼굴의 화상으로부터, 상세 특징점을 추출하고, 그 특징점에 의거해서, 게임의 진행이나 얼굴의 CG 애니메이션의 움직임을 제어할 수가 있다.

유저의 얼굴을 카메라로 촬상해서 얻어지는 얼굴의 화상으로부터 추출한 상세 특징점에 의거해서, 게임의 진행 등을 제어하는 경우에는, 유저가 얼굴을 움직이는 것에 의해, 얼굴의 근육이 활성화되고, 표정이 풍부하게 되거나, 혹은 소위 젊어지는 것(若返)을 촉진하는 것이 가능해진다.

또, 모델링 처리 및 애니메이션 처리(버튼의 조작 및 그 밖의 입력에 대해서 인터액티브(interactively)하게 CG 애니메이션을 움직이는 인터액션(interaction) 처리를 포함한다)는 게임 및 그밖의 어플리케이션(소프트웨어)의 개발용 미들웨어로서 제공할 수 있다. 즉, 예를 들면, 모델링 처리 및 애니메이션 처리를 행하는 프로그램은 어플리케이션 개발에 이용 가능한 API(Application Programming Interface)로서 제공할 수가 있다. 이 경우, 예를 들면, 카메라 등으로 촬상된 얼굴 화상으로부터의 얼굴 모델의 생성, 그 얼굴 모델로부터의 CG 애니메이션의 생성, 그 CG 애니메이션에 대한 표정 부가, 그 CG 애니메이션의 움직임 제어 등은 API를 이용하는 것에 의해, 용이하게 행할 수가 있다.

또, 얼굴의 CG 애니메이션은 예를 들면 텔레비전 방송의 뉴스 프로그램에서, 소위 버추얼(virtual)한 뉴스 캐스터로서 이용할 수가 있다. 또, 예를 들면, 텍스트 음성 합성을 이용함으로써, 실제의 아나운서가 뉴스를 읽어올라가지 않아도, 뉴스 프로그램을 편성(編成)하는 것이 가능해진다.

또, 얼굴의 CG 애니메이션은 Web 사이트나, 기기, 어플리케이션 등에서, 여러가지 서비스를 제공하는 에이전트로서 이용할 수가 있다. 즉, 얼굴의 CG 애니메이션은, 예를 들면 회사의 Web 사이트에서 접수적인 존재를 하는 에이전트로서 이용할 수가 있다. 또, 얼굴의 CG 애니메이션은 예를 들면 Web 사이트의 컨텐츠를 안내하는 에이전트나, 온라인 숍의 Web 사이트에서 상품을 소개하는 에이전트나, 개인의 Web 페이지에서, 그 개인의 자기 소개를 행하는 에이전트 등으로서 이용할 수가 있다. 또, 얼굴의 CG 애니메이션은, 예를 들면 표시 기능을 가지는 기기에서 표시하고, 그 기기의 기능을 소개하는 에이전트로서 이용할 수가 있다. 얼굴의 CG 애니메이션은, 예를 들면 컴퓨터에 인스톨되어 실행되는 어플리케이션에서, 헬프 회답을 행하는 에이전트로서 이용할 수가 있다.

이 경우, 예를 들면, 유저가 좋아하는 사람(예를 들면, 조부나 조모는 손자, 그밖에 좋아하는 유명인 등)의 CG 애니메이션을 에이전트로 할 수 있으며, 보다 친밀감이 있는 인터페이스를 구축해서, 퀄리티 오브 라이프를 향상시킬 수가 있다.

또, 얼굴의 CG 애니메이션은, 가상(假想) 공간에서, 유저를 나타내는 캐릭터인 아바타로서 이용할 수가 있다. 또, 가상 공간에서 채팅의 기능이 제공되고 있는 경우에는, 아바타로서의 CG 애니메이션을 채팅의 상대방의 장치에 표시해서 회화를 하게 할 수가 있다.

또, 예를 들면, 여러가지 두발 형태의 두발 모델을 준비해 두고, 그 중의 임의의 두발 모델을 이용해서 애니메이션 CG를 생성하여 표시하는 것에 의해, 예를 들면 미용실 등에서, 실제로 머리카락을 커트 등 하기 전에, 커트 후의 머리 모양을 확인할 수가 있다.

또, 예를 들면, 여러가지 안경의 CG를 준비해 두고, 그 안경의 CG를 얼굴의 CG 애니메이션에 부가하는 것에 의해, 유저가 실제의 안경을 쓰지 않더라도, 썼을 때의 용자(容姿: 얼굴모양과 몸매)를 확인할 수가 있다.

또, 예를 들면, 범용 컴퓨터에, 디지털 카메라로 촬상한 얼굴 화상을 취입하고, 그 얼굴 화상으로부터 CG 애니메이션을 작성하는 경우에는, 예를 들면, 그와 같은 CG 애니메이션에 의한 앨범을 작성할 수가 있다. 또, 예를 들면, 범용 컴퓨터 에 여러가지 스토리의 템플레이트(스토리 템플레이트)를 준비해 두고, 그 스토리 템플레이트에 유저 자신이나 친구의 얼굴 화상을 첩부하고, CG 애니메이션에 의한 즉석 쇼트 필름(영화)을 작성하거나, 혹은 가족의 얼굴 화상을 첩부하여, CG 애니메이션에 의한 가족 드라마를 작성한다고 하는 것이 가능해진다.

또, 예를 들면 CG 애니메이션은 동물이나 벌레, 무생물 등이 찍힌 다른 화상(영상)과 합성하여, 영상을 제작하는데 이용할 수가 있다.

또한, 본 실시 형태에서는 사람의 얼굴을 대상으로 해서 3차원 모델의 생성, 나아가서는 CG 아니메이션의 생성을 행했지만, 3차원 모델의 생성 및 CG 애니메이션의 생성은 사람의 얼굴 이외에, 예를 들면 동물의 얼굴, 또 그 밖의 물체를 대상으로 해서 행하는 것이 가능하다.

또, 본 실시 형태에서는, 1매의 얼굴 화상으로부터 얼굴 모델을 생성하도록 했지만, 얼굴 모델은 복수매의 얼굴 화상에서 생성하는 것도 가능하다.

본 발명에 의하면, 화상으로부터 3차원 모델을 용이하게 얻을 수 있다. 또, 본 발명에 의하면, 화상으로부터 정밀도가 높은 특징점을 용이하게 얻을 수 있다. 그 결과, 예를 들면 리얼한 애니메이션을 용이하게 실현하는 것이 가능해진다.

Claims (21)

1. 3차원의 물체가 표시된 2차원의 화상(畵像)으로부터, 상기 물체의 3차원 모델을 생성하는 화상 처리 장치에 있어서,

   상기 화상으로부터, 그 화상에 표시되어 있는 상기 물체의 3차원 모델을 생성하는 3차원 모델 생성 수단과,

   상기 3차원 모델 생성 수단에서 생성된 상기 3차원 모델의 주변 부분을, 깊이(奧行: depth) 방향인 Z방향으로 확장하는 확장 수단

   을 구비하는 것을 특징으로 하는 화상 처리 장치.
2. 제1항에 있어서,

   상기 확장 수단은, 상기 3차원 모델을 Z방향으로 비선형(非線形)으로 신장(伸張)하는 것에 의해, 상기 3차원 모델의 주변 부분을 Z방향으로 확장하는

   것을 특징으로 하는 화상 처리 장치.
3. 제1항에 있어서,

   상기 3차원 모델 생성 수단은, 1매(枚)의 상기 화상으로부터 상기 3차원 모델을 생성하는

   것을 특징으로 하는 화상 처리 장치.
4. 제1항에 있어서,

   상기 화상에는, 얼굴(顔)이 표시되고 있고,

   상기 3차원 모델 생성 수단은, 상기 화상에 표시되어 있는 상기 얼굴의 3차원 모델인 얼굴 모델을 생성하는

   것을 특징으로 하는 화상 처리 장치.
5. 제4항에 있어서,

   상기 화상에, 미리 준비되어 있는 두발(頭髮)의 모델인 두발 모델을 매핑(mapping)하는 매핑 수단과,

   상기 화상으로부터, 두발이 아닌 부분인 비두발(非頭髮) 부분을 검출(檢出)하는 비두발 부분 검출 수단과,

   상기 화상에 매핑된 상기 두발 모델 중, 상기 비두발 부분에 매핑된 부분의, Z방향의 위치를 나타내는 Z값을 변경하는 Z값 변경 수단과,

   상기 Z값 변경 수단에서 Z값이 변경된 상기 두발 모델과 상기 얼굴 모델을 합성하는 합성 수단

   을 더 구비하는 것을 특징으로 하는 화상 처리 장치.
6. 제5항에 있어서,

   상기 Z값 변경 수단에서 Z값이 변경된 상기 두발 모델의 Z값에 대해서, 로우패스 필터에 의한 필터링을 행하는 필터 수단을 더 구비하는

   것을 특징으로 하는 화상 처리 장치.
7. 제5항에 있어서,

   상기 Z값 변경 수단은, 상기 두발 모델과 상기 얼굴 모델을 합성했을 때에, 상기 두발 모델 중, 상기 비두발 부분에 매핑된 부분이, 상기 얼굴 모델보다도 뒤쪽측(奧側: behind)에 위치하도록 Z값을 변경하는

   것을 특징으로 하는 화상 처리 장치.
8. 제4항에 있어서,

   얼굴의 소정 부위의 템플레이트의 위치와 사이즈를, 상기 화상에 표시되어 있는 얼굴에 적응(適應: fit)시키는 제1 적응 수단과,

   상기 템플레이트의 형상을 규정하는 복수(複數)의 파라미터를, 그 복수보다 적은 1이상의 파라미터에 의거해서 변경하는 것에 의해, 위치와 사이즈가 상기 화상에 표시되어 있는 얼굴에 적응한 상기 템플레이트의 형상을, 상기 소정 부위의 형상의 범위 내에서 변형하고, 상기 화상에 표시되어 있는 얼굴에 적응시키는 제2 적응 수단

   을 더 구비하고,

   상기 3차원 모델 생성 수단은, 위치, 사이즈 및 형상이 상기 화상에 표시되어 있는 얼굴에 적응한 상기 템플레이트로부터 얻어지는 얼굴의 특징점에 의거해서, 상기 화상에 표시되어 있는 상기 얼굴의 얼굴 모델을 생성하는

   것을 특징으로 하는 화상 처리 장치.
9. 3차원의 물체가 표시된 2차원의 화상으로부터, 상기 물체의 3차원 모델을 생성하는 화상 처리 방법에 있어서,

   상기 화상으로부터, 그 화상에 표시되어 있는 상기 물체의 3차원 모델을 생성하는 3차원 모델 생성 스텝과,

   상기 3차원 모델 생성 스텝에서 생성된 상기 3차원 모델의 주변 부분을, 깊이 방향인 Z방향으로 확장하는 확장 스텝

   을 포함하는 것을 특징으로 하는 화상 처리 방법.
10. 3차원의 물체가 표시된 2차원의 화상으로부터, 상기 물체의 3차원 모델을 생성하는 화상 처리를, 컴퓨터에 실행시키는 프로그램에 있어서,

    상기 화상으로부터, 그 화상에 표시되어 있는 상기 물체의 3차원 모델을 생성하는 3차원 모델 생성 스텝과,

    상기 3차원 모델 생성 스텝에서 생성된 상기 3차원 모델의 주변 부분을, 깊이 방향인 Z방향으로 확장하는 확장 스텝

    을 포함하는 것을 특징으로 하는 프로그램.
11. 3차원의 얼굴이 표시된 2차원의 화상으로부터, 상기 얼굴의 3차원 모델인 얼굴 모델을 생성하는 화상 처리 장치에 있어서,

    상기 화상으로부터, 그 화상에 표시되어 있는 상기 얼굴의 3차원 모델인 얼굴 모델을 생성하는 3차원 모델 생성 수단과,

    상기 화상에, 미리 준비되어 있는 두발의 모델인 두발 모델을 매핑하는 매핑 수단과,

    상기 화상으로부터, 두발이 아닌 부분인 비두발 부분을 검출하는 비두발 부분 검출 수단과,

    상기 화상에 매핑된 상기 두발 모델 중, 상기 비두발 부분에 매핑된 부분의, 깊이 방향인 Z방향의 위치를 나타내는 Z값을 변경하는 Z값 변경 수단과

    상기 Z값 변경 수단에서 Z값이 변경된 상기 두발 모델과 상기 얼굴 모델을 합성하는 합성 수단

    을 구비하는 것을 특징으로 하는 화상 처리 장치.
12. 제11항에 있어서,

    상기 3차원 모델 생성 수단은, 1매의 상기 화상으로부터 상기 얼굴 모델을 생성하는

    것을 특징으로 하는 화상 처리 장치.
13. 제11항에 있어서,

    상기 Z값 변경 수단에서 Z값이 변경된 상기 두발 모델의 Z값에 대해서, 로우패스 필터에 의한 필터링을 행하는 필터 수단을 더 구비하는

    것을 특징으로 하는 화상 처리 장치.
14. 제11항에 있어서,

    상기 Z값 변경 수단은, 상기 두발 모델과 상기 얼굴 모델을 합성했을 때에, 상기 두발 모델 중, 상기 비두발 부분에 매핑된 부분이, 상기 3차원 모델보다도 뒤쪽측에 위치하도록 Z값을 변경하는

    것을 특징으로 하는 화상 처리 장치.
15. 3차원의 얼굴이 표시된 2차원의 화상으로부터, 상기 얼굴의 3차원 모델인 얼굴 모델을 생성하는 화상 처리 방법에 있어서,

    상기 화상으로부터, 그 화상에 표시되어 있는 상기 얼굴의 3차원 모델인 얼굴 모델을 생성하는 3차원 모델 생성 스텝과,

    상기 화상에, 미리 준비되어 있는 두발의 모델인 두발 모델을 매핑하는 매핑 스텝과,

    상기 화상으로부터, 두발이 아닌 부분인 비두발 부분을 검출하는 비두발 부분 검출 스텝과,

    상기 화상에 매핑된 상기 두발 모델 중, 상기 비두발 부분에 매핑된 부분의, 깊이 방향인 Z방향의 위치를 나타내는 Z값을 변경하는 Z값 변경 스텝과,

    상기 Z값 변경 스텝에서 Z값이 변경된 상기 두발 모델과 상기 얼굴 모델을 합성하는 합성 스텝

    을 포함하는 것을 특징으로 하는 화상 처리 방법.
16. 3차원의 얼굴이 표시된 2차원의 화상으로부터, 상기 얼굴의 3차원 모델인 얼굴 모델을 생성하는 화상 처리를, 컴퓨터에 실행시키는 프로그램에 있어서,

    상기 화상으로부터, 그 화상에 표시되어 있는 상기 얼굴의 3차원 모델인 얼굴 모델을 생성하는 3차원 모델 생성 스텝과,

    상기 화상에, 미리 준비되어 있는 두발의 모델인 두발 모델을 매핑하는 매핑 스텝과,

    상기 화상으로부터, 두발이 아닌 부분인 비두발 부분을 검출하는 비두발 부분 검출 스텝과,

    상기 화상에 매핑된 상기 두발 모델 중, 상기 비두발 부분에 매핑된 부분의, 깊이 방향인 Z방향의 위치를 나타내는 Z값을 변경하는 Z값 변경 스텝과,

    상기 Z값 변경 스텝에서 Z값이 변경된 상기 두발 모델과 상기 얼굴 모델을 합성하는 합성 스텝

    을 포함하는 것을 특징으로 하는 프로그램.
17. 3차원의 얼굴이 표시된 2차원의 화상으로부터, 상기 얼굴의 특징점을 구(求)하는 화상 처리 장치에 있어서,

    얼굴의 소정 부위의 템플레이트의 위치와 사이즈를, 상기 화상에 표시되어 있는 얼굴에 적응시키는 제1 적응 수단과,

    상기 템플레이트의 형상을 규정하는 복수의 파라미터를, 그 복수보다 적은 1이상의 파라미터에 의거해서 변경하는 것에 의해, 위치와 사이즈가 상기 화상에 표시되어 있는 얼굴에 적응한 상기 템플레이트의 형상을, 상기 소정 부위의 형상의 범위 내에서 변형하고, 상기 화상에 표시되어 있는 얼굴에 적응시키고, 위치, 사이즈 및 형상이 상기 화상에 표시되어 있는 얼굴에 적응한 상기 템플레이트로부터, 상기 얼굴의 소정 부위의 특징점을 구하는 제2 적응 수단

    을 구비하는 것을 특징으로 하는 화상 처리 장치.

    것을 특징으로 하는 화상 처리 장치.
18. 제17항에 있어서,

    상기 제1 및 제2 적응 수단은, 상기 템플레이트를 1매의 상기 화상에 표시되어 있는 얼굴에 적응시키는

    것을 특징으로 하는 화상 처리 장치.
19. 제17항에 있어서,

    상기 소정 부위는 눈(目)이고,

    상기 특징점은, 눈구멍(眼孔: eye socket)에서 노출되어 있는 안구(眼球) 부분의 윤곽 상(上)의 점과, 눈꺼풀과 눈구멍과의 경계(境界) 상의 점인

    것을 특징으로 하는 화상 처리 장치.
20. 3차원의 얼굴이 표시된 2차원의 화상으로부터, 상기 얼굴의 특징점을 구하는 화상 처리 방법에 있어서,

    얼굴의 소정 부위의 템플레이트의 위치와 사이즈를, 상기 화상에 표시되어 있는 얼굴에 적응시키는 제1 적응 스텝과,

    상기 템플레이트의 형상을 규정하는 복수의 파라미터를, 그 복수보다 적은 1이상의 파라미터에 의거해서 변경하는 것에 의해, 위치와 사이즈가 상기 화상에 표시되어 있는 얼굴에 적응한 상기 템플레이트의 형상을, 상기 소정 부위의 형상의 범위 내에서 변형하고, 상기 화상에 표시되어 있는 얼굴에 적응시키고, 위치, 사이즈 및 형상이 상기 화상에 표시되어 있는 얼굴에 적응한 상기 템플레이트로부터, 상기 얼굴의 소정 부위의 특징점을 구하는 제2 적응 스텝

    을 포함하는 것을 특징으로 하는 화상 처리 방법.
21. 3차원의 얼굴이 표시된 2차원의 화상으로부터, 상기 얼굴의 특징점을 구하는 화상 처리를, 컴퓨터에 실행시키는 프로그램에 있어서,

    얼굴의 소정 부위의 템플레이트의 위치와 사이즈를, 상기 화상에 표시되어 있는 얼굴에 적응시키는 제1 적응 스텝과,

    상기 템플레이트의 형상을 규정하는 복수의 파라미터를, 그 복수보다 적은 1이상의 파라미터에 의거해서 변경하는 것에 의해, 위치와 사이즈가 상기 화상에 표시되어 있는 얼굴에 적응한 상기 템플레이트의 형상을, 상기 소정 부위의 형상의 범위 내에서 변형하고, 상기 화상에 표시되어 있는 얼굴에 적응시키고, 위치, 사이 즈 및 형상이 상기 화상에 표시되어 있는 얼굴에 적응한 상기 템플레이트로부터, 상기 얼굴의 소정 부위의 특징점을 구하는 제2 적응 스텝

    을 포함하는 것을 특징으로 하는 프로그램.

Images