KR20170115591A - 가령화 예측 시스템, 가령화 예측 방법 및 가령화 예측 프로그램 - Google Patents

Abstract

가령화 예측 시스템은, 얼굴 형상의 가령에 의한 변화를 예측하는 형상 가령 모델과, 얼굴 표면의 텍스처의 가령에 의한 변화를 예측하는 텍스처 가령 모델과, 2차원 화상으로부터 3차원 데이터를 예측하는 3차원화 예측 모델을 기억한 모델 기억부와, 가령화를 예측하는 제어부를 구비한다. 상기 제어부는, 가령화 얼굴 모델을 생성하고, 생성된 상기 가령화 얼굴 모델을 출력부로 출력하는 예측 처리를 실행하도록 구성되어 있는, 가령화 예측 시스템.

Description

가령화 예측 시스템, 가령화 예측 방법 및 가령화 예측 프로그램

본 발명은, 얼굴 화상의 가령(加齡) 시뮬레이션을 행하기 위한 가령화 예측 시스템, 가령화 예측 방법 및 가령화 예측 프로그램에 관한 것이다.

미용에 있어서, 가령 후의 얼굴이나 몸의 형상 변화를 예측하는 시스템이 검토되고 있다(예를 들면, 특허문헌 1 참조). 이 특허문헌 1에 기재된 기술에 있어서는, 얼굴을 스캔하여 취득한 화상으로부터 폴리곤 메쉬를 구축하고, 이 폴리곤메쉬가 재파라미터화되어, 베이스 메쉬 및 변위 화상이 산출된다. 이 변위 화상은 복수의 타일로 분할되고, 각 타일의 통계값이 측정된다. 이 통계값의 변경에 의해 변위 화상을 변형시키고, 변형된 변위 화상이 베이스 메쉬와 결합되어 새로운 얼굴이 합성된다.

특허문헌 1: 일본공개특허 2007-265396호 공보

그러나, 얼굴 화상에 관한 가령 시뮬레이션을 행하는 경우, 3차원 얼굴 데이터를 반드시 입수할 수 있다고 할 수 없으며, 다양한 각도에서 촬영된 얼굴의 2차원 얼굴 화상을 사용하여 가령 시뮬레이션을 행해야 하는 경우도 있다. 이 경우, 2차원 얼굴 화상의 얼굴이 촬영된 방향(각도)을 고려할 필요가 있다. 또한, 얼굴에는, 해부학적으로 동일한 위치에 있는 특징점이 있다. 따라서, 해부학적인 특징점을 고려하지 않고, 얼굴 화상을 단순한 텍스처 화상으로서 취급해서는, 적확한 가령 시뮬레이션을 효율적으로 실행하는 것이 곤란하다.

본 발명의 목적은, 얼굴 화상의 가령 시뮬레이션을 효율적이고 적확하게 행하기 위한 가령화 예측 시스템, 가령화 예측 방법 및 가령화 예측 프로그램을 제공하는 것에 있다.

일 형태에서는, 상기 과제를 해결하는 가령화 예측 시스템은, 얼굴 형상의 가령에 의한 변화를 예측하는 형상 가령 모델과, 얼굴 표면의 텍스처의 가령에 의한 변화를 예측하는 텍스처 가령 모델과, 2차원 화상으로부터 3차원 데이터를 예측하는 3차원화 예측 모델을 기억한 모델 기억부와, 입력부, 출력부에 접속되도록 구성되고, 가령화를 예측하는 제어부를 구비한다. 상기 제어부가, 상기 입력부로부터 예측 대상 화상을 취득하고, 상기 예측 대상 화상의 특징점을 추출하고, 추출한 상기 특징점을 사용하여, 상기 예측 대상 화상에 있어서의 얼굴 방향을 추정하고, 상기 3차원화 예측 모델 및 추정한 상기 얼굴 방향에 기초하여, 제1 3차원 데이터를 생성하고, 상기 형상 가령 모델을 사용하여, 상기 제1 3차원 데이터로부터 제2 3차원 데이터를 생성하고, 상기 제1 3차원 데이터에 기초하여 생성된 2차원 화상에 대해, 상기 텍스처 가령 모델을 적용하여, 가령화 텍스처를 생성하고, 상기 제2 3차원 데이터에 대해, 상기 가령화 텍스처를 합성하여, 가령화 얼굴 모델을 생성하고, 생성된 상기 가령화 얼굴 모델을 상기 출력부로 출력하는 예측 처리를 실행하도록 구성되어 있다. 이것에 의해, 형상 가령 모델과 텍스처 가령 모델을 사용하여 가령화 얼굴 모델을 생성하기 때문에, 형상만 또는 텍스처만을 가령화시키는 것보다도 적확하게 행할 수 있다. 또한, 예측 대상 화상의 얼굴이 정면에서 촬영하고 있지 않아도, 학습에 의해 예측 대상 화상에 있어서의 얼굴 방향을 추정하여 효율적으로 가령화시킬 수 있다.

일 실시형태에서는, 상기 제어부는, 상기 입력부로부터, 출력용으로서 지정된 얼굴 방향 각도를 취득하고, 생성된 상기 가령화 얼굴 모델을 사용하여, 상기 얼굴 방향 각도의 2차원 얼굴 화상을 생성하고, 생성된 상기 2차원 얼굴 화상을 상기 출력부로 출력하도록 추가로 구성될 수 있다. 이것에 의해, 지정된 얼굴 방향에서 가령화된 얼굴의 화상을 출력할 수 있다.

일 실시형태에서는, 상기 2차원 화상은 제1 2차원 화상이며, 상기 제어부는, 취득한 3차원 얼굴 샘플 데이터에 기초하여, 제2 2차원 화상을 생성하고, 상기 제2 2차원 화상에 있어서 특징점을 특정하고, 상기 특징점을 사용하여, 상기 3차원 얼굴 샘플 데이터를 정규화한 정규화 샘플 데이터를 생성하고, 상기 정규화 샘플 데이터를 사용하여, 상기 형상 가령 모델 및 상기 텍스처 가령 모델을 생성하고, 생성된 상기 형상 가령 모델 및 생성된 상기 텍스처 가령 모델을 상기 모델 기억부에 기억하는 학습 처리를 실행하도록 추가로 구성될 수 있다. 이것에 의해, 실제 샘플 데이터에 기초하여 가령 모델을 생성할 수 있다.

일 실시형태에서는, 상기 학습 처리는, 상기 정규화 샘플 데이터를 사용하여 상기 3차원화 예측 모델을 생성하고, 상기 모델 기억부에 기억시키는 것을 포함할 수 있다. 이것에 의해, 실제 샘플 데이터에 기초하여 3차원화 예측 모델을 생성할 수 있다.

일 실시형태에서는, 상기 모델 기억부에는, 주성분 분석을 사용하여 산출한 제1 텍스처 가령 모델과, 웨이브렛 변환을 사용하여 산출한 제2 텍스처 가령 모델이 기억되어 있고, 상기 제어부는, 상기 제1 2차원 화상에 대해, 제1 텍스처 가령 모델을 적용한 화상을 웨이브렛 변환한 제1 웨이브렛 계수와, 상기 제1 2차원 화상에 대해 제2 텍스처 가령 모델을 적용한 제2 웨이브렛 계수를 비교한 결과에 따라, 적용하는 상기 텍스처 가령 모델을 특정하도록 추가로 구성될 수 있다. 이것에 의해, 이미 존재하는 기미 및 주름 등을 사용하여 예측하는 제2 텍스처 가령 모델을 사용할 수 있기 때문에, 보다 적절한 가령 모델을 생성할 수 있다.

다른 일 형태에서는, 얼굴 형상의 가령에 의한 변화를 예측하는 형상 가령 모델과, 얼굴 표면의 텍스처의 가령에 의한 변화를 예측하는 텍스처 가령 모델과, 2차원 화상으로부터 3차원 데이터를 예측하는 3차원화 예측 모델을 기억한 모델 기억부와, 입력부, 출력부에 접속되도록 구성된 제어부를 구비한 가령화 예측 시스템을 사용하여, 가령화를 예측하는 방법을 제공한다. 상기 제어부가, 상기 입력부로부터 예측 대상 화상을 취득하고, 상기 예측 대상 화상의 특징점을 추출하고, 추출한 상기 특징점을 사용하여, 상기 예측 대상 화상에 있어서의 얼굴 방향을 추정하고, 상기 3차원화 예측 모델 및 추정한 상기 얼굴 방향에 기초하여, 제1 3차원 데이터를 생성하고, 상기 형상 가령 모델을 사용하여, 상기 제1 3차원 데이터로부터 제2 3차원 데이터를 생성하고, 상기 제1 3차원 데이터에 기초하여 생성된 2차원 화상에 대해 상기 텍스처 가령 모델을 적용하여, 가령화 텍스처를 생성하고, 상기 제2 3차원 데이터에 대해, 상기 가령화 텍스처를 합성하여, 가령화 얼굴 모델을 생성하고, 생성된 상기 가령화 얼굴 모델을 상기 출력부로 출력하는 예측 처리를 실행한다.

또 다른 형태에서는, 얼굴 형상의 가령에 의한 변화를 예측하는 형상 가령 모델과, 얼굴 표면의 텍스처의 가령에 의한 변화를 예측하는 텍스처 가령 모델과, 2차원 화상으로부터 3차원 데이터를 예측하는 3차원화 예측 모델을 기억한 모델 기억부와, 입력부, 출력부에 접속되도록 구성된 제어부를 구비한 가령화 예측 시스템을 사용하여, 가령화를 예측하는 프로그램을 기억하는 비일시적인 컴퓨터 가독 기억 매체를 제공한다. 가령화 예측 시스템에 의한 상기 프로그램의 실행시, 상기 제어부가, 상기 입력부로부터 예측 대상 화상을 취득하고, 상기 예측 대상 화상의 특징점을 추출하고, 추출한 상기 특징점을 사용하여, 상기 예측 대상 화상에 있어서의 얼굴 방향을 추정하고, 상기 3차원화 예측 모델 및 추정한 상기 얼굴 방향에 기초하여, 제1 3차원 데이터를 생성하고, 상기 형상 가령 모델을 사용하여, 상기 제1 3차원 데이터로부터 제2 3차원 데이터를 생성하고, 상기 제1 3차원 데이터에 기초하여 생성된 2차원 화상에 대해, 상기 텍스처 가령 모델을 적용하여, 가령화 텍스처를 생성하고, 상기 제2 3차원 데이터에 대해 상기 가령화 텍스처를 합성하여, 가령화 얼굴 모델을 생성하고, 생성된 상기 가령화 얼굴 모델을 상기 출력부로 출력하는 예측 처리를 실행한다.

도 1은 본 실시형태의 가령화 예측 시스템의 설명도.
도 2는 본 실시형태에 사용되는 전체적인 데이터 생성 처리의 흐름도.
도 3은 본 실시형태의 학습전 처리의 처리 수순의 흐름도.
도 4는 본 실시형태의 원주 좌표계로의 변환 처리의 처리 수순의 흐름도.
도 5는 본 실시형태의 원주 좌표게로의 변환 처리를 설명하는 설명도로서, (a는 결락부가 있는 화상, (b)는 원주 좌표계에 있어서의 반경과 원주 방향 각도를 2축으로 한 2차원의 얼굴 화상, (c)는 원주 좌표계에 있어서의 원주 높이와 원주 방향 각도를 2축으로 한 2차원의 얼굴 화상.
도 6은 본 실시형태의 얼굴 특징점 추출 처리의 얼굴 특징점을 설명하는 설명도.
도 7은 본 실시형태의 얼굴 특징점의 정규화 처리의 처리 수순의 흐름도.
도 8은 본 실시형태의 중회귀 분석에 의한 정규화 처리를 설명하는 설명도로서, (a)는 처리 수순의 흐름도, (b)는 X축, Y축 주변의 기울기 보정의 설명도, (c)는 Z축 주변의 기울기 보정의 설명도.
도 9는 본 실시형태의 형상의 상동 모델화 처리를 설명하는 설명도로서, (a)는 형상의 상동 모델화 처리의 처리 수순의 흐름도, (b) 메쉬 모델.
도 10은 본 실시형태의 텍스처의 상동 모델화 처리를 설명하는 설명도로서, (a)는 텍스처의 상동 모델화 처리의 처리 수순의 흐름도, (b)는 각 메쉬 모델의 평균 좌표로 변형한 텍스처의 평균을 도시한 평균 얼굴.
도 11은 본 실시형태의 형상의 상동 모델화 처리를 설명하는 설명도로서, (a)는 화상 정규화 메쉬 모델, (b)는 산출한 평균값의 텍스처로부터 생성된 평균 얼굴.
도 12는 본 실시형태의 2차원 얼굴 화상의 각도 학습 처리의 처리 수순의 흐름도.
도 13은 본 실시형태의 기계 학습 처리에 있어서의 변수 선택 알고리즘을 설명하는 설명도.
도 14는 본 실시형태의 기계 학습 처리에 있어서의 변수 갱신 처리 알고리즘을 설명하는 설명도.
도 15는 본 실시형태의 3차원화 변환의 학습 처리의 처리 수순의 흐름도.
도 16은 본 실시형태의 3차원화 변환의 예측 검증 처리의 처리 수순의 흐름도.
도 17은 본 실시형태의 3차원화 변환의 검증 결과를 설명하는 설명도로서, (a)는 입력 데이터, (b)는 정해, (c)는 2차원 특징점만으로 예측, (d)는 2차원 특징점 및 화상으로 예측한 경우의 얼굴 화상.
도 18은 본 실시형태의 주성분 분석을 이용한 텍스처 가령화의 학습 처리의 처리 수순의 흐름도.
도 19는 본 실시형태의 텍스처 가령화의 예측 검증 처리의 처리 수순의 흐름도.
도 20은 본 실시형태의 텍스처 가령화의 예측 검증에 있어서의 각 주성분을 설명하는 설명도.
도 21은 본 실시형태에 있어서 주성분의 상한을 변경하여 재구성한 화상을 설명하는 설명도.
도 22는 본 실시형태의 웨이브렛 변환을 이용한 텍스처의 가령화 처리를 설명하는 설명도로서, (a)는 처리 수순의 흐름도, (b)는 웨이브렛 계수를 가시화하여 표시한 화상.
도 23은 본 실시형태의 3차원 형상 가령화의 학습 처리의 처리 수순의 흐름도.
도 24는 본 실시형태의 가령화 예측 처리의 처리 수순의 흐름도.
도 25는 본 실시형태의 텍스처의 가령화 예측 처리의 처리 수순의 흐름도.
도 26은 본 실시형태의 가령화 예측 처리에 사용되는 마스크 영역을 설명하는 설명도로서, (a)는 형상 예측 마스크 영역, (b)는 텍스처 예측 마스크 영역을 나타낸다.
도 27은 본 실시형태의 가령화 예측 처리에 있어서의 화상으로서, (a)를 입력 데이터, (b)는 10년후의 가령화 예측, (c)는 15년후의 가령화를 예측한 화상.

이하, 도 1 내지 도 27을 사용하여, 가령화 예측 시스템, 가령화 예측 방법 및 가령화 예측 프로그램을 구체화한 일 실시형태를 설명한다. 본 실시형태에서는, 경년 변화 전후의 3차원 얼굴 데이터를 사용하여, 가령에 의한 얼굴의 경년 변화를 학습한다. 촬영된 2차원 얼굴 화상을 사용하여, 가령화후의 얼굴 화상을 예측하는 가령 시뮬레이션을 행한다.

<가령화 예측 시스템의 구성>

도 1에 도시하는 바와 같이, 본 실시형태에서는, 가령화 예측 시스템(20)을 사용한다. 이 가령화 예측 시스템(20)에는, 입력부(10), 출력부(15)가 접속되어 있다. 입력부(10)는, 각종 정보를 입력하기 위한 수단이며, 키보드나 포인팅 디바이스, 기록 매체로부터 데이터를 취득하는 입력 인터페이스 등에 의해 구성된다. 출력부(15)는 각종 정보를 출력하기 위한 수단이며, 디스플레이 등에 의해 구성된다.

가령화 예측 시스템(20)은, 가령화 예측 처리를 행하기 위한 컴퓨터 시스템이다. 이 가령화 예측 시스템(20)은, 제어부(21), 경년 변화 데이터 기억부(22), 스냅 숏 데이터 기억부(23), 모델 기억부(25)를 구비하고 있다.

제어부(21)는, 제어 수단(CPU, RAM, ROM 등)을 구비하고, 후술하는 처리(학습 관리 단계, 제1 학습 단계, 제2 학습 단계, 제3 학습 단계, 주성분 분석 단계, 기계 학습 단계, 가령 관리 단계, 제1 처리 단계, 제2 처리 단계, 제3 처리 단계 등의 각종 처리)를 행한다. 이를 위한 가령화 예측 프로그램을 실행함으로써, 제어부(21)는 학습 관리부(210), 제1 학습부(211), 제2 학습부(212), 제3 학습부(213), 주성분 분석부(214a), 기계 학습부(214b), 가령 관리부(215), 제1 처리부(216), 제2 처리부(217), 제3 처리부(218)로서 기능한다.

학습 관리부(210)는, 가령 시뮬레이션에 있어서의 얼굴의 경년 변화를 학습하는 처리를 실행한다. 이 학습 관리부(210)는, 후술하는 바와 같이, 얼굴 특징점을 사용하여 양 눈의 중심 위치를 산출하는 중심 산출 수단을 기억하고 있다. 또한, 학습 관리부(210)는, 후술하는 형상의 상동 모델화 처리에 사용하는 제네릭 모델(기본 모델)에 관한 데이터를 미리 작성하여, 메모리에 기억하고 있다. 이 제네릭 모델은, 일본인의 일반적인 특징을 나타낸 얼굴에 관한 모델이다. 본 실시형태에서는, 메쉬 포인트 수가 10741개, 폴리곤(삼각형) 수가 21256개인 제네릭 모델을 사용한다. 이 제네릭 모델에는, 얼굴 특징점에 대응하는 메쉬 포인트가 포함되어 있고, 각 얼굴 특징점을 특정하는 식별 정보가 설정되어 있다.

또한, 학습 관리부(210)는, 후술하는 텍스처의 상동 모델화 처리에 있어서, 얼굴 특징점의 좌표로부터, 정규화된 메쉬 모델의 각 정점의 좌표의 평균을 산출하는 미리 정한 텍스처 평균 산출 룰을 기억하고 있다.

또한, 학습 관리부(210)는, 학습에 사용하는 원주 좌표계 화상, 원주 좌표계 좌표, 상동 모델을 기록하기 위한 학습용 메모리를 구비하고 있다.

제1 학습부(211)는, 2차원 얼굴 데이터(얼굴 화상)로부터, 3차원 원주 좌표계로 나타낸 3차원 얼굴 데이터를 예측하기 위한 모델을 작성하는 제1 학습 처리를 실행한다.

제2 학습부(212)는, 얼굴 화상의 질감(텍스처)에 관해서, 가령에 의한 변화를 예측하기 위한 모델을 작성하는 제2 학습 처리를 실행한다.

제3 학습부(213)는, 얼굴 형상에 관해서, 가령에 의한 변화를 예측하기 위한 모델을 작성하는 제3 학습 처리를 실행한다.

주성분 분석부(214a)는, 학습 관리부(210) 및 학습부(211 내지 213)로부터의 지시에 따라, 주성분 분석 처리를 행한다.

기계 학습부(214b)는, 학습부(211 내지 213)로부터의 지시에 따라, 종속 변수(예측 대상 특징량)를 사용하여 설명 변수(예측시에 사용하는 특징량)를 산출하는 처리를 행한다.

가령 관리부(215)는, 2차원 얼굴 화상을 사용하여, 가령후의 얼굴 화상을 생성하는 처리를 실행한다. 이 가령 관리부(215)는, 예측 대상의 2차원 얼굴 화상을 취득하고, 제1 내지 제3 처리부(216 내지 218)를 사용하여, 텍스처 및 형상의 가령화 시뮬레이션을 행한다.

제1 처리부(216)는, 처리 대상의 2차원 얼굴 화상으로부터, 3차원 원주 좌표계로 표시된 3차원 얼굴 데이터를 생성하는 처리를 실행한다.

제2 처리부(217)는, 얼굴 화상의 질감(텍스처)에 관해서, 가령에 의한 변화를 예측하는 처리를 실행한다. 본 실시형태에서는, 주성분 분석을 이용한 텍스처 가령 모델과, 웨이브렛(WAVELET) 변환을 이용한 텍스처 가령 모델을 사용하여, 텍스처 가령화 처리를 실행한다. 제2 처리부(217)는, 이 처리에 사용하는 무게 계수 w를 메모리에 기억하고 있다. 이 무게 계수 w는, 주성분 분석을 이용한 모델과 웨이브렛 변환을 이용한 모델을 사용하는 경우, 어느쪽 모델에 중점을 둘지를 결정하기 위한 값이다. 본 실시형태에서는, 무게 계수 w로서 「1」을 사용한다.

제3 처리부(218)는, 3차원 얼굴 데이터를 사용하여, 얼굴 형상에 관해서 가령에 의한 변화를 예측하는 처리를 실행한다.

또한, 경년 변화 데이터 기억부(22)에는, 소정수의 학습 대상자(학습에 사용하는 샘플)에 관해서, 경년 변화전과 경년 변화후(본 실시형태에서는, 10년후)의 3차원 얼굴 데이터(경년 변화 데이터)가 기록되어 있다. 이 경년 변화 데이터를 사용함으로써, 이 가령 전후의 변화를 파악할 수 있다. 본 실시형태에서는, 경년 변화 데이터로서, 약 170명분의 데이터를 사용한다.

스냅 숏 데이터 기억부(23)에는, 보다 많은 학습 대상자를 촬영한 3차원 얼굴 데이터(스냅 숏 데이터)가 기록되어 있다. 이 스냅 숏 데이터는, 1회만 촬영했으며, 스냅 숏 데이터 기억부(23)에는, 경년 변화 데이터는 기록되어 있지 않다. 본 실시형태에서는, 스냅 숏 데이터로서, 약 870명분의 데이터를 사용한다.

또한, 본 실시형태의 경년 변화 데이터 기억부(22), 스냅 숏 데이터 기억부(23)에는, 원주 좌표계 이외의 데이터 포맷(XYZ 좌표)으로 3차원 데이터가 기록되어 있는 경우를 상정한다.

모델 기억부(25)에는, 가령 시뮬레이션에 있어서의 각종 예측을 행하는 경우에 사용하는 모델(설명 변수를 사용하여 결과 변수를 계산하는 알고리즘)이 기억되어 있다. 본 실시형태에서는, 각도 예측 모델, 3차원화 예측 모델, 텍스처 가령 모델, 형상 가령 모델에 관한 데이터가 기억된다.

각도 예측 모델 데이터 영역에는, 처리 대상의 2차원 얼굴 화상의 얼굴이 촬영된 방향(얼굴 정면에 대한 각도)을 예측하기 위한 모델 데이터가 기억된다. 이 각도 예측 모델 데이터는, 제1 학습부(211)에 의해 산출되어 기록된다.

3차원화 예측 모델 데이터 영역에는, 정면 방향의 2차원 얼굴 화상을 3차원 얼굴 데이터로 변환하기 위한 모델 데이터가 기억된다. 이 3차원화 예측 모델 데이터는, 제1 학습부(211)에 의해 산출되어 기록된다.

텍스처 가령 모델 데이터 영역에는, 얼굴의 텍스처에 관해서, 가령화 후의 텍스처를 예측하기 위한 모델 데이터가 기억된다. 이 텍스처 가령 모델 데이터는, 제2 학습부(212)에 의해 산출되어 기록된다. 본 실시형태에서는, 주성분 분석을 이용한 텍스처 가령 모델 데이터와, 웨이브렛 변환을 이용한 텍스처 가령 모델 데이터가 기억되어 있다.

형상 가령 모델 데이터 영역에는, 얼굴 형상에 관해서, 가령화후의 형상을 예측하기 위한 모델 데이터가 기억된다. 이 형상 가령 모델 데이터는, 제3 학습부(213)에 의해 산출되어 기록된다.

<모델의 생성>

다음에, 도 2를 사용하여, 각 모델의 생성에 관해서, 생성 처리의 개요를 설명한다.

우선, 가령화 예측 시스템(20)의 제어부(21)는, 경년 변화 데이터 기억부(22)에 기억된 3차원 얼굴 데이터(D1)를 사용하여, 원주 좌표계 화상(D2)과 원주 좌표계 좌표 데이터(D3)를 생성한다. 원주 좌표계 화상(D2)은, 3차원 얼굴 데이터를, 원주 좌표계에 사영(射影)하여, 「900×900」의 등간격 메쉬에 보간하여 작성한 2차원 화상 데이터이다. 원주 좌표계 좌표 데이터(D3)는, 3차원 얼굴 데이터를, 원주 좌표계에 사영하여 생성된「900×900」화상의 각 점의 3차원 좌표에 관한 데이터이다.

다음에, 제어부(21)는, 원주 좌표계 화상(D2) 및 원주 좌표계 좌표 데이터(D3)를 사용하여 얼굴 특징점 데이터(D4)를 생성한다. 이 얼굴 특징점 데이터(D4)는, 원주 좌표계 화상(D2)에 있어서의 얼굴의 특징점의 좌표에 관한 데이터이다. 이 얼굴의 특징점의 상세에 관해서는 후술한다.

제어부(21)는, 원주 좌표계 좌표 데이터(D3)를 사용하여, 얼굴 특징점 데이터(D4), 원주 좌표계 화상(D2)의 정규화 처리를 행한다. 정규화된 원주 좌표계 화상(D5)과, 정규화된 얼굴 특징점 데이터(D6)와, 3차원 메쉬 데이터(D7)(상동 모델)를 생성한다. 이 정규화 처리의 상세에 관해서는, 후술한다. 여기서, 상동 모델이란, 얼굴에 관한 3차원 데이터를 메쉬로 표현하고, 상이한 데이터에 있어서의 대응하는 각 메쉬의 정점이, 해부학적으로 동일한 위치가 되도록 변환한 3차원 좌표 데이터이다.

또한, 제어부(21)는, 정규화된 원주 좌표계 화상(D5), 3차원 메쉬 데이터(D7)(상동 모델)를 사용하여, 임의 각도에서 촬영한 2차원 얼굴 화상(D8)을 생성한다.

제어부(21)는, 임의 각도에서 촬영한 2차원 얼굴 화상(D8)과 정규화된 얼굴 특징점 데이터(D6)와 3차원 메쉬 데이터(D7)(상동 모델)를 사용하여, 2차원 얼굴 화상으로부터 3차원 얼굴 데이터로의 변환에 관한 제1 학습 처리를 실행한다. 이 제1 학습 처리의 상세는 후술한다.

또한, 제어부(21)는, 정규화된 원주 좌표계 화상(D5)을 사용하여, 텍스처 가령화에 관한 제2 학습 처리를 행한다. 이 제2 학습 처리의 상세는 후술한다.

또한, 제어부(21)는, 3차원 메쉬 데이터(D7)(상동 모델)를 사용하여, 3차원 형상 가령화에 관한 제3 학습 처리를 행한다. 이 제3 학습 처리의 상세는 후술한다.

<학습전 처리>

다음에, 도 3 내지 도 11을 사용하여, 상기한 제1 내지 제3 학습 처리 전에 행해지는 학습 전처리를 설명한다. 이 처리는, 경년 변화 데이터 기억부(22), 스냅 숏 데이터 기억부(23)에 기록된 각 3차원 데이터에 관해서, 개별적으로 행해진다.

도 3에 도시하는 바와 같이, 우선, 제어부(21)는, 원주 좌표계로의 변환 처리를 실행한다(스텝 S1-1). 이 처리의 상세에 관해서는, 도 4 및 도 5를 사용하여 후술한다.

다음에, 제어부(21)는, 얼굴 특징점의 추출 처리를 실행한다(스텝 S1-2). 이 처리의 상세에 관해서는, 도 6을 사용하여 후술한다.

다음에, 제어부(21)는, 얼굴 특징점의 정규화 처리를 실행한다(스텝 S1-3). 이 처리의 상세에 관해서는, 도 7 및 도 8을 사용하여 후술한다.

다음에, 제어부(21)는, 상동 모델화 처리를 실행한다(스텝 S1-4). 여기서는, 얼굴 형상의 상동 모델과 텍스처의 상동 모델을 생성한다. 이들 처리의 상세에 관해서는, 도 9 및 도 10을 사용하여 후술한다.

다음에, 제어부(21)는, 정규화된 원주 좌표계 화상의 생성 처리를 실행한다(스텝 S1-5). 이 처리의 상세에 관해서는, 도 11을 사용하여 후술한다.

<원주 좌표계로의 변환 처리>

다음에, 도 4 및 도 5를 사용하여, 원주 좌표계로의 변환 처리(스텝 S1-1)를 설명한다.

우선, 제어부(21)의 학습 관리부(210)는, 결락부의 보간 처리를 실행한다(스텝 S2-1). 구체적으로는, 학습 관리부(210)는, 3차원 얼굴 데이터에 있어서 결락되어 있는 부분이 있는지 여부를 확인한다. 결락부를 검출한 경우, 학습 관리부(210)는, 이 결락부의 주변 정보를 사용하여, 결락부의 보간을 행한다. 구체적으로는, 결락부 주위에 인접하는 소정 범위의 데이터에 기초하여, 공지의 보간 방법을 사용하여, 결락부의 보완을 행한다.

예를 들면, 도 5(a)에 도시하는 3차원 얼굴 데이터를 사용하는 경우를 상정한다. 도 5(b)에는, 이 3차원 얼굴 데이터를, 원주 좌표계에 있어서의 반경과 원주 방향 각도를 2축으로 한 원주 좌표계로 나타내고 있다. 이 3차원 얼굴 데이터에 있어서는, 턱이나 귀 주위의 일부 데이터가 결락되어 있다. 이들 부분의 화상을, 주변의 화상을 사용한 보간 처리에 의해 생성되어 보완을 행한다.

다음에, 제어부(21)의 학습 관리부(210)는, 원주 좌표계 화상의 생성 처리를 실행한다(스텝 S2-2). 구체적으로는, 학습 관리부(210)는, 결락부의 보간 처리를 행한 3차원 얼굴 데이터를, 원주 좌표계에 사영한다(2차원 맵핑). 학습 관리부(210)는, 사영한 얼굴 화상 데이터를「900×900」의 등간격 메쉬에 보간하고, 원주 좌표계의 2차원 얼굴 화상을 생성한다. 학습 관리부(210)는, 생성된 2차원 얼굴 화상을, 원주 좌표계 화상(D2)으로서 학습용 메모리에 기록한다.

도 5(c)는, 원주 좌표계에 투영시킨 3차원 얼굴 데이터를, 2축(원주 높이, 원주 방향 각도)으로 나타낸 2차원 얼굴 화상이다.

다음에, 제어부(21)의 학습 관리부(210)는, 원주 좌표계 좌표의 생성 처리를 실행한다(스텝 S2-3). 구체적으로는, 학습 관리부(210)는, 3차원 얼굴 데이터의 각 좌표(X, Y, Z)를 원주 좌표계에 사영하고, 상기한「900×900」의 화상 각 점에 관해서, 원주 좌표계의 좌표 데이터(직경 방향, 각도, 높이)를 생성한다. 학습 관리부(210)는, 생성된 2차원 얼굴 화상을, 원주 좌표계 좌표 데이터(D3)로서 학습용 메모리에 기록한다.

<얼굴 특징점 추출 처리>

다음에, 도 6을 사용하여, 얼굴 특징점 추출 처리(스텝 S1-2)를 설명한다. 여기서, 얼굴 특징점이란, 얼굴을 구성하는 얼굴 파트(눈썹, 눈, 코, 입, 귀, 뺨, 아래턱부 등)에 있어서의 특징적인 위치(예를 들면, 눈썹 최외측점, 눈썹 최내측점, 구각점 등)이다. 본 실시형태에서는, 33개의 얼굴 특징점을 사용한다. 또한, 얼굴 특징점을, 유저가 임의로 추가/삭제할 수 있도록 할 수 있다. 이 경우에는, 추가/삭제된 얼굴 특징점을 사용하여, 후술하는 처리를 행한다.

도 6에는, 본 실시형태에서 사용하는 얼굴 특징점(32개)을, 번호를 붙여 나타내고 있다. 특징점 번호 「33」은, 다른 특징점을 사용하여 「양 눈 특징점의 중심과 코 정점을 연결한 직선의 중간점」으로서 산출한다.

제어부(21)의 학습 관리부(210)는, 생성된 원주 좌표계 좌표로부터 얼굴 특징점을 특정하고, 그 위치(좌표)를 산출한다. 본 실시형태에서는, 얼굴 표정의 트래킹이나 얼굴의 인식 등에 사용되고 있는 공지의 AAM(Active Appearance Models)법을 사용한 자동 추출을 행한다. 이 AAM법에서는, 대상 물체(여기서는, 얼굴)를 유한개의 정점으로 모델화하고, 이 모델을 입력 화상에 대해 피팅함으로써, 대상 물체의 특징점을 추출한다.

학습 관리부(210)는, 추출한 얼굴 특징점을, 추출 위치에 대응시킨 얼굴 화상을 출력부(15)에 표시한다. 이 경우, 각 얼굴 특징점의 위치를 이동 가능하게 배치한다.

여기서, 담당자는, 출력부(15)에 표시된 얼굴 화상의 얼굴 특징점의 위치를 확인하고, 필요에 따라 수정을 행한다. 얼굴 화상에 있어서 얼굴 특징점의 확인이나 수정의 완료 입력이 행해진 경우, 학습 관리부(210)는, 각 얼굴 특징점의 원주 좌표계 좌표를, 각 얼굴 특징점의 번호에 관련지은 얼굴 특징점 데이터(D4)를 생성하여 학습용 메모리에 기억한다.

<얼굴 특징점의 정규화 처리>

다음에, 도 7을 사용하여, 얼굴 특징점의 정규화 처리(스텝 S1-3)를 설명한다.

우선, 제어부(21)의 학습 관리부(210)는, 추출한 얼굴 특징점 데이터를 사용하여, 중회귀 분석에 의한 정규화 처리를 실행한다(스텝 S3-1). 여기서는, 얼굴의 특징점으로부터 중회귀 분석으로 XYZ축에서의 회전을 구하고, 얼굴의 방향을 맞춘다. 얼굴의 사이즈는, 각 눈의 중심 서로 간의 간격이 소정값(본 실시형태에서는 64㎜)이 되도록 정규화한다. 이 처리의 상세에 관해서는, 도 8을 사용하여 후술한다.

다음에, 제어부(21)의 학습 관리부(210)는, 특징점의 평균 계산 처리를 실행한다(스텝 S3-2). 구체적으로는, 학습 관리부(210)는, 각 학습 대상자에 관한 33개의 각 얼굴 특징점 데이터의 좌표를 사용하여, 각 특징점의 평균 좌표를 산출한다. 이것에 의해, 학습 대상자의 평균 얼굴에 있어서의 각 특징점의 좌표가 산출된다.

다음에, 제어부(21)의 학습 관리부(210)는, 프로크러스티즈 해석에 의한 정규화 처리를 실행한다(스텝 S3-3). 구체적으로는, 학습 관리부(210)는, 스텝 S3-2에서 산출한 평균 좌표와 각 얼굴 특징점 간의 제곱 거리의 합이 최소가 되도록, 최소 제곱법을 사용하여, 각 특징점의 평행 이동, 회전, 리사이즈를 행한다. 여기서는, 이주점(耳珠點)(특징점 번호 7, 13)이나 아래턱 각점(특징점 번호 8, 12) 등을 제외한 25개(도 6의 특징점 번호 1 내지 6, 10, 14 내지 22, 24 내지 27, 28 내지 32)의 얼굴 특징점을 사용한다. 이것에 의해, 얼굴의 특징점을 평균 얼굴에 가까워지도록 조정된다.

<중회귀 분석에 의한 정규화 처리>

다음에, 도 8(a)를 사용하여, 중회귀 분석에 의한 정규화 처리(스텝 S3-1)를 설명한다. 이 처리에 의해, 얼굴의 방향을 맞추는 동시에, 얼굴 사이즈의 정규화를 행한다.

우선, 제어부(21)의 학습 관리부(210)는, 양 눈 특징점의 무게중심의 특정 처리를 실행한다(스텝 S4-1). 구체적으로는, 학습 관리부(210)는, 얼굴 특징점 데이터 중, 눈에 관한 얼굴 특징점을 특정한다. 다음에, 학습 관리부(210)는, 추출한 얼굴 특징점의 좌표에 관해서, 중심 산출 수단을 사용하여, 양 눈의 중심의 위치를 산출한다. 학습 관리부(210)는, 산출한 양 눈의 중심의 위치를 원점으로서 특정한다.

다음에, 제어부(21)의 학습 관리부(210)는, X축, Y축 주위의 기울기 보정 처리를 실행한다(스텝 S4-2). 구체적으로는, 학습 관리부(210)는, 양 눈의 중심의 위치를 원점으로 하여, 얼굴 윤곽과 코 정점을 제외한 얼굴 특징점의 집합에 대해, Z 좌표를 목적 변수, X, Y 좌표를 설명 변수로 하여 중회귀 분석을 행한다.

여기에서는, 도 8(b)에 도시하는 바와 같이, 중회귀 분석에 의해, 회귀 평면 RPS를 산출한다. 학습 관리부(210)는, 산출한 회귀 평면 RPS의 법선 NV이 Z축과 평행해지도록, 회귀 평면 RPS를 X, Y축 주위로 회전시킨다.

다음에, 제어부(21)의 학습 관리부(210)는, Z축 주위의 기울기 보정 처리를 실행한다(스텝 S4-3). 구체적으로는, 학습 관리부(210)는, 얼굴의 중심선을 산출하는 얼굴 특징점의 집합을 사용한다. 본 실시형태에서는, 얼굴 특징점으로서, 양 눈의 중심, 코의 정점, 코의 하단, 윗 입술의 상단, 아랫 입술의 하단, 턱 선단 좌표의 집합을 사용한다.

도 8(c)에 도시하는 바와 같이, 이 집합에 대해, Y 좌표를 목적 변수, X 좌표를 설명 변수로 하여, 회귀 직선 RL을 산출한다. 학습 관리부(210)는, 산출한 회귀 직선 RL의 기울기가 Y축과 평행해지도록, Z축 주위로 회전시킨다.

다음에, 제어부(21)의 학습 관리부(210)는, 스케일링 처리를 실행한다(스텝 S4-4). 구체적으로는, 학습 관리부(210)는, 각 눈의 중심 서로 간의 거리가 64㎜가 되도록, 확대 또는 축소를 행한다.

<형상의 상동 모델화 처리>

다음에, 도 9(a)를 사용하여, 상동 모델화 처리(스텝 S1-4)에 있어서의 형상의 상동 모델화 처리에 관해서 설명한다.

우선, 제어부(21)의 학습 관리부(210)는, 얼굴의 특징점 좌표의 맞춤 처리를 실행한다(스텝 S5-1). 구체적으로는, 학습 관리부(210)는, 메모리에 기억한 제네릭 모델의 메쉬 포인트의 식별 정보를 사용하여, 정규화한 각 얼굴 특징점의 좌표를, 특정한 메쉬 포인트의 얼굴 특징점에 일치시킨다.

다음에, 제어부(21)의 학습 관리부(210)는, 형상으로의 맞춤 처리를 실행한다(스텝 S5-2). 구체적으로는, 학습 관리부(210)는, 각 얼굴 특징점을 일치시킨 제네릭 모델에 있어서의 각 얼굴 파트의 형상을, 정규화한 각 얼굴 파트의 형상에 일치시킨다.

다음에, 제어부(21)의 학습 관리부(210)는, 삼각형 분할 처리를 실행한다(스텝 S5-3). 구체적으로는, 학습 관리부(210)는, 제네릭 모델의 형상에 일치시킨 정규화한 각 얼굴 파트의 형상에 있어서, 제네릭 모델의 각 폴리곤(삼각형)에 대응하는 각 메쉬 포인트의 좌표를 산출한 모델(형상의 상동 모델)을, 학습용 메모리에 기억한다.

도 9(b)에 도시하는 바와 같이, 눈, 코, 입과 같은 얼굴 파트 주변의 메쉬를 좁게 하고, 그 밖의 영역 메쉬를 넓게 한 메쉬 모델을 사용함으로써, 전체의 메쉬 포인트의 수를 줄일 수 있다. 또한, 턱 부분에 관해서는, 앞 머리의 존재가 통계 처리에 있어서 악영향을 주기 때문에, 삭제하고 있다.

<텍스처의 상동 모델화 처리>

다음에, 도 10(a)를 사용하여, 텍스처의 상동 모델화 처리에 관해서 설명한다.

우선, 제어부(21)의 학습 관리부(210)는, 정규화한 메쉬 모델의 각 정점의 좌표에 관해서 평균 산출 처리를 실행한다(스텝 S6-1). 구체적으로는, 학습 관리부(210)는, 미리 기억하고 있는 텍스처 평균 산출 룰을 사용하여, 정규화한 각 얼굴 특징점의 좌표로부터, 각 메쉬 포인트(정점)의 평균 좌표를 산출한다.

다음에, 제어부(21)의 학습 관리부(210)는, 원주 좌표계 2차원 폴리곤 위의 텍스처를 평균화한 2차원 폴리곤으로 변형하는 처리를 실행한다(스텝 S6-2). 구체적으로는, 학습 관리부(210)는, 원주 좌표계의 각 2차원 얼굴 데이터의 폴리곤 위의 텍스처(화소 정보)를, 스텝 S6-1에 있어서 산출한 평균 좌표로 변형하고, 변형한 평균 좌표에 있어서의 텍스처를 학습용 메모리에 기억한다.

제어부(21)의 학습 관리부(210)는, 각 평균 좌표에 있어서의 텍스처의 평균을 산출함으로써, 텍스처의 상동 모델을 산출하고, 학습용 메모리에 기억한다.

도 10(b)에는, 각 메쉬 모델의 평균 좌표로 변형한 텍스처를 평균화한 평균 얼굴을 도시한다.

<정규화된 원주 좌표계 화상의 생성 처리>

다음에, 정규화된 원주 좌표계 화상의 생성 처리(스텝 S1-5)를 설명한다.

스텝 S2-2에 있어서 생성된 원주 좌표계 화상은, 데이터별로 얼굴 파트(눈, 코, 입 등)의 위치가 상이하기 때문에, 그대로 해석할 수 없다. 그래서, 각 데이터의 얼굴 파트의 위치가 일정해지도록, 원주 좌표계 화상의 정규화를 행한다.

여기서, 정규화에 이용하는 화상 정규화 메쉬 모델에 관해서 설명한다. 이 화상 정규화 메쉬 모델은, 33개의 얼굴 특징점을 이용하여, 원주 좌표계 위에서, 메쉬를 격자상으로 붙인다.

여기서는, 도 11(a)에 도시하는 바와 같이, 메쉬 포인트 수로서 5584개, 폴리곤(삼각형) 수로서 10862개의 메쉬 모델을 사용한다.

제어부(21)의 학습 관리부(210)는, 전 데이터에 관해서, 화상 정규화 메쉬 모델의 평균값과, 각 폴리곤의 텍스처의 평균값을 산출한다.

이 결과, 도 11(b)에 도시하는 바와 같이, 산출한 평균값의 텍스처로부터 평균값이 생성된다.

입력된 원주 좌표계 화상을 평균 메쉬와 일치시키도록 각 폴리곤을 변형하면 얼굴을 구성하는 메쉬가 평균 얼굴 메쉬에 일치한다. 따라서, 원주 좌표계 화상이 정규화된 것이 된다.

<2차원 얼굴 화상의 각도 학습 처리>

다음에, 도 12를 사용하여, 2차원 얼굴 화상의 각도 학습 처리를 설명한다. 이 처리에서는, 2차원 얼굴 화상으로부터 얼굴이 촬영된 각도(얼굴의 방향)를 추정하는 모델을 생성한다. 이 각도 학습 처리는, 경년 변화 데이터 기억부(22) 및 스냅 숏 데이터 기억부(23)에 기록된 3차원 얼굴 데이터(합계 N개)의 상동 모델을 사용하여 실행된다. 또한, 경년 변화 데이터 기억부(22)에 기록된 3차원 얼굴 데이터에 있어서는, 가령후의 3차원 얼굴 데이터만의 상동 모델을 사용한다.

우선, 제어부(21)의 제1 학습부(211)는, 미리 정해진 처리 대상 각도별로, 이하의 처리를 반복하여 실행한다.

우선, 제어부(21)의 제1 학습부(211)는, 지정 각도로의 회전 처리를 실행한다(스텝 S7-1). 구체적으로는, 제1 학습부(211)는, 3차원 상동 모델을, 소정 대상 각도로 회전시킨다. 제1 학습부(211)는, 소정 대상 각도로 회전시켰을 때의 회전 각도를 학습용 메모리에 기억한다.

다음에, 제어부(21)의 제1 학습부(211)는, 3차원 상동 모델로부터 2차원 상동 모델로의 변환 처리를 실행한다(스텝 S7-2). 구체적으로는, 학습 관리부(210)는, 회전시킨 3차원 상동 모델을 XY 평면에 사영함으로써, 2차원 상동 모델을 생성한다.

다음에, 제어부(21)의 제1 학습부(211)는, 2차원 특징점의 특정 처리를 실행한다(스텝 S7-3). 구체적으로는, 제어부(21)의 제1 학습부(211)는, 산출한 2차원 상동 모델에 있어서, 3차원 상동 모델에 있어서의 얼굴 특징점에 대응하는 좌표를 특정한다. 제1 학습부(211)는, 특정한 얼굴 특징점을 2차원 특징점으로 하여 학습용 메모리에 기억한다.

다음에, 제어부(21)의 제1 학습부(211)는, 얼굴의 배후에 숨겨지는 특징점의 제외 처리를 실행한다(스텝 S7-4). 구체적으로는, 제1 학습부(211)는, 2차원 상동 모델의 특징점 중에서, 3차원 상동 모델에 있어서, 촬영측(시점측)에 있는 얼굴 특징점과, 배면측에 있는 얼굴 특징점을 식별한다. 제1 학습부(211)는, 배면측에 있는 얼굴 특징점을 학습용 메모리에서 삭제하여, 촬영측의 2차원 특징점만을 기억한다.

이상의 처리를, 처리 대상의 각도별로 루프를 반복하여 실행한다.

제어부(21)의 주성분 분석부(214a)는, 상기의 반복 처리에 의해 특정한 2차원 특징점을 사용하여, 주성분 분석 처리를 실행한다(스텝 S7-5). 구체적으로는, 주성분 분석부(214a)는, 각 데이터 i(i=1 내지 N×처리 대상 각도 수)의 회전후의 2차원 특징점에 관해서 주성분 분석을 행한다. 이 경우, 2차원 특징점은, 이하와 같이 나타낸다.

다음에, 제어부(21)의 기계 학습부(214b)는, 기계 학습 처리를 실행한다(스텝 S7-6). 구체적으로는, 기계 학습부(214b)는, 종속 변수(예측 대상 특징량)로서 「회전 각도(θ, ω)」를 사용하여, 설명 변수(예측시에 사용하는 특징량)로서 「전 데이터의 2차원 특징점의 주성분 득점을 표준 편차로 나눈 것」을 사용한다. 기계 학습부(214b)는, 이 종속 변수와 설명 변수를 사용하여 기계 학습 처리를 실행한다. 제1 학습부(211)는, 기계 학습부(214b)에 의해 생성된 각도 예측 모델을 모델 기억부(25)에 기록한다.

<기계 학습 처리>

여기서, 도 13 및 도 14를 사용하여, 기계 학습 처리를 설명한다. 이 기계 학습 처리에서는, 어떤 특징 벡터 x(종속 변수인 예측 대상 특징량)로부터 다른 특징 벡터 y(설명 변수인 예측시에 사용하는 특징량)를 예측한다. 이 경우, 중회귀 분석을 사용하여, y와 x의 관계를 학습하고, x_{s (n), j}로부터 y_i,j를 예측하는 모델을 구한다. 구체적으로는, 이하의 식에 있어서의 「a_i,s(n)」과 「b_i」를 산출한다.

중회귀 분석을 행하는 경우, 독립 변수의 선택이 중요하다. 단순히 「y」와 상관이 높은 「x」를 순차적으로 선택하면, 변수간에 상관이 높은 것만이 선택되어, 변수간의 독립성을 유지할 수 없을 가능성이 있다. 여기서, 각 변수의 타당성(t값)과 독립성(상관 계수가 최대 상관 계수 Cmax 이하)이 높고, 예측 모델 전체의 신뢰성(bic: 베이즈(bayes) 정보량 기준)이 높은 것을 선택하는 알고리즘을 사용한다. 이하, 본 실시형태에서는, 일반적으로 「변수 증감법」(「스텝 와이즈법」)이라고 불리는 알고리즘에 있어서의 처리를 설명한다.

도 13에 도시하는 바와 같이, 우선, 제어부(21)의 기계 학습부(214b)는, 초기값 설정 처리를 실행한다(스텝 S8-1). 구체적으로는, 기계 학습부(214b)는, 메모리에 기억되어 있는 베이즈 정보량 기준의 최소값(bic_min)에 매우 큰 값을 초기 설정하고, 변수 세트(select_id)를 공집합으로 리셋한다.

다음에, 제어부(21)의 기계 학습부(214b)는, 현시점에서의 베이즈 정보량 기준의 설정 처리를 실행한다(스텝 S8-2). 구체적으로는, 기계 학습부(214b)는, 현시점에서의 베이즈 정보량 기준의 최소값(bic_min_pre)에, 베이즈 정보량 기준의 최소값(bic_min)을 대입한다.

처리 대상의 주성분 번호 i를 순차로 특정하고, 이하의 반복 처리를 실행한다. 「i」는, 처리 대상으로서 선택된 차원 번호이다. 이 반복 처리에 있어서는, 처리 대상의 주성분 번호 i가, 변수 세트에 추가되어야 하는 성분(추가 대상 성분)인지 여부를 판정한다.

여기서, 우선, 제어부(21)의 기계 학습부(214b)는, 주성분 번호 i와 변수 세트(select_id)의 상관의 최소값이 최대 상관 계수 Cmax보다 작은지 여부의 판정 처리를 실행한다(스텝 S8-3). 구체적으로는, 제어부(21)의 기계 학습부(214b)는, 처리 대상의 주성분 번호 i와, 메모리에 기억된 변수 세트(select_id)의 상관 계수를 산출한다. 기계 학습부(214b)는, 산출한 상관 계수와 최대 상관 계수 Cmax를 비교한다.

여기서, 상관의 최소값이 최대 상관 계수 Cmax보다 작은 경우(스텝 S8-3에 있어서「YES」인 경우), 제어부(21)의 기계 학습부(214b)는, 변수 세트(select_id)에 추가 대상 성분을 가한 변수를 사용하여 중회귀 분석을 행하여, 베이즈 정보량 기준 및 추가한 변수의 t값의 산출 처리를 실행한다(스텝 S8-4). 구체적으로는, 제어부(21)의 기계 학습부(214b)는, 메모리에 기억된 변수 세트에, 처리 대상의 주성분 번호 i를 가한 변수로 중회귀 분석을 행하여 베이즈 정보량 기준을 산출한다. 공지의 t 검정에 의해 t값을 산출한다.

다음에, 제어부(21)의 기계 학습부(214b)는, 베이즈 정보량 기준의 최소값, t값이 조건을 만족시키는지 여부의 판정 처리를 실행한다(스텝 S8-5). 여기서는, 조건으로서, 산출한 베이즈 정보량 기준의 최소값이 현재의 베이즈 정보량 기준보다 큰 것, 또한 t값이 「2」 이상인 것을 사용한다.

여기서, 베이즈 정보량 기준의 최소값, t값의 조건을 만족시키는 경우(스텝 S8-5에 있어서 「YES」인 경우), 제어부(21)의 기계 학습부(214b)는, 베이즈 정보량 기준의 최소값 및 주성분 번호의 갱신 처리를 실행한다(스텝 S8-6). 구체적으로는, 제어부(21)의 기계 학습부(214b)는, 베이즈 정보량 기준의 최소값(bic_min)에, 베이즈 정보량 기준(bic)을 대입한다. 또한, 처리 대상의 주성분 번호 i를 추가 대상 성분(add_id)으로서 기억한다.

한편, 주성분 번호 i와 변수 세트(select_id)의 상관의 최소값이 최대 상관 계수 Cmax 이상인 경우(스텝 S8-3에 있어서 「NO」인 경우), 제어부(21)의 기계 학습부(214b)는, 스텝 S8-4 내지 S8-6의 처리를 스킵한다.

또한, 베이즈 정보량 기준의 최소값, t값 중 어느 하나가 조건을 만족시키지 않는 경우(스텝 S8-5에 있어서 「NO」인 경우), 제어부(21)의 기계 학습부(214b)는, 스텝 S8-6의 처리를 스킵한다.

모든 주성분 번호 i에 관해서, 반복 처리(스텝 S8-3 내지 S8-6)를 종료한 경우, 제어부(21)의 기계 학습부(214b)는, 베이즈 정보량 기준의 최소값이 갱신되었는지 여부의 판정 처리를 실행한다(스텝 S8-7). 구체적으로는, 기계 학습부(214b)는, 베이즈 정보량 기준의 최소값(bic_min)이, 스텝 S8-2에 있어서 설정한 현시점에서의 베이즈 정보량 기준의 최소값(bic_min_pre)과 일치하고 있는지 여부를 판정한다. 기계 학습부(214b)는, 일치하고 있는 경우에는 베이즈 정보량 기준의 최소값은 갱신되어 있지 않다고 판정하고, 일치하고 있지 않은 경우에는 베이즈 정보량 기준의 최소값은 갱신되었다고 판정한다.

여기서, 베이즈 정보량 기준의 최소값이 갱신된 경우(스텝 S8-7에 있어서 「YES」인 경우), 제어부(21)의 기계 학습부(214b)는, 변수 갱신 처리를 실행한다(스텝 S8-8). 이 변수 갱신 처리의 상세에 관해서는, 도 14를 사용하여 설명한다.

다음에, 제어부(21)의 기계 학습부(214b)는, 변수 갱신이 성공했는지 여부의 판정 처리를 실행한다(스텝 S8-9). 구체적으로는, 기계 학습부(214b)는, 후술하는 변수 갱신 처리에 있어서, 메모리에 기록된 플래그(변수 갱신 성공 플래그, 변수 갱신 실패 플래그)에 의해, 변수 갱신 성공을 판정한다.

여기서, 메모리에 변수 갱신 성공 플래그가 기록되어 있고, 변수 갱신이 성공했다고 판정한 경우(스텝 S8-9에 있어서 「YES」인 경우), 제어부(21)의 기계 학습부(214b)는, 스텝 S8-2 이후의 처리를 반복하여 실행한다.

한편, 베이즈 정보량 기준의 최소값이 갱신되지 않은 경우, 또는 변수 갱신 실패 플래그가 기록되어 있고, 변수 갱신이 성공하지 않았다고 판정한 경우(스텝 S8-7, S8-9에 있어서 「NO」인 경우), 제어부(21)의 기계 학습부(214b)는, 기계 학습 처리를 종료한다.

<변수 갱신 처리>

다음에, 도 14를 사용하여, 변수 갱신 처리(스텝 S8-8)를 설명한다. 이 처리에 있어서는, 추가 대상 성분을 포함한 변수 세트가 타당한지 여부를 판정한다. 타당하지 않은 변수를 삭제함으로써, 타당한 변수 세트가 된 경우에는, 이 변수 세트를 설명 변수로서 특정한다.

우선, 기계 학습부(214b)느, 새로운 변수 세트의 설정 처리를 실행한다(스텝 S9-1). 구체적으로는, 기계 학습부(214b)는, 메모리에 기억되어 있는 변수 세트에 추가 대상 성분(add_id)을 추가하여, 새로운 변수 세트(select_id_new)를 생성한다.

다음에, 기계 학습부(214b)는, 이하의 스텝(S9-2 내지 S9-4)의 처리를, 무한 루프에 있어서 반복한다.

우선, 기계 학습부(214b)는, 새로운 변수 세트(select_id_new)를 사용하여 중회귀 분석을 행하여, 베이즈 정보량 기준(bic)과 모든 변수의 t값의 산출 처리를 실행한다(스텝 S9-2). 구체적으로는, 기계 학습부(214b)는, 새로운 변수 세트를 사용하여 중회귀 분석에 의해, 베이즈 정보량 기준을 산출한다. 또한, 공지의 t 검정에 의해 t값을 산출한다.

다음에, 기계 학습부(214b)는, 새로운 변수 세트의 각 변수의 t값 중에서, 최소의 t값이 2 보다 작은지 여부의 판정 처리를 실행한다(스텝 S9-3).

여기서, 최소의 t값이 「2」보다 작은 경우(스텝 S9-3에 있어서 「YES」인 경우), 기계 학습부(214b)는, 새로운 변수 세트로부터 최소의 t값이 되는 변수의 삭제 처리를 실행한다(스텝 S9-4). 구체적으로는, 기계 학습부(214b)는, 새로운 변수 세트에 있어서 최소의 t값을 산출한 변수를, 이 새로운 변수 세트에서 삭제한다.

스텝 S9-2 이후의 처리를 반복하여 실행한다.

한편, 새로운 변수 세트에 포함되는 변수의 t값이 모두 2 이상인 것에 의해, 최소의 t값이 2 이상인 경우(스텝 S9-3에 있어서 「NO」인 경우), 기계 학습부(214b)는, 이 무한 루프를 종료한다. 기계 학습부(214b)는, 베이즈 정보량 기준이 현시점에서의 베이즈 정보량 기준의 최소값보다 작은지 여부의 판정 처리를 실행한다(스텝 S9-5). 구체적으로는, 기계 학습부(214b)는, 베이즈 정보량 기준(bic)이, 스텝 S8-2에 있어서 설정한 현시점에서의 베이즈 정보량 기준의 최소값(bic_min_pre)보다 작은지 여부를 판정한다.

여기서, 베이즈 정보량 기준이 현시점에서의 베이즈 정보량 기준의 최소값보다 작은 경우(스텝 S9-5에 있어서 「YES」인 경우), 기계 학습부(214b)는, 변수 갱신 성공 처리를 실행한다(스텝 S9-6). 구체적으로는, 기계 학습부(214b)는, 변수 세트(select_id)에, 새로운 변수 세트(select_id_new)를 대입한다. 또한, 기계 학습부(214b)는, 변수 갱신 성공 플래그를 메모리에 기록한다.

한편, 베이즈 정보량 기준이 현시점에서의 베이즈 정보량 기준의 최소값 이상인 경우(스텝 S9-5에 있어서 「NO」인 경우), 기계 학습부(214b)는, 변수 갱신 실패 처리를 실행한다(스텝 S9-7). 구체적으로는, 기계 학습부(214b)는, 변수 갱신 실패 플래그를 메모리에 기록한다.

<2차원에서 3차원으로의 학습 처리>

다음에, 도 15를 사용하여, 2차원 얼굴 화상을 3차원 얼굴 데이터로 변환하는 제1 학습 처리를 설명한다. 여기서는, 동일한 장면에서 임의의 매수의 2차원 얼굴 화상이 있는 경우나, 임의의 각도에서 얼굴이 촬영된 2차원 얼굴 화상이 있는 경우에도, 적확한 예측을 할 수 있도록 하기 위한 학습을 행한다. 그 경우, 조합이 방대해져, 데이터 베이스의 용량이 문제가 되기 때문에, 미리 지정된 조합(예를 들면 정면과 측면)만 학습해 두고, 그 이외의 조합인 경우에는, 그때마다, 학습하여 모델을 작성한다.

우선, 제어부(21)의 주성분 분석부(214a)는, 3차원 메쉬(상동 모델)를 사용하여, 미리 3차원 형상의 주성분 분석 처리를 실행한다(스텝 S10-1). 구체적으로는, 주성분 분석부(214a)는, 각 데이터의 3차원 메쉬점에 관해서 주성분 분석을 행한다. 이것에 의해, 2차원 메쉬점은, 평균값, 주성분 득점, 주성분 벡터로 표현하면, 다음 식과 같이 된다.

제어부(21)의 제 1 학습부(211)는, 지정 각도로의 회전 처리를 실행한다(스텝 S10-2). 구체적으로는, 제1 학습부(211)는, 회전 각도를 지정하는 화면을 출력부(15)에 표시한다. 여기서는, 예를 들면 정면(0도)과 측면(90도)을 지정한다. 회전 각도가 입력된 경우, 제1 학습부(211)는, 입력된 회전 각도에 따라 3차원 상동 모델을 회전시킨다.

다음에, 제어부(21)의 제1 학습부(211)는, 3차원 상동 모델로부터 2차원 상동 모델의 생성 처리를 실행한다(스텝 S10-3). 구체적으로는, 제1 학습부(211)는, 회전시킨 3차원 상동 모델을 2차원면(XY 평면)에 사영함으로써, 2차원 상동 모델을 생성한다.

다음에, 제어부(21)의 제1 학습부(211)는, 2차원 화상의 생성 처리를 실행한다(스텝 S10-4). 여기서는, 그레이의 2차원 상동 모델을 사용하는 경우를 상정한다. 구체적으로는, 제1 학습부(211)는, 생성된 2차원 상동 모델의 각 메쉬에 있어서의 휘도에 기초하여 그레이화된 화상을 생성한다.

다음에, 제어부(21)의 주성분 분석부(214a)는, 2차원 화상의 주성분 분석 처리를 실행한다(스텝 S10-5). 구체적으로는, 주성분 분석부(214a)는, 스텝 S10-4에 있어서 생성된 2차원 화상을 주성분 분석하고, 이하와 같이 표현한다.

다음에, 제어부(21)의 제1 학습부(211)는, 2차원 특징점의 특정 처리를 실행한다(스텝 S10-6). 구체적으로는, 제1 학습부(211)는, 스텝 S7-3과 같이, 산출한 2차원 상동 모델에 있어서의 얼굴 특징점의 좌표를 특정한다. 제1 학습부(211)는, 특정한 좌표를 메모리에 기억한다.

다음에, 제어부(21)의 제1 학습부(211)는, 얼굴의 배후에 숨겨지는 특징점의 제외 처리를 실행한다(스텝 S10-7). 구체적으로는, 제1 학습부(211)는, 스텝 S7-4와 같이, 얼굴의 배후에 숨겨지는 얼굴 특징점을 메모리에서 삭제한다.

다음에, 제어부(21)의 주성분 분석부(214a)는, 2차원 특징점의 주성분 분석 처리를 실행한다(스텝 S10-8). 구체적으로는, 주성분 분석부(214a)는, 스텝 S7-5와 같이, 메모리에 기억한 얼굴 특징점을 사용하여 주성분 분석 처리를 실행한다.

제어부(21)의 기계 학습부(214b)는, 스텝 S7-6과 같이, 기계 학습 처리를 실행한다(스텝 S10-9). 구체적으로는, 기계 학습부(214b)는 종속 변수 및 설명 변수를 사용하여, 기계 학습 처리를 실행한다. 여기에서는, 종속 변수로서 「3차원 메쉬점의 주성분 득점을 표준 편차로 제산한 것」을 사용하고, 설명 변수로서 「전 데이터의 2차원 특징점, 및 전 데이터의 2차원 화상의 주성분 득점을 표준 편차로 제산한 것」을 사용한다. 제1 학습부(211)는, 기계 학습부(214b)에 의해 생성된 3차원화 예측 모델을 모델 기억부(25)에 기록한다.

<2차원->3차원의 예측 검증>

다음에, 도 16 및 도 17을 사용하여, 제1 학습에 의해 산출한 2차원에서 3차원으로의 변환에 사용하는 모델 데이터의 검증 처리를 설명한다.

도 15에 있어서, 33개의 2차원 특징점(좌표)과, 2차원 얼굴 화상, 3차원 메쉬점에 관해서, 각각 주성분 분석을 행하였다. 이 주성분 분석에 있어서 누적 기여율이 95%가 되는 주성분 수를 산출하였다. 누적 기여율이 95%가 되는 주성분 수는, 2차원 특징점(66차원)에서 「29」, 3차원 메쉬점(32223차원)에서 「60」이었다. 이와 같이, 차원 수가 상당히 상이함에도 불구하고, 주성분 수는 동일한 오더로 되어 있다. 2차원 얼굴 화상(810000차원)은 개인차가 심하기 때문에, 누적 기여율이 95%가 되는 주성분 수는 「226」으로 많아졌다.

2차원 특징점과의 상관에서는, 100번째까지의 주성분에서는, 최대 상관 계수는 거의 0.2 이상으로 확보되어 있지만, 200번째 이후의 주성분에서는, 거의 상관이 없는 값으로 저하된다. 한편, 화상과의 상관에서는, 2차원 특징점과 비교하면, 상관은 작은 경향이 되지만, 200번째 이후의 주성분에 있어서도, 최대 상관 계수는 0.1 정도로 확보되어 있다.

이것은, 이하와 같이 이해할 수 있다. 2차원 특징점은 불과 33점이고, 작은 주성분 번호(형상의 대략적인 특징을 나타내는 성분)에 관해서는 상관이 높지만, 큰 주성분 번호(세세한 형상을 나타내는 성분)의 상관은 낮다. 한편, 화상은, 작은 주성분 번호와의 상관은 비교적 낮지만, 큰 주성분 번호와의 상관은 비교적 높다. 본 실시형태에서는, 보다 최대 상관값이 높아지는 특징점으로서, 2차원 특징점과 화상을 결합한 특징량을 사용한다. 학습시에 선택된 주성분 수(설명 변수)에 기초하면, 2차원 특징점과 화상을 결합한 편이, 선택된 주성분 수가 많은 것을 알 수 있다.

여기서, 구한 예측 모델의 타당성과 설명력에 관해서 설명한다.

F값은 모델의 타당성을 나타내는 파라미터이다. t값은 각 변수의 타당성을 나타내는 파라미터이다. F값 및 t값은, 각각 「2」 이상이면 타당하다고 되어 있지만, 어느 성분에 있어서도 「2」 이상의 값이 확보되어 있는 것이 판명되었다.

결정 계수는, 모델의 설명력을 나타내는 파라미터이고, 값은 모델이 예측 대상 데이터를 설명하는 비율을 나타낸다. 구체적으로는, 값이 「1」인 경우에는 「모두 예측 가능」하고, 값이 「0」인 경우에는 「전혀 예측할 수 없다」는 것을 나타낸다. 2차원 특징점만의 경우, 결정 계수는, 40번째까지의 주성분에 관해서는 거의 50% 이상으로 확보되지만, 100번째 근방의 주성분에서는 20%를 하회하고 있는 것이 판명되었다. 2차원 특징점 및 화상의 경우, 결정 계수는, 50번째까지의 주성분에 관해서도 거의 50% 이상으로 확보되고, 100번째 근방의 주성분에서도 20%를 상회하고 있는 것이 판명되었다. 이것에 의해, 2차원 특징점만의 경우와 비교하면, 2차원 특징점 및 화상을 사용한 경우의 정밀도가 향상되고 있는 것을 알 수 있다.

다음에, 2차원에서 3차원으로 변환하는 예측 모델 데이터의 타당성을 검증하기 위해, 100개(누적 기여율 97.5%가 되는 개수)의 3차원 메쉬점의 주성분 득점 P3을 예측하는 중회귀 분석을 행한다. 이 경우, 변수 선택의 기준으로서, 최대 상관 계수 Cmax를 「0.15」로 설정한다.

다음에, 도 16을 사용하여, 이 2차원에서 3차원으로 변환하는 예측 모델 데이터의 타당성 검증 처리를 실행한다. 여기에서는, 이하의 처리를, 처리 대상 데이터 j(j=1 내지 n)를 순차로 특정하여, 이하의 처리를 반복한다.

우선, 제어부(21)의 제1 학습부(211)는, 처리 대상 데이터 j를 제외한 나머지 〔n-1〕명의 데이터로 기계 학습한 예측 모델의 작성 처리를 실행한다(스텝 S11-1). 구체적으로는, 제1 학습부(211)는, 〔n-1〕명의 데이터를 사용하여, 상기한 제1 학습 처리를 실행하여, 3차원화 변환 모델을 생성한다.

다음에, 제어부(21)의 제1 학습부(211)는, 처리 대상 데이터 j의 3차원 메쉬점에 관해서 예측 모델을 이용한 추정 처리를 실행한다(스텝 S11-2). 구체적으로는, 제1 학습부(211)는, 처리 대상 데이터 j를 입력 데이터로 하고, 생성된 3차원화 변환 모델을 적용하여, 3차원 메쉬점을 산출한다.

다음에, 제어부(21)의 제1 학습부(211)는, 처리 대상 데이터 j의 3차원 데이터(정해)와, 추정한 결과의 비교 처리를 실행한다(스텝 S11-3). 구체적으로는, 제1 학습부(211)는, 스텝 S11-1에 있어서 생성된 3차원 얼굴 데이터와, 처리 대상 데이터 j의 3차원 얼굴 데이터를 비교한다. 비교한 결과, 3차원 메쉬의 각 점의 어긋남량을 메모리에 기록한다. 이 경우, 주성분 득점의 예측 오차의 평균은 「0.22」미만이 되었다. 주성분 득점의 분산은 「1」로 정규화되었기 때문에, 정밀하게 추정되고 있는 것을 알 수 있다. 또한, 2차원 특징점만으로의 예측보다, 2차원 특징점 및 2차원 화상에서의 예측이, 정밀도 향상을 도모할 수 있는 것도 판명되었다.

또한, 3차원 메쉬점의 예측 오차의 평균은, 2차원 특징점만을 사용한 경우에는 「1.546391㎜」, 2차원 특징점 및 2차원 화상을 사용한 경우에는 「1.477514㎜」가 되었다. 이 경우에도, 2차원 특징점만으로의 예측보다, 2차원 특징점 및 2차원 화상에서의 예측이, 정밀도 향상을 도모할 수 있는 것이 판명되었다.

도 17(a)는, 경년 변화전의 2차원 얼굴 화상(입력 데이터)이다. 또한, 도 17(b)는, 도 17(a)에 도시한 얼굴 화상에 관해서, 10년 경과후의 얼굴 화상(정해)이다.

도 17(c)는, 도 17(a)에 도시한 얼굴 화상의 2차원 특징점만을 사용하여 예측한 가령화후의 얼굴 화상이다. 또한, 도 17(d)는, 도 17(a)에 도시한 얼굴 화상의 2차원 특징점 및 화상을 사용하여 예측한 가령화후의 얼굴 화상이다.

2차원 특징점만으로의 예측보다도, 2차원 특징점 및 2차원 화상에서의 예측이, 정밀하게 예측되고 있는 것을 확인할 수 있다.

<텍스처 가령화의 학습 처리>

다음에, 도 18을 사용하여, 텍스처 가령화의 제2 학습 처리를 실행한다. 이 제2 학습 처리에 있어서는, 주성분 분석을 사용한 텍스처의 가령화 처리와, 웨이브렛 변환을 사용한 텍스처의 가령화 처리를 실행한다. 여기에서는, 주성분 분석을 사용한 텍스처의 가령화 처리를 설명한 후, 웨이브렛 변환을 사용한 텍스처의 가령화 처리에 관해서 설명한다.

<주성분 분석을 이용한 텍스처의 가령화 처리>

여기에서는, 스텝 S1-5에 있어서 생성된 정규화 원주 좌표계 화상을 사용하여, 3차원 얼굴 데이터에 있어서의 가령에 의한 텍스처의 변화를 예측하는 모델을 기계 학습으로 산출한다.

우선, 제어부(21)는, 정규화 원주 좌표계 화상의 주성분 분석 처리를 실행한다(스텝 S12-1). 구체적으로는, 제어부(21)의 제2 학습부(212)는, 경년 변화 데이터 기억부(22)로부터 경년 변화 데이터를, 스냅 숏 데이터 기억부(23)로부터 스냅 숏 데이터를 취득한다. 제어부(21)의 주성분 분석부(214a)는, 원주 좌표계 화상(취득한 경년 변화 데이터 및 스냅 숏 데이터의 원주 좌표계 화상)에 관해서 주성분 분석을 행한다. 이 경우, 주성분 분석부(214a)는, 경년 변화 데이터의 변화전(또는 변화후의 어느 하나)과 스냅 숏 데이터를 사용하여, 주성분 벡터의 방향을 결정하고, 경년 변화 데이터를 사용하여 주성분 득점을 산출한다. 여기서, 각 데이터를, 평균값, 주성분 득점, 주성분 벡터로 표현하면, 다음과 같이 된다.

여기서, 「j」는 가령 인덱스이며, 가령후가 「j」=1, 가령전이 「j」=0을 나타낸다.

다음에, 제어부(21)는, 스텝 S7-6과 같이, 기계 학습 처리를 실행한다(스텝 S12-2). 구체적으로는, 제어부(21)의 기계 학습부(214b)는, 종속 변수로서 「단위 년월당 정규화된 텍스처 주성분 득점의 가령 변화 차분 벡터」를 사용하고, 설명 변수로서 「가령전의 텍스처의 주성분 득점」을 사용한다. 제2 학습부(212)는, 기계 학습부(214b)에 의해 생성된 텍스처 가령 모델을 모델 기억부(25)에 기록한다.

<주성분 분석을 이용한 텍스처 가령화의 예측 검증>

다음에, 도 19를 사용하여, 주성분 분석을 이용한 텍스처에 있어서 가령화로 변환하는 처리를 설명한다.

도 18에 도시한 주성분 분석을 이용한 텍스처 가령화에 있어서 산출한 35번째까지의 주성분의 누적 기여율은 95%를 초과하고 있고, 25번째 이후의 주성분의 기여율은 0.1% 미만이다. 각 주성분에 관해서 도 20에 도시한다. 기여율이 낮은 주성분이 될수록, 고주파 성분으로 되어 있는 것을 알 수 있다.

또한, 도 21에는, 각 주성분의 기여를 화상으로 확인하기 위한 2장의 화상에 관해서, 주성분의 상한을 변경하여 재구성한 화상을 도시하고 있다. 이 결과, 기미, 주름과 같은 세부는, 전 주성분을 고려하지 않으면 재현할 수 없는 것을 알 수 있다.

도 19에 도시하는 바와 같이, 이 주성분 분석을 사용한 텍스처 가령화의 예측 모델 데이터의 타당성 검증 처리를 실행한다. 여기서는, 이하의 처리를, 처리 대상 데이터 j(j=1 내지 n)에 관해서 반복하여 실행한다.

우선, 제어부(21)는, 데이터 j를 제외한 나머지 〔n-1〕명의 데이터로 기계 학습한 예측 모델의 작성 처리를 실행한다(스텝 S13-1). 구체적으로는, 제어부(21)의 제2 학습부(212)는, 〔n-1〕명의 데이터를 사용하여 상기 스텝 S12-1 내지 S12-2의 제2 학습 처리를 실행하여, 텍스처 가령화의 변환 모델을 생성한다.

다음에, 제어부(21)는, 데이터 j의 경년 변화전 데이터를 사용하여 예측 모델을 이용하여 가령화 처리를 실행한다(스텝 S13-2). 구체적으로는, 제어부(21)의 제2 학습부(212)는, 경년 변화전의 데이터 j를 입력 데이터로 하고, 생성된 텍스처 가령화로의 변환 모델을 적용하여, 경년 변화후의 3차원 메쉬점을 산출한다.

다음에, 제어부(21)는, 데이터 j의 경년 변화후 데이터(정해)와 가령화의 결과의 비교 처리를 실행한다(스텝 S13-3). 구체적으로는, 제어부(21)의 제2 학습부(212)는, 스텝 S13-2에 있어서 생성된 경년 변화후의 3차원 얼굴 데이터와, 경년 변화 데이터 기억부(22)에 기억하고 있는 데이터 j의 경년 변화후의 3차원 얼굴 데이터를 비교하여, 3차원 메쉬의 각 점의 오차를 산출한다. 이 경우, 산출한 오차는, 약 60% 이하가 되는 것이 판명되었다.

<웨이브렛(WAVELET) 변환을 이용한 텍스처의 가령화 처리>

다음에, 도 22를 사용하여, 웨이브렛 변환을 이용한 텍스처의 가령화 처리를 설명한다. 상기한 주성분 분석을 이용한 텍스처의 가령화 처리에서는, 가령 차분 데이터를 추정한다. 그러나, 이미 존재하고 있는 기미, 주름이 존재하는 경우, 주성분 분석을 이용한 가령화에서는, 이들을 진하게 하는 것이 아니다. 여기서, 이미 존재하고 있는 기미, 주름을 이용하여 가령화하기 위해, 웨이브렛 변환을 이용한 가령 변화 추정을 행한다.

여기에서는, 도 22(a)에 도시하는 바와 같이, 제어부(21)는, 웨이브렛 성분의 가령에 의한 증가율(웨이브렛 계수 Ri)의 산출 처리를 실행한다(스텝 S14-1). 구체적으로는, 제어부(21)의 제2 학습부(212)는, 경년 변화 데이터 기억부(22)에 기억되어 있는 경년 변화 데이터를 추출한다. 제2 학습부(212)는, 데이터 번호 j의 각 2차원 화상의 모든 웨이브렛 계수 Ri를 웨이브렛 계수 번호 i별(픽섹별)로 산출한다. 제2 학습부(212)는, 산출한 가령화전의 각 화상 데이터의 각 웨이브렛 계수 Ri(픽섹별 값)를 합계한다. 또한, 제2 학습부(212)는, 산출한 가령화후의 각 화상 데이터의 각 웨이브렛 계수 Ri(픽섹별 값)를 합계한다. 합계한 가령화후의 화상에 있어서의 웨이브렛 계수 Ri(픽셀별 값)를, 합계한 가령전의 화상에 있어서의 웨이브렛 계수 Ri(픽섹별 값)으로 제산함으로써, 각 데이터의 웨이브렛 계수 Ri의 변화율을 계산한다. 이 경우, 제2 학습부(212)는, 웨이브렛 계수 Ri가 1 미만이 되는 경우에는, 「1」로서 변화율을 계산한다.

또한, 도 22(a)에 도시하는 식에 있어서, i는 각 웨이브렛 계수 번호, j는 데이터 번호, a는 가령화후, b는 가령화전을 의미하고 있다.

그 결과, 웨이브렛 계수 Ri의 최대값은 「5.407101」, 웨이브렛 계수 Ri의 평균값은 「1.311112」였다. 또한, 도 22(b)에는, 웨이브렛 계수 Ri를 가시화하여 표시한 화상을 나타내고 있다. 이 화상에 있어서는, 흑이 최소값인 「1」의 웨이브렛 계수 Ri를 나타내고, 흴 수록, 값이 큰 것을 나타내고 있다. 또한, 도 22(b)에 있어서는, 좌상이 될수록, 저주파 성분을 나타낸 화상이다. 구체적으로는, 각 행에 관해서 가로 방향의 1차원 웨이브렛 변환을 행하여, 저역 성분과 고역 성분으로 분리하고, 그 변환된 신호의 각 열에 대해 세로 방향의 1차원 변환을 행하는 것을 반복한 화상을 나타내고 있다.

<3차원 형상 가령화의 학습 처리>

다음에, 도 23을 사용하여, 3차원 형상 가령화의 제3 학습 처리를 실행한다. 이 경우, 상기한 형상의 상동 모델화 처리에 있어서 생성된 상동 모델을 사용하여, 3차원 얼굴 화상에 있어서의 가령에 의한 형상 변화를 예측하는 모델을 기계 학습으로 산출한다. 이 경우, 선택한 변수간의 최대 상관 계수 Cmax는 「0.15」로 설정한다.

여기서, 우선, 제어부(21)는, 3차원 메쉬의 주성분 득점의 산출 처리를 실행한다(스텝 S15-1). 구체적으로는, 제어부(21)의 제3 학습부(213)는, 경년 변화 데이터 기억부(22)에 기억되어 있던 경년 변화 데이터를 추출한다. 여기서는, 144개의 경년 변화 데이터를 추출한다. 제3 학습부(213)는, 상기한 스텝 S10-1에 있어서의 3차원 메쉬점의 주성분 분석에 있어서 생성된 3차원 메쉬의 주성분 벡터를 이용하여, 추출한 경년 변화 데이터에 관해서, 3차원 메쉬의 주성분 득점을 산출한다.

다음에, 제어부(21)는, 스텝 S7-6과 같이, 기계 학습 처리를 실행한다(스텝 S15-2). 구체적으로는, 제어부(21)의 기계 학습부(214b)는, 종속 변수 및 설명 변수를 사용하여 기계 학습 처리를 실행한다. 여기서는, 종속 변수로서 「단위 년월당 정규화된 3차원 메쉬 주성분 득점의 가령 변화 차분 벡터」 , 설명 변수로서 「가령전의 3차원 메쉬의 주성분 득점」을 사용한다. 제3 학습부(213)는, 기계 학습부(214b)에 의해 생성된 형상 가령 모델을 모델 기억부(25)에 기록한다.

이와 같이 하여 산출한 가령 변화 차분 벡터와 주성분 득점의 상관 계수의 최대값은, 약 「0.3」 정도의 상관이 있고, 가령 변화와 주성분 득점에는 일정한 상관이 있기 때문에, 회귀 분석에 사용하는 것은 타당하다. 또한, 선택된 변수의 수는 30 전후이고, 산출에 사용한 경년 변화 데이터 수와 비교하면 타당하다. 또한, 어느 주성분에 있어서도, F값은 10 이상, t값은 2 이상, 결정 계수는 거의 70% 이상이 확보되어 있는 것이 판명되어, 모델의 정밀도가 높은 것을 알 수 있다.

<가령화 예측 처리>

다음에, 도 24를 사용하여 가령화 예측 처리에 관해서 설명한다.

우선, 제어부(21)는, 특징점 추출 처리를 실행한다(스텝 S16-1). 구체적으로는, 제어부(21)의 가령 관리부(215)는, 처리 대상의 2차원 얼굴 화상 데이터로부터, 스텝 S1-2와 같이 하여, 얼굴 특징점 추출 처리를 실행한다.

다음에, 제어부(21)는, 얼굴 방향 추출 처리를 실행한다(스텝 S16-2). 구체적으로는, 제어부(21)의 제1 처리부(216)는, 모델 기억부(25)에 기억된 각도 예측 모델을 사용하여, 추출한 얼굴 특징점의 좌표로부터, 얼굴이 촬영된 방향을 특정하고, 2차원 얼굴 화상을 정면 방향으로 변환한다.

다음에, 제어부(21)는, 3차원 메쉬화 처리를 실행한다(스텝 S16-3). 구체적으로는, 제어부(21)의 가령 관리부(215)는, 모델 기억부(25)에 기억된 3차원화 예측 모델을 사용하여, 정면 방향의 2차원 얼굴 화상에 대해 3차원 메쉬를 생성한다.

제어부(21)는, 정규화 원주 좌표계 화상의 생성 처리를 실행한다(스텝 S16-4). 구체적으로는, 제어부(21)의 가령 관리부(215)는, 스텝 S16-3에 있어서 산출된 예측 모델을 사용하여, 처리 대상의 2차원 얼굴 화상의 2차원 메쉬를 작성한다.가령 관리부(215)는, 각 폴리곤 내의 화상을, 원주 좌표계 좌표에 있어서의 폴리곤에 아핀 변환하여 작성한다. 여기서, 처리 대상의 2차원 얼굴 화상의 얼굴 방향에 따라, 폴리곤 내의 화상 정보가 부족한 경우가 있다. 이 경우에는, 가령 관리부(215)는, 얼굴의 좌우는 대칭이라고 가정하고, 얼굴 좌우의 중앙선을 대칭선으로 하여, 화상 정보가 부족한 폴리곤을, 좌우 반대측의 폴리곤 내의 화상 정보를 사용하여 보완한다.

다음에, 제어부(21)는, 3차원 메쉬의 가령화 처리를 실행한다(스텝 S16-5).구체적으로는, 제어부(21)의 제3 처리부(218)는, 스텝 S16-3에서 생성된 3차원 메쉬를, 모델 기억부(25)에 기억된 형상 가령 모델에 입력하고, 3차원 메쉬의 가령화를 행한다. 이 경우, 제3 처리부(218)는, 형상 예측 마스크 영역 이외의 영역만 가령화를 행한다.

여기서, 도 26(a)에 도시하는 흰 부분을, 형상 예측 마스크 영역으로서 사용한다. 이들 부분에는, 뺨이나 콧날 등이 포함되어 있어, 가령에 의한 형상의 변화가 적은 영역이다.

다음에, 제어부(21)는, 텍스처의 가령화 처리를 실행한다(스텝 S16-6). 이 처리의 상세에 관해서는, 도 25를 사용하여, 후술한다.

다음에, 제어부(21)는, 가령화 3차원 얼굴 화상의 생성 처리를 실행한다(스텝 S16-7). 구체적으로는, 제어부(21)의 제3 처리부(218)는, 스텝 S16-5 및 S16-6에서 생성된 가령화된 화상을 합성하여, 형상 및 텍스처를 가령화한 화상을 생성한다.

도 27(a)에는, 30세의 얼굴 화상 데이터를 표시하고 있다. 이 얼굴 화상 데이터를 입력 데이터로서 사용하여, 제어부(21)가, 10년후 및 15년후의 가령화 예측을 행하여 산출한 화상을, 도 27(b) 및 도 27(c)에 도시한다. 여기서는, 2차원에서 3차원으로의 변환은 행하고 있지 않지만, 당연히 가령화되어 있는 것을 알 수 있다.

다음에, 제어부(21)는, 가령화 2차원 얼굴 화상의 생성 처리를 실행한다(스텝 S16-8). 구체적으로는, 제어부(21)의 가령 관리부(215)는, 생성된 가령화 3차원 얼굴 화상을, 스텝 S16-2에 있어서 특정한 얼굴의 방향이 되도록 회전시키고, 그 때의 2차원 얼굴 화상을 생성한다. 가령 관리부(215)는, 생성된 2차원 얼굴 화상을 디스플레이에 표시한다.

<텍스처의 가령화 처리>

다음에, 도 25 내지 도 27을 사용하여, 상기한 텍스처의 가령화 처리(스텝 S16-6)에 관해서 설명한다.

우선, 제어부(21)의 제2 처리부(217)는, 웨이브렛 변환 처리를 실행한다(스텝 S17-1). 구체적으로는, 제2 처리부(217)는, 주성분 분석을 이용한 가령후 화상 Ii를 웨이브렛 변환한 웨이브렛 계수 R1i를 산출한다.

웨이브렛 계수 번호 i에 관해서, 이하의 처리를 반복하여 실행한다.

우선, 제어부(21)의 제2 처리부(217)는, 2개의 웨이브렛 계수의 절대값을 비교하여, 대소 관계의 판정 처리를 실행한다(스텝 S17-2). 여기서는, 주성분 분석에 기초하는 웨이브렛 계수 R1i의 절대값과, 웨이브렛 변환을 이용한 텍스처의 가령화 처리에 의해 산출한 웨이브렛 계수 R2i의 절대값에 무게 계수 w를 승산한 값을 비교한다. 웨이브렛 계수 R1i의 절대값이, 웨이브렛 계수 R2i의 절대값에 무게 계수 w를 승산한 값보다 큰지 여부를 판정한다.

여기서, 웨이브렛 계수 R1i의 절대값이, 웨이브렛 계수 R2i의 절대값에 무게 계수 w를 승산한 값보다 큰 경우(스텝 S17-2에 있어서 「YES」인 경우), 제어부(21)의 제2 처리부(217)는, 사용하는 웨이브렛 계수 R3i에, 웨이브렛 계수 R1i를 대입하는 처리를 실행한다(스텝 S17-3).

한편, 웨이브렛 계수 R1i의 절대값이, 웨이브렛 계수 R2i의 절대값에 무게 계수 w를 승산한 값 이하인 경우(스텝 S17-2에 있어서 「NO」인 경우), 제어부(21)의 제2 처리부(217)는, 사용하는 웨이브렛 계수 R3i에, 웨이브렛 계수 R2i를 대입하는 처리를 실행한다(스텝 S17-4).

이상의 처리를, 웨이브렛 계수 번호 i에 관해서 반복한다.

제어부(21)의 제2 처리부(217)는, 사용하는 웨이브렛 계수 R3의 웨이브렛 역변환 처리를 실행한다(스텝 S17-5).

다음에, 제어부(21)의 제2 처리부(217)는, 마스크 영역 반영 처리를 실행한다(스텝 S17-6). 구체적으로는, 제2 처리부(217)는, 텍스처 예측 마스크 영역 이외의 영역만 가령 변화를 행한다.

여기서, 도 26(b)에 도시하는 흰 부분을, 텍스처 예측 마스크 영역으로서 사용한다. 이들 부분에는, 눈, 코, 입 등이 포함되어 있고, 가령에 의한 텍스처의 변화가 적은 영역이다.

이상의 처리에 의해, 텍스처를 가령화한 화상을 생성한다.

따라서, 본 실시형태에 의하면, 이하와 같은 효과를 얻을 수 있다.

(1) 본 실시형태의 제어부(21)는, 가령후의 얼굴 화상을 생성하는 가령 관리부(215), 얼굴 화상의 질감(텍스처)에 관해서 가령에 의한 변화를 예측하는 처리를 실행하는 제2 처리부(217), 얼굴 형상에 관해서 가령에 의한 변화를 예측하는 제3 처리부(218)를 구비하고 있다. 이것에 의해, 얼굴 형상에 관한 가령과, 얼굴 화상의 질감에 관해서 가령에 의한 변화를 고려한 가령화 예측을 행하기 때문에, 가령화된 얼굴 화상을, 보가 적확하게 생성할 수 있다.

(2) 본 실시형태의 가령화 예측 시스템(20)의 학습 관리부(210)는, 경년 변화 데이터 기억부(22) 및 스냅 숏 데이터 기억부(23)에 기록한 데이터를 사용하여, 얼굴 특징점의 추출 처리, 얼굴 특징점의 정규화 처리, 상동 모델화 처리를 실행한다(스텝 S1-2 내지 S1-4). 이것에 의해, 실제 복수의 샘플 데이터를 사용하여, 해부학상, 공통화시켜, 텍스처 가령 모델 및 형상 가령 모델을 생성할 수 있다.

(3) 본 실시형태의 제어부(21)는, 처리 대상의 2차원 얼굴 화상으로부터 3차원 얼굴 데이터를 생성하는 처리를 실행하는 제1 처리부(216)를 구비하고 있다. 이것에 의해, 처리 대상의 2차원 얼굴 화상의 방향이 정면 등이 아니라도, 지정한 각도의 얼굴 방향에서, 가령화된 얼굴 화상을 생성할 수 있다.

(4) 본 실시형태의 가령화 예측 시스템(20)의 제1 처리부(216)는, 3차원 메쉬(상동 모델)를 사용하여, 2차원 얼굴 화상의 각도 학습 처리를 실행한다. 이것에 의해, 실제 샘플 데이터를 사용하여, 2차원에서 3차원으로 변환되는 3차원화 예측 모델을 생성할 수 있다.

(5) 본 실시형태의 가령화 예측 시스템(20)의 제2 처리부(217)는, 주성분 분석을 이용한 텍스처 가령 모델과, 웨이브렛(WAVELET) 변환을 이용한 텍스처 가령 모델을 사용하여, 텍스처 가령화 처리를 실행한다. 이것에 의해, 이미 존재하고 있는 기미, 주름을 이용하여 가령화하는 웨이브렛 변환을 사용하여, 가령화된 얼굴 화상을 더욱 적확하게 생성할 수 있다.

(6) 본 실시형태의 가령화 예측 시스템(20)의 제2 처리부(217)는, 주성분 분석을 이용한 모델과 웨이브렛 변환을 이용한 모델의 중점을 결정하는 값인 무게 계수 w를 기억하고 있다. 이것에 의해, 이 무게 계수 w를 변경함으로써, 주성분 분석에 의한 텍스처 가령 모델과, 웨이브렛 변환에 의한 텍스처 가령 모델의 가중치를 변경할 수 있다.

또한, 상기 실시형태는, 이하와 같이 변경해도 좋다.

상기 실시형태의 제어부(21)는, 경년 변화 데이터 기억부(22)에 기억된 경년 변화 데이터와, 스냅 숏 데이터 기억부(23)에 기억된 스냅 숏 데이터를 사용하여 텍스처 가령 모델 및 형상 가령 모델을 생성하였다. 경년 변화 데이터나 스냅 숏 데이터의 속성(예를 들면, 성별이나 연령층) 별로, 텍스처 가령 모델 및 형상 가령 모델을 생성해도 좋다. 이 경우에는, 제어부(21)는, 동일한 속성의 경년 변화 데이터나 스냅 숏 데이터를 사용하여, 정규화된 원주 좌표계 화상 D5나 정규화된 얼굴 특징점 데이터 D6 및 3차원 메쉬 데이터 D7(상동 모델)를 생성한다. 제어부(21)는, 이들을 사용하여, 속성별 텍스처 가령 모델 및 형상 가령 모델을 생성하고, 각 속성 정보에 관련지어 모델 기억부(25)에 기억한다. 제어부(21)는, 가령화 예측 처리에 있어서는, 처리 대상의 2차원 얼굴 화상 데이터와 함께, 이 화상에 포함되는 얼굴의 속성 정보를 취득한다. 제어부(21)는, 취득한 속성 정보에 대응하는 속성의 텍스처 가령 모델 및 형상 가령 모델을 사용하여, 가령화 예측 처리를 실행한다. 이것에 의해, 성별이나 연령층 등의 속성에 따른 텍스처나 형상의 영향을 고려하여, 보다 적확한 얼굴 화상 데이터를 생성할 수 있다.

상기 실시형태의 제어부(21)는, 텍스처의 가령화 처리에 있어서, 주성분 분석을 이용한 가령후 화상 Ii를 웨이브렛 변환한 웨이브렛 계수 R1i와, 웨이브렛 변환에 의한 텍스처 가령 모델의 웨이브렛 계수 R2i를 택일적으로 사용하였다. 텍스처의 가령화 처리에 있어서는, 이들 2개의 웨이브렛 계수 R1i, R2i를 택일적으로 사용하는 경우로 한정하지 않고, 이들 2개의 웨이브렛 계수 R1i, R2i의 통계값(예를 들면, 평균값이나 속성에 따른 비율에 의한 합성값)을 사용할 수 있다.

상기 실시형태의 제어부(21)는, 텍스처의 가령화 처리에 있어서, 웨이브렛 변환을 사용하였다. 가령화 처리는, 웨이브렛 변환으로 한정되는 것은 아니다. 얼굴 텍스처의 기미주름을 짙게(강조) 하는 수법을 사용하는 것이 가능하다. 예를 들면, 공지의 선예화 필터나 푸리에 변환을 사용하여, 얼굴 텍스처의 가령화를 행해도 좋다.

상기 실시형태의 제어부(21)는, 주성분 분석 처리를 사용하여 가령화 모델을 생성하였다. 가령화 모델의 생성에 사용하는 분석 처리는, 주성분 분석 처리로 한정되는 것은 아니다. 개인차를 표현하는 변수를 특정하기 위한 분석 처리이면 사용하는 것이 가능하며, 예를 들면, 독립 성분 해석(ICA)이나 다차원 척도법(MDS)을 사용하여, 가령화 모델의 생성을 행해도 좋다.

상기 실시형태에 있어서, 제어부(21)는, 가령화 예측 처리의 얼굴 방향 추정 처리(스텝 S16-2)에 있어서, 각도 예측 모델을 사용하여, 2차원 얼굴 화상을 정면 방향으로 변환하였다. 이 가령화 예측 처리의 얼굴 방향 추정 처리(스텝 S16-2)는, 각도 예측 모델을 사용한 방법으로 한정되는 것은 아니다. 예를 들면, 공지의 프로크러스티즈 해석을 사용하여, 화상에 있어서 얼굴이 촬영된 방향을 특정하도록 해도 좋다.

상기 실시형태에 있어서, 제어부(21)는, 2차원 얼굴 화상으로부터 3차원 얼굴 데이터로의 변환에 관한 제1 학습 처리, 텍스처 가령화에 관한 제2 학습 처리, 3차원 형상 가령화에 관한 제3 학습 처리에 있어서, 기계 학습 처리를 실행하였다. 이 경우, 제어부(21)의 기계 학습부(214b)는, 중회귀 분석에 의해, 종속 변수(예측 대상 특징량)를 사용하여 설명 변수(예측시에 사용하는 특징량)를 산출한다. 제어부(21)의 기계 학습부(214b)가 실행하는 기계 학습 처리는, 중회귀 분석을 사용한 학습 처리로 한정되지 않으며, 다른 분석 수법을 사용해도 좋다. 예를 들면, 커플링 학습 처리, PLS 회귀(Partial Least Squares Regression)에 기초하는 학습 처리, 서포트 벡터 회귀(Support Vector Regression; SVR)에 기초하는 학습 처리 등을 행해도 좋다.

여기서, 커플링 학습 처리에 관해서 설명한다.

이 처리에 있어서는, 기계 학습부(214b)는, 각 샘플 데이터의 「예측 대상 특징량」과 「예측시에 사용하는 특징량」을 결합하여 1개의 행 벡터(1차원 벡터)를 생성한다. 예를 들면, 제1 학습 처리에 있어서의 「예측 대상 특징량」으로서는 「회전 각도(θ, ω)」의 주성분 계수를 사용하고, 「예측시에 사용하는 특징량」으로서는 「전 데이터의 2차원 특징점의 주성분 득점을 표준 편차로 제산한 것」의 주성분 계수를 사용한다.

기계 학습부(214b)는, 생성된 1차원 벡터를, 샘플 데이터별로 열 방향으로 나열한 결합 패치 벡터의 데이터 행렬을 생성한다. 이 데이터 행렬의 주성분 분석을 행하여, 주성분 벡터 행렬을 생성한다. 이 주성분 벡터 행렬은, 「예측 대상 특징량」과 「예측시에 사용하는 특징량」의 변화가 심한 주성분의 순번으로, 각 행 벡터가 정렬되어 있는 행렬이다.

다음에, 기계 학습부(214b)는, 주성분 벡터 행렬의 직교화 처리를 실행한다. 여기에서는, 그람슈미트법에 의해, 「예측시에 사용하는 특징량」행렬의 직교화를 행한다. 이 경우, 「예측 대상 특징량」에 관해서는, 「예측시에 사용하는 특징량」에 있어서의 직교화 계수를 승산하여 변환한다.

기계 학습부(214b)는, 직교화된 「예측시에 사용하는 특징량」(행렬 Di, j)과, 이것에 따라 변환된 「예측 대상 특징량」(행렬 Ei, j)을 사용하여 생성된 예측 모델을 모델 기억부(25)에 기록한다.

예측 처리에 있어서는, 제어부(21)는, 입력 데이터 Xj와, 모델 기억부(25)에 기억된 행렬 Di, j를 내적하여, 주성분의 무게를 나타내는 계수 bi를 계산한다. 다음에, 제어부(21)는, 이 계수 bi와 행렬 Ei, j를 사용하여, 예측 벡터인 예측 데이터 Yj를 재구축한다. 이것에 의해, 제어부(21)는, 입력 데이터 Xj에 기초하여, 예측 데이터 Yj를 산출할 수 있다.

이 커플링 학습 처리를 사용함으로써, 변화가 심하고, 영향이 큰 성분을 우선적으로 사용하면서, 전체 밸런스를 고려한 예측 데이터를 산출할 수 있다.

다음에, PLS 회귀에 기초하는 학습 처리에 관해서 설명한다.

이 PLS 회귀는, 독립 변수(예측 대상 특징량)와 설명 변수(예측시에 사용하는 특징량)의 공분산 w_i를 이용하여, 양자의 상관이 높은 성분부터 순차적으로 변수에 추가하여 중회귀 분석을 행함으로써, 회귀 계수 행렬을 산출한다. 구체적으로는, 이하의 처리 〔1〕 내지 〔4〕를, 교차 판정 오차가 최소가 될 때까지 반복한다. 여기서, 교차 판정 오차는, 샘플 데이터를 예측 대상과 입력 데이터로 나누어, 입력 데이터를 사용하여 예측 대상을 예측하고, 이 예측 결과와 예측 대상의 오차이다.

〔1〕 기계 학습부(214b)는, 독립 변수(예측 대상 특징량)와, 설명 변수(예측시에 사용하는 특징량)의 공분산 행렬(상관 행렬)W_i를 산출한다. 여기서, 독립 변수와 설명 변수의 공분산 행렬 Wi는, 다음의 식으로 산출된다.

이 식에서, T는 전치 행렬을 의미하고 있다.

〔2〕 다음에, 기계 학습부(214b)는, 독립 변수 X_i를 공분산 w_i의 공간에 사영하고, 스코어 행렬 t_i를 산출한다.

〔3〕 다음에, 기계 학습부(214b)는, 설명 변수의 갱신 처리를 실행한다. 구체적으로는, 제어부(21)는, 스코어 행렬 t_i보다 설명 변수 Y_{i +1}을 예측하는 회귀 계수 행렬 C를 산출한다. 제어부(21)는, 한번, 회귀에 사용한 정보를 삭제하고, 나머지 설명 변수 c_{i +1}을 특정한다. 이 경우, 제어부(21)는, 「c_i=Y_i ^Tt_i(t_i ^Tt_i)^-1 및 Y_i+1=Y_i-t_ic_i ^T」를 사용한다.

〔4〕 다음에, 기계 학습부(214b)는, 독립 변수의 갱신 처리를 실행한다. 구체적으로는, 설명 변수의 갱신 처리와 같이, 기계 학습부(214b)는, 스코어 행렬로부터 독립 변수를 예측하는 회귀 계수 행렬을 산출하고, 한번, 회귀에 사용한 정보를 삭제하고, 나머지 독립 변수를 산출한다. 이 경우, 제어부(21)는, 「p_i=X_i ^Tt_i(t_i ^Tt_i)^-1 및 X_i+1=X_i-t_ip_i ^T」를 사용한다.

〔5〕 기계 학습부(214b)는, 교차 판정 오차가 최소인지 여부를 판정한다. 구체적으로는, 우선, 기계 학습부(214b)는, 학습 데이터의 일부(예를 들면 학습 데이터 전체의 1/4개)를 예측 대상으로 가정하고, 이들 예측 대상을 제외한 데이터를 입력 데이터로 하고, 지금까지 처리 〔4〕에서 산출한 설명 변수 Y_{i +1}과 처리 〔4〕에서 산출한 독립 변수 X_i+1을 사용하여, 예측 대상과의 오차를 산출한다.

여기서, 산출한 오차가, 전회(Y_i, X_i)의 처리에 있어서의 예측 대상과의 오차 이하인 경우에는, 제어부(21)는, 교차 판정 오차가 최소가 아니라고 판정한다. 이 경우, 기계 학습부(214b)는, 설명 변수 Y_{i +1}을 Y_i로서 사용하고, 독립 변수 X_{i +1}을 X_i로서 사용하고, 처리 〔1〕 이후를 반복하여 실행한다.

한편, 산출한 오차가, 전회(Y_i, X_i)의 처리에 있어서의 예측 대상과의 오차보다 커진 경우에는, 기계 학습부(214b)는, 1회전의 처리〔1〕까지에서 산출한 공분산 w_i를 가로 방향으로 나열하여 공분산 행렬 W을 생성한다. 또한, 제어부(21)는, 이 공분산 행렬 W을 사용하여 처리 〔3〕에서 산출한 회귀 계수 c_i를 가로 방향으로 나열하여 행렬 C를 생성하고, 이 공분산 행렬 W을 사용하여 처리 〔4〕에서 산출한 회귀 계수 p_i를 가로 방향으로 나열하여 행렬 P를 생성한다. 제어부(21)는, 회귀 계수 행렬 B를 B=W(P^TW)^{- 1}C^T에 대입하여 산출한다. 이 회귀 계수 행렬 B를 사용하여 생성된 예측 모델을 모델 기억부(25)에 기록한다.

예측 처리에 있어서, 제어부(21)는, 입력 데이터 Xj와, 기록되어 있는 회귀 계수 행렬 B를 사용하여, 예측을 행한다.

이 PLS 회귀 분석을 사용함으로써, 중회귀 분석보다도 적절한 변수를 선택할 수 있기 때문에, 보다 타당한 예측을 행할 수 있다.

다음에, 서포트 벡터 회귀 분석에 기초하는 학습 처리에 관해서 설명한다. 이 서포트 벡터 회귀 분석은, 비선형 분석이며, 회귀 곡선을 산출한다. 구체적으로는, 이 서포트 벡터 회귀 분석은, 샘플 데이터가 회귀 곡선±소정 거리 w의 범위(튜브) 내에 들어가도록 회귀 곡선을 산출한다. 튜브 밖으로 나온 데이터를 페널티 데이터 ξ로 하고, 다음의 식을 최소화하는 곡선 및 소정 거리 w를 산출한다.

여기서, 조정 상수 C는 벗어난 값의 허용 범위를 조정하는 파라미터이다. 이 조정 상수 C가 크면 허용 범위가 작아진다. 「ξ+i」는, 데이터 i가 튜브 내이면 「0」이고, 튜브보다 위에 있는 경우에는, 튜브와의 거리가 대입되는 값이다. 「ξ-i」는 데이터 i가 튜브 내이면 「0」이고, 튜브보다 아래에 있는 경우에는, 튜브와의 거리가 대입되는 값이다.

이 서포트 벡터 회귀 분석에 기초하는 학습 처리를 사용함으로써, 비선형(곡선) 회귀에 적용할 수 있다. 따라서, 상기 실시형태의 중회귀 분석이나 PLS 회귀 분석의 선형 회귀 분석에 비해, 함수의 형태를 보다 자유롭게 설정할 수 있다.

Claims (7)

1. 얼굴 형상의 가령(加齡)에 의한 변화를 예측하는 형상 가령 모델과,
   얼굴 표면의 텍스처의 가령에 의한 변화를 예측하는 텍스처 가령 모델과,
   2차원 화상으로부터 3차원 데이터를 예측하는 3차원화 예측 모델을 기억한 모델 기억부와,
   입력부, 출력부에 접속되도록 구성되고, 가령화를 예측하는 제어부를 구비한 가령화 예측 시스템으로서,
   상기 제어부가,
   상기 입력부로부터 예측 대상 화상을 취득하고,
   상기 예측 대상 화상의 특징점을 추출하고,
   추출한 상기 특징점을 사용하여, 상기 예측 대상 화상에 있어서의 얼굴 방향을 추정하고,
   상기 3차원화 예측 모델 및 추정한 상기 얼굴 방향에 기초하여, 제1 3차원 데이터를 생성하고,
   상기 형상 가령 모델을 사용하여, 상기 제1 3차원 데이터로부터 제2 3차원 데이터를 생성하고,
   상기 제1 3차원 데이터에 기초하여 생성된 2차원 화상에 대해, 상기 텍스처 가령 모델을 적용하여, 가령화 텍스처를 생성하고,
   상기 제2 3차원 데이터에 대해, 상기 가령화 텍스처를 합성하여, 가령화 얼굴 모델을 생성하고,
   생성된 상기 가령화 얼굴 모델을 상기 출력부로 출력하는, 예측 처리를 실행하도록 구성되어 있는,
   가령화 예측 시스템.
   
2. 제 1 항에 있어서,
   상기 제어부는,
   상기 입력부로부터, 출력용으로서 지정된 얼굴 방향 각도를 취득하고,
   생성된 상기 가령화 얼굴 모델을 사용하여, 상기 얼굴 방향 각도의 2차원 얼굴 화상을 생성하고,
   생성된 상기 2차원 얼굴 화상을 상기 출력부로 출력하도록 추가로 구성되어 있는,
   가령화 예측 시스템.
   
3. 제 1 항 또는 제 2 항에 있어서,
   상기 2차원 화상은 제1 2차원 화상이고,
   상기 제어부는,
   취득한 3차원 얼굴 샘플 데이터에 기초하여, 제2 2차원 화상을 생성하고,
   상기 제2 2차원 화상에 있어서 특징점을 특정하고,
   상기 특징점을 사용하여, 상기 3차원 얼굴 샘플 데이터를 정규화한 정규화 샘플 데이터를 생성하고,
   상기 정규화 샘플 데이터를 사용하여, 상기 형상 가령 모델 및 상기 텍스처 가령 모델을 생성하고,
   생성된 상기 형상 가령 모델 및 생성된 상기 텍스처 가령 모델을 상기 모델 기억부에 기억하는, 학습 처리를 실행하도록 추가로 구성되어 있는,
   가령화 예측 시스템.
   
4. 제 3 항에 있어서,
   상기 학습 처리는, 상기 정규화 샘플 데이터를 사용하여 상기 3차원화 예측 모델을 생성하여 상기 모델 기억부에 기억하는 것을 포함하는, 가령화 예측 시스템.
   
5. 제 3 항 또는 제 4 항에 있어서,
   상기 모델 기억부에는, 주성분 분석을 사용하여 산출한 제1 텍스처 가령 모델과, 웨이브렛 변환을 사용하여 산출한 제2 텍스처 가령 모델이 기억되어 있고,
   상기 제어부는, 상기 제1 2차원 화상에 대해 제1 텍스처 가령 모델을 적용한 화상을 웨이브렛 변환한 제1 웨이브렛 계수와, 상기 제1 2차원 화상에 대해 제2 텍스처 가령 모델을 적용한 제2 웨이브렛 계수를 비교한 결과에 따라, 적용하는 상기 텍스처 가령 모델을 특정하도록 추가로 구성되어 있는,
   가령화 예측 시스템.
   
6. 얼굴 형상의 가령에 의한 변화를 예측하는 형상 가령 모델과,
   얼굴 표면의 텍스처의 가령에 의한 변화를 예측하는 텍스처 가령 모델과,
   2차원 화상으로부터 3차원 데이터를 예측하는 3차원화 예측 모델을 기억한 모델 기억부와,
   입력부, 출력부에 접속되도록 구성된 제어부를 구비한 가령화 예측 시스템을 사용하여, 가령화를 예측하는 방법으로서,
   상기 제어부가,
   상기 입력부로부터 예측 대상 화상을 취득하고,
   상기 예측 대상 화상의 특징점을 추출하고,
   추출한 상기 특징점을 사용하여, 상기 예측 대상 화상에 있어서의 얼굴 방향을 추정하고,
   상기 3차원화 예측 모델 및 추정한 상기 얼굴 방향에 기초하여, 제1 3차원 데이터를 생성하고,
   상기 형상 가령 모델을 사용하여, 상기 제1 3차원 데이터로부터 제2 3차원 데이터를 생성하고,
   상기 제1 3차원 데이터에 기초하여 생성된 2차원 화상에 대해, 상기 텍스처 가령 모델을 적용하여, 가령화 텍스처를 생성하고,
   상기 제2 3차원 데이터에 대해 상기 가령화 텍스처를 합성하여, 가령화 얼굴 모델을 생성하고,
   생성된 상기 가령화 얼굴 모델을 상기 출력부로 출력하는, 예측 처리를 실행하는,
   가령화 예측 방법.
   
7. 얼굴 형상의 가령에 의한 변화를 예측하는 형상 가령 모델과,
   얼굴 표면의 텍스처의 가령에 의한 변화를 예측하는 텍스처 가령 모델과,
   2차원 화상으로부터 3차원 데이터를 예측하는 3차원화 예측 모델을 기억한 모델 기억부와,
   입력부, 출력부에 접속되도록 구성된 제어부를 구비한 가령화 예측 시스템을 사용하여, 가령화를 예측하는 프로그램을 기억하는 비일시적인 컴퓨터 가독 기억 매체로서, 가령화 예측 시스템에 의한 상기 프로그램의 실행시,
   상기 제어부가,
   상기 입력부로부터 예측 대상 화상을 취득하고,
   상기 예측 대상 화상의 특징점을 추출하고,
   추출한 상기 특징점을 사용하여, 상기 예측 대상 화상에 있어서의 얼굴 방향을 추정하고,
   상기 3차원화 예측 모델 및 추정한 상기 얼굴 방향에 기초하여, 제1 3차원화 데이터를 생성하고,
   상기 형상 가령 모델을 사용하여, 상기 제1 3차원 데이터로부터 제2 3차원 데이터를 생성하고,
   상기 제1 3차원 데이터에 기초하여 생성된 2차원 화상에 대해, 상기 텍스처 가령 모델을 적용하여, 가령화 텍스처를 생성하고,
   상기 제2 3차원 데이터에 대해 상기 가령화 텍스처를 합성하여, 가령화 얼굴 모델을 생성하고,
   생성된 상기 가령화 얼굴 모델을 상기 출력부로 출력하는, 예측 처리를 실행하는,
   매체.

Images