JPWO2018096661A1 - 画像生成装置、画像生成方法、およびプログラム - Google Patents

Abstract

入力された顔画像に対し、その顔画像に含まれる顔の特徴を損なわずに、顔以外の部分が自然に合成された画像を生成することができる装置および方法等を提供する。一態様に係る画像生成装置は、予め記憶されている複数の顔画像に含まれる顔の姿勢および、入力される第１の顔画像に含まれる顔の姿勢に基づいて、前記複数の顔画像から第２の顔画像を選択する画像選択手段と、前記第１の顔画像に含まれる顔の特徴点および前記第２の顔画像に含まれる顔の特徴点に基づいて、前記第２の顔画像の顔領域が前記第１の顔画像の顔領域に合うように、前記第２の顔画像を変形する画像変形手段と、前記第１の顔画像の顔領域と、前記変形された第２の顔画像の、顔領域以外の領域とが合成された第３の顔画像を生成する画像生成手段と、を有する。

Description

本開示は、合成画像を生成する技術に関する。

人物の顔が写った画像（以下、「顔画像」とも称す）と、他の画像を合成する技術へのニーズが高まっている。

たとえば、顔画像を利用して個人を識別する顔認証技術において、認証の性能を向上させる方法として、その個人が写る顔画像を大量に用意しておく方法が考えられる。しかし、様々な状況下にある同一人を撮影した画像を収集することや、様々なバリエーションの格好（たとえば、ポーズ、服装、および髪形）をした同一人物の画像を収集することは、難しい。また、たとえば、民族衣装のように特殊な（または珍しい）装着物を着用した人物に対する認識（または認証）の性能を向上させる上では、その特殊な装着物を着用した様々な人物の顔画像が用意されていることが好ましい場合がある。しかし、特殊な装着物を着用した人物は、母数が多くないため、特殊な装着物を着用した様々な人物の顔画像を大量に収集するのは極めて困難である。そこで、顔画像と他の画像とを合成することで、個人と装着物等とが様々に組み合わさった画像を取得する技術が、役に立つ場合がある。すなわち、バリエーションの豊富な合成画像を生成し、生成した画像を教師データとして使用することで、顔認証の精度が向上することが期待される。

また、たとえば、人物を撮影して、その人物の髪型が変化したり、何らかの装飾物を付けたりした場合の画像を生成することは、実際に変化させなくてよいため、手軽にその様子を楽しんだり、その人物に似合う髪型や装飾物を見つけたりする上で便利である。

画像に写った人物に対する合成により新たな画像を生成する手法は、いくつか提案されている。

特許文献１は、予め用意されていた合成用顔画像から、撮影した被写体の顔の向きおよび表情に対応する合成用顔画像を選択し、被写体の顔部分を合成用顔画像に置き換えた画像を生成する画像合成装置を開示している。

特許文献２は、群衆状態認識のための教師データを生成する方法を開示している。この方法では、たとえば装置が、人物が含まれていない背景画像と人物画像とを、操作者の指示にもとづいて、適切なラベルの教師データになるように合成する。

特許文献３は、髪型、顔部品、および装着品などの画像データを用意しておき、入力画像に対して適切に変形した画像データを合成することで、入力画像に写る人物に異なる髪型等を合成した画像を生成する合成方法を開示している。

特許文献４は、３次元の顔モデルと複数の光のモデルを用いて、さまざまな角度、照明環境を想定した顔画像を生成する画像生成装置を開示している。

なお、本開示に関連する文献として、物体の姿勢を認識する姿勢認識装置を開示する、特許文献５がある。

特開２０１０−８６１７８号公報 国際公開第２０１４／２０７９９１号 特開平８−９６１１１号公報 特開２０１６−０６２２２５号公報 特開２０１１−２０９１１６号公報

顔画像に髪型や装着物等を合成するような場合には、どちらか一方の画像をもう一方の画像へ、破綻も違和感もなく合成したいという要求がある。加えて、元の顔画像に写っていた人物の顔の特徴を、なるべく維持したいという要求もある。

特許文献１は、被写体の顔部分を合成用顔画像に置き換える技術である。元の合成用顔画像を変形させて合成するため、生成した合成画像では元の画像の顔の特徴が維持されない。また、主にプライバシー保護などを目的としており、高品質な（自然な）合成画像を生成することは要求されないため、高品質な合成画像を生成するための技術は開示されていない。

特許文献２に開示される技術は、人物を含まない背景画像と人物画像とを合成する技術であるため、特許文献２には、顔画像と装着物等とを違和感なく合成するための技術は開示されていない。

特許文献３に開示される合成方法は、手動による編集を伴う。従って、顔画像を入力して直ちに高品質な合成画像を生成することも、短時間で大量の合成画像を生成することも難しい。また、顔部品等を顔に対して最適になるように変形する方法としては、拡大縮小、移動、回転のみしか開示されていない。装置が自動で合成する場合の処理手順については開示されていない。

特許文献４に開示される合成方法は、照明条件等を変えた場合の顔画像を生成する技術であり、顔画像の顔の部分と、それ以外の部分とを合成する技術ではない。

本開示は、入力された顔画像に対し、その顔画像に含まれる顔の特徴を損なわずに、顔以外の部分が自然に合成された画像を生成することができる装置および方法等を提供することを目的の１つとする。なお、上記の「自然に」とは、違和感が少ない、不自然でない、という意味である。

本発明の一態様に係る画像生成装置は、予め記憶されている複数の顔画像に含まれる顔の姿勢および、入力される第１の顔画像に含まれる顔の姿勢に基づいて、前記複数の顔画像から第２の顔画像を選択する画像選択手段と、前記第１の顔画像に含まれる顔の特徴点および前記第２の顔画像に含まれる顔の特徴点に基づいて、前記第２の顔画像の顔領域が前記第１の顔画像の顔領域に合うように、前記第２の顔画像を変形する画像変形手段と、前記第１の顔画像の顔領域と、前記変形された第２の顔画像の、顔領域以外の領域とが合成された第３の顔画像を生成する画像生成手段と、を有する。

本発明の一態様に係る顔照合装置は、顔画像を入力として受け付ける入力手段と、予め記憶されている複数の顔画像に含まれる顔の姿勢および、第１の顔画像に含まれる顔の姿勢に基づいて、前記複数の顔画像から選択された第２の顔画像が、前記第１の顔画像に含まれる顔の特徴点および当該第２の顔画像に含まれる顔の特徴点に基づいて、前記第１の顔画像の顔領域に合うように変形され、前記第１の顔画像の顔領域と、前記変形された第２の顔画像の顔領域以外の領域とが合成されることにより生成する、第３の顔画像と、前記入力として受け付けられた顔画像と、を照合する照合手段と、を有する。

本発明の一態様に係る画像生成方法は、予め記憶されている複数の顔画像に含まれる顔の姿勢および、入力される第１の顔画像に含まれる顔の姿勢に基づいて、前記複数の顔画像から第２の顔画像を選択し、前記第１の顔画像に含まれる顔の特徴点および前記第２の顔画像に含まれる顔の特徴点に基づいて、前記第２の顔画像の顔領域が前記第１の顔画像の顔領域に合うように、前記第２の顔画像を変形し、前記第１の顔画像の顔領域と、前記変形された第２の顔画像の、顔領域以外の領域とが合成された第３の顔画像を生成する。

本発明の一態様に係るプログラムを記憶した記憶媒体は、コンピュータに、予め記憶されている複数の顔画像に含まれる顔の姿勢および、入力される第１の顔画像に含まれる顔の姿勢に基づいて、前記複数の顔画像から第２の顔画像を選択する画像選択処理と、前記第１の顔画像に含まれる顔の特徴点および前記第２の顔画像に含まれる顔の特徴点に基づいて、前記第２の顔画像の顔領域が前記第１の顔画像の顔領域に合うように、前記第２の顔画像を変形する画像変形処理と、前記第１の顔画像の顔領域と、前記変形された第２の顔画像の、顔領域以外の領域とが合成された第３の顔画像を生成する画像生成処理と、を実行させるプログラムを記憶する。

本開示によれば、入力された顔画像に対し、その顔画像に含まれる顔の特徴を損なわずに、顔以外の部分が自然に合成された画像を生成することができる。

第１の実施形態に係る画像生成装置の構成を示すブロック図である。 第１の実施形態に係る画像変形部の構成を示すブロック図である。 第１の実施形態に係る画像生成装置の動作の流れを示すフローチャートである。 対象顔画像において抽出される特徴点の例を示す図である。 顔領域が特定された対象顔画像と、マスクと、それらの乗算により生成する被マスク画像と、の例を示す図である。 対象顔画像における特徴点と素材画像における特徴点とのそれぞれの対応を特定する処理の概念を示す図である。 対象顔画像の外周点と、その外周点に相当する投影外周点を特定する処理の概念とを示す図である。 素材画像を変形させ、合成用素材画像を生成する処理の概念を示す図である。 反転マスクを生成する処理の概念を示す図である。 合成用素材画像と反転マスクとから、合成用素材画像における顔領域以外の部分が抽出される例を示す図である。 被マスク画像と、合成用素材画像における顔領域以外の部分とを合成して、合成画像を生成する概念を示す図である。 第１の実施形態の変形例３に係る精密変形部による素材画像の変形の概念を示す図である。 第１の実施形態の変形例３に係る画像合成部による合成の概念を示す図である。 第２の実施形態に係る画像生成装置の構成を示すブロック図である。 第２の実施形態に係る画像生成装置の動作の流れを示すフローチャートである。 一実施形態に係る画像生成装置の構成を示すブロック図である。 一実施形態に係る画像生成装置の動作の流れを示すフローチャートである。 一実施形態に係る顔照合装置の構成を示すブロック図である。 各実施形態の各部を構成するハードウェアの例を示すブロック図である。

以下、実施形態について図面を参照して詳細に説明する。ただし、以下の実施形態に記載されている構成要素はあくまで例示であり、本願発明の技術範囲をそれらのみに限定する趣旨のものではない。

＜＜第１の実施形態＞＞
まず、第１の実施形態について説明する。

［構成の説明］
図１に、第１の実施形態に係る画像生成装置１１の構成を示す。画像生成装置１１は、入力部１１０と、特徴点検出部１１１と、顔領域抽出部１１２と、姿勢推定部１１３と、画像選択部１１４と、画像変形部１１５と、画像合成部１１６と、記憶部１１７とを備える。画像変形部１１５は、図２に示すように、パラメータ推定部１１５１と、投影外周点生成部１１５２と、精密変形部１１５３とを含む。

入力部１１０は、人物の顔が写った画像を入力として受け付ける。すなわち、入力部１１０は、人物の顔が写った画像を取り込む。以下、入力によって画像生成装置１１により取り込まれた画像を「対象顔画像」とも呼ぶ。対象顔画像は、カメラ等の撮像装置による撮像によって取得されてもよいし、人物の顔が写った画像を保存する記憶媒体や記憶装置等から読み出されてもよい。対象顔画像は、適宜、トリミング等の補正がなされてもよい。

特徴点検出部１１１は、対象顔画像に写った人物の顔および顔の特徴点を検出する。顔の特徴点とは、その人物の顔（輪郭を含む）における、その人物の特徴を表しうる点である。顔および顔の特徴点を検出する方法としては、例えばＶｉｏｌａ−Ｊｏｎｅｓ法などがある。ただし、Ｖｉｏｌａ−Ｊｏｎｅｓ法はあくまでも一例であり、特徴点検出部１１１は、その他の既知の手法を用いて顔および顔の特徴点を検出してもよい。

なお、対象顔画像に写った人物が複数人いる場合は、特徴点検出部１１１は、それぞれの人物の顔の特徴点を検出してもよいし、特定の人物のみの顔の特徴点を検出してもよい。特定の人物とは、たとえば、顔の大きさが最も大きい人物、顔の輝度が最も明るい人物でもよい。特定の人物とは、予め指定された顔画像との照合により、予め指定された顔画像の人物であると特定された人物でもよい。以下、顔の特徴点が抽出された顔を持つ人物を、「対象人物」と称する。

特徴点検出部１１１は、少なくとも、目、鼻、および口などの、顔の主要なパーツにおける特徴点を抽出する。パーツにおける特徴点とは、たとえば、パーツの端点（目頭、目尻等）や、パーツ上における端点の間をＰ等分（Ｐは自然数）する分割点、等である。特徴点検出部１１１は、顔において上記主要なパーツよりも外側に位置する特徴点（例えば、顔の輪郭や眉などにおける特徴点）も検出してもよい。

顔領域抽出部１１２は、対象顔画像における、顔領域を抽出する。対象顔画像の顔領域は、少なくとも特徴点検出部１１１により検出された特徴点を含む、対象顔画像における領域である。対象顔画像の顔領域は、たとえば、顔の主要なパーツを包含する、対象人物の顔の内部（外郭を含んでもよい）の領域である。

顔領域抽出部１１２は、特徴点検出部１１１により検出された特徴点の少なくとも１つに基づいて、顔領域を抽出する。顔領域抽出部１１２は、たとえば、検出された特徴点のうち、顔の主要なパーツよりも外側に位置する特徴点どうしを結ぶことで形成される閉領域を、顔領域として抽出してもよい。顔領域の抽出処理の具体的な例は、［動作の説明］において説明する。なお、以下の説明で、顔領域を抽出するために基になった特徴点を、「顔領域を規定する点」と称することもある。

そして、顔領域抽出部１１２は、たとえば、顔領域の内部の点に“１”を、その他の領域の点に“０”を、それぞれマスク値として割り当てた、マスクを生成してもよい。顔領域抽出部１１２は、対象顔画像の各画素の画素値に対してマスクの各画素のマスク値を乗算することで、顔領域以外の画素の画素値がゼロになり、顔領域の画像のみの画素値が残った画像（以下、被マスク画像）を生成してもよい。

なお、抽出された特徴点の情報は、たとえば記憶部１１７に記憶されてもよい。抽出された特徴点の情報は、画像生成装置１１の各部が参照可能であるように記憶されてよい。特徴点の情報とは、たとえば、特徴点のそれぞれの位置、および、特徴点のそれぞれが顔のパーツのどの部分に相当するかを示す情報である。

姿勢推定部１１３は、対象人物の顔の向き（「顔の姿勢」とも称す）を推定する。顔の姿勢は、たとえば、顔画像が写しとった三次元空間においてその人物の顔面が向いている方向である。顔の姿勢は、たとえば、顔画像の正面方向、すなわち撮像装置に対して正面を向いている場合の顔の方向を基準とした３種類の角度（ピッチ角、ヨー角、およびロール角）によって、記述可能である。ピッチ角は左右の軸まわりの回転角、ヨー角は上下の軸まわりの回転角、ロール角は前後の軸まわりの回転角である。顔の姿勢は、別の例では、三次元ベクトルによって記述可能である。たとえば、姿勢推定部１１３は、顔画像の正面方向に平行な基準ベクトルを含む、互いに直交する方向の３つの基準ベクトルを用いて、顔面の法線方向を記述してもよい。以下、顔の姿勢を特定する情報を、姿勢情報と称する。

姿勢推定部１１３は、顔の姿勢を、例えば特許文献５（上述）に開示される方法などを用いて推定すればよい。ただし、上記文献に開示される方法はあくまで一例であり、姿勢推定部１１３は、その他の既知の手法を用いて人物の顔の姿勢を推定してもよい。

記憶部１１７は、素材画像を記憶する。素材画像は、人物の顔を含む顔画像である。素材画像は、画像生成装置１１によって生成される合成画像において顔部分以外を構成する素材となる。たとえば、画像生成装置１１の利用者は、記憶部１１７に、合成に用いたい格好や髪型をした、または合成に用いたい装着物を身に着けた、人物が写った顔画像を、素材画像として記憶させる。記憶される素材画像には、その素材画像に含まれる顔の特徴点の情報と、姿勢情報とが関連付けられて記憶される。顔の特徴点の情報および姿勢情報は、画像生成装置１１等によって検出されてもよい。素材画像に含まれる顔の特徴点の少なくとも１つ以上は、特徴点検出部１１１が対象顔画像において検出する特徴点に対応付けられる。例えば、素材画像に含まれる顔の特徴点はすべて、対象顔画像において検出される特徴点のそれぞれに対応付けられていてもよい。素材画像に含まれる顔の特徴点は、例えば、特徴点検出部１１１による検出の方法と同じ方法によって検出された特徴点でもよい。

画像選択部１１４は、記憶部１１７に記憶された素材画像の中から、合成に適切な素材画像を選択する。合成に適切な素材画像は、対象人物の顔を違和感なく合成しやすい素材画像である。

対象人物の顔を違和感なく合成しやすい素材画像は、たとえば、対象人物の顔の姿勢と近い姿勢の顔が写った素材画像である。すなわち、合成しやすい素材画像は、対象顔画像の姿勢情報に近い姿勢情報が関連付けられた素材画像である。２つの姿勢情報が「近い」とは、たとえば、姿勢情報を記述するパラメータの値が、２つの姿勢情報の間で近いことである。

すなわち、画像選択部１１４は、複数の素材画像に含まれる顔の姿勢と、対象人物の顔の姿勢とに基づいて、合成に適切な素材画像を選択する。たとえば、姿勢情報が顔のピッチ角、ヨー角、およびロール角の値で記述される場合、画像選択部１１４は、上記３つの値の組について、対象人物の姿勢情報と、各素材画像に関連付けられた姿勢情報との間のユークリッド距離を計算してもよい。ユークリッド距離は、パラメータごとの値の差の２乗値の、総和の平方根である。そして、画像選択部１１４は、対象人物の顔の姿勢情報に対してユークリッド距離が小さい姿勢情報が関連付けられた素材画像を、対象人物の顔の姿勢と近い姿勢の顔が写った素材画像として選択してもよい。たとえば、姿勢情報が三次元ベクトルで表される場合、対象人物の姿勢を表す単位ベクトルと、各素材画像に関連付けられた姿勢を表す単位ベクトルとの内積を計算してもよい。そして、画像選択部１１４は、対象人物の顔の姿勢を表すベクトルとの内積が大きいベクトルが関連付けられた素材画像を、対象人物の顔の姿勢と近い姿勢の顔が写った素材画像として選択してもよい。

なお、記憶部１１７に記憶された素材画像には、予め姿勢情報が関連付けられて記憶されていてもよい。

画像選択部１１４は、対象人物の顔の姿勢情報に最も近い姿勢情報が関連付けられた素材画像を１枚だけ選択してもよい。画像選択部１１４は、対象人物の顔の姿勢情報に対する姿勢情報の近さが所定の基準以内である顔画像をＮ枚（Ｎは２以上の整数）特定し、抽出された顔画像のうちＭ枚（Ｍは１以上Ｎ以下の整数）を、ランダムに、または特定の基準に基づいて、選択してもよい。画像選択部１１４は、肌の色や輝度などに基づいて、適切な素材画像を絞り込む工程を経て素材画像を決定してもよい。たとえば、画像選択部１１４は、対象顔画像の顔領域内の輝度の分布と、素材画像の顔領域内の輝度の分布を比較してもよい。画像選択部１１４は、顔領域内の輝度の分布が対象顔画像に類似している素材画像を選択してもよい。それにより、より自然な合成画像が生成されることが期待される。

なお、画像選択部１１４により２枚以上の素材画像が選択された場合は、以降で説明される合成画像の生成の処理は、選択されたそれぞれの素材画像に対して行われればよい。

画像変形部１１５は、画像選択部１１４により選択された素材画像を、その素材画像の特徴点の情報と、対象顔画像およびその特徴点の情報とに基づき変形させる。この変形によって生成する画像を、以下、合成用素材画像と称する。合成用素材画像は、選択された素材画像と対象顔画像とを合成するための画像である。

画像変形部１１５は、画像選択部１１４により選択された素材画像を合成に適切な画像になるように変形する。画像変形部１１５は、合成に適切な画像への変形として、以下の手順で、素材画像の変形を行う。なお、パラメータ推定部１１５１、投影外周点生成部１１５２、および精密変形部１１５３は、画像変形部１１５に含まれる部である。

まず、パラメータ推定部１１５１が、対象人物の顔の特徴点の情報と、選択された素材画像の顔の特徴点の情報とに基づき、対象顔画像の座標系と素材画像の座標系とを対応付ける幾何変形パラメータを推定する。ここで行われる幾何変形は厳密である必要はない。たとえば、パラメータ推定部１１５１は、アフィン変換と同程度の自由度の幾何変形パラメータを求めればよい。パラメータ推定部１１５１は、たとえば、対象人物の顔の特徴点が幾何変形パラメータによって投影される位置が、それぞれ、素材画像の対応付けられた特徴点の位置になるべく近くなるような、幾何変形パラメータを求める。なるべく近くなるような幾何変形パラメータを求めるために、パラメータ推定部１１５１は、たとえば、最小二乗法などを用いればよい。

幾何変形パラメータを求める際に基づく、対象人物の顔の特徴点および素材画像の顔の特徴点は、顔における特徴点の全てでもよいし、一部（例えば、主要パーツにおける特徴点のみ等）でもよい。

なお、パラメータ推定部１１５１は、アフィン変換よりも自由度の高い幾何変形のパラメータを推定してもよいが、推定されたパラメータによる変換によって、対象人物の顔の特徴が損なわれないことが望ましい。

そして、投影外周点生成部１１５２が、パラメータ推定部１１５１により推定された幾何変形パラメータを用いて、対象顔画像の外周上の点を素材画像上へ投影する。すなわち、投影外周点生成部１１５２は、対象顔画像の外周上の点に相当する（対応する）、素材画像上の点を特定する。本実施形態では、この投影する処理により特定された素材画像の点を、投影外周点と呼ぶ。素材画像に投影する、対象顔画像の外周上の点（以下、「外周点」）は、たとえば、対象顔画像が四角形である場合は、その四角形の４つの頂点を含む、複数の点である。

ただし、特定された素材画像上の投影外周点が、素材画像の外側に位置する場合がありうる。そのような場合とは、たとえば、対象人物の顔の位置と素材画像に写る顔の位置が著しく異なる場合等である。また、素材画像に含まれる顔の大きさが対象人物の顔の大きさよりも大きい場合も、推定される幾何変形パラメータは画像を拡大させる変形を含む変形のパラメータとなるため、投影外周点が素材画像の外側に位置する場合がある。そのような場合には、投影外周点生成部１１５２は、対象顔画像をトリミングしてもよい。たとえば、投影外周点生成部１１５２は、トリミングされた後の対象顔画像の外周点が、素材画像上（外周線上でもよい）に投影されるように、対象顔画像をトリミングしてもよい。対象顔画像がトリミングされた場合、画像変形部１１５はパラメータ推定部１１５１および投影外周点生成部１１５２による処理を改めて行い、以降の処理では、元の対象顔画像の代わりに、トリミングされた対象顔画像が用いられればよい。

上記のような投影外周点生成部１１５２による投影によれば、対象顔画像全体の領域に相当する、素材画像上の領域を特定することが可能となる。すなわち、投影外周点を結ぶことによって形成される線が、対象顔画像の外周線（すなわち、外郭、画像の枠）に相当する。

投影外周点が特定されたら、精密変形部１１５３が、素材画像の対象顔画像全体の領域に相当する領域を、素材画像の顔領域が対象顔画像の顔領域に合うように、変形する。

素材画像の顔領域とは、対象顔画像の顔領域に相当する素材画像における領域である。すなわち、素材画像の顔領域とは、対象顔画像の顔領域を規定する特徴点（顔領域を抽出する際に基になった特徴点）に対応付けられる、素材画像における特徴点に基づいて抽出される領域である。たとえば、対象顔画像の顔領域が、主要なパーツよりも外側に位置する特徴点を結ぶことによって抽出された場合では、素材画像の顔領域は、その特徴点にそれぞれ対応付けられる素材画像上の特徴点を結ぶことによって形成される領域である。すなわち、この場合、精密変形部１１５３による変形によって、変形後の素材画像における、対象顔画像の顔領域を規定する特徴点に対応付けられる特徴点の位置は、それぞれ対象顔画像の顔領域を規定する特徴点の位置に一致する。

本実施形態では、精密変形部１１５３による変形の対象となる領域は、素材画像の対象顔画像全体の領域に相当する領域である。すなわち、精密変形部１１５３は、たとえば、素材画像における投影外周点どうしを結ぶことによって形成される線に囲まれる領域を、投影外周点に基づいて切り出し、切り出した領域を変形する。切り出された領域の外周線は、素材画像上における、対象顔画像の外周線に相当する。

精密変形部１１５３は、たとえば、素材画像の顔領域の外周線と、切り出された領域の外周線と、で囲まれる領域が、対象顔画像の顔領域の外周線と、対象顔画像の外周線と、で囲まれる領域に一致するように、切り出された領域を変形する。

精密変形部１１５３による変形は、対象顔画像の顔領域を規定する特徴点に対応付けられる素材画像における特徴点だけでなく、対象顔画像の顔領域を規定する特徴点以外の特徴点に対応付けられる素材画像における特徴点も、その特徴点に対応付けられる対象顔画像における特徴点の位置にそれぞれ一致するような、変形であってもよい。精密変形部１１５３による変形は、素材画像の顔領域内に存在する特徴点にも基づく変形であってもよいし、当該特徴点には基づかない変形であってもよい。素材画像の顔領域内の画像は精密変形部１１５３による変形によって変形されなくてもよい。なぜなら、素材画像の顔領域内の画像は、後述の画像合成部１１６による合成処理によって対象顔画像の顔に置き換えられるからである。

上記のような変形のため、精密変形部１１５３は、たとえば、自由度の高い非線形な幾何変形を行う。例えば、精密変形部１１５３は、特徴点および外周点を結んで形成される三角形のパッチごとにアフィン変換をする方法や、薄板スプライン法などを用いる。

ただし、精密変形部１１５３は、必ずしも変形対象の領域全体に対して非線形な幾何変形を行わなくてもよい。非線形な幾何変形が行われる領域は、少なくとも顔領域の外周線を含む（境界線として含んでいてもよい）領域であればよい。精密変形部１１５３は、顔領域の外周線を含まない部分領域に対しては、線形の幾何変形を行ってもよい。

以上のような画像変形部１１５による処理により、合成用素材画像が生成される。

画像合成部１１６は、合成画像を生成する。具体的には、画像合成部１１６は、顔領域抽出部１１２により抽出された顔領域以外の部分が、画像変形部１１５により生成された合成用素材画像に置き換えられた画像を生成する。

画像合成部１１６が合成画像を生成するのに際し、顔領域抽出部１１２がマスクを生成していた場合は、画像合成部１１６はそのマスクを用いてもよい。すなわち、画像合成部１１６は、マスクの各画素に設定されているマスク値を反転させる（“０”であった部分に“１”を割り当て、逆に“１”であった部分に“０”を割り当てる）ことで、顔領域以外の部分のみを抽出可能な、反転マスクを生成する。そして、画像合成部１１６は、反転マスクと合成用素材画像の各画素を乗算することで、合成用素材画像における顔領域以外の部分を抽出できる。画像合成部１１６は、このようにして抽出された、合成用素材画像の顔領域以外の部分と、対象顔画像の顔領域（すなわち、顔領域抽出部１１２が生成した被マスク画像）とを、合成すればよい。前述したように、合成用素材画像は、顔領域が対象顔画像の顔領域と一致するように変形されているため、対象顔画像の被マスク画像と合成用素材画像の顔領域以外の画像は、単純に各画素の加算をするだけで合成可能である。

ただし、この合成において、合成された２つの画像の境界に不自然なエッジが発生する場合がある。画像合成部１１６は、加算される２つの画像の一方または両方の画像の色相・彩度・明度を調整したり、境界付近の画素の色を加工したりしてもよい。境界付近については、たとえば、画像合成部１１６は、加算される２つの画像のマスク値を重み付きで平均して混合してもよい。画像合成部１１６は、Ｐｏｉｓｓｏｎ Ｉｍａｇｅ Ｅｄｉｔｉｎｇのような手法を用いてもよい。

［動作の説明］
次に、具体例を用いて、第１の実施形態に係る画像生成装置１１の動作の例を説明する。図３は、画像生成装置１１の処理の流れを示すフローチャートである。ただし、図３に示す処理の流れは例示であり、各ステップは必ずしも図３に示された順で行われなくともよい。

ステップＳ３１では、特徴点検出部１１１が、入力部１１０によって取り込まれた対象顔画像中の、顔および顔特徴点を検出する。図４の（ａ）は、対象顔画像の例である。この例において、特徴点検出部１１１は、たとえば、図４の（ｂ）において白い小円で示されるような部分、すなわち両目尻、両目頭、鼻下、口端、眉、および輪郭（フェイスライン）等において、計１８個の特徴点を検出するとする。

ステップＳ３２では、顔領域抽出部１１２が、ステップＳ３１で検出された顔特徴点に基づいて、入力画像の顔領域を抽出する。たとえば、顔領域抽出部１１２は、ステップＳ３１で検出された顔特徴点のうち、顔の輪郭上の特徴点および眉の特徴点を、目、鼻、および口を囲むように線分で結ぶことで形成される閉領域を、顔領域として抽出する（図５の（ａ））。

なお、顔領域抽出部１１２が顔領域を抽出する方法は、特徴点に基づいて顔の主要なパーツを含む領域を抽出可能な方法であれば、上記以外の方法でもよい。例えば、顔領域抽出部１１２は、鼻における特徴点と、目および口の端における特徴点とをそれぞれ結ぶ線分を所定の長さだけ延長した位置にある端点を制御点とする、なめらかな曲線（たとえば、補間型スプライン曲線）で囲まれる領域を、顔領域としてもよい。

そして、顔領域抽出部１１２は、対象人物の顔領域のみを抽出するためのマスクを生成する。たとえば、顔領域抽出部１１２は、対象顔画像における、顔領域の内部の点に対し“１”を、その他の領域に対して“０”を、それぞれマスク値として割り当てた二値のマスクを生成する（図５の（ｂ））。

そして、顔領域抽出部１１２は、そのマスクを用いて被マスク画像を生成する。たとえば、顔領域抽出部１１２は、対象顔画像の各画素とマスクの各画素を乗算することで、顔領域の画素のみが抽出された被マスク画像を生成する（図５の（ｃ））。

ステップＳ３３では、姿勢推定部１１３が、対象人物の顔の姿勢を推定する。たとえば、姿勢推定部１１３は、顔の姿勢を、特許文献５に開示される方法等を用いて推定するものとする。姿勢推定部１１３は、推定した姿勢を基に、姿勢情報を生成する。

ステップＳ３４では、画像選択部１１４が、記憶部１１７に記憶された素材画像の中から、合成に適切な素材画像を選択する。この具体例では、画像選択部１１４は、対象顔画像の姿勢情報と素材画像に関連付けられた姿勢情報との間のユークリッド距離、すなわち、顔の姿勢を決定づける各種の角度の値のずれの２乗値の和が、最も小さい素材画像を１枚、選択するものとする。

なお、選択された素材画像における、対象顔画像の特徴点に対応付けられる特徴点はそれぞれ、特定可能であるとする。以降の処理が実行可能であるためには、少なくとも、対象顔画像の顔領域を規定する特徴点に対応付けられる素材画像の特徴点が、それぞれ特定可能であればよい。

ステップＳ３５では、画像変形部１１５が、ステップＳ３４で選択された素材画像を合成に適切な画像になるように変形する。具体的な例として、画像変形部１１５内の各部が、次のような処理を行う。

まず、パラメータ推定部１１５１が、対象顔画像の顔の特徴点の情報と素材画像の顔の特徴点の情報に基づき、対象顔画像の座標系と素材画像の座標系とを対応付ける幾何変形パラメータを推定する。たとえば、パラメータ推定部１１５１は、対象顔画像の顔の目、鼻、および口における特徴点の位置と、それらの特徴点に対応付けられる素材画像の特徴点の位置とを比較することにより（図６）、アフィン変換パラメータを、最小二乗法を用いて推定する。

そして、投影外周点生成部１１５２が、推定したアフィン変換パラメータを使って、対象顔画像の外周上の点（図７の例では、８点）を素材画像上へ投影する。この投影により素材画像上で特定された点を投影外周点とする。

そして、精密変形部１１５３が、素材画像の、対象顔画像全体の領域に相当する領域を、素材画像の顔領域が対象顔画像の顔領域に合うように、変形する。素材画像の、対象顔画像全体の領域に相当する領域は、投影外周点を結ぶことにより形成される線である。精密変形部１１５３は、たとえば、投影外周点を結ぶことにより形成される線によって切り出す。そして、精密変形部１１５３は、切り出した領域を、顔領域の外周線と、切り出した領域の外周線と、で囲まれる領域（図８の（ａ）において斜線で示される領域）の形状が、対象顔画像の顔領域の外周線および対象顔画像の外周線とで囲まれる領域（図８の（ｂ）において斜線で示される領域）の形状になるように、薄板スプライン法で変形する。精密変形部１１５３は、このとき、パラメータ推定部１１５１が推定した変換パラメータを参照してもよい。たとえば、精密変形部１１５３は、パラメータ推定部１１５１が推定した変換パラメータの逆変換のパラメータを使用して、素材画像の、対象顔画像全体の領域に相当する領域を変形させた後、精密な変形を行ってもよい。

これらの処理により、画像変形部１１５は、顔領域が対象顔画像の顔領域に一致する合成用素材画像（図８の（ｃ））を、生成する。

ステップＳ３６では、画像合成部１１６が、ステップＳ３２で生成された被マスク画像と、ステップＳ３５で生成された合成用素材画像を合成し、新たに合成画像を生成する。画像合成部１１６は、まず、ステップＳ３２で生成されたマスクのマスク値を反転させる（０であった部分に１を割り当て、逆に１であった部分に０を割り当てる）ことで、顔以外の領域を抽出する反転マスクを生成する（図９）。次に、画像合成部１１６は、ステップＳ３５で生成された合成用素材画像に、上記反転マスクを乗算することで、合成用素材画像の顔以外の領域を抽出する（図１０）。そして、画像合成部１１６は、抽出した合成用素材画像の顔以外の領域と、ステップＳ３２で生成した被マスク画像とを、Ｐｏｉｓｓｏｎ Ｉｍａｇｅ Ｅｄｉｔｉｎｇの方法を用いて合成する（図１１）。

以上のような処理の流れにより、対象人物が、素材画像の容姿や髪型になり、または装飾物を着用したように見える合成画像が生成される。

［効果］
第１の実施形態に係る画像生成装置１１によれば、対象顔画像に写った対象人物の顔の特徴は保持したまま、顔周辺を別のテクスチャに置き換えることができる。

画像生成装置１１は、対象顔画像の、抽出された顔領域に対して変形を行わない。そのため、対象人物の特徴を残すことができる。一方で、画像変形部１１５により、素材画像が対象顔画像に合わせて精密に変形されるため、合成により生成される画像は自然な（違和感のない）画像になる。画像選択部１１４が、対象顔画像に含まれる顔の姿勢情報に近い姿勢情報に関連付けられた素材画像を選択することで、より違和感のない合成画像が生成する。

このように、生成される合成画像は、違和感なく、顔の特徴が損なわれないように合成された画像である。したがって、生成される合成画像は、たとえば、顔認識や顔認証に用いられる教師データとして信頼性の高い画像である。

記憶部１１７に複数の素材画像を記憶させておくことで、画像生成装置１１は、素材画像の選択から変形、合成までをすべて自動的に実行することができる。つまり、画像生成装置１１によれば、労力をかけることなく、種々の合成画像を早く生成することができる。

様々な合成画像をたくさん生成することで、たとえば、それらの合成画像を教師データとして用いて顔照合を行う装置が、精度のよい照合を行うことができる。

また、入力された顔画像に写る人物に様々なテクスチャを自然に合成した画像が即座に生成することで、たとえば、その人物に似合う髪型や格好を、容易に、その人物の特徴を考慮した上で検討することができる。

＜変形例＞
素材画像は、特定の人物の顔を必ずしも含んでいなくともよい。すなわち、素材画像の顔部分（対象顔画像の顔に置き換えられる部分）には顔が写っていなくともよい。代わりに、素材画像には顔の主要パーツの位置を示す情報が関連付けられていれば、画像生成装置１１の各処理は実行可能である。

＜変形例２＞
また、たとえば、画像選択部１２４は、対象人物の姿勢情報と素材画像に関連付けられた姿勢情報との間の近さを算出する際に、画像に平行な面における回転角（すなわち、ロール角）を考慮に入れなくてもよい。すなわち、画像選択部１２４は、ヨー角およびピッチ角のみに基づいて、２つの姿勢情報の近さを算出してもよい。

パラメータ推定部１１５１が推定する幾何変形パラメータが、アフィン変換パラメータのように回転操作を含む変換のパラメータであれば、選択された素材画像と対象顔画像との間のロール角に関するずれは合成画像の質に影響しない。そのようなずれは素材画像の座標系と対象顔画像の座標系との間の対応付けにおいて考慮されるからである。

パラメータ推定部１１５１が推定する幾何変形パラメータが回転を考慮しない場合は、画像生成装置１１は、素材画像を回転させた画像を新たな素材画像として使用すればよい。たとえば、画像選択部１２４が、選択された素材画像を、素材画像と対象顔画像との双方のロール角のずれ（差）に基づいて、回転させることで、双方のロール角を一致させる。そして、画像選択部１２４は、回転させることで新たに生成した画像を、素材画像として画像変形部１１５に送信する。これにより、新たな素材画像が、ステップＳ３５以降の処理で使用される。なお、素材画像を回転させた場合、画像選択部１２４は、対象顔画像における特徴点の情報も修正する。すなわち、画像選択部１２４は、対象顔画像の回転に用いた回転パラメータを用いて、特徴点の座標も回転させ、特徴点の位置の情報を更新する。

このような変形例によれば、対象人物の顔のロール角と異なるロール角の顔を含む素材画像も、合成可能な素材画像の候補になりえる。すなわち、選択可能な素材画像の数が、ロール角の近さに制限されない。したがって、より多くの素材画像が、対象人物の姿勢に近い姿勢を持つ素材画像として使用可能となる。

＜変形例３＞
上記実施形態では、画像合成部１１６は、顔領域抽出部１１２により抽出された顔領域以外の部分が、画像変形部１１５により生成された合成用素材画像に置き換えられた画像を生成する。変形例として、画像合成部１１６は、素材画像における、顔領域の部分が、対象顔画像の顔領域に置き換えられた画像を生成してもよい。すなわち、素材画像全体の範囲が合成に使用されてもよい。そのような形態を、以下変形例３として説明する。

変形例３では、ステップＳ３５における、精密変形部１１５３の処理と、ステップＳ３６における、画像合成部１１６の処理とが、既に説明した処理と異なる。具体的には次の通りである。

精密変形部１１５３は、対象顔画像の顔領域を、パラメータ推定部１１５１が推定した幾何変形パラメータに基づいて素材画像に投影した場合の、それぞれの位置を特定する。ただし、パラメータ推定部１１５１が推定した幾何変形パラメータは、アフィン変換のように、歪まない（すなわち、線形な幾何変形のみによってもとに戻すことが可能な）、パラメータであるとする。そして、精密変形部１１５３は、素材画像における、対象顔画像の顔領域を規定する特徴点に対応付けられる特徴点を、上記位置が特定された顔領域に合うように、変形させる。すなわち、精密変形部１１５３は、素材画像の一部または全体を、対象顔画像の顔領域が特徴を維持しながら自然に合成されることが可能となるように、変形する。

たとえば、精密変形部１１５３は、素材画像の顔領域の形状が、対象顔画像の顔領域がパラメータ推定部１１５１により推定された幾何変形パラメータによって素材画像に投影されることにより形成される領域の形状になるように、素材画像を変形する（図１２）。図１２の例では、図１２の（ａ）の画像が変形前の素材画像であり、図１２の（ｃ）の画像が変形後の素材画像である。変形前の素材画像の顔領域の形状は、対象顔画像（図１２の（ｂ））の顔領域を非線形に変形しなければ合成することができない形状である。一方で、変形後の素材画像の顔領域の形状は、対象顔画像の顔領域を線形な幾何変形のみを経て合成することができる形状である。

精密変形部１１５３による変形の対象となる領域は、素材画像の全体でもよいし、少なくとも顔の特徴点をすべて含む領域であってもよい。たとえば、精密変形部１１５３による変形の対象となる領域は、素材画像における投影外周点に囲まれる領域、すなわち、対象顔画像全体の領域に相当する領域でもよい。

このような変形を経て生成した画像を、合成用素材画像とする。これにより、対象顔画像の顔領域は、幾何変形パラメータによる変形のみを経て、合成用素材画像に自然にはめ込まれることが可能となる。すなわち、対象顔画像の顔領域は、合成用素材画像に非線形な変形なしに当てはめられることが可能である。

ステップＳ３６において、画像合成部１１６は、合成用素材画像の、顔領域以外の部分（図１３の（ａ））と、対象顔画像の顔領域（図１３の（ｂ））とを合成する。このとき、画像合成部１１６は、対象顔画像を、パラメータ推定部１１５１が推定した幾何変形パラメータに基づいて幾何変形して、合成用素材画像と合成させる。合成用素材画像の顔領域の部分は、幾何変形された対象顔画像の顔領域が当てはまるように変形されているため、合成は容易に行える。この合成により、素材画像に対象人物の顔が自然に合成された合成画像が生成される（図１３の（ｃ））。

以上説明した処理によれば、選択された素材画像の全体を使用した、合成画像を作成することができる。この合成画像において、対象人物の顔は、アフィン変換程度の幾何変形しか行われていないため、個人の特徴は、非線形な変形を行う場合に比べて、損なわれにくい。特に、対象人物の顔に対する幾何変形が、アスペクト比が変化しない拡大または縮小、および回転の組み合わせによる変形であれば、個人の特徴は損なわれない。

上記変形例３の更なる変形例として、ステップＳ３５において、精密変形部１１５３は、素材画像全体を、パラメータ推定部１１５１が推定した幾何変形パラメータに基づいて幾何変形してもよい。幾何変形が行われた素材画像を基に精密変形部が素材画像を変形し、合成用素材画像を生成すれば、対象顔画像の顔領域を幾何変形しなくても、画像合成部１１６は合成用素材画像と顔領域とを合成することができる。すなわち、この場合、対象人物の顔は一切変形されることなく、素材画像の全体を使用した合成画像が生成できる。

＜＜第２の実施形態＞＞
第２の実施形態に係る画像生成装置１２について説明する。図１４は、画像生成装置１２の構成を示すブロック図である。画像生成装置１２は、画像生成装置１１に比べ、画像選択部１１４の機能が拡張された機能を有する画像選択部１２４と、画像反転部１２８を備えている点で異なる。画像選択部１２４および画像反転部１２８以外の部の機能および動作については、画像生成装置１１における部の機能および動作と同様であるため、以下では詳しい説明を省略する。

［構成の説明］
画像選択部１２４は、複数の素材画像の中から、合成に適切な素材画像を選択する。選択に際し、画像選択部１２４は、対象人物の姿勢情報と素材画像に関連付けられた姿勢情報との間の近さを算出する。このとき、画像選択部１２４は、上記２つの姿勢情報の一方を左右反転した場合の姿勢情報も、近さを算出する際に用いる姿勢情報として使用してもよい。

たとえば、画像選択部１２４は、対象人物の姿勢情報を、素材画像に関連付けられた姿勢情報を左右反転させた場合の姿勢情報とも比較する。たとえば、画像選択部１２４は、対象人物の姿勢情報を、素材画像に関連付けられた姿勢情報のヨー角の値の正負を逆にした場合の姿勢情報とも比較する。あるいは、逆に、画像選択部１２４は、対象人物の姿勢情報のヨー角の値の正負を逆にし、その場合の姿勢情報を、それぞれの素材画像に関連付けられた姿勢情報と比較してもよい。このようにして、画像選択部１２４は、対象顔画像または素材画像を左右反転させた場合の姿勢情報にも基づいて、素材画像を選択してもよい。

画像選択部１２４は、選択した素材画像に関連づけられる顔の姿勢が、左右反転すれば対象人物の顔の姿勢に近くなる場合は、「素材画像を左右反転させよ」という反転指示を画像反転部１２８に送信する。すなわち、画像選択部１２４は、左右反転した場合に対象顔画像に含まれる顔の姿勢に近くなる姿勢情報が関連付けられた、素材画像を選択した場合、反転指示を画像反転部１２８に送信する。

画像反転部１２８は、反転指示を受け取った場合、その反転指示が示す素材画像を左右反転する。この反転加工によって生成した画像が、ステップＳ３５以降の処理で使用される素材画像となる。

［動作の説明］
図１５は、画像生成装置１２の処理の流れを示すフローチャートである。

図１５に示されるフローチャートは、図３に示されるフローチャートと比べて、ステップＳ３４の代わりに、ステップＳ３４−２およびステップＳ３４−３が含まれている点で異なる。

ステップＳ３４−２では、画像選択部１２４が、複数の素材画像の中から、合成に適切な素材画像を選択する。選択に際し、画像選択部１２４は、対象人物の姿勢情報と素材画像に関連付けられた姿勢情報との間の近さを算出する。このとき、画像選択部１２４は、対象人物の姿勢情報を、素材画像に関連付けられた姿勢情報を左右反転（ヨー角の値の正負を逆に）させた場合の姿勢情報とも比較する。すなわち、画像選択部１２４は、姿勢情報の左右を反転させた場合の姿勢情報に基づいて、素材画像を選択してもよい。

画像選択部１２４は、左右を反転させた場合の姿勢情報が対象顔画像の姿勢情報に近いことを理由に素材画像を選択した場合は、反転指示を生成し、選択した素材画像と反転指示とを画像反転部１２８に送信する。

ステップＳ３４−３では、画像反転部１２８が、反転指示を受け取った場合、素材画像を左右反転させる。画像反転部１２８は、たとえば、素材画像を二等分する、素材画像の縦方向に平行な直線を軸として、鏡像の関係にある画素のペアの、座標に関連付けられる種々の値を入れ替えればよい。

画像反転部１２８は、素材画像における特徴点の情報も修正する。すなわち、画像反転部１２８は、特徴点の座標を左右反転させる。また、画像反転部１２８は、特徴点と、対象顔画像における特徴点との対応関係を修正する。たとえば、画像反転部１２８は、もともと左目の特徴点として抽出されていた特徴点を、右目の特徴点であるとして情報を書き換える。

なお、画像反転部１２８が行う反転は、上記の方法に限られない。たとえば、画像反転部１２８が行う反転は、左右の反転でなくともよい。たとえば、画像反転部１２８は、素材画像の形や顔の姿勢に応じて、垂直でない線を軸として画像を反転させてもよい。このとき軸となる線は、必ずしも素材画像を二等分する線でなくともよい。

また、画像反転部１２８は、反転させた画像に対して、回転させるなどの調整を行ってもよい。

以上のようにして反転された素材画像と、修正された特徴点の情報とが、ステップＳ３５以降のステップにおいて用いられる。

［効果］
第２の実施形態に係る画像生成装置１２によれば、第１の実施形態に係る画像生成装置１１に比べ、合成画像のバリエーションを増やすことができる。別の言い方をすれば、画像生成装置１２は、素材画像の姿勢のバリエーションが少ない場合でも高品質な合成画像を生成することができる。

たとえば、第１の実施形態の場合、対象人物の顔の向きが右向きであると、合成に使用可能な素材画像は、右向きの顔を含む素材画像に限られる。一方、第２の実施形態の場合、画像反転部１２８が素材画像を反転させるため、左向きの顔を含む素材画像も、合成可能な素材画像の候補になりえる。すなわち、選択可能な素材画像の数が、右向きの顔を含む素材画像に制限されない。

＜＜主要構成＞＞
一実施形態の主要構成について説明する。図１６は、一実施形態に係る画像生成装置１０の構成を示すブロック図である。画像生成装置１０は、画像選択部１０４と、画像変形部１０５と、画像生成部１０６とを備える。

画像生成装置１０の各部の機能および処理の流れを、図１７のフローチャートに沿って説明する。

画像選択部１０４は、予め記憶されている複数の顔画像に含まれる顔の姿勢および、入力される第１の顔画像に含まれる顔の姿勢に基づいて、上記複数の顔画像から第２の顔画像を選択する（ステップＳ１２１）。

画像選択部１０４の一例は、上記各実施形態における画像選択部１１４である。なお、第１の顔画像は、上記各実施形態における対象顔画像に相当する。予め記憶されている複数の顔画像の一例は、上記各実施形態における素材画像である。
画像変形部１０５は、第１の顔画像に含まれる顔の特徴点および第２の顔画像に含まれる顔の特徴点に基づいて、第１の顔画像の顔領域に合うように第２の顔画像を変形する（ステップＳ１２２）。「第１の顔画像の顔領域」とは、たとえば、第１の顔画像において複数の特徴点により規定される領域である。「第１の顔画像の顔領域に合うように」とは、たとえば、第１の顔画像の顔領域が特徴を維持しながら自然に合成されることが可能となるように、という意味である。たとえば、画像変形部１０５は、第１の顔画像の顔領域を非線形な変形なしに当てはめることが可能な形状になるように、第２の顔画像の一部または全体を変形する。その具体例として、たとえば、画像変形部１０５は、変形後の第２の顔画像における、上記第１の顔画像の顔領域を規定する複数の特徴点に対応付けられる特徴点の位置が、上記第１の顔画像の顔領域を規定する複数の特徴点の位置に一致するように、第２の顔画像の一部または全体を変形する。なお、上記変形によって、第２の顔画像の一部分はトリミングされてもよい。
画像変形部１０５の一例は、上記各実施形態における画像変形部１１５である。
画像生成部１０６は、第１の顔画像の顔領域と、画像変形部１０５により変形された第２の顔画像の顔領域以外の領域とを合成する（ステップＳ１２３）。この合成により生成する顔画像は、第３の顔画像である。

画像生成部１０６の一例は、上記各実施形態における画像合成部１１６である。

画像生成装置１０によれば、入力された顔画像に対し、その顔画像に含まれる顔の特徴を損なわずに、顔以外の部分が自然に合成された画像を生成することができる。その理由は、画像選択部１１４により顔の姿勢に基づいて選択された第２の顔画像が、画像変形部１０５により、入力された顔画像の顔領域に合うように変形され、画像生成部１０６により、入力された顔画像の顔領域と合成されるからである。

＜＜第２の主要構成＞＞
図１８は、一実施形態に係る顔照合装置２０の構成を示すブロック図である。顔照合装置２０は、入力部２０１と、照合部２０２とを有する。

入力部２０１は、顔画像を入力として受け付ける。

照合部２０２は、前述の第３の顔画像と、入力された顔画像とを照合する。

第３の顔画像は、必ずしも画像生成装置１０により生成されなくともよい。すなわち、第３の顔画像は、以下の工程を経て生成される画像であればよい。
・第１の顔画像に含まれる顔の姿勢に基づいて、複数の顔画像から第２の顔画像が選択される工程
・第１の顔画像に含まれる顔の特徴点および第２の顔画像に含まれる顔の特徴点に基づいて、第２の顔画像の顔領域が第１の顔画像の顔領域に合うように、第２の顔画像が変形される工程
・第１の顔画像の顔領域と、変形された第２の顔画像の顔領域以外の領域とが合成され、その結果として第３の画像が生成する工程
本顔照合装置２０は、より精度の高い顔照合を行うことができる。その理由は、第１の顔画像の特徴を残しつつ第２の顔画像が合成された第３の顔画像を使用して顔照合を行うからである。

（実施形態の各部を実現するハードウェアの構成）
以上、説明した本発明の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。

各構成要素の処理は、たとえば、コンピュータシステムが、コンピュータ読み取り可能な記憶媒体により記憶された、その処理をコンピュータシステムに実行させるプログラムを、読み込み、実行することによって、実現されてもよい。「コンピュータ読み取り可能な記憶媒体」は、たとえば、光ディスク、磁気ディスク、光磁気ディスク、および不揮発性半導体メモリ等の可搬媒体、ならびに、コンピュータシステムに内蔵されるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびハードディスク等の記憶装置である。「コンピュータ読み取り可能な記憶媒体」は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントにあたるコンピュータシステム内部の揮発性メモリのように、プログラムを一時的に保持しているものも含む。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、更に前述した機能をコンピュータシステムにすでに記憶されているプログラムとの組み合わせで実現できるものであってもよい。

「コンピュータシステム」とは、一例として、以下のような構成を含むコンピュータ９００を含むシステムである。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１
・ＲＯＭ９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３へロードされるプログラム９０４Ａおよび記憶情報９０４Ｂ
・プログラム９０４Ａおよび記憶情報９０４Ｂを格納する記憶装置９０５
・記憶媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
たとえば、各実施形態における各装置の各構成要素は、その構成要素の機能を実現するプログラム９０４ＡをＣＰＵ９０１がＲＡＭ９０３にロードして実行することで実現される。各装置の各構成要素の機能を実現するプログラム９０４Ａは、例えば、予め、記憶装置９０５やＲＯＭ９０２に格納される。そして、必要に応じてＣＰＵ９０１がプログラム９０４Ａを読み出す。記憶装置９０５は、たとえば、ハードディスクである。プログラム９０４Ａは、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記憶媒体９０６に格納されており、ドライブ装置９０７に読み出され、ＣＰＵ９０１に供給されてもよい。なお、記憶媒体９０６は、たとえば、光ディスク、磁気ディスク、光磁気ディスク、および不揮発性半導体メモリ等の、可搬媒体である。

各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個のコンピュータ９００とプログラムとの可能な組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つのコンピュータ９００とプログラムとの可能な組み合わせにより実現されてもよい。

また、各装置の各構成要素の一部または全部は、その他の汎用または専用の回路、コンピュータ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。

各装置の各構成要素の一部または全部が複数のコンピュータや回路等により実現される場合には、複数のコンピュータや回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、コンピュータや回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

本願発明は以上に説明した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記実施形態の一部または全部は以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
予め記憶されている複数の顔画像に含まれる顔の姿勢および、入力される第１の顔画像に含まれる顔の姿勢に基づいて、前記複数の顔画像から第２の顔画像を選択する画像選択手段と、
前記第１の顔画像に含まれる顔の特徴点および前記第２の顔画像に含まれる顔の特徴点に基づいて、前記第２の顔画像の顔領域が前記第１の顔画像の顔領域に合うように、前記第２の顔画像を変形する画像変形手段と、
前記第１の顔画像の顔領域と、前記変形された第２の顔画像の、顔領域以外の領域とが合成された第３の顔画像を生成する画像生成手段と、
を有する画像生成装置。
［付記２］
前記画像変形手段は、少なくとも前記第２の顔画像の顔領域の部分が、前記第１の顔画像の顔領域を非線形な変形なしに当てはめることが可能な形状になるように、前記第２の顔画像を変形する、
付記１に記載の画像生成装置。
［付記３］
前記画像変形手段は、
前記第１の顔画像の特徴点と前記第２の顔画像の特徴点との対応関係に基づき、前記第１の顔画像の点を前記第２の顔画像の点へ投影する幾何変形パラメータを推定するパラメータ推定手段と、
前記パラメータ推定手段により推定された幾何変形パラメータを用いて、前記第１の顔画像の外周上にある外周点を前記第２の顔画像上へ投影する投影外周点生成手段と、
前記第２の顔画像の顔領域の外周線と、前記投影外周点生成手段により前記第２の顔画像上に投影された外周点に基づいて形成される線と、で囲まれる領域の形状が、前記第１の顔画像の顔領域の外周線と、前記第１の顔画像の外周点に基づいて形成される線と、で囲まれる領域の形状になるように、前記第２の顔画像を変形する精密変形手段と、
を備える、付記２に記載の画像生成装置。
［付記４］
前記画像選択手段は、前記複数の顔画像のうち、顔の姿勢を表すパラメータの値の、前記第１の顔画像に含まれる顔の姿勢を表すパラメータの値に対する近さが所定の基準以内である顔画像から、前記第２の顔画像を選択する、
付記１から３のいずれか一つに記載の画像生成装置。
［付記５］
前記画像選択手段は、前記第１の顔画像の顔領域内の輝度の分布と、前記複数の顔画像それぞれの顔領域内の輝度の分布と、にも基づいて、前記複数の顔画像から前記第２の顔画像を選択する、
付記１から４のいずれか一つに記載の画像生成装置。
［付記６］
前記画像選択手段は、前記第２の顔画像の選択において、前記複数の顔画像に含まれる顔の姿勢だけでなく、前記複数の顔画像のそれぞれを左右反転させた場合の顔の姿勢を、前記入力される第１の顔画像に含まれる顔の姿勢と比較し、比較結果に基づいて、前記複数の顔画像および左右反転された前記複数の顔画像のうち少なくとも１つを、前記第２の顔画像として選択する、
付記１から５のいずれか一つに記載の画像生成装置。
［付記７］
前記顔の姿勢は、正面を向く顔の方向を基準とし、左右の軸周りの回転角と、上下の軸まわりの回転角と、および前後の軸まわりの回転角との、３つの回転角によって定義され、
前記画像選択手段は、前記３つの回転角のうち、前記左右の軸周りの回転角および前記上下の軸まわりの回転角を、前記複数の顔画像に含まれる顔と前記第１の顔画像に含まれる顔との間で比較することによって、前記複数の顔画像から前記第２の顔画像を選択する、
付記１から６のいずれか一つに記載の画像生成装置。
［付記８］
前記顔領域は、目、鼻、および口よりも顔の外側に位置する特徴点を結ぶことで形成される、目、鼻、および口を包含する閉領域である、
付記１から７のいずれか一つに記載の画像生成装置。
［付記９］
予め記憶されている複数の顔画像に含まれる顔の姿勢および、入力される第１の顔画像に含まれる顔の姿勢に基づいて、前記複数の顔画像から第２の顔画像を選択し、
前記第１の顔画像に含まれる顔の特徴点および前記第２の顔画像に含まれる顔の特徴点に基づいて、前記第２の顔画像の顔領域が前記第１の顔画像の顔領域に合うように、前記第２の顔画像を変形し、
前記第１の顔画像の顔領域と、前記変形された第２の顔画像の、顔領域以外の領域とが合成された第３の顔画像を生成する、
画像生成方法。
［付記１０］
前記第２の顔画像を変形において、少なくとも前記第２の顔画像の顔領域の部分が、前記第１の顔画像の顔領域を非線形な変形なしに当てはめることが可能な形状になるように、前記第２の顔画像を変形する、
付記９に記載の画像生成方法。
［付記１１］
前記第２の顔画像を変形において、
前記第１の顔画像の特徴点と前記第２の顔画像の特徴点との対応関係に基づき、前記第１の顔画像の点を前記第２の顔画像の点へ投影する幾何変形パラメータを推定し、
前記推定された幾何変形パラメータを用いて、前記第１の顔画像の外周上にある外周点を前記第２の顔画像上へ投影し、
前記第２の顔画像の顔領域の外周線と、前記第２の顔画像上に投影された外周点に基づいて形成される線と、で囲まれる領域の形状が、前記第１の顔画像の顔領域の外周線と、前記第１の顔画像の外周点に基づいて形成される線と、で囲まれる領域の形状になるように、前記第２の顔画像を変形する、
付記１０に記載の画像生成方法。
［付記１２］
前記第２の顔画像の選択において、前記複数の顔画像のうち、顔の姿勢を表すパラメータの値の、前記第１の顔画像に含まれる顔の姿勢を表すパラメータの値に対する近さが所定の基準以内である顔画像から、前記第２の顔画像を選択する、
付記９から１１のいずれか一つに記載の画像生成方法。
［付記１３］
前記第２の顔画像の選択において、前記第１の顔画像の顔領域内の輝度の分布と、前記複数の顔画像それぞれの顔領域内の輝度の分布と、にも基づいて、前記複数の顔画像から前記第２の顔画像を選択する、
付記９から１２のいずれか一つに記載の画像生成方法。
［付記１４］
前記第２の顔画像の選択において、前記複数の顔画像に含まれる顔の姿勢だけでなく、前記複数の顔画像のそれぞれを左右反転させた場合の顔の姿勢を、前記入力される第１の顔画像に含まれる顔の姿勢と比較し、比較結果に基づいて、前記複数の顔画像および左右反転された前記複数の顔画像のうち少なくとも１つを、前記第２の顔画像として選択する、
付記９から１２のいずれか一つに記載の画像生成方法。
［付記１５］
前記顔の姿勢は、正面を向く顔の方向を基準とし、左右の軸周りの回転角と、上下の軸まわりの回転角と、および前後の軸まわりの回転角との、３つの回転角によって定義され、
前記第２の顔画像の選択において、前記３つの回転角のうち、前記左右の軸周りの回転角および前記上下の軸まわりの回転角を、前記複数の顔画像に含まれる顔と前記第１の顔画像に含まれる顔との間で比較することによって、前記複数の顔画像から前記第２の顔画像を選択する、
付記９から１３のいずれか一つに記載の画像生成方法。
［付記１６］
前記顔領域は、目、鼻、および口よりも顔の外側に位置する特徴点を結ぶことで形成される、目、鼻、および口を包含する閉領域である、
付記９から１４のいずれか一つに記載の画像生成方法。
［付記１７］
コンピュータに、
予め記憶されている複数の顔画像に含まれる顔の姿勢および、入力される第１の顔画像に含まれる顔の姿勢に基づいて、前記複数の顔画像から第２の顔画像を選択する画像選択処理と、
前記第１の顔画像に含まれる顔の特徴点および前記第２の顔画像に含まれる顔の特徴点に基づいて、前記第２の顔画像の顔領域が前記第１の顔画像の顔領域に合うように、前記第２の顔画像を変形する画像変形処理と、
前記第１の顔画像の顔領域と、前記変形された第２の顔画像の、顔領域以外の領域とが合成された第３の顔画像を生成する画像生成処理と、
を実行させるプログラム。
［付記１８］
前記画像変形処理は、少なくとも前記第２の顔画像の顔領域の部分が、前記第１の顔画像の顔領域を非線形な変形なしに当てはめることが可能な形状になるように、前記第２の顔画像を変形する、
付記１７に記載のプログラム。
［付記１９］
前記画像変形処理は、
前記第１の顔画像の特徴点と前記第２の顔画像の特徴点との対応関係に基づき、前記第１の顔画像の点を前記第２の顔画像の点へ投影する幾何変形パラメータを推定するパラメータ推定処理と、
前記パラメータ推定処理により推定された幾何変形パラメータを用いて、前記第１の顔画像の外周上にある外周点を前記第２の顔画像上へ投影する投影外周点生成処理と、
前記第２の顔画像の顔領域の外周線と、前記投影外周点生成処理により前記第２の顔画像上に投影された外周点に基づいて形成される線と、で囲まれる領域の形状が、前記第１の顔画像の顔領域の外周線と、前記第１の顔画像の外周点に基づいて形成される線と、で囲まれる領域の形状になるように、前記第２の顔画像を変形する精密変形処理と、
を含む、付記１８に記載のプログラム。
［付記２０］
前記画像選択処理は、前記複数の顔画像のうち、顔の姿勢を表すパラメータの値の、前記第１の顔画像に含まれる顔の姿勢を表すパラメータの値に対する近さが所定の基準以内である顔画像から、前記第２の顔画像を選択する、
付記１７から１９のいずれか一つに記載のプログラム。
［付記２１］
前記画像選択処理は、前記第１の顔画像の顔領域内の輝度の分布と、前記複数の顔画像それぞれの顔領域内の輝度の分布と、にも基づいて、前記複数の顔画像から前記第２の顔画像を選択する、
付記１７から２０のいずれか一つに記載のプログラム。
［付記２２］
前記画像選択処理は、前記第２の顔画像の選択において、前記複数の顔画像に含まれる顔の姿勢だけでなく、前記複数の顔画像のそれぞれを左右反転させた場合の顔の姿勢を、前記入力される第１の顔画像に含まれる顔の姿勢と比較し、比較結果に基づいて、前記複数の顔画像および左右反転された前記複数の顔画像のうち少なくとも１つを、前記第２の顔画像として選択する、
付記１７から２１のいずれか一つに記載のプログラム。
［付記２３］
前記顔の姿勢は、正面を向く顔の方向を基準とし、左右の軸周りの回転角と、上下の軸まわりの回転角と、および前後の軸まわりの回転角との、３つの回転角によって定義され、
前記画像選択処理は、前記３つの回転角のうち、前記左右の軸周りの回転角および前記上下の軸まわりの回転角を、前記複数の顔画像に含まれる顔と前記第１の顔画像に含まれる顔との間で比較することによって、前記複数の顔画像から前記第２の顔画像を選択する、
付記１７から２２のいずれか一つに記載のプログラム。
［付記２４］
前記顔領域は、目、鼻、および口よりも顔の外側に位置する特徴点を結ぶことで形成される、目、鼻、および口を包含する閉領域である、
付記１７から２３のいずれか一つに記載のプログラム。
［付記２５］
付記１７から２４のいずれか一つに記載のプログラムを記憶した、コンピュータ読み取り可能な記憶媒体。
［付記２６］
顔画像を入力として受け付ける入力手段と、
予め記憶されている複数の顔画像に含まれる顔の姿勢および、第１の顔画像に含まれる顔の姿勢に基づいて、前記複数の顔画像から選択された第２の顔画像が、前記第１の顔画像に含まれる顔の特徴点および当該第２の顔画像に含まれる顔の特徴点に基づいて、前記第１の顔画像の顔領域に合うように変形され、前記第１の顔画像の顔領域と、前記変形された第２の顔画像の顔領域以外の領域とが合成されることにより生成する、第３の顔画像と、前記入力として受け付けられた顔画像と、を照合する照合手段と、
を有する顔照合装置。

１０〜１２ 画像生成装置
２０ 顔照合装置
１０４ 画像選択部
１０５ 画像変形部
１０６ 画像生成部
１１０ 入力部
１１１ 特徴点抽出部
１１２ 顔領域抽出部
１１３ 姿勢推定部
１１４ 画像選択部
１１５ 画像変形部
１１５１ パラメータ推定部
１１５２ 投影外周点生成部
１１５３ 精密変形部
１１６ 画像合成部
１１７ 記憶部
１２４ 画像選択部
１２８ 画像反転部
２０１ 入力部
２０２ 照合部
９００ コンピュータ
９０１ ＣＰＵ
９０２ ＲＯＭ
９０３ ＲＡＭ
９０４Ａ プログラム
９０４Ｂ 記憶情報
９０５ 記憶装置
９０６ 記憶媒体
９０７ ドライブ装置
９０８ 通信インタフェース
９０９ 通信ネットワーク
９１０ 入出力インタフェース
９１１ バス

Claims (11)

1. 予め記憶されている複数の顔画像に含まれる顔の姿勢および、入力される第１の顔画像に含まれる顔の姿勢に基づいて、前記複数の顔画像から第２の顔画像を選択する画像選択手段と、
   前記第１の顔画像に含まれる顔の特徴点および前記第２の顔画像に含まれる顔の特徴点に基づいて、前記第２の顔画像の顔領域が前記第１の顔画像の顔領域に合うように、前記第２の顔画像を変形する画像変形手段と、
   前記第１の顔画像の顔領域と、前記変形された第２の顔画像の、顔領域以外の領域とが合成された第３の顔画像を生成する画像生成手段と、
   を有する画像生成装置。
2. 前記画像変形手段は、少なくとも前記第２の顔画像の顔領域の部分が、前記第１の顔画像の顔領域を非線形な変形なしに当てはめることが可能な形状になるように、前記第２の顔画像を変形する、
   請求項１に記載の画像生成装置。
3. 前記画像変形手段は、
   前記第１の顔画像の特徴点と前記第２の顔画像の特徴点との対応関係に基づき、前記第１の顔画像の点を前記第２の顔画像の点へ投影する幾何変形パラメータを推定するパラメータ推定手段と、
   前記パラメータ推定手段により推定された幾何変形パラメータを用いて、前記第１の顔画像の外周上にある外周点を前記第２の顔画像上へ投影する投影外周点生成手段と、
   前記第２の顔画像の顔領域の外周線と、前記投影外周点生成手段により前記第２の顔画像上に投影された外周点に基づいて形成される線と、で囲まれる領域の形状が、前記第１の顔画像の顔領域の外周線と、前記第１の顔画像の外周点に基づいて形成される線と、で囲まれる領域の形状になるように、前記第２の顔画像を変形する精密変形手段と、
   を備える、請求項２に記載の画像生成装置。
4. 前記画像選択手段は、前記複数の顔画像のうち、顔の姿勢を表すパラメータの値の、前記第１の顔画像に含まれる顔の姿勢を表すパラメータの値に対する近さが所定の基準以内である顔画像から、前記第２の顔画像を選択する、
   請求項１から３のいずれか一項に記載の画像生成装置。
5. 前記画像選択手段は、前記第１の顔画像の顔領域内の輝度の分布と、前記複数の顔画像それぞれの顔領域内の輝度の分布と、にも基づいて、前記複数の顔画像から前記第２の顔画像を選択する、
   請求項１から４のいずれか一項に記載の画像生成装置。
6. 前記画像選択手段は、前記第２の顔画像の選択において、前記複数の顔画像に含まれる顔の姿勢だけでなく、前記複数の顔画像のそれぞれを左右反転させた場合の顔の姿勢を、前記第１の顔画像に含まれる顔の姿勢と比較し、比較結果に基づいて、前記複数の顔画像および左右反転された前記複数の顔画像のうち少なくとも１つを、前記第２の顔画像として選択する、
   請求項１から５のいずれか一項に記載の画像生成装置。
7. 前記顔の姿勢は、正面を向く顔の方向を基準とし、左右の軸周りの回転角と、上下の軸まわりの回転角と、および前後の軸まわりの回転角との、３つの回転角によって定義され、
   前記画像選択手段は、前記３つの回転角のうち、前記左右の軸周りの回転角および前記上下の軸まわりの回転角を、前記複数の顔画像に含まれる顔と前記第１の顔画像に含まれる顔との間で比較することによって、前記複数の顔画像から前記第２の顔画像を選択する、
   請求項１から６のいずれか一項に記載の画像生成装置。
8. 前記顔領域は、目、鼻、および口よりも顔の外側に位置する特徴点を結ぶことで形成される、目、鼻、および口を包含する閉領域である、
   請求項１から７のいずれか一項に記載の画像生成装置。
9. 顔画像を入力として受け付ける入力手段と、
   予め記憶されている複数の顔画像に含まれる顔の姿勢および、第１の顔画像に含まれる顔の姿勢に基づいて、前記複数の顔画像から選択された第２の顔画像が、前記第１の顔画像に含まれる顔の特徴点および当該第２の顔画像に含まれる顔の特徴点に基づいて、前記第１の顔画像の顔領域に合うように変形され、前記第１の顔画像の顔領域と、前記変形された第２の顔画像の顔領域以外の領域とが合成されることにより生成する、第３の顔画像と、前記入力として受け付けられた顔画像と、を照合する照合手段と、
   を有する顔照合装置。
10. 予め記憶されている複数の顔画像に含まれる顔の姿勢および、入力される第１の顔画像に含まれる顔の姿勢に基づいて、前記複数の顔画像から第２の顔画像を選択し、
    前記第１の顔画像に含まれる顔の特徴点および前記第２の顔画像に含まれる顔の特徴点に基づいて、前記第２の顔画像の顔領域が前記第１の顔画像の顔領域に合うように、前記第２の顔画像を変形し、
    前記第１の顔画像の顔領域と、前記変形された第２の顔画像の、顔領域以外の領域とが合成された第３の顔画像を生成する、
    画像生成方法。
11. コンピュータに、
    予め記憶されている複数の顔画像に含まれる顔の姿勢および、入力される第１の顔画像に含まれる顔の姿勢に基づいて、前記複数の顔画像から第２の顔画像を選択する画像選択処理と、
    前記第１の顔画像に含まれる顔の特徴点および前記第２の顔画像に含まれる顔の特徴点に基づいて、前記第２の顔画像の顔領域が前記第１の顔画像の顔領域に合うように、前記第２の顔画像を変形する画像変形処理と、
    前記第１の顔画像の顔領域と、前記変形された第２の顔画像の、顔領域以外の領域とが合成された第３の顔画像を生成する画像生成処理と、
    を実行させるプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images