JP5975092B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、目、鼻、口、耳、顔輪郭等の顔部品の特徴点を用いて似顔絵画像を作成する似顔絵作成装置が知られている（例えば、特許文献１参照）。

特開２００４−１４５６２５号公報

ところで、複数の似顔絵画像を合成して仮想的に合成顔画像を生成する場合、複数の似顔絵画像に含まれるパーツ画像の中から使用されるパーツ画像を選択する作業等が煩雑であり、ユーザが気軽に合成顔画像を生成することができないといった問題がある。

そこで、本発明の課題は、複数の顔画像から合成顔画像を容易に生成することができる画像処理装置、画像処理方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る画像処理装置は、
複数の顔画像を取得する第１取得手段と、
前記第１取得手段により取得された複数の顔画像内の各顔構成部毎に対応する基準顔構成部と比較して、当該各顔構成部の特徴情報をそれぞれ取得する第２取得手段と、
前記第１取得手段により取得された複数の顔画像を合成した合成顔画像を生成する生成手段と、
前記第２取得手段により取得された前記各顔構成部の特徴情報に基づいて、前記生成手段による合成顔画像の生成を制御する制御手段と、
を備えたことを特徴としている。

また、本発明に係る画像処理方法は、
画像処理装置を用いた画像処理方法であって、
複数の顔画像を取得するステップと、
取得された複数の顔画像内の各顔構成部毎に対応する基準顔構成部と比較して、当該各顔構成部の特徴情報をそれぞれ取得するステップと、
取得された複数の顔画像を合成した合成顔画像を生成するステップと、
取得された前記各顔構成部の特徴情報に基づいて、前記合成顔画像の生成を制御するステップと、
を含むことを特徴としている。

また、本発明に係るプログラムは、
画像処理装置のコンピュータを、
複数の顔画像を取得する第１取得手段、
前記第１取得手段により取得された複数の顔画像内の各顔構成部毎に対応する基準顔構成部と比較して、当該各顔構成部の特徴情報をそれぞれ取得する第２取得手段、
前記第１取得手段により取得された複数の顔画像を合成した合成顔画像を生成する生成手段、
前記第２取得手段により取得された前記各顔構成部の特徴情報に基づいて、前記生成手段による合成顔画像の生成を制御する制御手段、
として機能させることを特徴としている。

本発明によれば、複数の顔画像から合成顔画像を容易に生成することができる。

本発明を適用した一実施形態の画像処理装置の概略構成を示すブロック図である。 図１の画像処理装置による画像生成処理に係る動作の一例を示すフローチャートである。 図２の画像生成処理に用いられる似顔絵画像の一例を示す図である。 図２の画像生成処理により生成された仮想顔画像の一例を示す図である。 図２の画像生成処理を説明するための図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

図１は、本発明を適用した一実施形態の画像処理装置１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の画像処理装置１００は、具体的には、中央制御部１と、メモリ２と、記憶部３と、画像処理部４と、表示部５と、操作入力部６と、を備えている。
また、中央制御部１、メモリ２、記憶部３、画像処理部４及び表示部５は、バスライン７を介して接続されている。

なお、画像処理装置１００は、公知のものを適用可能であり、例えば、パーソナルコンピュータやワークステーションなどのコンピュータや、携帯電話機やスマートフォンなどの携帯端末等から構成されている。

中央制御部１は、画像処理装置１００の各部を制御する。
具体的には、中央制御部１は、画像処理装置１００の各部を制御するＣＰＵ（Central Processing Unit；図示略）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備え、画像処理装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１の他、当該画像処理装置１００の各部によって処理されるデータ等を一時的に格納する。

記憶部３は、例えば、不揮発性メモリ（フラッシュメモリ）、ハードディスクドライブ等により構成され、中央制御部１の動作に必要な各種プログラムやデータ（図示略）を記憶している。

また、記憶部３は、画像処理部４の符号化部（図示略）により所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化された画像データ３ａを記憶している。具体的には、記憶部３ａは、画像生成処理（後述）の処理対象となる画像の画像データ３ａを記憶している。
ここで、処理対象となる画像としては、顔を模式的に表した似顔絵画像（例えば、男性の似顔絵画像Ｉａ、女性の似顔絵画像Ｉｂ等；図３（ａ）及び図３（ｂ）参照）が挙げられる。似顔絵画像とは、例えば、所定の髪型画像と、当該似顔絵の元となる画像の顔から抽出した目、鼻、口、眉、耳、顔輪郭等の各顔構成部のパーツ画像Ｐａ、Ｐｂとを組み合わせて、元となる画像の顔を似顔絵で模式的に表した画像のことを言う。
なお、処理対象となる画像として、似顔絵画像を例示したが、一例であってこれに限られるものではなく、例えば、写真画像、漫画、イラスト等適宜任意に変更可能である。

また、記憶部３には、基準顔構成部テーブルＴが記憶されている。
基準顔構成部テーブルＴは、例えば、目、鼻、口、眉、耳、顔輪郭等の各顔構成部毎に代表的な基準顔構成部の基準データを記憶している。ここで、基準データとは、例えば、各顔構成部毎に、複数の似顔絵画像を構成する複数の顔構成部のパーツ画像の形状の代表値（例えば、平均値等）や配設されている位置の代表位置（例えば、中心位置の平均座標等）を規定するデータである。また、基準データは、例えば、性別毎、人種毎、年齢層毎等に設けられていても良い。

また、記憶部３ａは、例えば、記憶媒体（図示略）が着脱自在に構成され、装着された記憶媒体からのデータの読み出しや記憶媒体に対するデータの書き込みを制御する構成であっても良い。

画像処理部４は、画像取得部４ａと、特徴情報取得部４ｂと、特徴情報指定部４ｃと、画像生成部４ｄと、生成制御部４ｅと、画像特定部４ｆとを具備している。
なお、画像処理部４の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

画像取得部４ａは、画像生成処理の処理対象となる画像を取得する。
すなわち、画像取得部（第１取得手段）６ａは、複数の顔画像の画像データを取得する。具体的には、画像取得部４ａは、記憶部３に記憶されている複数の似顔絵画像の中から、ユーザによる操作入力部６の所定操作に基づいて指定された２つの似顔絵画像（例えば、男性の似顔絵画像Ｉａ、女性の似顔絵画像Ｉｂ等）の画像データの複製を取得する。
なお、画像取得部４は、例えば、似顔絵画像の元となる画像の画像データを取得しても良く、この場合には、取得された画像データから所定の似顔絵画像生成処理（図示略）により似顔絵画像を生成するような構成であっても良い。また、後述する画像処理部４による各処理は、顔画像の画像データ自体に対して行われても良いし、必要に応じて顔画像の画像データを所定の比率で縮小した所定サイズ（例えば、ＶＧＡサイズ等）の縮小画像データに対して行われても良い。

特徴情報取得部４ｂは、各顔構成部の特徴情報を取得する。
すなわち、特徴情報取得部（第２取得手段）４ｂは、画像取得部４により取得された複数の顔画像内の各顔構成部の特徴情報をそれぞれ取得する。具体的には、特徴情報取得部４ｂは、各似顔絵画像（例えば、男性の似顔絵画像Ｉａ、女性の似顔絵画像Ｉｂ等）の顔領域が含まれる顔領域画像に対して所定の抽出処理（例えば、エッジ抽出処理等）を施して、例えば、目、鼻、口、眉、耳、顔輪郭等の顔の主要な顔構成部を線で表したパーツ画像Ｐａ、Ｐｂを生成する。そして、特徴情報取得部４ｂは、記憶部３から基準顔構成部テーブルＴを読み出して、各似顔絵画像内の各顔構成部のパーツ画像Ｐａ、Ｐｂ毎に、基準顔構成部テーブルＴに規定されている対応する基準顔構成部の基準データと比較して、類似度を当該各顔構成部の特徴情報として取得する。
例えば、左右何れか一方の目の特徴情報を算出する場合、特徴情報取得部４ｂは、基準顔構成部テーブルＴに規定されている当該目に対応する基準顔構成部の基準データを取得する。また、特徴情報取得部４ｂは、似顔絵画像（例えば、男性の似顔絵画像Ｉａ、女性の似顔絵画像Ｉｂ等）から抽出された目のパーツ画像Ｐａ、Ｐｂの形状データと、当該目に対応する基準データの形状とを所定位置（例えば、目尻の一点等）を基準として位置合わせを行う。また、特徴情報取得部４ｂは、目のパーツ画像Ｐａ、Ｐｂの形状データ及び基準データの形状の各々について、例えば、目の外縁となる外輪郭部を構成し、隣り合うものとの間に所定の間隔（例えば、略等しい間隔等）を有する複数の代表点の位置座標をそれぞれ特定する。そして、特徴情報取得部４ｂは、目のパーツ画像Ｐａ、Ｐｂの形状データ及び基準データの形状の間で対応する代表点どうしの位置のずれ量（差の大きさと方向）を算出し、算出された代表点どうしの位置のずれ量に基づいて、所定の特徴について数値化して特徴情報を生成する。また、特徴情報取得部４ｂは、似顔絵画像（例えば、男性の似顔絵画像Ｉａ、女性の似顔絵画像Ｉｂ等）から抽出された目のパーツ画像Ｐａ、Ｐｂの中心位置と当該目に対応する基準データの代表位置（中心位置の平均座標）とを比較してずれ量を算出し、算出されたずれ量を数値化して特徴情報を生成する。
ここで、特徴情報は、目、鼻、口、眉、耳、顔輪郭等の顔の主要な顔構成部の各々についての寸法や形態や配置等に関する情報である。例えば、目の特徴としては、「大きい」や「小さい」、「垂れ目」や「つり目」、「細い」や「ぱっちり」、「長い」や「丸い」、「寄り目」や「離れている」等が挙げられる。また、特徴の大きさは、顔構成部のパーツ画像Ｐａ、Ｐｂの形状データ及び基準データの間で対応する代表点どうしの位置の差の大きさに基づいて数値化されたり、パーツ画像Ｐａ、Ｐｂの中心位置と基準データの代表位置（中心位置の平均座標）との位置の差の大きさに基づいて数値化される。例えば、数値が小さい程、基準顔構成部の基準データとの類似度が高くなる。
なお、上記した特徴情報は、一例であってこれに限られるものではなく、適宜任意に変更可能である。

特徴情報指定部４ｃは、仮想顔画像の生成の際に優先すべき優先特徴情報を指定する。
すなわち、特徴情報指定部（指定手段）４ｃは、特徴情報取得部４ｂにより取得された顔構成部の特徴情報の中から、仮想的な顔画像である仮想顔画像（例えば、第３仮想顔画像Ｉ３；図４（ｃ）参照）の生成の際に優先すべき優先特徴情報を指定する。具体的には、例えば、特徴情報取得部４ｂにより取得された複数の顔構成部の特徴情報が表示部５の表示パネル５ｂに表示された状態で、ユーザによる操作入力部６の所定操作に基づいて何れかの特徴情報（例えば、「小さい」等）が選択されると、特徴情報指定部４ｃは、選択された特徴情報を仮想顔画像の生成の際に優先すべき優先特徴情報として指定する。
なお、上記した優先特徴情報を指定する手法は、一例であってこれに限られるものではなく、例えば、予めデフォルトとして指定されている特徴情報を優先特徴情報として指定するようにしても良い。

画像生成部４ｄは、複数の顔画像から仮想顔画像を生成する。
すなわち、画像生成部（生成手段、候補画像生成手段）４ｄは、生成制御部４ｅによる制御下にて、複数の似顔絵画像から仮想顔画像の候補画像（例えば、第１〜第４仮想顔画像Ｉ１〜Ｉ４等；図４（ａ）〜図４（ｃ）並びに図５参照）を複数生成する。具体的には、画像生成部４ｄは、例えば、複数の似顔絵画像を構成する各顔構成部のパーツ画像Ｐａ、Ｐｂの中から、当該顔構成部のパーツ画像の形状の代表値や代表位置により近い方や遠い方のパーツ画像を用いたり、優先特徴情報に対応するパーツ画像を優先的に用いたり、対応する顔構成部のパーツ画像Ｐａ、Ｐｂどうしを合成して、仮想顔画像の画像データを複数生成する。
なお、図４（ａ）には、顔構成部のパーツ画像の形状の代表値や代表位置により近い方のパーツ画像Ｐを用いた第１仮想顔画像Ｉ１を示し、図４（ｂ）には、顔構成部のパーツ画像の形状の代表値や代表位置により遠い方のパーツ画像Ｐを用いた第２仮想顔画像Ｉ２を示し、図４（ｃ）には、優先特徴情報に対応するパーツ画像Ｐを用いた第３仮想顔画像Ｉ３を示す。また、図５には、対応する顔構成部のパーツ画像Ｐａ、Ｐｂどうしを合成した第４仮想顔画像Ｉ４を示す。
また、パーツ画像Ｐａ、Ｐｂどうしを合成する処理は、公知の技術であるので、ここでは詳細な説明を省略する。

生成制御部４ｅは、画像生成部４ｄによる仮想顔画像の生成を制御する。
すなわち、生成制御部（制御手段）４ｅは、特徴情報取得部４ｂにより取得された各顔構成部の特徴情報に基づいて、複数の顔画像から合成顔画像である仮想顔画像の生成を制御する。具体的には、例えば、生成制御部４ｅは、特徴情報取得部４ｂにより特徴情報として取得された各顔構成部のパーツ画像Ｐａ、Ｐｂと基準顔構成部の基準データとの類似度に基づいて、複数の似顔絵画像内の各顔構成部のパーツ画像Ｐａ、Ｐｂの中から、仮想顔画像の生成に用いられる顔構成部のパーツ画像Ｐを特定する。また、例えば、生成制御部４ｅは、特徴情報指定部４ｃにより指定された優先特徴情報に基づいて、複数の似顔絵画像内の各顔構成部のパーツ画像Ｐａ、Ｐｂの中から、仮想顔画像の生成に優先的に用いられる顔構成部のパーツ画像Ｐを特定する。
例えば、男性の似顔絵画像Ｉａと女性の似顔絵画像Ｉｂの各顔構成部のパーツ画像Ｐを用いて仮想顔画像を生成する場合に、生成制御部４ｅは、男性の似顔絵画像Ｉａと女性の似顔絵画像Ｉｂの各顔構成部のパーツ画像Ｐａ、Ｐｂの中から、顔構成部のパーツ画像の形状の代表値や代表位置により近い（類似している）方のパーツ画像Ｐを特定したり、より遠い（類似していない）方のパーツ画像Ｐを特定したり、優先特徴情報（例えば、「小さい」等）に対応するパーツ画像Ｐを特定する。

また、生成制御部４ｅは、画像生成部４ｄにより複数の似顔絵画像（例えば、男性の似顔絵画像Ｉａ、女性の似顔絵画像Ｉｂ等）内の対応する顔構成部のパーツ画像Ｐａ、Ｐｂどうしを合成して第４仮想顔画像Ｉ４（図５参照）を生成させても良い。このとき、生成制御部４ｅは、第４仮想顔画像Ｉ４を構成する各顔構成部毎に、合成される複数の似顔絵画像内の各顔構成部の特徴情報に基づいて、当該顔構成部のパーツ画像Ｐａ、Ｐｂどうしの合成比率を制御する。
具体的には、例えば、左右何れか一方の目を合成により生成する場合、生成制御部４ａは、ユーザによる操作入力部６の所定操作に基づいて指定された特徴情報（例えば、「大きさ」）を基準として複数のパーツ画像Ｐａ、Ｐｂの特徴をパラメータ化する。例えば、表示部５は、男性の似顔絵画像Ｉａから抽出された目のパーツ画像Ｐａと女性の似顔絵画像Ｉｂから抽出された目のパーツ画像Ｐｂのそれぞれの大きさを特徴としてパラメータ化されたスライドバーを表示パネル５ｂに表示する（図５参照）。ここでいうパラメータ化は、基準顔構成部の基準データに対する相対値を基準としても良いし、各パーツ画像Ｐａ、Ｐｂを構成する画素数等の絶対値を基準としても良い。そして、ユーザによる操作入力部６の所定操作に基づいてスライドバー上の指標が移動されることで、生成制御部４ｅは、仮想顔画像における顔構成部（例えば、目）の大きさを決定し、決定された顔構成部の大きさを基準として複数のパーツ画像Ｐａ、Ｐｂどうしの合成比率を決定する。
なお、顔構成部として目を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。また、第４仮想顔画像Ｉ４の画像データは、各顔構成部毎にパーツ画像Ｐａ、Ｐｂどうしの合成比率と対応付けて記憶部３に記憶されるようにしても良い。

画像特定部４ｆは、複数の候補画像の中から、仮想顔画像を特定する。
すなわち、画像特定部（特定手段）４ｆは、表示部５により表示された複数の候補画像（例えば、第１〜第４仮想顔画像Ｉ１〜Ｉ４等）の中から、何れか一の候補画像を仮想顔画像として特定する。具体的には、例えば、画像生成部４ｄにより生成された複数の仮想顔画像の候補画像が表示部５の表示パネル５ｂに表示された状態で、ユーザによる操作入力部６の所定操作に基づいて何れか一の候補画像（例えば、第２仮想顔画像Ｉ２等）が選択されると、画像特定部４ｆは、選択された一の候補画像を仮想顔画像として特定する。
なお、上記した仮想顔画像を特定する手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。

表示部５は、例えば、中央制御部１のＣＰＵの制御下にて各種情報を表示領域内に表示する。具体的には、表示部５は、表示制御部５ａと、表示パネル５ｂとを具備している。

表示制御部５ａは、例えば、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダ等を備えて構成されている。また、表示制御部５ａは、中央制御部１のＣＰＵによる各種のプログラム（図示略）の実行に基づいて、実行されているプログラムに対応する画像データを生成し、生成された画像データを表示パネル５ｂに出力する。
表示パネル５ｂは、例えば、液晶表示パネルや有機ＥＬ（Electro-Luminescence）表示パネル等を備えて構成されている。また、表示パネル５ｂは、表示領域内に各種情報を表示する。また、表示パネル５ｂは、表示手段として、画像処理部４の画像生成部４ｄにより生成された複数の仮想顔画像（例えば、第１〜第４仮想顔画像Ｉ１〜Ｉ４等）を候補画像として表示する。

操作入力部６は、当該画像処理装置１００の所定操作を行うためのものである。具体的には、操作入力部６は、例えば、装置本体の電源のＯＮ／ＯＦＦに係る電源ボタン、モードや機能等の選択指示に係る選択決定ボタン等を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部６は、操作されたボタンに応じた操作指示を中央制御部１に出力する。中央制御部１は、操作入力部６から出力され入力された操作指示に従って所定の動作を各部に実行させる。

次に、画像処理装置１００による画像生成処理について、図２を参照して説明する。
図２は、画像生成処理に係る動作の一例を示すフローチャートである。
なお、画像生成処理の処理対象となる似顔絵画像の画像データは、予め記憶部３に記憶されているものとする。また、仮想顔画像の候補画像として、例えば、第１〜第３仮想顔画像Ｉ１〜Ｉ３を生成するものとする。

図２に示すように、先ず、画像処理部４の画像取得部４ａは、記憶部３に記憶されている複数の似顔絵画像の中から、ユーザによる操作入力部６の所定操作に基づいて指定された２つの似顔絵画像（例えば、男性の似顔絵画像Ｉａ、女性の似顔絵画像Ｉｂ等）の画像データの複製を取得する（ステップＳ１）。

次に、特徴情報取得部４ｂは、取得された２つの似顔絵画像（例えば、男性の似顔絵画像Ｉａ、女性の似顔絵画像Ｉｂ等）内の各顔構成部のパーツ画像Ｐａ、Ｐｂを抽出して、その特徴情報をそれぞれ取得する（ステップＳ２）。具体的には、特徴情報取得部４ｂは、各似顔絵画像の顔領域が含まれる顔領域画像に対して所定の抽出処理（例えば、エッジ抽出処理等）を施して、例えば、目、鼻、口、眉、耳、顔輪郭等の顔の主要な顔構成部を線で表したパーツ画像Ｐａ、Ｐｂを生成する。そして、特徴情報取得部４ｂは、各似顔絵画像内の各顔構成部のパーツ画像Ｐａ、Ｐｂ毎に、基準顔構成部テーブルＴの対応する基準顔構成部の基準データと比較し、所定の演算により類似度を算出する。特徴情報取得部４ｂは、算出された類似度を当該各顔構成部の特徴情報として取得する。
続けて、特徴情報指定部４ｃは、取得された顔構成部の特徴情報の中から、仮想顔画像（例えば、第３仮想顔画像Ｉ３等）の生成の際に優先すべき優先特徴情報（例えば、「小さい」等）を指定する（ステップＳ３）。

その後、画像生成部４ｄは、生成制御部４ｅによる制御下にて、２つの似顔絵画像から取得された各顔構成部の特徴情報に基づいて、仮想顔画像の候補画像（例えば、第１〜第３仮想顔画像Ｉ１〜Ｉ３等）を複数生成する（ステップＳ４）。
具体的には、例えば、生成制御部４ｅは、男性の似顔絵画像Ｉａと女性の似顔絵画像Ｉｂの各顔構成部のパーツ画像Ｐａ、Ｐｂの中から、顔構成部のパーツ画像の形状の代表値や代表位置により近い（類似している）方のパーツ画像Ｐを特定し、画像生成部４ｄは、特定されたパーツ画像Ｐを顔輪郭内の所定位置に配置して、平均的な第１仮想顔画像Ｉ１を生成する。この第１仮想顔画像Ｉ１は、例えば、口のパーツ画像Ｐａが男性の似顔絵画像Ｉａから抽出されたものであり、目と鼻と眉と耳と顔輪郭の各パーツ画像Ｐｂが女性の似顔絵画像Ｉｂから抽出されたものである。
また、例えば、生成制御部４ｅは、男性の似顔絵画像Ｉａと女性の似顔絵画像Ｉｂの各顔構成部のパーツ画像Ｐａ、Ｐｂの中から、顔構成部のパーツ画像Ｐの形状の代表値や代表位置により遠い（類似していない）方のパーツ画像Ｐを特定し、画像生成部４ｄは、特定されたパーツ画像Ｐを顔輪郭内の所定位置に配置して、特徴的な第２仮想顔画像Ｉ２を生成する。この第２仮想顔画像Ｉ２は、例えば、目と鼻と眉と耳と顔輪郭の各パーツ画像Ｐａが男性の似顔絵画像Ｉａから抽出されたものであり、口のパーツ画像Ｐｂが女性の似顔絵画像Ｉｂから抽出されたものである。
また、例えば、生成制御部４ｅは、男性の似顔絵画像Ｉａと女性の似顔絵画像Ｉｂの各顔構成部のパーツ画像Ｐａ、Ｐｂの中から、特徴情報指定部４ｃにより指定された優先特徴情報（例えば、「小さい」等）に対応するパーツ画像Ｐを特定し、画像生成部４ｄは、特定されたパーツ画像Ｐを顔輪郭内の所定位置に配置して、ユーザの好みを反映させた第３仮想顔画像Ｉ３を生成する。この第３仮想顔画像Ｉ１は、例えば、鼻のパーツ画像Ｐａが男性の似顔絵画像Ｉａから抽出されたものであり、目と口と眉と耳と顔輪郭の各パーツ画像Ｐｂが女性の似顔絵画像Ｉｂから抽出されたものである。
なお、上記した第１〜第３仮想顔画像Ｉ１〜Ｉ３にあっては、髪型のパーツ画像Ｐについては男性の似顔絵画像Ｉａから抽出されたものを使用するものとする。

その後、表示部５の表示制御部５ａは、画像生成部４ｄにより生成された複数の仮想顔画像（例えば、第１〜第３仮想顔画像Ｉ１〜Ｉ３等）を候補画像として表示パネル５ｂに表示させる（ステップＳ５）。
そして、表示パネル５ｂに表示された複数の候補画像の中から、ユーザによる操作入力部６の所定操作に基づいて何れか一の候補画像（例えば、第２仮想顔画像Ｉ２等）が選択されると、画像特定部４ｆは、選択された一の候補画像を仮想顔画像として特定する（ステップＳ６）。記憶部３は、特定された仮想顔画像の画像データを取得して記憶する。
これにより、画像生成処理を終了する。

以上のように、本実施形態の画像処理装置１００によれば、複数の似顔絵画像（例えば、男性の似顔絵画像Ｉａ、女性の似顔絵画像Ｉｂ等）内の各顔構成部の特徴情報をそれぞれ取得して、取得された各顔構成部の特徴情報に基づいて、複数の似顔絵画像から仮想顔画像（例えば、第１〜第４仮想顔画像Ｉ１〜Ｉ４等）の生成を制御するので、仮想顔画像の素材となる各顔構成部の特徴情報を考慮して仮想顔画像を自動的に生成することができ、仮想顔画像に使用されるパーツ画像を選択する作業等が不要となって複数の似顔絵画像から仮想顔画像を容易に生成することができる。

また、複数の似顔絵画像内の各顔構成部毎に対応する基準顔構成部と比較して、当該各顔構成部の特徴情報を取得するので、複数の似顔絵画像内の各顔構成部の中から、仮想顔画像の生成に用いられる顔構成部を適正に特定することができる。具体的には、複数の似顔絵画像内の各顔構成部と基準顔構成部との類似度を特徴情報として取得し、取得された各顔構成部と基準顔構成部との類似度を考慮して、複数の似顔絵画像内の各顔構成部の中から、仮想顔画像の生成に用いられる顔構成部を適正に特定することができる。これにより、複数の似顔絵画像内の各顔構成部のパーツ画像Ｐａ、Ｐｂの中から、顔構成部のパーツ画像の形状の代表値や代表位置により近い（類似している）方のパーツ画像Ｐを特定して第１仮想顔画像Ｉ１を生成したり、より遠い（類似していない）方のパーツ画像Ｐを特定して第２仮想顔画像Ｉ２を生成することができる。

また、複数の似顔絵画像内の各顔構成部の特徴情報の中から、仮想顔画像の生成の際に優先すべき優先特徴情報を指定することで、指定された優先特徴情報を考慮して、複数の似顔絵画像内の各顔構成部の中から、仮想顔画像の生成に優先的に用いられる顔構成部を適正に特定することができる。これにより、複数の似顔絵画像内の各顔構成部のパーツ画像Ｐａ、Ｐｂの中から、ユーザ所望の優先特徴情報（例えば、「小さい」等）に対応するパーツ画像Ｐを特定して第３仮想顔画像Ｉ３を生成することができる。

また、複数の似顔絵画像内の対応する顔構成部どうしを合成して仮想顔画像を生成することができ、このとき、合成される複数の顔画像内の各顔構成部の特徴情報を考慮して、当該顔構成部どうしの合成比率を制御することができる。すなわち、例えば、男性の似顔絵画像Ｉａと女性の似顔絵画像Ｉｂの対応する顔構成部のパーツ画像Ｐａ、Ｐｂどうしを単に所定の合成比率で合成するのではなく、男性の似顔絵画像Ｉａから抽出された目のパーツ画像Ｐａと女性の似顔絵画像Ｉｂから抽出された目のパーツ画像Ｐｂのそれぞれの特徴を基準として当該パーツ画像Ｐａ、Ｐｂの合成比率を決定することができる。これにより、決定された合成比率でパーツ画像Ｐａ、Ｐｂどうしを合成してパーツ画像Ｐを生成し、生成されたパーツ画像Ｐを用いて第４仮想顔画像Ｉ４を生成することができる。

また、複数の似顔絵画像から仮想顔画像の候補画像を複数生成して表示部５に表示するので、複数の仮想顔画像の候補画像の中からユーザ所望の候補画像を選択することができ、選択されたユーザ所望の候補画像を仮想顔画像として特定することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、仮想顔画像を生成する構成について説明したが、一例であってこれに限られるものではなく、必ずしも仮想顔画像を生成する必要はない。すなわち、本発明に係る画像処理を実行可能な構成であれば、画像生成部４ｄを具備するか否かは適宜任意に変更可能である。

また、上記実施形態にあっては、仮想顔画像の生成の際に優先すべき優先特徴情報を指定する構成について説明したが、一例であってこれに限られるものではなく、必ずしも優先特徴情報を指定する必要はない。すなわち、複数の顔画像から取得された各顔構成部の特徴情報に基づいて、複数の顔画像から仮想顔画像の生成を制御する構成であれば、特徴情報指定部４ｃを具備するか否かは適宜任意に変更可能である。

さらに、上記実施形態にあっては、仮想顔画像の候補画像を複数生成して、表示部５により表示された複数の候補画像の中から、何れか一の候補画像を仮想顔画像として特定するようにしたが、一例であってこれに限られるものではない。すなわち、必ずしも仮想顔画像の候補画像を複数生成する必要はなく、この場合には、表示部５や画像特定部４ｆを具備するか否かは適宜任意に変更可能である。

また、画像処理装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではなく、本発明に係る画像処理を実行可能なものであれば如何なる構成であっても良い。

加えて、上記実施形態にあっては、第１取得手段、第２取得手段、生成手段、制御手段としての機能を、中央制御部１のＣＰＵの制御下にて、画像取得部４ａ、特徴情報取得部４ｂ、画像生成部４ｄ、生成制御部４ｅが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
すなわち、プログラムを記憶するプログラムメモリ（図示略）に、第１取得処理ルーチン、第２取得処理ルーチン、生成処理ルーチン、制御処理ルーチンを含むプログラムを記憶しておく。そして、第１取得処理ルーチンにより中央制御部１のＣＰＵを、複数の顔画像を取得する手段として機能させるようにしても良い。また、第２取得処理ルーチンにより中央制御部１のＣＰＵを、取得された複数の顔画像内の各顔構成部の特徴情報をそれぞれ取得する手段として機能させるようにしても良い。また、生成処理ルーチンにより中央制御部１のＣＰＵを、取得された複数の顔画像を合成した合成顔画像を生成する手段として機能させるようにしても良い。また、制御処理ルーチンにより中央制御部１のＣＰＵを、取得された各顔構成部の特徴情報に基づいて、合成顔画像の生成を制御する手段として機能させるようにしても良い。

同様に、指定手段、生成手段、特定手段についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記憶媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
複数の顔画像を取得する第１取得手段と、
前記第１取得手段により取得された複数の顔画像内の各顔構成部の特徴情報をそれぞれ取得する第２取得手段と、
前記第１取得手段により取得された複数の顔画像を合成した合成顔画像を生成する生成手段と、
前記第２取得手段により取得された前記各顔構成部の特徴情報に基づいて、前記生成手段による合成顔画像の生成を制御する制御手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記第２取得手段は、
前記複数の顔画像内の各顔構成部毎に対応する基準顔構成部と比較して、当該各顔構成部の特徴情報を取得することを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記制御手段は、
前記第２取得手段により取得された前記各顔構成部と前記基準顔構成部との比較結果に基づいて、前記複数の顔画像内の各顔構成部の中から、前記合成顔画像の生成に用いられる顔構成部を特定することを特徴とする請求項２に記載の画像処理装置。
＜請求項４＞
前記第２取得手段により取得された前記各顔構成部の特徴情報の中から、前記合成顔画像の生成の際に優先すべき優先特徴情報を指定する指定手段を更に備え、
前記制御手段は、
前記指定手段により指定された前記優先特徴情報に基づいて、前記複数の顔画像内の各顔構成部の中から、前記合成顔画像の生成に優先的に用いられる顔構成部を特定することを特徴とする請求項１に記載の画像処理装置。
＜請求項５＞
前記制御手段は、
前記複数の顔画像内の対応する顔構成部どうしを合成して前記合成顔画像の生成を制御するとともに、合成される前記複数の顔画像内の各顔構成部の特徴情報に基づいて、当該顔構成部どうしの合成比率を制御することを特徴とする請求項１に記載の画像処理装置。
＜請求項６＞
前記生成手段は、前記複数の顔画像から複数の合成顔画像を候補画像として生成する候補画像生成手段を有し、
前記候補画像生成手段により生成された前記複数の候補画像を表示する表示手段と、
前記表示手段により表示された前記複数の候補画像の中から、何れか一の候補画像を前記合成顔画像として特定する特定手段と、を更に備えたことを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
＜請求項７＞
前記顔画像は、顔を模式的に表した似顔絵画像を含むことを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
＜請求項８＞
画像処理装置を用いた画像処理方法であって、
複数の顔画像を取得するステップと、
取得された複数の顔画像内の各顔構成部の特徴情報をそれぞれ取得するステップと、
取得された複数の顔画像を合成した合成顔画像を生成するステップと、
取得された前記各顔構成部の特徴情報に基づいて、前記合成顔画像の生成を制御するステップと、
を含むことを特徴とする画像処理方法。
＜請求項９＞
画像処理装置のコンピュータを、
複数の顔画像を取得する第１取得手段、
前記第１取得手段により取得された複数の顔画像内の各顔構成部の特徴情報をそれぞれ取得する第２取得手段、
前記第１取得手段により取得された複数の顔画像を合成した合成顔画像を生成する生成手段、
前記第２取得手段により取得された前記各顔構成部の特徴情報に基づいて、前記生成手段による合成顔画像の生成を制御する制御手段、
として機能させることを特徴とするプログラム。

１００ 画像処理装置
１ 中央制御部
４ 画像処理部
４ａ 画像取得部
４ｂ 特徴情報取得部
４ｃ 特徴情報指定部
４ｄ 画像生成部
４ｅ 生成制御部
４ｆ 画像特定部
５ 表示部
５ｂ 表示パネル
６ 操作入力部

Claims (7)

1. 複数の顔画像を取得する第１取得手段と、
   前記第１取得手段により取得された複数の顔画像内の各顔構成部毎に対応する基準顔構成部と比較して、当該各顔構成部の特徴情報をそれぞれ取得する第２取得手段と、
   前記第１取得手段により取得された複数の顔画像を合成した合成顔画像を生成する生成手段と、
   前記第２取得手段により取得された前記各顔構成部の特徴情報に基づいて、前記生成手段による合成顔画像の生成を制御する制御手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記制御手段は、
   前記第２取得手段により取得された前記各顔構成部と前記基準顔構成部との比較結果に基づいて、前記複数の顔画像内の各顔構成部の中から、前記合成顔画像の生成に用いられる顔構成部を特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２取得手段により取得された前記各顔構成部の特徴情報の中から、前記合成顔画像の生成の際に優先すべき優先特徴情報を指定する指定手段を更に備え、
   前記制御手段は、
   前記指定手段により指定された前記優先特徴情報に基づいて、前記複数の顔画像内の各顔構成部の中から、前記合成顔画像の生成に優先的に用いられる顔構成部を特定することを特徴とする請求項１に記載の画像処理装置。
4. 前記生成手段は、前記複数の顔画像から複数の合成顔画像を候補画像として生成する候補画像生成手段を有し、
   前記候補画像生成手段により生成された前記複数の候補画像を表示する表示手段と、
   前記表示手段により表示された前記複数の候補画像の中から、何れか一の候補画像を前記合成顔画像として特定する特定手段と、を更に備えたことを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記顔画像は、顔を模式的に表した似顔絵画像を含むことを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
6. 画像処理装置を用いた画像処理方法であって、
   複数の顔画像を取得するステップと、
   取得された複数の顔画像内の各顔構成部毎に対応する基準顔構成部と比較して、当該各顔構成部の特徴情報をそれぞれ取得するステップと、
   取得された複数の顔画像を合成した合成顔画像を生成するステップと、
   取得された前記各顔構成部の特徴情報に基づいて、前記合成顔画像の生成を制御するステップと、
   を含むことを特徴とする画像処理方法。
7. 画像処理装置のコンピュータを、
   複数の顔画像を取得する第１取得手段、
   前記第１取得手段により取得された複数の顔画像内の各顔構成部毎に対応する基準顔構成部と比較して、当該各顔構成部の特徴情報をそれぞれ取得する第２取得手段、
   前記第１取得手段により取得された複数の顔画像を合成した合成顔画像を生成する生成手段、
   前記第２取得手段により取得された前記各顔構成部の特徴情報に基づいて、前記生成手段による合成顔画像の生成を制御する制御手段、
   として機能させることを特徴とするプログラム。

Images