JP5962268B2 - 画像処理装置、画像処理方法、画像生成方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、画像生成方法及びプログラムに関する。

従来、目、鼻、口、耳、顔の輪郭等の顔部品の特徴点を用いて似顔絵を作成する似顔絵作成装置が知られている（例えば、特許文献１参照）。
また、各部位ごとに予め用意されているパーツオブジェクトを組み合わせてキャラクタを作成するゲーム装置が知られている（例えば、特許文献２参照）。

特開２００４−１４５６２５号公報 特開２００８−０６１８９６号公報

ところで、予め用意された輪郭画像の内部に、目、鼻、口等の主要な構成部が配置された似顔絵画像を着色する場合、構成部の認識精度が低いと、正しく着色することが難しいと言った問題点があった。特に、口領域は変動が大きいこともあり、目等と比較して認識精度が低下してしまい、誤認識により、間違った領域を着色してしまう虞がある。

そこで、本発明の課題は、精度良く着色領域を特定することができる画像処理装置、画像処理方法、画像生成方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る画像処理装置は、
画像を取得する第１取得手段と、前記第１取得手段により取得された画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第１及び第２の顔構成部画像をそれぞれ生成する第１生成手段と、前記第１生成手段により生成された前記第１の顔構成部画像と前記第２の顔構成部画像の前記構成部に相当する領域どうしを重ね合わせて、前記第１の顔構成部画像における前記構成部に相当する領域と前記第１の顔構成部画像における前記構成部に相当する領域とを比較する比較手段と、前記比較手段の前記比較の結果、前記第１及び第２の顔構成部画像における前記構成部に相当する領域どうしの重なりの量が所定値よりも多い場合に、前記第１の顔構成部画像における前記構成部に対応する着色領域を特定する特定手段と、を備えたことを特徴としている。

また、本発明に係る画像処理方法は、
顔を含む画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第１及び第２の顔構成部画像をそれぞれ生成する処理と、生成された前記第１の顔構成部画像と前記第２の顔構成部画像の前記構成部に相当する領域どうしを重ね合わせて、前記第１の顔構成部画像における前記構成部に相当する領域と前記第１の顔構成部画像における前記構成部に相当する領域とを比較する処理と、前記比較の結果、前記第１及び第２の顔構成部画像における前記構成部に相当する領域どうしの重なりの量が所定値よりも多い場合に、前記第１の顔構成部画像における前記構成部に対応する着色領域を特定する処理と、を含むことを特徴としている。

また、本発明に係る画像生成方法は、
顔を含む画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第１及び第２の顔構成部画像をそれぞれ生成する処理と、生成された前記第１の顔構成部画像と前記第２の顔構成部画像の前記構成部に相当する領域どうしを重ね合わせて、前記第１の顔構成部画像における前記構成部に相当する領域と前記第１の顔構成部画像における前記構成部に相当する領域とを比較する処理と、前記比較の結果、前記第１及び第２の顔構成部画像における前記構成部に相当する領域どうしの重なりの量が所定値よりも多い場合に、前記第１の顔構成部画像における前記構成部に対応する着色領域を特定する処理と、特定された前記着色領域を着色するとともに、前記第１の顔構成部画像を用いて似顔絵画像を生成する処理と、を含むことを特徴としている。

また、本発明に係るプログラムは、
画像処理装置のコンピュータを、顔を含む画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第１及び第２の顔構成部画像をそれぞれ生成する第１生成手段、前記第１生成手段により生成された前記第１の顔構成部画像と前記第２の顔構成部画像の前記構成部に相当する領域どうしを重ね合わせて、前記第１の顔構成部画像における前記構成部に相当する領域と前記第１の顔構成部画像における前記構成部に相当する領域とを比較する比較手段、前記比較手段の前記比較の結果、前記第１及び第２の顔構成部画像における前記構成部に相当する領域どうしの重なりの量が所定値よりも多い場合に、前記第１の顔構成部画像における前記構成部に対応する着色領域を特定する特定手段、として機能させることを特徴としている。

本発明によれば、精度良く着色領域を特定することができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 似顔絵画像生成処理に係る画像の一例を模式的に示す図である。 似顔絵画像生成処理に係る画像の一例を模式的に示す図である。 図１の撮像装置による似顔絵画像生成処理に係る動作の一例を示すフローチャートである。 画像着色処理に係る動作の一例を示すフローチャートである。 顔構成部の位置関係の一例を模式的に示す図である。 似顔絵画像の着色の一例を模式的に示す図である。 似顔絵画像の着色の一例を模式的に示す図である。 似顔絵画像の着色の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。但し、発明の範囲は、図示例に限定されない。

図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の撮像装置１００は、具体的には、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像記録部５と、画像処理部６と、表示制御部７と、表示部８と、操作入力部９と、中央制御部１０とを備えている。
また、撮像部１、撮像制御部２、画像データ生成部３、メモリ４、画像記録部５、画像処理部６、表示制御部７及び中央制御部１０は、バスライン１１を介して接続されている。

撮像部１は、所定の被写体を撮像してフレーム画像を生成する。
具体的には、撮像部１は、レンズ部１ａと、電子撮像部１ｂと、レンズ駆動部１ｃとを備えている。

レンズ部１ａは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ（撮像素子）から構成されている。そして、電子撮像部１ｂは、レンズ部１ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
レンズ駆動部１ｃは、例えば、図示は省略するが、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えている。
なお、撮像部１は、レンズ部１ａ、電子撮像部１ｂ及びレンズ駆動部１ｃに加えて、レンズ部１ａを通過する光の量を調整する絞り（図示略）を備えても良い。

撮像制御部２は、撮像部１による被写体の撮像を制御する。即ち、撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部１ｂを走査駆動して、レンズを通過した光学像を電子撮像部１ｂにより所定周期毎に二次元の画像信号に変換させ、当該電子撮像部１ｂの撮像領域から１画面分ずつフレーム画像を読み出して画像データ生成部３に出力させる。

なお、撮像制御部２は、レンズ部１ａのフォーカスレンズに代えて、電子撮像部１ｂを光軸方向に移動させてレンズ部１ａの合焦位置を調整するようにしても良い。
また、撮像制御部２は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行っても良い。

画像データ生成部３は、電子撮像部１ｂから転送されたフレーム画像のアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡ（Direct Memory Access）コントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。

メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像処理部６や中央制御部１０等によって処理されるデータ等を一時的に格納する。

画像記録部５は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部６の符号化部（図示略）により所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化された記録用の画像データを記録する。

また、画像記録部５には、似顔絵画像の生成に用いるためのイラストである複数の髪型の髪型画像Ｐ１、及び、複数の顔の形状に対応した顔輪郭画像Ｐ２の画像データが予め記録されている。
髪型画像Ｐ１の画像データの各々は、例えば、ヒトの髪の輪郭を模式的に表した画像であり、顔輪郭画像Ｐ２の画像データの各々は、例えば、ヒトの顔の輪郭を模式的に表した画像である。
具体的には、髪型画像Ｐ１の画像データは、例えば、顔検出処理（後述）により検出された顔領域内から、顔の顎の輪郭及び当該顎よりも内側の部分を消去することで形成されても良いし、髪を所定の色で塗り潰すことにより形成されても良い。
また、顔輪郭画像Ｐ２の画像データは、例えば、顔検出処理（後述）により検出された顔領域内から、顔の輪郭のみを抽出することで形成されても良いし、肌部分を所定の色で塗り潰すことにより形成されても良い。
また、顔の輪郭や髪の先端部に沿った線の描画は、ユーザによる操作入力部９の所定操作に基づいて手動で行われても良いし、中央制御部１０のＣＰＵの制御下にて自動で行われても良い。

なお、画像記録部５は、例えば、記録媒体（図示略）が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。

画像処理部６は、画像取得部６ａと、顔検出部６ｂと、第１構成部画像生成部６ｃと、第２構成部画像生成部６ｄと、特徴情報抽出部６ｅと、髪型画像特定部６ｆと、顔輪郭画像特定部６ｇと、似顔絵画像生成部６ｈと、画像比較部６ｉと、画像判定部６ｊと、着色領域特定部６ｋと、画像着色部６ｌとを具備している。
なお、画像処理部６の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

画像取得部６ａは、似顔絵画像生成処理の処理対象となる画像を取得する。
即ち、画像取得部６ａは、元画像（例えば、写真画像等）Ｐ３の画像データを取得する。具体的には、画像取得部６ａは、撮像部１及び撮像制御部２による被写体の撮像によって画像データ生成部３により生成された元画像Ｐ３の画像データ（ＹＵＶデータ）の複製をメモリ４から取得したり、画像記録部５に記録されている元画像Ｐ３の画像データ（ＹＵＶデータ）の複製を取得する（図２（ａ）参照）。

顔検出部６ｂは、処理対象となる元画像Ｐ３から顔領域Ｆ１（図２（ａ）参照）を検出する。
即ち、顔検出部６ｂは、画像取得部６ａにより取得された元画像Ｐ３から顔が含まれる顔領域Ｆ１を検出する。具体的には、顔検出部６ｂは、画像取得部６ａにより似顔絵画像生成処理の処理対象の画像として取得された元画像Ｐ３の画像データを取得して、当該画像データに対して所定の顔検出処理を行って顔領域Ｆ１を検出する。
なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。

第１構成部画像生成部６ｃは、顔の主要な顔構成部を表した第１の顔構成部画像Ｐ４を生成する。
即ち、第１構成部画像生成部６ｃは、画像取得部６ａにより取得された元画像Ｐ３（図２（ａ）参照）内の顔の主要な顔構成部に係る第１の顔構成部画像Ｐ４を生成する。具体的には、第１構成部画像生成部６ｃは、エッジ抽出処理を行って、顔構成部のパーツ画像を含む第１の顔構成部画像Ｐ４を生成する。例えば、第１構成部画像生成部６ｃは、元画像Ｐ３の画像データ（ＹＵＶデータ）に対して所定の微分フィルタ（例えば、ハイパスフィルタ等）を用いて微分演算を行って、輝度値や色や濃度に急峻な変化があるところをエッジとして検出するエッジ検出処理を行う。そして、第１構成部画像生成部６ｃは、得られた画像から目、鼻、口、眉等の顔構成部を抽出して、顔構成部のパーツ画像を含む第１の顔構成部画像Ｐ４（図２（ｂ）参照）を生成する。
なお、第１の顔構成部画像Ｐ４は、例えば、目、鼻、口、眉等の各顔構成部のうち、少なくとも何れか一の顔構成部（例えば、口等）に対応する画像であれば良い。

第２構成部画像生成部６ｄは、顔の主要な顔構成部を表した第２の顔構成部画像Ｐ６（図３（ｂ）参照）を生成する。
即ち、第２構成部画像生成部６ｄは、画像取得部６ａにより取得された元画像Ｐ３（図２（ａ）参照）内の顔の主要な顔構成部に係る第２の顔構成部画像Ｐ６を生成する。具体的には、第２構成部画像生成部６ｄは、元画像Ｐ３の顔が含まれる顔領域Ｆ１に対して微細部抽出処理を施して、例えば、目、鼻、口、眉、髪の毛、顔の輪郭等の顔構成部を線で表した顔微細部画像Ｐ５（図２（ｃ）参照）を生成する。例えば、第２構成部画像生成部６ｄは、微細部抽出処理として、ＡＡＭ（Active Appearance Model）を用いた処理により顔微細部画像Ｐ５を生成する。また、第２構成部画像生成部６ｄは、顔検出部６ｂにより元画像Ｐ３の画像データから検出された顔領域Ｆ１に対して微細部抽出処理を施す。
ここで、ＡＡＭとは、視覚的事象のモデル化の一手法であり、任意の顔領域Ｆ１の画像のモデル化を行う処理である。例えば、第２構成部画像生成部６ｄは、複数のサンプル顔画像における所定の特徴部位（例えば、目じりや鼻頭やフェイスライン等）の位置や画素値（例えば、輝度値）の統計的分析結果を所定の登録手段に登録しておく。そして、第２構成部画像生成部６ｄは、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔領域Ｆ１の画像をモデル化する。これにより、第２構成部画像生成部６ｄは、元画像Ｐ３内の主要な構成を抽出して線で表した顔微細部画像Ｐ５を生成する。

また、第２構成部画像生成部６ｄは、微細部抽出処理により顔領域Ｆ１内の顔の輪郭Ｗ１（図３（ａ）参照）を特定して、顔の輪郭Ｗ１内に存する顔構成部及び当該輪郭Ｗ１と接する顔構成部を線で表した第２の顔構成部画像Ｐ６を生成する。
具体的には、第２構成部画像生成部６ｄは、顔微細部画像Ｐ５内で顔の輪郭Ｗ１と接する画素を特定し、当該画素と連続する画素のうち、顔の輪郭Ｗ１よりも外側に存する画素集合Ｇ、…（図３（ａ）参照）を消去する。つまり、第２構成部画像生成部６ｄは、顔微細部画像Ｐ５のうち、顔の輪郭Ｗ１よりも外側に存する部分を消去すると共に、顔の輪郭Ｗ１よりも内側に存し、且つ、当該輪郭Ｗ１と接する部分（例えば、図３（ａ）における向かって左側の眉等）を残して、例えば、目、鼻、口、眉等の主要な顔構成部のパーツ画像Ｍを含む第２の顔構成部画像Ｐ６を生成する（図３（ｂ）参照）。なお、図３（ａ）にあっては、顔の輪郭Ｗ１を模式的に破線で表す。
ここで、第２構成部画像生成部６ｄは、各顔構成部のパーツ画像ＭのＸＹ平面空間での相対的な位置関係に係る情報や、座標位置に係る情報を抽出して取得しても良い。

なお、微細部抽出処理として、ＡＡＭを用いた処理を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
例えば、微細部抽出処理として、非等方拡散処理を行って、顔構成部のパーツ画像Ｍを含む第２の顔構成部画像Ｐ６を生成しても良い。具体的には、第２構成部画像生成部６ｄは、例えば、元画像Ｐ３の画像データに対して所定の非等方拡散フィルタを用いて、線状のエッジの接線方向とエッジの垂直方向とで重みを異ならせて平滑化する非等方拡散処理を行っても良い。

また、上述の微細部抽出処理では、第１構成部画像生成部６ｃ及び第２構成部画像生成部６ｄが、画像取得部６ａにより取得された似顔絵画像生成処理の処理対象となる一枚の画像から、目、鼻、口、眉等の主要な顔構成部のパーツ画像を取り出すことにより、第１及び第２の顔構成部画像をそれぞれ生成しているが、複数枚（例えば、数十枚以上）の画像に基づき複数種類の顔全体のパーツ、並びに、目、鼻、口、眉等の主要な顔構成部のパーツを予め作成しておき、当該パーツを用いて顔構成部画像を生成しても良い。

具体的には、第１構成部画像生成部６ｃ、或いは、第２構成部画像生成部６ｄは、先ず画像取得部６ａにより取得された似顔絵画像生成処理の処理対象となる一枚の画像に対して、上述のように予め作成された複数種類の顔全体のパーツを対比して、一致度が所定値よりも高い顔全体のパーツを特定する。
次に、第１構成部画像生成部６ｃ、或いは、第２構成部画像生成部６ｄは、画像取得部６ａにより取得された似顔絵画像生成処理の処理対象となる一枚の画像に対して、目、鼻、口、眉等の主要な顔構成部毎に、予め作成された複数種類の目、鼻、口、眉等の主要な顔構成部のパーツを対比して、一致度が所定値よりも高い顔構成部のパーツをそれぞれ特定する。
そして、第１構成部画像生成部６ｃ、或いは、第２構成部画像生成部６ｄは、それぞれ特定した「顔全体のパーツ」及び「目、鼻、口、眉等の主要な顔構成部のパーツ」を用いて第１の顔構成部画像、或いは、第２の顔構成部画像を生成する。

特徴情報抽出部６ｅは、元画像Ｐ３の顔領域Ｆ１から特徴情報を抽出する。
即ち、特徴情報抽出部６ｅは、画像取得部６ａにより取得された元画像Ｐ３内の顔から、例えば、顔の輪郭Ｗ１の形状等の特徴情報を抽出する。具体的には、特徴情報抽出部６ｅは、元画像Ｐ３の画像データ（ＹＵＶデータ）に基づいて、顔領域Ｆ１内で特徴の高いブロック領域（特徴点）を選択して抽出する特徴抽出処理を行う。例えば、特徴情報抽出部６ｅは、微細部抽出処理として、例えば、ＡＡＭを用いた処理により顔領域Ｆ１内で特定された顔の輪郭Ｗ１を構成する画素について特徴抽出処理を行って、当該顔の輪郭Ｗ１の形状を特徴情報として抽出する。ここで、顔の輪郭Ｗ１の形状としては、例えば、長軸及び短軸の長さが特定された楕円形、特に、各顔の顎の輪郭Ｗ１と合致する楕円形が挙げられる。
なお、特徴抽出処理にて抽出される特徴情報として、顔の輪郭の形状を例示したが、一例であってこれに限られるものではなく、元画像Ｐ３と髪型画像Ｐ１（或いは、顔輪郭画像Ｐ２）とで対比可能な情報であれば適宜任意に変更可能である。例えば、元画像Ｐ３と髪型画像Ｐ１（或いは、顔輪郭画像Ｐ２）とで顔の輪郭の特徴ベクトルを抽出して用いても良いし、髪型の形状を用いても良い。また、特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。

髪型画像特定部６ｆは、特徴情報抽出部６ｅにより抽出された特徴情報に対応する髪型画像Ｐ１を特定する。
即ち、髪型画像特定部６ｆは、画像記録部５に顔の特徴情報と対応付けて記録されている髪型画像Ｐ１から、特徴情報抽出部６ｅにより抽出された特徴情報に対応する髪型画像Ｐ１を特定する。具体的には、髪型画像特定部６ｆは、画像記録部５に記録されている所定数の顔の輪郭の形状を規定する楕円形と、特徴情報抽出部６ｅにより抽出された顔の輪郭Ｗ１の形状を規定する楕円形とを比較して、一致度が所定値よりも高い楕円形を特定する。そして、髪型画像特定部６ｆは、特定された楕円形と対応付けられている髪型画像Ｐ１の画像データを特定する。
なお、髪型画像特定部６ｆは、一致度が所定値よりも高い楕円形を複数特定し、当該複数の楕円形の中で、ユーザによる操作入力部９の所定操作に基づいて選択されたユーザ所望の楕円形を特定しても良い。

顔輪郭画像特定部６ｇは、特徴情報抽出部６ｅにより抽出された特徴情報に対応する顔輪郭画像Ｐ２を特定する。
即ち、顔輪郭画像特定部６ｇは、画像記録部５に顔の特徴情報と対応付けて記録されている顔輪郭画像Ｐ２から、特徴情報抽出部６ｅにより抽出された特徴情報に対応する顔輪郭画像Ｐ２を特定する。具体的には、顔輪郭画像特定部６ｇは、画像記録部５に記録されている所定数の顔の輪郭の形状を規定する楕円形と、特徴情報抽出部６ｅにより抽出された顔の輪郭Ｗ１の形状を規定する楕円形とを比較して、一致度が所定値よりも高い楕円形を特定する。そして、顔輪郭画像特定部６ｇは、特定された楕円形と対応付けられている顔輪郭画像Ｐ２の画像データを特定する。
なお、顔輪郭画像特定部６ｇは、一致度が所定値よりも高い楕円形を複数特定し、当該複数の楕円形の中で、ユーザによる操作入力部９の所定操作に基づいて選択されたユーザ所望の楕円形を特定しても良い。

似顔絵画像生成部６ｈは、髪型画像Ｐ１と、顔輪郭画像Ｐ２と、第１の顔構成部画像Ｐ４とを用いて似顔絵画像Ｐ７を生成する。
即ち、似顔絵画像生成部６ｈは、髪型画像特定部６ｆにより特定された髪型画像Ｐ１の画像データ、第１構成部画像生成部６ｃにより生成された第１の顔構成部画像Ｐ４のパーツ画像、及び、顔輪郭画像特定部６ｇにより特定された顔輪郭画像Ｐ２を用いて似顔絵画像Ｐ７を生成する。
具体的には、似顔絵画像生成部６ｈは、髪型画像Ｐ１及び顔輪郭画像Ｐ２の顔の輪郭よりも内側にて、例えば、第１の顔構成部画像Ｐ４の目、鼻、口、眉等の各顔構成部のパーツ画像を重畳させる位置を特定し、当該位置に各顔構成部のパーツ画像を重畳させて、元画像Ｐ３を似顔絵で表した似顔絵画像Ｐ７の画像データを生成する。このとき、似顔絵画像生成部６ｈは、髪型画像Ｐ１及び顔輪郭画像Ｐ２をその顔の輪郭を規定する楕円形が元画像Ｐ３の顔の輪郭を規定する楕円形と合致するように変形させても良い。

画像比較部６ｉは、第２構成部画像生成部６ｃにより生成された第２の顔構成部画像Ｐ６と、似顔絵画像生成部６ｈにより生成された似顔絵画像Ｐ７とを比較する。
即ち、画像比較部６ｉは、第２構成部画像生成部６ｃにより生成された第２の顔構成部画像Ｐ６と、似顔絵画像生成部６ｈにより生成された似顔絵画像Ｐ７とを重ね合わせてフィッティングする。具体的には、画像比較部６ｉは、例えば、似顔絵画像Ｐ７を構成する第１の顔構成部画像Ｐ４の目と第２の顔構成部画像Ｐ６の目とをそれぞれ基準にして、第２の顔構成部画像Ｐ６と似顔絵画像Ｐ７とを重ね合わせる。このとき、二つの画像の目の位置がずれている場合には、少なくとも一の画像の位置や大きさや向きや調整しても良い。そして、画像比較部６ｉは、これら２つの画像の各構成部に相当する領域どうしの重なり具合を比較して、その比較結果を出力する。
ここで、似顔絵画像Ｐ７は、第１の顔構成部画像Ｐ４により構成されているので、画像比較部６ｉが、第２の顔構成部画像Ｐ６と似顔絵画像Ｐ７とを比較するということは、第２の顔構成部画像Ｐ６と第１の顔構成部画像Ｐ４とを比較することと同じであると考えられる。

具体的には、画像比較部６ｉは、第２の顔構成部画像Ｐ６と似顔絵画像Ｐ７とを重ね合わせた状態で、例えば、口等の構成部に相当する領域どうしの重なり具合が所定値よりも多いか否かを比較判定する。例えば、画像比較部６ｉは、第２の顔構成部画像Ｐ６の口に相当する領域内に存在する似顔絵画像Ｐ７の口に相当する領域の画素数を重なり具合として特定する。そして、画像比較部６ｉは、特定された画素数が第１の判定値よりも多いか否かを比較判定して、比較結果として出力する。
ここで、第１の判定値は、適宜任意に設定することができ、例えば、比較対象となる構成部に応じて値を変更しても良い。特に、例えば、口の誤認識を抑制する上では、第１の判定値の値をより厳しく（大きく）設定するのが好ましい。

また、画像比較部６ｉは、第２の顔構成部画像Ｐ６の口中に相当する領域の画素数に対する、似顔絵画像Ｐ７の口に相当する領域の画素数の比率が第２の判定値よりも低いか否かを比較判定して、比較結果として出力する。
ここで、当該比較判定は、画像判定部６ｊによる笑顔判定の結果、笑顔でないと判定された際に行われる。この場合、口領域は狭い場合が多いと考えられ、第２の顔構成部画像Ｐ６の口の中に相当する領域の画素数に対する、似顔絵画像Ｐ７の口に相当する領域の画素数の比率は、例えば、５０％〜７０％程度等の高い数値を示すことが一般的である。しかしながら、似顔絵画像Ｐ７の口領域と第２の顔構成部画像Ｐ６の口領域がずれている場合には、上述の比率が、例えば、２０％以下等の低い数値を示す。
そこで、口の誤認識を安全性を考慮して抑制する上で、第２の判定値は、例えば、５０％よりも小さい値が好ましく、２０％以下の値がより好ましいと考えられる。

なお、画像比較部６ｉは、上述の比較に限定されるものではなく、その他の条件に基づく比較を行っても良い。
また、第２の顔構成部画像Ｐ６と似顔絵画像Ｐ７とを重ね合わせる基準として、２つの画像の目を例示したが、一例であってこれに限られるものではなく、例えば、２つの画像の鼻、耳、顔の輪郭など適宜任意に変更可能である。

画像判定部６ｊは、第２の顔構成部画像Ｐ６と似顔絵画像Ｐ７の画像判定をして判定結果を出力する。
即ち、画像判定部６ｊは、似顔絵画像Ｐ７が笑顔であるか否かを所定の判定方法に従って判定する。
ここで、似顔絵画像Ｐ７は、第１の顔構成部画像Ｐ４により構成されているので、似顔絵画像Ｐ７が笑顔であるか否かを判定することは、元画像Ｐ４が笑顔であるか否かを判定することと同じであると考えられる。
なお、笑顔の判定方法は、公知の技術であるので詳細な説明は省略するが、例えば、似顔絵画像Ｐ７について、人の顔の左右両目の座標情報に基づいて当該似顔絵画像Ｐ７内で口の位置を探索して、口角が上がっている度合いに応じて笑顔であるか否かを判定するようにしても良い。

また、画像判定部６ｊは、第２の顔構成部画像Ｐ６の口中に相当する領域の面積が、所定の面積よりも広いか否かを判定する。
具体的には、画像判定部６ｊは、第２の顔構成部画像Ｐ６の口中に相当する領域の画素数を特定して、当該画素数が所定の判定値よりも大きいか否かを判定する。
ここで、所定の判定値は、口中の誤認識の抑制を考慮して設定された第３の判定値と、この第３の判定値よりも大きい第４の判定値を含む。
即ち、画像判定部６ｊは、第２の顔構成部画像Ｐ６の口中に相当する領域の画素数が第３の判定値よりも大きいか否かに応じて、口が開いているか否かを判定する。また、画像判定部６ｊは、第２の顔構成部画像Ｐ６の口中に相当する領域の画素数が第４の判定値よりも大きいか否かに応じて、口が大きく開いているか否かを判定する。
なお、画像判定部６ｊは、上述の判定に限定されるものではなく、その他の条件に基づく判定を行っても良い。

着色領域特定部６ｋは、画像比較部６ｉの比較結果と画像判定部６ｊの判定結果に基づき、似顔絵画像Ｐ７の着色領域を特定する。
即ち、着色領域特定部６ｋは、画像比較部６ｉの比較結果に基づいて、似顔絵画像Ｐ７を構成する第１の顔構成部画像Ｐ４における顔の主要な構成部に対応する着色領域を特定する。具体的には、着色領域特定部６ｋは、画像比較部６ｉの比較結果と画像判定部６ｊの判定結果に基づき、第２の顔構成部画像Ｐ６の顔の主要な構成部である唇や口中等に対応する似顔絵画像Ｐ７の領域を着色領域として特定する。

例えば、画像比較部６ｉにより、第２の顔構成部画像Ｐ６の口領域内に存在する似顔絵画像Ｐ７の口領域の画素数が第１の判定値よりも少なくないと判定された後、画像判定部６ｊにより、似顔絵画像Ｐ７が笑顔であり、且つ、第２の顔構成部画像Ｐ６の口中に相当する領域の画素数が第３の判定値よりも大きいと判定された場合に、着色領域特定部６ｋは、第２の顔構成部画像Ｐ６の唇及び口中に対応する似顔絵画像Ｐ７の領域を着色領域として特定する。
また、上記の画像比較部６ｉによる判定後、画像判定部６ｊにより、似顔絵画像Ｐ７が笑顔ではないと判定された場合であっても、さらに、第２の顔構成部画像Ｐ６の口中に相当する領域の画素数が第４の判定値よりも大きくなく、第２の顔構成部画像Ｐ６の口領域の画素数に対する似顔絵画像Ｐ７の口領域の画素数の比率が第２の判定値よりも低くなく、且つ、第２の顔構成部画像Ｐ６の口中に相当する領域の画素数が第３の判定値よりも大きいと判定された場合には、着色領域特定部６ｋは、上記と同様に、第２の顔構成部画像Ｐ６の唇及び口中に対応する似顔絵画像Ｐ７の領域を着色領域として特定する。

また、例えば、画像比較部６ｉにより、第２の顔構成部画像Ｐ６の口領域内に存在する似顔絵画像Ｐ７の口領域の画素数が第１の判定値よりも少なくないと判定された後、画像判定部６ｊにより、似顔絵画像Ｐ７が笑顔であり、且つ、第２の顔構成部画像Ｐ６の口中に相当する領域の画素数が第３の判定値よりも大きくないと判定された場合に、着色領域特定部６ｋは、第２の顔構成部画像Ｐ６の唇に対応する似顔絵画像Ｐ７の領域を着色領域として特定する。
また、上記の画像比較部６ｉによる判定後、画像判定部６ｊにより、似顔絵画像Ｐ７が笑顔ではないと判定された場合であっても、さらに、第２の顔構成部画像Ｐ６の口中に相当する領域の画素数が第４の判定値よりも大きくなく、第２の顔構成部画像Ｐ６の口領域の画素数に対する似顔絵画像Ｐ７の口領域の画素数の比率が第２の判定値よりも低くなく、且つ、第２の顔構成部画像Ｐ６の口中に相当する領域の画素数が第３の判定値よりも大きくないと判定された場合には、着色領域特定部６ｋは、上記と同様に、第２の顔構成部画像Ｐ６の唇に対応する似顔絵画像Ｐ７の領域を着色領域として特定する。

画像着色部６ｌは、着色領域特定部６ｋにより特定された着色領域を着色する。
即ち、画像着色部６ｌは、着色領域特定部６ｋにより特定された顔の目、鼻、唇、口中、眉のうちの少なくとも一つに対応する着色領域を所定の色で着色する。具体的には、画像着色部６ｌは、似顔絵画像Ｐ７内から着色領域として特定された唇や口中に対応する領域を着色する。
ここで、似顔絵画像Ｐ７は、第１の顔構成部画像Ｐ４により構成されているので、似顔絵画像Ｐ７の着色領域は、第１の顔構成部画像Ｐ４における顔の主要な構成部に対応する着色領域と同じであると考えられる。
例えば、着色領域特定部６ｋにより、着色領域として第２の顔構成部画像Ｐ６の唇及び口中に対応する似顔絵画像Ｐ７の領域が特定された場合には、画像着色部６ｌは、唇に対応する領域を赤色に、口中に対応する領域を白色にそれぞれ着色する。
また、着色領域特定部６ｋにより、着色領域として第２の顔構成部画像Ｐ６の唇に対応する似顔絵画像Ｐ７の領域が特定された場合には、画像着色部６ｌは、唇に対応する領域を赤色に着色する。
なお、画像着色部６ｌは、一例として、唇に対応する領域を赤色に、口の中に対応する領域を白色に着色しているが、着色する色としては、勿論、これらに限定される訳ではない。

表示制御部７は、メモリ４に一時的に格納されている表示用の画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示制御部７は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１０の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に格納されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。

表示部８は、例えば、液晶表示パネルであり、表示制御部７からのビデオ信号に基づいて撮像部１により撮像された画像などを表示画面に表示する。具体的には、表示部８は、静止画撮像モードや動画撮像モードにて、撮像部１及び撮像制御部２による被写体の撮像により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部８は、静止画として記録される画像（レックビュー画像）を表示したり、動画として記録中の画像を表示する。

操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等（何れも図示略）の操作部を備え、当該操作部の各ボタンの操作に応じて所定の操作信号を中央制御部１０に出力する。

中央制御部１０は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１０は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

次に、撮像装置１００による似顔絵画像生成処理について、図４を参照して説明する。図４は、似顔絵画像生成処理に係る動作の一例を示すフローチャートである。

似顔絵画像生成処理は、ユーザによる操作入力部９の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から似顔絵画像着色モードが選択指示された場合に、中央制御部１０の制御下にて当該撮像装置１００の各部、特に画像処理部６により実行される処理である。
また、似顔絵画像生成処理の処理対象となる元画像Ｐ３の画像データが画像記録部５に記録されているものとする。

図４に示すように、先ず、画像記録部５は、画像記録部５に記録されている画像データの中で、ユーザによる操作入力部９の所定操作に基づいて指定された元画像Ｐ３（図２（ａ）参照）の画像データを読み出し、画像処理部６の画像取得部６ａは、読み出された画像データを当該似顔絵画像生成処理の処理対象として取得する（ステップＳ１）。

次に、顔検出部６ｂは、処理対象として画像取得部６ａにより取得された元画像Ｐ３の画像データに対して所定の顔検出処理を行って顔領域Ｆ１を検出する（ステップＳ２）。

続けて、第１構成部画像生成部６ｃは、検出された顔領域Ｆ１に対して微細部抽出処理であるエッジ検出処理を行って、顔領域Ｆ１内の顔の輪郭を特定して、顔の輪郭内に存する顔構成部及び当該輪郭と接する顔構成部、即ち、例えば、目、鼻、口、眉等の主要な顔構成部のパーツ画像を含む第１の顔構成部画像Ｐ４を生成する（ステップＳ３：図２（ｂ）参照）。

同様に、第２構成部画像生成部６ｄは、検出された顔領域Ｆ１に対してエッジ検出処理とは異なる微細部抽出処理（例えば、ＡＡＭを用いた処理等）を行って、元画像Ｐ３の顔領域Ｆ１内の目、鼻、口、眉、髪の毛、顔の輪郭等の顔構成部を線で表した顔微細部画像Ｐ５を生成する（ステップＳ４：図２（ｃ）参照）。そして、第２構成部画像生成部６ｄは、微細部抽出処理により顔領域Ｆ１内の顔の輪郭を特定して、顔の輪郭内に存する顔構成部及び当該輪郭と接する顔構成部、即ち、例えば、目、鼻、口、眉等の主要な顔構成部のパーツ画像を含む第２の顔構成部画像Ｐ６を生成する（ステップＳ５：図３（ｂ）参照）。

続けて、特徴情報抽出部６ｅは、微細部抽出処理により顔領域Ｆ１内で特定された顔の輪郭を構成する画素について特徴抽出処理を行って、当該顔の輪郭の形状を規定する楕円形を特定し、特徴情報として抽出する（ステップＳ６）。

次に、髪型画像特定部６ｆは、画像記録部５に記録されている所定数の顔の輪郭の形状を規定する楕円形と、特徴情報抽出部６ｅにより抽出された顔の輪郭の形状を規定する楕円形とを比較する。そして、髪型画像特定部６ｆは、一致度が所定値よりも高い楕円形を特定し、特定された楕円形と対応付けられている髪型画像Ｐ１の画像データを特定して、画像記録部５から読み出して取得すると共に、顔輪郭画像特定部６ｇは、画像記録部５に記録されている所定数の顔の輪郭の形状を規定する楕円形と、特徴情報抽出部６ｅにより抽出された顔の輪郭の形状を規定する楕円形とを比較する。そして、顔輪郭画像特定部６ｇは、一致度が所定値よりも高い楕円形を特定し、特定された楕円形と対応付けられている顔輪郭画像Ｐ２の画像データを特定して、画像記録部５から読み出して取得する（ステップＳ７）。

そして、似顔絵画像生成部６ｈは、髪型画像特定部６ｆにより特定された髪型画像Ｐ１、顔輪郭画像特定部６ｇにより特定された顔輪郭画像Ｐ２及び、顔輪郭画像特定部６ｇにより特定された顔輪郭画像Ｐ２の顔の輪郭よりも内側にて、第１構成部画像生成部６ｃにより生成された第１の顔構成部画像Ｐ４の例えば、目、鼻、口、眉等の各顔構成部のパーツ画像を重畳させる位置を特定し、当該位置に各顔構成部のパーツ画像を重畳させて、元画像Ｐ３を似顔絵で表した似顔絵画像Ｐ７の画像データを生成する（ステップＳ８）。

そして、画像処理部６は、似顔絵画像Ｐ７を着色する画像着色処理（図５参照）を行う（ステップＳ９）。
以下に、画像着色処理について、図５を参照して詳細に説明する。図５は、画像着色処理に係る動作の一例を示すフローチャートである。

図５に示すように、先ず、画像比較部６ｉは、似顔絵画像Ｐ７と第２の顔構成部画像Ｐ６を重ね合わせた後（ステップＳ２１）、第２の顔構成部画像Ｐ６の口に相当する領域内に存在する似顔絵画像Ｐ７の口に相当する領域の画素数を重なり具合として特定し、当該画素数が第１の判定値よりも多いか否かを比較判定する（ステップＳ２２）。言い換えれば、似顔絵画像Ｐ７と第２の顔構成部画像Ｐ６とで口領域の重なりがあるか否かを比較判定する。
例えば、図６（ａ）に示すように、第２の顔構成部画像Ｐ６の口領域ＰＴ１と、似顔絵画像Ｐ７の口領域ＰＴ２（例えば、エッジとして検出された画素）との位置が一致していれば、第２の顔構成部画像Ｐ６の口領域ＰＴ１の中に、似顔絵画像Ｐ７の口領域ＰＴ２の画素が数多く存在する、言い換えれば、口領域の重なりがあることになる。

ステップＳ２２にて、重なり具合として特定された画素数が第１の判定値よりも多いと判定された場合（ステップＳ２２：Ｙｅｓ）、画像判定部６ｊは、似顔絵画像Ｐ７が笑顔であるか否かを所定の判定方法に従って判定する（ステップＳ２３）。

ステップＳ２３にて、似顔絵画像Ｐ７が笑顔であると判定された場合（ステップＳ２３：Ｙｅｓ）、画像判定部６ｊは、第２の顔構成部画像Ｐ６の口中に相当する領域の画素数が第３の判定値よりも大きいか否か、即ち、口が開いているか否かを判定する（ステップＳ２４）。
なお、ここで、第３の判定値は、実際に生成される似顔絵画像（後述の着色済みの似顔絵画像Ｐ８）の結果を見て、その出来具合に応じて適宜調整されるものである。

ステップＳ２４にて、第２の顔構成部画像Ｐ６の口中に相当する領域の画素数が第３の判定値よりも大きい（口が開いている）と判定された場合（ステップＳ２４：Ｙｅｓ）、着色領域特定部６ｋは、第２の顔構成部画像Ｐ６の顔の構成部である唇及び口中に対応する似顔絵画像Ｐ７の領域を着色領域として特定する（ステップＳ２５）。そして、画像着色部６ｌは、特定された似顔絵画像Ｐ７の着色領域の唇に対応する領域を赤色に、口の中に対応する領域を白色にそれぞれ着色して（ステップＳ２６）、図４のフローチャートのステップＳ１０に戻る（リターン）。
例えば、図７（ａ）に示すように、笑顔で、且つ、口を開いた第２の顔構成部画像Ｐ６の唇の構成部に対応する似顔絵画像Ｐ７の領域を着色領域ＰＴ５として赤色に、口の中の構成部に対応する似顔絵画像Ｐ７の領域を着色領域ＰＴ６として白色にそれぞれ着色して、着色済みの似顔絵画像Ｐ８とする。

一方、ステップＳ２４にて、第２の顔構成部画像Ｐ６の口中に相当する領域の画素数が第３の判定値よりも大きくない（口が閉じている）と判定された場合（ステップＳ２４：Ｎｏ）、着色領域特定部６ｋは、第２の顔構成部画像Ｐ６の顔の構成部である唇に対応する似顔絵画像Ｐ７の領域を着色領域として特定する（ステップＳ２７）。そして、画像着色部６ｌは、特定された似顔絵画像Ｐ７の着色領域の唇に対応する領域を赤色に着色して（ステップＳ２８）、図４のフローチャートのステップＳ１０に戻る（リターン）。
例えば、図７（ｂ）に示すように、笑顔で、且つ、口を閉じた第２の顔構成部画像Ｐ６の唇の構成部に対応する似顔絵画像Ｐ７の領域を着色領域ＰＴ７として赤色に着色して、着色済みの似顔絵画像Ｐ８とする。

また、ステップＳ２３にて、似顔絵画像Ｐ７が笑顔でないと判定された場合（ステップＳ２３：Ｎｏ）、画像判定部６ｊは、第２の顔構成部画像Ｐ６の口中に相当する領域の画素数が第４の判定値よりも大きいか否か、即ち、口が大きく開いているか否かを判定する（ステップＳ２９）。

ステップＳ２９にて、第２の顔構成部画像Ｐ６の口中に相当する領域の画素数が第４の判定値よりも大きいと判定された場合（ステップＳ２９：Ｙｅｓ）、即ち、口が大きく開いている場合、着色領域特定部６ｋによる着色領域の特定（その後の画像着色部６ｌによる着色処理）を行うことなく、図４のフローチャートのステップＳ１０に戻る（リターン）。
すなわち、ステップＳ２３にて笑顔でないと判定された後、第２の顔構成部画像Ｐ６の口中に相当する領域の画素数が第４の判定値よりも大きい、具体的には、口が大きく開いていると判定されると言うことは、所謂、大きな口を開けて「あくび」等をしている場合が想定される。そこで、このような状態の第２の顔構成部画像Ｐ６の口の中を白色に着色すると、似顔絵画像Ｐ７が不自然になってしまうので、着色領域特定部６ｋによる着色領域の特定を行わないことにする。

一方、ステップＳ２９にて、第２の顔構成部画像Ｐ６の口中に相当する領域の画素数が第４の判定値よりも大きくないと判定された場合（ステップＳ２９：Ｎｏ）、画像比較部６ｉは、第２の顔構成部画像Ｐ６の口に相当する領域の画素数に対する、似顔絵画像Ｐ７の口に相当する領域の画素数の比率が第２の判定値よりも大きいか否かを判定する（ステップＳ３０）。

ステップＳ３０にて、第２の顔構成部画像Ｐ６の口領域の画素数に対する似顔絵画像Ｐ７の口領域の画素数の比率が第２の判定値よりも大きくないと判定された場合（ステップＳ３０：Ｎｏ）、画像着色部６ｌによる着色領域の特定（その後の画像着色部６ｌによる着色処理）を行うことなく、図４のフローチャートのステップＳ１０に戻る（リターン）。
すなわち、ステップＳ２３にて笑顔でないと判定されると、口領域は狭い場合が多いと考えられるが、第２の顔構成部画像Ｐ６の口の中に相当する領域の画素数に対する、似顔絵画像Ｐ７の口に相当する領域の画素数の比率が、例えば、２０％以下等の低い数値を示した場合には、似顔絵画像Ｐ７の口領域と第２の顔構成部画像Ｐ６の口領域がずれている可能性がある。そこで、安全のために、着色領域特定部６ｋによる着色領域の特定を行わないことにする。

一方、ステップＳ３０にて、第２の顔構成部画像Ｐ６の口領域の画素数に対する似顔絵画像Ｐ７の口領域の画素数の比率が第２の判定値よりも大きいと判定された場合（ステップＳ３０：Ｙｅｓ）、画像処理部６は、処理をステップＳ２４に移行して、それ以降の処理を実行する。
即ち、画像判定部６ｊは、第２の顔構成部画像Ｐ６の口中に相当する領域の画素数が第３の判定値よりも大きいか否かを判定する（ステップＳ２４）。

ステップＳ２４にて、第２の顔構成部画像Ｐ６の口中に相当する領域の画素数が第３の判定値よりも大きいと判定された場合（ステップＳ２４：Ｙｅｓ）、上記と同様に、着色領域特定部６ｋは、第２の顔構成部画像Ｐ６の唇及び口中に対応する似顔絵画像Ｐ７の領域を着色領域として特定した後（ステップＳ２５）、画像着色部６ｌは、似顔絵画像Ｐ７の着色領域の唇に対応する領域を赤色に、口の中に対応する領域を白色にそれぞれ着色して（ステップＳ２６）、図４のフローチャートのステップＳ１０に戻る（リターン）。
例えば、図８（ａ）に示すように、笑顔でなく、且つ、口を開いた第２の顔構成部画像Ｐ６の唇の構成部に対応する似顔絵画像Ｐ７の領域を着色領域ＰＴ８として赤色に、口の中の構成部に対応する似顔絵画像Ｐ７の領域を着色領域ＰＴ９として白色にそれぞれ着色して、着色済みの似顔絵画像Ｐ８とする。

一方、ステップＳ２４にて、第２の顔構成部画像Ｐ６の口中に相当する領域の画素数が第３の判定値よりも大きくないと判定された場合（ステップＳ２４：Ｎｏ）、上記と同様に、着色領域特定部６ｋは、第２の顔構成部画像Ｐ６の唇に対応する似顔絵画像Ｐ７の領域を着色領域として特定した後（ステップＳ２７）、画像着色部６ｌは、似顔絵画像Ｐ７の着色領域の唇に対応する領域を赤色に着色して（ステップＳ２８）、図４のフローチャートのステップＳ１０に戻る（リターン）。
例えば、図８（ｂ）に示すように、笑顔でなく、且つ、口を閉じた第２の顔構成部画像Ｐ６の唇の構成部に対応する似顔絵画像Ｐ７の領域を着色領域ＰＴ１０として赤色に着色して、着色済みの似顔絵画像Ｐ８とする。

一方、ステップＳ２２にて、重なり具合として特定された画素数が第１の判定値よりも多くないと判定された場合（ステップＳ２２：Ｎｏ）、着色領域特定部６ｋによる着色領域の特定（その後の画像着色部６ｌによる着色処理）を行うことなく、図４のフローチャートのステップＳ１０に戻る（リターン）。
例えば、図６（ｂ）に示すように、第２の顔構成部画像Ｐ６の口領域ＰＴ３と、似顔絵画像Ｐ７の口領域ＰＴ４（例えば、エッジとして検出された画素）との位置が一致していなければ、第２の顔構成部画像Ｐ６の口領域ＰＴ３の中に、似顔絵画像Ｐ７の口領域ＰＴ４の画素が存在しないし、或いは、画素の数が少ないことになる。
このような状態で、似顔絵画像Ｐ７の着色処理（例えば、第２の顔構成部画像Ｐ６の唇に対応する部分を赤色で着色）を行うと、似顔絵画像Ｐ７は、図９（ａ）に示すように、似顔絵画像Ｐ７の口領域ＰＴ１１の上方、具体的には、似顔絵画像Ｐ７の口と鼻の間が赤色に着色されてしまい、不自然な似顔絵になる。そこで、着色領域特定部６ｋによる着色領域の特定を行うことなく、図９（ｂ）に示すような、より自然な似顔絵画像Ｐ７とする。

その後、図４に戻って、画像記録部５は、画像比較部６ｉの比較結果や画像判定部６ｊの判定結果に基づき画像着色部６ｌによって着色済の似顔絵画像Ｐ８、或いは、画像着色部６ｌによって着色されなかった似顔絵画像Ｐ７の画像データ（ＹＵＶデータ）を取得して記録する（ステップＳ１０）。
これにより、似顔絵画像生成処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、元画像に対して互いに異なる処理が施されることで生成された当該元画像内の顔の主要な構成部に係る第１顔構成部画像Ｐ４及び第２の顔構成部画像Ｐ６を比較し、当該比較結果に基づいて、第１の顔構成部画像Ｐ４における顔の主要な構成部に対応する着色領域を特定するので、第１の顔構成部画像Ｐ４のみを用いて着色領域を特定する場合に比べて、着色領域の特定精度を向上させることができる。
即ち、異なる処理により生成された第１顔構成部画像Ｐ４及び第２の顔構成部画像Ｐ６を比較することで、一の構成部の認識に対して画像情報の異なる二つの画像を用いることができ、第１の顔構成部画像Ｐ４のみを用いる場合に比べて構成部の誤認識を抑制することができることとなって、当該構成部に対応する着色領域の特定を精度良く行うことができる。

また、元画像に対してエッジ検出処理が施されることで生成された第１の顔構成部画像Ｐ４や、元画像に対して微細部抽出処理が施されることで生成された第２の顔構成部画像Ｐ６を用いることで、画像情報の異なる画像どうしを比較することができ、着色領域の特定精度を向上させることができる。

また、元画像が笑顔であるか否か判定し、当該判定結果に基づき第１の顔構成部画像Ｐ４の着色領域を特定したり、第２の顔構成部画像Ｐ６における口中に相当する領域の面積が、所定の判定値よりも大きいか否かを判定し、当該判定結果に基づき第１の顔構成部画像Ｐ４の着色領域を特定するので、着色領域を特定するための条件付けを細かく設定することができ、着色領域の特定精度を向上させることができる。

また、特定された着色領域を着色する画像着色部６ｌを備えているので、例えば、構成部としての目、鼻、唇、口中、眉のうちの少なくとも一つに対応する着色領域を着色することができる。即ち、精度良く特定された着色領域を着色することができることとなって、構成部の本来の位置に対して着色された領域が大きくずれたような不自然な着色を抑制することができる。
具体的には、特定された着色領域を着色するとともに、第１の顔構成部画像Ｐ４を用いて似顔絵画像Ｐ７を生成することができる。より具体的には、元画像内の顔の特徴情報に対応する顔輪郭画像と第１の顔構成部画像Ｐ４とを用いて似顔絵画像Ｐ７を生成し、当該似顔絵画像Ｐ７における、特定された着色領域を着色するので、似顔絵画像Ｐ７における構成部の本来の位置に対応する領域が着色されたより自然な似顔絵画像Ｐ８を生成することができる。

また、第１の顔構成部画像Ｐ４及び第２の顔構成部画像Ｐ６の構成部に相当する領域どうしを重ね合わせて比較し、当該比較の結果、構成部に相当する領域どうしの重なり具合が所定値よりも少ない場合には、着色領域を特定しないので、着色領域を特定するための条件付けを細かく設定することができ、精度の悪い着色領域の特定を防止することができることとなって、この結果、構成部の本来の位置に対して着色された領域が大きくずれたような不自然な着色を抑制することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、第１及び第２の顔構成部画像の生成後に特徴情報（顔の輪郭の形状等）の抽出を行うようにしたが、これらの処理の順序は一例であってこれに限られるものではなく、順序を逆、即ち、特徴情報の抽出処理後に第１及び第２の顔構成部画像の生成処理を行うようにしても良い。

また、顔検出部６ｂにより検出された顔領域Ｆ１から第１及び第２の顔構成部画像を生成するようにしたが、顔検出処理を施す顔検出部６ｂを具備するか否かは適宜任意に変更可能である。
さらに、第１及び第２の顔構成部画像の生成元となる画像は、正面顔を表した画像Ｐ３である必要はなく、例えば、斜めを向くように顔が傾いた画像の場合には、当該顔が正面を向くように変形させた画像を生成して、生成元として用いても良い。

また、髪型画像Ｐ１及び顔輪郭画像Ｐ２を記録する画像記録部５を備える構成としたが、これに限られず、例えば、当該装置本体と所定の通信ネットワークを介して接続可能な所定のサーバに髪型画像Ｐ１及び顔輪郭画像Ｐ２を記録しておく構成とし、図示しない通信処理部から通信ネットワークを介して所定のサーバにアクセスして、画像取得部６ａは、当該サーバから髪型画像Ｐ１及び顔輪郭画像Ｐ２を取得する構成としても良い。

また、上記実施形態では、髪型画像Ｐ１及び顔輪郭画像Ｐ２に、第１の顔構成部画像Ｐ４の目、鼻、口、眉等の各顔構成部のパーツ画像を重畳させて似顔絵画像Ｐ７を生成するようにしたが、一例であってこれに限られるものではない。

また、上記実施形態では、一例として、画像比較部６ｉの比較結果や画像判定部６ｊの判定結果に基づき、着色領域特定部６ｋが、第２の顔構成部画像Ｐ６の唇に対応する領域を着色領域と特定し、画像着色部６ｌが似顔絵画像Ｐ７の着色領域（例えば、唇や口の中）を着色することに関して説明しているが、勿論、比較結果等に基づき、着色領域特定部６ｋが、第２の顔構成部画像Ｐ６の他の構成部に対応する領域を着色領域と特定し、画像着色部６ｌが、似顔絵画像Ｐ７の着色領域（例えば、目、鼻、眉等）を着色するものであっても構わない。

さらに、画像着色部６ｌは、画像比較部６ｉの比較結果等に基づき、似顔絵画像生成部６ｈにより生成された似顔絵画像Ｐ７と重ね合わされた第２の顔構成部画像Ｐ６の顔の構成部を着色し、着色された第２の顔構成部画像Ｐ６の顔の構成部を似顔絵画像Ｐ７と合成して着色された似顔絵画像Ｐ８を生成しても構わない。
即ち、画像着色部６ｌは、画像比較部６ｉの比較結果等に基づき、似顔絵画像Ｐ７と重ね合わされている第２の顔構成部画像Ｐ６の顔の構成部である唇や口の中を着色し、着色された第２の顔構成部画像Ｐ６の顔の構成部を似顔絵画像Ｐ７と合成して着色された似顔絵画像Ｐ８を生成する。
この場合、着色された第２の顔構成部画像Ｐ６の顔の構成部を半透明にして最前面の層に合成して、似顔絵画像Ｐ７を構成する第１の顔構成部画像Ｐ４のエッジとして検出された画素が視認できようにすることが好ましい。或いは、似顔絵画像Ｐ７を構成する第１の顔構成部画像Ｐ４のエッジとして検出された画素を、最前面の層にして、着色された第２の顔構成部画像Ｐ６の顔の構成部の上に検出された画素が視認できように合成されることが好ましい。

また、上記実施形態では、説明の簡単のために、髪型画像Ｐ１と顔輪郭画像Ｐ２とを別々に取り扱って説明しているが、髪形画像Ｐ１と顔輪郭画像Ｐ２が一体となった画像を、顔輪郭画像Ｐ２として取り扱っても構わない。
すなわち、髪の輪郭を表すと共に、顔の形状に対応した顔輪郭画像Ｐ２を用いることも可能である。また、勿論、顔輪郭画像Ｐ２が、顔の輪郭のみであって、髪型の輪郭を含まないものでも構わない。

また、上記実施形態では、説明の簡単のために、第１生成手段として、第１構成部画像生成部６ｃと、第２構成部画像生成部６ｄとを別々に取り扱って説明しているが、勿論、一つの構成部画像生成部（例えば、第１構成部画像生成部６ｃ）によって、異なる処理（例えば、エッジ検出処理及びＡＡＭ）により、第１及び第２の顔構成部画像をそれぞれ生成するものであっても構わない。

また、上記実施形態の画像着色処理では、ステップＳ２２において、第２の顔構成部画像Ｐ６の口に相当する領域内に存在する似顔絵画像Ｐ７の口に相当する領域の画素数が第１の判定値よりも多いか否かを比較判定しているので、必要に応じて、ステップＳ３０の処理を省略しても構わない。

また、上記実施形態では、一例として、画像比較部６ｉの比較結果や画像判定部６ｊの判定結果に基づき、着色領域特定部６ｋが、第２の顔構成部画像Ｐ６の唇に対応する似顔絵画像Ｐ７の領域を着色領域と特定し、画像着色部６ｌが似顔絵画像Ｐ７の着色領域（例えば、唇や口の中）を着色することに関して説明しているが、勿論、画像生成部６ｈにより似顔絵画像Ｐ７を生成する前に、画像比較部６ｉにより第１の顔構成部画像Ｐ４と第２の顔構成部画像Ｐ６とを比較等し、当該比較結果等に基づいて、着色領域特定部６ｋが、第２の顔構成部画像Ｐ６の唇に対応する第１の顔構成部画像Ｐ４の領域を着色領域と特定し、画像着色部６ｌにより第１の顔構成部画像Ｐ４の着色領域（例えば、唇や口の中）を着色しておいてから、似顔絵画像Ｐ７を生成するものであっても構わない。

さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。また、画像処理装置として、撮像装置１００を例示したが、これに限られるものではなく、本発明に係る画像処理を実行可能なものであれば如何なる構成であっても良い。

加えて、上記実施形態にあっては、第１取得手段、第１生成手段、比較手段、特定手段としての機能を、中央制御部１０の制御下にて、画像取得部６ａ、第１構成部画像生成部６ｃ、画像比較部６ｉ、着色領域特定部６ｋが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、第１取得処理ルーチン、第１生成処理ルーチン、比較処理ルーチン、特定処理ルーチンを含むプログラムを記憶しておく。そして、第１取得処理ルーチンにより中央制御部１０のＣＰＵを、画像を取得する手段として機能させるようにしても良い。また、第１生成処理ルーチンにより中央制御部１０のＣＰＵを、取得された画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第１及び第２の顔構成部画像をそれぞれ生成する手段として機能させるようにしても良い。また、比較処理ルーチンにより中央制御部１０のＣＰＵを、生成された第１の顔構成部画像と第２の顔構成部画像とを比較する手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部１０のＣＰＵを、比較結果に基づいて、前記第１の顔構成部画像における前記構成部に対応する着色領域を特定する手段として機能させるようにしても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、読み出し専用型ＤＶＤ（Digital Versatile Disc）及び書き込み可能型ＤＶＤ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
画像を取得する第１取得手段と、
前記第１取得手段により取得された画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第１及び第２の顔構成部画像をそれぞれ生成する第１生成手段と、
前記第１生成手段により生成された前記第１の顔構成部画像と前記第２の顔構成部画像とを比較する比較手段と、
前記比較手段の比較結果に基づいて、前記第１の顔構成部画像における前記構成部に対応する着色領域を特定する特定手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記第１生成手段は、前記第１取得手段により取得された画像に対してエッジ検出処理を施して、前記第１の顔構成部画像を生成することを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記第１生成手段は、前記第１取得手段により取得された画像に対して微細部抽出処理を施して、前記第２の顔構成部画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
＜請求項４＞
前記画像内の顔が笑顔であるか否か判定する第１判定手段を更に備え、
前記特定手段は、更に前記第１判定手段の判定結果に基づいて、前記着色領域を特定することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
＜請求項５＞
前記第２の顔構成部画像における口中に相当する領域の面積が、所定の判定値よりも大きいか否かを判定する第２判定手段を更に備え、
前記特定手段は、更に前記第２判定手段の判定結果に基づいて、前記着色領域を特定することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
＜請求項６＞
前記特定手段により特定された前記着色領域を着色する着色手段を更に備えることを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
＜請求項７＞
前記着色手段は、目、鼻、唇、口中、眉のうちの少なくとも一つに対応する前記着色領域を着色することを特徴とする請求項６に記載の画像処理装置。
＜請求項８＞
前記第１取得手段により取得された画像内の顔の特徴情報に対応する顔輪郭画像を取得する第２取得手段と、
前記第２取得手段より取得された顔輪郭画像と前記第１の顔構成部画像とを用いて似顔絵画像を生成する第２生成手段と、を更に備え、
前記着色手段は、
前記第２生成手段により生成された似顔絵画像における、前記特定手段により特定された前記着色領域を着色することを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
＜請求項９＞
前記比較手段は、前記第１の顔構成部画像及び前記第２の顔構成部画像の前記構成部に相当する領域どうしを重ね合わせて比較し、
前記特定手段は、前記比較手段による比較の結果、前記構成部に相当する領域どうしの重なり具合が所定値よりも少ない場合には、前記着色領域を特定しないことを特徴とする請求項１〜８の何れか一項に記載の画像処理装置。
＜請求項１０＞
顔を含む画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第１及び第２の顔構成部画像をそれぞれ生成する処理と、
生成された前記第１の顔構成部画像と前記第２の顔構成部画像とを比較する処理と、
比較結果に基づいて、前記第１の顔構成部画像における前記構成部に対応する着色領域を特定する処理と、
を含むことを特徴とする画像処理方法。
＜請求項１１＞
顔を含む画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第１及び第２の顔構成部画像をそれぞれ生成する処理と、
生成された前記第１の顔構成部画像と前記第２の顔構成部画像とを比較する処理と、
比較結果に基づいて、前記第１の顔構成部画像における前記構成部に対応する着色領域を特定する処理と、
特定された前記着色領域を着色するとともに、前記第１の顔構成部画像を用いて似顔絵画像を生成する処理と、
を含むことを特徴とする画像生成方法。
＜請求項１２＞
画像処理装置のコンピュータを、
顔を含む画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第１及び第２の顔構成部画像をそれぞれ生成する第１生成手段、
前記第１生成手段により生成された前記第１の顔構成部画像と前記第２の顔構成部画像とを比較する比較手段、
前記比較手段の比較結果に基づいて、前記第１の顔構成部画像における前記構成部に対応する着色領域を特定する特定手段、
として機能させることを特徴とするプログラム。

１００ 撮像装置
１ 撮像部
５ 画像記録部
６ 画像処理部
６ａ 画像取得部
６ｂ 顔検出部
６ｃ 第１構成部画像生成部
６ｄ 第２構成部画像生成部
６ｅ 特徴情報抽出部
６ｆ 髪型画像特定部
６ｇ 顔輪郭画像特定部
６ｈ 似顔絵画像生成部
６ｉ 画像比較部
６ｊ 画像判定部
６ｋ 着色領域特定部
６ｌ 画像着色部
１０ 中央制御部

Claims (12)

1. 画像を取得する第１取得手段と、
   前記第１取得手段により取得された画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第１及び第２の顔構成部画像をそれぞれ生成する第１生成手段と、
   前記第１生成手段により生成された前記第１の顔構成部画像と前記第２の顔構成部画像の前記構成部に相当する領域どうしを重ね合わせて、前記第１の顔構成部画像における前記構成部に相当する領域と前記第１の顔構成部画像における前記構成部に相当する領域とを比較する比較手段と、
   前記比較手段の前記比較の結果、前記第１及び第２の顔構成部画像における前記構成部に相当する領域どうしの重なりの量が所定値よりも多い場合に基づいて、前記第１の顔構成部画像における前記構成部に対応する着色領域を特定する特定手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記第１生成手段は、前記第１取得手段により取得された画像に対してエッジ検出処理を施して、前記第１の顔構成部画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１生成手段は、前記第１取得手段により取得された画像に対して微細部抽出処理を施して、前記第２の顔構成部画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像内の顔が笑顔であるか否か判定する第１判定手段を更に備え、
   前記特定手段は、更に前記第１判定手段の判定結果に基づいて、前記着色領域を特定することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記第２の顔構成部画像における口中に相当する領域の面積が、所定の判定値よりも大きいか否かを判定する第２判定手段を更に備え、
   前記特定手段は、更に前記第２判定手段の判定結果に基づいて、前記着色領域を特定することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
6. 前記特定手段により特定された前記着色領域を着色する着色手段を更に備えることを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
7. 前記着色手段は、目、鼻、唇、口中、眉のうちの少なくとも一つに対応する前記着色領域を着色することを特徴とする請求項６に記載の画像処理装置。
8. 前記第１取得手段により取得された画像内の顔の特徴情報に対応する顔輪郭画像を取得する第２取得手段と、
   前記第２取得手段より取得された顔輪郭画像と前記第１の顔構成部画像とを用いて似顔絵画像を生成する第２生成手段と、を更に備え、
   前記着色手段は、
   前記第２生成手段により生成された似顔絵画像における、前記特定手段により特定された前記着色領域を着色することを特徴とする請求項６又は７に記載の画像処理装置。
9. 前記特定手段は、前記比較手段の前記比較の結果、前記構成部に相当する領域どうしの重なりの量が前記所定値よりも少ない場合には、前記着色領域を特定しないことを特徴とする請求項１〜８の何れか一項に記載の画像処理装置。
10. 顔を含む画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第１及び第２の顔構成部画像をそれぞれ生成する処理と、
    生成された前記第１の顔構成部画像と前記第２の顔構成部画像の前記構成部に相当する領域どうしを重ね合わせて、前記第１の顔構成部画像における前記構成部に相当する領域と前記第１の顔構成部画像における前記構成部に相当する領域とを比較する処理と、
    前記比較の結果、前記第１及び第２の顔構成部画像における前記構成部に相当する領域どうしの重なりの量が所定値よりも多い場合に前記第１の顔構成部画像における前記構成部に対応する着色領域を特定する処理と、
    を含むことを特徴とする画像処理方法。
11. 顔を含む画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第１及び第２の顔構成部画像をそれぞれ生成する処理と、
    生成された前記第１の顔構成部画像と前記第２の顔構成部画像の前記構成部に相当する領域どうしを重ね合わせて、前記第１の顔構成部画像における前記構成部に相当する領域と前記第１の顔構成部画像における前記構成部に相当する領域とを比較する処理と、
    前記比較の結果、前記第１及び第２の顔構成部画像における前記構成部に相当する領域どうしの重なりの量が所定値よりも多い場合に、前記第１の顔構成部画像における前記構成部に対応する着色領域を特定する処理と、
    特定された前記着色領域を着色するとともに、前記第１の顔構成部画像を用いて似顔絵画像を生成する処理と、
    を含むことを特徴とする画像生成方法。
12. 画像処理装置のコンピュータを、
    顔を含む画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第１及び第２の顔構成部画像をそれぞれ生成する第１生成手段、
    前記第１生成手段により生成された前記第１の顔構成部画像と前記第２の顔構成部画像の前記構成部に相当する領域どうしを重ね合わせて、前記第１の顔構成部画像における前記構成部に相当する領域と前記第１の顔構成部画像における前記構成部に相当する領域とを比較する比較手段、
    前記比較手段の前記比較の結果、前記第１及び第２の顔構成部画像における前記構成部に相当する領域どうしの重なりの量が所定値よりも多い場合に、前記第１の顔構成部画像における前記構成部に対応する着色領域を特定する特定手段、
    として機能させることを特徴とするプログラム。