JP5927972B2 - 画像生成装置、画像生成方法及びプログラム - Google Patents

Description

本発明は、画像生成装置、画像生成方法及びプログラムに関する。

従来、目、鼻、口、耳、顔輪郭等の顔部品の特徴点を用いて似顔絵、例えば、特定の感情をあらわす表情の似顔絵を作成する似顔絵作成装置が知られている（例えば、特許文献１参照）。具体的には、この似顔絵作成装置は、顔部品の特徴点の位置を基準として特定の感情に対応するシワを描画するようになっている。

特開２００４−１４５６２５号公報

ところで、上記のように、より豊かな表現の似顔絵を作成する際には顔のシワなどの微細な構造を表現するのが好ましいが、上記特許文献１の場合、実際の顔に表れているシワとは異なる位置にシワが設定されて本人とは異なる似顔絵が作成されてしまう虞がある。
また、顔のシワなどの微細な構造は年齢や個性によって変化に富み、目や鼻といった顔の主要な構成と同様に一律的に特定することは困難である。

そこで、本発明の課題は、顔の主要な構成部以外の微細な構造を考慮したより豊かな表現の画像を簡便に生成することができる画像生成装置、画像生成方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る画像生成装置は、
画像を取得する取得手段と、前記取得手段により取得された画像の顔が含まれる顔領域に対して輪郭抽出処理を施して、顔の主要な構成部の輪郭を表した顔構成部画像を生成する第１生成手段と、前記第１生成手段により生成された前記顔構成部画像から前記構成部の輪郭を含む、前記構成部に係る顔構成部情報を抽出する第１抽出手段と、前記画像の前記顔領域に対して微細部抽出処理を施して、前記構成部及び前記構成部以外の特徴的な微細部を表した顔微細部画像を生成する第２生成手段と、前記第２生成手段により生成された前記顔微細部画像から前記微細部を表す線を含む顔微細部情報を抽出する第２抽出手段と、前記第１抽出手段により抽出された前記顔構成部情報を前記第２抽出手段により抽出された前記顔微細部情報に重ねて、前記顔領域の特徴的な部分を表した特徴抽出画像を生成する画像生成手段と、を備えたことを特徴としている。

また、本発明に係る画像生成方法は、
画像生成装置を用いた画像生成方法であって、画像を取得する処理と、前記取得された画像の顔が含まれる顔領域に対して輪郭抽出処理を施して、顔の主要な構成部の輪郭を表した顔構成部画像を生成する処理と、前記顔構成部画像から前記構成部の輪郭を含む、前記構成部に係る顔構成部情報を抽出する処理と、前記画像の前記顔領域に対して微細部抽出処理を施して、前記構成部及び前記構成部以外の特徴的な微細部を表した顔微細部画像を生成する処理と、前記顔微細部画像から前記微細部を表す線を含む顔微細部情報を抽出する処理と、前記顔構成部情報を前記顔微細部情報に重ねて、前記顔領域の特徴的な部分を表した特徴抽出画像を生成する処理と、を含むことを特徴としている。

また、本発明に係るプログラムは、
画像生成装置のコンピュータを、画像を取得する取得手段、前記取得手段により取得された画像の顔が含まれる顔領域に対して輪郭抽出処理を施して、顔の主要な構成部の輪郭を表した顔構成部画像を生成する第１生成手段、前記第１生成手段により生成された前記顔構成部画像から前記構成部の輪郭を含む、前記構成部に係る顔構成部情報を抽出する第１抽出手段、前記画像の前記顔領域に対して微細部抽出処理を施して、前記構成部及び前記構成部以外の特徴的な微細部を表した顔微細部画像を生成する第２生成手段、前記第２生成手段により生成された前記顔微細部画像から前記微細部を表す線を含む顔微細部情報を抽出する第２抽出手段、前記第１抽出手段により抽出された前記顔構成部情報を前記第２抽出手段により抽出された前記顔微細部情報に重ねて、前記顔領域の特徴的な部分を表した特徴抽出画像を生成する画像生成手段、として機能させることを特徴としている。

本発明によれば、顔の主要な構成部以外の微細な構造を考慮したより豊かな表現の画像を簡便に生成することができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による画像生成処理に係る動作の一例を示すフローチャートである。 図２の画像生成処理に係る画像の一例を模式的に示す図である。 図２の画像生成処理に係る画像の一例を模式的に示す図である。 図２の画像生成処理に係る画像の一例を模式的に示す図である。 図２の画像生成処理に係る画像の一例を模式的に示す図である。 画像生成処理の変形例に係る画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の撮像装置１００は、具体的には、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像処理部５と、表示制御部６と、表示部７と、記録媒体制御部８と、操作入力部９と、中央制御部１０とを備えている。
また、撮像部１、撮像制御部２、画像データ生成部３、メモリ４、画像処理部５、表示制御部６、記録媒体制御部８及び中央制御部１０は、バスライン１１を介して接続されている。

撮像部１は、撮像手段として、所定の被写体を撮像してフレーム画像を生成する。
具体的には、撮像部１は、レンズ部１ａと、電子撮像部１ｂと、レンズ駆動部１ｃとを備えている。

レンズ部１ａは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ（撮像素子）から構成されている。そして、電子撮像部１ｂは、レンズ部１ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
レンズ駆動部１ｃは、例えば、図示は省略するが、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えている。
なお、撮像部１は、レンズ部１ａ、電子撮像部１ｂ及びレンズ駆動部１ｃに加えて、レンズ部１ａを通過する光の量を調整する絞り（図示略）を備えても良い。

撮像制御部２は、撮像部１による被写体の撮像を制御する。即ち、撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部１ｂを走査駆動して、レンズを通過した光学像を電子撮像部１ｂにより所定周期毎に二次元の画像信号に変換させ、当該電子撮像部１ｂの撮像領域から１画面分ずつフレーム画像を読み出して画像データ生成部３に出力させる。

なお、撮像制御部２は、レンズ部１ａのフォーカスレンズに代えて、電子撮像部１ｂを光軸方向に移動させてレンズ部１ａの合焦位置を調整するようにしても良い。
また、撮像制御部２は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行っても良い。

画像データ生成部３は、電子撮像部１ｂから転送されたフレーム画像のアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。

メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像処理部５や中央制御部１０等によって処理されるデータ等を一時的に格納する。

画像処理部５は、画像取得部５ａと、顔検出部５ｂと、構成部画像生成部５ｃと、構成部抽出部５ｄと、微細部画像生成部５ｅと、微細部抽出部５ｆと、特徴抽出画像生成部５ｇとを具備している。
なお、画像処理部５の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

画像取得部５ａは、画像生成処理の処理対象となる画像を取得する。
即ち、画像取得部５ａは、取得手段として、画像（例えば、写真画像等）Ｐ１の画像データを取得する。具体的には、画像取得部５ａは、撮像部１及び撮像制御部２による被写体の撮像によって画像データ生成部３により生成された画像Ｐ１の画像データ（ＹＵＶデータ）の複製をメモリ４から取得したり、記録媒体Ｍに記録されている画像Ｐ１の画像データ（ＹＵＶデータ）の複製を記録媒体制御部８により読み出して取得する（図３（ａ）参照）。

顔検出部５ｂは、処理対象となる画像Ｐ１から顔領域Ａ（図３（ｂ）参照）を検出する。
即ち、顔検出部５ｂは、顔検出手段として、画像取得部５ａにより取得された画像Ｐ１から顔が含まれる顔領域Ａを検出する。具体的には、顔検出部５ｂは、画像取得部５ａにより画像生成処理の処理対象の画像として取得された画像Ｐ１の画像データ（ＹＵＶデータ）を取得して、当該画像データに対して所定の顔検出処理を行って顔領域Ａを検出する。
そして、顔検出部５ｂは、検出された顔領域Ａの縁部に重畳して顔領域枠Ｗを設定する（図３（ｂ）参照）。
なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。

構成部画像生成部５ｃは、顔の主要な顔構成部の輪郭を表した顔構成部画像Ｐａ（図４（ａ）参照）を生成する。
即ち、構成部画像生成部５ｃは、第１生成手段として、画像取得部５ａにより取得された画像Ｐ１の顔領域Ａに対して輪郭抽出処理を施して、例えば、目、鼻、口、眉、髪の毛、顔輪郭等の顔構成部の輪郭を表した顔構成部画像Ｐａを生成する。また、構成部画像生成部５ｃは、顔検出部５ｂにより画像Ｐ１の画像データから検出された顔領域Ａに対して輪郭抽出処理を施す。
具体的には、構成部画像生成部５ｃは、輪郭抽出処理として、例えば、ＡＡＭ（Active Appearance Model）を用いた処理を行い、顔構成部の輪郭形状を線で表した顔構成部画像Ｐａを生成する（図４（ａ）参照）。
ここで、ＡＡＭとは、視覚的事象のモデル化の一手法であり、任意の顔領域Ａの画像のモデル化を行う。例えば、構成部画像生成部５ｃは、複数のサンプル顔画像における所定の特徴部位（例えば、目じりや鼻頭やフェイスライン等）の位置や画素値（例えば、輝度値）の統計的分析結果を所定の登録手段に登録しておく。そして、構成部画像生成部５ｃは、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔領域Ａの画像をモデル化する。これにより、構成部画像生成部５ｃは、画像Ｐ１の顔領域Ａ内の主要な顔構成部の輪郭形状が線で描画された顔構成部画像Ｐａを生成する。

なお、輪郭抽出処理として、ＡＡＭを用いた処理を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

構成部抽出部５ｄは、画像Ｐ１の顔領域Ａから顔構成部に係る顔構成部情報Ｄａを抽出する。
即ち、構成部抽出部５ｄは、第１抽出手段として、画像取得部５ａにより取得された画像Ｐ１の顔領域Ａから顔の主要な顔構成部に係る顔構成部情報Ｄａを抽出する。具体的には、構成部抽出部５ｄは、顔検出部５ｂにより画像Ｐ１の画像データから検出された顔領域Ａから顔構成部情報Ｄａを抽出する。例えば、構成部抽出部５ｄは、画像Ｐ１の顔領域Ａに対して構成部画像生成部５ｃにより施された輪郭抽出処理によって生成された顔構成部画像Ｐａから、目、鼻、口、眉等の各顔構成部に係る顔構成部情報Ｄａを取得する（図４（ｂ）参照）。
ここで、顔構成部情報Ｄａには、例えば、各顔構成部のパーツ画像Ｍａ、当該各パーツ画像Ｍａの輪郭形状、パーツ画像ＭａのＸＹ平面空間での座標位置や大きさや色等の各種の情報が含まれる。なお、パーツ画像Ｍａの座標位置は、当該パーツ画像Ｍａに対応する各顔構成部の画像Ｐ１における位置を用いるものとする。

微細部画像生成部５ｅは、特徴的な顔微細部を表した顔微細部画像Ｐｂ（図５（ａ）を生成する。
即ち、微細部画像生成部５ｅは、第２生成手段として、画像取得部５ａにより取得された画像Ｐ１に対して微細部抽出処理を施して、例えば、目、鼻、口、眉等の顔構成部とシワ等の特徴的な顔微細部とを線で表した顔微細部画像Ｐｂを生成する。また、微細部画像生成部５ｅは、顔検出部５ｂにより画像Ｐ１の画像データから検出された顔領域Ａに対して微細部抽出処理を施すようにしても良い。
具体的には、微細部画像生成部５ｅは、微細部抽出処理として、例えば、エッジ抽出処理や非等方拡散処理を行い、顔微細部を線で表した顔微細部画像Ｐｂを生成する（図５（ａ）参照）。例えば、微細部画像生成部５ｅは、画像Ｐ１の画像データ（ＹＵＶデータ）に対して所定の微分フィルタ（例えば、ハイパスフィルタ等）を用いて微分演算を行って、輝度値や色や濃度に急峻な変化があるところをエッジとして検出するエッジ検出処理を行う。また、例えば、微細部画像生成部５ｅは、画像Ｐ１の画像データ（ＹＵＶデータ）に対して所定の非等方拡散フィルタを用いて、線状のエッジの接線方向とエッジの垂直方向とで重みを異ならせて平滑化する非等方拡散処理を行う。これにより、微細部画像生成部５ｅは、画像Ｐ１の特徴的な各顔微細部が線で描画された顔微細部画像Ｐｂを生成する。

なお、微細部抽出処理として、エッジ抽出処理や非等方拡散処理を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
また、最終的に微細部抽出処理と上記の輪郭抽出処理によって出力された画像を使用して後述する似顔絵画像を生成するため、出力される画像の筆跡や質感を表現するためのタッチやテクスチャの細かさ（粗さ）等を揃えて画像を出力するようにしてもよい。

微細部抽出部５ｆは、画像Ｐ１の顔領域Ａから顔微細部に係る顔微細部情報Ｄｂを抽出する（図５（ｃ）参照）。
即ち、微細部抽出部５ｆは、第２抽出手段として、画像取得部５ａにより取得された画像Ｐ１の顔領域Ａから顔構成部以外の特徴的な微細部に係る顔微細部情報Ｄｂを抽出する。具体的には、微細部抽出部５ｆは、顔検出部５ｂにより画像Ｐ１の画像データから検出された顔領域Ａから顔微細部情報Ｄｂを抽出する。例えば、微細部抽出部５ｆは、先ず、画像Ｐ１の顔領域Ａに対して微細部画像生成部５ｅにより施された微細部抽出処理によって生成された顔微細部画像Ｐｂ内で、構成部抽出部５ｄにより抽出された顔構成部情報Ｄａに係る目、鼻、口、眉等の各顔構成部のパーツ画像Ｍａの座標位置に基づいて、当該各顔構成部のパーツ画像Ｍａに対応する部分Ｍａｂを特定する（図５（ｂ）参照）。次に、微細部抽出部５ｆは、顔微細部画像Ｐｂから顔構成部のパーツ画像Ｍａに対応する部分Ｍａｂを消去した画像、即ち、シワや髪型や顔輪郭等の特徴的な顔微細部を線で描画したベース画像Ｍｂを生成し、顔微細部情報Ｄｂとして取得する（図５（ｃ）参照）。

特徴抽出画像生成部５ｇは、特徴抽出画像Ｐ２（図６参照）を生成する。
即ち、特徴抽出画像生成部５ｇは、画像生成手段として、構成部抽出部５ｄにより抽出された顔構成部情報Ｄａと微細部抽出部５ｆにより抽出された顔微細部情報Ｄｂとに基づいて、画像Ｐ１の顔領域Ａの特徴的な部分を抽出して表した特徴抽出画像Ｐ２を生成する。また、特徴抽出画像生成部５ｇは、画像Ｐ１の顔領域Ａを似顔絵で表した似顔絵画像を特徴抽出画像Ｐ２として生成する。具体的には、特徴抽出画像生成部５ｇは、顔微細部情報Ｄｂとしての、シワや髪型や顔輪郭等の特徴的な顔微細部を線で描画したベース画像Ｍｂ（図５（ｃ）参照）内で、顔構成部情報Ｄａに基づいて、目、鼻、口、眉等の各顔構成部のパーツ画像Ｍａを重畳させる位置を特定し、当該位置に各顔構成部のパーツ画像Ｍａを重畳させて、画像Ｐ１を似顔絵で表した似顔絵画像（特徴抽出画像Ｐ２）の画像データを生成する（図６参照）。
なお、特徴抽出画像生成部５ｇは、特徴抽出画像Ｐ２の所定の部分（例えば、目、口、眉等の顔構成部等）に所定の色を付けて表した画像を生成しても良い。

表示制御部６は、メモリ４に一時的に格納されている表示用の画像データを読み出して表示部７に表示させる制御を行う。
具体的には、表示制御部６は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１０の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に格納されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部７に出力する。

表示部７は、例えば、液晶表示パネルであり、表示制御部６からのビデオ信号に基づいて電子撮像部１ｂにより撮像された画像などを表示画面に表示する。具体的には、表示部７は、静止画撮像モードや動画撮像モードにて、撮像部１及び撮像制御部２による被写体の撮像により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部７は、静止画として記録される画像（レックビュー画像）を表示したり、動画として記録中の画像を表示する。

記録媒体制御部８は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。
即ち、記録媒体制御部８は、画像処理部５の符号化部（図示略）により所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化された記録用の画像データを記録媒体Ｍに記録させる。
なお、記録媒体Ｍは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等（何れも図示略）の操作部を備え、当該操作部の各ボタンの操作に応じて所定の操作信号を中央制御部１０に出力する。

中央制御部１０は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１０は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

次に、撮像装置１００による画像生成処理について、図２〜図６を参照して説明する。
図２は、画像生成処理に係る動作の一例を示すフローチャートである。

画像生成処理は、ユーザによる操作入力部９の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から似顔絵画像生成モードが選択指示された場合に、中央制御部１０の制御下にて当該撮像装置１００の各部、特に画像処理部５により実行される処理である。
また、画像生成処理の処理対象となる画像Ｐ１の画像データが記録媒体Ｍに記録されているものとする。

図２に示すように、先ず、記録媒体制御部８は、記録媒体Ｍに記録されている画像データの中で、ユーザによる操作入力部９の所定操作に基づいて指定された一の画像Ｐ１（図３（ａ）参照）の画像データ（ＹＵＶデータ）を記録媒体Ｍから読み出し、画像処理部５の画像取得部５ａは、記録媒体制御部８により読み出された画像データを当該画像生成処理の処理対象として取得する（ステップＳ１）。

次に、顔検出部５ｂは、画像生成処理の処理対象の画像として画像取得部５ａにより取得された画像Ｐ１の画像データ（ＹＵＶデータ）に対して所定の顔検出処理を行って顔領域Ａを検出する（ステップＳ２）。また、顔検出部５ｂは、検出された顔領域Ａの縁部に顔領域枠Ｗを設定する（図３（ｂ）参照）。

続けて、構成部画像生成部５ｃは、顔検出部５ｂにより画像Ｐ１の画像データから検出された顔領域Ａに対して輪郭抽出処理（例えば、ＡＡＭを用いた処理等）を行って、画像Ｐ１の顔領域Ａ内の目、鼻、口、眉等の主要な顔構成部の輪郭形状が線で描画された顔構成部画像Ｐａ（図４（ａ）参照）を生成する（ステップＳ３）。そして、構成部抽出部５ｄは、構成部画像生成部５ｃにより生成された顔構成部画像Ｐａから、目、鼻、口、眉等の各顔構成部のパーツ画像Ｍａや座標位置などの顔構成部情報Ｄａ（図４（ｂ）参照）を取得する（ステップＳ４）。

次に、微細部画像生成部５ｅは、画像Ｐ１の画像データに対して微細部抽出処理（例えば、エッジ抽出処理や非等方拡散処理等）を行って、画像Ｐ１の顔領域Ａ内の目、鼻、口、眉等の主要な顔構成部とシワ等の特徴的な顔微細部とが線で描画された顔微細部画像Ｐｂ（図５（ａ）参照）を生成する（ステップＳ５）。そして、微細部抽出部５ｆは、微細部画像生成部５ｅにより生成された顔微細部画像Ｐｂ内で、構成部抽出部５ｄにより抽出された顔構成部情報Ｄａに係る目、鼻、口、眉等の各顔構成部のパーツ画像Ｍａの座標位置に基づいて、当該各顔構成部のパーツ画像Ｍａに対応する部分Ｍａｂを特定する（ステップＳ６；図５（ｂ）参照）。続けて、微細部抽出部５ｆは、顔微細部画像Ｐｂから顔構成部のパーツ画像Ｍａに対応する部分Ｍａｂを消去して、シワや髪型や顔輪郭等の特徴的な顔微細部を線で描画したベース画像Ｍｂを生成し、顔微細部情報Ｄｂとして取得する（ステップＳ７；図５（ｃ）参照）。

そして、特徴抽出画像生成部５ｇは、シワや髪型や顔輪郭等の特徴的な顔微細部を線で描画したベース画像Ｍｂ（図５（ｃ）参照）内で、顔構成部情報Ｄａに基づいて目、鼻、口、眉等の各顔構成部のパーツ画像Ｍａを重畳させて、画像Ｐ１を似顔絵で表した似顔絵画像（特徴抽出画像Ｐ２）の画像データを生成する（ステップＳ８；図６参照）。
そして、記録媒体制御部８は、特徴抽出画像生成部５ｇにより生成された似顔絵画像のＹＵＶデータを取得して、記録媒体Ｍに記録させる（ステップＳ９）。
これにより、画像生成処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、顔検出部５ｂにより検出された画像Ｐ１の顔領域Ａから顔の主要な顔構成部に係る顔構成部情報Ｄａを抽出するとともに、顔検出部５ｂにより検出された画像Ｐ１の顔領域Ａから顔構成部以外の特徴的な顔微細部に係る顔微細部情報Ｄｂを抽出して、顔構成部情報Ｄａと顔微細部情報Ｄｂとに基づいて、顔領域Ａの特徴的な部分を抽出して表した特徴抽出画像Ｐ２（例えば、画像Ｐ１の顔領域Ａの似顔絵画像）を生成するので、目や鼻といった顔の主要な顔構成部のように一律的に特定することが困難な特徴的な顔微細部に係る顔微細部情報Ｄｂを顔構成部情報Ｄａとは別に抽出することができ、当該顔微細部の微細な構造を考慮したより豊かな表現の特徴抽出画像Ｐ２を簡便に生成することができる。
即ち、顔領域Ａから顔の主要な顔構成部に係る顔構成部情報Ｄａのみを抽出して似顔絵画像を生成すると、老人の似顔絵が若くなりがちとなってしまい、一方、顔領域Ａから特徴的な顔微細部に係る顔微細部情報Ｄｂのみを抽出して似顔絵を作成すると、タッチやテクスチャが細かくなりすぎて似顔絵らしさが低減してしまうといった問題が生じる虞がある。そこで、画像Ｐ１から顔構成部情報Ｄａと顔微細部情報Ｄｂとを別々に抽出して特徴抽出画像Ｐ２を生成することで、特徴的な顔微細部の微細な構造を考慮したより豊かな表現の画像を簡便に生成することができる。

また、画像Ｐ１の顔領域Ａに対して輪郭抽出処理を施して顔構成部画像Ｐａを生成し、この顔構成部画像Ｐａから顔構成部情報Ｄａを抽出するので、顔の主要な顔構成部の輪郭を適正に特定することができ、当該顔構成部情報Ｄａを用いてより豊かな表現の特徴抽出画像Ｐ２を生成することができる。
さらに、画像Ｐ１の顔領域Ａに対して微細部抽出処理を施して顔微細部画像Ｐｂを生成し、この顔微細部画像Ｐｂから顔微細部を表す線を含む顔微細部情報Ｄｂを抽出する。具体的には、顔構成部及び顔微細部を表した顔微細部画像Ｐｂから顔構成部に対応する部分Ｍａｂを消去したベース画像Ｍｂを顔微細部情報Ｄｂとして抽出するので、当該顔微細部情報Ｄｂを用いて顔微細部を線で表現することでより豊かな表現の特徴抽出画像Ｐ２を生成することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、顔構成部情報Ｄａの抽出後に顔微細部情報Ｄｂの抽出を行うようにしたが、これらの抽出処理の順序は一例であってこれに限られるものではなく、順序を逆、即ち、顔微細部情報Ｄｂの抽出処理後に顔構成部情報Ｄａの抽出処理を行うようにしても良い。

また、上記実施形態にあっては、顔構成部画像Ｐａから顔構成部情報Ｄａを抽出するようにしたが、顔構成部画像Ｐａを生成するか否かは適宜任意に変更可能である。即ち、撮像装置１００は、必ずしも構成部画像生成部５ｃを具備する必要はなく、画像Ｐ１の顔領域Ａから顔の主要な顔構成部に係る顔構成部情報Ｄａを抽出可能であれば如何なる構成であっても良い。

さらに、上記実施形態にあっては、顔微細部画像Ｐｂから顔微細部情報Ｄｂを抽出するようにしたが、顔微細部画像Ｐｂを生成するか否かは適宜任意に変更可能である。即ち、撮像装置１００は、必ずしも微細部画像生成部５ｅを具備する必要はなく、画像Ｐ１の顔領域Ａから顔構成部以外の特徴的な微細部に係る顔微細部情報Ｄｂを抽出可能であれば如何なる構成であっても良い。

また、顔検出部５ｂにより検出された顔領域Ａから顔構成部情報Ｄａや顔微細部情報Ｄｂを抽出するようにしたが、画像Ｐ１に対して顔検出処理を施す顔検出部５ｂを具備するか否かは適宜任意に変更可能である。

さらに、微細部抽出部５ｆは、顔微細部画像Ｐｂから顔構成部のパーツ画像Ｍａに対応する部分Ｍａｂを消去するようにしたが、必ずしも顔微細部画像Ｐｂから顔構成部のパーツ画像Ｍａに対応する部分Ｍａｂを消去する必要はない。即ち、顔構成部のパーツ画像Ｍａに対応する部分Ｍａｂが消去されていない顔微細部画像Ｐｂに顔構成部のパーツ画像Ｍａを重畳させるようにして特徴抽出画像を生成しても良い。

加えて、上記実施形態では、シワや髪型や顔輪郭等の特徴的な顔微細部を線で描画したベース画像Ｍｂに、目、鼻、口、眉等の各顔構成部のパーツ画像Ｍａを重畳させた似顔絵画像を生成するようにしたが、一例であってこれに限られるものではなく、似顔絵画像の作成方法は適宜任意に変更可能である。

以下に、画像生成処理の変形例について、図７（ａ）〜図７（ｃ）を参照して説明する。
具体的には、構成部抽出部５ｄは、例えば、画像Ｐ１全体に対する輪郭抽出処理により生成された、顔構成部だけでなく他の部分（例えば、バストアップ画像の顔から下の部分）の輪郭形状を線で表したベース画像Ｍｃを顔構成部情報Ｄａとして取得する（図７（ａ）参照）。
また、微細部抽出部５ｆは、例えば、画像Ｐ１の顔領域Ａに対する微細部抽出処理により生成された顔領域Ａ内（即ち、顔輪郭の内側）のシワ等の特徴的な顔微細部を線で表した顔微細部画像Ｍｄを顔微細部情報Ｄｂとして取得する（図７（ｂ）参照）。
そして、特徴抽出画像生成部５ｇは、顔構成部情報Ｄａとして取得されたベース画像Ｍｃ内（図７（ａ）参照）で、顔微細部情報Ｄｂに基づいてシワ等の特徴的な顔微細部画像Ｍｄを重畳させて特徴抽出画像Ｐ３（似顔絵画像）を生成する（図７（ｃ）参照）。

このような構成としても、目や鼻といった顔の主要な顔構成部のように一律的に特定することが困難な特徴的な顔微細部に係る顔微細部情報Ｄｂを顔構成部情報Ｄａとは別に抽出して、当該顔微細部の微細な構造を考慮したより豊かな表現の特徴抽出画像Ｐ３を簡便に生成することができる。

さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。また、画像生成装置として、撮像装置１００を例示したが、これに限られるものではなく、本発明に係る画像処理を実行可能なものであれば如何なる構成であっても良い。

加えて、上記実施形態にあっては、取得手段、第１抽出手段、第２抽出手段、画像生成手段としての機能を、中央制御部１０の制御下にて、画像取得部５ａ、構成部抽出部５ｄ、微細部抽出部５ｆ、特徴抽出画像生成部５ｇが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、第１抽出処理ルーチン、第２抽出処理ルーチン、画像生成処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１０のＣＰＵを、画像Ｐ１を取得する取得手段として機能させるようにしても良い。また、第１抽出処理ルーチンにより中央制御部１０のＣＰＵを、取得手段により取得された画像Ｐ１の顔が含まれる顔領域Ａから顔の主要な構成部に係る顔構成部情報Ｄａを抽出する第１抽出手段として機能させるようにしても良い。また、第２抽出処理ルーチンにより中央制御部１０のＣＰＵを、取得手段により取得された画像Ｐ１の顔領域Ａから構成部以外の特徴的な微細部に係る顔微細部情報Ｄｂを抽出する第２抽出手段として機能させるようにしても良い。また、画像生成処理ルーチンにより中央制御部１０のＣＰＵを、第１抽出手段により抽出された顔構成部情報Ｄａと第２抽出手段により抽出された顔微細部情報Ｄｂとに基づいて、顔領域Ａの特徴的な部分を抽出して表した特徴抽出画像Ｐ２を生成する画像生成手段として機能させるようにしても良い。

同様に、第１生成手段、第２生成手段、顔検出手段についても、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
画像を取得する取得手段と、
この取得手段により取得された画像の顔が含まれる顔領域から顔の主要な構成部に係る顔構成部情報を抽出する第１抽出手段と、
前記取得手段により取得された画像の前記顔領域から前記構成部以外の特徴的な微細部に係る顔微細部情報を抽出する第２抽出手段と、
前記第１抽出手段により抽出された前記顔構成部情報と前記第２抽出手段により抽出された前記顔微細部情報とに基づいて、前記顔領域の特徴的な部分を表した特徴抽出画像を生成する画像生成手段と、
を備えたことを特徴とする画像生成装置。
＜請求項２＞
前記画像の前記顔領域に対して輪郭抽出処理を施して、前記構成部の輪郭を表した顔構成部画像を生成する第１生成手段を更に備え、
前記第１抽出手段は、前記第１生成手段により生成された前記顔構成部画像から前記構成部の輪郭を含む前記顔構成部情報を抽出することを特徴とする請求項１に記載の画像生成装置。
＜請求項３＞
前記画像の前記顔領域に対して微細部抽出処理を施して、前記構成部及び前記微細部を表した顔微細部画像を生成する第２生成手段を更に備え、
前記第２抽出手段は、前記第２生成手段により生成された前記顔微細部画像から前記微細部を表す線を含む前記顔微細部情報を抽出することを特徴とする請求項１に記載の画像生成装置。
＜請求項４＞
前記第２抽出手段は、前記顔微細部画像から前記構成部に対応する部分を消去した画像を前記顔微細部情報として抽出することを特徴とする請求項３に記載の画像生成装置。
＜請求項５＞
前記画像生成手段は、前記画像の前記顔領域の似顔絵画像を前記特徴抽出画像として生成することを特徴とする請求項１〜４の何れか一項に記載の画像生成装置。
＜請求項６＞
前記画像から前記顔領域を検出する顔検出手段を更に備え、
前記第１抽出手段は、前記顔検出手段により検出された前記顔領域から前記顔構成部情報を抽出し、
前記第２抽出手段は、前記顔検出手段により検出された前記顔領域から前記顔微細部情報を抽出することを特徴とする請求項１〜５の何れか一項に記載の画像生成装置。
＜請求項７＞
画像生成装置を用いた画像生成方法であって、
画像を取得する処理と、
取得された画像の顔が含まれる顔領域から顔の主要な構成部に係る顔構成部情報を抽出する処理と、
取得された画像の前記顔領域から前記構成部以外の特徴的な微細部に係る顔微細部情報を抽出する処理と、
前記顔構成部情報と前記顔微細部情報とに基づいて、前記顔領域の特徴的な部分を表した特徴抽出画像を生成する処理と、
を含むことを特徴とする画像生成方法。
＜請求項８＞
画像生成装置のコンピュータを、
画像を取得する取得手段、
この取得手段により取得された画像の顔が含まれる顔領域から顔の主要な構成部に係る顔構成部情報を抽出する第１抽出手段、
前記取得手段により取得された画像の前記顔領域から前記構成部以外の特徴的な微細部に係る顔微細部情報を抽出する第２抽出手段、
前記第１抽出手段により抽出された前記顔構成部情報と前記第２抽出手段により抽出された前記顔微細部情報とに基づいて、前記顔領域の特徴的な部分を表した特徴抽出画像を生成する画像生成手段、
として機能させることを特徴とするプログラム。

１００ 撮像装置
１ 撮像部
５ 画像処理部
５ａ 画像取得部
５ｂ 顔検出部
５ｃ 構成部画像生成部
５ｄ 構成部抽出部
５ｅ 微細部画像生成部
５ｆ 微細部抽出部
５ｇ 特徴抽出画像生成部
１０ 中央制御部

Claims (7)

1. 画像を取得する取得手段と、
   前記取得手段により取得された画像の顔が含まれる顔領域に対して輪郭抽出処理を施して、顔の主要な構成部の輪郭を表した顔構成部画像を生成する第１生成手段と、
   前記第１生成手段により生成された前記顔構成部画像から前記構成部の輪郭を含む、前記構成部に係る顔構成部情報を抽出する第１抽出手段と、
   前記画像の前記顔領域に対して微細部抽出処理を施して、前記構成部及び前記構成部以外の特徴的な微細部を表した顔微細部画像を生成する第２生成手段と、
   前記第２生成手段により生成された前記顔微細部画像から前記微細部を表す線を含む顔微細部情報を抽出する第２抽出手段と、
   前記第１抽出手段により抽出された前記顔構成部情報を前記第２抽出手段により抽出された前記顔微細部情報に重ねて、前記顔領域の特徴的な部分を表した特徴抽出画像を生成する画像生成手段と、
   を備えたことを特徴とする画像生成装置。
2. 前記第２抽出手段は、前記顔微細部画像から前記構成部に対応する部分を消去した画像を前記顔微細部情報として抽出することを特徴とする請求項１に記載の画像生成装置。
3. 前記画像生成手段は、前記画像の前記顔領域の似顔絵画像を前記特徴抽出画像として生成することを特徴とする請求項１または２に記載の画像生成装置。
4. 前記画像から前記顔領域を検出する顔検出手段を更に備え、
   前記第１抽出手段は、前記顔検出手段により検出された前記顔領域から前記顔構成部情報を抽出し、
   前記第２抽出手段は、前記顔検出手段により検出された前記顔領域から前記顔微細部情報を抽出することを特徴とする請求項１〜３の何れか一項に記載の画像生成装置。
5. 前記第１抽出手段は、顔の主要な構成部である、前記顔領域内の目、鼻、口、眉等を含む前記構成部を抽出し、前記第２抽出手段は、前記顔領域から皺、髪型、顔輪郭等を含む前記構成部以外の特徴的な微細部に係る顔微細部情報を抽出することを特徴とする請求項１〜４の何れか一項に記載の画像生成装置。
6. 画像生成装置を用いた画像生成方法であって、
   画像を取得する処理と、
   前記取得された画像の顔が含まれる顔領域に対して輪郭抽出処理を施して、顔の主要な構成部の輪郭を表した顔構成部画像を生成する処理と、
   前記顔構成部画像から前記構成部の輪郭を含む、前記構成部に係る顔構成部情報を抽出する処理と、
   前記画像の前記顔領域に対して微細部抽出処理を施して、前記構成部及び前記構成部以外の特徴的な微細部を表した顔微細部画像を生成する処理と、
   前記顔微細部画像から前記微細部を表す線を含む顔微細部情報を抽出する処理と、
   前記顔構成部情報を前記顔微細部情報に重ねて、前記顔領域の特徴的な部分を表した特徴抽出画像を生成する処理と、
   を含むことを特徴とする画像生成方法。
7. 画像生成装置のコンピュータを、
   画像を取得する取得手段、
   前記取得手段により取得された画像の顔が含まれる顔領域に対して輪郭抽出処理を施して、顔の主要な構成部の輪郭を表した顔構成部画像を生成する第１生成手段、
   前記第１生成手段により生成された前記顔構成部画像から前記構成部の輪郭を含む、前記構成部に係る顔構成部情報を抽出する第１抽出手段、
   前記画像の前記顔領域に対して微細部抽出処理を施して、前記構成部及び前記構成部以外の特徴的な微細部を表した顔微細部画像を生成する第２生成手段、
   前記第２生成手段により生成された前記顔微細部画像から前記微細部を表す線を含む顔微細部情報を抽出する第２抽出手段、
   前記第１抽出手段により抽出された前記顔構成部情報を前記第２抽出手段により抽出された前記顔微細部情報に重ねて、前記顔領域の特徴的な部分を表した特徴抽出画像を生成する画像生成手段、
   として機能させることを特徴とするプログラム。