JP6668646B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、目、鼻、口、耳、顔輪郭等の顔部品の特徴点を用いて似顔絵を作成する似顔絵作成装置が知られている（例えば、特許文献１参照）。また、各部位ごとに予め用意されているパーツオブジェクトを組み合わせてキャラクタを作成するゲーム装置が知られている（例えば、特許文献２参照）。

特開２００４−１４５６２５号公報 特開２００８−６１８９６号公報

ところで、写真画像を元に生成された似顔絵画像内の一部の顔構成部が気に入らなかった場合に、再び写真撮影して新たに取得した顔画像全体を元に似顔絵画像を生成すると、修正したい顔構成部以外の部分も変更されてしまうといった問題がある。
なお、修正したい顔構成部について対応する部品画像をユーザが手動で選択するという手法も考えられるが、多くの部品画像の中から選択することは煩雑であり、また、必ずしもユーザ所望の形状や大きさの部品画像を選択できるとは限らないといった問題もある。

本発明の課題は、処理済み顔画像の一部分の顔構成部の修正を簡便に行うことができる画像処理装置、画像処理方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る画像処理装置は、
第１の未処理顔画像、又は前記第１の未処理顔画像に画像処理を施した処理済み顔画像から、ユーザにより指定された顔構成部を特定する特定手段と、
前記第１の未処理顔画像と同一の被写体の画像である第２の未処理顔画像を取得する取得手段と、
前記取得手段により取得された前記第２の未処理顔画像における前記顔構成部に対応する顔構成部画像に基づいて、前記処理済み顔画像内の前記顔構成部を修正する修正手段と、
を備えたことを特徴としている。

また、本発明に係る画像処理方法は、
画像処理装置を用いた画像処理方法であって、
第１の未処理顔画像、又は前記第１の未処理顔画像に画像処理を施した処理済み顔画像から、ユーザにより指定された顔構成部を特定するステップと、
前記第１の未処理顔画像と同一の被写体の画像である第２の未処理顔画像を取得するステップと、
取得された前記第２の未処理顔画像における前記顔構成部に対応する顔構成部画像に基づいて、前記処理済み顔画像内の前記顔構成部を修正するステップと、
を含むことを特徴としている。

また、本発明に係るプログラムは、
画像処理装置のコンピュータを、
第１の未処理顔画像、又は前記第１の未処理顔画像に画像処理を施した処理済み顔画像から、ユーザにより指定された顔構成部を特定する特定手段、
前記第１の未処理顔画像と同一の被写体の画像である第２の未処理顔画像を取得する取得手段、
前記取得手段により取得された前記第２の未処理顔画像における前記顔構成部に対応する顔構成部画像に基づいて、前記処理済み顔画像内の前記顔構成部を修正する修正手段、
として機能させることを特徴としている。

本発明によれば、処理済み顔画像の一部分の顔構成部の修正を簡便に行うことができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による似顔絵画像生成処理に係る動作の一例を示すフローチャートである。 図２の似顔絵画像生成処理を説明するための図である。 図２の似顔絵画像生成処理を説明するための図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の撮像装置１００は、具体的には、中央制御部１と、メモリ２と、撮像部３と、画像データ生成部４と、画像処理部５と、表示部６と、操作入力部７と、記憶部８と、似顔絵処理部９とを備えている。
また、中央制御部１、メモリ２、撮像部３、画像データ生成部４、画像処理部５、表示部６、操作入力部７、記憶部８及び似顔絵処理部９は、バスライン１０を介して接続されている。

なお、撮像装置１００は、公知のものを適用可能であり、本実施形態のように、主要な機能を撮影機能とするデジタルカメラだけでなく、主要な機能としないものの撮影機能を具備する携帯電話機、スマートフォン等の携帯端末なども含む。

中央制御部１は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１は、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１や画像処理部５や似顔絵処理部９等の各部によって処理されるデータ等を一時的に格納する。

撮像部３は、被写体を撮影する。具体的には、撮像部３は、レンズ部３ａと、電子撮像部３ｂと、撮像制御部３ｃとを備えている。

レンズ部３ａは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部３ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等のイメージセンサから構成され、レンズ部３ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部３は、レンズ部３ａを通過する光の量を調整する絞りを備えていても良い。

撮像制御部３ｃは、撮像部３による被写体の撮影を制御する。すなわち、撮像制御部３ｃは、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３ｃは、タイミング発生器、ドライバにより電子撮像部３ｂを走査駆動して、所定周期毎に光学像を電子撮像部３ｂにより二次元の画像信号に変換させ、当該電子撮像部３ｂの撮像領域から１画面分ずつフレーム画像を読み出して画像データ生成部４に出力させる。
なお、撮像制御部３ｃは、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮影する際の条件の調整制御を行っても良い。

画像データ生成部４は、撮像部３の電子撮像部３ｂから転送されたフレーム画像のアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。また、画像データ生成部４は、生成された輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒをバッファメモリとして使用されるメモリ２に出力する。

画像処理部５は、画像を記憶する際には、メモリ２から輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを取得し、所定の符号化方式（例えば、ＪＰＥＧ形式、モーションＪＰＥＧ形式、ＭＰＥＧ形式等）で符号化して記憶部８に出力する。
また、画像処理部５は、画像を再生表示する場合には、メモリ２や記憶部８から読み出された表示対象に係る静止画像や動画像の画像データを対応する所定の符号化方式に従って復号して表示部６に出力する。このとき、画像処理部５は、例えば、表示パネル６ｂの表示解像度等に基づいて所定サイズ（例えば、ＶＧＡやＱＶＧＡサイズ）に縮小して表示部６に出力しても良い。

表示部６は、表示制御部６ａと、表示パネル６ｂとを具備している。

表示制御部６ａは、メモリ２や記憶部８から読み出され画像処理部５により復号された所定サイズの画像データに基づいて、所定の画像を表示パネル６ｂの表示領域に表示させる制御を行う。具体的には、表示制御部６ａは、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、画像処理部５により復号されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから所定の再生フレームレートで読み出して、これらのデータを元にビデオ信号を発生して表示パネル６ｂに出力する。

表示パネル６ｂは、表示制御部６ａからのビデオ信号に基づいて撮像部３により撮像された画像（例えば、第１顔画像Ｐ１（図３（ａ）参照）等）などを表示領域内に表示する。具体的には、表示パネル６ｂは、静止画の撮影モードや動画像の撮影モードにて、撮像部３による被写体の撮影により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示パネル６ｂは、記憶部８に記憶される被写体の静止画像（レックビュー画像）を表示したり、撮影中の被写体の動画像を表示する。
なお、表示パネル６ｂとしては、例えば、液晶表示パネルや有機ＥＬ（Electro-Luminescence）表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。

操作入力部７は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部７は、被写体の撮影指示に係るシャッタボタン、撮影モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等（何れも図示略）の操作部を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部７は、操作されたボタンに応じた操作指示を中央制御部１に出力する。中央制御部１は、操作入力部７から出力され入力された操作指示に従って所定の動作（例えば、被写体の撮影等）を各部に実行させる。

また、操作入力部７は、表示部６の表示パネル６ｂと一体となって設けられたタッチパネル７ａを有している。
タッチパネル７ａは、表示パネル６ｂの表示領域をなす表示画面に直接的若しくは間接的に接触するタッチペンやユーザの指（手）等の接触位置を検出する。すなわち、タッチパネル７ａは、例えば、表示画面上或いは当該表示画面よりも内側に設けられ、抵抗膜方式、超音波表面弾性波方式、静電容量方式等の各種方式により、表示画面上における接触位置のＸＹ座標を検出する。そして、タッチパネル７ａは、接触位置のＸＹ座標に係る位置信号を中央制御部１や似顔絵処理部９に出力する。
具体的には、タッチパネル７ａは、例えば、表示パネル６ｂに表示された第１似顔絵画像Ｑ１内で、ユーザにより接触操作された接触位置のＸＹ座標に係る位置信号を似顔絵処理部９に出力する。

なお、タッチパネル７ａによる表示画面上における接触位置の検出精度は、適宜任意に変更可能であり、例えば、厳密に一の画素を接触位置としても良いし、一の画素を中心とする所定範囲内の複数の画素を接触位置としても良い。

記憶部８は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部５により所定の符号化方式で符号化された静止画像や動画像の記憶用の画像データを記憶する。

また、記憶部８は、主要な顔構成部の部品画像８ａを記憶している。
部品画像８ａは、例えば、各似顔絵作者が描画した複数の似顔絵画像の各々から抽出された、例えば、目、鼻、口、眉、顔輪郭等の主要な顔構成部毎の複数の部品画像８ａ、…に係るデータである。また、複数の部品画像８ａは、例えば、形状や大きさが類似するものどうしをグループ化し、各グループを代表する代表画像と対応付けられていても良い。

なお、記憶部８は、例えば、記憶媒体（図示略）が着脱自在に構成され、装着された記憶媒体からのデータの読み出しや記憶媒体に対するデータの書き込みを制御する構成であっても良い。

似顔絵処理部９は、第１画像取得部９ａと、似顔絵画像生成部９ｂと、顔構成部特定部９ｃと、第２画像取得部９ｄと、抽出部９ｅと、似顔絵画像修正部９ｆとを具備している。
なお、似顔絵処理部９の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

第１画像取得部９ａは、似顔絵画像生成処理の処理対象の元画像として第１顔画像（第１の未処理顔画像）Ｐ１（図３（ａ）参照）を取得する。
すなわち、第１画像取得部９ａは、例えば、撮像部３による被写体の顔の撮影の際に、画像データ生成部４により生成された静止画像（例えば、写真画像等）の画像データ（ＲＧＢデータやＹＵＶデータ）の複製をメモリ２から取得したり、記憶部８に記憶されている静止画像の画像データの複製を第１顔画像Ｐ１として取得する。

なお、第１画像取得部９ａは、動画像を構成する複数のフレーム画像の中から自動的に特定された一のフレーム画像、或いは、ユーザによる操作入力部７の所定操作に基づいて指定された一のフレーム画像を第１顔画像Ｐ１として取得しても良い。
また、後述する似顔絵処理部９による各処理は、第１顔画像Ｐ１の画像データ自体に対して行われても良いし、必要に応じて第１顔画像Ｐ１の画像データを所定の比率で縮小した所定サイズ（例えば、ＶＧＡサイズ等）の縮小画像データに対して行われても良い。

似顔絵画像生成部９ｂは、元となる第１顔画像Ｐ１を似顔絵で表した第１似顔絵画像Ｑ１（図３（ｂ）参照）を生成する。
すなわち、似顔絵画像生成部９ｂは、第１顔画像Ｐ１に対して所定の画像処理を施して第１似顔絵画像（処理済み顔画像）Ｑ１を生成する。
具体的には、似顔絵画像生成部９ｂは、第１画像取得部９ａにより取得された第１顔画像Ｐ１の画像データに対して所定の顔検出処理を行って顔領域を検出し、例えば、ＡＡＭ（Active Appearance Model）を用いた処理により、目、鼻、口、眉、顔輪郭等の主要な顔構成部を検出する。ここで、ＡＡＭとは、視覚的事象のモデル化の一手法であり、任意の顔領域の画像のモデル化を行う処理である。例えば、似顔絵画像生成部９ｂは、複数のサンプル顔画像における所定の特徴部位（例えば、目じりや鼻頭やフェイスライン等）の位置や画素値（例えば、輝度値）の統計的分析結果を所定の登録手段に登録しておく。そして、似顔絵画像生成部９ｂは、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔領域の画像をモデル化する。これにより、第１顔画像Ｐ１内で目、鼻、口、眉、顔輪郭等の顔構成部がモデル化される。
そして、似顔絵画像生成部９ｂは、記憶部８に記憶されている複数の部品画像８ａ、…の中で、検出された主要な顔構成部の各々に対応する部品画像８ａを特定する。ここで、顔構成部に対応する部品画像８ａの特定手法としては、以下の手法が挙げられる。すなわち、似顔絵画像生成部９ｂは、例えば、顔構成部と部品画像８ａの各々に制御点を設定して、これら制御点間の距離が最小二乗法で最も小さくなるパラメータを算出し、算出されたパラメータでの制御点間の距離の総和を当該部品画像８ａの評価値とする。似顔絵画像生成部９ｂは、算出された複数の部品画像８ａ、…の評価値を比較して、各顔構成部と最も合致する部品画像８ａをそれぞれ特定する。
続けて、似顔絵画像生成部９ｂは、特定された各部品画像８ａの制御点を各顔構成部の制御点に対応させるように部品画像８ａを変形させ、所定の髪型画像と組み合わせて第１似顔絵画像Ｑ１を生成する。
ここで、似顔絵画像生成部９ｂは、第１似顔絵画像Ｑ１の所定の部分（例えば、目、口、眉等の顔構成部等）に所定の色を付けて表した画像を生成しても良い。

なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。また、ＡＡＭを用いて顔構成部の検出を行うようにしたが、一例であってこれに限られるものではなく、例えば、エッジ抽出処理、非等方拡散処理、テンプレートマッチング等適宜任意に変更可能である。
また、上記した第１似顔絵画像Ｑ１を生成する手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、各顔構成部に対応する部品画像８ａを自動的に特定するようにしたが、一例であってこれに限られるものではなく、ユーザによる操作入力部７の所定操作に基づいて複数の部品画像８ａ、…の中からユーザ所望の部品画像８ａを指定しても良い。さらに、部品画像８ａを自動的に特定して似顔絵画像を生成する処理と、ユーザにより選択された部品画像８ａを用いて似顔絵画像を生成する処理の両方を実行可能とし、これら二つの処理の中で、ユーザによる操作入力部７の所定操作に基づいて実行する処理を切り替えるようにしても良い。

顔構成部特定部（特定手段）９ｃは、第１顔画像Ｐ１を対象として画像処理が施された第１似顔絵画像Ｑ１から、ユーザにより指定された顔構成部を特定する。
すなわち、顔構成部特定部９ｃは、表示制御部６ａにより表示パネル６ｂの表示領域に表示された第１似顔絵画像Ｑ１内で、ユーザによる操作入力部７の所定操作に基づいて指定された顔構成部（例えば、左目Ｅｌ等）を特定する（図３（ｃ）参照）。具体的には、例えば、表示パネル６ｂに表示された第１似顔絵画像Ｑ１内でユーザによるタッチパネル７ａの接触操作に基づいて顔構成部が指定されると、顔構成部特定部９ｃは、接触操作された位置のＸＹ座標に係る位置信号を取得して、第１似顔絵画像Ｑ１内でユーザにより指定された顔構成部を特定する。

ここで、顔構成部の指定は、例えば、顔構成部の中心付近の点を指定するような手法で行われても良いし、顔構成部の略全体を囲繞するような線で指定するような手法で行われても良い。
また、顔構成部の指定を、タッチパネル７ａを用いて行うようにしたが、一例であってこれに限られるものではなく、操作入力部７の他のボタン、例えば、上下左右移動キーなどを用いて行っても良いし、装置本体に外部接続された選択用のデバイス（図示略）を用いて行っても良い。

第２画像取得部９ｄは、第２顔画像（第２の未処理顔画像）Ｐ２を取得する。
すなわち、第２画像取得部（取得手段）９ｄは、顔構成部特定部９ｃにより特定された顔構成部（例えば、左目Ｅｌ等）が含まれる第２顔画像Ｐ２（図４（ａ）参照）を取得する。具体的には、顔構成部特定部９ｃにより顔構成部が特定されると、撮像部３により当該顔構成部が少なくとも含まれる静止画像の撮像が行われ、第２画像取得部９ｄは、画像データ生成部４により生成された静止画像の画像データ（ＲＧＢデータやＹＵＶデータ）の複製を第２顔画像Ｐ２としてメモリ２から取得する。
なお、第２画像取得部９ｄは、例えば、記憶部８に記憶されている第１顔画像Ｐ１とは異なる静止画像の画像データの複製を第２顔画像Ｐ２として取得しても良い。また、第２顔画像Ｐ２は、顔構成部特定部９ｃにより特定された顔構成部が含まれていれば良く、例えば、顔構成部のみの画像であっても良いし、顔全体の画像であっても良い。

抽出部９ｅは、顔構成部画像を抽出する。
すなわち、抽出部（抽出手段）９ｅは、第２顔画像Ｐ２から顔構成部特定部９ｃにより特定された顔構成部（例えば、左目Ｅｌ等）に対応する顔構成部画像を抽出する。具体的には、抽出部９ｅは、第２画像取得部９ｄにより取得された第２顔画像Ｐ２内で、例えば、ＡＡＭを用いた処理により各顔構成部を検出し、顔構成部特定部９ｃにより特定された顔構成部に対応する顔構成部画像を特定して抽出する。

似顔絵画像修正部９ｆは、第１似顔絵画像Ｑ１内の顔構成部に対応する修正部分を修正する。
すなわち、似顔絵画像修正部（修正手段）９ｆは、第２画像取得部９ｄにより取得された第２顔画像Ｐ２内の顔構成部特定部９ｃにより特定された顔構成部（例えば、左目Ｅｌ等）に対応する顔構成部画像に基づいて、第１似顔絵画像Ｑ１内の顔構成部に対応する修正部分を修正したり変更したりする。
具体的には、似顔絵画像修正部９ｆは、記憶部８に記憶されている複数の部品画像８ａ、…の中で、抽出部９ｅにより抽出された顔構成部画像に対応し、当該顔構成部画像を絵で表した部品画像８ａ（図４（ｂ）参照）を特定して取得する。そして、似顔絵画像修正部９ｆは、第１似顔絵画像Ｑ１の修正部分に含まれる部品画像８ａを消去するとともに、当該部品画像８ａの基準位置（例えば、中心位置等）に、特定された新たな部品画像８ａの基準位置を重ね合わせるようにして、新たな部品画像８ａに変更する。これにより、似顔絵画像修正部９ｆは、第１似顔絵画像Ｑ１内の修正すべき顔構成部画像の形状や大きさ等を修正した第２似顔絵画像Ｑ２（図４（ｃ）参照）を生成する。

なお、顔構成部画像に対応する部品画像８ａの特定手法は、上記した似顔絵画像生成部９ｂによる処理内容と略同様であり、詳細な説明は省略するが、大きさの異なる部品画像８ａに変更する場合には、似顔絵画像修正部９ｆは、抽出部９ｅにより抽出された顔構成部画像及び当該顔構成部画像の大きさを表す情報に基づいて、第１似顔絵画像Ｑ１内の顔構成部に対応する修正部分を修正する。
具体的には、似顔絵画像修正部９ｆは、顔構成部特定部９ｃにより第１似顔絵画像Ｑ１内で特定された顔構成部の他の顔構成部（例えば、顔輪郭等）に対する相対的な大きさを表す情報を取得する。また、似顔絵画像修正部９ｆは、抽出部９ｅにより第２顔画像Ｐ２内から抽出された顔構成部画像に係る顔構成部の他の顔構成部（例えば、顔輪郭等）に対する相対的な大きさを表す情報を取得する。そして、似顔絵画像修正部９ｆは、取得された第１似顔絵画像Ｑ１内での顔構成部の大きさを表す情報及び第２顔画像Ｐ２内での顔構成部画像の大きさを表す情報に基づいて、第１似顔絵画像Ｑ１及び第２顔画像Ｐ２内の各顔構成部画像の大きさを正規化し、抽出部９ｅにより抽出された顔構成部画像の大きさに対応する大きさの部品画像８ａを特定する。

＜似顔絵画像生成処理＞
次に、撮像装置１００による似顔絵画像生成処理について、図２〜図４を参照して説明する。
図２は、似顔絵画像生成処理に係る動作の一例を示すフローチャートである。また、図３（ａ）は、第１顔画像Ｐ１の一例を示し、図３（ｂ）は、第１顔画像Ｐ１を似顔絵で表した第１似顔絵画像Ｑ１の一例を示し、図３（ｃ）は、表示パネル６ｂの表示領域に表示された第１似顔絵画像Ｑ１の一例を示している。また、図４（ａ）は、第２顔画像Ｐ２の一例を示し、図４（ｂ）は、顔構成部画像に対応する部品画像８ａの一例を示し、図４（ｃ）は、第２似顔絵画像Ｑ２の一例を示している。

似顔絵画像生成処理は、ユーザによる操作入力部７の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から似顔絵画像生成モードが選択指示された場合に、中央制御部１の制御下にて当該撮像装置１００の各部、特に似顔絵処理部９により実行される処理である。

図２に示すように、先ず、撮像部３は、被写体のライブビュー画像を撮像する処理を開始して、表示制御部６ａは、画像処理部５により生成された表示用の画像データに基づいて、ライブビュー画像を表示パネル６ｂに表示させる（ステップＳ１）。
その後、ユーザによる操作入力部７のシャッタボタンの所定操作に基づいて、撮像部３は、被写体を撮影し、画像データ生成部４は、被写体の静止画像の画像データを生成してメモリ２に出力する（ステップＳ２）。そして、第１画像取得部９ａは、メモリ２から静止画像の画像データの複製を第１顔画像Ｐ１（図３（ａ）参照）として取得する（ステップＳ３）。
なお、第１顔画像Ｐ１の撮像は、所謂、自分撮りであっても良いし、ユーザ以外の第三者によりシャッタボタンが操作されても良い。

続けて、似顔絵画像生成部９ｂは、第１画像取得部９ａにより取得された第１顔画像Ｐ１を元に第１似顔絵画像Ｑ１（図３（ｂ）参照）を生成する（ステップＳ４）。具体的には、似顔絵画像生成部９ｂは、先ず、第１顔画像Ｐ１の顔領域内で、例えば、ＡＡＭを用いた処理により、目、鼻、口、眉、顔輪郭等の主要な顔構成部を検出する。次に、似顔絵画像生成部９ｂは、記憶部８に記憶されている複数の部品画像８ａ、…の中で、検出された主要な顔構成部の各々に対応する部品画像８ａを特定する。そして、似顔絵画像生成部９ｂは、特定された各部品画像８ａを各顔構成部に対応させるように変形させ、所定の髪型画像と組み合わせて第１似顔絵画像Ｑ１を生成する。
その後、表示制御部６ａは、似顔絵画像生成部９ｂにより生成された第１似顔絵画像Ｑ１の画像データに基づいて表示パネル６ｂの表示領域に当該第１似顔絵画像Ｑ１を表示させる（ステップＳ５；図３（ｃ）参照）。

次に、操作入力部７は、表示パネル６ｂに表示された第１似顔絵画像Ｑ１内でユーザによるタッチパネル７ａの接触操作が行われたか否かを判定する（ステップＳ６）。
ここで、ユーザによるタッチパネル７ａの接触操作が行われていないと判定されると（ステップＳ６；ＮＯ）、中央制御部１のＣＰＵは、当該似顔絵画像生成処理を終了させる。

一方、ステップＳ６にて、ユーザによるタッチパネル７ａの接触操作が行われたと判定されると（ステップＳ６；ＹＥＳ）、顔構成部特定部９ｃは、タッチパネル７ａの接触操作された位置のＸＹ座標に係る位置信号を取得して、第１似顔絵画像Ｑ１内でユーザにより指定された顔構成部（例えば、左目Ｅｌ等）を特定する（ステップＳ７；図３（ｃ）参照）。
その後、中央制御部１のＣＰＵは、動作モードを静止画像の撮影モードに設定し、ユーザによる操作入力部７のシャッタボタンの所定操作に基づいて、撮像部３は、顔構成部特定部９ｃにより特定された顔構成部が少なくとも含まれる構図で被写体を再び撮影し、画像データ生成部４は、被写体の静止画像の画像データを生成してメモリ２に出力する（ステップＳ８）。そして、第２画像取得部９ｄは、メモリ２から静止画像の画像データの複製を第２顔画像Ｐ２（図４（ａ）参照）として取得する（ステップＳ９）。
ここで、第２顔画像Ｐ２の撮像に際して、表示パネル６ｂは、ライブビュー画像を表示するようになっており、後述するように修正すべき顔構成部の表情等を確認しながら、所謂、自分撮りを行うことができる。また、表示制御部６ａは、修正すべき顔構成部が含まれる部分を拡大した画像を表示パネル６ｂに表示させても良い。

次に、抽出部９ｅは、第２画像取得部９ｄにより取得された第２顔画像Ｐ２の顔領域内で、例えば、ＡＡＭを用いた処理により各顔構成部を検出し、顔構成部特定部９ｃにより特定された顔構成部に対応する顔構成部画像を特定して抽出する（ステップＳ１０）。
続けて、似顔絵画像修正部９ｆは、記憶部８に記憶されている複数の部品画像８ａ、…の中で、抽出部９ｅにより抽出された顔構成部画像に対応する部品画像８ａ（図４（ｂ）参照）を特定して取得する（ステップＳ１１）。そして、似顔絵画像修正部９ｆは、第１似顔絵画像Ｑ１内の顔構成部特定部９ｃにより特定された顔構成部（例えば、左目Ｅｌ等）に対応する修正部分を、特定された新たな部品画像８ａに変更して、第１似顔絵画像Ｑ１内の修正すべき顔構成部画像の形状や大きさ等を修正した第２似顔絵画像Ｑ２を生成する（ステップＳ１２；図４（ｃ）参照）。

その後、表示制御部６ａは、似顔絵画像修正部９ｆにより生成された第２似顔絵画像Ｑ２の画像データに基づいて表示パネル６ｂの表示領域に当該第２似顔絵画像Ｑ２を表示させる（ステップＳ１３）。
このとき、表示制御部６ａは、第２似顔絵画像Ｑ２の他に、第１似顔絵画像Ｑ１を表示パネル６ｂに表示させても良く、これにより、ユーザは、修正前の第１似顔絵画像Ｑ１と修正後の第２似顔絵画像Ｑ２とを比較することができる。

次に、操作入力部７は、表示パネル６ｂに表示された第２似顔絵画像Ｑ２内でユーザによるタッチパネル７ａの接触操作が行われたか否かを判定する（ステップＳ１４）。
ここで、ユーザによるタッチパネル７ａの接触操作が行われたと判定されると（ステップＳ１４；ＹＥＳ）、似顔絵処理部９は、処理をステップＳ７に戻し、それ以降の各処理を実行する。すなわち、第２似顔絵画像Ｑ２内で修正済みの顔構成部（例えば、左目Ｅｌ等）の再修正や、他の顔構成部（例えば、口等）の修正等を行うことができる。
なお、複数の顔構成部（例えば、左目Ｅｌと口等）の修正を行う場合、似顔絵画像修正部９ｆは、これら複数の顔構成部の何れか一、或いは、全てを修正した場合の全ての組み合わせに対応する複数の第２似顔絵画像Ｑ２、…を生成し、表示制御部６ａは、複数の第２似顔絵画像Ｑ２、…の全てを表示パネル６ｂに表示させても良い。これにより、ユーザは、複数の第２似顔絵画像Ｑ２、…を比較する（見比べる）ことができ、より良い修正内容の第２似顔絵画像Ｑ２を選択可能となる。

一方、ステップＳ１４にて、ユーザによるタッチパネル７ａの接触操作が行われていないと判定されると（ステップＳ１４；ＮＯ）、中央制御部１のＣＰＵは、当該似顔絵画像生成処理を終了させる。

以上のように、本実施形態の撮像装置１００によれば、第１似顔絵画像（処理済み顔画像）Ｑ１内でユーザにより指定された顔構成部が含まれる第２顔画像Ｐ２を取得し、取得された第２顔画像Ｐ２における顔構成部に対応する顔構成部画像に基づいて、第１似顔絵画像Ｑ１内の顔構成部に対応する修正部分を修正するので、第１顔画像Ｐ１から生成された第１似顔絵画像Ｑ１内の一部の顔構成部が気に入らない場合に第１似顔絵画像Ｑ１内の修正すべき顔構成部に対応する部分のみを修正することができ、例えば、新たに顔画像全体を取得して似顔絵画像を生成したり、修正したい顔構成部に対応する部品画像８ａをユーザが手動で選択したりする必要がなくなり、処理済み顔画像の一部分の顔構成部の修正を簡便に行うことができる。
特に、表示パネル６ｂの表示領域に第１似顔絵画像Ｑ１を表示し、ユーザによる操作入力部７の所定操作に基づいて修正すべき顔構成部が指定されるだけで良いため、第１似顔絵画像Ｑ１の一部分の顔構成部の修正をより簡便に行うことができる。

また、撮像部３により撮像された修正すべき顔構成部が含まれる第２顔画像Ｐ２から顔構成部に対応する顔構成部画像を抽出し、抽出された顔構成部画像に基づいて、第１似顔絵画像Ｑ１内の顔構成部に対応する修正部分を修正することができる。具体的には、抽出された顔構成部画像に対応する部品画像８ａを取得し、第１似顔絵画像Ｑ１内の顔構成部に対応する修正部分を取得された部品画像８ａに変更して、第１似顔絵画像Ｑ１内の修正すべき顔構成部画像の形状や大きさ等を修正した第２似顔絵画像Ｑ２を生成することができる。
このとき、抽出された顔構成部画像及び当該顔構成部画像の大きさを表す情報に基づいて、第１似顔絵画像Ｑ１内の顔構成部に対応する修正部分を修正するので、第２顔画像Ｐ２から抽出された修正すべき顔構成部に対応する顔構成部画像を用いる場合に、当該顔構成部画像の大きさを考慮して対応する部品画像８ａを取得することができる。そして、第１似顔絵画像Ｑ１内の顔構成部に対応する修正部分を大きさを考慮して取得された部品画像８ａに変更することで、第１似顔絵画像Ｑ１内の修正すべき顔構成部画像の大きさの修正を適正に行うことができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、第１似顔絵画像Ｑ１と同一の被写体を撮影した第２顔画像を用いるようにしたが、一例であってこれに限られるものではなく、異なる被写体を撮影した顔画像を用いて、複数のヒトの顔構成部を組み合わせた顔画像を生成するようにしても良い。

また、上記実施形態にあっては、第１似顔絵画像Ｑ１内でユーザにより指定された顔構成部を特定するようにしたが、これに限られるものではなく、元画像の第１顔画像Ｐ１内でユーザにより指定された顔構成部を特定するようにしても良い。第１似顔絵画像Ｑ１において、修正したい顔構成部がある場合、修正したい顔構成部の指定は、第１似顔絵画像Ｑ１内であっても、元画像の第１顔画像Ｐ１内であっても良い。

さらに、上記実施形態にあっては、第１似顔絵画像Ｑ１や第２似顔絵画像Ｑ２を生成するようにしたが、必ずしも第１似顔絵画像Ｑ１や第２似顔絵画像Ｑ２を生成する必要はなく、似顔絵画像生成部９ｂや似顔絵画像修正部９ｆを具備するか否かは適宜任意に変更可能である。

また、上記実施形態にあっては、処理済み顔画像として、第１似顔絵画像Ｑ１や第２似顔絵画像Ｑ２を例示したが、一例であってこれに限られるものではなく、例えば、二値化処理した画像やエッジ抽出処理した画像等適宜任意に変更可能である。

さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。また、画像処理装置として、撮像装置１００を例示したが、これに限られるものではなく、本発明に係る画像処理を実行可能なものであれば如何なる構成であっても良い。

加えて、上記実施形態にあっては、特定手段、取得手段、修正手段としての機能を、中央制御部１のＣＰＵの制御下にて、顔構成部特定部９ｃ、第２画像取得部９ｄ、似顔絵画像修正部９ｆが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
すなわち、プログラムを記憶するプログラムメモリ（図示略）に、特定処理ルーチン、取得処理ルーチン、修正処理ルーチンを含むプログラムを記憶しておく。そして、特定処理ルーチンにより中央制御部１のＣＰＵを、第１の未処理顔画像（第１顔画像Ｐ１）を対象として画像処理が施された処理済顔画像（第１似顔絵画像Ｑ１）及び第１の未処理顔画像の何れか一方から、ユーザにより指定された顔構成部を特定する手段として機能させるようにしても良い。また、取得処理ルーチンにより中央制御部１のＣＰＵを、特定された顔構成部が含まれる第２の未処理顔画像（第２顔画像Ｐ２）を取得する手段として機能させるようにしても良い。また、修正処理ルーチンにより中央制御部１のＣＰＵを、取得された第２の未処理顔画像における顔構成部に対応する顔構成部画像に基づいて、処理済み顔画像内の顔構成部を修正する手段として機能させるようにしても良い。

同様に、抽出手段についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
第１の未処理顔画像を対象として画像処理が施された処理済み顔画像及び前記第１の未処理顔画像の何れか一方から、ユーザにより指定された顔構成部を特定する特定手段と、
前記特定手段により特定された前記顔構成部が含まれる第２の未処理顔画像を取得する取得手段と、
前記取得手段により取得された前記第２の未処理顔画像における前記顔構成部に対応する顔構成部画像に基づいて、前記処理済み顔画像内の前記顔構成部を修正する修正手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記第２の未処理顔画像から前記顔構成部に対応する顔構成部画像を抽出する抽出手段を更に備え、
前記修正手段は、前記抽出手段により抽出された顔構成部画像に基づいて、前記処理済み顔画像内の前記顔構成部を修正することを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記修正手段は、前記抽出手段により抽出された顔構成部画像に対応する部品画像を取得し、前記処理済み顔画像内の前記顔構成部を前記部品画像に変更することを特徴とする請求項２に記載の画像処理装置。
＜請求項４＞
前記部品画像は、前記顔構成部画像を絵で表わした画像であることを特徴とする請求項３に記載の画像処理装置。
＜請求項５＞
前記処理済み顔画像は、前記第１の未処理顔画像を似顔絵で表した画像であることを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
＜請求項６＞
前記第１の未処理顔画像及び前記第２の未処理顔画像は、同一の被写体の顔画像であることを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
＜請求項７＞
画像処理装置を用いた画像処理方法であって、
第１の未処理顔画像を対象として画像処理が施された処理済み顔画像及び前記第１の未処理顔画像の何れか一方から、ユーザにより指定された顔構成部を特定するステップと、
特定された前記顔構成部が含まれる第２の未処理顔画像を取得するステップと、
取得された前記第２の未処理顔画像における前記顔構成部に対応する顔構成部画像に基づいて、前記処理済み顔画像内の前記顔構成部を修正するステップと、
を含むことを特徴とする画像処理方法。
＜請求項８＞
画像処理装置のコンピュータを、
第１の未処理顔画像を対象として画像処理が施された処理済み顔画像及び前記第１の未処理顔画像の何れか一方から、ユーザにより指定された顔構成部を特定する特定手段、
前記特定手段により特定された前記顔構成部が含まれる第２の未処理顔画像を取得する取得手段、
前記取得手段により取得された前記第２の未処理顔画像における前記顔構成部に対応する顔構成部画像に基づいて、前記処理済み顔画像内の前記顔構成部を修正する修正手段、
として機能させることを特徴とするプログラム。

１００ 撮像装置
１ 中央制御部
３ 撮像部
６ 表示部
６ａ 表示制御部
６ｂ 表示パネル
７ 操作入力部
７ａ タッチパネル
８ 記憶部
８ａ 部品画像
９ 似顔絵処理部
９ａ 第１画像取得部
９ｂ 似顔絵画像生成部
９ｃ 顔構成部特定部
９ｄ 第２画像取得部
９ｅ 抽出部
９ｆ 似顔絵画像修正部
Ｐ１ 第１顔画像
Ｐ２ 第２顔画像
Ｑ１ 第１似顔絵画像
Ｑ２ 第２似顔絵画像

Claims (7)

1. 第１の未処理顔画像、又は前記第１の未処理顔画像に画像処理を施した処理済み顔画像から、ユーザにより指定された顔構成部を特定する特定手段と、
   前記第１の未処理顔画像と同一の被写体の画像である第２の未処理顔画像を取得する取得手段と、
   前記取得手段により取得された前記第２の未処理顔画像における前記顔構成部に対応する顔構成部画像に基づいて、前記処理済み顔画像内の前記顔構成部を修正する修正手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記第２の未処理顔画像から前記顔構成部に対応する顔構成部画像を抽出する抽出手段を更に備え、
   前記修正手段は、前記抽出手段により抽出された顔構成部画像に基づいて、前記処理済み顔画像内の前記顔構成部を修正することを特徴とする請求項１に記載の画像処理装置。
3. 前記修正手段は、前記抽出手段により抽出された顔構成部画像に対応する部品画像を取得し、前記処理済み顔画像内の前記顔構成部を前記部品画像に変更することを特徴とする請求項２に記載の画像処理装置。
4. 前記部品画像は、前記顔構成部画像を絵で表わした画像であることを特徴とする請求項３に記載の画像処理装置。
5. 前記処理済み顔画像は、前記第１の未処理顔画像を似顔絵で表した画像であることを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
6. 画像処理装置を用いた画像処理方法であって、
   第１の未処理顔画像、又は前記第１の未処理顔画像に画像処理を施した処理済み顔画像から、ユーザにより指定された顔構成部を特定するステップと、
   前記第１の未処理顔画像と同一の被写体の画像である第２の未処理顔画像を取得するステップと、
   取得された前記第２の未処理顔画像における前記顔構成部に対応する顔構成部画像に基づいて、前記処理済み顔画像内の前記顔構成部を修正するステップと、
   を含むことを特徴とする画像処理方法。
7. 画像処理装置のコンピュータを、
   第１の未処理顔画像、又は前記第１の未処理顔画像に画像処理を施した処理済み顔画像から、ユーザにより指定された顔構成部を特定する特定手段、
   前記第１の未処理顔画像と同一の被写体の画像である第２の未処理顔画像を取得する取得手段、
   前記取得手段により取得された前記第２の未処理顔画像における前記顔構成部に対応する顔構成部画像に基づいて、前記処理済み顔画像内の前記顔構成部を修正する修正手段、
   として機能させることを特徴とするプログラム。