JP6354118B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、目、鼻、口、耳、顔輪郭等の顔部品の特徴点を用いて似顔絵を作成する似顔絵作成装置が知られている（例えば、特許文献１参照）。

特開２００４−１４５６２５号公報

ところで、写真画像に対して二値化処理等を行って似顔絵画像を生成する手法も知られているが、この場合、黒目の中のキャッチライトの形状によっては、似顔絵画像における目の表現を適正に行うことができない虞がある。

そこで、本発明の課題は、二値化処理により生成された顔画像における目の表現力の向上を図ることができる画像処理装置、画像処理方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る画像処理装置は、
元画像を取得する第１取得手段と、前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２取得手段と、前記第２取得手段により取得された処理済み顔画像内で黒目領域を特定する黒目特定手段と、前記処理済み顔画像内で前記黒目領域以外の他の領域を被覆するマスク画像を生成する生成手段と、前記生成手段により生成されたマスク画像を用いて前記黒目領域を所定の色で塗り潰す消去手段と、前記消去手段によって前記所定の色で塗り潰された前記黒目領域にキャッチライト画像を描画する描画手段と、を備えたことを特徴としている。

また、本発明に係る画像処理方法は、
画像処理装置を用いた画像処理方法であって、元画像を取得するステップと、前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得するステップと、取得された処理済み顔画像内で黒目領域を特定するステップと、前記処理済み顔画像内で前記黒目領域以外の他の領域を被覆するマスク画像を生成するステップと、生成されたマスク画像を用いて前記黒目領域を所定の色で塗り潰すステップと、前記所定の色で塗り潰された前記黒目領域にキャッチライト画像を描画するステップと、を含むことを特徴としている。

また、本発明に係るプログラムは、
画像処理装置のコンピュータを、元画像を取得する第１取得手段、前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２取得手段、前記第２取得手段により取得された処理済み顔画像内で黒目領域を特定する黒目特定手段、前記処理済み顔画像内で前記黒目領域以外の他の領域を被覆するマスク画像を生成する生成手段、前記生成手段により生成されたマスク画像を用いて前記黒目領域を所定の色で塗り潰す消去手段、前記消去手段によって前記所定の色で塗り潰された前記黒目領域にキャッチライト画像を描画する描画手段、として機能させることを特徴としている。

本発明によれば、二値化処理により生成された顔画像における目の表現力の向上を図ることができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による画像生成処理に係る動作の一例を示すフローチャートである。 図２の画像生成処理を説明するための図である。 図２の画像生成処理を説明するための図である。 図２の画像生成処理を説明するための図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の撮像装置１００は、具体的には、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像記録部５と、画像処理部６と、表示制御部７と、表示部８と、操作入力部９と、中央制御部１０とを備えている。
また、撮像部１、撮像制御部２、画像データ生成部３、メモリ４、画像記録部５、画像処理部６、表示制御部７及び中央制御部１０は、バスライン１１を介して接続されている。

なお、撮像装置１００は、公知のものを適用可能であり、本実施形態のように、主要な機能を撮像機能とするデジタルカメラだけでなく、主要な機能としないものの撮像機能を具備する携帯電話機、スマートフォン等の携帯端末なども含む。

撮像部１は、撮像手段として、所定の被写体を撮像してフレーム画像を生成する。具体的には、図示は省略するが、撮像部１は、例えば、ズームレンズやフォーカスレンズ等のレンズ部と、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等の電子撮像部と、ズームレンズやフォーカスレンズを光軸方向に移動させるレンズ駆動部とを備えている。

撮像制御部２は、撮像部１による被写体の撮像を制御する。即ち、撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部を走査駆動して、レンズ部を通過した光学像を電子撮像部により所定周期毎に二次元の画像信号に変換させ、当該電子撮像部の撮像領域から１画面分ずつフレーム画像を読み出して画像データ生成部３に出力させる。
また、撮像制御部２は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行っても良い。

画像データ生成部３は、撮像部１の電子撮像部から転送されたフレーム画像のアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリにＤＭＡ転送される。

メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像処理部６や中央制御部１０等によって処理されるデータ等を一時的に格納する。

画像記録部５は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部６の符号化部（図示略）により所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化された記録用の画像データを記録する。また、画像記録部５は、画像生成処理の処理対象画像として、例えば、似顔絵画像Ｐ１の画像データを元画像の画像データと対応付けて記録する。
なお、画像記録部５は、例えば、記録媒体（図示略）が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。

画像処理部６は、画像取得部６ａと、似顔絵画像生成部６ｂと、目検出部６ｃと、黒目特定部６ｄと、マスク生成部６ｅと、目幅算出部６ｆと、描画位置特定部６ｇと、画像消去部６ｈと、画像描画部６ｉと、描画判定部６ｊとを具備している。
なお、画像処理部６の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

画像取得部６ａは、画像生成処理の処理対象となる画像を取得する。
即ち、画像取得部（第１取得手段）６ａは、元画像（例えば、写真画像等；図示略）の画像データを取得する。具体的には、第１画像取得部６ａは、撮像部１及び撮像制御部２による被写体の撮像によって画像データ生成部３により生成された元画像の画像データ（ＲＧＢデータやＹＵＶデータ）の複製をメモリ４から取得したり、画像記録部５に記録されている元画像の画像データの複製を取得する。
また、画像取得部（第２取得手段）６ａは、似顔絵画像（処理済み顔画像）Ｐ１の画像データを取得する（図３（ａ）参照）。具体的には、画像取得部６ａは、例えば、似顔絵画像生成部６ｂにより生成されて画像記録部５に記録されている似顔絵画像Ｐ１の画像データの複製を取得する。
なお、後述する画像処理部６による各処理は、元画像や似顔絵画像Ｐ１の画像データ自体に対して行われても良いし、必要に応じて元画像や似顔絵画像Ｐ１の画像データを所定の比率で縮小した所定サイズ（例えば、ＶＧＡサイズ等）の縮小画像データに対して行われても良い。

似顔絵画像生成部６ｂは、顔を模式的に表した似顔絵画像Ｐ１を生成する。
即ち、似顔絵画像生成部６ｂは、元画像（図示略）に対して所定の閾値で二値化処理を施して似顔絵画像（処理済み顔画像）Ｐ１を生成する。具体的には、似顔絵画像生成部６ｂは、例えば、元画像（例えば、写真画像等）に対して平滑化処理やぼかし処理等を行なった後、所定の閾値で二値化処理を施して二値化画像を生成する。次に、似顔絵画像生成部６ｂは、例えば、所定の顔検出処理により二値化画像から顔領域を検出した後、顔領域に対して微細部抽出処理を施して、例えば、目、鼻、口、眉、髪の毛、顔の輪郭等の顔構成部を線で表した顔微細部画像（図示略）を生成する。そして、似顔絵画像生成部６ｂは、顔領域内の顔の輪郭内に存する顔構成部及び当該輪郭と接する顔構成部を線で表した、例えば、目、鼻、口、眉等の主要な顔構成部のパーツ画像を含む顔構成部画像（図示略）を生成する。その後、似顔絵画像生成部６ｂは、所定の髪型画像の顔の輪郭よりも内側にて各顔構成部のパーツ画像を重畳させる位置を特定し、当該位置に各顔構成部のパーツ画像を重畳させて、元画像を似顔絵で模式的に表した似顔絵画像Ｐ１の画像データを生成する。
ここで、似顔絵画像生成部６ｂは、似顔絵画像Ｐ１の所定の部分（例えば、目、口、眉等の顔構成部等）に所定の色を付けて表した画像を生成しても良い。
なお、上記した平滑化処理、ぼかし処理、二値化処理、顔検出処理等は、公知の技術であるので、ここでは詳細な説明を省略する。

目検出部６ｃは、元画像内で目Ｅを検出する。
即ち、目検出部（目検出手段）６ｃは、画像取得部６ａにより取得された元画像内で目Ｅを検出する。具体的には、目検出部６ｃは、例えば、ＡＡＭ（Active Appearance Model）を用いた処理により目Ｅを構成する黒目Ｅａ、上瞼Ｅｂ、下瞼Ｅｃを元画像内で特定して検出する。
ここで、ＡＡＭとは、視覚的事象のモデル化の一手法であり、任意の顔領域の画像のモデル化を行う処理である。例えば、目検出部６ｃは、複数のサンプル顔画像における所定の特徴部位（例えば、目じりや鼻頭やフェイスライン等）の位置や画素値（例えば、輝度値）の統計的分析結果を所定の登録手段に登録しておく。そして、目検出部６ｃは、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔領域の画像をモデル化する。これにより、元画像内で目Ｅを構成する黒目Ｅａ、上瞼Ｅｂ、下瞼Ｅｃがモデル化される（図３（ｂ）参照）。
なお、目検出部６ｃは、似顔絵画像Ｐ１内で目Ｅを構成する黒目Ｅａ、上瞼Ｅｂ、下瞼Ｅｃを検出しても良い。

黒目特定部６ｄは、似顔絵画像Ｐ１内で黒目領域Ａ１を特定する。
即ち、黒目特定部（黒目特定手段）６ｄは、画像取得部６ａにより取得された似顔絵画像（処理済み顔画像）Ｐ１内で黒目領域Ａ１を特定する。具体的には、黒目特定部６ｄは、目検出部６ｃによる目Ｅの検出結果（例えば、ＡＡＭの結果）に基づいて、似顔絵画像Ｐ１内で黒目の中心の座標位置及び黒目の大きさ（例えば、上下幅や左右幅等）を算出して黒目領域Ａ１を特定する（図３（ｃ）参照）。
なお、黒目領域Ａ１とは、瞳孔の大きさを調節して網膜に入る光の量を調節する虹彩に相当する領域、即ち、目Ｅの白目領域Ａ２以外の領域のことである。また、例えば、虹彩の色が黒以外である、所謂、碧眼の場合も、二値化処理により目の白目領域Ａ２以外の領域が黒画素で表されるため、形式的に黒目領域Ａ１と言うものとする。

マスク生成部６ｅは、似顔絵画像Ｐ１内で黒目領域Ａ１以外の他の領域を被覆するマスク画像Ｍを生成する。
即ち、マスク生成部（生成手段）６ｅは、目検出部６ｃによる目Ｅの検出結果に基づいて、似顔絵画像（処理済み顔画像）Ｐ１内で黒目領域Ａ１以外の他の領域を被覆するマスク画像Ｍを生成する。具体的には、マスク生成部６ｅは、例えば、目Ｅの検出結果に基づいて特定された黒目領域Ａ１の大きさ（例えば、上下幅や左右幅等）と略等しい大きさのマスク領域Ｍａを有するマスク画像Ｍを生成する。例えば、マスク生成部６ｅは、黒目領域Ａ１の上下幅及び左右幅のうち、何れか一方を直径とする円形状のマスク領域Ｍａを有するマスク画像Ｍを生成する（図４（ａ）参照）。
マスク生成部６ｅにより生成されたマスク画像Ｍは、マスク領域Ｍａの中心が黒目領域Ａ１の中心と略一致するように似顔絵画像Ｐ１に適用されることで、当該マスク画像Ｍによって似顔絵画像Ｐ１の黒目領域Ａ１以外の他の全ての領域が被覆された状態となる（図４（ｂ）参照）。

目幅算出部６ｆは、目Ｅの上下幅を算出する。
即ち、目幅算出部（算出手段）６ｆは、目検出部６ｃによる目Ｅの検出結果（例えば、ＡＡＭの結果）に基づいて、目Ｅの上下幅を算出する。具体的には、目幅算出部６ｆは、キャッチライト画像Ｃが描画される目Ｅを処理対象として、当該目Ｅの検出結果から目Ｅを構成する上瞼Ｅｂと下瞼Ｅｃの間の上下方向（まぶたを閉じる方向）に沿った距離のうち、最大となる距離を目Ｅの上下幅として算出する。

描画位置特定部６ｇは、キャッチライト画像Ｃの描画位置Ｃｐを特定する。
即ち、描画位置特定部（描画位置特定手段）６ｇは、目検出部６ｃによる目Ｅの検出結果（例えば、ＡＡＭの結果）に基づいて、黒目領域Ａ１の中心を基準としてキャッチライト画像Ｃの描画位置Ｃｐを特定する。具体的には、描画位置特定部６ｇは、例えば、黒目領域Ａ１の中心に対して所定の距離だけ左右何れかの斜め上方向にずれた位置をキャッチライト画像Ｃの描画位置Ｃｐとして特定する（図５（ａ）参照）。
なお、キャッチライト画像Ｃの描画位置Ｃｐの黒目領域Ａ１の中心に対するずれ量は、例えば、黒目領域Ａ１の寸法等に応じて適宜任意に変更可能である。

画像消去部６ｈは、キャッチライト領域を消去する。
即ち、画像消去部（消去手段）６ｈは、黒目特定部６ｄにより特定された黒目領域Ａ１において、キャッチライトの存する領域を消去する。具体的には、画像消去部６ｈは、マスク生成部６ｅにより生成されたマスク画像Ｍを用いて黒目特定部６ｄにより特定された黒目領域Ａ１を所定の色で塗り潰す。例えば、画像消去部６ｈは、マスク画像Ｍをマスク領域Ｍａの中心が黒目領域Ａ１の中心と略一致するように似顔絵画像Ｐ１に適用した後、似顔絵画像Ｐ１におけるマスク領域Ｍａの内側を所定の色（例えば、黒色）で塗り潰す（図４（ｂ）参照）。これにより、画像消去部６ｈは、黒目領域Ａ１におけるキャッチライト領域を消去する。

画像描画部６ｉは、似顔絵画像Ｐ１にキャッチライト画像Ｃを描画する。
即ち、画像描画部（描画手段）６ｉは、画像消去部６ｈによりキャッチライト領域が消去された黒目領域Ａ１にキャッチライト画像Ｃを新たに描画する。具体的には、画像描画部６ｉは、例えば、画像消去部６ｈにより塗り潰された領域（黒目領域Ａ１）の中心を基準として描画位置特定部６ｇにより特定されたキャッチライト画像Ｃの描画位置Ｃｐに所定形状（例えば、＋（プラス）形状等）のキャッチライト画像Ｃを描画する（図５（ｂ）参照）。
なお、キャッチライト画像Ｃの寸法は、例えば、似顔絵画像Ｐ１や黒目領域Ａ１等の寸法に応じて適宜任意に変更可能である。

描画判定部６ｊは、画像描画部６ｉによるキャッチライト画像Ｃの描画を禁止するか否かを判定する。
即ち、描画判定部（第１判定手段）６ｊは、目幅算出部６ｆにより算出された目Ｅの上下幅に基づいて、画像描画部６ｉによるキャッチライト画像Ｃの描画を禁止するか否かを判定する。具体的には、描画判定部６ｊは、例えば、キャッチライト画像Ｃが描画される目Ｅの上下幅が所定の判定値よりも小さいか否かに応じてキャッチライト画像Ｃの描画を禁止するか否かを判定する。つまり、キャッチライト画像Ｃが描画される目Ｅの上下幅が所定の判定値よりも小さい場合には、笑顔の状態のように目が細くなって黒目領域Ａ１が小さくなっている（或いは、目を閉じている）ため、描画判定部６ｊは、キャッチライト画像Ｃの描画を禁止する。
また、描画判定部（第２判定手段）６ｊは、描画位置特定部６ｇにより特定されたキャッチライト画像Ｃの描画位置Ｃｐの周辺部分の色情報に基づいて、画像描画部６ｉによるキャッチライト画像Ｃの描画を禁止するか否かを判定する。具体的には、描画判定部６ｊは、例えば、似顔絵画像Ｐ１におけるキャッチライト画像Ｃの描画位置Ｃｐの周辺部分の色情報を取得して、黒目領域Ａ１と同じ画素値であるか否かに応じてキャッチライト画像Ｃの描画を禁止するか否かを判定する。つまり、キャッチライト画像Ｃの描画位置Ｃｐが黒目領域Ａ１の境界に近くなって描画位置Ｃｐの周辺部分の色が黒目領域Ａ１と異なる色（例えば、肌色等）となっている場合には、描画判定部６ｊは、キャッチライト画像Ｃの描画を禁止する。

表示制御部７は、メモリ４に一時的に格納されている表示用の画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示制御部７は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１０の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に格納されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。

表示部８は、例えば、液晶表示パネルであり、表示制御部７からのビデオ信号に基づいて撮像部１により撮像された画像などを表示画面に表示する。具体的には、表示部８は、静止画撮像モードや動画撮像モードにて、撮像部１及び撮像制御部２による被写体の撮像により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部８は、静止画として記録される画像（レックビュー画像）を表示したり、動画として記録中の画像を表示する。

操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等（何れも図示略）の操作部を備え、当該操作部の各ボタンの操作に応じて所定の操作信号を中央制御部１０に出力する。

中央制御部１０は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１０は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

＜画像生成処理＞
次に、撮像装置１００による画像生成処理について、図２〜図５を参照して説明する。
図２は、画像生成処理に係る動作の一例を示すフローチャートである。

画像生成処理は、ユーザによる操作入力部９の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から画像生成モードが選択指示された場合に、中央制御部１０の制御下にて当該撮像装置１００の各部、特に画像処理部６により実行される処理である。
また、画像生成処理の処理対象となる元画像及び似顔絵画像Ｐ１の画像データは、予め画像記録部５に記録されているものとする。

図２に示すように、先ず、画像取得部６ａは、画像記録部５に記録されている複数の似顔絵画像Ｐ１の画像データの中で、ユーザによる操作入力部９の所定操作に基づいて画像生成処理の処理対象として指定された画像データを画像記録部５から読み出して取得する（ステップＳ１；図３（ａ）参照）。また、画像取得部６ａは、似顔絵画像Ｐ１と対応付けられている元画像の画像データを画像記録部５から読み出して取得する。
次に、目検出部６ｃは、画像取得部６ａにより取得された元画像の画像データに対して所定の目検出処理（例えば、ＡＡＭ等）を行って、目Ｅを構成する黒目Ｅａ、上瞼Ｅｂ、下瞼Ｅｃを検出する（ステップＳ２；図３（ｂ）参照）。続けて、黒目特定部６ｄは、目検出部６ｃによる目Ｅの検出結果に基づいて、似顔絵画像Ｐ１内で黒目の中心の座標位置及び黒目の大きさ（例えば、上下幅や左右幅等）を算出して黒目領域Ａ１を特定する（ステップＳ３；図３（ｃ）参照）。

次に、マスク生成部６ｅは、特定された黒目領域Ａ１の大きさ（例えば、上下幅や左右幅等）と略等しい大きさのマスク領域Ｍａを有するマスク画像Ｍを生成する（ステップＳ４；図４（ａ）参照）。続けて、画像消去部６ｈは、生成されたマスク画像Ｍをマスク領域Ｍａの中心が黒目領域Ａ１の中心と略一致するように似顔絵画像Ｐ１に適用して、似顔絵画像Ｐ１におけるマスク領域Ｍａの内側を所定の色（例えば、黒色）で塗り潰す（ステップＳ５；図４（ｂ）参照）。

その後、目幅算出部６ｆは、目検出部６ｃによる目Ｅの検出結果に基づいて、目Ｅを構成する上瞼Ｅｂと下瞼Ｅｃの間の上下方向に沿った距離のうち、最大となる距離を目Ｅの上下幅として算出する（ステップＳ６）。続けて、描画判定部６ｊは、算出された目Ｅの上下幅が所定の判定値よりも小さいか否かを判定する（ステップＳ７）。
ステップＳ７にて、目Ｅの上下幅が所定の判定値よりも小さくないと判定されると（ステップＳ７；ＮＯ）、描画位置特定部６ｇは、目検出部６ｃによる目Ｅの検出結果に基づいて、黒目領域Ａ１の中心に対して所定の距離だけ左右何れかの斜め上方向にずれた位置をキャッチライト画像Ｃの描画位置Ｃｐとして特定する（ステップＳ８；図５（ａ）参照）。続けて、描画判定部６ｊは、似顔絵画像Ｐ１におけるキャッチライト画像Ｃの描画位置Ｃｐの周辺部分の色情報を取得して、黒目領域Ａ１の色と同じであるか否かを判定する（ステップＳ９）。

ステップＳ９にて、キャッチライト画像Ｃの描画位置Ｃｐの周辺部分が黒目領域Ａ１の色と同じであると判定されると（ステップＳ９；ＹＥＳ）、画像描画部６ｉは、塗り潰された領域（黒目領域Ａ１）内で、描画位置特定部６ｇにより特定されたキャッチライト画像Ｃの描画位置Ｃｐに所定形状のキャッチライト画像Ｃを描画して、キャッチライト描画画像Ｐ２を生成する（ステップＳ１０；図５（ｂ）参照）。その後、画像記録部５は、キャッチライト描画画像Ｐ２の画像データを取得して記録する。
これにより、画像生成処理を終了する。

一方、ステップＳ７にて、目Ｅの上下幅が所定の判定値よりも小さいと判定された場合には（ステップＳ７；ＹＥＳ）、中央制御部１０のＣＰＵは、ステップＳ８〜Ｓ１０の各処理をスキップして、画像生成処理を終了する。
また、ステップＳ９にて、キャッチライト画像Ｃの描画位置Ｃｐの周辺部分が黒目領域Ａ１の色と同じでないと判定された場合には（ステップＳ９；ＮＯ）、中央制御部１０のＣＰＵは、ステップＳ１０の処理をスキップして、画像生成処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、所定の閾値で二値化処理が施されることで生成された似顔絵画像（処理済み顔画像）Ｐ１内で黒目領域Ａ１を特定して、特定された黒目領域Ａ１においてキャッチライト領域を消去し、当該黒目領域Ａ１に適したキャッチライト画像Ｃを新たに描画するので、似顔絵画像Ｐ１内の黒目領域Ａ１に既に存在しているキャッチライトに変えて新たにキャッチライト画像Ｃを描画することができ、二値化処理により生成された顔画像における目Ｅの表現力の向上を図ることができる。即ち、例えば、似顔絵画像Ｐ１内の黒目領域Ａ１に既に存在しているキャッチライトの形状がいびつ（歪）であったりすると似顔絵画像Ｐ１の完成度が低下してしまい、似顔絵画像Ｐ１の視認者の満足度が低下する虞があるが、既に存在しているキャッチライトを消去するように新たにキャッチライト画像Ｃを描画することで、二値化処理により生成された似顔絵画像Ｐ１における目Ｅの表現力を向上させて当該似顔絵画像Ｐ１の完成度を向上させることができる。

また、似顔絵画像Ｐ１内で黒目領域Ａ１以外の他の領域を被覆するマスク画像Ｍを用いて黒目領域Ａ１を所定の色で塗り潰すことで、似顔絵画像Ｐ１内で黒目領域Ａ１以外の他の領域を塗り潰すことなく、黒目領域Ａ１に既に存在しているキャッチライト領域を消去することができ、その後、キャッチライト画像Ｃの描画を適正に行うことができる。

また、目Ｅの検出結果に基づいて、処理済み顔画像内で黒目領域Ａ１を特定するので、例えば、ＡＡＭ等を用いた目Ｅの検出結果を利用して、黒目領域Ａ１の特定を適正に行うことができる。

さらに、検出された目Ｅの上下幅やキャッチライト画像Ｃの描画位置Ｃｐの周辺部分の色情報に基づいて、キャッチライト画像Ｃの描画を禁止するか否かを判定するので、目Ｅの上下幅やキャッチライト画像Ｃの描画位置Ｃｐの周辺部分の色情報を考慮して、似顔絵画像Ｐ１の完成度が低下する虞のあるキャッチライト画像Ｃの描画を禁止することができる。即ち、例えば、笑顔の状態のように目が細くなっている場合や、キャッチライト画像Ｃの描画位置Ｃｐが黒目領域Ａ１の境界に近くなっている場合等に、キャッチライト画像Ｃが描画されることで却って似顔絵画像Ｐ１が不自然になってしまう虞がある場合には、キャッチライト画像Ｃの描画を禁止することで、似顔絵画像Ｐ１の完成度が低下してしまうことを抑制することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、マスク画像Ｍを用いて黒目領域Ａ１を所定の色で塗り潰した後、所定位置にキャッチライト画像Ｃを描画するようにしたが、画像描画部６ｉによるキャッチライト画像Ｃの描画の手法の一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、似顔絵画像Ｐ１内の黒目領域Ａ１に既に存在しているキャッチライトを活かして当該キャッチライトの大きさが大きくなるように描画しても良い。

また、上記実施形態にあっては、似顔絵画像Ｐ１は正面顔を表した画像である必要はなく、例えば、所定の軸を中心として斜めを向くように顔が傾いた似顔絵画像Ｐ１であっても良い。この場合には、当該似顔絵画像Ｐ１の顔が正面を向くように変形させた画像を生成して用いても良い。

さらに、上記実施形態にあっては、顔を模式的に表した似顔絵画像Ｐ１を生成する似顔絵画像生成部６ｂを具備するようにしたが、一例であってこれに限られるものではなく、必ずしも似顔絵画像生成部６ｂを具備する必要はない。
また、上記実施形態にあっては、画像生成処理の処理対象画像として、似顔絵画像Ｐ１を例示したが、一例であってこれに限られるものではなく、例えば、似顔絵に加工する処理前の画像、即ち、撮像部１により撮像された画像であっても良い。加えて、似顔絵に加工する処理前の画像から似顔絵画像Ｐ１を生成する際に、黒目領域Ａ１において、キャッチライト領域を消去し、当該黒目領域Ａ１に適したキャッチライト画像Ｃを新たに描画しても良い。

さらに、上記実施形態にあっては、処理済み顔画像として、似顔絵画像Ｐ１を例示したが、一例であってこれに限られるものではなく、所定の閾値で二値化処理が施されることで生成された顔画像であれば適宜任意に変更可能である。

また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。また、画像処理装置として、撮像装置１００を例示したが、これに限られるものではなく、本発明に係る画像処理を実行可能なものであれば如何なる構成であっても良い。

加えて、上記実施形態にあっては、第１取得手段、第２取得手段、黒目特定手段、消去手段、描画手段としての機能を、中央制御部１０のＣＰＵの制御下にて、画像取得部６ａ、黒目特定部６ｄ、画像消去部６ｈ、画像描画部６ｉが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、第１取得処理ルーチン、第２取得処理ルーチン、黒目特定処理ルーチン、消去処理ルーチン、描画処理ルーチンを含むプログラムを記憶しておく。そして、第１取得処理ルーチンにより中央制御部１０のＣＰＵを、元画像を取得する手段として機能させるようにしても良い。また、第２取得処理ルーチンにより中央制御部１０のＣＰＵを、元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する手段として機能させるようにしても良い。また、黒目特定処理ルーチンにより中央制御部１０のＣＰＵを、取得された処理済み顔画像内で黒目領域Ａ１を特定する手段として機能させるようにしても良い。また、消去処理ルーチンにより中央制御部１０のＣＰＵのＣＰＵを、特定された黒目領域において、キャッチライト領域を消去する手段として機能させるようにしても良い。また、描画処理ルーチンにより中央制御部１０のＣＰＵを、キャッチライト領域が消去された黒目領域Ａ１にキャッチライト画像Ｃを描画する手段として機能させるようにしても良い。

同様に、目検出手段、生成手段、算出手段、第１判定手段、描画位置特定手段、第２判定手段についても、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
元画像を取得する第１取得手段と、
前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２取得手段と、
前記第２取得手段により取得された処理済み顔画像内で黒目領域を特定する黒目特定手段と、
前記黒目特定手段により特定された黒目領域において、キャッチライト領域を消去する消去手段と、
前記消去手段により前記キャッチライト領域が消去された前記黒目領域にキャッチライト画像を描画する描画手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記第１取得手段により取得された元画像内で目を検出する目検出手段を更に備え、
前記黒目特定手段は、
前記目検出手段による目の検出結果に基づいて、前記処理済み顔画像内で前記黒目領域を特定することを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記目検出手段による目の検出結果に基づいて、前記処理済み顔画像内で前記黒目領域以外の他の領域を被覆するマスク画像を生成する生成手段を更に備え、
前記消去手段は、
前記生成手段により生成されたマスク画像を用いて前記黒目領域を所定の色で塗り潰して前記キャッチライト領域を消去することを特徴とする請求項２に記載の画像処理装置。
＜請求項４＞
前記目検出手段による目の検出結果に基づいて、目の上下幅を算出する算出手段と、
前記算出手段により算出された目の上下幅に基づいて、前記描画手段による前記キャッチライト画像の描画を禁止するか否かを判定する第１判定手段と、を更に備えることを特徴とする請求項２又は３に記載の画像処理装置。
＜請求項５＞
前記目検出手段による目の検出結果に基づいて、前記黒目領域の中心を基準として前記キャッチライト画像の描画位置を特定する描画位置特定手段と、
前記描画位置特定手段により特定された前記キャッチライト画像の描画位置の周辺部分の色情報に基づいて、前記描画手段による前記キャッチライト画像の描画を禁止するか否かを判定する第２判定手段と、を更に備えることを特徴とする請求項２又は３に記載の画像処理装置。
＜請求項６＞
前記処理済み顔画像は、顔を模式的に表した似顔絵画像を含むことを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
＜請求項７＞
画像処理装置を用いた画像処理方法であって、
元画像を取得するステップと、
前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得するステップと、
取得された処理済み顔画像内で黒目領域を特定するステップと、
特定された黒目領域において、キャッチライト領域を消去するステップと、
前記キャッチライト領域が消去された前記黒目領域にキャッチライト画像を描画するステップと、
を含むことを特徴とする画像処理方法。
＜請求項８＞
画像処理装置のコンピュータを、
元画像を取得する第１取得手段、
前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２取得手段、
前記第２取得手段により取得された処理済み顔画像内で黒目領域を特定する黒目特定手段、
前記黒目特定手段により特定された黒目領域において、キャッチライト領域を消去する消去手段、
前記消去手段により前記キャッチライト領域が消去された前記黒目領域にキャッチライト画像を描画する描画手段、
として機能させることを特徴とするプログラム。

１００ 撮像装置
１ 撮像部
５ 画像記録部
６ 画像処理部
６ａ 画像取得部
６ｃ 目検出部
６ｄ 黒目特定部
６ｅ マスク生成部
６ｆ 目幅算出部
６ｇ 描画位置特定部
６ｈ 画像消去部
６ｉ 画像描画部
６ｊ 描画判定部
１０ 中央制御部

Claims (7)

1. 元画像を取得する第１取得手段と、
   前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２取得手段と、
   前記第２取得手段により取得された処理済み顔画像内で黒目領域を特定する黒目特定手段と、
   前記処理済み顔画像内で前記黒目領域以外の他の領域を被覆するマスク画像を生成する生成手段と、
   前記生成手段により生成されたマスク画像を用いて前記黒目領域を所定の色で塗り潰す消去手段と、
   前記消去手段によって前記所定の色で塗り潰された前記黒目領域にキャッチライト画像を描画する描画手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記第１取得手段により取得された元画像内で目を検出する目検出手段を更に備え、
   前記黒目特定手段は、
   前記目検出手段による目の検出結果に基づいて、前記処理済み顔画像内で前記黒目領域を特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記目検出手段による目の検出結果に基づいて、目の上下幅を算出する算出手段と、
   前記算出手段により算出された目の上下幅に基づいて、前記描画手段による前記キャッチライト画像の描画を禁止するか否かを判定する第１判定手段と、を更に備えることを特徴とする請求項２に記載の画像処理装置。
4. 前記目検出手段による目の検出結果に基づいて、前記黒目領域の中心を基準として前記キャッチライト画像の描画位置を特定する描画位置特定手段と、
   前記描画位置特定手段により特定された前記キャッチライト画像の描画位置の周辺部分の色情報に基づいて、前記描画手段による前記キャッチライト画像の描画を禁止するか否かを判定する第２判定手段と、を更に備えることを特徴とする請求項２に記載の画像処理装置。
5. 前記処理済み顔画像は、顔を模式的に表した似顔絵画像を含むことを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
6. 画像処理装置を用いた画像処理方法であって、
   元画像を取得するステップと、
   前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得するステップと、
   取得された処理済み顔画像内で黒目領域を特定するステップと、
   前記処理済み顔画像内で前記黒目領域以外の他の領域を被覆するマスク画像を生成するステップと、
   生成されたマスク画像を用いて前記黒目領域を所定の色で塗り潰すステップと、
   前記所定の色で塗り潰された前記黒目領域にキャッチライト画像を描画するステップと、
   を含むことを特徴とする画像処理方法。
7. 画像処理装置のコンピュータを、
   元画像を取得する第１取得手段、
   前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２取得手段、
   前記第２取得手段により取得された処理済み顔画像内で黒目領域を特定する黒目特定手段、
   前記処理済み顔画像内で前記黒目領域以外の他の領域を被覆するマスク画像を生成する生成手段、
   前記生成手段により生成されたマスク画像を用いて前記黒目領域を所定の色で塗り潰す消去手段、
   前記消去手段によって前記所定の色で塗り潰された前記黒目領域にキャッチライト画像を描画する描画手段、
   として機能させることを特徴とするプログラム。