JP6142604B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、目、鼻、口、耳、顔輪郭等の顔部品の特徴点を用いて似顔絵を作成する似顔絵作成装置が知られている（例えば、特許文献１参照）。

特開２００４−１４５６２５号公報

ところで、写真画像に対して二値化処理等の各種のフィルタ処理を行って似顔絵画像を生成した場合、目の形状が写実的に表現されてしまい、似顔絵画像における目の表現を適正に行うことができない虞がある。
なお、写真画像から目を検出して、その検出結果を利用して目の表現力の向上を図る手法も考えられるが、目の検出精度が高くないと不自然な画像が生成されてしまうといった問題も生じる。

そこで、本発明の課題は、二値化処理により生成された顔画像における目の表現力の向上を適正に図ることができる画像処理装置、画像処理方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る画像処理装置は、
元画像を取得する第１取得手段と、前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２取得手段と、前記第１取得手段により取得された元画像内で目の位置を検出する目検出手段と、前記目検出手段による目の位置の検出結果に基づいて、前記第２取得手段により取得された処理済み顔画像内で下瞼に対応する下瞼輪郭を削除する削除手段と、を備えたことを特徴としている。

また、本発明に係る画像処理方法は、
画像処理装置を用いた画像処理方法であって、元画像を取得するステップと、前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得するステップと、取得された元画像内で目の位置を検出するステップと、目の位置の検出結果に基づいて、前記処理済み顔画像内で下瞼に対応する下瞼輪郭を削除するステップと、を含むことを特徴としている。

また、本発明に係るプログラムは、
画像処理装置のコンピュータを、元画像を取得する第１取得手段、前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２取得手段、前記第１取得手段により取得された元画像内で目の位置を検出する目検出手段、前記目検出手段による目の位置の検出結果に基づいて、前記第２取得手段により取得された処理済み顔画像内で下瞼に対応する下瞼輪郭を削除する削除手段、として機能させることを特徴としている。

本発明によれば、二値化処理により生成された顔画像における目の表現力の向上を適正に図ることができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による画像生成処理に係る動作の一例を示すフローチャートである。 図２の画像生成処理を説明するための図である。 図２の画像生成処理を説明するための図である。 図２の画像生成処理を説明するための図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の撮像装置１００は、具体的には、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像記録部５と、画像処理部６と、表示制御部７と、表示部８と、操作入力部９と、中央制御部１０とを備えている。
また、撮像部１、撮像制御部２、画像データ生成部３、メモリ４、画像記録部５、画像処理部６、表示制御部７及び中央制御部１０は、バスライン１１を介して接続されている。

なお、撮像装置１００は、公知のものを適用可能であり、本実施形態のように、主要な機能を撮像機能とするデジタルカメラだけでなく、主要な機能としないものの撮像機能を具備する携帯電話機、スマートフォン等の携帯端末なども含む。

撮像部１は、撮像手段として、所定の被写体を撮像してフレーム画像を生成する。具体的には、図示は省略するが、撮像部１は、例えば、ズームレンズやフォーカスレンズ等のレンズ部と、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等の電子撮像部と、ズームレンズやフォーカスレンズを光軸方向に移動させるレンズ駆動部とを備えている。

撮像制御部２は、撮像部１による被写体の撮像を制御する。即ち、撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部を走査駆動して、レンズ部を通過した光学像を電子撮像部により所定周期毎に二次元の画像信号に変換させ、当該電子撮像部の撮像領域から１画面分ずつフレーム画像を読み出して画像データ生成部３に出力させる。
また、撮像制御部２は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行っても良い。

画像データ生成部３は、撮像部１の電子撮像部から転送されたフレーム画像のアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリにＤＭＡ転送される。

メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像処理部６や中央制御部１０等によって処理されるデータ等を一時的に格納する。

画像記録部５は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部６の符号化部（図示略）により所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化された記録用の画像データを記録する。また、画像記録部５は、画像生成処理の処理対象画像として、例えば、似顔絵画像Ｐ１の画像データを元画像の画像データと対応付けて記録する。
なお、画像記録部５は、例えば、記録媒体（図示略）が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。

画像処理部６は、画像取得部６ａと、似顔絵画像生成部６ｂと、目検出部６ｃと、上瞼探索部６ｄと、黒目探索部６ｅと、マスク生成部６ｆと、下瞼探索部６ｇと、下瞼削除部６ｈとを具備している。
なお、画像処理部６の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

画像取得部６ａは、画像生成処理の処理対象となる画像を取得する。
即ち、画像取得部（第１取得手段）６ａは、元画像（例えば、写真画像等；図示略）の画像データを取得する。具体的には、第１画像取得部６ａは、撮像部１及び撮像制御部２による被写体の撮像によって画像データ生成部３により生成された元画像の画像データ（ＲＧＢデータやＹＵＶデータ）の複製をメモリ４から取得したり、画像記録部５に記録されている元画像の画像データの複製を取得する。
また、画像取得部（第２取得手段）６ａは、画像生成処理の処理対象画像として、似顔絵画像（処理済み顔画像）Ｐ１の画像データを取得する（図３（ａ）参照）。具体的には、画像取得部６ａは、例えば、似顔絵画像生成部６ｂにより生成されて画像記録部５に記録されている似顔絵画像Ｐ１の画像データの複製を取得する。
なお、後述する画像処理部６による各処理は、元画像や似顔絵画像Ｐ１の画像データ自体に対して行われても良いし、必要に応じて元画像や似顔絵画像Ｐ１の画像データを所定の比率で縮小した所定サイズ（例えば、ＶＧＡサイズ等）の縮小画像データに対して行われても良い。

似顔絵画像生成部６ｂは、顔を模式的に表した似顔絵画像Ｐ１を生成する。
即ち、似顔絵画像生成部６ｂは、元画像（図示略）に対して所定の閾値で二値化処理を施して似顔絵画像（処理済み顔画像）Ｐ１を生成する。具体的には、似顔絵画像生成部６ｂは、例えば、元画像（例えば、写真画像等）に対して平滑化処理やぼかし処理等を行なった後、所定の閾値で二値化処理を施して二値化画像を生成する。次に、似顔絵画像生成部６ｂは、例えば、所定の顔検出処理により二値化画像から顔領域を検出した後、顔領域に対して微細部抽出処理を施して、例えば、目、鼻、口、眉、髪の毛、顔の輪郭等の顔構成部を線で表した顔微細部画像（図示略）を生成する。そして、似顔絵画像生成部６ｂは、顔領域内の顔の輪郭内に存する顔構成部及び当該輪郭と接する顔構成部を線で表した、例えば、目、鼻、口、眉等の主要な顔構成部のパーツ画像を含む顔構成部画像（図示略）を生成する。その後、似顔絵画像生成部６ｂは、所定の髪型画像の顔の輪郭よりも内側にて各顔構成部のパーツ画像を重畳させる位置を特定し、当該位置に各顔構成部のパーツ画像を重畳させて、元画像を似顔絵で模式的に表した似顔絵画像Ｐ１の画像データを生成する。
ここで、似顔絵画像生成部６ｂは、似顔絵画像Ｐ１の所定の部分（例えば、目、口、眉等の顔構成部等）に所定の色を付けて表した画像を生成しても良い。
なお、上記した平滑化処理、ぼかし処理、二値化処理、顔検出処理等は、公知の技術であるので、ここでは詳細な説明を省略する。

目検出部６ｃは、元画像内で目Ｅを検出する。
即ち、目検出部（目検出手段）６ｃは、画像取得部６ａにより取得された元画像内で目Ｅの位置を検出する。具体的には、目検出部６ｃは、例えば、ＡＡＭ（Active Appearance Model）を用いた処理により目Ｅを構成する黒目Ｅａ、上瞼Ｅｂ及び下瞼Ｅｃを元画像内で特定する。
ここで、ＡＡＭとは、視覚的事象のモデル化の一手法であり、任意の顔領域の画像のモデル化を行う処理である。例えば、目検出部６ｃは、複数のサンプル顔画像における所定の特徴部位（例えば、目じりや鼻頭やフェイスライン等）の位置や画素値（例えば、輝度値）の統計的分析結果を所定の登録手段に登録しておく。そして、目検出部６ｃは、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔領域の画像をモデル化する。これにより、元画像内で目Ｅを構成する黒目Ｅａ、上瞼Ｅｂ及び下瞼Ｅｃがモデル化される（図３（ｂ）参照）。
また、目検出部６ｃは、元画像内での、黒目Ｅａ、上瞼Ｅｂ、下瞼Ｅｃを構成する各画素のxy座標の位置を検出して、黒目位置データ、上瞼位置データ及び下瞼位置データを生成する。

なお、黒目とは、瞳孔の大きさを調節して網膜に入る光の量を調節する虹彩に相当する領域、即ち、目Ｅの白目以外の領域のことである。また、例えば、虹彩の色が黒以外である、所謂、碧眼の場合も、二値化処理により目の白目以外の領域が黒画素で表されるため、形式的に黒目と言うものとする。

上瞼探索部６ｄは、似顔絵画像Ｐ１内で上瞼輪郭Ａ２を探索する。
即ち、上瞼探索部（上瞼探索手段）６ｄは、目検出部６ｃによる上瞼Ｅｂの位置の検出結果に基づいて、似顔絵画像（処理済み顔画像）Ｐ１内で上瞼に対応する上瞼輪郭Ａ２を探索する。具体的には、上瞼探索部６ｄは、例えば、目検出部６ｃにより生成された左右各々の目Ｅの上瞼位置データを取得し、上瞼Ｅｂを構成する各画素(Xuei, Yuei)について、似顔絵画像Ｐ１の所定の探索範囲(Xuei, Yuie+Tue1)〜(Xuei, Yuei-Tue2)内で画素値が黒(例えば、「0」等)の画素を探索する。そして、上瞼探索部６ｄは、探索された画素値が黒の画素を上瞼輪郭Ａ２を構成する画素として特定する。
なお、Tue1、Tue2の値は、例えば、目検出部６ｃにより検出された目Ｅの左右幅や上下幅等を基準として所定の値に設定される。また、目検出部６ｃによる上瞼Ｅｂの位置の検出精度が低い場合には、例えば、上瞼Ｅｂの幅を太く（上瞼Ｅｂを構成する画素の数を多く）した上で上瞼輪郭Ａ２の探索を行うようにしても良い。

黒目探索部６ｅは、似顔絵画像Ｐ１内で黒目領域Ａ１を探索する。
即ち、黒目探索部（黒目探索手段）６ｅは、目検出部６ｃによる黒目Ｅａの位置の検出結果に基づいて、似顔絵画像（処理済み顔画像）Ｐ１内で黒目に対応する黒目領域Ａ１を探索する。具体的には、黒目探索部６ｅは、例えば、目検出部６ｃにより生成された左右各々の目Ｅの黒目位置データを取得し、黒目Ｅａを構成する各画素(Xpi, Ypi)により閉じられた領域を黒目領域Ａ１とする。さらに、黒目探索部６ｅは、黒目Ｅａを構成する各画素(Xpi, Ypi)について、似顔絵画像Ｐ１の所定の探索範囲(Xpi+Tp, Ypi)〜(Xpi‐Tp, Ypi)内で画素値が黒(例えば、「0」等)の画素を探索する。そして、黒目探索部６ｅは、探索された画素値が黒の画素を黒目領域Ａ１を構成する画素として特定する。
なお、Tpの値は、例えば、目検出部６ｃにより検出された目Ｅの左右幅や上下幅等を基準として所定の値に設定される。また、目検出部６ｃによる黒目Ｅａの位置の検出精度が低い場合には、例えば、黒目Ｅａの幅を太く（黒目Ｅａを構成する画素の数を多く）した上で黒目領域Ａ１の探索を行うようにしても良い。

マスク生成部６ｆは、似顔絵画像Ｐ１内で上瞼輪郭Ａ２及び黒目領域Ａ１を被覆するマスク画像Ｍを生成する。
即ち、マスク生成部（生成手段）６ｆは、似顔絵画像（処理済み顔画像）Ｐ１内で、例えば、左右各々の目Ｅについて、上瞼輪郭Ａ２及び黒目領域Ａ１を被覆するためのマスク領域Ｍａを有するマスク画像Ｍ（図４（ａ）参照）を生成する。
マスク生成部６ｆにより生成されたマスク画像Ｍは、左右のマスク領域Ｍａの中心（例えば、黒目に相当する部分の中心等）が対応する目Ｅの黒目Ｅａの中心と略一致するように似顔絵画像Ｐ１に適用されることで、当該マスク画像Ｍによって似顔絵画像Ｐ１の上瞼輪郭Ａ２及び黒目領域Ａ１が被覆された状態（上瞼輪郭Ａ２及び黒目領域Ａ１以外の部分は露出されたままの状態）となる。

下瞼探索部６ｇは、似顔絵画像Ｐ１内で下瞼輪郭Ａ３を探索する。
即ち、下瞼探索部（下瞼探索手段）６ｇは、目検出部６ｃによる下瞼Ｅｃの位置の検出結果に基づいて、似顔絵画像（処理済み顔画像）Ｐ１内で下瞼に対応する下瞼輪郭Ａ３を探索する。具体的には、下瞼探索部６ｇは、例えば、目検出部６ｃにより生成された左右各々の目Ｅの下瞼位置データを取得し、下瞼Ｅｃを構成する各画素(Xlei, Ylei)について、似顔絵画像Ｐ１の所定の探索範囲(Xlei, Ylei+Tle1)〜(Xlei, Ylei‐Tle2)内で画素値が黒(例えば、「0」等)の画素を探索する。そして、下瞼探索部６ｇは、探索された画素値が黒の画素を下瞼輪郭Ａ３を構成する画素として特定する（図４（ｂ）参照）。
なお、Tle1、Tle2の値は、例えば、目検出部６ｃにより検出された目Ｅの左右幅や上下幅等を基準として所定の値に設定される。ここで、探索範囲は、上瞼側に対して鼻や口の存する側の方が相対的に広くなるように設定されるのが好ましい。
また、図４（ｂ）には、似顔絵画像Ｐ１内で探索された下瞼輪郭Ａ３のみを模式的に表している。

下瞼削除部６ｈは、似顔絵画像Ｐ１内で下瞼輪郭Ａ３を削除する。
即ち、下瞼削除部（削除手段）６ｈは、目検出部６ｃによる目Ｅの位置の検出結果に基づいて、似顔絵画像（処理済み顔画像）Ｐ１内で下瞼に対応する下瞼輪郭Ａ３を削除する。具体的には、下瞼削除部６ｈは、似顔絵画像Ｐ１内で、上瞼探索部６ｄにより探索された上瞼輪郭Ａ２及び黒目探索部６ｅにより探索された黒目領域Ａ１を保護して下瞼輪郭Ａ３を削除する。
例えば、下瞼削除部６ｈは、マスク生成部６ｆにより生成されたマスク画像Ｍを各マスク領域Ｍａの中心が対応する目Ｅの黒目Ｅａの中心と略一致するように似顔絵画像Ｐ１に適用する。そして、下瞼削除部６ｈは、当該似顔絵画像Ｐ１における下瞼輪郭Ａ３のうち、上瞼輪郭Ａ２及び黒目領域Ａ１と重なる画素部分（例えば、目尻や黒目の下端部等）をマスク画像Ｍを用いて保護しつつ、上瞼輪郭Ａ２及び黒目領域Ａ１と重ならない画素部分を削除する。
なお、下瞼輪郭Ａ３のうち、上瞼輪郭Ａ２及び黒目領域Ａ１と重ならない画素部分の削除は、例えば、画素値を白や肌色の画素に変換されることによって行われる。また、削除される画素部分の画素値を白の画素に変換後に、例えば、肌色に描画し直すようにしても良い。

表示制御部７は、メモリ４に一時的に格納されている表示用の画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示制御部７は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１０の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に格納されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。

表示部８は、例えば、液晶表示パネルであり、表示制御部７からのビデオ信号に基づいて撮像部１により撮像された画像などを表示画面に表示する。具体的には、表示部８は、静止画撮像モードや動画撮像モードにて、撮像部１及び撮像制御部２による被写体の撮像により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部８は、静止画として記録される画像（レックビュー画像）を表示したり、動画として記録中の画像を表示する。

操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等（何れも図示略）の操作部を備え、当該操作部の各ボタンの操作に応じて所定の操作信号を中央制御部１０に出力する。

中央制御部１０は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１０は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

＜画像生成処理＞
次に、撮像装置１００による画像生成処理について、図２〜図５を参照して説明する。
図２は、画像生成処理に係る動作の一例を示すフローチャートである。

画像生成処理は、ユーザによる操作入力部９の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から画像生成モードが選択指示された場合に、中央制御部１０の制御下にて当該撮像装置１００の各部、特に画像処理部６により実行される処理である。
また、画像生成処理の処理対象となる元画像及び似顔絵画像Ｐ１の画像データは、予め画像記録部５に記録されているものとする。

図２に示すように、先ず、画像取得部６ａは、画像記録部５に記録されている複数の似顔絵画像Ｐ１の画像データの中で、ユーザによる操作入力部９の所定操作に基づいて画像生成処理の処理対象として指定された画像データを画像記録部５から読み出して取得する（ステップＳ１；図３（ａ）参照）。また、画像取得部６ａは、似顔絵画像Ｐ１と対応付けられている元画像の画像データを画像記録部５から読み出して取得する。
次に、目検出部６ｃは、画像取得部６ａにより取得された元画像の画像データに対して所定の目検出処理（例えば、ＡＡＭ等）を行って、目Ｅを構成する黒目Ｅａ、上瞼Ｅｂ、下瞼Ｅｃの位置を検出する（ステップＳ２；図３（ｂ）参照）。そして、目検出部６ｃは、黒目Ｅａ、上瞼Ｅｂ、下瞼Ｅｃを構成する各画素のxy座標の位置を検出して、黒目位置データ、上瞼位置データ及び下瞼位置データを生成する。

次に、上瞼探索部６ｄは、目検出部６ｃから左右各々の目Ｅの上瞼位置データを取得し、上瞼Ｅｂの位置の検出結果に基づいて、似顔絵画像Ｐ１内で上瞼を構成する画素を探索して上瞼輪郭Ａ２を特定する（ステップＳ３参照）。
その後、黒目探索部６ｅは、目検出部６ｃから左右各々の目Ｅの黒目位置データを取得し、黒目Ｅａの位置の検出結果に基づいて、似顔絵画像Ｐ１内で黒目を構成する画素を探索して黒目領域Ａ１を特定する（ステップＳ４参照）。

なお、ステップＳ３における上瞼輪郭Ａ２を探索する処理と、ステップＳ４における黒目領域Ａ１を探索する処理の順序は、一例であってこれに限られるものではなく、例えば、逆にしても良い。

続けて、マスク生成部６ｆは、似顔絵画像Ｐ１内で、左右各々の目Ｅの上瞼輪郭Ａ２及び黒目領域Ａ１を被覆するマスク領域Ｍａを有するマスク画像Ｍを生成する（ステップＳ５；図４（ａ）参照）。

次に、下瞼探索部６ｇは、目検出部６ｃから左右各々の目Ｅの下瞼位置データを取得し、下瞼Ｅｃの位置の検出結果に基づいて、似顔絵画像Ｐ１内で下瞼を構成する画素を探索して下瞼輪郭Ａ３を特定する（ステップＳ６；図４（ｂ）参照）。

なお、ステップＳ３〜Ｓ５におけるマスク画像Ｍの生成に係る各処理と、ステップＳ６における下瞼輪郭Ａ３を探索する処理の順序は、一例であってこれに限られるものではなく適宜任意に変更可能である。例えば、ステップＳ６の下瞼輪郭Ａ３を探索する処理を、ステップＳ３〜Ｓ５の処理の前に行っても良いし、ステップＳ３〜Ｓ５の処理の途中で行っても良い。

次に、下瞼削除部６ｈは、マスク画像Ｍを各マスク領域Ｍａの中心が対応する目Ｅの黒目Ｅａの中心と略一致するように似顔絵画像Ｐ１に適用して、上瞼輪郭Ａ２及び黒目領域Ａ１を保護しつつ下瞼輪郭Ａ３を削除する（ステップＳ７）。
具体的には、下瞼削除部６ｈは、似顔絵画像Ｐ１における下瞼輪郭Ａ３のうち、上瞼輪郭Ａ２及び黒目領域Ａ１と重なる画素部分（例えば、目尻や黒目の下端部等）をマスク画像Ｍを用いて保護しつつ、上瞼輪郭Ａ２及び黒目領域Ａ１と重ならない画素部分を削除して、下瞼削除画像Ｐ２を生成する。その後、画像記録部５は、下瞼削除画像Ｐ２の画像データを取得して記録する。
これにより、画像生成処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、目Ｅの位置の検出結果に基づいて、所定の閾値で二値化処理が施されることで生成された似顔絵画像（処理済み顔画像）Ｐ１内で下瞼領域Ａ３を削除するので、目Ｅの検出精度が高くない場合であっても、当該目Ｅの位置の検出結果を利用して似顔絵画像Ｐ１内で下瞼領域Ａ３を適正に削除することができる。これにより、目Ｅの形状が写実的に表現されてしまうことを抑制して当該似顔絵画像Ｐ１（下瞼削除画像Ｐ２）の完成度を向上させることができ、二値化処理により生成された顔画像における目Ｅの表現力の向上を適正に図ることができる。

また、目Ｅを構成する下瞼Ｅｃの位置の検出結果に基づいて、似顔絵画像Ｐ１内で下瞼輪郭Ａ３を探索するので、下瞼輪郭Ａ３の探索を適正に行うことができ、似顔絵画像Ｐ１から当該下瞼輪郭Ａ３を適正に削除することができる。即ち、似顔絵画像Ｐ１を生成する場合の二値化処理の閾値を調整するだけでは下瞼輪郭Ａ３の削除を行うことができない虞があるが、下瞼Ｅｃの位置の検出結果を利用することで似顔絵画像Ｐ１内で下瞼輪郭Ａ３の探索を適正に行うことができる。これにより、探索された下瞼輪郭Ａ３を似顔絵画像Ｐ１から削除することができ、当該似顔絵画像Ｐ１の完成度を向上させることができる。

また、目Ｅを構成する上瞼Ｅｂの位置の検出結果に基づいて、似顔絵画像Ｐ１内で上瞼輪郭Ａ２を探索し、また、目Ｅを構成する黒目Ｅａの位置の検出結果に基づいて、似顔絵画像Ｐ１内で黒目領域Ａ１を探索して、似顔絵画像Ｐ１内で上瞼輪郭Ａ２及び黒目領域Ａ１を保護して下瞼輪郭Ａ３を削除するので、似顔絵画像Ｐ１から下瞼輪郭Ａ３を削除する際に上瞼輪郭Ａ２や黒目領域Ａ１が削除されることを抑制することができる。特に、似顔絵画像Ｐ１内で、上瞼輪郭Ａ２及び黒目領域Ａ１を被覆するマスク画像Ｍを用いることで、下瞼輪郭Ａ３のうち、上瞼輪郭Ａ２及び黒目領域Ａ１と重なる部分（例えば、目尻や黒目の下端部等）の保護を適正に行うことができるとともに、上瞼輪郭Ａ２及び黒目領域Ａ１と重ならない部分の削除を適正に行うことができる。この結果、似顔絵画像Ｐ１（下瞼削除画像Ｐ２）の完成度を向上させることができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、マスク画像Ｍを用いて上瞼輪郭Ａ２及び黒目領域Ａ１を保護しつつ下瞼輪郭Ａ３を削除するようにしたが、下瞼輪郭Ａ３の削除の手法の一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、下瞼輪郭Ａ３の探索（特定）を高い精度で行うことができる場合には、必ずしもマスク画像Ｍを用いた上瞼輪郭Ａ２及び黒目領域Ａ１の保護は必要ない。
また、上瞼輪郭Ａ２及び黒目領域Ａ１の保護にマスク画像Ｍを用いるようにしたが、上瞼輪郭Ａ２及び黒目領域Ａ１の保護の手法の一例であってこれに限られるものではなく、適宜任意に変更可能である。

また、上記実施形態にあっては、似顔絵画像Ｐ１は正面顔を表した画像である必要はなく、例えば、所定の軸を中心として斜めを向くように顔が傾いた似顔絵画像Ｐ１であっても良い。この場合には、当該似顔絵画像Ｐ１の顔が正面を向くように変形させた画像を生成して用いても良い。

さらに、上記実施形態にあっては、顔を模式的に表した似顔絵画像Ｐ１を生成する似顔絵画像生成部６ｂを具備するようにしたが、一例であってこれに限られるものではなく、必ずしも似顔絵画像生成部６ｂを具備する必要はない。
また、上記実施形態にあっては、画像生成処理の処理対象画像として、似顔絵画像Ｐ１を例示したが、一例であってこれに限られるものではなく、例えば、似顔絵に加工する処理前の画像、即ち、撮像部１により撮像された画像であっても良い。加えて、似顔絵に加工する処理前の画像から似顔絵画像Ｐ１を生成する際に、下瞼輪郭Ａ３を削除するようにしても良い。

さらに、上記実施形態にあっては、処理済み顔画像として、似顔絵画像Ｐ１を例示したが、一例であってこれに限られるものではなく、所定の閾値で二値化処理が施されることで生成された顔画像であれば適宜任意に変更可能である。

また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。また、画像処理装置として、撮像装置１００を例示したが、これに限られるものではなく、本発明に係る画像処理を実行可能なものであれば如何なる構成であっても良い。

加えて、上記実施形態にあっては、第１取得手段、第２取得手段、目検出手段、削除手段としての機能を、中央制御部１０のＣＰＵの制御下にて、画像取得部６ａ、目検出部６ｃ、下瞼削除部６ｈが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、第１取得処理ルーチン、第２取得処理ルーチン、目検出処理ルーチン、削除処理ルーチンを含むプログラムを記憶しておく。そして、第１取得処理ルーチンにより中央制御部１０のＣＰＵを、元画像を取得する手段として機能させるようにしても良い。また、第２取得処理ルーチンにより中央制御部１０のＣＰＵを、元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する手段として機能させるようにしても良い。また、目検出処理ルーチンにより中央制御部１０のＣＰＵを、取得された元画像内で目Ｅの位置を検出する手段として機能させるようにしても良い。また、削除処理ルーチンにより中央制御部１０のＣＰＵを、目Ｅの位置の検出結果に基づいて、処理済み顔画像内で下瞼に対応する下瞼輪郭Ａ３を削除する手段として機能させるようにしても良い。

同様に、下瞼探索手段、上瞼探索手段、黒目探索手段、生成手段についても、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
元画像を取得する第１取得手段と、
前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２取得手段と、
前記第１取得手段により取得された元画像内で目の位置を検出する目検出手段と、
前記目検出手段による目の位置の検出結果に基づいて、前記第２取得手段により取得された処理済み顔画像内で下瞼に対応する下瞼輪郭を削除する削除手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記目検出手段は、更に、前記目を構成する下瞼の位置を検出し、
前記目検出手段による下瞼の位置の検出結果に基づいて、前記処理済み顔画像内で前記下瞼輪郭を探索する下瞼探索手段を更に備え、
前記削除手段は、
前記処理済み顔画像内で、前記下瞼探索手段により探索された前記下瞼輪郭を削除することを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記目検出手段は、更に、前記目を構成する上瞼及び黒目の位置を検出し、
前記目検出手段による上瞼の位置の検出結果に基づいて、前記処理済み顔画像内で上瞼に対応する上瞼輪郭を探索する上瞼探索手段と、
前記目検出手段による黒目の位置の検出結果に基づいて、前記処理済み顔画像内で黒目に対応する黒目領域を探索する黒目探索手段と、を更に備え、
前記削除手段は、
前記処理済み顔画像内で、前記上瞼探索手段により探索された上瞼輪郭及び前記黒目探索手段により探索された黒目領域を保護して前記下瞼輪郭を削除することを特徴とする請求項１又は２に記載の画像処理装置。
＜請求項４＞
前記処理済み顔画像内で、前記上瞼輪郭及び前記黒目領域を被覆するマスク画像を生成する生成手段を更に備え、
前記削除手段は、
前記下瞼輪郭のうち、前記上瞼輪郭及び前記黒目領域と重なる部分を前記生成手段により生成されたマスク画像を用いて保護し、前記上瞼輪郭及び前記黒目領域と重ならない部分を削除することを特徴とする請求項３に記載の画像処理装置。
＜請求項５＞
前記処理済み顔画像は、顔を模式的に表した似顔絵画像を含むことを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
＜請求項６＞
画像処理装置を用いた画像処理方法であって、
元画像を取得するステップと、
前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得するステップと、
取得された元画像内で目の位置を検出するステップと、
目の位置の検出結果に基づいて、前記処理済み顔画像内で下瞼に対応する下瞼輪郭を削除するステップと、
を含むことを特徴とする画像処理方法。
＜請求項７＞
画像処理装置のコンピュータを、
元画像を取得する第１取得手段、
前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２取得手段、
前記第１取得手段により取得された元画像内で目の位置を検出する目検出手段、
前記目検出手段による目の位置の検出結果に基づいて、前記第２取得手段により取得された処理済み顔画像内で下瞼に対応する下瞼輪郭を削除する削除手段、
として機能させることを特徴とするプログラム。

１００ 撮像装置
１ 撮像部
５ 画像記録部
６ 画像処理部
６ａ 画像取得部
６ｃ 目検出部
６ｄ 上瞼探索部
６ｅ 黒目探索部
６ｆ マスク生成部
６ｇ 下瞼探索部
６ｈ 下瞼削除部
１０ 中央制御部

Claims (7)

1. 元画像を取得する第１取得手段と、
   前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２取得手段と、
   前記第１取得手段により取得された元画像内で目の位置を検出する目検出手段と、
   前記目検出手段による目の位置の検出結果に基づいて、前記第２取得手段により取得された処理済み顔画像内で下瞼に対応する下瞼輪郭を削除する削除手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記目検出手段は、更に、前記目を構成する下瞼の位置を検出し、
   前記目検出手段による下瞼の位置の検出結果に基づいて、前記処理済み顔画像内で前記下瞼輪郭を探索する下瞼探索手段を更に備え、
   前記削除手段は、
   前記処理済み顔画像内で、前記下瞼探索手段により探索された前記下瞼輪郭を削除することを特徴とする請求項１に記載の画像処理装置。
3. 前記目検出手段は、更に、前記目を構成する上瞼及び黒目の位置を検出し、
   前記目検出手段による上瞼の位置の検出結果に基づいて、前記処理済み顔画像内で上瞼に対応する上瞼輪郭を探索する上瞼探索手段と、
   前記目検出手段による黒目の位置の検出結果に基づいて、前記処理済み顔画像内で黒目に対応する黒目領域を探索する黒目探索手段と、を更に備え、
   前記削除手段は、
   前記処理済み顔画像内で、前記上瞼探索手段により探索された上瞼輪郭及び前記黒目探索手段により探索された黒目領域を保護して前記下瞼輪郭を削除することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記処理済み顔画像内で、前記上瞼輪郭及び前記黒目領域を被覆するマスク画像を生成する生成手段を更に備え、
   前記削除手段は、
   前記下瞼輪郭のうち、前記上瞼輪郭及び前記黒目領域と重なる部分を前記生成手段により生成されたマスク画像を用いて保護し、前記上瞼輪郭及び前記黒目領域と重ならない部分を削除することを特徴とする請求項３に記載の画像処理装置。
5. 前記処理済み顔画像は、顔を模式的に表した似顔絵画像を含むことを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
6. 画像処理装置を用いた画像処理方法であって、
   元画像を取得するステップと、
   前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得するステップと、
   取得された元画像内で目の位置を検出するステップと、
   目の位置の検出結果に基づいて、前記処理済み顔画像内で下瞼に対応する下瞼輪郭を削除するステップと、
   を含むことを特徴とする画像処理方法。
7. 画像処理装置のコンピュータを、
   元画像を取得する第１取得手段、
   前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２取得手段、
   前記第１取得手段により取得された元画像内で目の位置を検出する目検出手段、
   前記目検出手段による目の位置の検出結果に基づいて、前記第２取得手段により取得された処理済み顔画像内で下瞼に対応する下瞼輪郭を削除する削除手段、
   として機能させることを特徴とするプログラム。