JP4537143B2 - 画像処理装置及びその方法、撮像装置、プログラム - Google Patents

Description

本発明は、顔の画像の目領域中に適切なキャッチライト設定を行う画像処理方法及び装置に関する。

従来、より自然な画像を演出するためにキャッチライトを設定する画像処理装置が提案されている（例えば特許文献１、２参照）。

特許文献１では、写真画像の所望の部分を指定し、この指定された所望部分においてキャッチライトの位置を指定するが、目領域及びキャッチライト位置設定は操作者が手動により行う。

特許文献２では、オペレータが目領域を含む領域を指定すると、その指定領域内から目領域を抽出し、抽出された目領域中のキャッチライトを判定し、キャッチライトが微弱である場合にはキャッチライトを強調するようになっており、目領域を含む領域指定はオペレータが手動により行っていた。
特開平１０−９１７６１号公報 特開平１０−７５３７４号公報

しかしながら、上記従来技術では、キャッチライト設定を行う際の画像中の顔・目領域の指定やキャッチライト位置・大きさの指定は操作者が手動で行なっているため、操作者の操作が煩雑となり、画像補正の精度が操作者の操作に大きく依存してしまう。

そこで、本発明の目的は、適切なキャッチライトを簡単に設定可能とすることである。

上記課題を解決するために、本発明によれば、画像処理方法に、画像を入力する入力ステップと、入力された前記画像を分析して、顔領域と目領域と瞳孔・虹彩領域との位置及び大きさを含む顔画像生成パラメータを抽出する顔画像生成パラメータ抽出ステップと、前記瞳孔・虹彩領域中で所定値以上の明度を持つ領域をキャッチライト領域として検出する検出ステップと、前記キャッチライト領域が検出された場合に、前記顔画像生成パラメータに基づいて当該キャッチライト領域の大きさが適切か否かを判定する判定ステップと、前記キャッチライト領域が検出されなかった場合に、前記顔画像生成パラメータに基づいて前記画像に新たにキャッチライトの設定を行い、前記キャッチライト領域の大きさが適切でないと判定された場合に、前記顔画像生成パラメータに基づいて当該キャッチライト領域の大きさを補正するキャッチライト設定ステップとを備える。

また、本発明の他の態様によれば、画像処理装置に、画像を入力する入力手段と、入力された前記画像を分析して、顔領域と目領域と瞳孔・虹彩領域との位置及び大きさを含む顔画像生成パラメータを抽出する顔画像生成パラメータ抽出手段と、前記瞳孔・虹彩領域中で所定値以上の明度を持つ領域をキャッチライト領域として検出する検出手段と、前記キャッチライト領域が検出された場合に、前記顔画像生成パラメータに基づいて当該キャッチライト領域の大きさが適切か否かを判定する判定手段と、前記キャッチライト領域が検出されなかった場合に、前記顔画像生成パラメータに基づいて前記画像に新たにキャッチライトの設定を行い、前記キャッチライト領域の大きさが適切でないと判定された場合に、前記顔画像生成パラメータに基づいて当該キャッチライト領域の大きさを補正するキャッチライト設定手段とを備える。

本発明によれば、顔画像生成パラメータを用いてキャッチライトを設定することにより、顔の画像の目領域中に適切なキャッチライトを簡単に設定することができる。

以下、添付図面を参照しながら、本発明の実施形態を説明する。

（実施形態１）
図１は本実施形態の画像処理装置の機能構成を示す図である。

本発明の画像処理装置は画像入力部１００と顔画像生成パラメータ抽出部１０１とキャッチライト設定部１０２から構成される。

顔画像生成パラメータ抽出部１０１で抽出される顔画像生成パラメータとは、例えば、入力画像中に含まれる顔画像を記述するために必要な角度（顔の向きなど）情報パラメータ、位置情報パラメータ（目領域中の瞳孔の位置、虹彩の位置など）、色情報パラメータ（顔の各パーツの色成分値など）などを示すが、これら角度情報パラメータ、位置情報パラメータ、色情報パラメータに限定されるわけではない。

画像入力部１００は、デジタルカメラのＣＣＤセンサなどからの信号をＡＤ変換して得られるデジタル画像を入力画像とする。図２は、顔画像生成パラメータ抽出部の詳細構成を示した図である。同図に示すように、顔画像生成パラメータ抽出部１０１は、目・口・顔位置検出部１１０と顔の向き・大きさ検出部１１１と瞳孔・虹彩領域の位置・大きさ検出部１１２とから構成されている。図３は、人間の目領域の構成を示した図である。目領域は、瞳孔１１３と虹彩１１４と白目１１５とを含んでいる。

目・口・顔位置検出部１１０は、画像入力部１００で得られた画像に対して目・口・顔の位置を検出する。例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（Ｙａｎｎ ＬｅＣｕｎ ａｎｄ Ｙｏｓｈｕａ Ｂｅｎｇｉｏ“Ｃｏｎｖｏｌｕｔｉｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｉｍａｇｅｓ，Ｓｐｅｅｃｈ，ａｎｄ Ｔｉｍｅ Ｓｅｒｉｅｓ”Ｔｈｅ Ｈａｎｄｂｏｏｋ ｏｆ Ｂｒａｉｎ Ｔｈｅｏｒｙ ａｎｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ｐｐ２５５−２５８ １９９５など参照）を用いることにより顔・目・口候補位置検出を行い、これら顔・目・口候補位置検出の空間的な配置関係から顔・目・口検出位置を決定する方法などがある。図４は、Ｃｏｎｖｏｌｕｔｉｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを用いて検出した顔検出位置１２１・目検出位置１２０・口検出位置１２２を示した図である。

図５は、顔が正面を向いている場合の左右目と口検出位置間の距離を示した図であり、図６は、顔が左回転した場合の左右目と口検出位置間の距離を示した図である。顔の向き検出部１１１における顔の向きは、目・口・顔位置検出部１１０で得られた目（１２０）・口（１２２）・顔（１２１）検出位置から、右目検出位置と顔検出位置間の距離（１３０）と、左目検出位置と顔検出位置間の距離（１３１）との比により算出する。

つまり、図５のように正面を向いている場合には、右目検出位置と顔検出位置間の距離（１３０）と、左目検出位置と顔検出位置間の距離（１３１）との比が１対１であり、図６のように顔が右に回転した場合には、右目検出位置と顔検出位置間の距離（１３３）は、正面を向いている場合の右目検出位置と顔検出位置間の距離（１３０）より短くなり、左目検出位置と顔検出位置間の距離（１３４）は、正面を向いている場合の左目検出位置と顔検出位置間の距離（１３１）より長くなる。よって、この目検出位置と顔検出位置間の距離を用いることによって顔の向きを推定している。

正面を向いている場合を０度として、顔が左方向に軸回転した場合の回転角αは

ａ：左目検出位置と顔検出位置間距離、ｂ：左右目検出位置の中点と顔検出間距離、ｃ：左右目検出位置間距離
などのように表される。また、顔の上方向に軸回転した場合の回転角βは

ｄ：顔検出位置と口検出位置間距離、ｅ：目検出位置と口検出位置の中点と顔検出位置間距離、ｆ：目検出位置と口検出位置の中点と口検出位置間距離
などのように表される。

瞳孔・虹彩領域の位置・大きさ判定部１１２は目領域中の瞳孔領域を含んだ虹彩領域の位置と大きさを算出するモジュールであり、本実施形態においては瞳孔領域を含んだ虹彩領域を瞳孔・虹彩領域と書く。瞳孔・虹彩領域の位置と大きさを算出する方法は、例えば、画像入力部１００で得られた画像に対して図７のように２値化閾値処理（例えば、閾値５０とするが、この値に限定されるわけではない。）を行うことによって２値化処理画像１４０を算出し、口・目・顔位置検出部１１０で得られた目と顔の検出位置を用いて図７に示すように左右それぞれの目領域のみを囲う矩形の右目領域１４１と左目領域１４２を決定する。

そして、それぞれの目領域において図８，９に示すように縦・横方向のヒストグラムを作成し、作成した図８の横方向のヒストグラムより目の横（ｘ）方向の長さ１５０、瞳孔・虹彩領域１５１、ヒストグラムの最大値を示すｘ座標より瞳孔・虹彩領域の横方向中心位置１５２を得る。また、図９の縦方向のヒストグラムの中心より瞳孔・虹彩領域中心位置１５３、目の縦（ｙ）方向の長さ１５４を得る。

図１０、１１は瞳孔・虹彩領域が目領域の中心にある場合、すなわち正面を向いている場合の目領域における横・縦方向のヒストグラムをそれぞれ示しており、瞳孔・虹彩領域の縦・横方向中心位置１６２、１６４が抽出された目の横（ｘ）方向の長さ１６０，目の縦（ｙ）方向の長さ１６５の中点とほぼ同じ位置にある。

図１２、１３は瞳孔・虹彩領域が目領域の中心から横（ｘ）方向に移動した場合の横・縦方向のヒストグラムを示しており、瞳孔・虹彩領域の横方向中心位置１７３が抽出された目の横（ｘ）方向の長さの中心位置１７４と異なっている。

図１４、１５は瞳孔・虹彩領域が目領域の中心から縦（ｙ）方向に移動した場合の横・縦方向のヒストグラムを示しており、瞳孔・虹彩領域の縦方向中心位置１８５が抽出された目の縦（ｙ）方向の長さの中心位置１８６と異なっている。ヒストグラムにおいて複数の山が発生した場合には最も大きい山を示すヒストグラムを用いることによって、瞳孔・虹彩領域の中心位置１８５、瞳孔・虹彩領域１８７を得る。

よって、これら図８〜１５のヒストグラムに見られるように、目領域中の２値化画像のヒストグラムを用いることによって、目領域中の瞳孔・虹彩領域の中心位置を抽出することができる。なお、図１０、１１に示すヒストグラムはそれぞれ図８、９と同じである。

図１６は、キャッチライト設定部の詳細構成を示した図である。キャッチライト設定部１０２は、図１６のようにキャッチライトの大きさ設定部１９０とキャッチライトの位置設定部１９１から構成される。

キャッチライトの大きさ設定部１９０は、瞳孔・虹彩領域の位置大きさ検出部１１２で得られた瞳孔・虹彩領域の大きさからキャッチライトの大きさを決定する。この実施形態においてはキャッチライトに用いる形状は円形としているが、キャッチライトの形状は円形に限定されるわけではない。

図１７は、キャッチライトの大きさを決定する場合の目領域における横方向ヒストグラムとキャッチライトの大きさとの関係を示した図である。ここでは円形キャッチライトの直径は、瞳孔・虹彩領域の大きさ２００の１／５の長さとしている。この円形キャッチライトの直径も、瞳の長さの１／５に限定されるわけではなく、さらに、キャッチライトの直径を決定する際の基準となる特徴は、瞳の大きさ以外に例えば、顔のサイズなどを用いてもよい。

キャッチライトの位置設定部１９１は、瞳孔・虹彩領域中のキャッチライトの位置を設定する。本実施形態では、瞳孔・虹彩領域の中心を基準としてキャッチライトの位置を設定しているが、必ずしも瞳孔・虹彩領域の中心を基準としてキャッチライトの設定を行う必要はない。

図１８は、顔の向きを水平面内（Ｚ軸周りの回転）左方向に回転させて視線方向が正面を向いた場合を示した図である。瞳孔・虹彩領域の中心を基準とした瞳孔・虹彩領域中のキャッチライトの位置は、図１８のように顔の向き２１２、目領域中心２１１と瞳孔・虹彩領域中心２１０間距離（視線方向）などによって決まる。

正面を向いている状態で、瞳孔・虹彩領域の中心にキャッチライトがある場合を基準とし、顔の回転によりキャッチライトが目領域を移動する横軸（ｘ）方向の位置ベクトルＬ_１ｘ、縦軸（ｙ）方向の位置ベクトルＬ_１ｙとすると
ｇ＊Ｌ_１ｘ＝−ｓｉｎ（α）
左方向ベクトル：＋右方向ベクトル：−
ｇ＊Ｌ_１ｙ＝−ｓｉｎ（β）
上方向ベクトル：＋下方向ベクトル：−
α：水平面内方向（図１８のＺ軸周りの回転）の回転角
β：垂直面内方向の回転角（図１８のＺ軸を含む面）
ｇ：顔サイズによって決定される定数値
となる。

図１９は、顔が正面を向いている場合のキャッチライトの位置を基準として、顔の向きを水平面内左方向に回転させた場合のキャッチライト位置ベクトルを示した図である。顔を正面向きから左軸方向に回転させた場合の横軸（ｘ）方向の位置ベクトルをＬ_１ｘで表している。

また、目領域の中心を基準とし、目領域の中心と瞳孔・虹彩領域の中心の横軸（ｘ）方向の位置ベクトルをＬ_２ｘ（目領域の中心から左方向：＋目領域の中心から右方向：−）、縦軸（ｙ）方向の位置ベクトルをＬ_２ｙ（目領域の中心から下方向：−目領域の中心から上方向：＋）とする。よって、これらの式より瞳孔・虹彩領域の中心からのキャッチライト移動距離Ｌ_ｘ、Ｌ_ｙはＬ_ｘ＝（ｇ＊Ｌ_１ｘ−ｈ＊Ｌ_２ｘ）、Ｌ_ｙ＝（ｇ＊Ｌ_１ｙ−ｈ＊Ｌ_２ｙ）により算出される。ｇ，ｈは顔のサイズによって決定される定数値である。

これにより、図１８のように顔は水平面内の左方向（図１８のＺ軸周りの回転）を向いているが視線方向は正面方向を向いている場合、顔の向きからはＬ_１ｘ（ベクトルの大きさ：−）が算出され、視線方向からはＬ_２ｘ（ベクトルの大きさ：−）が算出される。よって、

の場合には

となり、ほぼ瞳孔・虹彩領域の中心位置にキャッチライトが設定される。なお、瞳位置や顔の向きから決定されるキャッチライトの位置は、顔の向きのみや瞳位置のみから決定しても良いし、何か他の手段を用いても良い。

図２０は、実施形態１における全体処理手順を示したフローチャートであり、顔画像生成パラメータ抽出からキャッチライト位置を設定するまでの手順を示している。

ステップＳ２３０において顔画像生成パラメータを抽出し、顔画像生成パラメメータを用いて顔の向きを抽出する（ステップＳ２３１）。一方、ステップＳ２３２において顔画像生成パラメータを用いて目領域を決定し、ステップＳ２３３で目領域における縦・横方向ヒストグラムを生成し、この縦・横方向ヒストグラムを用いてステップＳ２３４で瞳孔・虹彩領域の位置・大きさを抽出する。さらに、ステップＳ２３５でキャッチライトの大きさを決定し、ステップＳ２３６で視線方向を抽出する。ステップＳ２３７では、ステップＳ２３１で抽出された顔の向きとステップＳ２３６で抽出された視線方向とステップＳ２３５で抽出されたキャッチライトの大きさとを用いることによって、キャッチライトの位置と大きさとが設定される。

（実施形態２）
図２１は、実施形態２の画像処理装置の機能構成を示す図であり、画像入力部３００と顔画像生成パラメータ抽出部３０１と色欠陥検出・補正部３０２とキャッチライト付加・補正判定部３０３とキャッチライト設定部３０４から構成される。

実施形態２の画像入力部３００と顔画像生成パラメータ抽出部３０１は実施形態１同様の動作を行う。

色欠陥検出・補正部３０２は、画像中の色欠陥検出・補正処理を行う。例えば、ストロボ発光時に起こる赤目の検出・補正などが主な例である。本実施形態２では色欠陥・補正処理を赤目領域検出・補正としているが、必ずしも赤目領域検出・補正に限られるわけではない。赤目検出は、例えば、顔画像生成パラメータ抽出部３０１で抽出された目の位置検出パラメータを用いて目領域を決定し、目領域に対して顔画像生成パラメータ抽出部３０１で抽出された色情報パラメータを用いて赤目検出を行う。

もし、所定値以上の赤色成分の領域が検出された場合には、赤目が発生していると判定を行う。赤目補正処理に関しては、例えば、あらかじめ用意しておいた虹彩領域の色を用いて赤目領域を補正する方法などがある。

キャッチライト付加・補正部３０３は、画像入力部３００で得られた画像を分析することにより得られる顔画像生成パラメータを用いて、色補正後の画像のキャッチライト有無判定を行う。キャッチライトの有無判定は、例えば、所定値以上の輝度値（例えば、輝度値２００など）が目領域にあるかという判定方法がある。

キャッチライト設定部３０４は、色欠陥の補正処理を行った後、実施形態１で説明したような方法を用いてキャッチライト設定を行う。なお、実施形態１でも述べた通り、キャッチライトの設定は、実施形態１で説明した方法に限られるわけではない。

図２２は、色欠陥検出・補正処理後にキャッチライト設定処理を行う場合の処理手順を示すフローチャートであり、色欠陥検出・補正処理ステップＳ３１０を行った後にステップＳ３１１においてキャッチライトがないと判定された場合には、ステップＳ３１２においてキャッチライトが設定される。ステップＳ３１１において、キャッチライトがあると判定された場合には何もしない。

（実施形態３）
図２３は、実施形態３における撮像装置の機能構成を示した図であり、撮像部４００と画像処理部４０１と画像２次記憶部４０２から構成されている。図２４は、撮像部４００の詳細構成を示した図である。図２４に示すように、撮像部４００は、結像光学系４１０と固体撮像素子４１１と映像信号処理４１２と画像１次記憶部４１３などから構成される。

図２５は、画像処理部４０１の詳細構成を示した図である。図２５に示すように、画像処理部４０１は、画像１次記憶部４０２からデジタル画像の読み出しを行う画像入力部４２０と、顔画像生成パラメータ抽出部４２１と、色欠陥検出・補正部４２２と、キャッチライト付加・補正判定部４２３と、キャッチライト設定部４２４で構成される。以下、詳細を説明する。

撮像部４００の結像光学系４１０は、例えばレンズなどであり、固体撮像素子４１１は例えばＣＣＤなどであり、撮影画像を電気信号に変換する。固体撮像素子４１１で得られた電気的な信号は、映像信号処理回路４１２においてＡＤ変換される。また、映像信号処理回路４１２において得られたデジタル画像は、画像１次記憶部４１３において記憶媒体に記憶される。記憶媒体としては、例えばフラッシュメモリなどがあるが、フラッシュメモリに限定されるわけではない。

画像処理部４０１における画像入力部４２０は、画像１次記憶部４１３からデジタル画像の読み出しを行う。

顔画像生成パラメータ抽出部４２１は、画像入力部４２０で得られたデジタル画像に対して実施形態１、２と同様の処理を行うことによって、画像データの分析を行う。

色欠陥検出・補正部４２２は、実施形態２と同様に、顔画像生成パラメータを用いて、目領域に所定値以上の赤色成分領域が含まれている場合には赤目と判定し、補正する。この補正方法は、実施形態２の他に、例えば、次のような方法がある。

図２６は、色欠陥がある場合の所定値以上の明度領域４３２と瞳孔・虹彩領域４３１とを含む目領域４３０を示す図である。図２６のように、瞳孔・虹彩領域４３１において、所定値（例えば明度値２００など）以上の明度領域４３２を持つ画素を検出し、この所定値以上の明度領域を持つ領域を除いた領域を補正する方法がある。

図２７は、瞳孔・虹彩領域４４０における所望のキャッチライトの大きさ４４１と検出された所定値以上の明度領域４４２を示した図である。

キャッチライト付加・補正判定部４２３は、色欠陥検出・補正部４２２による色補正後の領域において、図２７の瞳孔・虹彩領域４４０中で、所定値以上の明度値（例えば明度値２００など）を持つ領域４４２が、顔画像生成パラメータを用いることによって決定される所望のキャッチライトの大きさ４４１（例えば明度値２００を示す領域の直径が瞳孔・虹彩領域の１／５など）以下の場合に、キャッチライト範囲を拡大する必要があると判定する。なお、所望のキャッチライトの大きさは、画像生成パラメータの一つである瞳孔・虹彩領域から決定しても良いし、他のパラメータを用いても良い。

さらに必要ならば、キャッチライトが抽出された領域における色情報が、所望の色（例えば、白色成分など）と異なる場合には、キャッチライト領域における色を補正する必要があると判定する。

キャッチライト設定部４２４は、キャッチライト付加・補正判定部４２３で得られた所定値以上の明度（例えば明度値２００など）領域４４２の中心位置、色情報、顔画像生成パラメータの一つである瞳孔・虹彩領域の大きさで決定されるキャッチライトの大きさ（例えば、瞳孔・虹彩領域の大きさの１／５の直径を持つ円など）を用いて、キャッチライトの付加または補正が設定する。

なお、キャッチライトの大きさは、瞳孔領域、虹彩領域もしくは両方を含む領域、画像生成パラメータから得られる顔のサイズ、もしくは目のサイズを用いてもよく、形状は円形の他の形状を用いても良い。補正時に用いるキャッチライトの色は、キャッチライト付加・補正判定部４２３で得られた所定値以上の明度領域の色情報を用いてもよいし、あらかじめ用意しておいた色情報（白色など）を用いても良い。また、キャッチライト範囲を拡大するだけでなく、検出されたキャッチライトのサイズが基準値より大きい場合（金目など）は縮小する。

なお、キャッチライト設定における補正処理では、キャッチライトの大きさ、色の補正をすべて行う必要はない。

図２８は、実施形態３の画像処理部４０１におけるキャッチライト領域検出からキャッチライト設定までの処理手順を示すフローチャートである。

ステップＳ４５０でキャッチライト領域を抽出し、ステップＳ４５１で所定明度領域が所定値以下である場合にはキャッチライト設定する必要があると判定され、ステップＳ４５２でキャッチライト大きさの設定がされ、ステップＳ４５３でキャッチライト位置が設定される。ステップＳ４５１で所定明度領域が所定値以下でないと判定された場合にはキャッチライト設定必要なしと判定され、何も処理を行わない。

画像２次記憶部４０２は、画像処理部４０１で補正処理されたデジタル画像を記憶媒体などに記憶する。記憶媒体は、例えばフラッシュメモリなどがある。なお、画像１次記憶部４１３と画像２次記憶部４０２は同一の記憶媒体を用いても良いし、別の記憶媒体を用いても良い。

（実施形態４）
図２９は、実施形態４における撮像装置の機能構成を示した図であり、ストロボ発光部を含む撮像部５００と、キャッチライト発生可能性通知部５０１と、画像処理部５０２と、画像２次記憶部５０３とから構成される。

撮像部５００と画像処理部５０２と画像２次記憶部５０３は、実施形態３と同様の処理を行う。また、画像処理部５０２は実施形態３と同様の構成である。なお、実施形態３でも説明したが、記憶媒体は撮像部５００に１次記憶媒体があり、１次記憶媒体と２次記憶媒体は例えば、フラッシュメモリなどがあり、さらに１次記憶媒体と２次記憶媒体は同一の記憶媒体を用いても良い。図３０は実施形態４の処理手順を示すフローチャートであり、以下詳細を示す。

撮像部５００でデジタル画像を得た後に、ステップＳ５１０で、撮像部５００がストロボ発光したことなどを示すイベントを検出したキャッチライト発生可能性通知部５０１が、キャッチライト発生可能性ありと判定した場合には、実施形態１などで説明した画像分析を行い、その結果得られる顔画像生成パラメータを用いてステップＳ５１１で色欠陥検出を行う。ステップＳ５１１において色欠陥が検出されたならば、ステップＳ５１２において色欠陥補正処理を行う。

ステップＳ５１１において色欠陥が検出されなかった場合には、何もしないでステップＳ５１３に進む。ステップＳ５１３では、キャッチライト付加・補正処理の判定が行われ、キャッチライト付加または補正処理が必要ならば、ステップＳ５１４においてキャッチライト付加・補正処理が行われる。ステップＳ５１３において、キャッチライト付加または補正処理が必要ないと判定されたならば、ステップＳ５１５に進む。ステップＳ５１５においては、必要に応じて色欠陥補正処理、キャッチライト付加・補正処理がなされた画像を記録媒体に記憶する。

このように、上述したキャッチライト設定機能を撮像装置に設けることにより、撮像した顔の画像中の目の領域にキャッチライトを設定可能な撮像装置を実現することができる。

（実施形態５）
図３１は実施形態５の画像処理装置における機能構成を示す図であり、画像入力部６００と顔画像生成パラメータ抽出部６０１とキャッチライト付加・補正判定部４０２とキャッチライト設定部６０３から構成される。

画像入力部６００と顔画像生成パラメータ抽出部６０１は、実施形態１と同様の動作を行う。

キャッチライト付加・補正判定部６０２は、顔画像生成パラメータ抽出部６０１で得られた顔画像生成パラメータである画像全体の平均明度値を用いて、算出された画像全体の平均明度値が所定値以下（例えば、平均明度値５０以下）の場合には、キャッチライトが必要な状況であると判定される。

なお、キャッチライト付加・補正判定部６０２においては、画像全体の平均明度値を用いても良いし、他の何らかの特徴を用いて判定を行っても良い。また、キャッチライト付加・補正判定部６０２においてキャッチライトが必要な状況であると判定された画像に対しては、顔画像生成パラメータ６０１で算出されたパラメータを用いて、瞳孔・虹彩領域にキャッチライトが存在するか否かを実施形態３に説明したような方法で判定する。

キャッチライト設定部６０３は、キャッチライト付加・補正判定部６０２でキャッチライトを設定する必要な状況であり、キャッチライトがない、もしくはキャッチライトの大きさ・位置・色が適切でないと判定された場合には、例えば、実施形態１、３などの方法を用いてキャッチライト設定を行う。

図３２は、これらの処理手順を示したフローチャートである。ステップＳ６１０において画像全体の平均明度が所定値（例えば、平均明度値５０）以下の場合は、ステップＳ６１１においてキャッチライト領域を検出し、ステップＳ６１２においてキャッチライト領域が所定値（例えば、瞳孔・虹彩領域の１／５）以下の場合には、キャッチライト設定する必要があると判定され、ステップＳ６１３においてキャッチライト設定が行われる。しかし、ステップＳ６１２においてキャッチライト領域が所定値以上の場合には、キャッチライト設定必要なしと判定され、キャッチライト設定は行われない。

（実施形態６）
図３３は、実施形態６の画像処理装置における機能構成を示した図であり、画像入力部７００とキャッチライト発生可能性通知部７０１と画像生成パラメータ抽出部７０２とキャッチライト設定部７０３から構成される。

画像入力部７００においては、実施形態１〜４と同様、デジタル画像を入力画像とする。キャッチライト発生可能性通知部７０１は、キャッチライトの発生を通知するが、このモジュールは画像情報からキャッチライト発生を判定するということではなく、例えばストロボ発光が行われたなどの情報や、撮影者のキャッチライト設定モード選択による情報などを獲得し、通知する。また、キャッチライト設定部７０３は、実施形態３，４などのような動作を行う。

図３４は、実施形態６の処理手順を示すフローチャートである。キャッチライト発生可能性通知ステップＳ７１０において、キャッチライトが発生した、もしくはキャッチライト設定モードが選択されたと通知が来た場合には、ステップＳ７１１で顔画像生成パラメータを抽出し、この顔画像生成パラメータを用いてステップＳ７１２でキャッチライト設定を行う。ステップＳ７１０においてキャッチライトが発生したと通知が来なかった場合には何もしない。

（実施形態７）
図３５は、実施形態７の画像処理装置における機能構成を示した図であり、画像入力部８００とキャッチライト発生可能性通知部８０２と色欠陥検出・補正処理部８０３とキャッチライト付加・補正判定部８０４とキャッチライト設定部８０５から構成されている。

キャッチライト発生可能性通知部８０１は、実施形態６と同様、画像情報からキャッチライト発生を判定するということではなく、例えばストロボ発光が行われたなどの情報や撮影者のキャッチライト設定モード選択による情報などを獲得し、通知する。

図３６は、実施形態７の処理手順を示すフローチャートである。

ステップＳ８０１でキャッチライト発生可能性ありと通知を受けた場合には、顔画像生成パラメータを用いてステップＳ８１１で目領域の色欠陥検出を行い、色欠陥があると判定された場合にはステップＳ８１２において色欠陥補正処理を行った後、ステップＳ８１３のキャッチライト付加・補正必要を行う。

ステップＳ８１１において色欠陥が検出されなかった場合には、ステップＳ８１２の色欠陥補正処理は行わずに、ステップＳ８１３でキャッチライト付加・補正の必要性の判定を行う。ステップＳ８１３においてキャッチライト付加・補正必要と判定された場合には、ステップＳ８１４においてキャッチライトの付加・補正が行われる。ステップＳ８１０でキャッチライト発生可能性の通知がなく、ステップＳ８１３でキャッチライト付加・補正が必要がないと判定された場合には、何も処理を行わない。

図３７は、本実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。この画像処理装置は、撮像装置の一部として、もしくは撮像装置と接続されて利用され、上述した補正処理を行なう。

ＣＰＵ４１は、ＲＯＭ４２やＲＡＭ４３に格納されているプログラムやデータを用いて本装置全体の制御を行うと共に、後述する各処理を実行する。

ＲＯＭ４２は、ブートプログラムや本装置の設定データ等を格納する。

ＲＡＭ４３は、ＣＰＵ４１が各種の処理を実行する際に必要とするワークエリアを備えると共に、ＨＤＤ４６からロードされたプログラムやデータを一時的に記憶するためのエリアを備える。

キーボード４４は、ユーザからの各種の指示をＣＰＵ１００に対して入力することができる操作部である。更に、マウスなどのポインティングデバイスを備えるようにしてもよい。

ＣＲＴ４５はＣＰＵ４１による処理結果を文字や画像などでもって表示することができる表示装置である。ＣＲＴ４５に代えて液晶表示装置などを設けてもよい。

ハードディスクドライブ装置（ＨＤＤ）４６は、大容量の外部記憶装置であり、ＯＳ（オペレーティングシステム）や、図１に示した各部の機能をＣＰＵ４１に実現させるためのプログラムやデータが保存されており、これらの一部もしくは全部はＣＰＵ４１による制御でもってＲＡＭ４３にロードされる。また、ＨＤＤ４６には、補正データやモデルデータなどが保存されており、これらについても必要に応じてＣＰＵ４１の制御に従ってＲＡＭ４３にロードされる。外部記憶装置として、更にＣＤやＤＶＤなどのドライブ装置を設けてもよい。

Ｉ／Ｆ４７は、外部装置とのデータ通信のためのインタフェースである。例えば、補正対象を含む画像のデータを、このＩ／Ｆ４７に接続しているディジタルカメラから入力したり、コンピュータからダウンロードしたりすることもできる。なお、画像のデータはＲＡＭ４３に一時的に記憶され、そこでＣＰＵ４１の処理対象となる。上述の各部はバス４８に接続している。

以上説明した実施形態によれば、色欠陥補正後の画像に対してキャッチライトの有無を判定し、キャッチライトがない場合には顔画像生成パラメータを用いてキャッチライト設定を自動的に行うことにより、手動操作による画像補正精度のばらつきを軽減させ、より自然な画像を演出することができる。

また、色欠陥補正後の画像に対してキャッチライトの大きさ、位置、色が適切であるかを判定し顔画像生成パラメータを用いてキャッチライトを補正することによって、手動操作による画像補正精度のばらつきを軽減させ、より自然な画像を演出することができる。

更に、入力画像に対してキャッチライトが発生する状況を判定した後、キャッチライトの有無を判定し、キャッチライトがない場合には顔画像生成パラメータを用いてキャッチライト設定を行うことにより、手動操作による画像補正精度のばらつきを軽減させ、より自然な画像を演出することができる。

また、入力画像に対してキャッチライトが発生する状況を判定した後、キャッチライトの大きさ、位置、色が適切であるかを判定し顔画像生成パラメータを用いてキャッチライトを補正することによって、手動操作による画像補正精度のばらつきを軽減させ、より自然な画像を演出することができる。

（その他の実施形態）
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、カメラもしくはコンピュータのＣＰＵやＭＰＵが記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、カメラもしくはコンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、カメラ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、カメラもしくはコンピュータに挿入された機能拡張カードや、カメラもしくはコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

実施形態１の画像処理装置の機能構成を示す図である。 顔画像生成パラメータ抽出部の詳細構成を示した図である。 目領域における白目、虹彩、瞳孔領域を示した図である。 Ｃｏｎｖｏｌｕｔｉｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを用いて検出した顔・目・口の検出位置を示した図である。 顔が正面を向いている場合の左右目と口検出位置間の距離を示した図である。 顔が左回転した場合の左右目と口検出位置間の距離を示した図である。 ２値化処理を行った後の目領域付近の２値化画像を示した図である。 目領域における横方向のヒストグラムを示した図である。 目領域における縦方向のヒストグラムを示した図である。 正面を向いている場合の目領域における横方向のヒストグラムを示した図である。 正面を向いている場合の目領域における縦方向のヒストグラムを示した図である。 瞳孔・虹彩領域が横方向に移動した場合の目領域における横方向のヒストグラムを示した図である。 瞳孔・虹彩領域が横方向に移動した場合の目領域における縦方向のヒストグラムを示した図である。 瞳孔・虹彩領域が上方向に移動した場合の目領域における横方向のヒストグラムを示した図である。 瞳孔・虹彩領域が上方向に移動した場合の目領域における縦方向のヒストグラムを示した図である。 キャッチライト設定部の詳細構成を示した図である。 目領域における横方向ヒストグラムとキャッチライトの大きさとの関係を示した図である。 顔の向きを水平面内（Ｚ軸周りの回転）左方向に回転させて視線方向が正面を向いた場合を示した図である。 顔の向きを正面から水平面内左方向に回転させた場合のキャッチライト位置ベクトルを示した図である。 実施形態１における全体処理手順を示したフローチャートである。 実施形態２の画像処理装置の機能構成を示す図である。 色欠陥検出・補正処理後にキャッチライト設定処理を行う場合の処理手順を示すフローチャートである。 実施形態３における撮像装置の機能構成を示す図である。 撮像部の詳細構成を示した図である。 画像処理部の詳細構成を示した図である。 色欠陥がある場合の所定値以上の明度領域と瞳孔・虹彩領域とを含む目領域を示す図である。 瞳孔・虹彩領域における所望のキャッチライトの大きさと検出された所定値以上の明度領域を示した図である。 実施形態３の画像処理部における処理手順を示すフローチャートである。 実施形態４における撮像装置の機能構成を示した図である。 実施形態４の処理手順を示すフローチャートである。 実施形態５の画像処理装置における機能構成を示した図である。 実施形態５の処理手順を示すフローチャートである。 実施形態６の画像処理装置における機能構成を示した図である。 実施形態６の処理手順を示すフローチャートである。 実施形態７の画像処理装置における機能構成を示した図である。 実施形態７の処理手順を示すフローチャートである。 画像処理装置のハードウェア構成を示すブロック図である。

Claims (11)

1. 画像を入力する入力ステップと、
   入力された前記画像を分析して、顔領域と目領域と瞳孔・虹彩領域との位置及び大きさを含む顔画像生成パラメータを抽出する顔画像生成パラメータ抽出ステップと、
   前記瞳孔・虹彩領域中で所定値以上の明度を持つ領域をキャッチライト領域として検出する検出ステップと、
   前記キャッチライト領域が検出された場合に、前記顔画像生成パラメータに基づいて当該キャッチライト領域の大きさが適切か否かを判定する判定ステップと、
   前記キャッチライト領域が検出されなかった場合に、前記顔画像生成パラメータに基づいて前記画像に新たにキャッチライトの設定を行い、前記キャッチライト領域の大きさが適切でないと判定された場合に、前記顔画像生成パラメータに基づいて当該キャッチライト領域の大きさを補正するキャッチライト設定ステップとを有することを特徴とする画像処理方法。
2. 前記画像の目領域の色欠陥の検出及び補正を行う色欠陥補正ステップを有し、前記キャッチライト設定ステップでは、当該色欠陥補正ステップによる補正後の前記画像にキャッチライトの設定を行うことを特徴とする請求項１に記載の画像処理方法。
3. キャッチライト発生の可能性を通知するキャッチライト発生可能性通知ステップを有し、前記キャッチライト設定ステップでは、前記顔画像生成パラメータと前記キャッチライト発生可能性通知ステップの通知結果とに基づいて前記画像にキャッチライトの設定を行うことを特徴とする請求項１または２に記載の画像処理方法。
4. 前記キャッチライト設定ステップでは、前記顔画像生成パラメータとして、顔面の向きを決定するパラメータ、目領域中の瞳孔位置に関するパラメータ、虹彩位置に関するパラメータの少なくとも１つを用いてキャッチライトの位置を設定することを特徴とする請求項１乃至３いずれか１項に記載の画像処理方法。
5. 前記キャッチライト設定ステップでは、前記顔画像生成パラメータとして、顔サイズを決定するパラメータ、目サイズを決定するパラメータ、瞳サイズを決定するパラメータ、虹彩サイズを決定するパラメータの少なくとも１つを用いてキャッチライトのサイズを設定することを特徴とする請求項１乃至４いずれか１項に記載の画像処理方法。
6. 前記キャッチライト設定ステップでは、前記顔画像生成パラメータとして、色情報パラメータ、画像の明度パラメータの少なくとも１つを用いてキャッチライト領域の色を設定することを特徴とする請求項１乃至５いずれか１項に記載の画像処理方法。
7. 前記キャッチライト設定ステップでは、前記キャッチライト領域の大きさが第１の所定値以下の場合に、当該キャッチライト領域を拡大し、前記キャッチライト領域の大きさが第２の所定値より大きい場合に、当該キャッチライト領域を縮小することを特徴とする請求項１に記載の画像処理方法。
8. 前記キャッチライト発生可能性通知ステップでは、ストロボ発光通知、撮影者によるキャッチライト付加または補正モード選択による情報通知の少なくとも一方を行なうことを特徴とする請求項３に記載の画像処理方法。
9. 画像を入力する入力手段と、
   入力された前記画像を分析して、顔領域と目領域と瞳孔・虹彩領域との位置及び大きさを含む顔画像生成パラメータを抽出する顔画像生成パラメータ抽出手段と、
   前記瞳孔・虹彩領域中で所定値以上の明度を持つ領域をキャッチライト領域として検出する検出手段と、
   前記キャッチライト領域が検出された場合に、前記顔画像生成パラメータに基づいて当該キャッチライト領域の大きさが適切か否かを判定する判定手段と、
   前記キャッチライト領域が検出されなかった場合に、前記顔画像生成パラメータに基づいて前記画像に新たにキャッチライトの設定を行い、前記キャッチライト領域の大きさが適切でないと判定された場合に、前記顔画像生成パラメータに基づいて当該キャッチライト領域の大きさを補正するキャッチライト設定手段とを有することを特徴とする画像処理装置。
10. 撮像手段と、請求項９に記載の画像処理装置とを備え、前記撮像手段により撮像した画像に前記画像処理装置によりキャッチライトの設定を行うことを特徴とする撮像装置。
11. コンピュータに請求項１乃至８いずれか１項に記載の画像処理方法を実行させることを特徴とするプログラム。

Images