JP3961734B2 - 画像処理方法、装置及び記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理方法、装置及び記録媒体に係り、特に、人物の瞳に相当しかつ画像上で色調不良が生じている画像中の瞳領域を修正する画像処理方法、前記画像処理方法が適用された画像処理装置、及び、コンピュータによって前記画像処理方法を実現するためのプログラムが記録された記録媒体に関する。
【０００２】
【従来の技術】
カメラにより被写体を撮影した場合、撮影時の光の反射状態によっては、撮影記録される画像上での被写体の色調が実際の色調と大きく相違することがある。例えば、ストロボを発光させて被写体としての人物を正面から撮影すると、暗い場所で瞳孔が開いた状態となっている人物の眼部に対しストロボ光が正面から入射して正反射され、この状態が画像として撮影記録されることで、画像上で瞳に相当する領域（瞳領域）が赤色を帯びたり（所謂赤目）、金色を帯びる（所謂金目）ことがある。このような画像中の瞳領域の色調不良は非常に不自然で見栄えが悪いため、画像処理によって瞳領域の色調不良を修正し、瞳領域が自然に見えるようにするための様々な手法が従来より提案されている。
【０００３】
例えば特開平７−７２５３７号公報には、瞳の色調不良が存在する可能性がある領域を定め、サンプリングした前記領域内の画素の色相や明度等を閾値と比較することで、瞳の色調不良の可能性のある画素を判断して色調不良の瞳本体に相当する領域を求め、該領域の各画素のＲＧＢ値をＹＣＣ値に変換し、色度チャネルＣ１，Ｃ２の値を零化して色度を除去すると共に、実験により定められた１より小の所定値（例えば0.35）を明度チャネルＹの値に乗じて明度を低下させることで色調不良を補正する技術が開示されている。
【０００４】
また、特開平９−２６１５８０号公報には、エッジに囲まれる領域内の色情報と色彩情報とに基づいて瞳候補領域を選択し、選択した瞳候補領域から色調不良（赤目）画素を抽出し、各画素毎に、例えばＲ，Ｇ，Ｂの値をＲ，Ｇ，Ｂのうち最も低い値に合わせたり、Ｒの値をＧとＢの平均値に合わせたり、オペレータによって色見本から選択された色の色情報に基づいてＲ，Ｇ，Ｂの値を変更することで色調不良を補正する手法が開示されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、画像中の瞳領域に色調不良が生じていない場合の瞳領域の特徴量（例えば明度・彩度・色相等）は、撮影時の照明条件等の撮影条件によって大きく異なるので、色調不良が生じている画像中の瞳領域をどのように修正すべきかは個々の画像毎に相違している。また、瞳領域の特徴量が色調不良によって適正値からどのように変化したかについても、例えば被写体迄の距離等の撮影条件によって異なるので、色調不良が生じている瞳領域の特徴量から適正値を推定することも困難である。
【０００６】
これに対し、特開平７−７２５３７号公報に記載の技術は、色調不良と判断した領域に対し、画素毎に色度を除去し、明度に一定の係数を乗ずるという一律の補正を行うものであり、特開平９−２６１５８０号公報に記載の技術は、色調不良と判断した領域の特徴量（具体的には各画素のＲ，Ｇ，Ｂの値）のみを用いて補正を行うものであるので、色調不良領域を修正した後の画像が不自然な雰囲気の仕上がりになることが多い、という問題があった。
【０００７】
また、瞳領域の色調不良は同一人物の両目の瞳に対応する一対の瞳領域に各々生じていることも多いが、被写体としての人物へのストロボ光の照射角度等によっては、一対の瞳領域に生じる色調不良の度合いが互いに相違する場合がある。これに対し、前記各公報に記載の技術は上記のような一対の瞳領域の色調不良の修正に適用することは考慮されておらず、色調不良修正後の一対の瞳領域の仕上がりが大きく相違することで、一対の瞳領域（及び画像全体）が不自然な雰囲気の仕上がりになることが多い、という問題もあった。
【０００８】
本発明は上記事実を考慮して成されたもので、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正可能な画像処理方法、画像処理装置及び記録媒体を得ることが目的である。
【００１０】
【課題を解決するための手段】
先に述べたように、画像中の瞳領域に色調不良が生じていない場合の瞳領域の明度・彩度・色相等の特徴量（すなわち画像を自然な雰囲気に仕上げるための瞳領域の特徴量の望ましい値）は撮影時の照明条件等の撮影条件によって大きく異なるが、画像の大部分を含む領域の特徴量や画像中の瞳領域の近傍の領域の特徴量は、画像中の瞳領域に色調不良が生じているか否かとは無関係に撮影条件によって大きく変化する。本願発明者は上記事実に基づき、画像を自然な雰囲気に仕上げるための瞳領域の特徴量の望ましい値は、画像の大部分を含む領域の特徴量や瞳領域の近傍の領域の特徴量と強い相関があり、画像の大部分を含む領域の特徴量や瞳領域の近傍の領域の特徴量から瞳領域の特徴量の望ましい値を推定可能であることに想到して本発明を成すに至った。
【００１１】
請求項１記載の発明に係る画像処理方法は、人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出し、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値及び明度の最低値相当の値を用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の最低値相当の値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の明度の平均値の目標値を、前記画像の大部分を含む領域の明度の平均値以下で、かつ前記色調不良が生じている瞳領域の近傍の領域の明度の最低値相当の値以下で、かつ前記画像の大部分を含む領域の明度の最低値相当の値以上となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の彩度の平均値の目標値及び色相の平均値の目標値も各々決定し、前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する。
【００１２】
請求項１記載の発明では、人物の瞳に相当しかつ画像上で色調不良（例えば赤目や金目等）が生じている瞳領域を画像から抽出する。なお、色調不良が生じている瞳領域の抽出は、例えば色調不良が生じている瞳領域を含む画像領域（オペレータにより指定された領域であってもよいし、画像解析によって自動的に抽出された領域であってもよい）の各画素毎に、明度、彩度、色相のうちの少なくとも１つの特徴量を求め、前記画像領域をｘｙ平面とし前記特徴量をｚ軸とする３次元のｘｙｚ空間を設定し、ｘｙ平面の広がりに対してｚ軸の値（特徴量）が山状に分布する領域毎にｘｙ平面を領域分割し、各分割領域のｘｙ平面上での形状、位置、面積、統計的特徴量のうちの少なくとも１つに基づいて、人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を判別することで行うことができる。
【００１３】
また、請求項１記載の発明では、画像の大部分を含む領域の特徴量、色調不良が生じている瞳領域の近傍の領域の特徴量、及び、色調不良が生じている瞳領域の特徴量を各々用いて、色調不良が生じている瞳領域の特徴量の目標値として、明度の平均値の目標値、彩度の平均値の目標値及び色相の平均値の目標値を各々決定する。なお、画像の大部分を含む領域は、例えば画像全体であってもよいし、画像の周縁部又は色調不良が生じている瞳領域から画像上で一定距離以上離れた領域を画像から除いて残った領域であってもよく、色調不良が生じている瞳領域を含む一部の領域を画像からトリミングする場合のトリミング領域の大部分であってよい。また、瞳領域の近傍の領域は、例えば円形、楕円形、矩形、瞳領域と相似の形状等の任意の形状とすることができ、瞳領域の面積に応じてサイズを変更してもよいし、サイズを固定的に定めてもよい。
【００１４】
また、画像の大部分を含む領域の特徴量、色調不良が生じている瞳領域の近傍の領域の特徴量、及び色調不良が生じている瞳領域の特徴量としては、明度の平均値、彩度の平均値、色相の平均値、及び明度の最低値相当の値（例えば明度の最低値、或いはシャドウ部の明度）の少なくとも１つを各々用いることができるが、請求項１記載の発明では、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値及び明度の最低値相当の値を用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の最低値相当の値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いている。
【００１５】
前述のように、画像の大部分を含む領域の特徴量や色調不良が生じている瞳領域の近傍の領域の特徴量は、画像を自然な雰囲気に仕上げるための瞳領域の特徴量の望ましい値と強い相関があるので、上記のように画像の大部分を含む領域の特徴量や色調不良が生じている瞳領域の近傍の領域の特徴量も用いて瞳領域の特徴量の目標値を決定することにより、画像が自然な雰囲気に仕上がるように瞳領域の特徴量の目標値を決定することができる。
【００１６】
そして請求項１記載の発明では、色調不良が生じている瞳領域の特徴量が決定した目標値に略一致するように、色調不良が生じている瞳領域内の各画素の値を修正するので、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正することができる。なお、色調不良が生じている瞳領域の特徴量が決定した目標値に略一致するように瞳領域内の各画素の値を修正することは、例えば色調不良が生じている瞳領域の特徴量の平均値が決定した目標値に略一致するように各画素の値を変換する変換式を定め、前記変換式に従って前記各画素の値を変換することにより、瞳領域内の各画素の値のばらつきも反映されるように各画素の値を修正することが望ましい。
【００１７】
更に請求項１記載の発明では、色調不良が生じている瞳領域の明度の平均値の目標値を、画像の大部分を含む領域の明度の平均値以下で、かつ前記瞳領域の近傍の領域の明度の最低値相当の値以下で、かつ画像の大部分を含む領域の明度の最低値相当の値以上となるように決定している。
【００１８】
一般に瞳領域は低明度であるので、色調不良が生じている瞳領域の明度の平均値の目標値を、画像の大部分を含む領域の明度の平均値以下とすることで、前記目標値をその画像における望ましい明度に近づけることができる。また、一般に瞳の明度は瞳の周囲に存在する睫毛や眉毛、虹彩の明度よりも低いため、前記瞳領域の明度の平均値の目標値を、前記瞳領域の近傍の領域の明度の最低値相当の値以下とすることで、前記目標値をその画像における望ましい明度に近づけることができる。
【００１９】
更に、ストロボを発光させて撮影した画像等は低コントラストであることが多いが、このような画像において瞳領域の明度を低下させ過ぎると、作為的に明度を低下させたように感じられる。これに対し、前記瞳領域の明度の平均値の目標値を、画像の大部分を含む領域の明度の最低値相当の値以上とすれば、前記目標値が不当に低い値になることが防止され、その画像における望ましい明度に近づけることができる。
【００２０】
このように、請求項１記載の発明によれば、色調不良が生じている瞳領域の明度の平均値の目標値を、上記の各条件を満足するように決定するので、前記瞳領域の明度の平均値の目標値を、画像が自然な雰囲気に仕上がる適正な値にすることができる。そして、瞳領域の明度をその画像における望ましい明度に近づけられることで、画像がより自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正することができる。
【００２１】
請求項２記載の発明に係る画像処理方法は、人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出し、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも１つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも彩度の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の彩度の平均値の目標値を、前記抽出した瞳領域の近傍の領域の彩度の平均値以下でかつ無彩度以上となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の明度の平均値の目標値及び色相の平均値の目標値も各々決定し、前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する。
【００２２】
請求項２記載の発明では、請求項１記載の発明と同様に、色調不良が生じている瞳領域を画像から抽出し、画像の大部分を含む領域の特徴量、色調不良が生じている瞳領域の近傍の領域の特徴量、及び、色調不良が生じている瞳領域の特徴量を各々用いて、色調不良が生じている瞳領域の特徴量の目標値として、明度の平均値の目標値、彩度の平均値の目標値及び色相の平均値の目標値を各々決定し、色調不良が生じている瞳領域の特徴量が目標値に略一致するように、色調不良が生じている瞳領域内の各画素の値を修正するので、請求項１記載の発明と同様に、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正することができる。
【００２３】
また一般に、瞳領域の近傍の領域は肌色の領域が占める面積が高く、睫毛や眉毛等のように無彩色に近い物体に相当する領域も含まれているので、瞳領域の近傍の領域の彩度の平均値は、その画像において低彩度と分類される彩度値を示す。これに対して請求項２記載の発明では、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも１つを用いると共に、色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも彩度の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用い、色調不良が生じている瞳領域の特徴量の目標値のうち、色調不良が生じている瞳領域の彩度の平均値の目標値を、抽出した瞳領域の近傍の領域の彩度の平均値以下でかつ無彩度以上となるように決定している。これにより、前記瞳領域の彩度の平均値の目標値を、画像が自然な雰囲気に仕上がる適正な値にすることができる。そして、瞳領域の彩度をその画像における望ましい彩度に近づけられることで、画像がより自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正することができる。
【００２４】
請求項３記載の発明に係る画像処理方法は、人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出し、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも１つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも色相の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の色相の平均値の目標値を、前記色調不良が生じている瞳領域の近傍の領域の色相の平均値と略同一となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、明度の平均値の目標値及び彩度の平均値の目標値も各々決定し、前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する。
【００２５】
請求項３記載の発明では、請求項１記載の発明と同様に、色調不良が生じている瞳領域を画像から抽出し、画像の大部分を含む領域の特徴量、色調不良が生じている瞳領域の近傍の領域の特徴量、及び、色調不良が生じている瞳領域の特徴量を各々用いて、色調不良が生じている瞳領域の特徴量の目標値として、明度の平均値の目標値、彩度の平均値の目標値及び色相の平均値の目標値を各々決定し、色調不良が生じている瞳領域の特徴量が目標値に略一致するように、色調不良が生じている瞳領域内の各画素の値を修正するので、請求項１記載の発明と同様に、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正することができる。
【００２６】
また本願発明者は色調不良の瞳領域を修正した画像に対する官能評価の結果を分析し、色調不良修正後の瞳領域の色相は、無彩色に相当する色相よりも暖色系の色相の方が官能評価による評価結果が高いとの知見を得た。前述のように、瞳領域の近傍の領域は肌色の領域が占める面積が高いので、瞳領域の近傍の領域の色相の平均値は暖色系に相当する値を示す。これに対して請求項３記載の発明では、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも１つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも色相の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、色調不良が生じている瞳領域の特徴量の目標値のうち、色調不良が生じている瞳領域の色相の平均値の目標値を、色調不良が生じている瞳領域の近傍の領域の色相の平均値と略同一となるように決定している。これにより、色調不良が生じている瞳領域の色相の平均値の目標値を、画像が自然な雰囲気に仕上がり官能評価結果が良好な適正な値にすることができる。そして、瞳領域の色相を官能評価結果が良好な色相にすることができることで、画像がより自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正することができる。
【００３１】
請求項４記載の発明に係る画像処理装置は、人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出する抽出手段と、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値及び明度の最低値相当の値を用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の最低値相当の値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の明度の平均値の目標値を、前記画像の大部分を含む領域の明度の平均値以下で、かつ前記色調不良が生じている瞳領域の近傍の領域の明度の最低値相当の値以下で、かつ前記画像の大部分を含む領域の明度の最低値相当の値以上となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の彩度の平均値の目標値及び色相の平均値の目標値も各々決定する決定手段と、前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する修正手段と、を含んで構成されているので、請求項１記載の発明と同様に、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正することができる。
【００３２】
請求項５記載の発明に係る画像処理装置は、人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出する抽出手段と、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも１つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも彩度の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の彩度の平均値の目標値を、前記抽出した瞳領域の近傍の領域の彩度の平均値以下でかつ無彩度以上となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の明度の平均値の目標値及び色相の平均値の目標値も各々決定する決定手段と、前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する修正手段と、を含んで構成されているので、請求項２記載の発明と同様に、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正することができる。
【００３３】
請求項６記載の発明に係る画像処理装置は、人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出する抽出手段と、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも１つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも色相の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の色相の平均値の目標値を、前記色調不良が生じている瞳領域の近傍の領域の色相の平均値と略同一となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、明度の平均値の目標値及び彩度の平均値の目標値も各々決定する決定手段と、前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する修正手段と、を含んで構成されているので、請求項３記載の発明と同様に、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正することができる。
【００３４】
請求項７記載の発明に係る記録媒体は、コンピュータを、人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出する抽出手段、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値及び明度の最低値相当の値を用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の最低値相当の値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の明度の平均値の目標値を、前記画像の大部分を含む領域の明度の平均値以下で、かつ前記色調不良が生じている瞳領域の近傍の領域の明度の最低値相当の値以下で、かつ前記画像の大部分を含む領域の明度の最低値相当の値以上となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の彩度の平均値の目標値及び色相の平均値の目標値も各々決定する決定手段、及び、前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する修正手段として機能させるためのプログラムが記録されている。
【００３５】
請求項７記載の発明に係る記録媒体には、コンピュータを上記の抽出手段、決定手段及び修正手段として機能させるためのプログラム、すなわちコンピュータを請求項４記載の画像処理装置として機能させるためのプログラムが記録されているので、コンピュータが前記記録媒体に記録されたプログラムを読み出して実行することにより、請求項１，４記載の発明と同様に、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正することができる。
【００３６】
請求項８記載の発明に係る記録媒体は、コンピュータを、人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出する抽出手段、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも１つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも彩度の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の彩度の平均値の目標値を、前記抽出した瞳領域の近傍の領域の彩度の平均値以下でかつ無彩度以上となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の明度の平均値の目標値及び色相の平均値の目標値も各々決定する決定手段、及び、前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する修正手段として機能させるためのプログラムが記録されている。
【００３７】
請求項８記載の発明に係る記録媒体には、コンピュータを上記の抽出手段、決定手段及び修正手段として機能させるためのプログラム、すなわちコンピュータを請求項５記載の画像処理装置として機能させるためのプログラムが記録されているので、コンピュータが前記記録媒体に記録されたプログラムを読み出して実行することにより、請求項２，５記載の発明と同様に、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正することができる。
【００３８】
請求項９記載の発明に係る記録媒体は、コンピュータを、人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出する抽出手段、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも１つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも色相の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の色相の平均値の目標値を、前記色調不良が生じている瞳領域の近傍の領域の色相の平均値と略同一となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、明度の平均値の目標値及び彩度の平均値の目標値も各々決定する決定手段、及び、前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する修正手段として機能させるためのプログラムが記録されたている。
【００３９】
請求項９記載の発明に係る記録媒体には、コンピュータを上記の抽出手段、決定手段及び修正手段として機能させるためのプログラム、すなわちコンピュータを請求項６記載の画像処理装置として機能させるためのプログラムが記録されているので、コンピュータが前記記録媒体に記録されたプログラムを読み出して実行することにより、請求項３，６記載の発明と同様に、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正することができる。
【００４０】
【発明の実施の形態】
以下、図面を参照し、本発明の実施形態の一例を詳細に説明する。図１には、本発明が適用された画像処理システム１０が示されている。画像処理システム１０は、スキャナ１２、画像処理装置１４及びプリンタ１６が直列に接続されて構成されている。なお、画像処理装置１４は本発明に係る画像処理装置に対応している。
【００４１】
スキャナ１２は、写真フィルム（例えばネガフィルムやリバーサルフィルム）等の写真感光材料（以下単に写真フィルムと称する）に記録されているフィルム画像（被写体を撮影後、現像処理されることで可視化されたネガ画像又はポジ画像）を読み取り、該読み取りによって得られた画像データを出力するものであり、光源２０から射出され光拡散ボックス２２によって光量むらが低減された光が、フィルムキャリア２４にセットされているネガフィルムやリバーサルフィルム等の写真フィルム２６に照射され、写真フィルム２６を透過した光がレンズ２８を介してＣＣＤセンサ３０（エリアセンサであってもラインセンサであってもよい）の受光面上に結像されるように構成されている。
【００４２】
フィルムキャリア２４は、写真フィルム２６上のフィルム画像が記録されている箇所が、光源２０からの射出光の光軸上に順に位置するように写真フィルム２６を搬送する（ＣＣＤセンサ３０がエリアセンサであれば各フィルム画像が順に光軸上に位置決めされるように写真フィルム２６を間欠的に搬送し、ＣＣＤセンサ３０がラインセンサであれば写真フィルム２６を連続的に搬送する）。これにより、写真フィルム２６に記録されているフィルム画像がＣＣＤセンサ３０によって順に読み取られ、ＣＣＤセンサ３０からはフィルム画像に対応する信号が出力される。ＣＣＤセンサ３０から出力された信号はＡ／Ｄ変換器３２によってデジタルの画像データに変換されて画像処理装置１４に入力される。
【００４３】
画像処理装置１４のスキャナ補正部３６は、入力されたスキャンデータ（スキャナ１２から入力されるＲ、Ｇ、Ｂのデータ）から各画素毎に対応するセルの暗出力レベルを減ずる暗補正、暗補正を行ったデータを濃度値を表すデータに対数変換する濃度変換、写真フィルム２６を照明する光の光量むらに応じて濃度変換後のデータを補正するシェーディング補正、該シェーディング補正を行ったデータのうち入射光量に対応した信号が出力されないセル（所謂欠陥画素）のデータを周囲の画素のデータから補間して新たに生成する欠陥画素補正の各処理を順に行う。スキャナ補正部３６の出力端はＩ／Ｏコントローラ３８の入力端に接続されており、スキャナ補正部３６で前記各処理が施されたデータはスキャンデータとしてＩ／Ｏコントローラ３８に入力される。
【００４４】
Ｉ／Ｏコントローラ３８の入力端は、イメージプロセッサ４０のデータ出力端にも接続されており、イメージプロセッサ４０からは画像処理（詳細は後述）が行われた画像データが入力される。また、Ｉ／Ｏコントローラ３８の入力端はパーソナルコンピュータ４２にも接続されている。パーソナルコンピュータ４２は拡張スロット（図示省略）を備えており、この拡張スロットには、メモリカードやＣＤ−Ｒ、ＭＯ等の情報記憶媒体に対してデータの読出し／書込みを行うドライバ（図示省略）や、他の情報処理機器と通信を行うための通信制御装置が接続される。拡張スロットを介して外部からファイル画像データが入力された場合、入力されたファイル画像データはＩ／Ｏコントローラ３８へ入力される。
【００４５】
Ｉ／Ｏコントローラ３８の出力端は、イメージプロセッサ４０のデータ入力端、オートセットアップエンジン４４、パーソナルコンピュータ４２に各々接続されており、更にＩ／Ｆ回路５４を介してプリンタ１６に接続されている。Ｉ／Ｏコントローラ３８は、入力された画像データを、出力端に接続された前記各機器に選択的に出力する。
【００４６】
本実施形態では、写真フィルム２６に記録されている個々のフィルム画像に対し、スキャナ１２において異なる解像度で２回の読み取りを行う。１回目の比較的低解像度での読み取り（以下、プレスキャンという）では、フィルム画像の濃度が非常に低い場合（例えばネガフィルムにおける露光アンダのネガ画像）にも、ＣＣＤセンサ３０で蓄積電荷の飽和が生じないように決定した読取条件（写真フィルム２６に照射する光のＲ、Ｇ、Ｂの各波長域毎の光量、ＣＣＤセンサ３０の電荷蓄積時間）で写真フィルム２６の全面の読み取りが行われる。このプレスキャンによって得られたデータ（プレスキャンデータ）は、Ｉ／Ｏコントローラ３８からオートセットアップエンジン４４へ入力される。
【００４７】
オートセットアップエンジン４４は、ＣＰＵ４６、ＲＡＭ４８（例えばＤＲＡＭ）、ＲＯＭ５０（例えば記憶内容を書換え可能なＲＯＭ）、入出力ポート５２を備え、これらがバスを介して互いに接続されて構成されている。オートセットアップエンジン４４は、Ｉ／Ｏコントローラ３８から入力されたプレスキャンデータに基づいてフィルム画像のコマ位置を判定し、写真フィルム２６上のフィルム画像記録領域に対応するデータ（プレスキャン画像データ）を抽出する。また、プレスキャン画像データに基づいて、フィルム画像のサイズを判定すると共に濃度等の画像特徴量を演算し、プレスキャンを行った写真フィルム２６に対し、スキャナ１２が比較的高解像度での再度の読み取り（以下、ファインスキャンという）を行う際の読取条件を決定する。そしてコマ位置及び読取条件をスキャナ１２に出力する。
【００４８】
また、オートセットアップエンジン４４は、プレスキャン画像データに基づいて、フィルム画像の各種の画像特徴量の演算を行って、スキャナ１２がファインスキャンを行うことによって得られる画像データ（ファインスキャン画像データ）に対する各種の画像処理の処理条件を演算により自動的に決定し（セットアップ演算）、決定した処理条件をイメージプロセッサ４０へ出力する。
【００４９】
パーソナルコンピュータ４２には、ディスプレイ７０、キーボード７１、及びマウス（図示省略）が接続されている。パーソナルコンピュータ４２は、オートセットアップエンジン４４からプレスキャン画像データを取込むと共に、オートセットアップエンジン４４によって決定された画像処理の処理条件を取込み、取り込んだ処理条件に基づき、ファインスキャン画像データを対象としてイメージプロセッサ４０で行われる画像処理と等価な画像処理をプレスキャン画像データに対して行ってシミュレーション画像データを生成する。
【００５０】
そして、生成したシミュレーション画像データを、ディスプレイ７０に画像を表示するための信号に変換し、該信号に基づいてディスプレイ７０にシミュレーション画像を表示する。また、表示されたシミュレーション画像に対しオペレータによって画質等の検定が行われ、検定結果として処理条件の修正を指示する情報がキーボードを介して入力されると、該情報をオートセットアップエンジン４４へ出力する。これにより、オートセットアップエンジン４４では画像処理の処理条件の再演算等の処理が行われる。
【００５１】
一方、スキャナ１２でフィルム画像に対してファインスキャンが行われることによってＩ／Ｏコントローラ３８に入力された画像データ（ファインスキャン画像データ）は、Ｉ／Ｏコントローラ３８からイメージプロセッサ４０へ入力される。イメージプロセッサ４０は、階調変換や色変換を含む色・濃度補正処理、画素密度変換処理、画像の超低周波輝度成分の階調を圧縮するハイパートーン処理、粒状を抑制しながらシャープネスを強調するハイパーシャープネス処理等の各種の画像処理を行う画像処理回路を各々備えており、入力された画像データに対し、オートセットアップエンジン４４によって各画像毎に決定されて通知された処理条件に従って種々の画像処理を行う。
【００５２】
イメージプロセッサ４０で実行可能な画像処理としては、上記以外に、例えば画像全体又は一部分（例えば人物の顔に相当する領域）に対するシャープネス補正又はソフトフォーカス処理や、画調を意図的に変更する画像処理（出力画像をモノトーンに仕上げる画像処理、出力画像をポートレート調に仕上げる画像処理、出力画像をセピア調に仕上げる画像処理等）や、画像を加工する画像処理（例えば原画像中に存在する人物を主画像上で細身に仕上げるための画像処理等）の特殊画像処理が挙げられる。
【００５３】
また本実施形態では、上記の特殊画像処理の一種として、人物の瞳に相当する瞳領域や人物の瞳に相当しかつ赤目や金目等の色調不良が生じている色調不良の瞳領域を抽出し、色調不良の瞳領域の色調を修正する瞳領域色調修正処理も行われる。この瞳領域色調修正処理の処理条件は、プレスキャン画像データに基づきパーソナルコンピュータ４２によって決定される（詳細は後述）。
【００５４】
イメージプロセッサ４０で画像処理が行われた画像データを印画紙への画像の記録に用いる場合には、イメージプロセッサ４０で画像処理が行われた画像データは、Ｉ／Ｏコントローラ３８からＩ／Ｆ回路５４を介し記録用画像データとしてプリンタ１６へ出力される。また、画像処理後の画像データを画像ファイルとして外部へ出力する場合は、Ｉ／Ｏコントローラ３８からパーソナルコンピュータ４２に画像データが出力される。これにより、パーソナルコンピュータ４２では、外部への出力用としてＩ／Ｏコントローラ３８から入力された画像データを、拡張スロットを介して画像ファイルとして外部（前記ドライバや通信制御装置等）に出力する。
【００５５】
プリンタ１６は、画像メモリ５８、Ｒ，Ｇ，Ｂのレーザ光源６０、該レーザ光源６０の作動を制御するレーザドライバ６２を備えている。画像処理装置１４から入力された記録用画像データは画像メモリ５８に一旦記憶された後に読み出され、レーザ光源６０から射出されるＲ，Ｇ，Ｂのレーザ光の変調に用いられる。レーザ光源６０から射出されたレーザ光は、ポリゴンミラー６４、ｆθレンズ６６を介して印画紙６８上を走査され、印画紙６８に画像が露光記録される。画像が露光記録された印画紙６８は、プロセッサ部１８へ送られて発色現像、漂白定着、水洗、乾燥の各処理が施される。これにより、印画紙６８に露光記録された画像が可視化される。
【００５６】
次に本実施形態の作用として、スキャナ１２から画像処理装置１４にプレスキャンデータが入力され、プレスキャンデータから切り出されたプレスキャン画像データがオートセットアップエンジン４４からパーソナルコンピュータ４２に転送されることによって、パーソナルコンピュータ４２で実行される瞳領域色調修正条件決定処理について説明する。
【００５７】
この瞳領域色調修正セットアップ処理は、本発明に係る画像処理方法が適用された処理であり、パーソナルコンピュータ４２のＣＰＵにより、瞳領域色調修正条件決定プログラムが実行されることにより実現される。瞳領域色調修正条件決定プログラムは、その他の処理をＣＰＵ４６で実行させるためのプログラムと共に、当初は、情報記憶媒体７２（図１参照）に記憶されている。なお、図１では情報記憶媒体７２をフロッピーディスクとして示しているが、ＣＤ−ＲＯＭやメモリカード、ＭＯ、ＤＶＤ等で構成してもよい。パーソナルコンピュータ４２に接続された情報読出装置（図示省略）に情報記憶媒体７２が装填され、情報記憶媒体７２から画像処理装置１４へのプログラムの移入（インストール）が指示されると、情報読出装置によって情報記憶媒体７２から瞳領域色調修正条件決定プログラム等が読み出され、記憶内容を書換え可能な記憶手段（例えばハードディスク等）に記憶される。
【００５８】
そして、瞳領域色調修正条件決定処理を実行すべきタイミングが到来すると、前記記憶手段から瞳領域色調修正条件決定プログラムが読み出され、瞳領域色調修正条件決定プログラムがパーソナルコンピュータ４２のＣＰＵによって実行される。これにより、画像処理装置１４のパーソナルコンピュータ４２は本発明に係る画像処理装置として機能する。このように、瞳領域色調修正条件決定プログラム等を記憶している情報記憶媒体７２は請求項７〜請求項９に記載の記録媒体に対応している。
【００５９】
以下、本発明に係る画像処理方法が適用された瞳領域色調修正条件決定処理について、図２のフローチャートを参照して説明する。なお、以下では単一のフィルム画像に対する処理を説明するが、以下で説明する処理は、実際にはパーソナルコンピュータ４２により、写真フィルム２６に記録されている各フィルム画像を処理対象の画像として各々実行される。
【００６０】
オートセットアップエンジン４４から単一のフィルム画像（処理対象のフィルム画像）のプレスキャン画像データが転送されると、ステップ１００では、処理対象のフィルム画像に対して決定された画像処理の処理条件をオートセットアップエンジン４４から取込み、取り込んだ処理条件に基づき、ファインスキャン画像データを対象としてイメージプロセッサ４０で行われる画像処理と等価な画像処理をプレスキャン画像データに対して行ってシミュレーション画像データを生成する。そして、生成したシミュレーション画像データを、ディスプレイ７０に画像を表示するための信号に変換し、該信号に基づいてディスプレイ７０に画像（シミュレーション画像）を表示する。
【００６１】
次のステップ１０２では、ディスプレイ７０に表示しているシミュレーション画像中に色調不良の瞳領域（人物の瞳（瞳孔）に対応しており、かつ赤目や金目等の色調不良が生じている領域）があれば該領域を含む処理対象領域を指定することをオペレータに要請するメッセージをディスプレイ７０に表示し、処理対象領域をオペレータに指定させる。これにより、オペレータはディスプレイ７０に表示された画像中に色調不良の瞳領域があれば、キーボード７１やマウス等を操作して色調不良の瞳領域を含む処理対象領域を指定する。
【００６２】
なお、本実施形態では、色調不良の瞳領域を含む処理対象領域をオペレータが指定するための指定モードとして、両目一括指定モードＡ、両目一括指定モードＢ、単独指定モードＡ、単独指定モードＢ、単独指定モードＣ、及び単独指定モードＤの６種類の指定モードが用意されており、オペレータが任意の指定モードを用いて処理対象領域を指定可能とされている。
【００６３】
両目一括指定モードＡ，Ｂは、同一人物の目に対応する一対の眼部領域が各々含まれるように処理対象領域を指定するモードであり、同一人物の瞳に対応する一対の瞳領域に各々色調不良が生じている場合の処理対象領域の指定に利用される。両目一括指定モードＡでは、図３（Ａ）に示すように、オペレータがマウスやキーボード７１等を操作し、一対の眼部領域とその周辺領域を含む矩形状の領域を区画する枠１３をディスプレイ７０の画面上に描画させることで処理対象領域が指定される。
【００６４】
両目一括指定モードＡによって領域が指定された場合、指定領域の長さ方向に沿った両端部からの距離が、指定領域の長さに対して所定の比率となる位置で指定領域を分割し（分割位置の一例を図３（Ａ）に破線で示す）、得られた一対の領域を処理対象領域として設定する。なお、前記所定の比率は、指定領域の長さと、人物の目に相当する楕円状の眼部領域の長軸方向長さと、の比率を統計的に算出することで得られる値であり、個々の処理対象領域が単一の眼部領域を含み、人物の眉間に相当する領域を含まないように設定される。なお、枠１３（指定領域）の形状は楕円状等の他の形状であってもよい。
【００６５】
また両目一括指定モードＢでは、図３（Ｂ）に示すように、オペレータがマウスやキーボード７１等を操作し、一対の瞳領域の各々の中心位置を指定することで処理対象領域が指定される。両目一括指定モードＢによって領域が指定された場合、指定された一対の瞳領域の各々の中心位置の間隔に対して所定の比率となる長さを長軸方向長さの１／２とし、指定された一対の中心位置を各々中心とする一対の楕円状の領域を処理対象領域として設定する。なお、上記における所定の比率についても、一対の瞳領域の中心位置の間隔と眼部領域の長軸方向長さとの比率を統計的に算出することで得られる。
【００６６】
なお、上記の両目一括指定モードＡ及び両目一括指定モードＢにおいて、指定領域を単一の瞳領域を含む処理対象領域に分割せずに一対の眼部領域を含んだ領域を処理対象領域とし、後述する処理を一括して行うようにしてもよい。
【００６７】
また、単独指定モードＡ〜Ｄは、単一の眼部領域のみが含まれるように処理対象領域を指定するモードであり、同一人物の瞳に対応する一対の瞳領域の一方にのみ色調不良が生じている場合や、前記一対の瞳領域の一方のみが画像中に存在してかつ該瞳領域に色調不良が生じている場合（例えば一方の眼部領域を含む人物の顔に相当する領域の一部が画像上で欠けている場合）の処理対象領域の指定に利用される。
【００６８】
単独指定モードＡでは、図３（Ｃ）に示すように、オペレータがマウスやキーボード７１等を操作し、単一の眼部領域とその周辺領域を含む矩形状の領域を区画する枠１３をディスプレイ７０の画面上に描画させることで処理対象領域が指定され、描画された枠１３内の領域を処理対象領域として設定する。この場合も、枠１３（指定領域）の形状は楕円形状等の他の形状であってもよい。
【００６９】
また、単独指定モードＢでは、図３（Ｄ）に示すように、オペレータが瞳領域の中心位置を指定すると共に、眼部領域を含むように枠の位置を指定することで処理対象領域が指定され、指定された瞳領域の中心位置と指定された枠の位置との位置関係に基づいて単一の眼部領域を含むように枠１３を自動的に設定し、この枠１３内の領域を処理対象領域として設定する。
【００７０】
単独指定モードＣでは、図３（Ｅ）に示すように、オペレータが眼部領域又は瞳領域の中心位置（図では符号「１５」を付して示す）、或いは眼部領域の周辺部の特定位置を指定することで処理対象領域が指定され、指定された位置に基づいて単一の眼部領域を含むように一定サイズの枠１３を自動的に設定し、この枠１３内の領域を処理対象領域として設定する。
【００７１】
また、単独指定モードＤでは、図３（Ｆ）に示すように、オペレータがマウスやキーボード７１等を操作し、眼部領域及びその周辺の領域を含む領域の境界に沿ってポインタを移動させて前記境界を表す枠（ポインタの移動軌跡）を描画することで処理対象領域が指定され、描画された枠内の領域を処理対象領域として設定する。
【００７２】
次のステップ１０４では、処理対象の画像に対して処理対象領域が指定されたか否か判定する。判定が否定された場合には処理を終了するが、上述した各指定モードの何れかによって処理対象領域が指定された場合には、ステップ１０４の判定が肯定されてステップ１０６へ移行し、処理対象領域から色調不良の瞳領域を抽出するために処理対象領域内の各部（例えば各画素）の特徴量を演算する。上記の特徴量としては、例えば各画素の色相、彩度、明度から求まる以下のような特徴量を用いることができる。
【００７３】
一例として、赤味を表す赤味値ｒは、赤目と称する色調不良（以下、単に赤目という）が生じている瞳領域では大となり、青色系の目に対応する瞳領域では符号がマイナスの値となる。また、明度を表すグレー値ｄは、眼部領域のうちキャッチライト部分（撮影時の光源が写り込んでいる高明度の部分）に相当する領域や、白目部分に相当する領域では大となり、茶色系の瞳の虹彩に相当する領域では小となる。このため、眼部領域を長軸方向に沿って貫く線（目尻を通る線：図４（Ａ）参照）に沿って、赤味値ｒ（特徴量Ａ）は図４（Ｂ）のような分布を示し、グレー値ｄ（特徴量Ｂ）は図４（Ｃ）のような分布を各々示す。
【００７４】
図４（Ｂ）及び（Ｃ）において、実線は瞳領域に赤目と称する色調不良が生じている場合、破線は金目と称する色調不良が生じている場合の各特徴量の分布を示している。金目と称する色調不良が生ずる場合は瞳からの反射光量が比較的大きいため、金目と称する色調不良（以下、単に金目という）が生じている瞳領域は色相が黄色に近く（特徴量Ａ（赤味値ｒ）の値が小さく）、明度（明度に相当する特徴量Ｂの値）が高いことがわかる。
【００７５】
このため、本実施形態では処理対象領域の複数の領域への分割（詳細は後述）を行うための特徴量として、次式で定義される特徴量Ｃを用いている（但し、特徴量Ａは赤味値ｒ、特徴量Ｂはグレー値ｄ）。
【００７６】
Ｃ＝α×Ｂ＋（１−α）×｜Ａ｜ …（１）
（１）式の特徴量Ｃの値は、例として図５に示すように、処理対象領域上において、眼部領域及びその周辺領域を構成する各部分領域（例えば白目領域、瞳領域、肌に相当する肌領域）毎に山状に分布することになる。例えば、眼部領域を長軸方向に沿って貫く線に沿った特徴量Ｃの分布は、瞳領域、及び該瞳領域の左右に存在している一対の白目領域に対応して３つの山状の分布を示す。
【００７７】
なお（１）式では特徴量Ａの絶対値を用いているが、これにより青色系の瞳に色調不良が生じている場合の色調不良の瞳領域の抽出性能が向上する（青色系の瞳は茶色系の瞳と比較して、一般に赤目と称する色調不良が生じていた場合の瞳領域の抽出が難しい）。また（１）式における定数αは0.3≦α≦0.5の範囲が好ましい（実験的に確認された範囲）が、その他の値とすることもできる。また（１）式におけるグレー値ｄ及び特徴量Ａは、各画素のＲ，Ｇ，Ｂの濃度に基づき、グレー値ｄ＝（Ｒ＋Ｇ＋Ｂ）／３、特徴量Ａ＝（Ｒ−ｄ）によって求めてもよい。
【００７８】
次のステップ１０８においては、特徴量Ｃが山状の分布を示している領域を単位として処理対象領域を複数の領域に分割する。複数の領域への分割は、例えば特徴量Ｃの値が最低の画素(すなわち特徴量Ｃの分布において谷に相当する位置の画素)を境界として分割することができる。図５に示すように、特徴量Ｃは赤目（又は金目）が生じている瞳領域（キャッチライト部を含む）で単一の山状の分布を成し、瞳領域と白目領域との境界に位置している虹彩領域で特徴量Ｃの値が低下している。
【００７９】
これにより、例として図６に示すように、瞳領域（図６におけるエリア５）と白目領域（図６におけるエリア３及び４）とを分離することができる。なお、青色系の瞳に相当する瞳領域に赤目が生じている場合にも、前述の（１）式における特徴量Ａの絶対値｜Ａ｜により、虹彩領域を境界として瞳領域と白目領域とを分離することができる。
【００８０】
ステップ１１０では、ステップ１０８で分割した各領域について、形状（例えば円形度）、他の領域との位置関係、重心位置と指定された領域の中心位置又は指定された瞳領域の中心位置との間の距離、指定された領域との面積比、濃度、平均色相等の各種特徴量の少なくとも１つを演算すると共に各領域の特徴量を比較し、瞳領域としての特徴を最も多く有する領域を色調不良の瞳領域として選択する。
【００８１】
なお、上記のステップ１０６〜１１０は請求項１〜請求項３に記載の「人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出」すること（請求項４〜請求項９に記載の抽出手段）に対応している。
【００８２】
ステップ１１２では、全ての処理対象領域に対して色調不良の瞳領域の抽出を行ったか否か判定する。判定が否定された場合にはステップ１０６に戻り、ステップ１０６〜ステップ１１２を繰り返す。これにより、画像中に存在する全ての色調不良の瞳領域が各々抽出される。
【００８３】
ステップ１１２の判定が肯定されるとステップ１１４へ移行し、単一の色調不良の瞳領域のデータを取り出す。次のステップ１１６では、ステップ１１４でデータを取り出した色調不良の瞳領域と対になる（同一人物の瞳に対応する）色調不良の瞳領域が存在するか否かを判定する。同一人物の瞳に対応する一対の瞳領域に各々色調不良が生じている場合には、両目一括指定モードによって処理対象領域が指定されるので、例えばステップ１１４でデータを取り出した色調不良の瞳領域が、単独指定モードで指定された処理対象領域から抽出した瞳領域である等の場合には、ステップ１１６の判定が否定されてステップ１２０へ移行する。
【００８４】
ステップ１２０では、ステップ１１４でデータを取り出した色調不良の瞳領域と対になり、かつ色調不良が生じていない（色調良好な）瞳領域が画像中に存在しているか否かを探索する。これは、例えば色調不良の瞳領域の位置やサイズに基づいて、対となる瞳領域が存在している可能性が高いと推定される探索範囲を設定し、該探索範囲内に色調良好な瞳領域が存在しているか否かを、先のステップ１０６〜ステップ１１０と同様の処理を行うか、或いは人物の眼部に相当する特有の形状パターン（例えば特開平8-122944号公報、特開平8-183925号公報、特開平9-138471号公報等参照）を探索することで行うことができる。
【００８５】
次のステップ１２２では、ステップ１２０の探索によって対になる色調良好の瞳領域が抽出されたか否か判定する。対となる瞳領域が画像中に存在していない場合や、対となる瞳領域を抽出できなかった場合にはステップ１２２の判定が否定され、ステップ１２４で瞳領域の目標値設定処理が行われる。以下、この瞳領域の目標値設定処理について、図７のフローチャートを参照して説明する。
【００８６】
瞳領域の目標値設定処理では、対となる瞳領域が存在しない（又は抽出できなかった）色調不良の瞳領域を対象として、該瞳領域の色調不良を適正に修正するために、画像全体・瞳領域の近傍の領域（解析領域）・瞳領域自体の各領域の特徴量に基づいて、色調不良の修正における目標値を設定する。
【００８７】
すなわち、ステップ１７０では処理対象の画像のデータ（画像の各画素のＲ，Ｇ，Ｂの濃度を表すデータ）を、各画素の明度・彩度・色相を表すデータへ変換する。次のステップ１７２では、ステップ１７０の変換によって得られたデータに基づき、処理対象の画像全体の明度の平均値、シャドウ部の明度（例えば画像全体の明度のヒストグラムにおいて低明度側からの累積頻度が１〜数％となる画素の明度：本発明に係る「明度の最低値相当の値」に対応）を各々演算する。
【００８８】
ステップ１７４では、色調不良の瞳領域（ステップ１１４でデータを取り出した瞳領域）に対し、該瞳領域の近傍（周囲）の領域を解析領域として設定する。なお、解析領域は、例えば重心位置が色調不良の瞳領域の中心位置と一致し、色調不良の瞳領域に対して一定の面積比の領域（形状については矩形状・楕円形状・円形状等の任意の形状を適用可能）とすることができる。そしてステップ１７６では、ステップ１７０の変換によって得られたデータに基づき、解析領域の明度の平均値、彩度の平均値、色相の平均値、シャドウ部の明度を各々演算する。また、ステップ１７８では色調不良の瞳領域の明度の平均値、彩度の平均値、色相の平均値を各々演算する。
【００８９】
ステップ１８０では、色調不良の瞳領域に対する目標明度として、まず色調不良の瞳領域の明度の平均値を設定する。次のステップ１８２では、目標明度として、現在の目標明度と画像全体の明度の平均値のうち小さい方（明度が低い方）の値を設定する。続いてステップ１８４では、目標明度として、現在の目標明度と解析領域のシャドウ部の明度のうち小さい方の値を設定する。更にステップ１８６では、目標明度として、現在の目標明度と画像全体のシャドウ部の明度のうち大きい方（明度が高い方）の値を設定する。
【００９０】
そして、ステップ１８０〜ステップ１８６の処理を経た目標明度を色調不良の瞳領域に対する目標明度とする。ステップ１８０〜ステップ１８６の処理を経ることで、色調不良の瞳領域に対する目標明度は、画像全体の明度の平均値以下で、かつ解析領域のシャドウ部の明度の以下で、かつ画像全体のシャドウ部の明度以上の値となる。
【００９１】
瞳領域は低明度であるので、色調不良が生じている瞳領域の目標明度を、画像全体の明度の平均値以下とすることで、目標明度を処理対象の画像における望ましい明度に近づけることができる。また、瞳の本来の明度は瞳の周囲に存在する睫毛や眉毛、虹彩の明度よりも低いため、色調不良が生じている瞳領域の目標明度を、解析領域のシャドウ部の明度以下とすることで、目標明度を処理対象の画像における望ましい明度に近づけることができる。
【００９２】
更に、ストロボを発光させて撮影した画像等は低コントラストであることが多く、このような画像において瞳領域の明度を低下させ過ぎると、作為的に明度を低下させたように感じられるが、色調不良の瞳領域の目標明度を、画像全体のシャドウ部の明度以上とすることで、目標明度が不当に低い値になることを防止することができる。従ってステップ１８０〜ステップ１８６の処理により、色調不良の瞳領域の目標明度を、処理対象の画像が自然な雰囲気に仕上がる適正な値に設定することができる。
【００９３】
また、ステップ１８８では、色調不良の瞳領域に対する目標明度として、解析領域の彩度の平均値と彩度０との中間値に相当する値を設定する。瞳領域の近傍の領域は肌色の領域が占める面積が高く、睫毛や眉毛等のように無彩色に近い物体に相当する領域も含まれているので、解析領域の彩度の平均値は、その画像において低彩度と分類される彩度値を示す。このため、上記のステップ１８８により、色調不良の瞳領域の目標彩度を、画像が自然な雰囲気に仕上がる適正な値にすることができる。また、中間値に代えて、例えば解析領域の彩度の平均値から所定値を減算した値等を用いてもよい。
【００９４】
また、ステップ１９０では、色調不良の瞳領域に対する目標色相として、解析領域の色相の平均値を設定する。瞳領域の近傍の領域は肌色の領域が占める面積が高いので、解析領域の色相の平均値は暖色系に相当する値を示す。ステップ１９０の処理により、色調不良の瞳領域の目標色相を、前記瞳領域の色相の平均値の目標値を、画像が自然な雰囲気に仕上がり官能評価結果が良好な適正な値（暖色系の色相に相当する値）にすることができる。また、解析領域の色相の平均値を所定値変更した値を用いてもよい。
【００９５】
なお、上述した瞳領域の目標値設定処理は、請求項１〜請求項３に記載の「瞳領域の特徴量の目標値を決定」すること（請求項４〜請求項９に記載の決定手段）に対応しており、詳しくは、ステップ１８０〜ステップ１８６は請求項１記載の発明における色調不良が生じている瞳領域の明度の平均値の目標値の決定（請求項４，７に記載の決定手段）に、ステップ１８８は請求項２記載の発明における色調不良が生じている瞳領域の彩度の平均値の目標値の決定（請求項５，８に記載の決定手段）に、ステップ１９０は請求項５記載の発明における色調不良が生じている瞳領域の色相の平均値の目標値の決定（請求項６，９に記載の決定手段）に各々対応している。上記のようにして色調不良の瞳領域に対する目標明度・目標彩度・目標色相の設定を完了すると、図２のフローチャートのステップ１３０へ移行する。
【００９６】
一方、ステップ１２０の探索により、対になる色調良好の瞳領域が抽出された場合には、ステップ１２２の判定が肯定されてステップ１２６へ移行し、対となる色調良好な瞳領域全体の平均明度・平均彩度・平均色相を演算する。そしてステップ１２８では、ステップ１２６で求めた平均明度・平均彩度・平均色相に基づいて、色調不良の瞳領域の目標明度・目標彩度・目標色相を設定し、ステップ１３０へ移行する。
【００９８】
色調不良の瞳領域の目標明度・目標彩度・目標色相としては、色調良好な瞳領域全体の平均明度・平均彩度・平均色相と同一の値を設定してもよいし、同一の人物の瞳に相当する一対の瞳領域の各々の近傍の領域（前述の解析領域に相当する領域）における特徴量の相違に基づいて、前記平均明度・平均彩度・平均色相を若干変更して設定してもよい。これにより、色調不良の瞳領域に対して色調不良を修正した後の仕上がり（明度・彩度・色相等）が対となる瞳領域と略同一となり、同一の人物の瞳に相当する一対の瞳領域が自然な雰囲気に仕上がるように、色調不良の瞳領域に対する目標値を設定することができる。
【００９９】
また、ステップ１１４でデータを取り出した色調不良の瞳領域と対になる色調不良の瞳領域が存在していた場合には、ステップ１１６の判定が肯定されてステップ１１８へ移行し、瞳領域対の目標値設定処理が行われる。以下、この瞳領域対の目標値設定処理について、図８のフローチャートを参照して説明する。
【０１００】
瞳領域対の目標値設定処理では、まずステップ２００において、各々色調不良が生じている瞳領域対のうちの一方の瞳領域（便宜的に第１の色調不良瞳領域という）を対象として、先に説明した瞳領域の目標値設定処理（図７）を行い、第１の色調不良瞳領域に対して目標明度・目標彩度・目標色相を各々設定する。次のステップ２０２では、他方の瞳領域（第２の色調不良瞳領域）を対象として瞳領域の目標値設定処理（図７）を行い、第２の色調不良瞳領域に対して目標明度・目標彩度・目標色相を各々設定する。
【０１０１】
次のステップ２０４では、第１の色調不良瞳領域と第２の色調不良瞳領域の目標明度の平均値、目標彩度の平均値、目標色相の平均値を各々演算する。そしてステップ２０６では、第１の色調不良瞳領域及び第２の色調不良瞳領域の目標明度・目標彩度・目標色相として、ステップ２０４で求めた目標明度の平均値、目標彩度の平均値、目標色相の平均値を各々設定し、図２のフローチャートのステップ１３０へ移行する。
【０１０３】
上記のように、瞳領域対の目標値設定処理では、各々色調不良が生じている一対の瞳領域に対して瞳領域の目標値設定処理（図７）を各々行って目標値を設定した後に、それぞれの目標値の平均値を一対の瞳領域に各々設定するので、色調不良を修正した後の一対の瞳領域の仕上がり（明度・彩度・色相等）略同一となり、一対の瞳領域が自然な雰囲気に仕上がるように、一対の瞳領域に対する目標値を設定することができる。
【０１０４】
図２のフローチャートのステップ１３０では、上記のようにして設定された色調不良の瞳領域の明度・彩度・色相の目標値に基づき、色調不良の瞳領域の平均明度・平均彩度・平均色相を目標値に略一致させるための変換条件（明度・彩度・色相のデータに対する変換条件でもよいし、Ｒ，Ｇ，Ｂのデータに対する変換条件でもよい）を設定する。本実施形態では、瞳領域の色調不良をマトリクス演算によって修正するので、ステップ１３０では前記変換条件として、瞳領域の色調不良を修正するマトリクス演算におけるマトリクス（例えば３×３のマトリクス）の係数を設定する。そして、設定した変換条件を、色調不良修正対象の瞳領域を特定するための情報（前記瞳領域の画像上で位置、サイズ等）と対応させてメモリ等に記憶する。
【０１０５】
ステップ１３２では、処理対象の画像のデータのうち上記で変換条件を設定した色調不良の瞳領域のデータを、上記で設定した変換条件に従って変換する。次のステップ１３４では、先のステップ１１０で抽出された全ての色調不良の瞳領域に対して変換条件を設定したか否か判定する。判定が否定された場合にはステップ１１４に戻り、ステップ１１４以降の処理を繰り返す。これにより、処理対象の画像から抽出された全ての色調不良の瞳領域に対し、色調不良を修正するための変換条件が各々設定・記憶されることになる。
【０１０６】
ステップ１３４の判定が肯定されるとステップ１３６へ移行し、ステップ１３２で変換条件に従って変換した瞳領域のデータを用い、処理対象の画像（瞳領域の色調不良が修正された画像）をディスプレイ７０に再表示すると共に、表示された画像の検定をオペレータに要請するメッセージをディスプレイ７０に表示する。そして、次のステップ１３８ではオペレータによる検定結果が「ＯＫ」か否かを判定する。オペレータはディスプレイ７０に表示された画像を参照し、画像が再表示される前は色調不良が生じていた瞳領域の色調不良が適正に修正されているか否かを検定し、キーボード７１等を操作して検定結果を入力する。
【０１０７】
オペレータが、瞳領域の色調不良が適正に修正されていないと判断した場合には、検定結果として、色調不良が適正に修正されていないと判断した瞳領域を特定するための情報、及び該瞳領域の色調をどのように修正すべきかを指示する情報（目標値をどのように修正すべきかを指示する情報でもよいし、変換条件をどのように修正すべきかを指示する情報でもよい）がキーボード７１を介して入力される。この場合、ステップ１３８の判定が否定され、オペレータから入力された情報に基づき、色調不良が適正に修正されていないと判断された瞳領域に対する変換条件（記憶している変換条件）をステップ１４０で修正した後にステップ１３２に戻る。これにより、前記瞳領域の色調が修正した変換条件に従って再修正され、画像が再表示されることになる。
【０１０８】
また、オペレータが、瞳領域の色調不良が適正に修正されていると判断し、検定結果として「検定ＯＫ」を表す情報がキーボード７１を介して入力された場合には、ステップ１３８の判定が肯定されてステップ１４２へ移行し、メモリ等に記憶している変換条件（及び色調不良修正対象の瞳領域を特定するための情報）を、処理対象のフィルム画像を特定するための情報（例えばコマ番号等）と共にオートセットアップエンジン４４を介してイメージプロセッサ４０に転送し、処理を終了する。
【０１０９】
イメージプロセッサ４０では、瞳領域の色調不良を修正するための変換条件が転送される毎に、これをメモリ等に記憶する。そして、写真フィルム２６に記録されている各フィルム画像に対してファインスキャンが行われ、各フィルム画像のファインスキャン画像データが入力されると、フィルム画像を特定するための情報に基づき、ファインスキャン画像データに対応するフィルム画像についての変換条件がメモリ等に記憶されているか否かを判定する。
【０１１０】
そして、対応する変換条件がメモリ等に記憶されていた場合には、メモリ等から変換条件を取り込み、取り込んだ変換条件をマトリクス演算を行う演算部に設定すると共に、色調不良修正対象の瞳領域を特定するための情報に基づいて、画像データから前記瞳領域に相当するデータを取り出し、個々の画素のデータを単位として前記演算部に順に入力する。
【０１１１】
これにより、色調不良の瞳領域に相当するデータが、前述の瞳領域色調修正条件決定処理（図２）によって決定された変換条件に従って、色調不良の瞳領域の明度の平均値、彩度の平均値及び色相の平均値が各々目標値に略一致するように変換され、前記瞳領域の色調不良が前記変換条件に従って修正される。また、色調不良修正対象の瞳領域内の各画素のデータを一定の変換条件で変換するので、色調不良修正前の画素を単位とするばらつきも或る程度保存され、自然な雰囲気に仕上がるように瞳領域の色調不良が修正されることになる。
【０１１２】
なお、上記の変換はファインスキャン画像データ（各画素のＲ，Ｇ，Ｂ濃度を表すデータ）を直接変換することで行ってもよいし、ファインスキャン画像データを各画素の明度・彩度・色相を表すデータに変換した後に、該データに対して変換を行うようにしてもよい。上述したイメージプロセッサ４０による瞳領域の色調不良の修正は、先に説明したステップ１３０、ステップ１３２と共に、請求項１〜請求項３に記載の「色調不良が生じている瞳領域の特徴量が目標値に略一致するように、色調不良が生じている瞳領域内の各画素の値を修正する」こと（請求項４〜請求項９に記載の修正手段）に対応している。
【０１１３】
なお、瞳領域の色調修正にあたり、本願出願人が特願平10-166973号で提案しているように、瞳領域の中央部から周縁部へ向かって徐々に明度が低下する明度変化が瞳領域内に生ずるように、瞳領域内の明度を更に修正してもよい。また、本願出願人が特願平10-166973号で提案しているように、瞳領域内にキャッチライトに相当する部分的な高輝度領域（ハイライト領域）が生ずるように、瞳領域内の明度を更に修正するかキャッチライトパターンを貼り付けるようにしてもよい。
【０１１４】
また、上記では画像の大部分を含む領域の特徴量として明度の平均値、シャドウ部の明度を用い、色調不良が生じている瞳領域の近傍の領域の特徴量として明度の平均値、彩度の平均値、色相の平均値、シャドウ部の明度を用い、色調不良が生じている瞳領域の特徴量として明度の平均値、彩度の平均値、色相の平均値を用いていたが、上記は一例であり、任意の特徴量を使用可能であることは言うまでもない。
【０１１５】
また、上記ではオペレータによって指定された処理対象領域が指定された場合に、処理対象の画像中に色調不良の瞳領域が存在していると判断し、指定された処理対象領域内から色調不良の瞳領域を抽出するようにしていたが、これに限定されるものではなく、色調不良の瞳領域が存在しているか否かの判定、色調不良の瞳領域が存在していると判断した場合の該領域の抽出を全て自動的に行ってもよい。この場合、色調不良の瞳領域に対する変換条件の演算をオートセットアップエンジン４４で行うことも可能である。
【０１１６】
更に、上記ではフィルム画像に対して２回の読み取りを行い、１回目の低解像度での読み取り（プレスキャン）によって得られた画像データに基づいて瞳領域の色調不良を修正するための変換条件を求め、２回目の高解像度での読み取り（ファインスキャン）によって得られた画像データを前記変換条件に従って変換していたが、読み取り回数や各回の読み取りにおける解像度の関係は上記に限定されるものではない。
【０１１７】
また、上記では本発明に係る「画像の大部分を含む領域」として画像全体を用いていたが、本発明はこれに限定されるものではなく、例えばレンズ付きフィルムで撮影された画像等のように、画像の周縁部で光量不足による画質の低下が生じている画像を対象として処理を行う等の場合には、「画像の大部分を含む領域」として、例えば画像全体から周縁部（或いは画像の中心から一定距離以上離れた領域）を除いた領域を用いてもよい。
【０１１８】
また、上記では写真フィルム２６に記録されているフィルム画像を読み取ることで得られた画像データに対する画像処理に本発明を適用した場合を説明したが、これに限定されるものではなく、例えばデジタルスチルカメラやデジタルビデオカメラによる撮影によって得られた画像データ、或いは写真フィルム以外の他の記録媒体に記録されている画像をスキャナ等によって読み取ることで得られた画像データに対する画像処理に本発明を適用してもよいことは言うまでもない。
【０１１９】
更に、上記では本発明に係る瞳領域色調修正条件決定プログラムが、当初は、本発明に係る記録媒体としての情報記憶媒体７２に記憶されており、上記の情報記憶媒体７２から本実施形態に係る画像処理装置１４へ前記プログラムがインストールされて実行されることにより、画像処理装置１４が本発明に係る画像処理装置として機能する態様について説明したが、画像処理装置１４（又は本実施形態に係る画像処理システム１０）に、公衆電話回線やコンピュータネットワーク（例えばＬＡＮ、インターネット、無線通信ネットワーク等）システムにおける通信媒体（光ファイバや無線回線）を介して他の情報処理機器（例えばネットワークサーバ）と通信する機能を設け、前記プログラムが当初は前記情報処理機器の記憶装置に記憶されており、前記情報処理機器から前記通信媒体（本発明に係る伝送媒体）によって前記プログラムが画像処理装置１４へ伝送され、伝送されたプログラムを画像処理装置１４がハードディスク等の記憶手段にインストールして実行することにより、画像処理装置１４が本発明に係る画像処理装置として機能するようにしてもよい。
【０１２０】
【発明の効果】
以上説明したように本発明は、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値及び明度の最低値相当の値を、色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の最低値相当の値を、色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を各々用いて、色調不良が生じている瞳領域の明度の平均値の目標値を、画像の大部分を含む領域の明度の平均値以下で、かつ色調不良が生じている瞳領域の近傍の領域の明度の最低値相当の値以下で、かつ画像の大部分を含む領域の明度の最低値相当の値以上となるように決定すると共に、色調不良が生じている瞳領域の彩度の平均値の目標値及び色相の平均値の目標値も各々決定し、前記瞳領域の特徴量が目標値に略一致するように前記瞳領域内の各画素の値を修正するので、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正できる、という優れた効果を有する。
【０１２１】
また本発明は、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも１つを、色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも彩度の平均値を、色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、色調不良が生じている瞳領域の彩度の平均値の目標値を、抽出した瞳領域の近傍の領域の彩度の平均値以下でかつ無彩度以上となるように決定すると共に、色調不良が生じている瞳領域の明度の平均値の目標値及び色相の平均値の目標値も各々決定し、前記瞳領域の特徴量が目標値に略一致するように前記瞳領域内の各画素の値を修正するので、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正できる、という優れた効果を有する。
【０１２２】
また本発明は、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも１つを、色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも色相の平均値を、色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、色調不良が生じている瞳領域の色相の平均値の目標値を、色調不良が生じている瞳領域の近傍の領域の色相の平均値と略同一となるように決定すると共に、色調不良が生じている瞳領域の明度の平均値の目標値及び彩度の平均値の目標値も各々決定し、前記瞳領域の特徴量が目標値に略一致するように前記瞳領域内の各画素の値を修正するので、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正できる、という優れた効果を有する。
【図面の簡単な説明】
【図１】 本実施形態に係る画像処理システムの概略構成図である。
【図２】 本実施形態に係る瞳領域色調修正条件決定処理の内容を示すフローチャートである。
【図３】 （Ａ）乃至（Ｆ）は処理対象領域の指定モードの一例を説明するための概念図である。
【図４】 （Ａ）は眼部領域の一例を示す平面図、（Ｂ）は特徴量Ａ、（Ｃ）は特徴量Ｂの眼部領域における分布の一例を示す線図である。
【図５】 眼部領域における特徴量Ｃの分布の一例を示す線図である。
【図６】 特徴量Ｃに基づいて処理対象領域を分割した結果の一例を示す平面図である。
【図７】 瞳領域の目標値設定処理の内容を示すフローチャートである。
【図８】 瞳領域対の目標値設定処理の内容を示すフローチャートである。
【符号の説明】
１２ イメージプロセッサ
１４ 画像処理装置
４２ パーソナルコンピュータ
４４ オートセットアップエンジン
７０ ディスプレイ
７１ キーボード
７２ 情報記憶媒体

Claims (9)

1. 人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出し、
   画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値及び明度の最低値相当の値を用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の最低値相当の値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の明度の平均値の目標値を、前記画像の大部分を含む領域の明度の平均値以下で、かつ前記色調不良が生じている瞳領域の近傍の領域の明度の最低値相当の値以下で、かつ前記画像の大部分を含む領域の明度の最低値相当の値以上となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の彩度の平均値の目標値及び色相の平均値の目標値も各々決定し、
   前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する
   画像処理方法。
2. 人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出し、
   画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも１つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも彩度の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の彩度の平均値の目標値を、前記抽出した瞳領域の近傍の領域の彩度の平均値以下でかつ無彩度以上となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の明度の平均値の目標値及び色相の平均値の目標値も各々決定し、
   前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する
   画像処理方法。
3. 人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出し、
   画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも１つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも色相の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の色相の平均値の目標値を、前記色調不良が生じている瞳領域の近傍の領域の色相の平均値と略同一となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、明度の平均値の目標値及び彩度の平均値の目標値も各々決定し、
   前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する
   画像処理方法。
4. 人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出する抽出手段と、
   画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値及び明度の最低値相当の値を用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の最低値相当の値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の明度の平均値の目標値を、前記画像の大部分を含む領域の明度の平均値以下で、かつ前記色調不良が生じている瞳領域の近傍の領域の明度の最低値相当の値以下で、かつ前記画像の大部分を含む領域の明度の最低値相当の値以上となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の彩度の平均値の目標値及び色相の平均値の目標値も各々決定する決定手段と、
   前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する修正手段と、
   を含む画像処理装置。
5. 人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出する抽出手段と、
   画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも１つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも彩度の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の彩度の平均値の目標値を、前記抽出した瞳領域の近傍の領域の彩度の平均値以下でかつ無彩度以上となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の明度の平均値の目標値及び色相の平均値の目標値も各々決定する決定手段と、
   前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する修正手段と、
   を含む画像処理装置。
6. 人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出する抽出手段と、
   画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも１つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも色相の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の色相の平均値の目標値を、前記色調不良が生じている瞳領域の近傍の領域の色相の平均値と略同一となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、明度の平均値の目標値及び彩度の平均値の目標値も各々決定する決定手段と、
   前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する修正手段と、
   を含む画像処理装置。
7. コンピュータを、
   人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出する抽出手段、
   画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値及び明度の最低値相当の値を用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の最低値相当の値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の明度の平均値の目標値を、前記画像の大部分を含む領域の明度の平均値以下で、かつ前記色調不良が生じている瞳領域の近傍の領域の明度の最低値相当の値以下で、かつ前記画像の大部分を含む領域の明度の最低値相当の値以上となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の彩度の平均値の目標値及び色相の平均値の目標値も各々決定する決定手段、
   及び、前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する修正手段
   として機能させるためのプログラムが記録された記録媒体。
8. コンピュータを、
   人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出する抽出手段、
   画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも１つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも彩度の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の彩度の平均値の目標値を、前記抽出した瞳領域の近傍の領域の彩度の平均値以下でかつ無彩度以上となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の明度の平均値の目標値及び色相の平均値の目標値も各々決定する決定手段、
   及び、前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する修正手段
   として機能させるためのプログラムが記録された記録媒体。
9. コンピュータを、
   人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出する抽出手段、
   画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも１つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも色相の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の色相の平均値の目標値を、前記色調不良が生じている瞳領域の近傍の領域の色相の平均値と略同一となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、明度の平均値の目標値及び彩度の平均値の目標値も各々決定する決定手段、
   及び、前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する修正手段
   として機能させるためのプログラムが記録された記録媒体。

Images