JP3961734B2 - 画像処理方法、装置及び記録媒体 - Google Patents
画像処理方法、装置及び記録媒体 Download PDFInfo
- Publication number
- JP3961734B2 JP3961734B2 JP36827499A JP36827499A JP3961734B2 JP 3961734 B2 JP3961734 B2 JP 3961734B2 JP 36827499 A JP36827499 A JP 36827499A JP 36827499 A JP36827499 A JP 36827499A JP 3961734 B2 JP3961734 B2 JP 3961734B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- average
- brightness
- average value
- color tone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000003672 processing method Methods 0.000 title claims description 14
- 210000001747 pupil Anatomy 0.000 claims description 514
- 238000012545 processing Methods 0.000 claims description 128
- 238000012937 correction Methods 0.000 claims description 42
- 230000002950 deficient Effects 0.000 claims description 34
- 238000000605 extraction Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 description 43
- 238000006243 chemical reaction Methods 0.000 description 35
- 238000004458 analytical method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 230000007547 defect Effects 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 8
- 238000004088 simulation Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 241001469893 Oxyzygonectes dovii Species 0.000 description 6
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 6
- 239000010931 gold Substances 0.000 description 6
- 229910052737 gold Inorganic materials 0.000 description 6
- 201000005111 ocular hyperemia Diseases 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 241000534672 Hiodon alosoides Species 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000000720 eyelash Anatomy 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 230000001953 sensory effect Effects 0.000 description 4
- 230000002349 favourable effect Effects 0.000 description 3
- 238000003705 background correction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000000554 iris Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000692783 Chylismia claviformis Species 0.000 description 1
- 241000238370 Sepia Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
- H04N1/624—Red-eye correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30216—Redeye defect
Description
【発明の属する技術分野】
本発明は画像処理方法、装置及び記録媒体に係り、特に、人物の瞳に相当しかつ画像上で色調不良が生じている画像中の瞳領域を修正する画像処理方法、前記画像処理方法が適用された画像処理装置、及び、コンピュータによって前記画像処理方法を実現するためのプログラムが記録された記録媒体に関する。
【0002】
【従来の技術】
カメラにより被写体を撮影した場合、撮影時の光の反射状態によっては、撮影記録される画像上での被写体の色調が実際の色調と大きく相違することがある。例えば、ストロボを発光させて被写体としての人物を正面から撮影すると、暗い場所で瞳孔が開いた状態となっている人物の眼部に対しストロボ光が正面から入射して正反射され、この状態が画像として撮影記録されることで、画像上で瞳に相当する領域(瞳領域)が赤色を帯びたり(所謂赤目)、金色を帯びる(所謂金目)ことがある。このような画像中の瞳領域の色調不良は非常に不自然で見栄えが悪いため、画像処理によって瞳領域の色調不良を修正し、瞳領域が自然に見えるようにするための様々な手法が従来より提案されている。
【0003】
例えば特開平7−72537号公報には、瞳の色調不良が存在する可能性がある領域を定め、サンプリングした前記領域内の画素の色相や明度等を閾値と比較することで、瞳の色調不良の可能性のある画素を判断して色調不良の瞳本体に相当する領域を求め、該領域の各画素のRGB値をYCC値に変換し、色度チャネルC1,C2の値を零化して色度を除去すると共に、実験により定められた1より小の所定値(例えば0.35)を明度チャネルYの値に乗じて明度を低下させることで色調不良を補正する技術が開示されている。
【0004】
また、特開平9−261580号公報には、エッジに囲まれる領域内の色情報と色彩情報とに基づいて瞳候補領域を選択し、選択した瞳候補領域から色調不良(赤目)画素を抽出し、各画素毎に、例えばR,G,Bの値をR,G,Bのうち最も低い値に合わせたり、Rの値をGとBの平均値に合わせたり、オペレータによって色見本から選択された色の色情報に基づいてR,G,Bの値を変更することで色調不良を補正する手法が開示されている。
【0005】
【発明が解決しようとする課題】
しかしながら、画像中の瞳領域に色調不良が生じていない場合の瞳領域の特徴量(例えば明度・彩度・色相等)は、撮影時の照明条件等の撮影条件によって大きく異なるので、色調不良が生じている画像中の瞳領域をどのように修正すべきかは個々の画像毎に相違している。また、瞳領域の特徴量が色調不良によって適正値からどのように変化したかについても、例えば被写体迄の距離等の撮影条件によって異なるので、色調不良が生じている瞳領域の特徴量から適正値を推定することも困難である。
【0006】
これに対し、特開平7−72537号公報に記載の技術は、色調不良と判断した領域に対し、画素毎に色度を除去し、明度に一定の係数を乗ずるという一律の補正を行うものであり、特開平9−261580号公報に記載の技術は、色調不良と判断した領域の特徴量(具体的には各画素のR,G,Bの値)のみを用いて補正を行うものであるので、色調不良領域を修正した後の画像が不自然な雰囲気の仕上がりになることが多い、という問題があった。
【0007】
また、瞳領域の色調不良は同一人物の両目の瞳に対応する一対の瞳領域に各々生じていることも多いが、被写体としての人物へのストロボ光の照射角度等によっては、一対の瞳領域に生じる色調不良の度合いが互いに相違する場合がある。これに対し、前記各公報に記載の技術は上記のような一対の瞳領域の色調不良の修正に適用することは考慮されておらず、色調不良修正後の一対の瞳領域の仕上がりが大きく相違することで、一対の瞳領域(及び画像全体)が不自然な雰囲気の仕上がりになることが多い、という問題もあった。
【0008】
本発明は上記事実を考慮して成されたもので、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正可能な画像処理方法、画像処理装置及び記録媒体を得ることが目的である。
【0010】
【課題を解決するための手段】
先に述べたように、画像中の瞳領域に色調不良が生じていない場合の瞳領域の明度・彩度・色相等の特徴量(すなわち画像を自然な雰囲気に仕上げるための瞳領域の特徴量の望ましい値)は撮影時の照明条件等の撮影条件によって大きく異なるが、画像の大部分を含む領域の特徴量や画像中の瞳領域の近傍の領域の特徴量は、画像中の瞳領域に色調不良が生じているか否かとは無関係に撮影条件によって大きく変化する。本願発明者は上記事実に基づき、画像を自然な雰囲気に仕上げるための瞳領域の特徴量の望ましい値は、画像の大部分を含む領域の特徴量や瞳領域の近傍の領域の特徴量と強い相関があり、画像の大部分を含む領域の特徴量や瞳領域の近傍の領域の特徴量から瞳領域の特徴量の望ましい値を推定可能であることに想到して本発明を成すに至った。
【0011】
請求項1記載の発明に係る画像処理方法は、人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出し、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値及び明度の最低値相当の値を用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の最低値相当の値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の明度の平均値の目標値を、前記画像の大部分を含む領域の明度の平均値以下で、かつ前記色調不良が生じている瞳領域の近傍の領域の明度の最低値相当の値以下で、かつ前記画像の大部分を含む領域の明度の最低値相当の値以上となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の彩度の平均値の目標値及び色相の平均値の目標値も各々決定し、前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する。
【0012】
請求項1記載の発明では、人物の瞳に相当しかつ画像上で色調不良(例えば赤目や金目等)が生じている瞳領域を画像から抽出する。なお、色調不良が生じている瞳領域の抽出は、例えば色調不良が生じている瞳領域を含む画像領域(オペレータにより指定された領域であってもよいし、画像解析によって自動的に抽出された領域であってもよい)の各画素毎に、明度、彩度、色相のうちの少なくとも1つの特徴量を求め、前記画像領域をxy平面とし前記特徴量をz軸とする3次元のxyz空間を設定し、xy平面の広がりに対してz軸の値(特徴量)が山状に分布する領域毎にxy平面を領域分割し、各分割領域のxy平面上での形状、位置、面積、統計的特徴量のうちの少なくとも1つに基づいて、人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を判別することで行うことができる。
【0013】
また、請求項1記載の発明では、画像の大部分を含む領域の特徴量、色調不良が生じている瞳領域の近傍の領域の特徴量、及び、色調不良が生じている瞳領域の特徴量を各々用いて、色調不良が生じている瞳領域の特徴量の目標値として、明度の平均値の目標値、彩度の平均値の目標値及び色相の平均値の目標値を各々決定する。なお、画像の大部分を含む領域は、例えば画像全体であってもよいし、画像の周縁部又は色調不良が生じている瞳領域から画像上で一定距離以上離れた領域を画像から除いて残った領域であってもよく、色調不良が生じている瞳領域を含む一部の領域を画像からトリミングする場合のトリミング領域の大部分であってよい。また、瞳領域の近傍の領域は、例えば円形、楕円形、矩形、瞳領域と相似の形状等の任意の形状とすることができ、瞳領域の面積に応じてサイズを変更してもよいし、サイズを固定的に定めてもよい。
【0014】
また、画像の大部分を含む領域の特徴量、色調不良が生じている瞳領域の近傍の領域の特徴量、及び色調不良が生じている瞳領域の特徴量としては、明度の平均値、彩度の平均値、色相の平均値、及び明度の最低値相当の値(例えば明度の最低値、或いはシャドウ部の明度)の少なくとも1つを各々用いることができるが、請求項1記載の発明では、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値及び明度の最低値相当の値を用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の最低値相当の値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いている。
【0015】
前述のように、画像の大部分を含む領域の特徴量や色調不良が生じている瞳領域の近傍の領域の特徴量は、画像を自然な雰囲気に仕上げるための瞳領域の特徴量の望ましい値と強い相関があるので、上記のように画像の大部分を含む領域の特徴量や色調不良が生じている瞳領域の近傍の領域の特徴量も用いて瞳領域の特徴量の目標値を決定することにより、画像が自然な雰囲気に仕上がるように瞳領域の特徴量の目標値を決定することができる。
【0016】
そして請求項1記載の発明では、色調不良が生じている瞳領域の特徴量が決定した目標値に略一致するように、色調不良が生じている瞳領域内の各画素の値を修正するので、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正することができる。なお、色調不良が生じている瞳領域の特徴量が決定した目標値に略一致するように瞳領域内の各画素の値を修正することは、例えば色調不良が生じている瞳領域の特徴量の平均値が決定した目標値に略一致するように各画素の値を変換する変換式を定め、前記変換式に従って前記各画素の値を変換することにより、瞳領域内の各画素の値のばらつきも反映されるように各画素の値を修正することが望ましい。
【0017】
更に請求項1記載の発明では、色調不良が生じている瞳領域の明度の平均値の目標値を、画像の大部分を含む領域の明度の平均値以下で、かつ前記瞳領域の近傍の領域の明度の最低値相当の値以下で、かつ画像の大部分を含む領域の明度の最低値相当の値以上となるように決定している。
【0018】
一般に瞳領域は低明度であるので、色調不良が生じている瞳領域の明度の平均値の目標値を、画像の大部分を含む領域の明度の平均値以下とすることで、前記目標値をその画像における望ましい明度に近づけることができる。また、一般に瞳の明度は瞳の周囲に存在する睫毛や眉毛、虹彩の明度よりも低いため、前記瞳領域の明度の平均値の目標値を、前記瞳領域の近傍の領域の明度の最低値相当の値以下とすることで、前記目標値をその画像における望ましい明度に近づけることができる。
【0019】
更に、ストロボを発光させて撮影した画像等は低コントラストであることが多いが、このような画像において瞳領域の明度を低下させ過ぎると、作為的に明度を低下させたように感じられる。これに対し、前記瞳領域の明度の平均値の目標値を、画像の大部分を含む領域の明度の最低値相当の値以上とすれば、前記目標値が不当に低い値になることが防止され、その画像における望ましい明度に近づけることができる。
【0020】
このように、請求項1記載の発明によれば、色調不良が生じている瞳領域の明度の平均値の目標値を、上記の各条件を満足するように決定するので、前記瞳領域の明度の平均値の目標値を、画像が自然な雰囲気に仕上がる適正な値にすることができる。そして、瞳領域の明度をその画像における望ましい明度に近づけられることで、画像がより自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正することができる。
【0021】
請求項2記載の発明に係る画像処理方法は、人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出し、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも1つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも彩度の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の彩度の平均値の目標値を、前記抽出した瞳領域の近傍の領域の彩度の平均値以下でかつ無彩度以上となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の明度の平均値の目標値及び色相の平均値の目標値も各々決定し、前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する。
【0022】
請求項2記載の発明では、請求項1記載の発明と同様に、色調不良が生じている瞳領域を画像から抽出し、画像の大部分を含む領域の特徴量、色調不良が生じている瞳領域の近傍の領域の特徴量、及び、色調不良が生じている瞳領域の特徴量を各々用いて、色調不良が生じている瞳領域の特徴量の目標値として、明度の平均値の目標値、彩度の平均値の目標値及び色相の平均値の目標値を各々決定し、色調不良が生じている瞳領域の特徴量が目標値に略一致するように、色調不良が生じている瞳領域内の各画素の値を修正するので、請求項1記載の発明と同様に、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正することができる。
【0023】
また一般に、瞳領域の近傍の領域は肌色の領域が占める面積が高く、睫毛や眉毛等のように無彩色に近い物体に相当する領域も含まれているので、瞳領域の近傍の領域の彩度の平均値は、その画像において低彩度と分類される彩度値を示す。これに対して請求項2記載の発明では、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも1つを用いると共に、色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも彩度の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用い、色調不良が生じている瞳領域の特徴量の目標値のうち、色調不良が生じている瞳領域の彩度の平均値の目標値を、抽出した瞳領域の近傍の領域の彩度の平均値以下でかつ無彩度以上となるように決定している。これにより、前記瞳領域の彩度の平均値の目標値を、画像が自然な雰囲気に仕上がる適正な値にすることができる。そして、瞳領域の彩度をその画像における望ましい彩度に近づけられることで、画像がより自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正することができる。
【0024】
請求項3記載の発明に係る画像処理方法は、人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出し、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも1つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも色相の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の色相の平均値の目標値を、前記色調不良が生じている瞳領域の近傍の領域の色相の平均値と略同一となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、明度の平均値の目標値及び彩度の平均値の目標値も各々決定し、前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する。
【0025】
請求項3記載の発明では、請求項1記載の発明と同様に、色調不良が生じている瞳領域を画像から抽出し、画像の大部分を含む領域の特徴量、色調不良が生じている瞳領域の近傍の領域の特徴量、及び、色調不良が生じている瞳領域の特徴量を各々用いて、色調不良が生じている瞳領域の特徴量の目標値として、明度の平均値の目標値、彩度の平均値の目標値及び色相の平均値の目標値を各々決定し、色調不良が生じている瞳領域の特徴量が目標値に略一致するように、色調不良が生じている瞳領域内の各画素の値を修正するので、請求項1記載の発明と同様に、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正することができる。
【0026】
また本願発明者は色調不良の瞳領域を修正した画像に対する官能評価の結果を分析し、色調不良修正後の瞳領域の色相は、無彩色に相当する色相よりも暖色系の色相の方が官能評価による評価結果が高いとの知見を得た。前述のように、瞳領域の近傍の領域は肌色の領域が占める面積が高いので、瞳領域の近傍の領域の色相の平均値は暖色系に相当する値を示す。これに対して請求項3記載の発明では、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも1つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも色相の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、色調不良が生じている瞳領域の特徴量の目標値のうち、色調不良が生じている瞳領域の色相の平均値の目標値を、色調不良が生じている瞳領域の近傍の領域の色相の平均値と略同一となるように決定している。これにより、色調不良が生じている瞳領域の色相の平均値の目標値を、画像が自然な雰囲気に仕上がり官能評価結果が良好な適正な値にすることができる。そして、瞳領域の色相を官能評価結果が良好な色相にすることができることで、画像がより自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正することができる。
【0031】
請求項4記載の発明に係る画像処理装置は、人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出する抽出手段と、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値及び明度の最低値相当の値を用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の最低値相当の値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の明度の平均値の目標値を、前記画像の大部分を含む領域の明度の平均値以下で、かつ前記色調不良が生じている瞳領域の近傍の領域の明度の最低値相当の値以下で、かつ前記画像の大部分を含む領域の明度の最低値相当の値以上となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の彩度の平均値の目標値及び色相の平均値の目標値も各々決定する決定手段と、前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する修正手段と、を含んで構成されているので、請求項1記載の発明と同様に、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正することができる。
【0032】
請求項5記載の発明に係る画像処理装置は、人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出する抽出手段と、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも1つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも彩度の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の彩度の平均値の目標値を、前記抽出した瞳領域の近傍の領域の彩度の平均値以下でかつ無彩度以上となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の明度の平均値の目標値及び色相の平均値の目標値も各々決定する決定手段と、前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する修正手段と、を含んで構成されているので、請求項2記載の発明と同様に、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正することができる。
【0033】
請求項6記載の発明に係る画像処理装置は、人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出する抽出手段と、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも1つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも色相の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の色相の平均値の目標値を、前記色調不良が生じている瞳領域の近傍の領域の色相の平均値と略同一となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、明度の平均値の目標値及び彩度の平均値の目標値も各々決定する決定手段と、前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する修正手段と、を含んで構成されているので、請求項3記載の発明と同様に、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正することができる。
【0034】
請求項7記載の発明に係る記録媒体は、コンピュータを、人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出する抽出手段、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値及び明度の最低値相当の値を用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の最低値相当の値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の明度の平均値の目標値を、前記画像の大部分を含む領域の明度の平均値以下で、かつ前記色調不良が生じている瞳領域の近傍の領域の明度の最低値相当の値以下で、かつ前記画像の大部分を含む領域の明度の最低値相当の値以上となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の彩度の平均値の目標値及び色相の平均値の目標値も各々決定する決定手段、及び、前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する修正手段として機能させるためのプログラムが記録されている。
【0035】
請求項7記載の発明に係る記録媒体には、コンピュータを上記の抽出手段、決定手段及び修正手段として機能させるためのプログラム、すなわちコンピュータを請求項4記載の画像処理装置として機能させるためのプログラムが記録されているので、コンピュータが前記記録媒体に記録されたプログラムを読み出して実行することにより、請求項1,4記載の発明と同様に、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正することができる。
【0036】
請求項8記載の発明に係る記録媒体は、コンピュータを、人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出する抽出手段、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも1つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも彩度の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の彩度の平均値の目標値を、前記抽出した瞳領域の近傍の領域の彩度の平均値以下でかつ無彩度以上となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の明度の平均値の目標値及び色相の平均値の目標値も各々決定する決定手段、及び、前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する修正手段として機能させるためのプログラムが記録されている。
【0037】
請求項8記載の発明に係る記録媒体には、コンピュータを上記の抽出手段、決定手段及び修正手段として機能させるためのプログラム、すなわちコンピュータを請求項5記載の画像処理装置として機能させるためのプログラムが記録されているので、コンピュータが前記記録媒体に記録されたプログラムを読み出して実行することにより、請求項2,5記載の発明と同様に、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正することができる。
【0038】
請求項9記載の発明に係る記録媒体は、コンピュータを、人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出する抽出手段、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも1つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも色相の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の色相の平均値の目標値を、前記色調不良が生じている瞳領域の近傍の領域の色相の平均値と略同一となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、明度の平均値の目標値及び彩度の平均値の目標値も各々決定する決定手段、及び、前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する修正手段として機能させるためのプログラムが記録されたている。
【0039】
請求項9記載の発明に係る記録媒体には、コンピュータを上記の抽出手段、決定手段及び修正手段として機能させるためのプログラム、すなわちコンピュータを請求項6記載の画像処理装置として機能させるためのプログラムが記録されているので、コンピュータが前記記録媒体に記録されたプログラムを読み出して実行することにより、請求項3,6記載の発明と同様に、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正することができる。
【0040】
【発明の実施の形態】
以下、図面を参照し、本発明の実施形態の一例を詳細に説明する。図1には、本発明が適用された画像処理システム10が示されている。画像処理システム10は、スキャナ12、画像処理装置14及びプリンタ16が直列に接続されて構成されている。なお、画像処理装置14は本発明に係る画像処理装置に対応している。
【0041】
スキャナ12は、写真フィルム(例えばネガフィルムやリバーサルフィルム)等の写真感光材料(以下単に写真フィルムと称する)に記録されているフィルム画像(被写体を撮影後、現像処理されることで可視化されたネガ画像又はポジ画像)を読み取り、該読み取りによって得られた画像データを出力するものであり、光源20から射出され光拡散ボックス22によって光量むらが低減された光が、フィルムキャリア24にセットされているネガフィルムやリバーサルフィルム等の写真フィルム26に照射され、写真フィルム26を透過した光がレンズ28を介してCCDセンサ30(エリアセンサであってもラインセンサであってもよい)の受光面上に結像されるように構成されている。
【0042】
フィルムキャリア24は、写真フィルム26上のフィルム画像が記録されている箇所が、光源20からの射出光の光軸上に順に位置するように写真フィルム26を搬送する(CCDセンサ30がエリアセンサであれば各フィルム画像が順に光軸上に位置決めされるように写真フィルム26を間欠的に搬送し、CCDセンサ30がラインセンサであれば写真フィルム26を連続的に搬送する)。これにより、写真フィルム26に記録されているフィルム画像がCCDセンサ30によって順に読み取られ、CCDセンサ30からはフィルム画像に対応する信号が出力される。CCDセンサ30から出力された信号はA/D変換器32によってデジタルの画像データに変換されて画像処理装置14に入力される。
【0043】
画像処理装置14のスキャナ補正部36は、入力されたスキャンデータ(スキャナ12から入力されるR、G、Bのデータ)から各画素毎に対応するセルの暗出力レベルを減ずる暗補正、暗補正を行ったデータを濃度値を表すデータに対数変換する濃度変換、写真フィルム26を照明する光の光量むらに応じて濃度変換後のデータを補正するシェーディング補正、該シェーディング補正を行ったデータのうち入射光量に対応した信号が出力されないセル(所謂欠陥画素)のデータを周囲の画素のデータから補間して新たに生成する欠陥画素補正の各処理を順に行う。スキャナ補正部36の出力端はI/Oコントローラ38の入力端に接続されており、スキャナ補正部36で前記各処理が施されたデータはスキャンデータとしてI/Oコントローラ38に入力される。
【0044】
I/Oコントローラ38の入力端は、イメージプロセッサ40のデータ出力端にも接続されており、イメージプロセッサ40からは画像処理(詳細は後述)が行われた画像データが入力される。また、I/Oコントローラ38の入力端はパーソナルコンピュータ42にも接続されている。パーソナルコンピュータ42は拡張スロット(図示省略)を備えており、この拡張スロットには、メモリカードやCD−R、MO等の情報記憶媒体に対してデータの読出し/書込みを行うドライバ(図示省略)や、他の情報処理機器と通信を行うための通信制御装置が接続される。拡張スロットを介して外部からファイル画像データが入力された場合、入力されたファイル画像データはI/Oコントローラ38へ入力される。
【0045】
I/Oコントローラ38の出力端は、イメージプロセッサ40のデータ入力端、オートセットアップエンジン44、パーソナルコンピュータ42に各々接続されており、更にI/F回路54を介してプリンタ16に接続されている。I/Oコントローラ38は、入力された画像データを、出力端に接続された前記各機器に選択的に出力する。
【0046】
本実施形態では、写真フィルム26に記録されている個々のフィルム画像に対し、スキャナ12において異なる解像度で2回の読み取りを行う。1回目の比較的低解像度での読み取り(以下、プレスキャンという)では、フィルム画像の濃度が非常に低い場合(例えばネガフィルムにおける露光アンダのネガ画像)にも、CCDセンサ30で蓄積電荷の飽和が生じないように決定した読取条件(写真フィルム26に照射する光のR、G、Bの各波長域毎の光量、CCDセンサ30の電荷蓄積時間)で写真フィルム26の全面の読み取りが行われる。このプレスキャンによって得られたデータ(プレスキャンデータ)は、I/Oコントローラ38からオートセットアップエンジン44へ入力される。
【0047】
オートセットアップエンジン44は、CPU46、RAM48(例えばDRAM)、ROM50(例えば記憶内容を書換え可能なROM)、入出力ポート52を備え、これらがバスを介して互いに接続されて構成されている。オートセットアップエンジン44は、I/Oコントローラ38から入力されたプレスキャンデータに基づいてフィルム画像のコマ位置を判定し、写真フィルム26上のフィルム画像記録領域に対応するデータ(プレスキャン画像データ)を抽出する。また、プレスキャン画像データに基づいて、フィルム画像のサイズを判定すると共に濃度等の画像特徴量を演算し、プレスキャンを行った写真フィルム26に対し、スキャナ12が比較的高解像度での再度の読み取り(以下、ファインスキャンという)を行う際の読取条件を決定する。そしてコマ位置及び読取条件をスキャナ12に出力する。
【0048】
また、オートセットアップエンジン44は、プレスキャン画像データに基づいて、フィルム画像の各種の画像特徴量の演算を行って、スキャナ12がファインスキャンを行うことによって得られる画像データ(ファインスキャン画像データ)に対する各種の画像処理の処理条件を演算により自動的に決定し(セットアップ演算)、決定した処理条件をイメージプロセッサ40へ出力する。
【0049】
パーソナルコンピュータ42には、ディスプレイ70、キーボード71、及びマウス(図示省略)が接続されている。パーソナルコンピュータ42は、オートセットアップエンジン44からプレスキャン画像データを取込むと共に、オートセットアップエンジン44によって決定された画像処理の処理条件を取込み、取り込んだ処理条件に基づき、ファインスキャン画像データを対象としてイメージプロセッサ40で行われる画像処理と等価な画像処理をプレスキャン画像データに対して行ってシミュレーション画像データを生成する。
【0050】
そして、生成したシミュレーション画像データを、ディスプレイ70に画像を表示するための信号に変換し、該信号に基づいてディスプレイ70にシミュレーション画像を表示する。また、表示されたシミュレーション画像に対しオペレータによって画質等の検定が行われ、検定結果として処理条件の修正を指示する情報がキーボードを介して入力されると、該情報をオートセットアップエンジン44へ出力する。これにより、オートセットアップエンジン44では画像処理の処理条件の再演算等の処理が行われる。
【0051】
一方、スキャナ12でフィルム画像に対してファインスキャンが行われることによってI/Oコントローラ38に入力された画像データ(ファインスキャン画像データ)は、I/Oコントローラ38からイメージプロセッサ40へ入力される。イメージプロセッサ40は、階調変換や色変換を含む色・濃度補正処理、画素密度変換処理、画像の超低周波輝度成分の階調を圧縮するハイパートーン処理、粒状を抑制しながらシャープネスを強調するハイパーシャープネス処理等の各種の画像処理を行う画像処理回路を各々備えており、入力された画像データに対し、オートセットアップエンジン44によって各画像毎に決定されて通知された処理条件に従って種々の画像処理を行う。
【0052】
イメージプロセッサ40で実行可能な画像処理としては、上記以外に、例えば画像全体又は一部分(例えば人物の顔に相当する領域)に対するシャープネス補正又はソフトフォーカス処理や、画調を意図的に変更する画像処理(出力画像をモノトーンに仕上げる画像処理、出力画像をポートレート調に仕上げる画像処理、出力画像をセピア調に仕上げる画像処理等)や、画像を加工する画像処理(例えば原画像中に存在する人物を主画像上で細身に仕上げるための画像処理等)の特殊画像処理が挙げられる。
【0053】
また本実施形態では、上記の特殊画像処理の一種として、人物の瞳に相当する瞳領域や人物の瞳に相当しかつ赤目や金目等の色調不良が生じている色調不良の瞳領域を抽出し、色調不良の瞳領域の色調を修正する瞳領域色調修正処理も行われる。この瞳領域色調修正処理の処理条件は、プレスキャン画像データに基づきパーソナルコンピュータ42によって決定される(詳細は後述)。
【0054】
イメージプロセッサ40で画像処理が行われた画像データを印画紙への画像の記録に用いる場合には、イメージプロセッサ40で画像処理が行われた画像データは、I/Oコントローラ38からI/F回路54を介し記録用画像データとしてプリンタ16へ出力される。また、画像処理後の画像データを画像ファイルとして外部へ出力する場合は、I/Oコントローラ38からパーソナルコンピュータ42に画像データが出力される。これにより、パーソナルコンピュータ42では、外部への出力用としてI/Oコントローラ38から入力された画像データを、拡張スロットを介して画像ファイルとして外部(前記ドライバや通信制御装置等)に出力する。
【0055】
プリンタ16は、画像メモリ58、R,G,Bのレーザ光源60、該レーザ光源60の作動を制御するレーザドライバ62を備えている。画像処理装置14から入力された記録用画像データは画像メモリ58に一旦記憶された後に読み出され、レーザ光源60から射出されるR,G,Bのレーザ光の変調に用いられる。レーザ光源60から射出されたレーザ光は、ポリゴンミラー64、fθレンズ66を介して印画紙68上を走査され、印画紙68に画像が露光記録される。画像が露光記録された印画紙68は、プロセッサ部18へ送られて発色現像、漂白定着、水洗、乾燥の各処理が施される。これにより、印画紙68に露光記録された画像が可視化される。
【0056】
次に本実施形態の作用として、スキャナ12から画像処理装置14にプレスキャンデータが入力され、プレスキャンデータから切り出されたプレスキャン画像データがオートセットアップエンジン44からパーソナルコンピュータ42に転送されることによって、パーソナルコンピュータ42で実行される瞳領域色調修正条件決定処理について説明する。
【0057】
この瞳領域色調修正セットアップ処理は、本発明に係る画像処理方法が適用された処理であり、パーソナルコンピュータ42のCPUにより、瞳領域色調修正条件決定プログラムが実行されることにより実現される。瞳領域色調修正条件決定プログラムは、その他の処理をCPU46で実行させるためのプログラムと共に、当初は、情報記憶媒体72(図1参照)に記憶されている。なお、図1では情報記憶媒体72をフロッピーディスクとして示しているが、CD−ROMやメモリカード、MO、DVD等で構成してもよい。パーソナルコンピュータ42に接続された情報読出装置(図示省略)に情報記憶媒体72が装填され、情報記憶媒体72から画像処理装置14へのプログラムの移入(インストール)が指示されると、情報読出装置によって情報記憶媒体72から瞳領域色調修正条件決定プログラム等が読み出され、記憶内容を書換え可能な記憶手段(例えばハードディスク等)に記憶される。
【0058】
そして、瞳領域色調修正条件決定処理を実行すべきタイミングが到来すると、前記記憶手段から瞳領域色調修正条件決定プログラムが読み出され、瞳領域色調修正条件決定プログラムがパーソナルコンピュータ42のCPUによって実行される。これにより、画像処理装置14のパーソナルコンピュータ42は本発明に係る画像処理装置として機能する。このように、瞳領域色調修正条件決定プログラム等を記憶している情報記憶媒体72は請求項7〜請求項9に記載の記録媒体に対応している。
【0059】
以下、本発明に係る画像処理方法が適用された瞳領域色調修正条件決定処理について、図2のフローチャートを参照して説明する。なお、以下では単一のフィルム画像に対する処理を説明するが、以下で説明する処理は、実際にはパーソナルコンピュータ42により、写真フィルム26に記録されている各フィルム画像を処理対象の画像として各々実行される。
【0060】
オートセットアップエンジン44から単一のフィルム画像(処理対象のフィルム画像)のプレスキャン画像データが転送されると、ステップ100では、処理対象のフィルム画像に対して決定された画像処理の処理条件をオートセットアップエンジン44から取込み、取り込んだ処理条件に基づき、ファインスキャン画像データを対象としてイメージプロセッサ40で行われる画像処理と等価な画像処理をプレスキャン画像データに対して行ってシミュレーション画像データを生成する。そして、生成したシミュレーション画像データを、ディスプレイ70に画像を表示するための信号に変換し、該信号に基づいてディスプレイ70に画像(シミュレーション画像)を表示する。
【0061】
次のステップ102では、ディスプレイ70に表示しているシミュレーション画像中に色調不良の瞳領域(人物の瞳(瞳孔)に対応しており、かつ赤目や金目等の色調不良が生じている領域)があれば該領域を含む処理対象領域を指定することをオペレータに要請するメッセージをディスプレイ70に表示し、処理対象領域をオペレータに指定させる。これにより、オペレータはディスプレイ70に表示された画像中に色調不良の瞳領域があれば、キーボード71やマウス等を操作して色調不良の瞳領域を含む処理対象領域を指定する。
【0062】
なお、本実施形態では、色調不良の瞳領域を含む処理対象領域をオペレータが指定するための指定モードとして、両目一括指定モードA、両目一括指定モードB、単独指定モードA、単独指定モードB、単独指定モードC、及び単独指定モードDの6種類の指定モードが用意されており、オペレータが任意の指定モードを用いて処理対象領域を指定可能とされている。
【0063】
両目一括指定モードA,Bは、同一人物の目に対応する一対の眼部領域が各々含まれるように処理対象領域を指定するモードであり、同一人物の瞳に対応する一対の瞳領域に各々色調不良が生じている場合の処理対象領域の指定に利用される。両目一括指定モードAでは、図3(A)に示すように、オペレータがマウスやキーボード71等を操作し、一対の眼部領域とその周辺領域を含む矩形状の領域を区画する枠13をディスプレイ70の画面上に描画させることで処理対象領域が指定される。
【0064】
両目一括指定モードAによって領域が指定された場合、指定領域の長さ方向に沿った両端部からの距離が、指定領域の長さに対して所定の比率となる位置で指定領域を分割し(分割位置の一例を図3(A)に破線で示す)、得られた一対の領域を処理対象領域として設定する。なお、前記所定の比率は、指定領域の長さと、人物の目に相当する楕円状の眼部領域の長軸方向長さと、の比率を統計的に算出することで得られる値であり、個々の処理対象領域が単一の眼部領域を含み、人物の眉間に相当する領域を含まないように設定される。なお、枠13(指定領域)の形状は楕円状等の他の形状であってもよい。
【0065】
また両目一括指定モードBでは、図3(B)に示すように、オペレータがマウスやキーボード71等を操作し、一対の瞳領域の各々の中心位置を指定することで処理対象領域が指定される。両目一括指定モードBによって領域が指定された場合、指定された一対の瞳領域の各々の中心位置の間隔に対して所定の比率となる長さを長軸方向長さの1/2とし、指定された一対の中心位置を各々中心とする一対の楕円状の領域を処理対象領域として設定する。なお、上記における所定の比率についても、一対の瞳領域の中心位置の間隔と眼部領域の長軸方向長さとの比率を統計的に算出することで得られる。
【0066】
なお、上記の両目一括指定モードA及び両目一括指定モードBにおいて、指定領域を単一の瞳領域を含む処理対象領域に分割せずに一対の眼部領域を含んだ領域を処理対象領域とし、後述する処理を一括して行うようにしてもよい。
【0067】
また、単独指定モードA〜Dは、単一の眼部領域のみが含まれるように処理対象領域を指定するモードであり、同一人物の瞳に対応する一対の瞳領域の一方にのみ色調不良が生じている場合や、前記一対の瞳領域の一方のみが画像中に存在してかつ該瞳領域に色調不良が生じている場合(例えば一方の眼部領域を含む人物の顔に相当する領域の一部が画像上で欠けている場合)の処理対象領域の指定に利用される。
【0068】
単独指定モードAでは、図3(C)に示すように、オペレータがマウスやキーボード71等を操作し、単一の眼部領域とその周辺領域を含む矩形状の領域を区画する枠13をディスプレイ70の画面上に描画させることで処理対象領域が指定され、描画された枠13内の領域を処理対象領域として設定する。この場合も、枠13(指定領域)の形状は楕円形状等の他の形状であってもよい。
【0069】
また、単独指定モードBでは、図3(D)に示すように、オペレータが瞳領域の中心位置を指定すると共に、眼部領域を含むように枠の位置を指定することで処理対象領域が指定され、指定された瞳領域の中心位置と指定された枠の位置との位置関係に基づいて単一の眼部領域を含むように枠13を自動的に設定し、この枠13内の領域を処理対象領域として設定する。
【0070】
単独指定モードCでは、図3(E)に示すように、オペレータが眼部領域又は瞳領域の中心位置(図では符号「15」を付して示す)、或いは眼部領域の周辺部の特定位置を指定することで処理対象領域が指定され、指定された位置に基づいて単一の眼部領域を含むように一定サイズの枠13を自動的に設定し、この枠13内の領域を処理対象領域として設定する。
【0071】
また、単独指定モードDでは、図3(F)に示すように、オペレータがマウスやキーボード71等を操作し、眼部領域及びその周辺の領域を含む領域の境界に沿ってポインタを移動させて前記境界を表す枠(ポインタの移動軌跡)を描画することで処理対象領域が指定され、描画された枠内の領域を処理対象領域として設定する。
【0072】
次のステップ104では、処理対象の画像に対して処理対象領域が指定されたか否か判定する。判定が否定された場合には処理を終了するが、上述した各指定モードの何れかによって処理対象領域が指定された場合には、ステップ104の判定が肯定されてステップ106へ移行し、処理対象領域から色調不良の瞳領域を抽出するために処理対象領域内の各部(例えば各画素)の特徴量を演算する。上記の特徴量としては、例えば各画素の色相、彩度、明度から求まる以下のような特徴量を用いることができる。
【0073】
一例として、赤味を表す赤味値rは、赤目と称する色調不良(以下、単に赤目という)が生じている瞳領域では大となり、青色系の目に対応する瞳領域では符号がマイナスの値となる。また、明度を表すグレー値dは、眼部領域のうちキャッチライト部分(撮影時の光源が写り込んでいる高明度の部分)に相当する領域や、白目部分に相当する領域では大となり、茶色系の瞳の虹彩に相当する領域では小となる。このため、眼部領域を長軸方向に沿って貫く線(目尻を通る線:図4(A)参照)に沿って、赤味値r(特徴量A)は図4(B)のような分布を示し、グレー値d(特徴量B)は図4(C)のような分布を各々示す。
【0074】
図4(B)及び(C)において、実線は瞳領域に赤目と称する色調不良が生じている場合、破線は金目と称する色調不良が生じている場合の各特徴量の分布を示している。金目と称する色調不良が生ずる場合は瞳からの反射光量が比較的大きいため、金目と称する色調不良(以下、単に金目という)が生じている瞳領域は色相が黄色に近く(特徴量A(赤味値r)の値が小さく)、明度(明度に相当する特徴量Bの値)が高いことがわかる。
【0075】
このため、本実施形態では処理対象領域の複数の領域への分割(詳細は後述)を行うための特徴量として、次式で定義される特徴量Cを用いている(但し、特徴量Aは赤味値r、特徴量Bはグレー値d)。
【0076】
C=α×B+(1−α)×|A| …(1)
(1)式の特徴量Cの値は、例として図5に示すように、処理対象領域上において、眼部領域及びその周辺領域を構成する各部分領域(例えば白目領域、瞳領域、肌に相当する肌領域)毎に山状に分布することになる。例えば、眼部領域を長軸方向に沿って貫く線に沿った特徴量Cの分布は、瞳領域、及び該瞳領域の左右に存在している一対の白目領域に対応して3つの山状の分布を示す。
【0077】
なお(1)式では特徴量Aの絶対値を用いているが、これにより青色系の瞳に色調不良が生じている場合の色調不良の瞳領域の抽出性能が向上する(青色系の瞳は茶色系の瞳と比較して、一般に赤目と称する色調不良が生じていた場合の瞳領域の抽出が難しい)。また(1)式における定数αは0.3≦α≦0.5の範囲が好ましい(実験的に確認された範囲)が、その他の値とすることもできる。また(1)式におけるグレー値d及び特徴量Aは、各画素のR,G,Bの濃度に基づき、グレー値d=(R+G+B)/3、特徴量A=(R−d)によって求めてもよい。
【0078】
次のステップ108においては、特徴量Cが山状の分布を示している領域を単位として処理対象領域を複数の領域に分割する。複数の領域への分割は、例えば特徴量Cの値が最低の画素(すなわち特徴量Cの分布において谷に相当する位置の画素)を境界として分割することができる。図5に示すように、特徴量Cは赤目(又は金目)が生じている瞳領域(キャッチライト部を含む)で単一の山状の分布を成し、瞳領域と白目領域との境界に位置している虹彩領域で特徴量Cの値が低下している。
【0079】
これにより、例として図6に示すように、瞳領域(図6におけるエリア5)と白目領域(図6におけるエリア3及び4)とを分離することができる。なお、青色系の瞳に相当する瞳領域に赤目が生じている場合にも、前述の(1)式における特徴量Aの絶対値|A|により、虹彩領域を境界として瞳領域と白目領域とを分離することができる。
【0080】
ステップ110では、ステップ108で分割した各領域について、形状(例えば円形度)、他の領域との位置関係、重心位置と指定された領域の中心位置又は指定された瞳領域の中心位置との間の距離、指定された領域との面積比、濃度、平均色相等の各種特徴量の少なくとも1つを演算すると共に各領域の特徴量を比較し、瞳領域としての特徴を最も多く有する領域を色調不良の瞳領域として選択する。
【0081】
なお、上記のステップ106〜110は請求項1〜請求項3に記載の「人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出」すること(請求項4〜請求項9に記載の抽出手段)に対応している。
【0082】
ステップ112では、全ての処理対象領域に対して色調不良の瞳領域の抽出を行ったか否か判定する。判定が否定された場合にはステップ106に戻り、ステップ106〜ステップ112を繰り返す。これにより、画像中に存在する全ての色調不良の瞳領域が各々抽出される。
【0083】
ステップ112の判定が肯定されるとステップ114へ移行し、単一の色調不良の瞳領域のデータを取り出す。次のステップ116では、ステップ114でデータを取り出した色調不良の瞳領域と対になる(同一人物の瞳に対応する)色調不良の瞳領域が存在するか否かを判定する。同一人物の瞳に対応する一対の瞳領域に各々色調不良が生じている場合には、両目一括指定モードによって処理対象領域が指定されるので、例えばステップ114でデータを取り出した色調不良の瞳領域が、単独指定モードで指定された処理対象領域から抽出した瞳領域である等の場合には、ステップ116の判定が否定されてステップ120へ移行する。
【0084】
ステップ120では、ステップ114でデータを取り出した色調不良の瞳領域と対になり、かつ色調不良が生じていない(色調良好な)瞳領域が画像中に存在しているか否かを探索する。これは、例えば色調不良の瞳領域の位置やサイズに基づいて、対となる瞳領域が存在している可能性が高いと推定される探索範囲を設定し、該探索範囲内に色調良好な瞳領域が存在しているか否かを、先のステップ106〜ステップ110と同様の処理を行うか、或いは人物の眼部に相当する特有の形状パターン(例えば特開平8-122944号公報、特開平8-183925号公報、特開平9-138471号公報等参照)を探索することで行うことができる。
【0085】
次のステップ122では、ステップ120の探索によって対になる色調良好の瞳領域が抽出されたか否か判定する。対となる瞳領域が画像中に存在していない場合や、対となる瞳領域を抽出できなかった場合にはステップ122の判定が否定され、ステップ124で瞳領域の目標値設定処理が行われる。以下、この瞳領域の目標値設定処理について、図7のフローチャートを参照して説明する。
【0086】
瞳領域の目標値設定処理では、対となる瞳領域が存在しない(又は抽出できなかった)色調不良の瞳領域を対象として、該瞳領域の色調不良を適正に修正するために、画像全体・瞳領域の近傍の領域(解析領域)・瞳領域自体の各領域の特徴量に基づいて、色調不良の修正における目標値を設定する。
【0087】
すなわち、ステップ170では処理対象の画像のデータ(画像の各画素のR,G,Bの濃度を表すデータ)を、各画素の明度・彩度・色相を表すデータへ変換する。次のステップ172では、ステップ170の変換によって得られたデータに基づき、処理対象の画像全体の明度の平均値、シャドウ部の明度(例えば画像全体の明度のヒストグラムにおいて低明度側からの累積頻度が1〜数%となる画素の明度:本発明に係る「明度の最低値相当の値」に対応)を各々演算する。
【0088】
ステップ174では、色調不良の瞳領域(ステップ114でデータを取り出した瞳領域)に対し、該瞳領域の近傍(周囲)の領域を解析領域として設定する。なお、解析領域は、例えば重心位置が色調不良の瞳領域の中心位置と一致し、色調不良の瞳領域に対して一定の面積比の領域(形状については矩形状・楕円形状・円形状等の任意の形状を適用可能)とすることができる。そしてステップ176では、ステップ170の変換によって得られたデータに基づき、解析領域の明度の平均値、彩度の平均値、色相の平均値、シャドウ部の明度を各々演算する。また、ステップ178では色調不良の瞳領域の明度の平均値、彩度の平均値、色相の平均値を各々演算する。
【0089】
ステップ180では、色調不良の瞳領域に対する目標明度として、まず色調不良の瞳領域の明度の平均値を設定する。次のステップ182では、目標明度として、現在の目標明度と画像全体の明度の平均値のうち小さい方(明度が低い方)の値を設定する。続いてステップ184では、目標明度として、現在の目標明度と解析領域のシャドウ部の明度のうち小さい方の値を設定する。更にステップ186では、目標明度として、現在の目標明度と画像全体のシャドウ部の明度のうち大きい方(明度が高い方)の値を設定する。
【0090】
そして、ステップ180〜ステップ186の処理を経た目標明度を色調不良の瞳領域に対する目標明度とする。ステップ180〜ステップ186の処理を経ることで、色調不良の瞳領域に対する目標明度は、画像全体の明度の平均値以下で、かつ解析領域のシャドウ部の明度の以下で、かつ画像全体のシャドウ部の明度以上の値となる。
【0091】
瞳領域は低明度であるので、色調不良が生じている瞳領域の目標明度を、画像全体の明度の平均値以下とすることで、目標明度を処理対象の画像における望ましい明度に近づけることができる。また、瞳の本来の明度は瞳の周囲に存在する睫毛や眉毛、虹彩の明度よりも低いため、色調不良が生じている瞳領域の目標明度を、解析領域のシャドウ部の明度以下とすることで、目標明度を処理対象の画像における望ましい明度に近づけることができる。
【0092】
更に、ストロボを発光させて撮影した画像等は低コントラストであることが多く、このような画像において瞳領域の明度を低下させ過ぎると、作為的に明度を低下させたように感じられるが、色調不良の瞳領域の目標明度を、画像全体のシャドウ部の明度以上とすることで、目標明度が不当に低い値になることを防止することができる。従ってステップ180〜ステップ186の処理により、色調不良の瞳領域の目標明度を、処理対象の画像が自然な雰囲気に仕上がる適正な値に設定することができる。
【0093】
また、ステップ188では、色調不良の瞳領域に対する目標明度として、解析領域の彩度の平均値と彩度0との中間値に相当する値を設定する。瞳領域の近傍の領域は肌色の領域が占める面積が高く、睫毛や眉毛等のように無彩色に近い物体に相当する領域も含まれているので、解析領域の彩度の平均値は、その画像において低彩度と分類される彩度値を示す。このため、上記のステップ188により、色調不良の瞳領域の目標彩度を、画像が自然な雰囲気に仕上がる適正な値にすることができる。また、中間値に代えて、例えば解析領域の彩度の平均値から所定値を減算した値等を用いてもよい。
【0094】
また、ステップ190では、色調不良の瞳領域に対する目標色相として、解析領域の色相の平均値を設定する。瞳領域の近傍の領域は肌色の領域が占める面積が高いので、解析領域の色相の平均値は暖色系に相当する値を示す。ステップ190の処理により、色調不良の瞳領域の目標色相を、前記瞳領域の色相の平均値の目標値を、画像が自然な雰囲気に仕上がり官能評価結果が良好な適正な値(暖色系の色相に相当する値)にすることができる。また、解析領域の色相の平均値を所定値変更した値を用いてもよい。
【0095】
なお、上述した瞳領域の目標値設定処理は、請求項1〜請求項3に記載の「瞳領域の特徴量の目標値を決定」すること(請求項4〜請求項9に記載の決定手段)に対応しており、詳しくは、ステップ180〜ステップ186は請求項1記載の発明における色調不良が生じている瞳領域の明度の平均値の目標値の決定(請求項4,7に記載の決定手段)に、ステップ188は請求項2記載の発明における色調不良が生じている瞳領域の彩度の平均値の目標値の決定(請求項5,8に記載の決定手段)に、ステップ190は請求項5記載の発明における色調不良が生じている瞳領域の色相の平均値の目標値の決定(請求項6,9に記載の決定手段)に各々対応している。上記のようにして色調不良の瞳領域に対する目標明度・目標彩度・目標色相の設定を完了すると、図2のフローチャートのステップ130へ移行する。
【0096】
一方、ステップ120の探索により、対になる色調良好の瞳領域が抽出された場合には、ステップ122の判定が肯定されてステップ126へ移行し、対となる色調良好な瞳領域全体の平均明度・平均彩度・平均色相を演算する。そしてステップ128では、ステップ126で求めた平均明度・平均彩度・平均色相に基づいて、色調不良の瞳領域の目標明度・目標彩度・目標色相を設定し、ステップ130へ移行する。
【0098】
色調不良の瞳領域の目標明度・目標彩度・目標色相としては、色調良好な瞳領域全体の平均明度・平均彩度・平均色相と同一の値を設定してもよいし、同一の人物の瞳に相当する一対の瞳領域の各々の近傍の領域(前述の解析領域に相当する領域)における特徴量の相違に基づいて、前記平均明度・平均彩度・平均色相を若干変更して設定してもよい。これにより、色調不良の瞳領域に対して色調不良を修正した後の仕上がり(明度・彩度・色相等)が対となる瞳領域と略同一となり、同一の人物の瞳に相当する一対の瞳領域が自然な雰囲気に仕上がるように、色調不良の瞳領域に対する目標値を設定することができる。
【0099】
また、ステップ114でデータを取り出した色調不良の瞳領域と対になる色調不良の瞳領域が存在していた場合には、ステップ116の判定が肯定されてステップ118へ移行し、瞳領域対の目標値設定処理が行われる。以下、この瞳領域対の目標値設定処理について、図8のフローチャートを参照して説明する。
【0100】
瞳領域対の目標値設定処理では、まずステップ200において、各々色調不良が生じている瞳領域対のうちの一方の瞳領域(便宜的に第1の色調不良瞳領域という)を対象として、先に説明した瞳領域の目標値設定処理(図7)を行い、第1の色調不良瞳領域に対して目標明度・目標彩度・目標色相を各々設定する。次のステップ202では、他方の瞳領域(第2の色調不良瞳領域)を対象として瞳領域の目標値設定処理(図7)を行い、第2の色調不良瞳領域に対して目標明度・目標彩度・目標色相を各々設定する。
【0101】
次のステップ204では、第1の色調不良瞳領域と第2の色調不良瞳領域の目標明度の平均値、目標彩度の平均値、目標色相の平均値を各々演算する。そしてステップ206では、第1の色調不良瞳領域及び第2の色調不良瞳領域の目標明度・目標彩度・目標色相として、ステップ204で求めた目標明度の平均値、目標彩度の平均値、目標色相の平均値を各々設定し、図2のフローチャートのステップ130へ移行する。
【0103】
上記のように、瞳領域対の目標値設定処理では、各々色調不良が生じている一対の瞳領域に対して瞳領域の目標値設定処理(図7)を各々行って目標値を設定した後に、それぞれの目標値の平均値を一対の瞳領域に各々設定するので、色調不良を修正した後の一対の瞳領域の仕上がり(明度・彩度・色相等)略同一となり、一対の瞳領域が自然な雰囲気に仕上がるように、一対の瞳領域に対する目標値を設定することができる。
【0104】
図2のフローチャートのステップ130では、上記のようにして設定された色調不良の瞳領域の明度・彩度・色相の目標値に基づき、色調不良の瞳領域の平均明度・平均彩度・平均色相を目標値に略一致させるための変換条件(明度・彩度・色相のデータに対する変換条件でもよいし、R,G,Bのデータに対する変換条件でもよい)を設定する。本実施形態では、瞳領域の色調不良をマトリクス演算によって修正するので、ステップ130では前記変換条件として、瞳領域の色調不良を修正するマトリクス演算におけるマトリクス(例えば3×3のマトリクス)の係数を設定する。そして、設定した変換条件を、色調不良修正対象の瞳領域を特定するための情報(前記瞳領域の画像上で位置、サイズ等)と対応させてメモリ等に記憶する。
【0105】
ステップ132では、処理対象の画像のデータのうち上記で変換条件を設定した色調不良の瞳領域のデータを、上記で設定した変換条件に従って変換する。次のステップ134では、先のステップ110で抽出された全ての色調不良の瞳領域に対して変換条件を設定したか否か判定する。判定が否定された場合にはステップ114に戻り、ステップ114以降の処理を繰り返す。これにより、処理対象の画像から抽出された全ての色調不良の瞳領域に対し、色調不良を修正するための変換条件が各々設定・記憶されることになる。
【0106】
ステップ134の判定が肯定されるとステップ136へ移行し、ステップ132で変換条件に従って変換した瞳領域のデータを用い、処理対象の画像(瞳領域の色調不良が修正された画像)をディスプレイ70に再表示すると共に、表示された画像の検定をオペレータに要請するメッセージをディスプレイ70に表示する。そして、次のステップ138ではオペレータによる検定結果が「OK」か否かを判定する。オペレータはディスプレイ70に表示された画像を参照し、画像が再表示される前は色調不良が生じていた瞳領域の色調不良が適正に修正されているか否かを検定し、キーボード71等を操作して検定結果を入力する。
【0107】
オペレータが、瞳領域の色調不良が適正に修正されていないと判断した場合には、検定結果として、色調不良が適正に修正されていないと判断した瞳領域を特定するための情報、及び該瞳領域の色調をどのように修正すべきかを指示する情報(目標値をどのように修正すべきかを指示する情報でもよいし、変換条件をどのように修正すべきかを指示する情報でもよい)がキーボード71を介して入力される。この場合、ステップ138の判定が否定され、オペレータから入力された情報に基づき、色調不良が適正に修正されていないと判断された瞳領域に対する変換条件(記憶している変換条件)をステップ140で修正した後にステップ132に戻る。これにより、前記瞳領域の色調が修正した変換条件に従って再修正され、画像が再表示されることになる。
【0108】
また、オペレータが、瞳領域の色調不良が適正に修正されていると判断し、検定結果として「検定OK」を表す情報がキーボード71を介して入力された場合には、ステップ138の判定が肯定されてステップ142へ移行し、メモリ等に記憶している変換条件(及び色調不良修正対象の瞳領域を特定するための情報)を、処理対象のフィルム画像を特定するための情報(例えばコマ番号等)と共にオートセットアップエンジン44を介してイメージプロセッサ40に転送し、処理を終了する。
【0109】
イメージプロセッサ40では、瞳領域の色調不良を修正するための変換条件が転送される毎に、これをメモリ等に記憶する。そして、写真フィルム26に記録されている各フィルム画像に対してファインスキャンが行われ、各フィルム画像のファインスキャン画像データが入力されると、フィルム画像を特定するための情報に基づき、ファインスキャン画像データに対応するフィルム画像についての変換条件がメモリ等に記憶されているか否かを判定する。
【0110】
そして、対応する変換条件がメモリ等に記憶されていた場合には、メモリ等から変換条件を取り込み、取り込んだ変換条件をマトリクス演算を行う演算部に設定すると共に、色調不良修正対象の瞳領域を特定するための情報に基づいて、画像データから前記瞳領域に相当するデータを取り出し、個々の画素のデータを単位として前記演算部に順に入力する。
【0111】
これにより、色調不良の瞳領域に相当するデータが、前述の瞳領域色調修正条件決定処理(図2)によって決定された変換条件に従って、色調不良の瞳領域の明度の平均値、彩度の平均値及び色相の平均値が各々目標値に略一致するように変換され、前記瞳領域の色調不良が前記変換条件に従って修正される。また、色調不良修正対象の瞳領域内の各画素のデータを一定の変換条件で変換するので、色調不良修正前の画素を単位とするばらつきも或る程度保存され、自然な雰囲気に仕上がるように瞳領域の色調不良が修正されることになる。
【0112】
なお、上記の変換はファインスキャン画像データ(各画素のR,G,B濃度を表すデータ)を直接変換することで行ってもよいし、ファインスキャン画像データを各画素の明度・彩度・色相を表すデータに変換した後に、該データに対して変換を行うようにしてもよい。上述したイメージプロセッサ40による瞳領域の色調不良の修正は、先に説明したステップ130、ステップ132と共に、請求項1〜請求項3に記載の「色調不良が生じている瞳領域の特徴量が目標値に略一致するように、色調不良が生じている瞳領域内の各画素の値を修正する」こと(請求項4〜請求項9に記載の修正手段)に対応している。
【0113】
なお、瞳領域の色調修正にあたり、本願出願人が特願平10-166973号で提案しているように、瞳領域の中央部から周縁部へ向かって徐々に明度が低下する明度変化が瞳領域内に生ずるように、瞳領域内の明度を更に修正してもよい。また、本願出願人が特願平10-166973号で提案しているように、瞳領域内にキャッチライトに相当する部分的な高輝度領域(ハイライト領域)が生ずるように、瞳領域内の明度を更に修正するかキャッチライトパターンを貼り付けるようにしてもよい。
【0114】
また、上記では画像の大部分を含む領域の特徴量として明度の平均値、シャドウ部の明度を用い、色調不良が生じている瞳領域の近傍の領域の特徴量として明度の平均値、彩度の平均値、色相の平均値、シャドウ部の明度を用い、色調不良が生じている瞳領域の特徴量として明度の平均値、彩度の平均値、色相の平均値を用いていたが、上記は一例であり、任意の特徴量を使用可能であることは言うまでもない。
【0115】
また、上記ではオペレータによって指定された処理対象領域が指定された場合に、処理対象の画像中に色調不良の瞳領域が存在していると判断し、指定された処理対象領域内から色調不良の瞳領域を抽出するようにしていたが、これに限定されるものではなく、色調不良の瞳領域が存在しているか否かの判定、色調不良の瞳領域が存在していると判断した場合の該領域の抽出を全て自動的に行ってもよい。この場合、色調不良の瞳領域に対する変換条件の演算をオートセットアップエンジン44で行うことも可能である。
【0116】
更に、上記ではフィルム画像に対して2回の読み取りを行い、1回目の低解像度での読み取り(プレスキャン)によって得られた画像データに基づいて瞳領域の色調不良を修正するための変換条件を求め、2回目の高解像度での読み取り(ファインスキャン)によって得られた画像データを前記変換条件に従って変換していたが、読み取り回数や各回の読み取りにおける解像度の関係は上記に限定されるものではない。
【0117】
また、上記では本発明に係る「画像の大部分を含む領域」として画像全体を用いていたが、本発明はこれに限定されるものではなく、例えばレンズ付きフィルムで撮影された画像等のように、画像の周縁部で光量不足による画質の低下が生じている画像を対象として処理を行う等の場合には、「画像の大部分を含む領域」として、例えば画像全体から周縁部(或いは画像の中心から一定距離以上離れた領域)を除いた領域を用いてもよい。
【0118】
また、上記では写真フィルム26に記録されているフィルム画像を読み取ることで得られた画像データに対する画像処理に本発明を適用した場合を説明したが、これに限定されるものではなく、例えばデジタルスチルカメラやデジタルビデオカメラによる撮影によって得られた画像データ、或いは写真フィルム以外の他の記録媒体に記録されている画像をスキャナ等によって読み取ることで得られた画像データに対する画像処理に本発明を適用してもよいことは言うまでもない。
【0119】
更に、上記では本発明に係る瞳領域色調修正条件決定プログラムが、当初は、本発明に係る記録媒体としての情報記憶媒体72に記憶されており、上記の情報記憶媒体72から本実施形態に係る画像処理装置14へ前記プログラムがインストールされて実行されることにより、画像処理装置14が本発明に係る画像処理装置として機能する態様について説明したが、画像処理装置14(又は本実施形態に係る画像処理システム10)に、公衆電話回線やコンピュータネットワーク(例えばLAN、インターネット、無線通信ネットワーク等)システムにおける通信媒体(光ファイバや無線回線)を介して他の情報処理機器(例えばネットワークサーバ)と通信する機能を設け、前記プログラムが当初は前記情報処理機器の記憶装置に記憶されており、前記情報処理機器から前記通信媒体(本発明に係る伝送媒体)によって前記プログラムが画像処理装置14へ伝送され、伝送されたプログラムを画像処理装置14がハードディスク等の記憶手段にインストールして実行することにより、画像処理装置14が本発明に係る画像処理装置として機能するようにしてもよい。
【0120】
【発明の効果】
以上説明したように本発明は、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値及び明度の最低値相当の値を、色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の最低値相当の値を、色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を各々用いて、色調不良が生じている瞳領域の明度の平均値の目標値を、画像の大部分を含む領域の明度の平均値以下で、かつ色調不良が生じている瞳領域の近傍の領域の明度の最低値相当の値以下で、かつ画像の大部分を含む領域の明度の最低値相当の値以上となるように決定すると共に、色調不良が生じている瞳領域の彩度の平均値の目標値及び色相の平均値の目標値も各々決定し、前記瞳領域の特徴量が目標値に略一致するように前記瞳領域内の各画素の値を修正するので、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正できる、という優れた効果を有する。
【0121】
また本発明は、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも1つを、色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも彩度の平均値を、色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、色調不良が生じている瞳領域の彩度の平均値の目標値を、抽出した瞳領域の近傍の領域の彩度の平均値以下でかつ無彩度以上となるように決定すると共に、色調不良が生じている瞳領域の明度の平均値の目標値及び色相の平均値の目標値も各々決定し、前記瞳領域の特徴量が目標値に略一致するように前記瞳領域内の各画素の値を修正するので、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正できる、という優れた効果を有する。
【0122】
また本発明は、画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも1つを、色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも色相の平均値を、色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、色調不良が生じている瞳領域の色相の平均値の目標値を、色調不良が生じている瞳領域の近傍の領域の色相の平均値と略同一となるように決定すると共に、色調不良が生じている瞳領域の明度の平均値の目標値及び彩度の平均値の目標値も各々決定し、前記瞳領域の特徴量が目標値に略一致するように前記瞳領域内の各画素の値を修正するので、画像が自然な雰囲気に仕上がるように画像中の瞳領域の色調不良を修正できる、という優れた効果を有する。
【図面の簡単な説明】
【図1】 本実施形態に係る画像処理システムの概略構成図である。
【図2】 本実施形態に係る瞳領域色調修正条件決定処理の内容を示すフローチャートである。
【図3】 (A)乃至(F)は処理対象領域の指定モードの一例を説明するための概念図である。
【図4】 (A)は眼部領域の一例を示す平面図、(B)は特徴量A、(C)は特徴量Bの眼部領域における分布の一例を示す線図である。
【図5】 眼部領域における特徴量Cの分布の一例を示す線図である。
【図6】 特徴量Cに基づいて処理対象領域を分割した結果の一例を示す平面図である。
【図7】 瞳領域の目標値設定処理の内容を示すフローチャートである。
【図8】 瞳領域対の目標値設定処理の内容を示すフローチャートである。
【符号の説明】
12 イメージプロセッサ
14 画像処理装置
42 パーソナルコンピュータ
44 オートセットアップエンジン
70 ディスプレイ
71 キーボード
72 情報記憶媒体
Claims (9)
- 人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出し、
画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値及び明度の最低値相当の値を用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の最低値相当の値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の明度の平均値の目標値を、前記画像の大部分を含む領域の明度の平均値以下で、かつ前記色調不良が生じている瞳領域の近傍の領域の明度の最低値相当の値以下で、かつ前記画像の大部分を含む領域の明度の最低値相当の値以上となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の彩度の平均値の目標値及び色相の平均値の目標値も各々決定し、
前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する
画像処理方法。 - 人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出し、
画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも1つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも彩度の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の彩度の平均値の目標値を、前記抽出した瞳領域の近傍の領域の彩度の平均値以下でかつ無彩度以上となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の明度の平均値の目標値及び色相の平均値の目標値も各々決定し、
前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する
画像処理方法。 - 人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出し、
画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも1つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも色相の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の色相の平均値の目標値を、前記色調不良が生じている瞳領域の近傍の領域の色相の平均値と略同一となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、明度の平均値の目標値及び彩度の平均値の目標値も各々決定し、
前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する
画像処理方法。 - 人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出する抽出手段と、
画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値及び明度の最低値相当の値を用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の最低値相当の値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の明度の平均値の目標値を、前記画像の大部分を含む領域の明度の平均値以下で、かつ前記色調不良が生じている瞳領域の近傍の領域の明度の最低値相当の値以下で、かつ前記画像の大部分を含む領域の明度の最低値相当の値以上となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の彩度の平均値の目標値及び色相の平均値の目標値も各々決定する決定手段と、
前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する修正手段と、
を含む画像処理装置。 - 人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出する抽出手段と、
画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも1つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも彩度の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の彩度の平均値の目標値を、前記抽出した瞳領域の近傍の領域の彩度の平均値以下でかつ無彩度以上となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の明度の平均値の目標値及び色相の平均値の目標値も各々決定する決定手段と、
前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する修正手段と、
を含む画像処理装置。 - 人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出する抽出手段と、
画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも1つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも色相の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の色相の平均値の目標値を、前記色調不良が生じている瞳領域の近傍の領域の色相の平均値と略同一となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、明度の平均値の目標値及び彩度の平均値の目標値も各々決定する決定手段と、
前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する修正手段と、
を含む画像処理装置。 - コンピュータを、
人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出する抽出手段、
画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値及び明度の最低値相当の値を用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の最低値相当の値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の明度の平均値の目標値を、前記画像の大部分を含む領域の明度の平均値以下で、かつ前記色調不良が生じている瞳領域の近傍の領域の明度の最低値相当の値以下で、かつ前記画像の大部分を含む領域の明度の最低値相当の値以上となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の彩度の平均値の目標値及び色相の平均値の目標値も各々決定する決定手段、
及び、前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する修正手段
として機能させるためのプログラムが記録された記録媒体。 - コンピュータを、
人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出する抽出手段、
画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも1つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも彩度の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の彩度の平均値の目標値を、前記抽出した瞳領域の近傍の領域の彩度の平均値以下でかつ無彩度以上となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の明度の平均値の目標値及び色相の平均値の目標値も各々決定する決定手段、
及び、前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する修正手段
として機能させるためのプログラムが記録された記録媒体。 - コンピュータを、
人物の瞳に相当しかつ画像上で色調不良が生じている瞳領域を画像から抽出する抽出手段、
画像の大部分を含む領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値の少なくとも1つを用いると共に、前記色調不良が生じている瞳領域の近傍の領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも色相の平均値を用い、更に、前記色調不良が生じている瞳領域の特徴量として、明度の平均値、彩度の平均値、色相の平均値及び明度の最低値相当の値のうち少なくとも明度の平均値、彩度の平均値及び色相の平均値を用いて、前記色調不良が生じている瞳領域の特徴量の目標値として、前記色調不良が生じている瞳領域の色相の平均値の目標値を、前記色調不良が生じている瞳領域の近傍の領域の色相の平均値と略同一となるように決定すると共に、前記色調不良が生じている瞳領域の特徴量の目標値として、明度の平均値の目標値及び彩度の平均値の目標値も各々決定する決定手段、
及び、前記色調不良が生じている瞳領域の特徴量が前記目標値に略一致するように、前記色調不良が生じている瞳領域内の各画素の値を修正する修正手段
として機能させるためのプログラムが記録された記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP36827499A JP3961734B2 (ja) | 1999-12-24 | 1999-12-24 | 画像処理方法、装置及び記録媒体 |
US09/742,213 US6798903B2 (en) | 1999-12-24 | 2000-12-22 | Image processing method, image processing device, recording medium, and transmission medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP36827499A JP3961734B2 (ja) | 1999-12-24 | 1999-12-24 | 画像処理方法、装置及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001186325A JP2001186325A (ja) | 2001-07-06 |
JP3961734B2 true JP3961734B2 (ja) | 2007-08-22 |
Family
ID=18491407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP36827499A Expired - Lifetime JP3961734B2 (ja) | 1999-12-24 | 1999-12-24 | 画像処理方法、装置及び記録媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6798903B2 (ja) |
JP (1) | JP3961734B2 (ja) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3927353B2 (ja) * | 2000-06-15 | 2007-06-06 | 株式会社日立製作所 | 比較検査における画像の位置合せ方法、比較検査方法及び比較検査装置 |
US7088855B1 (en) * | 2001-01-22 | 2006-08-08 | Adolfo Pinheiro Vide | Method and system for removal of red eye effects |
EP1229734A1 (en) * | 2001-01-31 | 2002-08-07 | GRETAG IMAGING Trading AG | Automatic colour defect correction |
US6873743B2 (en) * | 2001-03-29 | 2005-03-29 | Fotonation Holdings, Llc | Method and apparatus for the automatic real-time detection and correction of red-eye defects in batches of digital images or in handheld appliances |
US6859565B2 (en) * | 2001-04-11 | 2005-02-22 | Hewlett-Packard Development Company, L.P. | Method and apparatus for the removal of flash artifacts |
US7289664B2 (en) | 2002-01-17 | 2007-10-30 | Fujifilm Corporation | Method of detecting and correcting the red eye |
KR100537509B1 (ko) * | 2002-07-20 | 2005-12-19 | 삼성전자주식회사 | 칼라 영상에서의 적응적 색 향상 방법 및 장치 |
JP2004206688A (ja) * | 2002-12-12 | 2004-07-22 | Fuji Photo Film Co Ltd | 顔認識方法、顔切出方法、および撮像装置 |
US7424164B2 (en) * | 2003-04-21 | 2008-09-09 | Hewlett-Packard Development Company, L.P. | Processing a detected eye of an image to provide visual enhancement |
US7343030B2 (en) * | 2003-08-05 | 2008-03-11 | Imquant, Inc. | Dynamic tumor treatment system |
US7310443B1 (en) * | 2003-09-17 | 2007-12-18 | Sonic Solutions, Inc. | Automatic red eye detection and correction in digital images |
US7835572B2 (en) * | 2003-09-30 | 2010-11-16 | Sharp Laboratories Of America, Inc. | Red eye reduction technique |
JP4482307B2 (ja) * | 2003-10-14 | 2010-06-16 | 富士フイルム株式会社 | 画像処理装置 |
EP1774466A4 (en) * | 2004-07-30 | 2009-10-21 | Canon Kk | PICTURE PROCESSING AND DEVICE, PICTURE DEVICE AND PROGRAM |
US7403654B2 (en) * | 2004-10-04 | 2008-07-22 | Arcsoft, Inc. | Enhanced automatic red eye removal |
US7532771B2 (en) * | 2004-11-12 | 2009-05-12 | Microsoft Corporation | Image processing system for digital collage |
US7653261B2 (en) * | 2004-11-12 | 2010-01-26 | Microsoft Corporation | Image tapestry |
US7529429B2 (en) | 2004-11-12 | 2009-05-05 | Carsten Rother | Auto collage |
JP4405942B2 (ja) | 2005-06-14 | 2010-01-27 | キヤノン株式会社 | 画像処理装置およびその方法 |
JP4498224B2 (ja) * | 2005-06-14 | 2010-07-07 | キヤノン株式会社 | 画像処理装置およびその方法 |
US7777912B2 (en) | 2006-02-24 | 2010-08-17 | Fujifilm North America Corporation | Method and apparatus for selective editing of an automatic digital image correction |
JP4554548B2 (ja) * | 2006-03-31 | 2010-09-29 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
KR100857463B1 (ko) * | 2006-11-17 | 2008-09-08 | 주식회사신도리코 | 포토프린팅을 위한 얼굴영역 검출장치 및 보정 방법 |
JP4525719B2 (ja) * | 2007-08-31 | 2010-08-18 | カシオ計算機株式会社 | 階調補正装置、階調補正方法、及び、プログラム |
JP4600448B2 (ja) * | 2007-08-31 | 2010-12-15 | カシオ計算機株式会社 | 階調補正装置、階調補正方法、及び、プログラム |
JP5089405B2 (ja) | 2008-01-17 | 2012-12-05 | キヤノン株式会社 | 画像処理装置及び画像処理方法並びに撮像装置 |
JP5547730B2 (ja) | 2008-07-30 | 2014-07-16 | デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド | 顔検知を用いた顔及び肌の自動美化 |
US8520089B2 (en) * | 2008-07-30 | 2013-08-27 | DigitalOptics Corporation Europe Limited | Eye beautification |
US9053524B2 (en) | 2008-07-30 | 2015-06-09 | Fotonation Limited | Eye beautification under inaccurate localization |
JP4850961B2 (ja) * | 2010-07-09 | 2012-01-11 | キヤノン株式会社 | 画像処理装置およびその方法 |
JP6605318B2 (ja) * | 2015-12-14 | 2019-11-13 | 東レエンジニアリング株式会社 | 立体形状物の検査装置 |
JP7278724B2 (ja) * | 2018-07-23 | 2023-05-22 | 株式会社東芝 | 情報処理装置、情報処理方法、および情報処理プログラム |
WO2023281654A1 (ja) | 2021-07-07 | 2023-01-12 | 日本電気株式会社 | 画像処理装置、画像処理方法、及び、記録媒体 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0259981B2 (en) * | 1986-08-13 | 1999-05-06 | Canon Kabushiki Kaisha | Colour image processing method and apparatus |
JPS6379632A (ja) * | 1986-09-25 | 1988-04-09 | 株式会社東芝 | 電子内視鏡装置 |
US5130789A (en) * | 1989-12-13 | 1992-07-14 | Eastman Kodak Company | Localized image recoloring using ellipsoid boundary function |
US5089976A (en) * | 1990-07-18 | 1992-02-18 | Friends Of The Ucsd Library, Inc. | Color normalization process |
US5432863A (en) | 1993-07-19 | 1995-07-11 | Eastman Kodak Company | Automated detection and correction of eye color defects due to flash illumination |
JP3510040B2 (ja) | 1996-03-26 | 2004-03-22 | コニカミノルタホールディングス株式会社 | 画像処理方法 |
JPH1091761A (ja) * | 1996-09-17 | 1998-04-10 | Fuji Photo Film Co Ltd | 画像処理装置 |
JP3684017B2 (ja) * | 1997-02-19 | 2005-08-17 | キヤノン株式会社 | 画像処理装置及び方法 |
US6204858B1 (en) * | 1997-05-30 | 2001-03-20 | Adobe Systems Incorporated | System and method for adjusting color data of pixels in a digital image |
JP3709656B2 (ja) * | 1997-06-09 | 2005-10-26 | コニカミノルタホールディングス株式会社 | 画像処理装置 |
JPH11215358A (ja) * | 1997-11-14 | 1999-08-06 | Canon Inc | 画像処理装置及びその制御方法、及び画像処理システム |
US6631208B1 (en) * | 1998-05-29 | 2003-10-07 | Fuji Photo Film Co., Ltd. | Image processing method |
JP4172663B2 (ja) * | 1998-05-29 | 2008-10-29 | 富士フイルム株式会社 | 画像処理方法 |
JP3590265B2 (ja) * | 1998-06-11 | 2004-11-17 | 富士写真フイルム株式会社 | 画像処理方法 |
JP4050842B2 (ja) | 1998-06-15 | 2008-02-20 | 富士フイルム株式会社 | 画像処理方法 |
-
1999
- 1999-12-24 JP JP36827499A patent/JP3961734B2/ja not_active Expired - Lifetime
-
2000
- 2000-12-22 US US09/742,213 patent/US6798903B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US6798903B2 (en) | 2004-09-28 |
US20010022853A1 (en) | 2001-09-20 |
JP2001186325A (ja) | 2001-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3961734B2 (ja) | 画像処理方法、装置及び記録媒体 | |
JP4153108B2 (ja) | 画像処理方法、画像処理装置及び記録媒体 | |
JP4050842B2 (ja) | 画像処理方法 | |
JP4856086B2 (ja) | 取得したデジタル画像での赤目検出方法及び装置 | |
US7127108B2 (en) | Image processing method | |
US7289664B2 (en) | Method of detecting and correcting the red eye | |
US6445819B1 (en) | Image processing method, image processing device, and recording medium | |
US6665434B1 (en) | Device, method, and recordium for correcting color imbalance of an image | |
JP3506958B2 (ja) | 画像処理方法、画像処理装置及び記録媒体 | |
JP3733165B2 (ja) | デジタルプリンタの画像データ変換方法 | |
JP2002314817A (ja) | マスクを用いて写真画像の鮮鋭度を局部的に変更するための方法、装置、プログラムおよび記録媒体、並びに画像再生装置 | |
US6701007B1 (en) | Image processing device, image processing method, and recording medium for correcting color balance of output images | |
JP2000148980A (ja) | 画像処理方法、画像処理装置及び記録媒体 | |
JP2001148780A (ja) | 赤目修正対象領域の設定方法および赤目修正方法 | |
JPH11266358A (ja) | 画像処理方法 | |
JP3576025B2 (ja) | 主要被写体抽出方法および装置 | |
US6658163B1 (en) | Image processing method | |
JP2001155174A (ja) | 画像処理方法および装置 | |
JPH11308474A (ja) | 画像処理装置 | |
JP3836237B2 (ja) | 画像修正方法および装置 | |
JP3817371B2 (ja) | 画像処理方法、装置および記録媒体 | |
JP3559451B2 (ja) | 画像処理方法及び画像処理装置 | |
JPH11346303A (ja) | 画像処理方法 | |
JP2000152067A (ja) | 画像処理方法、画像処理装置及び記録媒体 | |
JPH11154235A (ja) | 画像の参照濃度値の抽出方法およびその装置、並びに画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040903 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070515 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070517 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3961734 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130525 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140525 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |