JP4123954B2 - 赤目領域補正方法、赤目領域補正処理プログラム、画像処理装置 - Google Patents
赤目領域補正方法、赤目領域補正処理プログラム、画像処理装置 Download PDFInfo
- Publication number
- JP4123954B2 JP4123954B2 JP2003030541A JP2003030541A JP4123954B2 JP 4123954 B2 JP4123954 B2 JP 4123954B2 JP 2003030541 A JP2003030541 A JP 2003030541A JP 2003030541 A JP2003030541 A JP 2003030541A JP 4123954 B2 JP4123954 B2 JP 4123954B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- red
- eye
- color information
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 241000593989 Scardinius erythrophthalmus Species 0.000 title claims description 140
- 201000005111 ocular hyperemia Diseases 0.000 title claims description 140
- 238000012937 correction Methods 0.000 title claims description 90
- 238000000034 method Methods 0.000 title claims description 47
- 238000012545 processing Methods 0.000 title claims description 14
- 235000002673 Dioscorea communis Nutrition 0.000 description 13
- 241000544230 Dioscorea communis Species 0.000 description 13
- 208000035753 Periorbital contusion Diseases 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000007547 defect Effects 0.000 description 7
- 210000001747 pupil Anatomy 0.000 description 7
- 241001469893 Oxyzygonectes dovii Species 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 241001504424 Zosteropidae Species 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
【発明の属する技術分野】
本発明は、画像処理において、赤目領域を補正する赤目領域補正方法、赤目領域補正処理プログラム、および、赤目領域補正処理プログラムの実行が可能な画像処理装置に関する。
【0002】
【従来の技術】
フラッシュ撮影をしたとき、人の目が赤くなったり金色になったりするいわゆる赤目現象が知られている。このような赤目現象が生じている赤目領域を有する画像において、赤目領域の色を変更して赤目を補正する方法が種々提案されている。
【0003】
【特許文献1】
特開平10−233929号公報
【特許文献2】
特開2002−271808号公報
【0004】
【発明が解決しようとする課題】
しかし、赤目を補正する方法において、赤目領域と補正領域とは必ずしも一致しない。補正領域が実際の赤目領域からはみ出した状態で補正すると、白目領域や瞼領域を補正し、不自然な結果となってしまう。
【0005】
本発明は、赤目領域と補正領域とが必ずしも一致していなくても、違和感なく補正する赤目領域補正方法、赤目領域補正処理プログラム、および、赤目領域補正処理プログラムの実行が可能な画像処理装置を提供する。
【0006】
【課題を解決するための手段】
請求項1の発明は、赤目領域補正方法に適用され、R色成分、G色成分、B色成分の色情報を有する画素が複数集まって構成されるRGB表色系により表される画像であって、赤目現象が生じている赤目領域を有する画像を取得する画像取得ステップと、取得した画像において、赤目領域に対応する領域を特定する領域特定ステップと、特定した領域を構成する各画素において、R色成分の色情報の値と、G色成分とB色成分の色情報の値との相違の程度を示す値に基づき、各色成分の色情報の値を変更する色変更ステップとを有し、色変更ステップにおいて、補正前の各画素のR色成分、G色成分、B色成分の色情報の値をR、G、Bとしたとき、補正後のR色成分、G色成分、B色成分の色情報の値R1、G1、B1を、次の式
R1=α(R+G+B)−βG−γB
G1=βG
B1=γB
から求める、ただし、α、β、γは次の条件
0≦α≦1
G1<R1
B1<R1
を満たすことを特徴とするものである。
請求項2の発明は、請求項1に記載の赤目領域補正方法において、βを求めるのにαと(R−G)を使用し、γを求めるのにαと(R−B)を使用することを特徴とするものである。
請求項3の発明は、赤目領域補正方法に適用され、R色成分、G色成分、B色成分の色情報を有する画素が複数集まって構成されるRGB表色系により表される画像であって、赤目現象が生じている赤目領域を有する画像を取得する画像取得ステップと、取得した画像において、赤目領域に対応する領域を特定する領域特定ステップと、特定した領域を構成する各画素において、R色成分の色情報の値と、G色成分とB色成分の色情報の値との相違の程度を示す値に基づき、各色成分の色情報の値を変更する色変更ステップとを有し、色変更ステップにおいて、補正前の各画素のR色成分、G色成分、B色成分の色情報の値をR、G、Bとしたとき、補正後のR色成分、G色成分、B色成分の色情報の値R1、G1、B1を、次の式
R1=α(R+G+B)−βG−γB
G1=βG
B1=γB
α=f(R,G,B)
β=α{(R−G)/R}{(R+G+B)/3G−1}+1
γ=α{(R−B)/R}{(R+G+B)/3B−1}+1
から求め、ここでf(R,G,B)は、R色成分の色情報とG色成分の色情報とB色成分の色情報との関数であることを特徴とするものである。
請求項4の発明は、赤目領域補正方法に適用され、R色成分、G色成分、B色成分の色情報を有する画素が複数集まって構成されるRGB表色系により表される画像であって、赤目現象が生じている赤目領域を有する画像を取得する画像取得ステップと、取得した画像において、赤目領域に対応する領域を特定する領域特定ステップと、特定した領域を構成する各画素において、R色成分の色情報の値と、G色成分とB色成分の色情報の値との相違の程度を示す値に基づき、各色成分の色情報の値を変更する色変更ステップとを有し、色変更ステップにおいて、補正前の各画素のR色成分、G色成分、B色成分の色情報の値をR、G、Bとしたとき、補正後のR色成分、G色成分、B色成分の色情報の値R1、G1、B1を、次の式
R1=α(R+G+B)−βG−γB
G1=βG
B1=γB
α=(G+B)/2R
β=α{(R−G)/R}{(R+G+B)/3G−1}+1
γ=α{(R−B)/R}{(R+G+B)/3B−1}+1
から求めることを特徴とするものである。
請求項5の発明は、赤目領域補正方法に適用され、R色成分、G色成分、B色成分の色情報を有する画素が複数集まって構成されるRGB表色系により表される画像であって、赤目現象が生じている赤目領域を有する画像を取得する画像取得ステップと、取得した画像において、赤目領域に対応する領域を特定する領域特定ステップと、特定した領域を構成する各画素において、R色成分の色情報の値と、G色成分とB色成分の色情報の値との相違の程度を示す値に基づき、各色成分の色情報の値を変更する色変更ステップとを有し、色変更ステップにおいて、補正前の各画素のR色成分、G色成分、B色成分の色情報の値をR、G、Bとしたとき、補正後のR色成分、G色成分、B色成分の色情報の値R1、G1、B1を、次の式
R1=α(R+G+B)−βG−γB
G1=βG
B1=γB
α={(G+B)/2R} 0.1R/(R+G+B)
β=α{(R−G)/R}{(R+G+B)/3G−1}+1
γ=α{(R−B)/R}{(R+G+B)/3B−1}+1
から求めることを特徴とする赤目補正方法。
請求項6の発明は、赤目領域補正方法に適用され、複数の色成分の色情報を有する画素が複数集まって構成される画像であって、赤目現象が生じている赤目領域を有する画像を取得する画像取得ステップと、取得した画像において、赤目領域に対応する領域を特定する領域特定ステップと、特定した領域を構成する各画素において、赤目領域の赤目現象に最も起因する色成分の色情報の値と他の色成分の色情報の値との相違の程度を示す値に基づき、各色成分の色情報の値を変更する色変更ステップとを有し、色変更ステップは、特定した領域を構成する各画素において、変更後の各色成分の色情報の値の総和が変更前の各色成分の色情報の値の総和より小さくなるように、かつ、特定した領域を構成する各画素において、変更後の赤目領域の赤目現象に最も起因する色成分の色情報の値が変更後の他の色成分の色情報の値より大きくなるように、各色成分の色情報の値を変更することを特徴とするものである。
請求項7の発明は、赤目領域補正処理プログラムに適用され、請求項1〜6いずれか1項に記載の赤目領域補正方法のステップをコンピュータに実行させることを特徴とするものである。
請求項8の発明は、コンピュータ読みとり可能な記録媒体に適用され、請求項7の赤目領域補正処理プログラムを記録したことを特徴とするものである。
請求項9の発明は、画像処理装置に適用され、請求項7の赤目領域補正処理プログラムを搭載し、実行することを特徴とするものである。
【0007】
【発明の実施の形態】
図1は、本発明の色不良領域補正方法を実施する一実施の形態を示す図である。符号1は、一般に市販されているパーソナルコンピュータ(以下パソコンと言う)である。パソコン1は、CPU、メモリ、ハードディスク、I/Oポート、各種のインターフェース等からなる制御装置2と、各種画像や情報を表示するモニタ3と、キーボード4と、マウス5と、CD−ROM駆動装置6とからなる。CD−ROM駆動装置6は、CD−ROMやDVDなどの記録媒体7が搭載され、各種のデジタルデータを読み込むことができる。制御装置2は、USB等のインターフェースを介してデジタルカメラ(電子カメラ)8と接続可能である。また、モデムやLANボード等を介してインターネット9とも接続可能である。
【0008】
本実施の形態のパソコン1は、記録媒体7、デジタルカメラ8、あるいはインターネット9を介した他のコンピュータ10等から、デジタルカメラ等で撮像して得られた画像データを取得することができる。パソコン1は、画像処理プログラムを実行することが可能であり、取得した画像データに各種の画像処理を加えることが可能である。本実施の形態では、画像処理の1つとして赤目現象を補正する処理を行うことができる。
【0009】
画像処理プログラムは、制御装置2内部のハードディスクに格納され、制御装置2のメモリに読みこまれて、制御装置2により実行される。画像処理プログラムは、記録媒体7等に格納されて、あるいは、インターネット9などの電気通信回線を通じてデータ信号としてパソコン1に提供される。提供された画像処理プログラムは、制御装置2内部のハードディスクに格納される。インターネット9を通じて画像処理プログラムが提供される場合、インターネット9を介して接続されるサーバコンピュータから提供される。図1において、例えば、コンピュータ10がサーバコンピュータとなり得る。サーバコンピュータ10は、内部のハードディスク等の記録媒体に提供すべき画像処理プログラムを格納している。
【0010】
以下、本実施の形態における赤目現象の補正処理について説明する。赤目現象とは、カメラ等を使用して人物をフラッシュ撮影したとき、撮影された人物の目がウサギの目のように赤く写る現象をいう。目が赤くなるのは、目の網膜の毛細血管が写るためであり、正確には目の瞳孔部分が赤くなる。撮影条件によっては金色になる場合もあり、このような金目も、まとめて赤目現象と言う。すなわち、赤目現象とは、フラッシュ撮影などにより人物の目が違和感のある色になっている場合を言い、言いかえれば瞳孔あたりの領域で色不良が生じている場合を言う。また、動物の目においても赤目現象が生じる場合もある。
【0011】
図2は、本実施の形態における赤目補正処理のフローチャートを示す図である。赤目補正処理は、パソコン1で実行される画像処理プログラムの一部である。前述したように、赤目領域は色不良領域であり、赤目補正処理は色不良領域補正処理と言える。通常、画像処理プログラムは、画像データを取得し、取得した画像データを使用して画像をモニタに表示した後、ユーザが各種の画像処理コマンドを選択する。そのコマンドの1つとして赤目補正が選択されると、赤目補正処理に入る。しかし、ここでは画像データの取得から赤目補正処理として説明する。
【0012】
ステップS1において、赤目を補正すべき画像の画像データを取得する。画像データは、記録媒体7、デジタルカメラ8、あるいはインターネット9を介した他のコンピュータ10等から取得し、制御装置2内部のハードディスクに格納されている。そこから、制御装置2内部のメモリに読みこまれる。ステップS2において、制御装置2はメモリに読みこんだ画像データをモニタ3に表示する。ここでは、フラッシュ撮影された人物像が表示される。その人物像は赤目現象が生じている。ステップS3では、モニタ3に表示された表示画像上で、ユーザがマウス5等を使用して赤目領域の内部の点を指定するのを待つ。
【0013】
図3および図4を使用して赤目領域内部の点を指定する様子を説明する。図3は、赤目が生じている黒目部分を拡大した図である。符号101は黒目部分である。黒目部分とは白目以外の部分で、虹彩および瞳孔部分である。人の目は、明るさに応じて虹彩が調整され、瞳孔の大きさが調整される。この瞳孔部分に赤目現象が生じる。瞳孔は円形をしているが、赤目領域は必ずしも円形を呈するものではない。目の撮影角度やフラッシュライトの反射の具合により必ずしも円形にはならない。図3において、符号102で示される領域が、赤目現象が生じている領域である。
【0014】
ユーザは、図3のような黒目部分が表示された画像上で、マウス5等のポインティングデバイスで赤目領域102の内部の任意の点を指定する。図3では、点103が指定されたとする。
【0015】
図4は、画像データを画素が認識できる程度にまで拡大した図である。画像データは、格子状に配列された複数の画素から構成される。データ自体が格子状に並んでいるものではないが、撮像素子を構成する画素、あるいは、画像を表示する場合の表示画素が格子状に配列されている。画像データの各画素は、表色系で規定される色成分の色情報を有する。例えば、RGB表色系の場合、各画素は、R(赤)成分の色情報と、G(緑)成分の色情報と、B(青)成分の色情報を有する。
【0016】
デジタルカメラ等で撮影する場合、例えば単板式RGBベイア配列の撮像素子で撮像された画像データは、各画素には1つの色成分の色情報しか有しない。このようにして得られた画像データに、各種の補間処理を施すことにより、各画素にRGBの色成分の色情報を有するようになる。本実施の形態で処理する画像データでは、各画素はすでにRGBの色成分の色情報を有している。すなわち、表色系で規定される複数の色成分の色情報を有している。また、ここでいう色情報とは、各色のフィルターを通して照射された光に対応して撮像素子の各画素で蓄積された電荷に対応した値である。本実施の形態では、色情報の値を8ビットのデータとして表す。具体的には、0〜255の値で表すものとする。
【0017】
ステップS3では、ユーザがマウス5で赤目領域102の内部の点103を指定すると、制御装置2は、点103に対応する画素111を指定する。さらに、本実施の形態では、画素111の周辺(近傍)の画素112〜115も指定する。
【0018】
図2のステップS4では、ステップS3で指定された点を起点に、赤目領域102のエッジ、すなわち赤目領域102の境界を探索する。図3を参照してさらに説明する。指定された点に対応する画素111を起点に符号104で示される8つの方向にエッジを探索する。水平方向、垂直方向、45度方向、135度方向の、それぞれにおいて相反する2方向の計8方向である。図4で指定された周辺の他の画素112〜115についても、同様に、それぞれの画素を起点に8方向にエッジを探索する。
【0019】
図4で指定された5つの画素を起点とする8方向は、それぞれ重複しない方向である。すなわち、8×5=40方向が重複しないように、かつ、1画素ずつずれて設定されるように、画素111および周辺の画素112〜115が選択されている。画素111のみを起点に8方向について探索するだけでもよいが、上記のように40方向について探索することにより、より精度よくエッジを探索することができる。
【0020】
図5は、エッジ探索の様子を説明する図である。エッジ探索は、探索方向121に並ぶ隣り合った画素群の色情報の値の比較により行う。図5(a)は、画素群が1画素の場合を示す。図5(b)は、画素群が3画素の場合を示す。
【0021】
図5(a)において、注目画素122とその隣接画素123との間で、色情報の比較を行う。注目画素122のRGBの各色成分の色情報の値をそれぞれR、G、Bとし、隣接画素123のRGBの各色成分の色情報の値をそれぞれR’、G’、B’とする。注目画素122と隣接画素123が、式(1)または式(2)を満たすか否かを判断し、探索方向121に画素を順次ずらして判断を繰り返す。そして、注目画素122と隣接画素123が、式(1)または式(2)を満たしたとき、注目画素122をエッジ(境界)画素とする。式(1)(2)のt、lは条件(3)によるものとする。
R/(R+G+B)−R’/(R’+G’+B’)≧t (1)
(R+G+B)/3−(R’+G’+B’)/3≧l (2)
0.1≦t≦0.12、l≒30 (3)
【0022】
式(1)は赤目領域102(図3)のエッジを見つけるための式である。基本的には、赤目領域102のエッジは、黒目部分101の内部にある。しかし、場合によってはエッジを見つけることができずに白目部分へと探索が広がることもある。式(2)は、輝度変化の大きい白目部分と黒目部分の境界をエッジとして抽出するものである。この式により、黒目部分101を超えてエッジを見つけるという誤探索を防止することができる。なお、条件(3)は、各種の実験やシミュレーションによって算出したものである。また、各色成分の色情報の値が8ビット、0〜255の値であることを前提とした値である。条件(3)以外の値であっても、赤目領域102のエッジ、および、黒目部分101のエッジを的確に見つけることができる値であればよい。
【0023】
図5(a)のように、1画素の比較でも赤目領域102のエッジを見つけることが可能である。しかし、エッジがある程度鮮明である必要がある。図5(b)の3画素群比較は、エッジが少々不鮮明であってもエッジを検出することが可能である。注目画素を符号124とし、注目画素124を含む注目画素群125と、注目画素124に隣接する隣接画素群126との間で、色情報の比較を行う。図5(b)の例では、注目画素群125と隣接画素群126は隣接するが、構成画素は重複しない。しかし、注目画素群と隣接画素群の画素を、重複するように設定してもよい。3画素群の場合、1画素あるいは2画素重複させるようにしてもよい。
【0024】
各画素群において各色成分の色情報の3つの画素の平均を計算する。注目画素群125のRGBの各色成分の色情報の平均値をそれぞれR、G、Bとし、隣接画素群126のRGBの各色成分の色情報の平均値をそれぞれR’、G’、B’とする。注目画素群125と隣接画素群126が、前述した式(1)または式(2)を満たすか否かを判断し、探索方向121に画素を順次ずらして判断を繰り返す。そして、注目画素群125と隣接画素群126が、式(1)または式(2)を満たしたとき、注目画素群125の注目画素124をエッジ(境界)画素とする。
【0025】
なお、各種実験の結果、3画素の画素群で比較を行うのが最も効果的であった。ただし、2画素や4画素や5画素等の3画素以外の複数の画素でもよい。
【0026】
図5は、探索方向が水平方向の例を示すものである。垂直方向においても同様である。探索方向が、45度方向や135度方向の場合は、その斜め方向に並ぶ画素を選択する。例えば、45度方向であれば、注目画素とその右斜め上の画素との比較を行う。画素群の場合は、注目画素とその斜め左下の画素、さらにその斜め左下の画素を注目画素群とし、注目画素の斜め右上の画素と、さらにその斜め右上の画素と、さらにまたその斜め右上の画素を隣接画素群とする。
【0027】
式(1)で赤目領域102のエッジが検出できなかった場合に備えて、式(2)で黒目部分101を検出するようにした。しかし、黒目部分101も検出できない場合も生じる。そのような場合、何ら制限を設けなければ画像の端部まで探索することになる。これを、防止するために、起点から所定数の画素範囲を探索することにする。目の大きさ等を考慮して例えば40画素までとする。この値は、適宜変更してもよい。このようにすることにより、無駄な探索を防止することができる。
【0028】
以上の探索により、赤目領域102のエッジを適切に検出できた場合、黒目部分101のエッジしか検出できなかった場合、さらにいずれも検出できなかった場合が生じる。図6は、その様子を説明する図である。ただし、説明の便宜上8方向しか記載していない。水平方向131、135度方向134、45度方向136、垂直方向137では、赤目領域102のエッジ139、140、142、143が検出できた。水平方向135では、黒目部分101のエッジ141が検出できた。45度方向132、垂直方向133、135度方向138では、いずれのエッジも検出できなかった。
【0029】
このようにいずれのエッジも検出できない場合が生じるが、本実施の形態では、所定の数以上のエッジが検出できた場合、探索が成功したとする。所定の数とは探索方向数のn倍とする。nは1/2程度あるいはそれ以上の値が適当である。例えば、n=1/2とすると、探索方向の半分以上においてエッジが検出できれば探索が成功したとする。8方向の場合は4個以上であり、40方向の場合は20個以上である。
【0030】
ステップS4においてエッジ画素(境界点)が検出されると、すなわち、エッジが抽出できると、ステップS5において、検出されたエッジ情報に基づき赤目領域102に対応する領域を特定する。領域の特定とは、検出されたエッジ情報に基づく楕円や多角形などの幾何学的図形を当てはめることにより行う。図形を当てはめることにより、検出できなかったエッジの箇所を補うことができ、一つの閉じた領域として指定することができる。図形を当てはめるとは、数学的には、検出されたエッジ情報に基づく楕円や多角形などの幾何学的図形の領域指定関数を求めることである。
【0031】
本実施の形態では、当てはめる図形を楕円とする。図7は、その様子を説明する図である。図6で説明したように、エッジ画素(境界点)139〜143の5つが検出できたとする。この5つのエッジ画素139〜143をすべて含む最小の長方形151を求める(図7(a))。次に、求められた長方形151に内接する楕円152を求める(図7(b))。このようにして求めた楕円152を、赤目領域102に対応する領域として当てはめ、赤目領域102に対応する領域を特定する。すなわち、エッジ画素139〜143をすべて含む最小の長方形151に内接する楕円152の領域指定関数を求める。ここで、長方形151と、それに内接する楕円152を求めることは、すなわち楕円152の中心の位置と、長軸および短軸の長さとを求めることと同義である。
【0032】
なお、上記のように楕円152で赤目領域102を近似すると、図7(b)における領域153のように、本来赤目領域102の一部であるにもかかわらず、特定された領域152に含まれない場合が生じる。このような現象を極力防止するために、図2のステップS3〜S5を複数回繰り返すようにする。すなわち、ユーザは赤目領域102の内部の点を少しずらしながら複数指定する。複数の指定により、複数の形状の異なる楕円が特定される。この、形状が異なる複数の楕円の論理和を取った領域を特定する。このようにすることにより、より一層実際の赤目領域102に近似した領域を特定することができる。なお、ステップS3で、ユーザが複数の点を一度に指定するようにしてもよい。
【0033】
なお、当てはめる図形を楕円としたのは、瞳孔が円形であること、また実際に生じている赤目領域の形状や、各種の実験結果等を考慮して判断したものである。ただし、楕円以外の形状、例えば円形にしてもよい。また、単に検出したエッジを直線で結んだ多角形や、最小2乗法によって検出したエッジすべてに近い境界線で規定される図形で当てはめてもよい。
【0034】
図2のステップS6では、ステップS5において特定された領域の色を変更(補正)する。色の補正は、例えば、黒やグレイ(灰色)などの一色の色で塗りつぶすなど各種の方法が考えられる。しかし、色の補正を行う領域と実際に色不良となっている領域とが一致していればよいが、一致していない場合不自然な色補正となる。本実施の形態においても、上記の通り赤目領域102を楕円152で近似しているため、実際の赤目領域102と補正領域152とは一致しない。従って、本実施の形態では、以下に説明する色の補正方法を採用する。
【0035】
ステップS6において、ステップS5によって抽出された色不良領域内の色の補正を画素毎に行う。補正前の各画素の各色成分の色情報の値をR、G、B、補正後をR1、G1、B1とする。補正後のR1、G1、B1を、補正係数α、β、γを使用した式(4)、(5)、(6)によって求める。
R1=α(R+G+B)−βG−γB (4)
G1=βG (5)
B1=γB (6)
【0036】
上記補正係数α、β、γは、以下の考え方に基づき事前に求められている。次式(7)は、補正前の輝度(R+G+B)に補正係数αを掛けて補正後の輝度(R1+G1+B1)を導き出す式である。αは、条件(8)を満たすものとする。条件(8)は、補正後の輝度を補正前の輝度より小さくするための条件である。
α(R+G+B)=R1+G1+B1 (7)
0≦α≦1 (8)
【0037】
さらに、補正後のG1、B1は、条件(9)(10)で示すように、補正後のR1より小さくなるようにする。補正後の目の色が、緑色っぽくなったり、青色っぽくなったりするのを防ぐためである。
G1<R1 (9)
B1<R1 (10)
上記式(4)〜(7)、条件(8)〜(10)より、補正係数α、β、γの取り得る範囲が決まり、補正後の各色成分の色情報の値の取り得る範囲が決まる。このような範囲で、適切な補正係数を求めるための式を、各種シミュレーションや実験を繰り返し求める。以下、補正係数を具体的に求める式について説明する。
【0038】
まず、αを求める式について説明する。αは、あらかじめユーザーによって上記範囲内で任意の値に定めてもよいが、本実施の形態では次のようにして決める。特定された領域内において、赤味の目立つ箇所を強く補正すること、肌色領域はなるべく補正を少なくすること、高輝度なキャッチライトは補正しないようにすること。これらの条件を満たすため、式(11)に示すように、補正前の画素のR成分の色情報とそれに対するG成分の色情報、B成分の色情報とに依存させた形で表す。すなわち、αはR成分の色情報とG成分の色情報とB成分の色情報との関数で表される値とする。これにより、より自然な補正へと近づける事が可能になる。
α=f(R,G,B) (11)
【0039】
例えば、式(12)に示すような値とする。また、式(13)のようにすることによって、R成分の色情報に強く依存させることも可能である。このように、αの値を、画素のG成分の色情報、B成分の色情報に対するR成分の色情報の大きさを係数に使用しているため、前述した条件を満たした形となる。また、逆に赤色に限らず、画素の色相を計算し、肌色の条件に近いかそうでないかを含めた形にすることも可能である。式(11)に示した係数の決定法に関しては、その他各種色変換などによって求めた数値を使用しても、赤目領域内の補正に有効であればよい。
α=(G+B)/2R (12)
α={(G+B)/2R}0.1R/(R+G+B) (13)
【0040】
次にβ、γの値を求める式について説明する。赤目領域はR成分の色情報の値が、G成分の色情報、B成分の色情報の値と比べて大きいほど目立った赤目となる。言い換えると、R成分が、赤目現象の赤色に最も起因している色成分である。このことからβ、γの値を決めるのに、R成分の色情報の値とG成分の色情報の色情報の値の差分(R−G)、R成分の色情報の値とB成分の色情報の値の差分(R−B)を使用する。これにより、肌色部分、白目部分はそれぞれの差分が低いため、補正を小さくするような係数に設定することができる。また輝度が高い時はその画素はキャッチライトの可能性があるため補正前後で画素値の変化を少なくする等の条件も考慮し係数を決定する。
【0041】
式(14)(15)は、β、γの算出式である。上記求めた係数αも用いている。これにより、R成分の色情報とG成分の色情報B成分の色情報との差分およびαの値に応じて補正後のR1,G1,B1の値が定まる。αは、β、γを強調するか否かの要因ともなる。
β=α{(R−G)/R}{(R+G+B)/3G−1}+1 (14)
γ=α{(R−B)/R}{(R+G+B)/3B−1}+1 (15)
【0042】
白目や人肌の場合、また、キャッチライトの場合、R成分の色情報とG成分の色情報およびR成分の色情報とB成分の色情報との差分が小さい。その結果、上述したαの値は1に近くなる。また、β、γの値も1に近くなる。これにより、輝度の変化は少なく、各色成分の色情報の補正の程度は小さくなる。すなわち、赤目領域として特定された領域に白目や瞼などの人肌が含まれる場合、それらの部分はあまり補正されないようになる。一方、赤目の場合、すなわちR成分の色情報が強い場合は、R成分の色情報の強さに応じて輝度が低くなるように補正され、かつ、R成分の色情報およびG成分の色情報およびB成分の色情報の値が近づくように補正される。必ずしも黒や灰色などの無彩色にまで補正されないが、赤目がめだたないような色に補正される。さらに、キャッチライトはそのままの状態近くに保たれる。
【0043】
上記説明した(R+G+B)は画素の輝度を示し、(R−G)や(R−B)は各画素における色差を示す。これらは、各画素の特徴量を示していると言える。従って、本実施の形態では、これらの特徴量に基づき色の補正をしていると言える。前述した条件(8)〜(10)より、これらの特徴量の取り得る範囲が決まる。このような特徴量の範囲で、適切な補正が行えるような式を導き出すため、各種シミュレーションや実験を繰り返した。その結果得られた式が、上記式(12)〜(15)である。
【0044】
以上説明したような本実施の形態の赤目補正処理方法を実施すると、次のような効果を奏する。
(1)補正すべき赤目領域などの色不良領域を、違和感のない自然な色状態へ容易に補正することができる。
(2)本実施の形態では、赤目として特定された領域に白目や肌色部分が含まれる場合、その部分をあまり強く補正しない。その結果、赤目領域の特定をそれほど厳密にしなくても、違和感のない赤目補正が実現できる。すなわち、赤目領域として特定された領域と実際に赤目が生じている領域とが一致していなくても、違和感のない赤目補正が実現できる。このため、赤目領域の特定方法は、容易な手法や従来ある手法であってもよい。
(3)キャッチライトを残したままで赤目を補正することができる。すなわち、違和感のない自然な色の補正が可能となる。例えば、画素の各色成分の色情報の値を画素の中の最も小さい値を示す色成分の色情報の値に統一するように補正することにくらべても、キャッチライトをよりそのままの状態で残すことができる。
【0045】
上記の実施の形態では、パソコン1で赤目補正処理を行う例を説明をしたが、この内容に限定する必要はない。デジタルカメラ上でそのような処理プログラムを搭載し処理するようにしてもよい。また、カメラから直接画像データを取得してプリントするプリンタにおいて、そのような処理プログラムを搭載し処理するようにしてもよい。すなわち、画像データを処理するあらゆる画像処理装置に本発明を適用することができる。
【0046】
上記の実施の形態では、赤目内部の点をユーザが指定し、その点を起点にエッジを求める処理をして赤目領域を特定する例を説明をしたが、この内容に限定する必要はない。その他の手法で赤目領域を特定する場合であってもよい。実際の赤目領域と赤目領域として特定した領域とが完全に一致しないような手法すべてに本発明を適用することができる。この場合、赤目領域として特定された領域は、実際の赤目領域に比べて若干広めに設定されるのが好ましい。このため、本実施の形態の手法や従来技術の手法で赤目領域を特定したのち、その領域を若干広げるような処理をするようにしてもよい。
【0047】
上記の実施の形態では、RGB表色系の例で説明をしたが、この内容に限定する必要はない。その他の表色系の画像データであってもよい。
【0048】
上記の実施の形態では、単純にR+G+Bで輝度を示す例で説明をしたが、この内容に限定する必要はない。各色成分に所定の係数を掛けて求める輝度であってもよい。
【0049】
上記の実施の形態では、補正係数β、γを求める式において、色成分の色情報の差分(相違)の程度を示す値として色差R−G、R−Bの値を使用する例で説明したが、必ずしもこれらの内容に限定する必要はない。R/GやR/Bなどの比例割合を示す値を使用するものであってもよい。このような色成分の色情報の比例割合も色情報の差分の程度を示している値といえる。
【0050】
上記の実施の形態では、補正係数α、β、γを求める式として式(11)〜(14)を示したが、必ずしもこれらの式に限定する必要はない。色成分の色情報の差分や比例割合を利用した式であって、白目や人肌やキャッチライト部分の色については補正をしない、あるいは補正の程度を弱めるような効果が現れる式であればどのようなものでもよい。
【0051】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【0052】
【発明の効果】
本発明は、以上説明したように構成しているので、補正すべき赤目領域を、自然な色状態へ、容易に違和感なく補正することができる。
【図面の簡単な説明】
【図1】本発明の色不良領域補正方法を実施する一実施の形態を示す図である。
【図2】本実施の形態における赤目補正処理のフローチャートを示す図である。
【図3】赤目が生じている黒目部分を拡大した図である。
【図4】画像データを画素が認識できる程度にまで拡大した図である。
【図5】エッジ探索の様子を説明する図である。
【図6】探索結果の様子を説明する図である。
【図7】楕円図形をあてはめる様子を説明する図である。
【符号の説明】
1 パーソナルコンピュータ
2 制御装置
3 モニタ
4 キーボード
5 マウス
6 CD−ROM駆動装置
7 記録媒体
8 デジタルカメラ
9 インターネット
10 コンピュータ
Claims (9)
- 赤目領域補正方法であって、
R色成分、G色成分、B色成分の色情報を有する画素が複数集まって構成されるRGB表色系により表される画像であって、赤目現象が生じている赤目領域を有する画像を取得する画像取得ステップと、
前記取得した画像において、前記赤目領域に対応する領域を特定する領域特定ステップと、
前記特定した領域を構成する各画素において、R色成分の色情報の値と、G色成分とB色成分の色情報の値との相違の程度を示す値に基づき、各色成分の色情報の値を変更する色変更ステップとを有し、
前記色変更ステップにおいて、補正前の各画素のR色成分、G色成分、B色成分の色情報の値をR、G、Bとしたとき、補正後のR色成分、G色成分、B色成分の色情報の値R1、G1、B1を、次の式
R1=α(R+G+B)−βG−γB
G1=βG
B1=γB
から求める、ただし、α、β、γは次の条件
0≦α≦1
G1<R1
B1<R1
を満たすことを特徴とする赤目領域補正方法。 - 請求項1に記載の赤目領域補正方法において、
前記βを求めるのに前記αと(R−G)を使用し、
前記γを求めるのに前記αと(R−B)を使用することを特徴とする赤目領域補正方法。 - 赤目領域補正方法であって、
R色成分、G色成分、B色成分の色情報を有する画素が複数集まって構成されるRGB表色系により表される画像であって、赤目現象が生じている赤目領域を有する画像を取得する画像取得ステップと、
前記取得した画像において、前記赤目領域に対応する領域を特定する領域特定ステップと、
前記特定した領域を構成する各画素において、R色成分の色情報の値と、G色成分とB色成分の色情報の値との相違の程度を示す値に基づき、各色成分の色情報の値を変更する色変更ステップとを有し、
前記色変更ステップにおいて、補正前の各画素のR色成分、G色成分、B色成分の色情報の値をR、G、Bとしたとき、補正後のR色成分、G色成分、B色成分の色情報の値R1、G1、B1を、次の式
R1=α(R+G+B)−βG−γB
G1=βG
B1=γB
α=f(R,G,B)
β=α{(R−G)/R}{(R+G+B)/3G−1}+1
γ=α{(R−B)/R}{(R+G+B)/3B−1}+1
から求め、ここでf(R,G,B)は、R色成分の色情報とG色成分の色情報とB色成分の色情報との関数であることを特徴とする赤目領域補正方法。 - 赤目領域補正方法であって、
R色成分、G色成分、B色成分の色情報を有する画素が複数集まって構成されるRGB表色系により表される画像であって、赤目現象が生じている赤目領域を有する画像を取得する画像取得ステップと、
前記取得した画像において、前記赤目領域に対応する領域を特定する領域特定ステップと、
前記特定した領域を構成する各画素において、R色成分の色情報の値と、G色成分とB色成分の色情報の値との相違の程度を示す値に基づき、各色成分の色情報の値を変更する色変更ステップとを有し、
前記色変更ステップにおいて、補正前の各画素のR色成分、G色成分、B色成分の色情報の値をR、G、Bとしたとき、補正後のR色成分、G色成分、B色成分の色情報の値R1、G1、B1を、次の式
R1=α(R+G+B)−βG−γB
G1=βG
B1=γB
α=(G+B)/2R
β=α{(R−G)/R}{(R+G+B)/3G−1}+1
γ=α{(R−B)/R}{(R+G+B)/3B−1}+1
から求めることを特徴とする赤目領域補正方法。 - 赤目領域補正方法であって、
R色成分、G色成分、B色成分の色情報を有する画素が複数集まって構成されるRGB表色系により表される画像であって、赤目現象が生じている赤目領域を有する画像を取得する画像取得ステップと、
前記取得した画像において、前記赤目領域に対応する領域を特定する領域特定ステップと、
前記特定した領域を構成する各画素において、R色成分の色情報の値と、G色成分とB色成分の色情報の値との相違の程度を示す値に基づき、各色成分の色情報の値を変更する色変更ステップとを有し、
前記色変更ステップにおいて、補正前の各画素のR色成分、G色成分、B色成分の色情報の値をR、G、Bとしたとき、補正後のR色成分、G色成分、B色成分の色情報の値R1、G1、B1を、次の式
R1=α(R+G+B)−βG−γB
G1=βG
B1=γB
α={(G+B)/2R} 0.1R/(R+G+B)
β=α{(R−G)/R}{(R+G+B)/3G−1}+1
γ=α{(R−B)/R}{(R+G+B)/3B−1}+1
から求めることを特徴とする赤目領域補正方法。 - 赤目領域補正方法であって、
複数の色成分の色情報を有する画素が複数集まって構成される画像であって、赤目現象が生じている赤目領域を有する画像を取得する画像取得ステップと、
前記取得した画像において、前記赤目領域に対応する領域を特定する領域特定ステップと、
前記特定した領域を構成する各画素において、前記赤目領域の赤目現象に最も起因する色成分の色情報の値と他の色成分の色情報の値との相違の程度を示す値に基づき、各色成分の色情報の値を変更する色変更ステップとを有し、
前記色変更ステップは、前記特定した領域を構成する各画素において、変更後の各色成分の色情報の値の総和が変更前の各色成分の色情報の値の総和より小さくなるように、かつ、前記特定した領域を構成する各画素において、変更後の前記赤目領域の赤目現象に最も起因する色成分の色情報の値が変更後の前記他の色成分の色情報の値より大きくなるように、各色成分の色情報の値を変更することを特徴とする赤目領域補正方法。 - 請求項1〜6いずれか1項に記載の赤目領域補正方法のステップをコンピュータに実行させるための赤目領域補正処理プログラム。
- 請求項7の赤目領域補正処理プログラムを記録したコンピュータ読みとり可能な記録媒体。
- 請求項7の赤目領域補正処理プログラムを搭載し、実行する画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003030541A JP4123954B2 (ja) | 2003-02-07 | 2003-02-07 | 赤目領域補正方法、赤目領域補正処理プログラム、画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003030541A JP4123954B2 (ja) | 2003-02-07 | 2003-02-07 | 赤目領域補正方法、赤目領域補正処理プログラム、画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004242141A JP2004242141A (ja) | 2004-08-26 |
JP4123954B2 true JP4123954B2 (ja) | 2008-07-23 |
Family
ID=32957402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003030541A Expired - Lifetime JP4123954B2 (ja) | 2003-02-07 | 2003-02-07 | 赤目領域補正方法、赤目領域補正処理プログラム、画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4123954B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4496465B2 (ja) * | 2004-04-23 | 2010-07-07 | ノーリツ鋼機株式会社 | 赤目補正方法、プログラム、及びこの方法を実施する装置 |
JP4416724B2 (ja) | 2005-11-07 | 2010-02-17 | キヤノン株式会社 | 画像処理方法およびその装置 |
US7599577B2 (en) | 2005-11-18 | 2009-10-06 | Fotonation Vision Limited | Method and apparatus of correcting hybrid flash artifacts in digital images |
JP4885079B2 (ja) * | 2007-07-04 | 2012-02-29 | 富士フイルム株式会社 | デジタルカメラ、撮影方法及び撮影プログラム |
-
2003
- 2003-02-07 JP JP2003030541A patent/JP4123954B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2004242141A (ja) | 2004-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107277356B (zh) | 逆光场景的人脸区域处理方法和装置 | |
US7352394B1 (en) | Image modification based on red-eye filter analysis | |
JP4571190B2 (ja) | 赤目現象を検出して補正するための方法及び装置 | |
KR101446975B1 (ko) | 얼굴 검출 기능을 사용한 얼굴 및 피부의 자동 미화 | |
US6859565B2 (en) | Method and apparatus for the removal of flash artifacts | |
US20050140801A1 (en) | Optimized performance and performance for red-eye filter method and apparatus | |
US9135726B2 (en) | Image generation apparatus, image generation method, and recording medium | |
JP4416724B2 (ja) | 画像処理方法およびその装置 | |
JP2007097178A (ja) | 顔検出による赤目の除去方法 | |
JP2001186325A (ja) | 画像処理方法、装置、記録媒体、及び伝送媒体 | |
US20170154437A1 (en) | Image processing apparatus for performing smoothing on human face area | |
JP6432399B2 (ja) | 画像処理装置および画像処理方法 | |
CN108399617A (zh) | 一种动物健康状况的检测方法和装置 | |
JP4123954B2 (ja) | 赤目領域補正方法、赤目領域補正処理プログラム、画像処理装置 | |
JP2005309971A (ja) | 赤目補正方法、プログラム、及びこの方法を実施する装置 | |
JP3510040B2 (ja) | 画像処理方法 | |
US8270715B2 (en) | Method for correcting red-eye | |
JP4457586B2 (ja) | 赤目領域補正方法、赤目領域補正処理プログラム、記録媒体、画像処理装置 | |
JP5070921B2 (ja) | 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム | |
JP2004208132A (ja) | 色不良領域補正方法、色不良領域補正処理プログラム、画像処理装置 | |
JP4269808B2 (ja) | 色不良領域補正方法、色不良領域補正処理プログラム、色領域特定方法、色領域特定処理プログラムおよび画像処理装置 | |
JP3709656B2 (ja) | 画像処理装置 | |
JP4281541B2 (ja) | 色不良領域補正方法、色不良領域補正処理プログラム、色領域特定方法、色領域特定処理プログラムおよび画像処理装置 | |
JP6260094B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6881646B2 (ja) | 画像処理システム、撮像装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071005 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080415 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080428 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4123954 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140516 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140516 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140516 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |