JP4861806B2

JP4861806B2 - 赤目の検出及び補正

Info

Publication number: JP4861806B2
Application number: JP2006336099A
Authority: JP
Inventors: ヴィラモウスキーユッタ; クスルカガブリエラ
Original assignee: Xerox Corp
Current assignee: Xerox Corp
Priority date: 2005-12-20
Filing date: 2006-12-13
Publication date: 2012-01-25
Anticipated expiration: 2026-12-13
Also published as: JP2007172608A; US20070140556A1; US7567707B2

Description

本例示的実施形態は、画像処理に関する。これは、デジタル画像の赤目の自動補正と関連して特定の用途を見出す。

赤目は、写真画像に共通の問題である。これは、フラッシュが用いられるときにはいつでも生じ、人間の網膜から反射する光が、目を本来の色ではなく、赤く見せる。この問題を認識して、カメラの製造業者は、実際の写真の完了直前に、１つ又はそれ以上の光の前露光を発する能力をカメラに備えることにより、赤目を最小にするか又は抑制することを試みた。これらの前露光は、被写体の瞳孔を収縮させて、網膜上に入射し、ここから反射する光を最小にすることを意図する。前露光ハードウェアが備えられたカメラは、赤目問題を緩和することができるが、赤目アーチファクトは必ずしも防止されるわけではないため、これらは必ずしも良好に受け入れられるわけではない。これらはさらに、より多くのエネルギを消費し、ボタンを押すことと写真を撮ることとの間に大幅な遅延を引き起し、人々に瞬きをさせることになる傾向をもつ。赤目は、カメラが、統合されたフラッシュをもってより小さく作られるようになってから、より普及し、ひどくなった。小さいサイズは、フラッシュが内蔵された性質と結びついて、対物レンズに近接してフラッシュを配置することを必要とする。したがって、被写体の網膜から反射される光のより大きい部分が対物レンズに入り、記録される。

画像における赤目の検出及び補正のための技術が開発されている。１つの方法においては、オペレータが全ての画像に目を通し、更なる処理のために赤目を含む画像をマーキングする。この処理は、典型的には、識別された赤目における赤いピクセルを修正することを含む。オペレータの関与を取り除くか又は低減する努力により、色、サイズ、及び形状の基準に基づいた赤目の検出を試みる自動処理がもたらされた。赤目が検出されたときには、自動処理は、赤色領域に対して修正を適用する。赤色は非常にありふれたものであり、赤目が多数の画像（例えば、フラッシュを用いずに撮影されたもの、人間の被写体を含まないものなど）に存在しないことを前提とすると、偽陽性がしばしば生じる。したがって、こうした自動赤目検出技術を用いると、赤色のボタン、１つの赤いキャンディなどは全て赤目として誤認される可能性がある。

幾つかの赤目補正技術は、顔の検出に依存する。しかし、顔の検出自体が困難な作業である。これは、正面ではない、回転された、近接した顔に対しては良好に行われない。こうした場合においては、これらの方法は、不良に行われる傾向になる。

例示的な実施形態の１つの側面においては、画像補正のためのシステムは、デジタル画像における複数のピクセルの各々に対して、ピクセルが赤目内にある確率を指定する検出モジュールを含む。分類器モジュールは、少なくとも、ピクセルが赤目内にあるしきい値確率を有する連続するピクセルの領域を含む画像のパッチを分類する。分類器モジュールは、赤目を含む確度を有するパッチを、顔エラー及び背景エラーの少なくとも一方を含む確度を有するパッチから区別する。補正モジュールは、分類器が、赤目を含む確度を有するとして識別したパッチ内にある連続するピクセルの領域におけるピクセルに適用する補正を指定する。

例示的なシステムにおいては、補正モジュールにより適用される補正は、ピクセルの色の関数とすることができる。指定される補正は、分類器モジュールの出力の関数とすることができる。分類器モジュールは、赤目を含む確率を有するパッチを、顔エラーを含む確率を有するパッチから区別する第１の分類器と、赤目を含む確率を有するパッチを、背景エラーを含む確率を有するパッチから区別する第２の分類器とを含む。分類器モジュールは、少なくとも２つの部類の一方にパッチを指定することができる。第１のパッチの部類は、第１及び第２の分類器の両方が、赤目を含む確率を有するとして識別するパッチを含むことができ、第２のパッチの部類は、第１の分類器の少なくとも一方が顔エラーを含む確率を有するとして識別するパッチか、第２の分類器が、背景エラーを含む確率を有するとして識別するパッチ、の少なくとも１つを含むことができる。補正モジュールにより適用される補正は、パッチが指定される部類の関数とすることができる。適用される補正は、分類器が、パッチが第１の部類にあると識別する確率を増加させるパラメータにより修正された赤目にピクセルがある確率の関数とすることができる。適用される補正は、分類器が、パッチが第２の部類にあると識別する確率を減少させるパラメータにより修正された赤目にピクセルがある確率の関数とすることができる。分類器モジュールは、パッチを、３つの部類の１つに指定することができ、第３のパッチの部類は、両方の分類器が、パッチが赤目を含むかどうか断定できないパッチを含む。検出モジュールは、さらに、循環性の確率を複数のピクセルの各々に指定する部品を含むことができ、ピクセルが赤目内にある確率は、指定された循環性の確率の関数である。

別の側面においては、画像処理方法は、デジタル画像の複数のピクセルの各々に対して、ピクセルの色の関数として、赤目にあるピクセルのピクセルに確率を指定するステップを含む。少なくとも、ピクセルが赤目内にあるしきい値の確率を有する連続するピクセルの領域を含む画像のパッチに関して、この方法は、赤目を含む確率を有するパッチを、他のパッチから区別するように訓練された分類器モジュールにより、パッチを分類するステップを含む。赤目を含む確率を有するとして分類器により識別された画像のパッチに関しては、連続するピクセル領域におけるピクセルに適用する補正が求められる。

この方法は、さらに、分類器モジュールが、画像の訓練の組を用いて、赤目を含む確率を有するパッチを、他のパッチから区別するように分類器モジュールを訓練するステップを含み、訓練の組における各々の画像は、少なくとも、ピクセルが赤目内にあるしきい値確率を有する連続するピクセル領域を含む。訓練の組は、領域が赤目を含まなさそうであると試験が立証した連続するピクセル領域を含む画像を除外することができる。求められた補正は、ピクセルの色の関数とすることができる。補正は、分類器モジュールの出力の関数とすることができる。分類器モジュールは、赤目を含む確率を有するパッチを、顔エラーを含む確率を有するパッチから区別する第１の分類器と、赤目を含む確率を有するパッチを、背景エラーを含む確率を有するパッチから区別する第２の分類器とを含み、パッチの分類は、第１の分類器によりパッチを分類するステップと、第２の分類器によりパッチを分類するステップとを含む。パッチの分類は、パッチを少なくとも２つの部類の一方に指定するステップを含むことができ、第１のパッチの部類は、第１及び第２の分類器の両方が、赤目を含む確率を有するとして識別するパッチを含むことができ、第２のパッチの部類は、第１の分類器の少なくとも一方が顔エラーを含む確率を有するとして識別するパッチ、又は、第２の分類器が、背景エラーを含む確率を有するとして識別するパッチ、の少なくとも１つを含むことができる。求められた補正は、パッチが指定される部類の関数とすることができる。パッチが第１の部類に指定された場合には、求められた補正は、確率を増加させるパラメータにより修正された赤目にピクセルがある確率の関数とすることができる。パッチが、第２の部類に指定された場合には、求められた補正は、確率を減少させるパラメータにより修正された赤目にピクセルがある確率の関数とすることができる。

第１の分類器が、パッチが顔エラーを含むかどうかに対して未決定であり、第２の分類器が、パッチが背景エラーを含むかどうかに対して未決定であるパッチを含む第３のパッチの部類があるとすることができる。パッチが、第３の部類に指定された場合には、求められた補正は、分類器モジュールにより修正されていない赤目にピクセルがある確率の関数とすることができる。ピクセルが赤目内にある確率は、デジタル画像における全てのピクセルに指定することができる。ピクセルが赤目にある確率は、デジタル画像にわたり換算することができる。確率の指定は、ピクセルの赤色成分、緑色成分、青色成分の関数である赤み確率を求めることを含むことができる。ピクセルが赤目にある確率は、ピクセルが緑色及び青色であるより赤色である程度の関数とすることができる。ピクセルが赤目内にあるという確率の指定は、ピクセルが緑色及び青色であるより赤色である程度の関数であり、さらに、ピクセルが明るいというより赤色である程度の関数である赤み／輝度の確率を指定することを含むことができる。画像における複数のピクセルは、ピクセルが０と１との間の赤目にある確率を指定されることができる。ピクセルの補正は、しきい値より大きい赤目にある確率を有するピクセルの赤色成分値を、補正された赤色成分値と置き換えることを含むことができる。補正された赤色成分値は、ピクセルにおける赤色成分、緑色成分、及び青色成分の関数、及び、ピクセルが赤目内にあるという指定された確率の関数とすることができる。画像は、元の画像の低解像度画像とすることができ、この方法は、さらに、低解像度画像を形成するステップと、元の画像におけるピクセルに適用する補正を求めるステップと、を含むことができ、この補正は、ピクセルの各々に対して、低解像度画像における対応するピクセルが赤目内にあるという指定された確率、元の画像におけるピクセルの色、及び領域を含むパッチが分類器により指定される部類の関数である。

別の側面においては、処理方法は、デジタル画像における複数のピクセルの各々に対して、ピクセルの色の関数として、赤目にあるピクセルのピクセルに、自動的に確率を指定するステップを含む。画像における連続するピクセルの領域が識別され、ここでピクセルは、少なくとも、赤目にあるしきい値確率を有する。この領域を含むパッチは、顔領域より赤色領域を含む傾向をもつパッチを識別するように訓練された第１の分類器と、背景領域より赤色領域を含む傾向をもつパッチを識別するように訓練された第２の分類器とを含む分類器モジュールにより、自動的に分類される。分類器モジュールは、第１及び第２の分類器の出力に応じて、少なくとも２つの部類の一方にパッチを指定する。パッチがどちらの部類に指定されたかによって異なるパラメータがピクセルに指定される。識別された領域における複数のピクセルの各々に対して、この方法は、ピクセルに適用する補正を自動的に求めるステップを含み、この補正は、ピクセルが赤目内にあるという指定された確率、ピクセルに指定されたパラメータ、及びピクセルの色の関数である。

本例示的な実施形態の側面は、デジタル画像における赤目に対処するためのシステム及び方法に関する。システムは、画像処理段階において、赤目の完全自動検出及び補正を可能にして、前露光ハードウェア及びそれに関連する欠点をなくすことを可能にする。処理されるべき画像は、デジタルカメラ、スキャナ、デジタルビデオレコーダその他同様なものといったデジタル画像形成デバイスにより生成することができる。例示的な検出及び補正システムは、デジタル画像形成デバイスに組み込んでもよいし、又は、デジタル画像形成デバイスとは別個の、パーソナルデスクトップコンピュータ、ラップトップ、又は焼き付け装置といった専用の画層形成処理システムといった好適な画像処理装置上に格納してもよいソフトウェアを含む処理モジュールを含む。処理されるべき画像は、デジタル形態であるか、又は、処理前にデジタル形態に変換される。画像データは、赤色、緑色、青色（ＲＧＢ）の色空間といった色空間により表現される複数のピクセル値により定義することができ、又は、これに変換することができる。

赤目に対応するデジタル画像の領域を識別し、補正するための完全に又は実質的に自動化されたコンピュータにより実施される処理は、赤目検出モジュールが、自動的に、バイナリ値ではない確率値を、可能性のある赤目領域におけるピクセルに指定するという意味で、確率的なものである。具体的には、検出モジュールは、各々の画像ピクセルに対して、値が間であることが可能である０から１までの赤目確率の属性を与える。出力がバイナリである（イエスであれば赤目であり、又は、ノーであれば赤目ではない）他の赤目検出方法とは異なり、これらの確率値は、例えば、赤み、輝度、及び空間循環性といった、実際に、赤目である領域との相関が見出された異なるピクセル特徴の組み合わせからもたらされることができる。結果としてもたらされる確率値は、次いで、補正モジュールにおいて用いられて、各々のピクセルに適用する補正の量を求める。

関連する分類器モジュールにより実行することができる付加的な自動化分類ステップは、デジタル画像の赤目の補正前に、上述の検出方法の出力に対して実行することができる。他の実施形態においては、分類ステップは、可能性のある赤目の識別についてデジタル画像を評価する他の自動化赤目検出方法と組み合わせることができる。

１つの側面においては、例示的なシステムは、検出モジュールと、任意的には試験モジュールと、分類器モジュールと、補正モジュールとを含む。検出モジュールは、デジタル画像のピクセルに、ピクセルが配置されている区域の色、輝度、及び／又は循環性といった１つ又はそれ以上のピクセル特徴に基づいて、赤目にある確率を指定する。試験に通らない領域をフィルタ処理して除去するために、試験モジュールにより、さらに別の試験を、各々がしきい値の赤目確率を有する連続するピクセル領域上に実行することができる。除去された領域においては、確率は、ゼロであるか又は幾らかの比較的低い確率値に設定することができる。あらゆる残りの領域又は画像内の領域（可能性のある赤目領域）におけるピクセルは、赤目にある確率を少なくとも幾らか保持し、低い又はゼロの赤目にある確率が指定された区域により、他の可能性のある赤目領域から離間されている。

分類器モジュールは、入力として、検出モジュール及び／又は試験モジュールの出力を受け取る。分類器モジュールは、実際の使用前に、局所的な記述子が人の赤目に対応する、以前に識別された赤目領域を含むパッチを、局所的な記述子が顔の他の部分又は背景に対応するパッチから区別するように訓練される。訓練中の目的は、局所的な記述子が目に対応するパッチを認識することを学習し、したがって、検出モジュール／試験モジュールにより正しく検出された、可能性のある赤目を識別することである。このように、顔の目ではない領域又は背景に対応し、或いは別の場合には、その色及び／又は形状のために、赤目を含む高い確率が指定されることがあるパッチは、赤目である確率を減少され、したがって、補正ステップにおいて、赤目補正をほとんど受けないか、又は全く受けないことができる。

各々の中心に可能性のある赤目を有するパッチは、赤目領域より大きく、一般に、目を囲むのに十分大きいものである（可能性のある赤目がまさに赤目である場合）。一般に、パッチは、画像区域全体より小さい。例えば、パッチは、瞳孔（赤目）、虹彩、少なくとも虹彩の１つ又はそれ以上の側部における白目部分、及び目を取り囲む皮膚の一部を囲む大きさにすることができる。これらの区域の各々は、部分の各々の色又は相対的なグレーレベルといった多数の人に共通の特徴、及び、形状又は相対的なサイズといった他の特徴を有し、これらは、分類器モジュールが、目を含むパッチと顔の別の部分又は画像の背景を形成するパッチとの間を区別するために、局所的な記述子として用いることができる。分類器を訓練するのに用いられるパッチの訓練の組は、異なる年齢、人種、目の色、皮膚の色等の人から取得されたパッチを含むことができるため、これらの群について異なる特徴が考慮される。分類器の出力は、顔より赤目でありそうで、背景より赤目でありそうであると分類された、可能性のある赤目領域の確率値が、検出モジュールの出力と比較すると、高められており、顔より赤目ではなさそうで、及び／又は、背景より赤目ではなさそうな領域は、確率値が変更されないか、又は減少された確率マップである。

補正モジュールは、入力として、分類器の出力を受け取り、分類器により出力された確率値及びピクセルの色の関数として、補正を画像におけるピクセルに適用する。一般に、高い確率値の／大きい赤色成分を有するピクセルには、低い確率／低い赤色含量をもつピクセルより相対的に多い補正が与えられる。一般に、補正は、ピクセルの赤色成分を減少させることと、緑色成分及び青色成分を増加させることを含む（ＲＧＢスキームにおいて）。したがって、分類器は、該分類器が、顔より赤目でありそうで、背景より赤目でありそうであると識別した、可能性のある赤目領域におけるピクセルに対して、補正モジュールにより適用される、補正の量を増加させる（すなわち、赤色成分をより多量に減少させる）ように作用する。さらに、分類器は、顔より赤目ではなさそうで、背景より赤目ではなさそうな、可能性のある赤目領域におけるピクセルに適用される補正の量を減少させるように（すなわち、より多くのピクセルの元の赤色成分が保持されるように）作用することができる。分類器が決定的ではない領域においては、確率は変更されないことができ、すなわち、補正は、検出器モジュールの出力に基づいて適用されるものと同じである。

デジタル画像における赤目処理のための例示的な方法は、ファジイ（ソフト）な赤目検出ステップと、分類ステップと、任意的なファジイ（ソフト）な赤目補正ステップとで構成される。したがって、ピクセルが赤目にあるかどうかについて、厳しい（イエス又はノー）決定をする代わりに、一般には、ピクセルが赤目にある確度に対応する値が各々のピクセルに指定され、補正処理は、補正されるべき各々のピクセルが、個々の確率によって補正されるソフトな補正を含むことができる。分類ステップは、少なくとも、可能性のある赤目の部分について、ソフトな検出ステップにおいて出力された確率を修正するが、それにもかかわらず、画像にわたり、確率の段階を保持することができる（すなわち、０と１との間の値を含む）。

種々の側面においては、分類ステップは、赤目、顔、及び背景を区別する多部類問題として扱われる。幾つかの側面においては、分類器モジュールは、独立した訓練の組においてではなく、検出モジュールの出力において訓練される。このように、訓練中、分類器モジュールは、その多く又はほとんどが検出モジュールにより、赤目にある低い確率が与えられ、結果として、分類器モジュールを改良するのに大きな助けとなることがない、可能性のある赤目の大きい群ではなく、検出モジュールが識別した、可能性のある赤目を考慮するだけでよい。

提案される向上されたシステム及び方法は、特に、デジタル及び走査された写真の複製及び印刷といった生産印刷に採用することができる。これはさらに、デジタルスチルカメラ及び他のカメラ付き電話といった手持ち式セットデバイスに用途を見出す。非常に多くの場合において、向上された方法は、実質的に、以前の方法により出力された赤目補正を改善する。これはさらに、顔及び背景におけるアーチファクトの数及び強さを減少させるという意味で、以前の方法より安全である。

図１は、例示的な赤目検出及び補正処理のステップを示す。図２は、画像の一部及び循環性の確率が指定されるピクセルを取り囲む画像及び領域の概略図であり、図３は、分類ステップ前の赤目検出における検討区域を示す画像の概略図である。図４は、図１のステップを実行するためのデジタルデバイスの概略図である。図４における例示的なデジタル画像形成デバイス又はデジタル画像処理装置１００は、本書ではモジュールとして示される種々の処理部品を含む処理部品１０２を組み込んでおり、画像の解像度を求め、適切な場合には、より低い解像度の画像を生成するための解像度選択モジュール１０４を含む。処理部品１０２は、さらに、種々の赤目検出ステップ（図１のステップＳ１４）を実行するための部品を含む検出モジュール１０６と、可能性のある赤目領域にさらに別の試験を適用する（ステップＳ１５）ための試験モジュール１０８と、補正をデジタル画像に適用する（ステップＳ１８）ための補正モジュール１１０とを含む。図示される処理部品は、さらに、分類器モジュールと呼ばれるプロセッサ２００を含む。処理モジュールは、ユーザが、補正された画像を視認し、その補正を許容するか又は拒絶することを可能にするユーザインターフェース１１６により通信することができる。デジタルデバイス１００は、処理部品１０２のモジュールによりアクセスされる好適なメモリ１１２を含んで、ステップの出力、及び元の画像並びに修正された画像を格納する。分類器モジュール２００は処理部品１０２の一部として示されるが、別個の部品であってもよいことが理解されるであろう。

図１を参照すると、検出、分類、及び任意的には赤目補正のための処理は、デジタル画像がデジタル画像処理装置１００（図４）により受け取られたときに、ステップＳ１０で開始する。

画像は、ＤＶＤ、ＣＤＲＯＭ、又はフレキシブルディスクといったディスク上、又は他の画像格納媒体上に格納して、処理のために、一時的に画像処理装置のメモリに転送することができる。

赤目検出を実行する前に、画像の解像度を、１メガピクセルといった標準化された数のピクセルに減少させて、処理ステップの数を減少させることができる（ステップＳ１２）。ファジイ検出ステップ（Ｓ１４）においては、システムの検出モジュールが、ピクセルの１つ又はそれ以上の色及び空間の特性に基づいて、デジタル画像のピクセルを評価する。色の評価においては、検出モジュールは、ピクセルの赤み及び輝度（明るさ）を考慮して、これらの及び／又は組み合わされた確率の一方又は両方に確率値を指定することができる（サブステップＳ１４Ａ、Ｓ１４Ｂ、Ｓ１４Ｃ、Ｓ１４Ｄ）。赤みと輝度との間の関係を考慮することは、赤目は、通常は、明るいというより赤色であるのに対して、赤色というより明るい皮膚及び顔といった偽陽性の大きな割合をなくすことを可能にする（低い確率の指定により）。空間特性（空間循環性）の評価（サブステップＳ１４Ｅ）は、ピクセルを取り囲む領域の循環性に関する確率をピクセルに指定することを含むことができる。ステップＳ１４Ｅにおいて指定された確率は、画像全体について取得された確率にわたり正規化することができる。

輝度に対する代替的手法として、局所的なコントラストといった一般に赤目に関連する何らかの他の特徴を評価することができる（ピクセルが、コントラストをもつ色及び／又は明るさの一方に隣接する領域にあるかどうか）。

本実施形態の側面においては、赤みの確率ｐＲ１及び赤み／輝度の確率ｐＲ２は、最も予想される画像の赤目領域上に着目する方法として求められる（サブステップＳ１４Ａ及びＳ１４Ｂ）。赤み／輝度の確率ｐＲ２は、ステップＳ１４Ａにおいて求められた赤みの確率ｐＲ１を組み込むことができる。確率ｐＲ１及びｐＲ２の何らかの関数である組み合わされた確率ｐＲは、その色及び輝度を考慮して、少なくとも、赤目になる最小の確率を有する領域を識別するように求めることができる（サブステップＳ１４Ｃ）。出力は、画像における全てのピクセルに対するｐＲの確率マップである（サブステップＳ１４Ｄ）。次いで、ピクセルのｐＲ３値により識別された領域のピクセルに対する循環性の確率（ｐＳＣ）が求められ、各々のピクセルに指定されて、これは、実際は、予測される赤目領域が、ありそうもない赤目領域により取り囲まれているという原理に基づくものとすることができる（サブステップＳ１４Ｅ）。さらに、試験が、次いで、残りの、予測される高い赤目領域に適用されて、偽陽性をなくすことができる（ｐＳＣ＋試験）（サブステップＳ１５Ａ及びＳ１５Ｂ）。さらに別の試験を、残りの可能性のある赤目領域の全てに適用して、さらなる偽陽性をなくすことができる。

ステップＳ１７において、前の試験により出力された、各々が可能性のある赤目を囲むパッチが分類器モジュールにより再検査されて、分類器モジュールの出力に基づいて、顔の区域より赤目でありそうで、背景区域より赤目でありそうな可能性のある赤目を識別する。このステップにおいては、分類試験を満たす、可能性のある赤目は、確率値を１に近い値に増加させられて、補正ステップＳ１８において幾らか大きい程度の補正を保証し、分類器試験に満たない、可能性のある赤目領域（赤目より顔でありそうで、赤目より背景でありそうな）は、確率値を０に近いか又はゼロに等しい値に減少されることができる。分類器の結果が曖昧な赤目は、変更されないまま残る。

可能性のある赤目領域においては、分類器ステップにより修正されたｐＲ２値といった確率値が、次いで、赤目になり得る赤色成分を修正する（減少させる）ように用いられる（ステップＳ１８）。このステップは、適用されるべき赤目補正を求めること（サブステップＳ１８Ａ）と、例えば、元の画像と「赤色が減少された」画像とを配合することにより、赤目を補正すること（サブステップ１８Ｂ）とを含む。分類器ステップにより修正されたｐＲ２は、赤みの確率及び量をより良好に反映し、これによって、ｐＲ１又はｐＲよりピクセルの赤色成分が減少されるが、これらの確率値（例えば、分類器ステップにより修正された）を補正ステップで用いることができることが想定される。

例示的な実施形態においては、画像における全て又は大半のピクセルは、赤みの確率（ｐＲ１）（サブステップＳ１４Ａ）、赤み／輝度の確率（ｐＲ２）（サブステップＳ１４Ｂ）、及び循環性の確率（ｐＳＣ）（サブステップＳ１４Ｃ）という３つの特徴について評価されるが、さらに、検出ステップは、全てのピクセルの各々の確率ｐＲ１、ｐＲ２、ｐＳＣを計算することを含まないことがあることが想定される。例えば、ｐＲ１及び／又はｐＲ２が最小しきい値より下である、すなわち、低い又はゼロ（すなわち、低い赤目の確率を示唆する）の領域又は個々のピクセルにおいては、ｐＳＣは、計算される必要がないとすることができる。ステップＳ１４の出力は、評価される各々のピクセルに対する、ピクセルが赤目にある確率（Ｐ）を示す確率マップとすることができる（サブステップＳ１４Ｆ）。各々のステップにおいて、いずれかのピクセルが０より大きい値を有する画像にスケーリング（例えば、正規化）を実行して、画像全体にわたり最大値が１になるようにすることができる。スケーリングは、最大値で除算することにより達成できるが、他のスケーリングの非線形方法もまた想定される。各々の後続する処理のサブステップ（Ｓ１４Ｂ、Ｓ１４Ｃ、Ｓ１４Ｄ、Ｓ１４Ｅ）は、前のものの出力に依存し、これを改善することができる。

ステップＳ１４における確率マップ出力に基づいて、赤目の確率が高い領域が識別され（ステップＳ１５）、さらに分類され（ステップＳ１６）、後に続く補正ステップ（ステップＳ１８）において、これらの領域における各々のピクセルの色が個々に修正される。その結果、赤目における１つのピクセルに適用された補正は、その赤目における別のピクセルに適用された補正とは異なることになる。

赤目が生じる画像においては、ステップＳ１４Ｅにおいて生成された確率マップはバイナリではないが、０と１との間の値（又は他の指定された最大値及び最小値）を含み、ここでは、０はピクセルが赤目にある最低の確率を示し、１はピクセルが赤目にある最高の確率を示す。０と１との間の値は、黒色が０に対応し、白色が１に対応する、グレーレベルとして図示することができる。上述のように、この確率は、色の属性（例えば赤み）、輝度、及び空間循環性といった１つ又はそれ以上の異なるピクセル特徴の組み合わせとすることができる。分類器ステップ（Ｓ１７）の後で、修正された確率マップは、依然として、０と１との間の値を含むことができる。

ピクセルの色（赤みの率）ｐＲ１（ステップ１４Ａ）は、ピクセルの赤色成分の尺度から求めることができ、赤色成分を、ピクセルの色空間の緑色成分及び青色成分といった補色成分と比較することを含むことができる。用いられる色スケールに応じて、色成分は、数値として表現することができ、値が高ければ高いほど、彩度が大きい。例えば、ＲＧＢ色空間においては、ピクセルの色は、赤色成分、緑色成分、及び青色成分により定義され、この各々には、例えば、０ないし２５５の数値が指定される。赤みの確率は、これらの値の各々を考慮してもよいし、又は赤色成分だけを考慮してもよい。一実施形態において、ピクセルの「赤み」（Ｄ）程度は、以下の式を用いて、ピクセルの緑色（Ｇ）値及び青色（Ｂ）値の平均を赤色（Ｒ）値から減算することにより求められる。
Ｒｅｄｄｉｓｈ（Ｄ）＝Ｒ−（Ｇ＋Ｂ）／２式１

ピクセルが赤色である赤みの確率（ｐＲ１）は、例えば、画像について、赤み値（Ｄ）を最大の赤み値（Ｄ_max）により除算し、この値の最大値及びゼロを取り上げて、負の値を排除することによって、式１によって取得された赤み値を換算することにより取得することができ、以下のように表現することができる。
ｐＲ１＝ｍａｘ（０，Ｄ／Ｄ_max）式２

例えば、以下の値Ｒ＝２２０、Ｇ＝１３０、Ｂ＝９０を有するピクセルについて、
Ｄ＝２２０−［（１３０＋９０）／２］＝１１０

画像の最大の赤み値Ｄ_maxが２２０である場合には、
ｐＲ１＝ｍａｘ（０，１１０／２２０）で、この場合、ｐＲ１＝０．５になる。

サブステップＳ１４Ａの出力は、したがって、各々のピクセルに指定され、その赤みの幾らかの相対的な尺度と等しい確率ｐＲ１である。図示実施形態においては、確率ｐＲ１は、ピクセルが緑色及び青色であるより、赤色である程度の尺度である。ピクセルが赤目の色と同様である程度を識別するように適応された他の色尺度もまた想定される。ｐＲ１は、Ｄの換算値である必要はなく、例えば、ｐＲ１は、Ｄと等しくてもよいし、又は、何らかの他のＤの関数であってもよいことが理解されるであろう。

次のサブステップ（Ｓ１４Ｂ）は、赤み／輝度の確率（ｐＲ２）を各々のピクセルに指定する。ピクセルの輝度（又は明るさ）は、ピクセルのグレーレベル（彩度）により表現することができる。したがって、例えば、輝度又はグレーレベル（Ｖ）は各々のピクセルについて求められ、これは、赤色、緑色、及び青色の値の重み付けられた合計である。一実施形態においては、グレーレベルは、以下の式を用いて求められ、
Ｖ＝０．２５^*Ｒ＋０．６^*Ｇ＋０．１５^*Ｂ式３
ここで、^*は、乗算関数である。赤み／輝度値（Ｌ）は、次いで、グレーレベルを、式１において求められた赤み値Ｄの関数から減算することにより求められる。一実施形態においては、関数は以下のように２Ｄである。
Ｌ＝２^*Ｄ−Ｖ式４

Ｌは、画像について、Ｌの最大値（Ｌ_max）により除算することによって正規化することができる。いずれの負の値もゼロに設定することができる。ｐＲ２は、このように式から求められる。
ｐＲ２＝ｍａｘ（０，Ｌ／Ｌ_max）式５

式５は、このように、（サブステップＳ１４Ａにおいて識別された）低いグレーレベルを有する赤みピクセルを識別するように働く。式５は、このように、赤目に一般的である、ピクセルが明るいより赤いという表示を与える。このことは、例えば、そのような特性を示す皮膚及び顔のような領域上の偽陽性の大部分を排除する。

一実施形態においては、サブステップＳ１４Ｂの出力は、したがって、ピクセルのグレーレベルＶ及びその赤みＤを考慮する各々のピクセルの確率値ｐＲ２である。

Ｒ＝２２０、Ｂ＝９０である上述の例において、Ｌ_maxが１００である場合には、
Ｖ＝０．２５^*２２０＋０．６^*１３０＋０．１５^*９０＝１４６．５
Ｌ＝２^*１１０−１４６．５＝７３．５
ｐＲ２＝７３．５／１００＝０．７３５

或いは、ピクセルのｐＲ２値は、以下の式により求めることができ、
ｐＲ２＝（Ｒ−ＬＰＦ（Ｒ＋Ｇ＋Ｂ）／３）／２５５又はこれが負である場合には０式６
ここで、ＬＰＦは、低域フィルタを示す（例えば、評価されているピクセルを含む５×５ピクセルの正方形）。低域フィルタにおけるピクセルのＲ、Ｇ、及びＢの値の平均値は、このように、３で除算され、ピクセルの赤色値から減算される。０から１までの値を生成するためには、結果を最大値（この場合には２５５）で除算する。

ステップＳ１４Ａ及びステップ１４Ｂで指定された確率値ｐＲ１及びｐＲ２は、任意的には、ｐＲ１及びｐＲ２の積又は重み付けられた合計といった単一の確率値ｐＲに組み合わされて（サブステップＳ１４Ｃ）、最も予想される赤目領域上に集中するようにさらに別の処理を可能にする。例えば、組み合わされた赤み及び赤み／輝度確率Ｆは、ｐＲ１とｐＲ２の積として取得し、次いで、以下のように、負の値がゼロに設定された状態で、画像にわたり、Ｆの最大値（Ｆ_max）で除算することにより正規化することができる。
Ｆ＝ｐＲ１^*ｐＲ２式７
ｐＲ＝ｍａｘ（０，Ｆ／Ｆ_max）式８

式８は、このように、ｐＲ１及びｐＲ２の両方が大きい値を有する確率を強化し、ｐＲ１又はｐＲ２のいずれかが低い／ゼロである確率をゼロに減少させる／設定する。ｐＲは、このように、赤みがあり、さらに、明るいより赤みがあるという意味で、ピクセルが赤目にある確率として考慮することができる。確率ｐＲは、このように、ピクセルが、実際に赤目にあるピクセルと色及び輝度が同様である確率の近似を与える。一般に、ｐＲの値が高ければ高いほど、ピクセルが赤目にある傾向が高くなる。ｐＲ（或いはｐＲ２又はｐＲ１）は、次のステップ（サブステップＳ１４Ｅ）において計算された循環性の確率に対する入力を構成する。

サブステップＳ１４Ｅにおいては、循環性の確率値ｐＳＣを各々のピクセルに（又は、ｐＲ３＞０又はｐＲ３＞０．１といった、少なくとも、ｐＲ３の最小値をもつピクセルを含むと識別された領域１０のいずれかにおけるピクセルに）指定することができる。このサブステップの１つの側面は、各々の可能性のある赤目が循環性形状であり、その幅／高さの比率が１に近いことを保証することである。ピクセルの循環性の確率値ｐＳＣは、このように、ピクセルが配置された領域の循環性程度と関連される。一実施形態においては、確率値ｐＳＣは、上述のサブステップＳ１４Ｃにおいて求められたｐＲにおいて算出される。

例えば、図２に示すように、サブステップＳ１４Ｅにおいては、評価されているピクセルＣから選択された距離ｒだけ半径方向に離間されており、互いに等しい距離で弧状に離間された一組ＳのピクセルＰ１、Ｐ２、Ｐ３、Ｐ４などが選択される。この組は、４、６、８、またはいずれかの利便性ある数のピクセルを含むことができる。一組のピクセルにおけるピクセルＰ１、Ｐ２、Ｐ３、Ｐ４などの各々が、ほぼ等しいｐＲ確率を有する場合には、中央のピクセルＰが円形領域に存在する高い確率を有することを示唆する。このことは、ピクセルが配置される領域１２の周りで最も顕著である。ピクセルからさらに離れるように徐々に移動し、半径が増加する複数のピクセルの組を見ることにより、これらの組の各々に対する循環性の確率を算出することができ、最大確率、平均確率、又は、これらの１つ又はそれ以上を考慮する他の関数を求めることができる。一実施形態においては、半径ｒにおけるピクセルＮ₁，Ｎ₂，．．Ｎ_pの数（ピクセル計数）及び循環性の確率ｐＳＣｒ（Ｃ，ｒ）は中央ピクセルＣについて取得され、最大値としての半径ｒは、以下の式のゼロより少ない場合には切り捨てられ、
ｐＳＣ（Ｃ，ｒ）＝ｍａｘ（０，１／２^*ＰｉｘｅｌＣｏｕｎｔ^*ｐＲ（Ｃ）−［ｐＲ（Ｎ₁）＋．．．＋ｐＲ（Ｎ_p）］）式９
ここで、ＰｉｘｅｌＣｏｕｎｔは、Ｃの周りの円上で選択されたピクセルの数である。
例えば、中央のピクセルの４つのピクセルＮＳＥＷについて、式の値
ｐＳＣ（Ｃ，ｒ）＝１／２^*４^*ｐＲ（Ｃ）−［ｐＲ（Ｎ₁）＋．．．＋ｐＲ（Ｎ₄）］が求められる。

ｐＳＣ（Ｃ，ｒ）の値が、異なるｒの値について求められる（例えば、中央のピクセルから３、５、９、１３、１９、２３、２７のｒ値における７組のピクセル）。一実施形態においては、全ての考慮される半径ｐＳＣ（Ｃ）にわたるｐＳＣ（Ｃ，ｒ）の最大値が求められる。
ｐＳＣ（Ｃ）＝ｍａｘ（ｐＳＣｒ（Ｃ，ｒ））式１０

ｐＳＣ（Ｃ）の値が換算され、例えば、画像全体（ｐＳＣ（Ｃ）_max）にわたり、ｐＳＣ（Ｃ）をｐＳＣ（Ｃ）の最大値で除算することにより正規化されて、正規化された確率ｐＳＣが求められ、以下のように、０より少ない場合には切り捨てる。
ｐＳＣ＝ｍａｘ（０，ｐＳＣ（Ｃ）／（ｐＳＣ（Ｃ）_max）式１１

これは、高い確率ｐＳＣを、低い確率ｐＲをもつピクセルの円により取り囲まれた高い確率ｐＲを有するピクセルに指定する。

代替的な実施形態においては、ｐＳＣ（Ｃ，ｒ）の値を平均化して、ｐＳＣ（Ｃ）を求める。

４より少ない又は８より多いピクセルを各々の組Ｓについて選択することができ、選択されたピクセルは、等しく弧状に離間される必要がないことが理解されるであろう。さらに、異なる半径方向距離を選択することができ、例えば、ｒは１から１００ピクセルまでとすることができ（調査中の画像の解像度に応じるとすることができる）、並びに、異なる数のピクセルの組、例えば２から２０までのピクセルの組を選択することができ、一実施形態においては３から１０の組を選択できることが想定される。

循環性の他の測定がさらに想定される。一般に、循環性の確率ｐＳＣの判断は、実質的に円形の区域の中心の方向に向かい、周辺において高い局所的なコントラスト（すなわち、実質的に異なる色及び／又は明るさの周囲区域）を有するピクセルに、ゼロより大きく、１までとすることができる確率ｐＳＣを指定し、値は循環性が増加するに伴い、一般に増加する。周辺において高い局所的なコントラストを有する実質的に円形の区域の一部ではないピクセルには、ゼロ又はゼロに近い確率ｐＳＣが指定される。

一実施形態においては、ｐＳＣの値は、全てのピクセルについては求められない。例えば、ｐＳＣは、ｐＲが０より大きいか、最小しきい値より大きい、例えば、正規化された値０．１より大きいピクセルについてしか求められない。別の実施形態においては、同じｐＳＣの値は、測定されたピクセルにすぐ隣接するか又は密接に隣接する一組のピクセルに対して用いることができる。例えば、一組の３×３又は５×５のピクセルは、中央のピクセルのｐＳＣの値が指定される。このことは、精度を明らかに減少させることなく、算出時間をかなり減少させることができる。

したがって、一般に、指定された確率ｐＳＣは、ピクセルが一部を形成する赤み値ｐＲにより定義された領域の循環性の何らかの尺度を考慮する。確率は、さらに、直接又は間接的に、ピクセルの局所的なコントラストと、ピクセルが配置される区域が実質的に赤色ではない区域により境界される程度を考慮することができる。

サブステップＳ１４Ｅの出力は、画像における各々のピクセル（又は、ｐＲ３のしきい値を満たす領域におけるピクセル）についてのｐＳＣの指定された値の確率マップである（サブステップＳ１４Ｆ）。

任意的には、１つ又はそれ以上の試験が実行されて、赤目補正が適切であるかどうかを判断する（ステップＳ１５）。例えば、これらの試験は、ｐＳＣ（及び／又はｐＲ）の最小値を有する連続するピクセルの領域を評価して（サブステップＳ１５Ａ及びＳ１５Ｂ）、これらがサイズ及び／又は形状の基準を満たすかどうかを判断する。これらの試験は、偽陽性、すなわち、ピクセルがｐＳＣの最小値を有するが、例えば、画像のサイズに関して大きすぎるか或いは小さすぎるために、又は、細長すぎるか或いは小型さがないために、赤目ではなさそうな領域をなくすように設計される。これらの試験は、幾つかのピクセルを含む領域に適用され、領域が、全体として、赤目であると考慮されるべきであるかどうか、したがって、補正を保証するかどうかを示す。これらの試験は、特定の領域が、赤目として考慮から外されて、このために、その領域におけるピクセルにはどのような補正も適用されないことを可能にする。例えば、試験のいずれかが満たされない場合には、元の赤み値は保持され、ｐＲ１、ｐＲ２、及び／又はｐＲ３はゼロに設定される。一実施形態においては、領域は、赤目であると考慮されるためには、全ての試験を通過しなければならない。区域が、試験を通らなかった場合には、その区域内の全てのピクセルに対する確率はゼロに設定される（そして元の赤み値は保持される）。

これらの試験は、潜在的な赤目領域の異なる特性に関するものとすることができ、確率マップ（ｐＳＣ値）又は中間確率マップ（例えば、ｐＲ、ｐＲ１、又はｐＲ２）に適用することができる。図示実施形態においては、これらはｐＳＣに適用される。

図３に示すように、潜在的な赤目領域４０、４２、４４は、０より大きく、１より小さいｐＳＣのしきい値確率を上回る連結ピクセルの領域として識別される。しきい値確率は、例えば約０．０５から約０．２まで、例えば０．１とすることができる。このしきい値を満たす、幾つかの潜在的な赤目領域４０、４２、４４が画像５０に存在することができる。領域４０、４２、４４の各々において、領域４０、４２、４４の幅ｗ及び高さが求められる。以下の試験は、領域４０に関して述べられるが、試験は、各々の潜在的な領域４０、４２、４４（又は先行する試験に通る各々の領域）について実行されることが理解されるであろう。試験に通る潜在的な領域４０は、分類器ステップＳ１７のための可能性のある赤目と考慮される。

サイズ試験（サブステップＳ１５Ａ）は、領域４０が全体の画像５０に関して小さすぎないかどうかを判断する個々の領域の各々に対する第１のサイズ試験を含む。この試験においては、例えば、ピクセルの数により、領域の最大幅ｗ及び最大高さｈが求められる。試験は、
ｗ＞ｊ／１００^*ｓＭａｘ式１２
及び
ｈ＞ｋ／１００^*ｓＭａｘ式１３
である場合に満たされ、
ここで、ｓＭａｘはピクセルにおける画像５０の幅及び高さの最大値であり：ｓＭａｘ＝ｍａｘ（Ｗ，Ｈ）
ｊ及びｋは、個々に、例えば、約０．１から約０．５まで、例えば約０．２５とすることができ、例えば、
ｗ＞０．２５／１００^*ｓＭａｘ及び
ｈ＞０．２５／１００^*ｓＭａｘ
である。

領域４０がこの試験を満たさない場合、すなわち、画像に関して小さすぎる場合には、可能性のある赤目領域とは考慮されない。

個々の領域４０の各々に対する第２のサイズ試験は、この領域が全体の画像に関して大きすぎないかどうかを判断するものとすることができる。この試験は、
ｗ＜ｔ／１００^*ｓＭｉｎ式１４
及び
ｈ＜ｕ／１００^*ｓＭｉｎ式１５
である場合に満たされ、
ここで、ｓＭｉｎはピクセルにおける画像の幅Ｗ及び高さＨの最小値であり：ｓＭｉｎ＝ｍｉｎ（Ｗ，Ｈ）
ｔ及びｕは、個々に、例えば、約５から約２０まで、例えば、約１０とすることができ、例えば、
ｗ＜１０／１００^*ｓＭｉｎ及び
ｈ＜１０／１００^*ｓＭｉｎ
である。

領域４０が試験を満たさない場合、すなわち、画像に関して大きすぎる場合には、可能性のある赤目とは考慮されない。

形状試験（サブステップＳ１５Ｂ）は、個々の領域４０の各々に対する第１の形状試験を含んで、この領域が細長すぎないかどうか、すなわち、高さが幅より大幅に大きくないかどうか、及び、幅が高さより大幅に大きくないかどうかを求めることができる。この試験は、
ｗ＜ｙ^*ｈ式１６
及び
ｈ＜ｚ^*ｗ式１７
である場合に満たされ、

ここでｙ及びｚは、個々に、例えば、約１．５から約３までとすることができる。例えば、幅は高さの約２倍より少なく、高さは幅の約２倍より少ない：ｗ＜２^*ｈ；ｈ＜２^*ｗ。

領域がこの試験を満たさない場合、すなわち、幅又は高さのいずれかの方向において、細長すぎる場合には、可能性のある赤目とは考慮されない。

個々の領域４０の各々に対する第２の形状試験は、領域が相対的に小型であるかどうかを判断するものとすることができる。この試験は、
ｆｐｂ＞ｆ式１８
である場合に満たされ、ここで、ｆｐｂは領域４０に属する領域の長方形の境界ボックス５４内のピクセル５２の部分であり、ｆは約０．１から約０．３まで、例えば、約０．２５とすることができる。

領域４０がこの試験を満たさない場合、すなわち、分散しすぎている場合には、可能性のある赤目とは考慮されない。

ステップＳ１５の出力は、適用された試験の各々に通った、可能性のある赤目領域におけるピクセル以外の全てのピクセルに対して、確率値Ｐ＝０を指定する確率マップである。試験に通った、可能性のある赤目領域におけるピクセルに対しては、指定された確率値Ｐ＝ｐＲ２が保持される。これらの可能性のある赤目領域は、次いで、分類ステップ（ステップＳ１７）を受ける。

上述の４つの試験より少ない又は多い試験を適用することができ、領域は、全ての試験より少ない試験が満たされた場合、例えば、少なくとも、試験の２つ又は３つといった、試験の最小の数が満たされた場合には、可能性のある赤目と考慮できることが理解されるであろう。

付加的な試験を任意的に行って、さらに偽陽性を減少させることができる。例えば、第５の試験（Ｓ１５Ｃ）は、ステップＳ１５Ａ及びＢにおいて、潜在的な赤目（Ｐ＞０）として識別された領域が、高い赤み確率ｐＲ２又はｐＲ１を有するピクセルの領域と重なるかどうかを判断する。図３に示すように、この試験は、あらゆる残りの、潜在的な赤目領域４０、４２、４４（すなわち、上述のステップＳ１５Ａ及びＳ１５Ｂにおいて排除されなかった潜在的な赤目領域４０、４２、４４）及びｐＳＣからのそれらの確率を、ｐＲ２における対応する領域６０、６２、６４上にマッピングすることを含むことができる。このステップにおいては、赤目領域においては、サイズは、制限された要因によってのみ変化するべきであるため、サイズがｐＲ２とｐＳＣとの間で変化しすぎる領域が排除される。

このステップにおいては、ｐＳＣにおける各々の潜在的な赤目領域４０、４２、４４は、最初に、ｐＲ２における対応する領域６０、６２、６４のそれぞれにリンクされる。例えば、ｐＳＣにおける各々の領域４０、４２、４４に対して、ｐＲ２における全ての重なる領域６０、６２、６４、６６が求められる。ｐＲ２における領域６０、６２、６４、６６は、ｐＲ２が、ｐＳＣにおける領域に属するピクセルに指定した確率の平均値の約四分の一だけ上回るピクセルの連結領域として識別されるが、０．２から約０．３までといった四分の一より大きい又は小さい値もまた想定される。全ての重なり領域６０、６２、６４、６６から、次いで、最も重なるもの（ピクセルの数において）が対応する領域６０、６２、６４として選択される。

次いで、ｐＳＣにおける領域４０、４２、４４のサイズが、ｐＲ２における重なり領域６０、６２、６４のサイズのそれぞれと比較されて、これらの領域が同等のサイズであるかどうかを調べる。例えば、同等な領域６０、６０については、ピクセルの数における領域のサイズに関する以下の試験に通らなければならない。
ｎｐ１＞１／４^*ｎｐ２式１９
ここで、ｎｐ１は領域４０におけるピクセルの数（ｐＳＣ）であり、
ｎｐ２は対応する領域６０におけるピクセルの数（ｐＲ２）である。

同様の試験が各々の対応する領域の対、４２、６２及び４４、６４に対して実行される。

この第５の試験に通り、ｐＲ２領域６２、６４、６６が、可能性のある赤目領域の特性に関する望ましいサイズ及び形状の基準を満たす場合には（Ｓ１５Ａ、Ｓ１５Ｂ）、ｐＲ２領域６２、６４、６６は、その確率値Ｐ＝ｐＲ２と併せて保持される。このステップの後、確率マップは、Ｐ＝０の値を、サイズ及び形状の試験に通ったｐＲ２からの対応する赤目領域に対応する６２、６４、６６から選択された領域におけるもの以外の全てのピクセルに指定する。任意的には、ｐＲ２値は、次いで、例えば、画像全体にわたり、ｐＲ２の値をｐＲ２の最大値（ｐＲ２_max）で除算するように正規化することにより換算される。
Ｐ＝ｐＲ２／ｐＲ２_max 式２０
一例として、図３に示す画像においては、領域４０について、ｐＲ２における対応する領域６０が大きすぎ（領域４０におけるピクセル数＜領域６０におけるピクセル数の１／４）、したがって排除され、領域４０における全てのｐＲ２領域が０に設定され、すなわち、この領域においては、Ｐ＝０になる。領域４２においては、ｐＲ２における対応する領域６２は式１９を満たし、したがって、領域４２の確率は保持される。領域４４においては、対応する領域６４は領域４４と重なる最大の区域を有し、したがって領域４４は保持される。ｐＳｃの領域であり、ｐＲ２の領域６４と重なる領域６６は、領域６４より領域４４と重なる部分が少なく、したがって、領域４４に関する決定において役割を果たすことはない。

一実施形態においては、ステップＳ１５は完全に排除され、全ての潜在的な赤目領域４０、４２、４４は、ステップＳ１７において、可能性のある赤目領域と考慮される。

上述の赤目検出ステップ及び潜在的な赤目に適用される任意的な試験は、付加的な又はより少ないステップを含むことができ、ピクセルの色及び／又はピクセルが属する連続する領域のサイズ及び／又は形状の関数として、赤目にあるピクセルのピクセルに確率を指定するために、異なる方法を採用することができることが理解されるであろう。具体的には、付加的な分類ステップＳ１７が採用される場合には、上述の提示された制約の１つ又はそれ以上を除去する又は緩和することが可能である。分類ステップＳ１７は、これらの任意的な試験が識別するように設計されたエラーのほとんどを排除する。したがって、可能性のある赤目を見逃すことを少なくするために、特定の制約を緩和することが可能である。付加的な分類ステップは、エラーを減らし、補正を増加させるため、一般に、制約を設定する際に、十分に包括的にして、実際に赤目であるとすることができる可能性のある赤目が、分類ステップに先立つ試験によって間違って排除されないようにすることが好都合である。

分類モジュール２００及び分類の動作をここでより詳細に述べる。１つの側面においては、分類ステップＳ１７は、検出モジュールにより出力された、可能性のある赤目領域を囲むパッチを述べる。例示的な、可能性のある赤目領域４０は、色の関数として、赤目検出モジュール１０６により求められた、少なくとも、赤目にあるしきい値確率を有するピクセルを含み、この確率は、さらに、輝度及び循環性といった他の赤目関連の特徴を考慮に入れることができる。例えば、分類器に曝される、可能性のある赤目領域は、特定の最小値を上回る確率Ｐ＝ｐＲ２を有することができ、ステップＳ１５において、さらに別のスクリーニングを受けた可能性がある。

使用前に、分類器モジュール２００は、訓練ステップＳ１６において訓練されて、局所的な記述子が人の目に対応するパッチ（したがって、正確に検出された赤目）を認識し、これらを、検出モジュールが、可能性のある赤目として不正に考慮することがある顔の他の部分に対応するパッチから区別する一方、他方では背景の片と区別する。精度を向上させるためには、認識処理は、例えば、赤目を顔から区別し、赤目を背景から区別するといった多部類問題として取り扱うことができる。さらに、個々の訓練の組においてではなく、検出モジュール１０６／試験モジュール１０８の出力において分類器モジュールを訓練することにより、訓練は、最も関連のあるパッチに着目する。

ユーザ研究においては、顔のエラー（赤目として不正に識別され、したがって、補正が不適切であった区域）及び不十分に補正された実際の赤目の重要性は、背景補正エラー（赤目として不正に識別され、そのため補正が不適切であった背景区域）の重要性より高い重要性として格付けされる。具体的には、ユーザ研究は、大いに目に見える顔のエラー及び不十分に補正された赤目の重要性は、背景エラーの重要性よりはるかに高いことを示した。事実、ユーザは、多くの場合、背景の修正に気づくことさえない。その代わり、ユーザは、はるかに多く顔に着目し、具体的には、顔にある邪魔で不自然なアーチファクトに着目する一方、他方では、残っている赤目に着目する。おそらく、より幅広い範囲の特徴を有することができる背景より、顔は、目、鼻、口などの識別可能な特徴の組がより限定されているため、画像を見る場合に、顔／目に、より多く着目するというこのユーザの傾向は、顔のエラーを識別するユーザの自然な技能と組み合わされる。したがって、顔と背景との比較を異なって取り扱うことが適切である。

検出モジュール１０６の出力において分類期モジュール２００を訓練する（ステップＳ１６）ことは、最初の方法（ステップＳ１４及びＳ１５）により戻された真陽性（実際の赤目）と偽陽性（不正に識別された、可能性のある赤目）とを区別するように特別に適応された分類器モジュール２００を提供する。これらの２つの側面は、より精度の高い赤目補正をもたらす。

本発明の分類器モジュール２００なしで動作するシステム１００は、画像処理段階において赤目を検出し、補正するために、完全に自動で確率的な解決法として有効であるが、限られた数の場合において、システム１００は、邪魔なアーチファクトを人の顔、特に唇又は鼻の周りに導入することがあることが見出された。このことは、これらの領域が赤目と同様な配色を有するためであるとすることができる。さらに、幾つかの正しく検出された赤目について取得された確率値（例えばＰ＝ｐＲ２）が十分に高くないため、システムは、常に赤目補正の最適レベルに達するとは限らない。最後に、システムは、時々、例えば、画像の背景における小さい赤いスポットの赤みを減少させるといった、背景にアーチファクトを導入することがある。背景は、説明目的のために、人の顔に配置されていない全ての区域を含む。一般に、顔は、目（赤目以外の）鼻、口、耳、及びこれらの特徴と取り囲む皮膚領域を含むが、腕、脚、胴、足、及び手といった他の皮膚領域は除き、これらは背景として考慮される。人の服の上方に見える首部分は、さらに、顔の一部として考慮することができる。

提案された付加的な分類ステップＳ１７は、（より赤目の顔及び背景でありそうな）３つの異なる領域の部類に指定された赤目の確率を修正することを可能にする。結果として、このことは、
１）顔領域に導入されるアーチファクトの数及び強さの減少
２）正しく検出された赤目に適用される補正強さの増加
３）背景領域に導入されるアーチファクトの数及び強さの減少

例示的な実施形態は、目、顔（目以外の）、及び背景（顔及び目以外の全て）という３つの部類について述べられるが、さらに別の部類を提供できることが想定される。例えば、唇、鼻、及び他の顔のエラーといった典型的な顔のエラーを別々に分析して、さらに高い精度をもたらすことができるが、処理要求及び訓練要求が増加される。或いは、顔及び背景のエラーを含む共通の部類は訓練することができ、その出力は、顔対赤目及び顔対背景の分類器の出力と組み合わせることができる。別の実施形態においては、この共通の部類は、先行する２つの部類を置き換えて、パッチが赤目であるかどうかを決定するために単独で用いることができる。

１つの側面においては、分類ステップＳ１７は、（分類器により識別された）真陽性赤目領域に指定された確率を増加させ、（分類器により識別された）偽陽性、すなわち、人の顔又は背景に配置される誤って検出された赤目領域の確率を減少させることができる。

検出モジュールにより出力された、可能性のある赤目領域を囲むパッチの局所的な記述子が、分類ステップＳ１７で用いられる。分類器２００は、局所的な記述子が人の目に対応する（したがって、正しく検出された赤目に対応する）パッチを学習して認識し、検出モジュール１０６により誤って識別された顔の他の部分又は背景のそれぞれに対応する偽陽性パッチからこれらを区別するための処理能力を含む。

分類ステップＳ１７は、可能性のある赤目領域を囲むパッチの局所的な記述子に基づく。パッチの位置によれば、各々のパッチは、複数の部類の１つに属する。図示実施形態においては、赤目、顔、又は背景という３つの部類が採用される。機械学習手法がステップＳ１６で用いられて、分類器モジュール２００が、これらの３つの部類の対（赤目対顔及び赤目対背景）の間で区別するように訓練する。分類器モジュール２００の出力に応じて、可能性のある赤目領域の確率を調整することができる。例えば、確率（Ｐ＝ｐＲ２）は、顔より赤目でありそうで、背景より赤目でありそうであると分類されたパッチにおける、可能性のある赤目領域に対して上昇させることができ、分類器の１つにより、顔又は背景のいずれかとして高い信頼性をもって分類されたパッチに対して減少させることができる。バイナリ分類器の顔対赤目を有する信頼性は、赤目をもたない信頼性と等価であることに注目されたい。分類器がこれらの２つの群の一方に十分な信頼性を指定することができるパッチに対しては、確率は修正されないまま残るとすることができる。

分類器モジュール２００は、好適なソフトウェア又はハードウェア上で実施することができる処理部品を含む。図４においては、分類器は処理モジュール１０２の一部として示されるが、ここから物理的に離すこともできる。分類器モジュール２００は、存在する場合には、試験モジュール１０８から入力を受け取り、又は、検出モジュール１０６から直接入力を受け取る。修正された確率値（Ｐｃｌａｓｓ）といった分類器モジュールの出力は、補正モジュール１１０に入力される。

図５及び図６を参照すると、パッチ２１０、２１２、２１４、２１６が、各々の可能性のある赤目領域に指定される（ステップＳ１７Ａ）。具体的には、各々の可能性のある赤目は、それぞれのパッチの中央における境界ボックスの中央に配置されている。図５に示す画像５０においては、パッチ２１０及び２１２は、実際の赤目に対応する赤目領域４０、２１８を囲む。パッチ２１４は、画像の背景領域２２２であるブローチ上の円形のビーズ２２０を囲み、パッチ２１６は、画像の顔領域２２６上の唇の赤色領域２２４を囲む。図５は、例示的なものに過ぎず、より少ない又はより多い、可能性のある赤目、及び結果として、より少ない又はより多いパッチを所与の画像に識別できることが理解されるであろう。この段階においては、目的は、どのパッチ２１０、２１２、２１４、２１６が、実際の目に対応する高い確率を有し、したがって、補正ステップにおいて色補正される赤目を囲むかを識別することである。

パッチ２１０、２１２、２１４、２１６は、正方形又は長方形の形状であってもよいし、又は、他の好適な連続する形状のいずれかであってもよく、それぞれの可能性のある赤目領域４０、２１８、２２０、２２４を取り囲むことができる。一般に、パッチは互いに離間されているが、幾つかの場合においては、パッチは重なっていてもよいことが想定される。例えば、各々のパッチ２１０、２１２、２１４、２１６は、少なくとも、予想される赤目領域４０（図３）の境界ボックス５４ほど大きいとすることができる。一実施形態においては、検出モジュール１０６により出力された、可能性のある赤目領域４０、２１８、２２０、２２４の境界ボックスのｋ²倍のパッチ区域を採用することができ、ここでｋは、例えば、約２から約５までとすることができる。ｋ＝３においては、パッチ２１０、２１２は、一般に、図５に示すように、全体の目２２８、２３０、又は、その主な部分を囲む（可能性のある赤目４０、２１８が実際の目２２８、２３０の一部を形成する場合）。このことは、可能性のある赤目の各々を取り囲む特徴の考慮を可能にする。

ステップＳ１７Ｂにおいて、画像における各々のパッチ２１０、２１２、２１４、２１６は、例えばＭ×Ｍピクセルといった共通のサイズに換算することができる。Ｍは、例えば、約１０から４０までといった、約５から約１００までとすることができる。この差異換算は、異なる、可能性のある赤目をほぼ同じ解像度にすることを可能にする。サンプル試験においては、Ｍ＝３２が満足いく結果を与えた。Ｍのサイズは、ある程度、システムが実施されるシステム上のデバイスの処理能力に依存することができる。一般に、Ｍは、各々のサイズ変更されたピクセルの特徴を考慮する各々のパッチの局所的な記述子が、分類器モジュールが訓練された場合に、赤目と他の顔又は背景との間を区別することを可能にするのに十分に大きいものであるべきである。

局所的な記述子は、各々の再換算されたパッチ２１０、２１２、２１４に関して算出される（ステップＳ１７Ｃ）。局所的な記述子を用いて、可能性のある赤目領域を取り囲むパッチ２１０、２１２、２１４を表わす。局所的な記述子は、勾配志向ヒストグラム、ウェーブレット及びガボールフィルタ、又は例えば、Ｋ．Ｍｉｌｏｌａｊｃｚｎｋ及びＣ．Ｓｃｈｍｉｄの「ＡＰｅｒｆｏｒｍａｎｃｅＥｖａｌｕａｔｉｏｎｏｆＬｏｃａｌＤｅｓｃｒｉｐｔｏｅｒｓ」ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ、第２７巻、第１０号（２００５年１０月）に述べられるような差分記述子といった局所的な組織記述子とすることができる。

一実施形態においては、各々のパッチに関して取得される最初の局所的な組織記述子は、寸法Ｍ×Ｍ（図示実施形態においては３２×３２＝１０２４）の特徴ベクトルである。例えば、ベクトルは、Ｍ×Ｍ行列における各々のピクセルのグレー値（例えば、赤み（Ｄ）＝Ｒ−（Ｇ＋Ｂ）／２値）を含むことができる。分類器モジュールの訓練／適用前に、この寸法を主成分分析（ＰＣＡ）により減少させることができる。ＰＣＡは、サンプルの情報のほとんどを保持する相関していない変数の小さい組を識別することにより。データの組の寸法を減少させるのに有益な技術である。これは、主寸法を求め、これに沿って、データの変動が最大固有値に対応する共分散行列の固有ベクトルにより高度に定義される。ＰＣＡ技術は、例えば、Ｒ．Ａ．Ｃａｌｖｏ、Ｍ．Ｐａｒｔｒｉｄｇｅ、及びＭ．Ａ．Ｊａｂｒｉの「ＡＣｏｍｐａｒａｔｉｖｅＳｔｕｄｙｏｆＰｒｉｎｃｉｐａＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓＴｅｃｈｎｉｑｕｅｓ」ＡｕｓｔｒａｌｉａｎＣｏｎｆｅｒｅｎｃｅｉｎＮｅｕｒａｌＮｅｔｗｏｒｋｓ、ブリスベン（１９９８年）、及び、Ｆ．ＤｅｌａＴｏｒｒｅ及びＭＢｌａｃｋの「ＲｏｂｕｓｔＰｒｉｎｃｉｐａＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓｆｏｒＣｏｍｐｕｔｅｒＶｉｓｉｏｎ」ＩｎｔｅｒｎａｌｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｎｐｕｔｅｒＶｉｓｉｏｎ（２００１）に述べられている。

分類器モジュール２００は、訓練ステップＳ１６において顔に対して赤目を分類するように訓練された第１の分類器２３０と、背景に対して赤目を分類するように訓練された第２の分類器２３２という２つの１対１の分類器を含むことができる。実際の赤目に向かった場合、両方の分類器は、「赤目」を出力するように訓練される。顔のエラーが提示された場合、第１の分類器は、「顔」を出力するように訓練されるが、第２の分類器は、赤目と顔との間を区別するようには訓練されていないため、「目」又は「背景」を出力することになる。一実施形態においては、分類器は、信頼性レベルを出力し、高い信頼性レベルは、分類が正しいという分類器の大きい確実性レベルと関連される。したがって、例えば、赤目対顔といった顔エラーの場合には、分類器は、顔エラーをＦａｃｅとして分類し、その決定に対して高いレベルを指定するように訓練される。背景分類器は、顔エラーが提示された場合には、その判断をするように特に訓練されていないため、顔エラーをＲｅｄＥｙｅ又はＢａｃｋｇｒｏｕｎｄとして識別することになるが、その決定に対して、相対的に低いレベルの信頼性を指定する。こうした場合においては、分類器は、Ｕｎｄｅｃｉｄｅｄを出力するように訓練することができる。しきい値の信頼性レベルは、Ｆａｃｅ及びＢａｃｋｇｒｏｕｎｄの決定に対して確立することができ、この上の出力は（ＲｅｄＥｙｅ対Ｆａｃｅ分類器の場合には）Ｆａｃｅであり、又はＢａｃｋｇｒｏｕｎｄ分類器の場合にはＢａｃｋｇｒｏｕｎｄであり、この下の出力はＵｎｄｅｃｉｄｅｄである。

ステップＳ１７Ｄにおいて、分類器は、それらの局所的な記述子に基づいて、パッチを分類する。一実施形態においては、２つの１対１の分類器の出力が以下のように組み合わされる。両方の分類器２３０、２３２がパッチ２１０、２１２、２１４をＲｅｄＥｙｅとして分類した場合には、ＲｅｄＥｙｅとして取り扱われる（ステップＳ１７Ｅ）。少なくとも一方が（高い信頼性レベルで）パッチをＮｏｎ−Ｅｙｅ、すなわち、Ｆａｃｅ又はＢａｃｋｇｒｏｕｎｄとして分類した場合には、ＮｏｔＲｅｄＥｙｅとして取り扱われる。２つのＵｎｄｅｃｉｄｅｄの決定は、Ｕｎｄｅｃｉｄｅｄとして取り扱われる。さらに、異なる信頼性レベルの重み付けに応じて、他の機構も考えることができる。

ＲｅｄＥｙｅとして分類されたパッチに対するステップＳ１７Ｅにおいては、それぞれのパッチの、可能性のある赤目領域内のピクセルの確率値（例えば、Ｐ＝ｐＲ２）が、第１のパラメータＰ_REを適用することにより増加される。ＮｏｔＲｅｄＥｙｅとして分類されたパッチに対しては、それぞれのパッチの、可能性のある赤目領域内のピクセルの確率値（例えば、Ｐ＝ｐＲ２）が、第２のパラメータ設定Ｐ_NREを適用することにより、減少される。Ｕｎｄｅｃｉｄｅｄとして分類されたパッチの、可能性のある赤目領域におけるピクセルの確率値は、変更されないまま残ることができる。

或いは、確率値は、Ｕｎｄｅｃｉｄｅｄ、又は、（両方の分類器の応答を組み合わせることにより）赤目、顔、又は背景を有することに対する信頼性が最高であるかどうかの関数として、第３の新しいパラメータ設定Ｐ_UND-RE、Ｐ_UND-F、Ｐ_UND-Bとして分類されたパラメータ設定Ｐ_UNDを用いて修正することができる。これらのパラメータは、ユーザのプリファレンスに基づいて異なることができる。しかし、これらは両方共、第１及び第２のパラメータより少ない修正をＰにもたらす。

別の代替的手法は、第２のパラメータ設定Ｐ_NREの代わりに、顔又は背景を有することに対する信頼性が最高であるかどうかの関数として、２つのパラメータ設定Ｐ_F及びＰ_Bを用いることである。一実施形態においては、ピクセルの確率値（例えば、Ｐ＝ｐＲ２）の減少は、背景より顔に対しての方が大きい（Ｐ_F＞Ｐ_B）。

ステップＳ１７Ｅにおいて、分類モジュール２００が赤目と考慮するパッチに対応するピクセルの確率Ｐは、１に近い確率値を取得するように上昇させられ、赤目ではないと考慮されるパッチの確率は、０に近い値まで低下させられる。１つの側面においては、分類モジュール２００が未決定と考慮するパッチに関連する確率値は、変更されないまま残る。

ここで訓練ステップＳ１６を述べる。分類器モジュールは、検出モジュール／試験モジュールにより、以前に、そのように識別された、可能性のある赤目を含む一群の訓練画像を入力される（ステップＳ１６Ａ）。可能性のある赤目の各々は、一群の観測器により評価され、実際の赤目、顔エラー、及び背景エラーという３つの部類の１つに配置される。各々の可能性のある赤目のこれらの分類は、分類器モジュールに入力される（ステップＳ１６Ｂ）。各々の可能性のある赤目に対する局所的な記述子が、次いで、算出される（ステップＳ１６Ｃ）。赤目対顔の分類器２３０は、既知の顔エラーのベクトルから区別する実際の赤目ベクトルの特徴を識別し、これらを用いて、不明の、可能性のあるエラーを赤目でありそうである又は顔エラーでありそうであるとして指定する方法を提供する（ステップＳ１６Ｄ）。同様に、赤目対背景の分類器２３２は、既知の背景エラーのベクトルから区別する実際の赤目ベクトルの特徴を識別し、これらを用いて、不明の、可能性のあるエラーを赤目でありそうである又は背景エラーでありそうであるとして指定する方法を提供する。特徴は、同様なグレーレベルをもつ連続するピクセル群の形状、サイズ、相対的な位置、及び／又は配向を含むことができる。区別できるベクトルの特徴を識別するように、２つの分類器２３０、２３２を訓練するための種々の方法が想定される。１つの実施においては、線形支持ベクトル機械（ＳＶＭ）学習技術を用いて、各々の分類器を訓練する（ステップＳ１６Ｄ）。しかし、神経回路網、線形判別分析、ｋ最隣接、ガウス混合モデル又は他の機械学習技術といった他の機械学習技術を用いてもよい。

こうした技術例は、Ｃ．Ｊ．Ｃ．Ｂｕｒｇｅの「ＡＴｕｔｏｒｉａｌｏｎＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅｓｆｏｒＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ」ＤａｔａＭｉｎｉｎｇａｎｄＫｎｏｗｌｅｄｇｅＤｉｓｃｏｖｅｒｙ第２巻、第２号、１２１−１６７ページ、（ＫｌｕｗｅｒＡｃａｄｅｍｉｃＰｕｂｌｉｓｈｅｒｓ、１９９８年）、Ｗ．Ｄｕｃｈ、Ｋ．Ｇｒｕｄｚｉｎｓｋｉ、及びＧ．Ｈ．Ｆ．Ｄｉｅｒｃｋｓｅｎの「ＭｉｎｉｍａｌＤｉｓｔａｎｃｅＮｅｕｒａｌＭｅｔｈｏｄｓ」Ｐｒｏｃ．Ｉ．Ｊ．ＣＮＮ、１２９９−１３０４ページ（１９９８年）、及び”．Ｓｕｃｈ，Ｒ．Ａｄａｍｃｚａｋ、及びＧ．Ｈ．Ｆ．Ｄｉｅｒｃｋｓｅｎの「Ｄｉｓｔａｎｃｅ−ｂａｓｅｄＭｕｌｔｉｌａｙｅｒＰｅｒｃｅｐｔｉｏｎｓ」ＣＩＭＣＡ７５−８０ページ（Ｅｄ．Ｍ．Ｍｏｈａｍｍａｄｉａｎ、ＩＯＳＰｒｅｓｓ、アムステルダム）、Ｐｉｅｒｓ、Ａ．Ｍ．の「ＲｏｂｕｓｔＬｉｎｅａｒＤｉｓｃｒｉｍｉｎａｎｔＡｎａｌｙｓｉｓａｎｄｔｈｅＰｒｏｊｅｃｔｉｏｎＰｕｒｓｕｉｔＡｐｐｒｏａｃｈ，ＰｒａｃｔｉｃａｌＡｓｐｅｃｔｓ，ＤｅｖｅｌｏｐｍｅｎｔｓｉｎＲｏｂｕｓｔＳｔａｔｓｉｔｉｃｓ」ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＲｏｂｕｓｔＳｔａｔｉｓｔｉｃｓハイデルベルク２００１年、３１７−３２９ページ（Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ）、Ｓ．ＳｉｎｇｈＪ．Ｆ．Ｈａｄｄｏｎ、及びＭ．Ｍａｒｋｏｕ「ＮｅａｒｅｓｔＮｅｉｇｈｂｏｕｒＳｔｒａｔｅｇｉｅｓｆｏｒＩｍａｇｅＵｎｄｅｒｓｔａｎｄｉｎｇ」Ｐｒｏｃ．ＷｏｒｋｓｈｏｐｏｎＡｄｖａｎｃｅｄＣｏｎｃｅｐｔｓｆｏｒＩｎｔｅｌｌｉｇｅｎｔＶｉｓｉｏｎ、Ｓｙｓｔｅｍｓ（ＡＣＩＶＳ’９９）、バーデンバーデン、（１９９９年、８月２から７日）、ＲｉｃｈａｒｄＪ．Ｐｏｎｖｉｎｅｌｌｉ、ＭｉｃｈａｅｌＴ．Ｊｏｈｎｓｏｎ、ＡｎｄｒｅｗＣ．Ｌｉｎｄｇｒｅｎ、及びＪｉｎｊｉｎＹｅの「ＴｉｍｅＳｅｒｉｅｓＣｌａｓｓｉｆｉｃａｔｉｏｎｕｓｉｎｇＧａｕｓｓｉａｎＭｉｘｕｒｅＭｏｄｅｌｓｏｆＲｅｃｏｎｓｔｒｕｃｔｅｄＰｈａｓｅＳｐａｃｅｓ」ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＫｎｏｗｌｅｄｇｅａｎｄＤａｔａＥｎｇｉｎｅｅｒｉｎｇ、第１６巻、第６号、７７９−７８３ページ（２００４年６月）。

分類器２３０、２３２は、訓練後、Ｎ次元空間におけるモデルといったモデルを含んで、ここでは、赤目に対応するパッチが境界空間にあり、顔エラー又は背景エラーのそれぞれに対応するＮ次元空間の残りから区別される。いずれの新しいパッチもＮ次元空間と比較されて、これらが境界された赤目空間内に入り、したがって、赤目でありそうなものとして考慮されるかどうかを判断する。

ピクセルのグレーレベルは、Ｍ×Ｍ行列における各々のピクセルを述べる１つの方法であるが、他のピクセル特徴を用いて、局所的な記述子パッチ及び分類器の種類を生成することができる。異なる特徴は、例えば、上で引用されたＭｉｋｏｌａｊｃｚｙｋにおいて述べられた異なる組織情報を、例えば、ＪｏｈｎＲ．Ｓｍｉｔｈ及びＳｈｉ−ＦｕＣｈａｎｇの「ＶｉｓｕａｌＳＥＥｋ：ＡＦｕｌｌｙＡｕｔｏｍａｔｅｄＣｏｎｔｅｎｔ−ＢａｓｅｄＩｍａｇｅＱｕｅｒｙＳｙｓｔｅｍ」ＡＣＭＭｕｌｔｉｍｅｄｉａ（１９９６年）で述べられる異なる色情報と組み合わせることができる。

ステップＳ１６Ｅにおいて、修正パラメータが分類器モジュール２００に入力される。分類ステップの結果として、確率（例えば、Ｐ＝ｐＲ２）が修正される程度を求める際に、ユーザのプリファレンスを用いることができる。例えば、訓練ステップＳ１６Ｆにおいては、パラメータ設定Ｐ_REを、分類器により指定された、可能性のある赤目領域に、顔エラーであるより赤目でありそうで（Ｐ_Red _eye＞Ｐ_Face）、さらに、背景エラーであるより赤目でありそうである（Ｐ_Red _eye＞Ｐ_Background）として指定することができる。別のパラメータ設定Ｐ_NREを、分類器が赤目ではないと判断した領域、すなわち、顔エラーである可能性が高い（Ｐ_Faceが１に近いか又は所与のしきい値より大きい）領域、又は、背景エラー（Ｐ_Backgroundが１に近いか又は所与のしきい値より大きい）領域に指定することができる。パラメータ設定は、次いで、ステップＳ１７Ｅにおいて、分類器モジュールにより確率Ｐに適用される。

任意的には、訓練の組において補正された画像は、一組の観測器により再検査され、必要に応じて、修正することができる。パラメータ設定Ｐ_RE及びＰ_NREの異なる値の範囲を適用することができる。観測器は、画像を再検査し、補正された画像が補正されていない画像に対して好ましい画像を識別する。これらの試験から好ましい補正された画像を最ももたらしそうなパラメータ設定Ｐ_RE及びＰ_NREが識別される（訓練ステップＳ１６Ｆ）。パラメータ設定を改良する他の方法を考えることができる。一般に、パラメータ設定Ｐ_REは、検出モジュールにより出力される確率値を増加させ、パラメータ設定Ｐ_NREは、検出モジュールにより出力される確率値を減少させる。例えば、確率Ｐ（例えば、ｐＲ２）は、適切なパラメータ設定により修正することができ、すなわち、
Ｐ_Red _eye＞Ｐ_Face及びＰ_Red _eye＞Ｐ_Backgroundである場合には、Ｐ_Class＝Ｐ_REにより修正されたＰ
Ｐ_Face又はＰ_Backgroundがしきい値の信頼性レベルを上回る場合には、Ｐ_Class＝Ｐ_NREにより修正されたＰ
Ｐ_Face＞Ｐ_Backgroundである場合にはＰ_Class＝Ｐ又はＰ_Fにより修正されたＰ

であり、ここで、Ｐ_Classは、分類器により出力された確率値である。パラメータ設定Ｐ_F及びＰ_Bは、両方共、Ｐを変更しないで設定することができる。すなわち、これらのパラメータ設定は、観測器のプリファレンスに基づいて異なる値を有することができるが、いずれにしても、Ｐ_RE及びＰ_NREの両方が与えるより少ない修正をＰにもたらす。パラメータ設定は、乗数である必要はないが、Ｐを増加させる（Ｐ_REの場合）又はＰを減少させる（Ｐ_NREの場合）他の関数であってよいことが理解されるべきである。一般に、パラメータ設定Ｐ_REが適用された場合には、

であり、パラメータ設定Ｐ_NREが適用された場合には、

である。

用途に応じて、異なるパラメータ又は動作選択点を選択することができる。例えば、修正される画像が顔を含まなさそうであると知っている場合、又は、フラッシュが用いられない場合には、パラメータ設定は、少ない赤目を補正するように調整することができる。すなわち、分類器は、局所的な記述子が、可能性のある領域が顔又は背景エラーではないという高い確度を示した場合においてのみ、赤目対顔又は背景を示すように訓練することができる。

或いは、個々の分類器の出力及びそれらの信頼性尺度のより複雑な組み合わせ（例えば、重み付け平均）を考慮することができる。このことは、検出ステップ（Ｓ１４）の確率マップと良好に組み合わさる信頼性尺度をもたらし、全体のシステムのソフトな（確率的な）特性を維持することを可能にする。さらに、分類器は、背景における間違った検出より、顔における街上がった検出に対して厳しく罰するように、個々に調整することができる。一実施形態においては、パラメータ設定は、パッチベクトルが赤目である各々の分類器２３０、２３２の信頼性の関数として調整される。

訓練ステップの目的は、各々の分類器２３０、２３２が、実際の赤目に対して「赤目」（又は重み付け機構が用いられる場合には高い赤目の確率）を正しく指定し、赤目ではない部分に「赤目ではない」（又は低い赤目の確率）を正しく指定し、任意的には、未決定の赤目（又は０．５に近い組み合わされた確率をもつもの）の数を最小にするように訓練することである。分類器は、依然として、ある率のエラーを有することがあるが、これらは、この方法が、分類器モジュール２００なしで実行された場合より低いことが理解されるであろう。例えば、分類器２３０、２３２は、パッチ２１０、２１２が赤目（赤い領域４０、２１６）を含むものとして正しく識別し、パッチ２１４、２１６といった顔２２６又は背景２２におけるパッチを無視するように訓練される。

方法に戻ると、次のステップ（ステップＳ１８）は、確率Ｐ＝＞０のＰ_Classを有する各々のピクセルに対する赤目補正を求めることである。用いられる確率Ｐは、分類ステップＳ１７により修正されるとすることができる。

一実施形態においては、確率Ｐが高ければ高いほど、ピクセルに適用される補正が大きくなる。補正は、ピクセルの青色成分及び緑色成分を増加させること、及び／又は、ピクセルの赤色成分を減少させることを含むことができる。ピクセルが特定のしきい値より上の確率Ｐを有する別の実施形態においては、ピクセルの赤色成分がゼロに設定される。

赤目補正が行われるピクセルに対しては、補正は、例えば、当該ピクセルの赤色成分、緑色成分、及び青色成分、並びに、ピクセルが赤目ピクセルであるという確率について、ピクセルの色を考慮することができる。このことは、画像の彩度が補正に影響を与え、周囲区域の彩度をより反映する傾向をもつ補正をもたらすことを可能にする。

例えば、赤色が減少された値ｒｅｄＲｅｄｕｃｅｄが、緑色値及び青色値の関数であるピクセルに指定される。例えば、赤色が減少された値は、緑色および青色の平均である。
ｒｅｄＲｅｄｕｃｅｄ＝（Ｇ＋Ｂ）／２式２１

Ｇ値及びＢ値は同じまま保持される。したがって、例示的なピクセルにおいては、Ｒ＝２２０、Ｇ＝１３０、Ｂ＝９０、ｒｅｄＲｅｄｕｃｅ＝１１００である。赤目であるピクセルの確率Ｐを用いて、画像における最終的な赤色値に対する元の赤色値及び赤色が減少された値の相対的な寄与を求める。Ｐの値が高ければ高いほど、赤色が減少された値に置かれる重み付けが大きくなる。例えば、補正された赤色値Ｒｃｏｒｒｅｃｔｅｄは、以下の式から求めることができる。
Ｒｃｏｒｒｅｃｔｅｄ＝（１−Ｐ）^*ｏｒｉｇｉｎａｌ＋Ｐ^*（ｒｅｄＲｅｄｕｃｅｄ）式２２

したがって、Ｐ＝１／４に対して、図示ピクセルにおいては、
Ｒｃｏｒｒｅｃｔｅｄ＝３／４^*２２０＋１／４^*１１０＝１９２．５＝１９３

赤色値は、このように、最終画像において、２２０から約１９３まで減少され、元の緑色値及び青色値は保持される。したがって、修正されたピクセルは、Ｒ＝１９３、Ｇ＝１３０、Ｂ＝９０である。

別の実施形態においては、赤色値は、Ｐ値をパワーに対して上昇させることにより調整される。ピクセルの修正は、このように、以下の式に基づくものとすることができ、
Ｒｃｏｒｒｅｃｔｅｄ＝（１−Ｐ＾（１／ｄｅｇｒｅｅ））^*Ｒｏｒｉｇｉｎａｌ＋Ｐ＾（１／ｄｅｇｒｅｅ）^*ｒｅｄＲｅｄｕｃｅｄ式２３
ここで、Ｒｏｒｉｇｉｎａｌは入力画像の赤色値であり、ｒｅｄＲｅｄｕｃｅｄはＲの赤色が減少された値であり、ｄｅｇｒｅｅは、元の値及びｒｅｄＲｅｄｕｃｅｄ値のそれぞれの重み付けを制御するアルゴリズム・パラメータである。１から約４までの整数値の程度は、一般に、良好な性能を与える。上述の式２２においては、程度は１である。さらに、Ｐ＾（１／ｄｅｇｒｅｅ）は、Ｐ自体ではなく、確率であるとして考慮することができ、したがって、式は、
Ｒｃｏｒｒｅｃｔｅｄ＝（１−Ｐ））^*Ｒｏｒｉｇｉｎａｌ＋Ｐ^*ｒｅｄＲｅｄｕｃｅｄ式２４

評価されている画像が、元の画像の低解像度の画像である場合には、Ｐ値が求められた低解像度の画像のピクセルに対応する元の画像におけるピクセルの全てが、この最後にステップにおいて、元の画像における各々の対応するピクセルに対するｒｅｄＲｅｄｕｃｅｄ対を計算し、Ｐの同じ対を適用して、これらの対応するピクセルの各々のＲｃｏｒｒｅｃｔｅｄを求めることにより、補正される。

一実施形態においては、ユーザ入力は、ユーザが赤目補正された画像を視認して、その補正を受け入れるか又は拒否することを可能にする（サブステップＳ１８Ｃ）。

確率を求め、補正を適用するための種々のステップは、自動的に画像を評価し、赤目補正を適用するアルゴリズムとしてソフトウェアに組み込むことができる。

分類モジュールは、より大きい補正を適用することにより、実際の赤目の補正を視覚的に改善するものとして示された。ブローチ２１８におけるように、分類器なしでもたらされることがある背景エラーは、分類器モジュールにより大幅に減少させることができる。分類器モジュールは、さらに、特に、鼻及び唇におけるエラーを排除することにより、顔にある赤目ではないものに対する補正のエラーを減少させる。

画像データベースにおいて例示的な方法を評価する場合には、観測器が望ましくないと考慮したほとんど全てのエラーが排除されることが見出された。さらに、多大な数の場合において、赤目補正が、実質的に改善された。

本方法は、比較的小さいトレイニング・セットを用いる場合であっても、考慮されている領域内のサイズ及びオリエンテーションの変動に対してロバストである。

本発明の分類ステップは、確率的な方法と完全に統合される。この出力は、イエス／ノー決定としてではなく、可能性のある領域に指定された最初の確率を適応させるように用いられる。最後に、ピクセルには確率が指定されるが、ここでは可能性のある値が０又は１だけではなく、全ての中間値が等しく可能である。対照的に、既存の方法は赤目であるか又はそうではないかという困難な決定で終了する。

画像における赤目の自動補正のための例示的な方法のステップを示すフロー図である。画像の一部及び循環性の確率が指定されるピクセルを取り囲む画像及び領域の概略図である。赤目の検出における検討区域を示す画像の概略図である。図１のステップを実行するためのデジタルデバイスの概略図である。可能性のある赤目領域を取り囲むパッチを識別する画像の概略図である。図１の方法の例示的な分類器訓練サブステップ及び分類サブステップを示すフロー図である。

符号の説明

１００：デジタル画像処理デバイス
１０２：処理モジュール
１０４：解像度選択モジュール
１０６：検出モジュール
１０８：試験モジュール
１１０：補正モジュール
２００：分類器モジュール

Claims

画像を補正するためのシステムであって
デジタル画像における複数のピクセルの各ピクセルについて、該ピクセルが赤目内にある確率を該ピクセルの色の関数として割り当てる検出モジュールと、
該検出モジュールにより少なくとも赤目内にあるしきい値確率を割り当てられた連続するピクセルの領域を含む前記画像のパッチを分類する分類器モジュールであって、赤目を含む確度を有するパッチを、顔エラー及び背景エラーのうちの少なくとも一方を含む確度を有するパッチから区別する分類器モジュールと、
該分類器モジュールが赤目を含む確度を有するとして識別したパッチ内にある連続するピクセルの領域におけるピクセルに適用する補正を割り当てる補正モジュールと、
を具備し、
前記分類器モジュールが、
顔エラーを含む確率を有するパッチから、赤目を含む確率を有するパッチを区別する第１分類器と、
背景エラーを含む確率を有するパッチから、赤目を含む確率を有するパッチを区別する第２分類器と、
を含む、
ことを特徴とするシステム。
コンピュータ処理部を用いて、デジタル画像の複数のピクセルの各ピクセルについて、該ピクセルが赤目にある確率を該ピクセルの色の関数として該ピクセルに割り当てるステップと、
前記コンピュータ処理部により少なくとも赤目内にあるしきい値確率を割り当てられた連続するピクセルの領域を含む前記画像のパッチに関して、実際の赤目という部類、顔エラーという部類及び背景エラーという部類を含む３つの部類のうちのいずれか１つの部類に割り当てられた候補赤目を用いて、赤目を含む確率を有するパッチを、顔エラーを含む確率を有するパッチ及び背景エラーを含む確率を有するパッチから区別するように訓練された分類器モジュールを用いて、前記パッチを分類するステップと、
前記分類器モジュールにより赤目を含む確率を有するとして識別された前記画像のパッチに関して、前記連続するピクセルの領域におけるピクセルに適用する補正を決定するステップと、
を含むことを特徴とする画像処理方法。