JP4019049B2 - デジタル画像における赤目特徴の検出および修正 - Google Patents

Description

本発明は、デジタル画像における赤目特徴の検出および修正に関するものである。

写真における赤目現象はよく知られている。フラッシュが人（あるいは動物）を照らすために使われる時、その光は直接、被写体の網膜からカメラに反射される。これによって被写体の目は、写真が表示されるもしくは印刷される時、赤くなる。

写真はデジタル画像として記録され、通常は画素配列として記録されることが多くなっている。一般に各画素は２４ビットの値で表される。各画素の色は赤、緑、および青の強さを表す３つの８ビット値として、２４ビットでコード化される。あるいは、画素配列は、２４ビットの値が、「色相」「彩度」「明度」を表す３つの８ビット値からなるように変換されることもできる。色相は色を規定する「円形」の基準を提供する。０は赤を表し、値が増加するにつれて色が緑および青と通過していき、２５５で赤に戻ってくる。「彩度」は色相によって決定された色の強さの基準（０〜２５５）を提供する。「明度」は光量の基準と見ることができる。「純粋な」色は、明度の値が黒（０）から白（２５５）までの中間となる。たとえば、純粋な赤（赤の強さが２５５であり、緑と青の強さが０である）は、色相が０、明度が１２８、かつ彩度が２５５である。明度が２５５であれば、「白」色となる。本明細書を通じて「色相」、「彩度」、および「明度」の値が与えられるとき、これらの値は本段落において定義された基準を指し示している。

デジタル画像の操作によって赤目現象を軽減することが可能である。この処理を行うソフトウェアは良く知られており、一般に、赤目特徴を有する画素に関して、赤の量が減少するように、言い換えればより赤の少ない色相となるように変えることによって行われる。通常、上記画素には、黒またはダークグレイが代わりに残る。

大部分の赤目減少ソフトウェアは、修正されるべき各赤目特徴の中心と半径とを必要とする。この情報を提供する最も簡単な方法は、ユーザが各赤目特徴の中心画素を選択し赤い部分の半径を指し示すことである。このような処理は赤目特徴のために行われ、それゆえ上記の操作は画像の残りに対して影響を与えない。しかしながら、このことは、著しい入力をユーザに要求する。また、各赤目特徴の中心を正確に指摘し、正しい半径を選択することは難しい。他の一般的な方法は、赤いエリアを囲む枠を描くものである。この枠は長方形であり、上記特徴に正確な印を付けることはより一層困難となる。

それゆえ、赤目の減少を適用すべきデジタル画像の領域を自動的に特定し、その結果、ユーザの介在なしかあるいは最低限の介在によって、必要なときにだけ赤目の減少を適用することが必要である。

本発明によって、典型的な赤目特徴が単に赤い画素の領域ではないことが認識される。また、典型的な赤目特徴は、通常、目の正面からのフラッシュの反射光によって引き起こされた明るい領域を含んでいる。これらの明るい領域は「ハイライト」として知られている。もし、画像内のハイライトを突き止めることができれば、赤目を自動的に特定することが一層容易になる。ハイライトは、通常、赤目特徴の中心付近に位置するが、中心から外れて位置したり、端部に位置したりすることがある。

以下の記述では、画素の行への言及は、画素の列を含むことを意図しており、行に沿っての左右の移動への言及は、列に沿っての上下の移動を含んでいることが理解される。また、「左」、「右」、「上」および「下」の定義は、用いられる座標系に完全に依存する。

本発明の一態様に従うと、デジタル画像の赤目特徴を検出する方法が提供される。該方法は、
前記画像のハイライト領域を特定する工程と、
更なる選択基準に基づいて、各ハイライト領域が赤目特徴の一部に対応するかどうかを判断する工程とを含んでおり、
前記ハイライト領域は、色相が略赤色であり、周囲の領域における画素よりも彩度および明度の値が高い画素を有している。

上記の内容における「赤い」色相は、色相が約２１０以上または約１０以下であることを意味しても良い。

これによる利点は、ハイライト領域とその周囲の領域との間の彩度／明度のコントラストは、赤目特徴の赤色部分とその周囲の皮膚色調との間の色（即ち「色相」）のコントラストよりもはるかに目立つということである。さらに、例えばＪＰＥＧなどの多数の画像圧縮形式に関して、色は低解像度で符号化される。赤目を検出するために彩度、明度、および色相を共に使用することにより、赤目特徴に対応する領域を特定することが一層容易となる。

全てのハイライトが、被写体の目の中央における多数の画素が示す、明確な、特定容易な、明るいスポットであるとは限らない。或る場合では、特にカメラから被写体まで或る程度の距離があるとき、ハイライトは、少数の画素のみであるかもしれないし、１画素よりも小さいかもしれない。このような場合、ハイライトの白さによって、瞳孔の赤色が希釈される。しかしながら、前記ハイライトにおける特徴的な彩度および明度のプロファイルを探索することがまだ可能である。

本発明の別の態様に従うと、デジタル画像の赤目特徴を検出する方法が提供される。該方法は、
前記画像の瞳孔領域を特定する工程と、
更なる選択基準に基づいて、各瞳孔領域が赤目特徴の一部に対応するかどうかを判断する工程とを含んでおり、
前記瞳孔領域は、
前記瞳孔領域の第１のエッジに隣接する第１の彩度ピークであって、前記瞳孔領域のすぐ外側の画素よりも高い彩度である１または複数の画素を備える第１の彩度ピークと、
前記瞳孔領域の第２のエッジに隣接する第２の彩度ピークであって、前記瞳孔領域のすぐ外側の画素よりも高い彩度である１または複数の画素を備える第２の彩度ピークと、
第１および第２の彩度ピークの間にある彩度トラフであって、第１および第２の彩度ピークの画素よりも低い彩度である１または複数の画素を備える彩度トラフとを備えている。

前記瞳孔領域を特定する工程は、第１の彩度ピーク内にて彩度が最も高い第１のピーク画素と、第２の彩度ピーク内にて彩度が最も高い第２のピーク画素との間にある全ての画素の彩度が、第１および第２のピーク画素の彩度のうち高い方の彩度よりも低いことを確認する工程を含んでもよい。また、上記工程は、前記瞳孔領域の直ぐ外側にある画素の彩度の値が所定値（望ましくは約５０）以下であることを確認する工程を含んでもよい。

瞳孔領域における彩度のプロファイルを特定すると、該プロファイルが赤目特徴に対応するか否かを知るためのさらなるチェックが行われてもよい。前記瞳孔領域を特定する工程は、第１の彩度ピーク内における画素の彩度の値が明度の値よりも高いことを確認する工程と、第２の彩度ピーク内における画素の彩度の値が明度の値よりも高いことを確認する工程とを含むことが望ましい。また、前記瞳孔領域の直ぐ外側にある画素の彩度の値が明度の値よりも低いことを確認することが望ましい。また、前記彩度トラフ内における画素の彩度の値が明度の値よりも低いこと、および／または、前記彩度トラフ内における画素の明度の値が所定値（望ましくは約１００）以上であることを確認してもよい。最後のチェックは、前記彩度トラフ内における画素の色相の値が、約２２０以上または約１０以下であることを確認する工程を含んでもよい。

ハイライトのプロファイルの幾つかは、２つの段階で特定することができる。本発明の別の態様に従うと、デジタル画像の赤目特徴を検出する方法が提供される。該方法は、所定の彩度プロファイルを有する画素の行を探索し、該行内で選択された画素の明度の値が所定の条件を満たすことを確認することにより、前記画像における瞳孔領域を特定する工程と、更なる選択基準に基づいて、各瞳孔領域が赤目特徴の一部に対応するかどうかを判断する工程とを含んでいる。

さらに他のプロファイルは、画素の明度から直ちに特定することができる。本発明のさらに別の態様に従うと、デジタル画像の赤目特徴を検出する方法が提供される。該方法は、
前記画像の瞳孔領域を特定する工程と、
更なる選択基準に基づいて、各瞳孔領域が赤目特徴の一部に対応するかどうかを判断する工程とを含んでおり、
瞳孔領域は、画素の行を含んでおり、前記画素の行は、
自身のすぐ左側の画素よりも明度の値が低い第１の画素と、
自身のすぐ左側の画素よりも明度の値が高い第２の画素と、
自身のすぐ左側の画素よりも明度の値が低い第３の画素と、
自身のすぐ左側の画素よりも明度の値が高い第４の画素とを備えており、
第１、第２、第３、および第４の画素は、前記画素の行に沿って左側から探索するとき、上記の順番で特定される。

第１の画素は、自身のすぐ左側の画素よりも明度の値が約２０以上低く、第２の画素は、自身のすぐ左側の画素よりも明度の値が約３０以上高く、第３の画素は、自身のすぐ左側の画素よりも明度の値が約３０以上低く、かつ、第４の画素は、自身のすぐ左側の画素よりも明度の値が約２０以上高いことが望ましい。

さらに望ましい実施形態では、前記瞳孔領域における前記画素の行は、それぞれが、自身のすぐ左側の画素に比べて、彩度の値が約３０以上異なる２以上の画素を含んでおり、前記２以上の画素における或る画素は、自身の左側に隣り合う画素よりも彩度の値が高く、前記２以上の画素における別の画素は、自身の左側に隣り合う画素よりも彩度の値が低い。第１の画素および第４の画素の中間にある画素は、色相が約２２０以上または約１０以下であることが望ましい。

特定されたハイライト領域または瞳孔領域のそれぞれに関して、１つの画素を参照画素として特定することは、好都合である。

特定された多数のハイライト領域および／または瞳孔領域は、赤目に由来するかもしれないが、上記領域が他の特徴によって発生することがあり得る。この場合、赤目特徴の減少が実行されるべきではない。したがって、さらなる選択基準を適用することが望ましい。この選択基準は、参照画素の周りに、訂正可能な画素を含む孤立した領域が存在するかどうかを判断する工程を含んでいる。或る画素が訂正可能な画素として分類される場合は、該画素に赤目訂正を適用可能である、色相、彩度、および／または明度の条件を満足する場合である。また、前記訂正可能な画素を含む孤立した領域が略円形であるかどうかを判断することが望ましい。

或る画素が訂正可能な画素として分類される場合は、色相が約２２０以上または約１０以下である場合、彩度が約８０以上である場合、および／または、明度が約２００以下である場合であることが望ましい。

前記さらなる選択基準は、上述の特定されたハイライト領域および瞳孔領域を探索することによって検出された特徴にのみ適用されるのではなく、任意の特徴に適用し得ることが認識される。例えば、ユーザは、赤目特徴を見つけたと考えている画像上の位置を特定してもよい。したがって、本発明の別の態様に従うと、デジタル画像の赤目特徴を検出する方法が提供される。該方法は、前記デジタル画像における参照画素の周りに赤目特徴が存在するかどうかを判断する工程を含んでおり、該工程は、参照画素の周りに、訂正可能な画素を含む孤立した略円形の領域が存在するかどうかを判断することにより行われており、ここで、或る画素を訂正可能な画素として分類することは、該画素の色相が約２２０以上または約１０以下であり、彩度が約８０以上であり、かつ明度が約２００以下である場合に行われる。

前記訂正可能な画素を含む孤立した領域の範囲を特定することが望ましい。また、前記訂正可能な画素を含む孤立した領域の範囲に直径が対応する円を特定して、該円内に収まる画素の所定以上の割合（望ましくは５０％以上の割合）が訂正可能な画素として分類される場合にのみ、赤目特徴が存在すると判断してもよい。

前記参照画素の周りの画素配列における各画素に点数を割り当てることが望ましい。或る画素の前記点数は、該画素とその直ぐ周囲の画素とを含む画素の集合における訂正可能な画素の数から決定される。

また、端部画素を特定してもよい。該端部画素は、前記参照画素から開始し、画素列に沿って探索することにより見つかる、点数が所定のしきい値よりも低い最初の画素である。前記参照画素の点数が前記所定のしきい値よりも低い場合、点数が前記所定のしきい値よりも高い画素が見つかるまで、端部画素の探索は開始する必要がない。

端部画素の位置特定の後に、２番目の端部画素を特定してもよい。この特定は、前記端部画素から、隣接する行の隣接する画素に移動し、次に、
前記隣接する画素の点数が前記しきい値よりも低い場合に、点数が前記しきい値よりも高い前記２番目の端部画素に到達するまで、前記隣接する行に沿って、前記参照画素を含む列の方向へ移動し、
前記隣接する画素の点数が前記しきい値よりも高い場合に、点数が前記しきい値よりも低い前記２番目の端部画素に到達するまで、前記隣接する行に沿って、前記参照画素を含む列から離れる方向へ移動することにより行われる。

それから、前記孤立した領域の左側の端部および右側の端部を特定するために、続く行の続く端部画素を特定し続け、前記左側の端部および右側の端部が一致するか、或いは前記画素配列の端部に到達するまで行われることが望ましい。また、前記画素配列の端部に到達した場合、孤立した領域が見つからなかったと判断してもよい。

また、前記孤立した領域内の１つの画素を少なくとも含んでいる、最も上の行および最も下の行、ならびに最も左の列および最も右の列とを特定し、次に、前記最も上の行および最も下の行の距離と、前記最も左の列および最も右の列の距離とのうちの長い方に対応する直径を有し、かつ、前記最も上の行および最も下の行の中間と、前記最も左の列および最も右の列の中間とに中心を有する円を特定することが望ましい。次に、前記円内に収まる画素の所定の割合よりも多い割合が訂正可能な画素として分類される場合にのみ、赤目特徴が存在すると判断してもよい。前記円の中心の画素は前記赤目特徴の中心の画素として定義されることが望ましい。

異なる参照画素から開始して、同一の孤立した領域が特定され得るという事実を参酌するために、実質的に同じである２以上の孤立した領域が、異なる参照画素から特定される場合、前記２以上の孤立した領域の中の１つを赤目特徴としては考慮に入れなくてもよい。

被写体の目の周りの領域は、ほぼ常に皮膚からなることから、訂正可能な画素を含む孤立した領域を含んで取り囲む顔の領域が、皮膚色調に対応する色相、彩度、および/または明度を有する画素を、所定の割合よりも多く含んでいるかどうかを判断することが望ましい。また、前記顔の領域は、前記孤立した領域の範囲の約３倍となるように取られることが望ましい。

前記顔の領域における約７０％以上の画素が、約２２０以上または約３０以下の色相を有しており、かつ前記顔の領域における約７０％以上の画素が、１６０以下の彩度を有する場合に、赤目特徴と特定することが望ましい。

別の態様に従うと、デジタル画像の処理方法が提供される。該方法は、上述の方法の何れかを用いて赤目特徴を検出する工程と、検出された赤目特徴に訂正の適用を行う工程とを含んでいる。これは、赤目特徴にある幾つかまたは全ての画素の彩度を減少する工程を含んでもよい。

前記幾つかまたは全ての画素の彩度を減少する工程は、或る画素の彩度が、第１のレベルよりも高い第２レベルよりも上である場合、第１のレベルに減少する工程を含んでもよい。

前記赤目特徴を訂正する工程の代わりに、または該工程に追加して、前記赤目特徴にある幾つかまたは全ての画素の明度を減少する工程を含んでもよい。

上述のように点数を割り当てた、訂正可能な画素を含む孤立した領域を有する赤目特徴が検出される場合、上記赤目特徴を訂正する工程は、前記訂正可能な画素を含む孤立した領域における各画素の明度および／または彩度を、該画素の点数に関連する因子だけ変化する工程とを含んでもよい。或いは、円が特定される場合には、該円における各画素の明度および／または彩度を、該画素の点数に関連する因子だけ減少してもよい。

また、本発明は、上述の方法の何れかが適用されたデジタル画像と、上述の方法の何れかを実行するように構成される装置と、コンピュータ上で実行するときに上述の方法の何れかを実行するように構成されるプログラムを記憶したコンピュータ記憶媒体とを提供する。

本発明の望ましい実施形態の幾つかを、例示のみのために、添付の図面を参照して説明する。

赤目特徴を含む、含まないにかかわらず、可能な限り効率的にデジタル画像の上記特徴を訂正する処理を行うとき、上記特徴が存在するか否かを判断し、上記特徴を見つけ出して、赤目の訂正を適用するフィルターを適用することは有用である。このとき、ユーザの介在なしで行われることが望ましい。

最も簡単な形態では、自動赤目フィルターは非常にわかりやすい方法で動作することができる。赤目特徴は、フラッシュが使われた写真においてだけ発生し得る。このため、フラッシュを点けなければ赤目軽減は適用する必要がない。しかしながら、フラッシュが使われた場合、またはフラッシュが使われた否かが不確かである場合には、上記画像から赤目と類似する特徴を検索すべきである。赤目特徴が発見されると訂正される。このプロセスは図１において示される。

図１のプロセスを実施するアルゴリズムは、上記画像が赤目を含み得るか否かを判断する素早いテスト、すなわちフラッシュは点けられたかというテストで始まる。この質問に対する回答が１００％確実に「いいえ」であるならば、アルゴリズムは終了できる。フラッシュが点けられなかったならば、上記画像は赤目を含み得ない。フラッシュが点けられなかったことを簡単に知ることは、多数の画像に対し非常に少ない処理作業でフィルター処理を行うことを可能にする。

フラッシュが点けられなかったことを確実に判断できない場合の任意の画像に関しては、以下で述べる赤目検出モジュールを用いてより詳細な検討を行わなくてはならない。

赤目特徴が検出されない場合には、アルゴリズムは画像を修正する必要なしに終えることができる。しかし、赤目特徴が発見される場合には、それぞれ以下で述べる赤目修正モジュールを用いて訂正されなければならない。

赤目修正モジュールが各赤目特徴の処理を完了すると、直ちにアルゴリズムは終了する。

アルゴリズムからの出力は、全ての検出された赤目発生を訂正した画像である。この画像が赤目を含まないならば、出力は入力画像とほぼ同じように見える画像である。上記出力は、赤目に非常によく似た画像上の特徴をアルゴリズムが検出して「修正」したものであるかもしれない。しかし、ユーザがこれらの間違った「修正」に気が付きそうにない。

赤目特徴を検出するためのアルゴリズムは、各赤目特徴の中のポイントとおよび、該ポイントの周囲の赤色領域の範囲をつきとめるものである。

図２は典型的な赤目特徴１を示す概要図である。特徴１の中心では、白色またはほぼ白色に近い「ハイライト」２があり、ハイライト２の周りを被写体の瞳孔に対応する領域３が取り囲んでいる。赤目がないときは、領域３は通常黒色であろう。しかし赤目特徴のときは、領域３は赤みがかった色相をとる。これは、ダルグロー（dull glow）からブライトレッド（bright red）までの範囲となり得る。瞳孔領域３を囲むのは虹彩４であり、虹彩４の一部または全部は瞳孔領域から幾分レッドグロー（red glow）となって現れるかもしれない。

赤目特徴の出現は、カメラの被写体からの距離など、多数の要因による。このことは、赤目特徴の形態と、特にハイライトの様子とに一定のバリエーションをもたらす。実際には、赤目特徴とそのハイライトとは、３つのカテゴリのうち１つに分類される 最初のカテゴリは、「タイプ１」として示される。これは、ポートレートやクローズアップ写真において通常見られるように、赤目特徴を示す目が大きいときに発生する。典型的な例では、ポートレートやクローズアップ写真である。ハイライト２は、１画素以上の幅をもち、赤い瞳孔３と明確に分離された特徴である。典型的なタイプ１のハイライトに関する彩度および明度の様子は、図３に示される。

タイプ２のハイライトは、グループ写真において通常見られるように、赤目特徴を示す目が小さい、またはカメラから遠いときに発生する。ハイライト２は画素より小さい。従って瞳孔の赤色が、ハイライトの白色の小領域と混ざって、瞳孔の領域がピンク色に変わり、濃い赤色ではなくなる。典型的なタイプ２のハイライトに関する彩度及び明度のふるまいは図４に示される。

タイプ３のハイライトは、タイプ２のハイライトと類似した状況の元で発生するが、彩度には現れない。タイプ２のハイライトは、被写体がカメラから遠いグループ写真において通常見られる。典型的なタイプ３のハイライトにおける明度の様子は図５に示される。

赤目検出のアルゴリズムは、赤目特徴のハイライト２に対応する画像中の領域を探索することによって開始する。最初に、各画素が色相、彩度、および明度の値によって表されるように画像を変換する。次に、アルゴリズムはタイプ１、タイプ２、およびタイプ３に対応する領域を探す。どのようなタイプあれ、全てのハイライトの探索は１回のパスでなされることができる。しかしながら、まずタイプ１のハイライトに関する探索を行い、つぎにタイプ２のハイライトに関する別の探索を行い、そして最後にタイプ３のハイライトに関する最後の検索を行うことが、コンピュータ上ではより簡単である。

赤目特徴のタイプ１のハイライトにおける画素の大部分は非常に高い彩度を持つ。そして顔写真以外で、この彩度を持つ領域を見つけることはまれである。同様に大部分のタイプ１のハイライトは、高い明度の値を持つだろう。図３は典型的なタイプ１のハイライトにおいて、１行の画素に関する彩度１０および明度１１のプロファイルを示す。高い彩度および明度を持つ、プロファイルの中心における領域は、ハイライト領域１２に対応する。この例における瞳孔１３は、ハイライト領域１２の外側の領域を含んでおり、該領域の画素は、ハイライトの画素よりも低い明度の値を持つ。また、ハイライト領域１２の彩度および明度の値が、単に高いだけでなく、すぐ外を取り囲む領域の彩度および明度の値より著しく高いことに留意することは重要である。瞳孔領域１３からハイライト領域１２までの彩度の変化は、とても急である。

タイプ１のハイライトの検出アルゴリズムは、画像内において各行の画素をスキャンし、明るく高い彩度の画素の小領域を見つけ出す。スキャンの間、各画素は（その左側に）先行する近接画素と比較される。上記アルゴリズムは、行の開始からスキャンを行うと、彩度と明度との急激な増加を探して、ハイライト開始位置をマークする。これは「上昇エッジ（rising edge）」として知られている。一度上昇エッジが確認されたならば、その画素と後に続く画素（それらが同じように高い彩度と明度をもつと推測する）が、急激な彩度の下降に達するまで記録され、ハイライトの他のエッジがマークされる。これは「下降エッジ（falling edge）」として知られている。下降エッジの後、上記アルゴリズムは、上昇エッジを探して次のハイライト開始位置をマークするステップに戻る。 典型的なアルゴリズムは、以下の場合に上昇エッジが検出されるように構成されていても良い。
１．その画素は、高い彩度である（彩度＞１２８）。
２．その画素は、前の画素より著しく高い彩度である（この画素の彩度−前の画素の彩度＞６４）。
３．その画素は、高い明度である（明度＞１２８）。
４．その画素は、「赤い」色相である（２１０≦彩度≦２５５、または０≦彩度≦１０）。
上昇エッジは調査された画素に位置する。下降エッジは以下のとき検出される。
・その画素が、前の画素よりも著しく彩度が減少している（前の画素の彩度−この画素の彩度＞６４）。下降エッジは調査されている画素の前の画素に位置する。 追加チェックは、下降エッジを探している間に行われる。所定数（たとえば１０）の画素の調査で下降エッジを発見できなかった場合、アルゴリズムは降下エッジの探索を断念する。この前提は、赤目特徴のハイライトが取りうる最大のサイズが存在することにある。なお、上記最大サイズは、写真のサイズや、内容の特性に依存して変化することは明らかである（たとえば、同じ解像度であっても、グループ写真の方が個人のポートレートよりもハイライトが小さいであろう）。上記アルゴリズムは、写真のサイズと、ハイライトが取り得るサイズ比率（通常、写真の最大の大きさの０．２５％〜１％の間）とに基づいて、最大のハイライト幅を動的に決定してもよい。

ハイライトが首尾よく検出されるならば、上昇エッジ、下降エッジ、および中央の画素と同等のものが記録される。

上記アルゴリズムは、次のとおりである。

赤目特徴１に対するこのアルゴリズムの結果は、図６に示される。図示の特徴では、単一のハイライト２が存在するので、上記アルゴリズムは、ハイライトが覆う行ごとに、１つの上昇エッジ６、１つの下降エッジ７、および１つの中央画素８を記録するだろう。ハイライト２は５行を覆っている。従って５つの中央ピクセル８が記録される。図６において、水平の線は、上昇エッジの画素から下降エッジの画素まで伸びている。円印は中央画素８の位置を示す。

タイプ１のハイライトの検出、およびハイライトの各行における中央画素の特定の後に、検出アルゴリズムはタイプ２のハイライトに移る。

タイプ２のハイライトを検出するには、必ず瞳孔特徴を用いた手助けが必要となる。図４は、彩度２０、明度２１、典型的なタイプ２のハイライトにおいて、１行の画素に関する彩度２０および明度２１のプロファイルを示している。上記ハイライトは、彩度と明度とのチャンネル（channel）で、非常に明確なパターンを有しており、このパターンは、交互に配置した正弦波および余弦波と同様の外観をグラフに与える。

赤い瞳孔はその周囲よりも彩度が高いので、瞳孔２３の範囲は、彩度の曲線から容易に認識される。また、白いハイライト２２の彩度への影響も明白である。ハイライトは、明度の曲線上でピーク２２となり、彩度の低下を伴うことが認識できる。これはハイライトが白ではなくてピンクであり、かつピンクは彩度が高くないことが理由である。ハイライト２２が１画素未満であるため、ピンク化が生じる。すなわち、少量の白色が周囲の赤色とまざってピンクになる。

注目すべき別の項目は、瞳孔２３の端部で発生する明度の増加である。このことは、瞳孔の暗さの方が周囲の明度よりも勝ることに起因しているが、このタイプの赤目特徴の明確な特徴である。

タイプ２ハイライトの検出は、２段階で行われる。最初に、彩度のチャンネルを用いて瞳孔を特定する。次に、赤目特徴の一部であることを確認するために明度のチャンネルをチェックする。タイプ１のハイライトに関して、各行の画素をスキャンするときに、或る彩度の条件を満足する画素のセットの探索を行う。図７は、図４に示された赤目特徴における彩度２０および明度２１のプロファイルと、彩度の曲線２０上で検出された画素「ａ」２４、「ｂ」２５、「ｃ」２６、「ｄ」２７、「ｅ」２８、「ｆ」２９とを示す。

特定される最初の特徴は、画素「ｂ」２５と画素「ｃ」２６との間で彩度が低下することである。上記アルゴリズムは、或る画素２５が彩度≧１００であり、かつ次の画素２６が最初の画素２５よりも低い彩度を持つような、隣接する一対の画素を探す。これは、あまり計算上の要求を行うものではない。なぜなら、２つの隣接する点と単純な比較とを含むからである。画素「ｃ」は、更に右側により低い彩度を持つ画素２６として定義される。画素「ｃ」の位置２６を確立することで、画素「ｂ」の位置は、必然的に判明し、「ｃ」に先行する画素２５である。

画素「ｂ」は、上記２つの画素の中でより重要である。画素「ｂ」は、彩度の曲線における第１のピークであり、ここで、もしハイライトが赤目特徴の一部であれば、明度に関して対応する谷間が発見されるであろう。

次に、上記アルゴリズムは、「ｂ」２５から左に進んで、「彩度の値」≦５０を持つ画素２４に出会うまで、彩度の値が低下し続けていることを確かめる。この場合、そのような彩度を持つ第１の画素２４は「ａ」で示される。次に、「ｃ」２６から右に進むと、「ａ」２４よりも低い彩度を有する画素２９が見つかることにより、画素「ｆ」が発見される。このとき、赤目特徴の範囲が判明する。

そして、上記アルゴリズムは、「ｆ」２９から列に沿って左方へ進むと、左側に隣接する画素２７より高い彩度をもつ画素２８が見つかる。左側の隣接画素２７は画素「ｄ」で示され、更に高い彩度の画素２８は画素「ｅ」で示される。画素「ｄ」は、「ｃ」と似ており、画素「ｄ」唯一の目的は、彩度のピーク（画素「ｅ」）の位置を突き止めることにある。

最終のチェックは、「ｂ」および「ｅ」の間の全ての画素が、彩度に関して最も高いピークよりも低いことを確かめるために行われる。

上記の条件が何れもが満たされないならば、アルゴリズムがタイプ２のハイライトを見つけられなかったと判断して、行のスキャンに戻り、タイプ２のハイライトの画素「ｂ」および画素「ｃ」に対応する新たな一対の画素を調べるということを認識するだろう。上記の条件は、以下のように要約される。

全ての条件が満たされたならば、図７における彩度の曲線と同じ特徴が検出される。次に、上記検出アルゴリズムは、図８に示されような、画素「ａ」２４、画素「ｂ」２５、画素「ｅ」２８、および画素「ｆ」２９と、画素「ａ」２４および画素「ｆ」２９の中間の画素「ｇ」として規定される上記特徴の中央画素３５とに関して、彩度と明度とを比較する。また、画素「ｇ」の色相が考慮される。上記特徴がタイプ２のハイライトに対応する場合には、次の条件を満たさなければならない。

色相チャンネルがここで初めて使われることが注目されるだろう。上記特徴の中央にある画素３５の色相は、スペクトル上の赤い領域のどこかに存在しなければならない。また、この画素は、ピンク色（アルゴリズムが特定を図るハイライトの色）となるので、比較的高い明度と、中間〜低い彩度とを持っているであろう。

画素の行がタイプ２のハイライトのプロファイルと一致することを確定すれば直ちに、中央画素３５は、上述のタイプ１のハイライトに関する中央点の特定と同様に、図６で示されるように、上記画素の行に関するハイライトの中央点８として特定される。

それから、検出アルゴリズムは、タイプ３のハイライトに移る。図５は、瞳孔３３のおおよそ中央に位置する、典型的なタイプ３のハイライト３２に関して、画素の行における明度のプロファイル３１を示す。上記ハイライトは、常に中央にあるとは限らない。上記ハイライトは、中央から何れかの方向へのオフセットが存在してもよい。しかし、上記オフセットのサイズは、一般に非常に小さい（大半は約１０画素）。なぜなら、上記特徴そのものはさほど大きくはないからである。

タイプ３のハイライトは、赤目の非常に一般的な特徴に基づくものである。また、上記特徴は、図３および図４で示されたタイプ１およびタイプ２のハイライトにおいても見受けられる。これは、明度のチャンネル３１における「Ｗ」字形の曲線である。中央の頂部（ピーク）はハイライト１２、２２、３２であり、２つの谷部（トラフ）はおおむね瞳孔１３、２３、３３の端部に対応する。このタイプの特徴は、検索が簡単なことである一方で、多数の画像に高い頻度で発生し、その多くは赤目が原因ではないことである。

タイプ３ハイライトを検出する方法は、タイプ２ハイライトを見つけるために使うものよりも、簡単で迅速である。上記ハイライトは、明度曲線３１において特徴的な「Ｗ」字形を検出することによって特定される。これは、図９において示されるように、明度の一次導関数の離散類似性（discrete analogue）３４を調査することによって実行される。この曲線上の各点は、現在の画素の明度からすぐ左の画素の明度を減算することによって測定される。

上記アルゴリズムは、一次導関数（差分）の点を調査する行に沿って探す。上記アルゴリズムが、個別に各点を分析するよりむしろ、以下の４つの条件を満たす画素を以下の順番で発見することを要求する。

これらの条件を満たす画素が隣接でしていなければならないという制限はない。すなわち、アルゴリズムは、−２０以下の差の値をもつ画素３６、続いて起こる３０以上の差の値を持つ画素３７、続いて−３０以下の差の値を持つ画素３８、続いて２０以下の値を持つ画素３９を検索する。上記パターンに関して最大の許容長さがある。一例では画像サイズ及びその他の適切な要因の作用によるが、上記長さは４０以下である必要がある。 追加条件は、１番目の画素３６および最後の画素３９の間に、彩度チャンネルの２つの「大きな」変化（１つ以上の正、および１以上の負）がなくてはならないことである。「大きな」変化は、≧30と定義されてもよい。

最終的に、中央点（図９における１番目の画素３６と最後の画素３９との中間のもの）は、２２０≦色相≦２５５または０≦色相≦１０の「赤い」色相を持っていなければならない。

図６において示される中央画素８は、１番目の画素３６および最後の画素３９間の中ほどの中央点と定義される。

タイプ１、タイプ２、およびタイプ３のハイライトの全てで検出された中央画素８の全ての位置は、潜在的に赤目によって起こされたハイライトのリスト内に記録される。次に、各ハイライトにおける中央画素８の数は、１まで減少させる。図６において示されるように、ハイライトが覆う行ごとに中央画素８が存在する。これは、ハイライトが５回検出されることを事実上意味しており、それゆえ本当に必要な回数よりも多くの手順を必要とする。また、同じハイライトをタイプ１、タイプ２、またはタイプ３のハイライトとして個別に検出することも可能であり、したがって同じハイライトを各行で３回検出することが可能であることが認識される。それゆえ、ただ１つの中央点８がそれぞれのハイライト領域２に関して記録されるように、リスト内の点の数を減少することが望ましい。

更に、上記のアルゴリズムによって特定された全てのハイライトは、赤目特徴によって必ずしも形成されるとは限らない。他のもの、たとえば物体の隅部や縁部からの反射光によって形成されることもありうる。従って、次の手順では、リストからそのようなハイライトを除去しようと試みる。そしてその結果、赤目軽減は実際に赤目特徴ではない特徴に関して実行されない。

間違った特徴の対照となる赤目特徴を認識するために適用可能な多くの基準がある。１つは、狭いハイライト、すなわち実質的に線状であるハイライトにおける長い糸状の中央画素についてチェックすることである。これらは、例えば隅部で反射する光によって形成されるかもしれないが、赤目によっては決して形成されない。

長い糸状の画素に関する上記チェックは、中央画素を１まで減らす処理と組み合わせられてもよい。同時にこれらの動作を行うアルゴリズムは、「糸状」すなわち「鎖状」の中央画素を特定するハイライトを探索してもよい。もし、ハイライトの上昇エッジ６と下降エッジ７との間を最大幅で分割された糸状の中央画素８（図６を参照）の長さとして規定されるアスペクト比が、所定の数より大きく、かつ、糸状の画素が所定の長さをよりも長いならば、上記中央画素８の全てはハイライトのリストから除去される。或いは、糸状の中央画素のみがハイライトのリストにおいて保持される。

言い換えれば、上記アルゴリズムは２つのタスクを行う。
・おおむね垂直な鎖状のハイライトを、ハイライトのリストから取り除く。この場合、上記鎖のアスペクト比は所定値よりも大きい。
・おおむね垂直な鎖状のハイライトの中から、垂直方向に中央のハイライトを除く全てを取り除く。この場合、上記鎖のアスペクト比は所定値以下である。 タスクの結合を行うアルゴリズムは、以下で示される。

「鎖の最小の高さ」の適切なしきい値は３であり、「鎖の最小のアスペクト比」の適切なしきい値も３である。しかしながら、これらのしきい値は、具体的な画像の要求に適するために変え得るということは理解される。

ここまで赤目の可能性のあるものの中央を検出して「目」当たり点の数を１に減少させるようにしたので、次の段階では中心点を囲む赤い領域の存在および大きさを決定する。この段階で、全ての「中央の」点が赤い領域内にあるが、必ずしも全ての赤い領域が赤目によって引き起こされるとは限らないことは明らかである事に留意すべきである。

赤目特徴の非常に一般的な定義は、孤立した、概ね円形の領域の、赤みがかった画素である。ほとんど全ての場合では、赤目特徴はハイライト（または明度の高いその他の領域）を含んでおり、ハイライトは上述のように検出される。処理の次の段階は、与えられたハイライトを囲む赤い領域の存在と範囲とを決定することである。ハイライトは必ずしも赤い領域の中央にある必要はなく、端部にあってもよいことに留意すべきである。更に考慮されることは、赤い領域がないかもしれないということ、もしくは赤い領域が更に大きな特徴の一部であるので、赤い領域に検出可能な境界がないかもしれないということである。これらの条件のいずれかは、ハイライトが赤目特徴の一部として分類されないであろう事を意味する。

図１０は、領域検出のための基本技術を例示し、考慮されるべき更なる問題を強調している。ハイライト２を囲む全ての画素は、訂正可能または訂正不能として分類される。図１０ａは赤目特徴４１の写真を示しており、図１０ｂは上記特徴における訂正可能な画素４３と訂正不能な画素４４とを示している。以下の条件が満たされるならば、ピクセルは「訂正可能である」と定義される。

図１０ｂは、ハイライト４２を囲む訂正可能な画素４３の、おおまかな円形領域をはっきりと示している。ハイライト領域４２の内部にほぼ「穴」状の訂正不能な画素がある。従って、上記領域を検出するアルゴリズムは、これに対処することができなければならない。

訂正可能な領域の存在と範囲とを決定するときに４つのフェイズがある。すなわち、
１．ハイライトを囲む画素の訂正可能性を決定する。
２．名目上の点数または重みを全ての画素に割り当てる。
３．大きさを決定するために、訂正可能な領域の端部を発見する。
４．その領域がおおよそ円形であるかどうかを決定する。

フェイズ１において、図１１に示されるように２次元配列が構成され、それぞれのセルは、１または０の何れかを含んでおり、これは、対応する画素の訂正可能性を示している。ハイライトの中心として以前に特定された画素８は、上記配列の中心（図１１の第１３列、第１３行）にある。配列は、瞳孔の全範囲が中に含まれる程に十分な大きさでなければならない。タイプ２およびタイプ３のハイライトを検出するときに、瞳孔の幅が特定され、それゆえ、該幅に所定の係数を乗算することにより、上記配列の範囲を決定できる。瞳孔の範囲がまだ分からないのであれば、上記配列は、例えば完全な画像に関連する所定のサイズを越えていなければならない。

フェイズ２において、第２の配列は最初のものと同じ大きさで生成される。第２の配列は、訂正可能な画素配列においてそれぞれの画素に点数を含んでいる。図１２において示されるように、画素５０、５１の点数は、点数を付ける画素を中心とする３×３の四角形における訂正可能な画素の数である。図１２ａにおいて、中心の画素５０は３の点数を持つ。図１２ｂにおいて、中心の画素５１は６の点数を持つ。

点数を付けることは２つの理由で助けになる。
１．訂正可能な領域の小さな隙間や穴を埋め、従って端部がまちがって検出されることを防ぐため。
２．もしそれが結局赤目特徴として分類されるならば、領域の訂正を助けるため。これは、訂正可能な領域の境界に近い画素が低い点数を持っている一方で、訂正可能な領域の内側の画素が高い点数を持っているであろうという事実を利用している。訂正の間、高い点数を持つ画素は、大きく調整され得る。一方、もっと低い点数を持つ画素は、もっと少なく調整される。これにより、訂正を周囲に混ぜることができ、訂正した目に自然な外見を与え、まちがって訂正された領域を糊塗することを助ける。

上記配列に関して画素の点数を計算した結果は、図１３で示される。注目されることは、上記配列の端部に沿った画素が、計算された点数が幾つであるかに関係なく、すべて９の点数に割り当てられていることにある。これによる影響は、配列の範囲を越えた全てが訂正可能であると推定してしまうことにある。それゆえ、もし、ハイライト領域を囲む訂正可能な領域の何れかの部分が上記配列の端部にまで延びているならば、上記領域は、孤立し閉じた形状として分類されないだろう。

フェイズ３は、画素の点数を用いて、訂正可能な領域の境界を発見する。上記領域における最も左の列、最も右の列、最も上の列、および最も下の列を発見しようとする例のみを記載しているが、当然、さらに正確な領域の境界をさらに正確に追跡しようとすることができる。

訂正可能であると考えられる画素をそうでない画素から分離するしきい値を定義することは必要である。この例では、４以上の点数をもつ任意の画素が訂正可能とみなしている。このことが、小さなギャップを埋める（traversing）一方で、依然として孤立した領域を認識する最もよいバランスを与えることが理解される。

フェイズ３に関するアルゴリズムは、図１４に示されるように、３つのステップを有する。
１．上記配列の中心において開始し、外側６１に進んで上記領域の端部を発見する。
２．同時に、左右の端部６２が出会うまで、上方のセクションでの左右の端部６２を追跡する。
３．下方のセクション６３に関してもステップ２と同様に行う。

上記処理の最初のステップは、図１５において更に詳細に示される。開始点は、上記配列の中心画素８であり、座標（１３、１３）である。目的は、中心から領域の端部６４、６５まで動くことにある。（この事例と同様に）領域の中心画素が訂正可能に分類されないかもしれないという事実を考慮するために、アルゴリズムは、訂正可能な１以上の画素に遭遇するまで端部を探さないようにしている。中心８から左端部６４まで動く処理は以下のように表すことができる。

同様に、右端部６５の位置を発見する方法は以下のように表すことができる。

この時点で、中心線上の領域の左端部６４および右端部６５は判明し、その画素の位置は座標（５、１３）および座標（２１、１３）となる。

次のステップは、この行より上の領域での上記外端部が、上記外端部が出会うまで、もしくは上記配列の端に到達するまで追跡する。上記配列の端に到達するならば、上記領域が分離されず、それゆえ上記特徴が潜在的な赤目特徴として分類されないであろうということが分かる。

図１６において示されるように、領域の端部を追跡するための開始点は、前の行において遷移（transition）が見つかった画素６４である。従って、最初のステップは、上記画素６４のすぐ上（または下、これは方向に依存する。）の画素６６に動くことである。次の動作は、画素６６の値がしきい値を下回っているならば、図１６ａで示されるように、領域の中心の方向６７へ進み、画素６６がしきい値を上回っているならば、図１６ｂで示されるように、領域の外側の方向６８へ進み、共にしきい値を交差するまで進むことである。到達した画素は、次の移動の開始点である。

次の行への移動とその後の内側または外側への１または複数の移動を行う処理は、調査する行が存在しなくなるまで（この場合、領域は孤立していない）、もしくは、図１７に示されるように、左側の端部の探索が、右側の端部の探索の開始点と交差するまで継続的に続く。

全体の手順は図１８において示される。図示における領域の左端部６４、右端部６５、上端部６９、下端部７０は、アルゴリズムによって特定される。上端部６９および下端部７０は、それぞれの場合において左端部が右端部を通過したために閉じられる。訂正可能な画素の最も左の列７１は、ｙ座標＝６であり、最も左の端部６４の右の列である。訂正可能な画素の最も右の列７２は、ｙ座標＝２０であり、最も右の端部６５の左の列である。訂正可能な画素の最も上の行７３は、ｘ座標＝６であり、左端部が右端部を通過する点６９から１つ下がった行である。訂正可能な画素の最も下の行７４は、ｘ座標＝２２であり、左端部が右端部を通過する点７０から１つ上がった行である。

フェイズ３において領域の端部の発見に成功すると、フェイズ４では上記領域が実質的に円形であるかをチェックする。これは図１９において示されるように、最も左の列７１および最も右の列７２の間の距離と、最も上の行７３および最も下の行７４の間の距離との両方よりも大きい直径を有する円７５を用いて、「訂正可能な画素」配列における何れの画素を調査するかを決めることによって行われる。円７５は、その中心７６が、最も左の列７１および最も右の列７２の中間と、最も上の行７３および最も下の行７２の中間となるように配置される。円形の領域７５内の少なくとも５０％の画素は、円形部７５に分類される領域に関して訂正可能な画素（すなわち、図１１で示されるように値が１である画素）に分類されていなければならない。

この場合、円の中心７６がハイライトの中心８と同じ位置ではないことが注目されるだろう。

各赤い領域の存在および範囲を特定した後に続いて、特徴の完全重複および一部重複の探索がなされる。もし、２つの異なるハイライトの開始点８から始めたところ、同じまたは同様の円形の領域７５が特定された場合、そのハイライトは１つの赤目特徴によるものと取られ得る。これは、上述の糸状の特徴を取り除く段階で、特定の赤目特徴に関して１より多くのハイライトがまだ適所に残っているかもしれないので必要である。完全重複する２つの特徴のうちの１つは、赤目特徴の完全なリストから取り除かれなければならない。

更に、２つの異なる特徴が互いに「一部が重複して」発見されるかも知れない。これは、孤立する領域どうしが互いに近いときに発生し得る。図１９に示される円７５は、領域が一部重複するかどうかを決定するために使われる。それぞれが関連する円を持つ２以上の孤立した領域が、互いに近い状況において、上記円どうしは一部重複するかもしれない。そのような特徴は赤目特徴が原因であることはほとんどなく、それゆえ両方の特徴が消去されるべきだと分かった。

また、同じ領域が２度特定される場合がいくつかある。恐らく、この原因は、上記領域における２つの異なる特徴が、ハイライトとして検出され、上述のように異なる２つの開始点が与えられることにある。時々、異なる開始点が領域の形状と結びつくと、異なる２つの結果を同じ領域に与えるので、領域の検出を混乱させるであろう。その結果は、再び２つの孤立し、一部重複した特徴である。そのような場合、上記特徴のどちらかを訂正しようと試みるより、上記特徴の双方を削除する方が無難である。

完全重複および一部重複した領域を取り除くアルゴリズムは以下のとおりである。反復により領域のリストが提供される。上記リストの各領域に関して、その領域が第２のリストにコピーされるべきかが決定される。別の領域と一部重複する領域が発見されるならば、２つの領域のどちらも第２のリストにコピーされないであろう。２つの同じ領域（同じ中心、および同じ半径）が発見されるならば、最初の領域だけがコピーされるだろう。提供されたリストにおける全ての領域が調査されたとき、第２のリストは、重複しない領域のみを含むだろう。

上記アルゴリズムは、以下のような擬似コードで表される。

異なる２つの赤目特徴は、半径の和が中心間の距離より大きい場合に重なっていると判定される。さらに、重複したの特徴を除去した後に続いて、皮膚色調で囲まれていない領域を除去することにより、赤目特徴のリストのフィルター処理を行う。

ほとんど場合、赤目特徴は、その周囲の大部分が皮膚色の領域によって囲まれているであろう。盛装やフェイスペインティング等は、例外であるが、通常、除去の危険を冒すのに十分な例外として扱われ得る。「皮膚色」という用語は、かなり意味の広い用語のように思われるかもしれない。というのは、種々の皮膚色調が多数存在し、これらの皮膚色調は、種々の照明条件によって様々に変化させることができるからである。しかしながら、普通でない照明条件が無視されるならば、皮膚色調の領域の色相範囲は非常に制限される。そして、照明が大いに変化しても、彩度は一般に高くない。更に、１つの色素が、全ての人間における皮膚の色合いの原因であるので、皮膚の色の濃さは色相に著しい影響を及ぼさない。

異なる地域、種族、および環境の人々は、目に見えて異なる色合いの皮膚色調を有し得る。また、医療条件、日光照射、遺伝的相違は、外見の色合いに影響を及ぼし得る。しかしながら、すべての人間の皮膚における本来発生する色相は、特定の狭い範囲内になる。０〜２５５のスケール上では、皮の色相は一般に２２０〜２５５または０〜３０（両端を含む）になる。彩度は、同じスケール上で１６０以下である。言い換えれば、色相はスペクトル上の赤い部分にあり、彩度は高くない。

赤目はフラッシュの光によって引き起こされるので、被写体の顔に十分な量の白色光が照射されて、皮膚色調が上述の範囲に落ち着くという前提が与えられると、照明による色の影響を無視することは妥当である。

赤目検出の最後の段階において、周囲の皮膚色の画素の数が十分ではない任意の領域は放棄される。皮膚色の画素のチェックは、処理の後の方で発生する。なぜなら、上記チェックは比較的多数の画素を検査することを伴うためである。従って、上記チェックは、良好なパフォーマンスを確保するために、できる限り少ない回数で実行されることが最も良好である。

図２０において示されるように、潜在的な赤目特徴のそれぞれに関して、赤目領域７５を中心とする四角い領域７７が調査される。四角い領域７７は、一辺の長さが赤目円７５の直径の３倍である。四角い領域７７中の全ての画素が調査されると、該画素は、赤目円７５の内側の画素を含んでいるので、最終結果に貢献するであろう。或る特徴が赤目特徴として分類されるためには、次の条件に合致しなければならない。

なお、第３列は、領域内の全画素数のうち、幾らの割合が上記条件を満たす必要があるかを示している。

赤目検出の様々な手順は、図２１のフローチャートとして示される。パス１は、図２〜９で示されるように、タイプ１、タイプ２、およびタイプ３のハイライトに関して、の各行内の画素の中から中央画素８を検出することを含む。これら中央画素８の位置は潜在的なハイライトの位置リストに格納される。パス２は、隣接したハイライトと線状のハイライトとを上記リストから除去することを含む。パス３は、図１０〜１９で示されるように、それぞれの中央画素８を取り囲む赤い領域の存在および範囲を決定することを含む。パス４は、重複する赤目特徴を上記リストから除去することを含む。パス５は、図２０で示されるように、皮膚色調で囲まれない特徴を除去することを含む。

検出が完了すると直ちに、リストに残った特徴に関して赤目訂正が実行される。

赤目訂正は、図１３で示されるように、赤い領域の存在および範囲を特定する間にそれぞれの画素に与えらた点数に基づいている。この処理の最後に特定された円７５の中の画素だけが訂正される。また、各画素の訂正の大きさは、画素の点数によって決定される。領域７５の端部に近い画素は、低い点数を持っており、周囲の領域に混ざるように訂正することが可能となる。これは、訂正された画素と訂正されない画素との間の目に見える変化の可能性を最小限に抑える。この可能性があると、不自然に見え、訂正された領域に注意を引くであろう。

円７５内の画素は、以下のように訂正される。

画素の新しい明度は、図１３に示されるように、赤い領域の存在および範囲の決定において割り当てられた点数に対して、直接的かつ線形的に関係する。一般に、画素は、点数が高くなるにつれて、領域の中心に近づいていき、暗くなっていくだろう。どの画素も完全に黒くはされない。なぜなら、（黒色と対比して）非常に暗い画素での訂正がより自然に見えるということが分かったからである。点数が低い画素は、明度が減らされる。これらの画素は、ハイライト、虹彩、またはまぶたの境界となる画素である。通常、前の２つは、訂正された瞳孔の最終的な色よりも明るい。

彩度チャンネルに関して、画素の彩度を完全に除去する（その結果、画素から赤色の全ての手がかりを効果的に取り除く）ことが目的ではなく、上記彩度を実質的に減少することが目的である。同時に明度を減少することは、赤い色相をはっきりさせないように作用する。暗い（darker）赤は、鮮明な（bright）赤や明るい（vibrant）赤よりも目立つことがない。しかしながら、明度のみを修正することは十分ではないかもしれないので、１００より高い彩度を持つ全ての画素の彩度を６４まで減少させている。これらの数字が最も良い結果を与えることが発見された。しかし個々の要求に適する、正確な数字に変更してもよいということが認識されるであろう。このことは、訂正された領域中の彩度の最大値が１００であるが、特に彩度が高い全ての画素は、最後には最大値より著しく低い彩度になるという意味である。これにより、瞳孔に非常に微かなまだら状の外見が生じる。この場合、その全ての画素は黒色に近いが、検出可能な色の手がかりが存在する。このことは、非赤目がどのように見えるかに関して、密接に適合することがわかった。

色相チャンネルが訂正の間に変更されないことが注目されるだろう。すなわち、画素の色相をスペクトル上の別の領域に動かそうとすることは行われない。画素を暗くして彩度を減少させることにより赤さが減少する。

検出モジュールおよび訂正モジュールが別々に実行され得ることが認識されるだろう。例えば、検出モジュールは、デジタルカメラ等に配置され、写真を撮るときに、赤目特徴を検出して該特徴の位置のリストを提供することができる。そして、訂正モジュールは、その写真がカメラからコンピュータにダウンロードされた後で適用されるであろう。

本発明に従う方法によって多くの利点がもたらされる。上記の方法は、画像全体に作用している。しかし、画像において赤目軽減を適用すべき部分（例えば顔のみを含む領域）をユーザが選択できることが理解される。これにより、必要とされる処理が削減されるであろう。画像全体が処理される場合には、ユーザの入力は必要とされない。更に、上記方法は、完全に正確である必要はない。赤目が原因ではない特徴に関して赤目軽減が実行されるならば、ユーザがその違いに気が付くことはなさそうである。

上記赤目検出アルゴリズムは、赤い領域を探索する前に、明るく、彩度の高い点を探索する。このため、上記方法はＪＰＥＧ圧縮された画像、および色が低解像度でコード化されるその他のフォーマットにおいて特に良好に作用する。

また、異なるタイプのハイライトを検出することは、全ての赤目特徴を検出する機会を改善する。

上述の実施形態からの変更は、本発明の範囲内であることが理解されるであろう。例えば、上記方法は、人間の目を参照して説明している。人間に関しては、網膜からの反射部分は赤色の領域となる。しかしながら、幾つかの動物に関しては、「赤目」は緑色または黄色の反射部分となる。本発明に従う方法を用いて、上記の影響を訂正してもよい。実際、始めの探索を、特定の彩度の領域ではなくハイライトに関して行うことにより、本発明の方法が、非赤の（non-red）動物の「赤目」を検出することに特に適するようになっている。

更に、赤目特徴に関して一般的な説明を行っている上記方法では、ハイライト領域は、赤色の瞳孔領域の中心に位置している。しかしながら、赤目特徴のハイライト領域が、赤色領域の中央から外れて存在しても、赤色領域の端部に存在しても、赤目特徴に関して上記方法が有効に作用するであろう。

赤目特徴の検出及び除去を示すフローチャートである。 典型的な赤目特徴を示す概略図である。 典型的なタイプ１ハイライトの彩度および明度の様子を示すグラフである。 典型的なタイプ２ハイライトの彩度および明度の様子を示すグラフである。 典型的なタイプ３ハイライトの明度の様子を示すグラフである。 図２の赤目特徴の概略図であって、ハイライトの検出において特定された画素を示す図である。 図４のタイプ２のハイライトで、検出アルゴリズムによって特定されたポイントを示すグラフである。 図４のタイプ２のハイライトを検出することに伴って、彩度および明度間を比較することを示すグラフである。 図５のタイプ３のハイライトで、明度および一次導関数の様子を示すグラフである。 赤色領域の検出手法を例示する図である。 赤色領域の検出手法を例示する図である。 画素配列を示す図であって、該配列における画素の訂正可能性を示している。 図１１の配列において、画素に点数を付ける仕組みを示す図である。 図１１の配列において、画素に点数を付ける仕組みを示す図である。 図１１の配列から生成され、点数を付けた画素の配列を示す図である。 図１３の配列の訂正可能な領域で、エッジを特定するために用いられる方法を概括的に例示する概略図である。 図１３の配列を示すとともに、１行の画素領域のエッジを見出すために用いられる方法を示す図である。 訂正可能な画素のエッジを上方に続けるために用いられる方法を示す図である。 訂正可能な画素のエッジを上方に続けるために用いられる方法を示す図である。 訂正可能な領域における上端のエッジを見出すために用いられる方法を示す図である。 図１３の配列をしめすとともに、訂正可能な領域のエッジを続けるために用いられる方法の詳細を例示する図である。 図１３の配列における訂正可能なエリアの半径を示す図である。 皮膚の色調に関して調べられた領域の範囲を示す概略図である。 赤目特徴の検出の段階を示すフローチャートである

Claims (42)

1. デジタル画像の赤目特徴を検出する方法であって、
   前記画像の画素の行を含む瞳孔領域を特定する第１の工程と、
   更なる選択基準に基づいて、各瞳孔領域が赤目特徴の一部に対応するかどうかを判断する第２の工程とを含んでおり、
   前記瞳孔領域は、
   前記瞳孔領域の第１のエッジに隣接する第１の彩度ピークであって、前記瞳孔領域のすぐ外側の画素よりも高い彩度である１または複数の画素を備える第１の彩度ピークと、
   前記瞳孔領域の第２のエッジに隣接する第２の彩度ピークであって、前記瞳孔領域のすぐ外側の画素よりも高い彩度である１または複数の画素を備える第２の彩度ピークと、
   第１および第２の彩度ピークの間にある彩度トラフであって、第１および第２の彩度ピークの画素よりも低い彩度である１または複数の画素を備える彩度トラフとを備え、
   前記第１のエッジは、各画素をその並び方向に探索して特定される瞳孔領域の始端画素であり、第２のエッジは、各画素をその並び方向に探索して特定される瞳孔領域の終端画素であり、
   前記第２の工程は、特定された瞳孔領域のそれぞれに関して、１つの画素を参照画素として特定する工程と、
   前記参照画素の周りに、訂正可能な画素を含む孤立した領域が存在するかどうかを判断する工程と、
   前記訂正可能な画素を含む孤立した領域の範囲を決定する工程と、
   前記訂正可能な画素を含む孤立した領域の範囲に直径が対応する円を特定する工程と、
   該円内に収まる画素の所定以上の割合が訂正可能な画素として分類される場合にのみ、赤目特徴が存在すると判断する工程とを含み、
   前記訂正可能な画素は、該画素に赤目訂正を適用可能であるための、色相、彩度および明度のうちの１または複数の条件を満足している方法。
2. デジタル画像の赤目特徴を検出する方法であって、
   前記画像の画素の行を含む瞳孔領域を特定する第１の工程と、
   更なる選択基準に基づいて、各瞳孔領域が赤目特徴の一部に対応するかどうかを判断する第２の工程とを含んでおり、
   前記瞳孔領域は、
   前記瞳孔領域の第１のエッジに隣接する第１の彩度ピークであって、前記瞳孔領域のすぐ外側の画素よりも高い彩度である１または複数の画素を備える第１の彩度ピークと、
   前記瞳孔領域の第２のエッジに隣接する第２の彩度ピークであって、前記瞳孔領域のすぐ外側の画素よりも高い彩度である１または複数の画素を備える第２の彩度ピークと、
   第１および第２の彩度ピークの間にある彩度トラフであって、第１および第２の彩度ピークの画素よりも低い彩度である１または複数の画素を備える彩度トラフとを備え、
   前記第１のエッジは、各画素をその並び方向に探索して特定される瞳孔領域の始端画素であり、第２のエッジは、各画素をその並び方向に探索して特定される瞳孔領域の終端画素であり、
   前記第２の工程は、特定された瞳孔領域のそれぞれに関して、１つの画素を参照画素として特定する工程と、
   前記参照画素の周りに、訂正可能な画素を含む孤立した領域が存在するかどうかを判断する工程と、
   前記参照画素の周りの画素配列における各画素に点数を割り当てる工程を含んでおり、或る画素の前記点数は、該画素とその周囲の画素とを含む画素の集合における訂正可能な画素の数から決定され、
   前記訂正可能な画素は、該画素に赤目訂正を適用可能であるための、色相、彩度および明度のうちの１または複数の条件を満足している方法。
3. 前記瞳孔領域を特定する工程は、第１の彩度ピーク内にて彩度が最も高い第１のピーク画素と、第２の彩度ピーク内にて彩度が最も高い第２のピーク画素との間にある全ての画素の彩度が、第１および第２のピーク画素の彩度のうち高い方の彩度よりも低いことを確認する工程を含んでいる請求項１または２に記載の方法。
4. 前記瞳孔領域を特定する工程は、前記瞳孔領域の直ぐ外側にある画素の彩度の値が所定値以下であることを確認する工程を含んでいる請求項１から３の何れか１項に記載の方法。
5. 前記瞳孔領域を特定する工程は、
   第１の彩度ピーク内における画素の彩度の値が明度の値よりも高いことを確認する工程と、
   第２の彩度ピーク内における画素の彩度の値が明度の値よりも高いことを確認する工程とを含んでいる請求項１から４の何れか１項に記載の方法。
6. 前記瞳孔領域を特定する工程は、
   前記瞳孔領域の直ぐ外側にある画素の彩度の値が明度の値よりも低いことを確認する工程を含んでいる請求項１から５の何れか１項に記載の方法。
7. 前記瞳孔領域を特定する工程は、
   前記彩度トラフ内における画素の彩度の値が明度の値よりも低いことを確認する工程を含んでいる請求項１から６の何れか１項に記載の方法。
8. 前記瞳孔領域を特定する工程は、
   前記彩度トラフ内における画素の明度の値が１００以上であることを確認する工程を含んでいる請求項１から７の何れか１項に記載の方法。
9. 前記瞳孔領域を特定する工程は、
   前記彩度トラフ内における画素の色相の値が、２２０以上または１０以下であることを確認する工程を含んでいる請求項１から８の何れか１項に記載の方法。
10. デジタル画像の赤目特徴を検出する方法であって、
    所定の彩度プロファイルを有する画素の行を探索し、該行内で選択された画素の明度の値が所定の条件を満たすことを確認することにより、前記画像における瞳孔領域を特定する第１の工程と、
    更なる選択基準に基づいて、各瞳孔領域が赤目特徴の一部に対応するかどうかを判断する第２の工程とを含み、
    前記第２の工程は、特定された瞳孔領域のそれぞれに関して、１つの画素を参照画素として特定する工程と、
    前記参照画素の周りに、訂正可能な画素を含む孤立した領域が存在するかどうかを判断する工程と、
    前記訂正可能な画素を含む孤立した領域の範囲を決定する工程と、
    前記訂正可能な画素を含む孤立した領域の範囲に直径が対応する円を特定する工程と、
    該円内に収まる画素の所定以上の割合が訂正可能な画素として分類される場合にのみ、赤目特徴が存在すると判断する工程とを含み、
    前記訂正可能な画素は、該画素に赤目訂正を適用可能であるための、色相、彩度および明度のうちの１または複数の条件を満足している方法。
11. デジタル画像の赤目特徴を検出する方法であって、
    所定の彩度プロファイルを有する画素の行を探索し、該行内で選択された画素の明度の値が所定の条件を満たすことを確認することにより、前記画像における瞳孔領域を特定する第１の工程と、
    更なる選択基準に基づいて、各瞳孔領域が赤目特徴の一部に対応するかどうかを判断する第２の工程とを含み、
    前記第２の工程は、特定された瞳孔領域のそれぞれに関して、１つの画素を参照画素として特定する工程と、
    前記参照画素の周りに、訂正可能な画素を含む孤立した領域が存在するかどうかを判断する工程と、
    前記参照画素の周りの画素配列における各画素に点数を割り当てる工程を含んでおり、或る画素の前記点数は、該画素とその周囲の画素とを含む画素の集合における訂正可能な 画素の数から決定され、
    前記訂正可能な画素は、該画素に赤目訂正を適用可能であるための、色相、彩度および明度のうちの１または複数の条件を満足している方法。
12. デジタル画像の赤目特徴を検出する方法であって、
    前記画像の瞳孔領域を特定する第１の工程と、
    更なる選択基準に基づいて、各瞳孔領域が赤目特徴の一部に対応するかどうかを判断する第２の工程とを含んでおり、
    前記瞳孔領域は画素の行の探索によって特定される、前記画素の行は、
    自身のすぐ左側の画素よりも明度の値が低い第１の画素と、
    自身のすぐ左側の画素よりも明度の値が高い第２の画素と、
    自身のすぐ左側の画素よりも明度の値が低い第３の画素と、
    自身のすぐ左側の画素よりも明度の値が高い第４の画素とを備えており、
    第１、第２、第３、および第４の画素は、前記画素の行に沿って左側から探索するとき、上記の順番で特定され、
    前記第２の工程は、特定された瞳孔領域のそれぞれに関して、１つの画素を参照画素として特定する工程と、
    前記参照画素の周りに、訂正可能な画素を含む孤立した領域が存在するかどうかを判断する工程と、
    前記訂正可能な画素を含む孤立した領域の範囲を決定する工程と、
    前記訂正可能な画素を含む孤立した領域の範囲に直径が対応する円を特定する工程と、
    該円内に収まる画素の所定以上の割合が訂正可能な画素として分類される場合にのみ、赤目特徴が存在すると判断する工程とを含み、
    前記訂正可能な画素は、該画素に赤目訂正を適用可能であるための、色相、彩度および明度のうちの１または複数の条件を満足している方法。
13. デジタル画像の赤目特徴を検出する方法であって、
    前記画像の瞳孔領域を特定する第１の工程と、
    更なる選択基準に基づいて、各瞳孔領域が赤目特徴の一部に対応するかどうかを判断する第２の工程とを含んでおり、
    前記瞳孔領域は画素の行の探索によって特定される、前記画素の行は、
    自身のすぐ左側の画素よりも明度の値が低い第１の画素と、
    自身のすぐ左側の画素よりも明度の値が高い第２の画素と、
    自身のすぐ左側の画素よりも明度の値が低い第３の画素と、
    自身のすぐ左側の画素よりも明度の値が高い第４の画素とを備えており、
    第１、第２、第３、および第４の画素は、前記画素の行に沿って左側から探索するとき、上記の順番で特定され、
    前記第２の工程は、特定された瞳孔領域のそれぞれに関して、１つの画素を参照画素として特定する工程と、
    前記参照画素の周りに、訂正可能な画素を含む孤立した領域が存在するかどうかを判断する工程と、
    前記参照画素の周りの画素配列における各画素に点数を割り当てる工程を含んでおり、或る画素の前記点数は、該画素とその周囲の画素とを含む画素の集合における訂正可能な画素の数から決定され、
    前記訂正可能な画素は、該画素に赤目訂正を適用可能であるための、色相、彩度および明度のうちの１または複数の条件を満足している方法。
14. 第１の画素は、自身のすぐ左側の画素よりも明度の値が２０以上低く、
    第２の画素は、自身のすぐ左側の画素よりも明度の値が３０以上高く、第３の画素は、自身のすぐ左側の画素よりも明度の値が３０以上低く、かつ、第４の画素は、自身のすぐ左側の画素よりも明度の値が２０以上高い請求項１２または１３に記載の方法。
15. 前記瞳孔領域における前記画素の行は、それぞれが、自身のすぐ左側の画素に比べて、彩度の値が３０以上異なる２以上の画素を含んでおり、前記２以上の画素における或る画素は、自身の左側に隣り合う画素よりも彩度の値が高く、前記２以上の画素における別の画素は、自身の左側に隣り合う画素よりも彩度の値が低い請求項１２から１４の何れか１項に記載の方法。
16. 第１の画素および第４の画素の中間にある画素は、色相が２２０以上または１０以下である請求項１２から１５の何れか１項に記載の方法。
17. デジタル画像の赤目特徴を検出する方法であって、
    前記画像のハイライト領域を特定する第１の工程と、
    更なる選択基準に基づいて、各ハイライト領域が赤目特徴の一部に対応するかどうかを判断する第２の工程とを含んでおり、
    前記ハイライト領域は、画素の行を含んでおり、前記画素の行は、色相が赤色であり、
    前記ハイライト領域のいずれか側の行における画素よりも彩度および明度の値が高い画素を有し、
    前記第２の工程は、特定されたハイライト領域のそれぞれに関して、１つの画素を参照画素として特定する工程と、
    前記参照画素の周りに、訂正可能な画素を含む孤立した領域が存在するかどうかを判断する工程と、
    前記訂正可能な画素を含む孤立した領域の範囲を決定する工程と、
    前記訂正可能な画素を含む孤立した領域の範囲に直径が対応する円を特定する工程と、
    該円内に収まる画素の所定以上の割合が訂正可能な画素として分類される場合にのみ、赤目特徴が存在すると判断する工程とを含み、
    前記訂正可能な画素は、該画素に赤目訂正を適用可能であるための、色相、彩度および明度のうちの１または複数の条件を満足している方法。
18. デジタル画像の赤目特徴を検出する方法であって、
    前記画像のハイライト領域を特定する第１の工程と、
    更なる選択基準に基づいて、各ハイライト領域が赤目特徴の一部に対応するかどうかを判断する第２の工程とを含んでおり、
    前記ハイライト領域は、画素の行を含んでおり、前記画素の行は、色相が赤色であり、
    前記ハイライト領域のいずれか側の行における画素よりも彩度および明度の値が高い画素を有し、
    前記第２の工程は、特定されたハイライト領域のそれぞれに関して、１つの画素を参照画素として特定する工程と、
    前記参照画素の周りに、訂正可能な画素を含む孤立した領域が存在するかどうかを判断する工程と、
    前記参照画素の周りの画素配列における各画素に点数を割り当てる工程を含んでおり、或る画素の前記点数は、該画素とその周囲の画素とを含む画素の集合における訂正可能な画素の数から決定され、
    前記訂正可能な画素は、該画素に赤目訂正を適用可能であるための、色相、彩度および明度のうちの１または複数の条件を満足している方法。
19. ハイライト領域における画素は、色相が２１０以上または１０以下である請求項１７または１８に記載の方法。
20. 前記訂正可能な画素を含む孤立した領域が円形であるかどうかを判断する工程を含んでいる請求項１、２、１０、１１、１２、１３、１７または１８の何れか１項に記載の方法。
21. 或る画素の色相が２２０以上または１０以下である場合に、前記画素を訂正可能な画素として分類する請求項１、２、１０、１１、１２、１３、１７、１８または２０の何れか１項に記載の方法。
22. 或る画素の彩度が８０以上である場合に、前記画素を訂正可能な画素として分類する請求項１、２、１０、１１、１２、１３、１７、１８または２０の何れか１項に記載の方法。
23. 或る画素の明度が２００以下である場合に、前記画素を訂正可能な画素として分類する請求項１、２、１０、１１、１２、１３、１７、１８または２０の何れか１項に記載の方法。
24. 前記所定の割合は５０％である請求項１、１０、１２または１７の何れか１項に記載の方法。
25. 前記画素配列の範囲は、前記ハイライト領域または瞳孔領域よりも大きい所定の因子である請求項２、１１、１３または１８の何れか１項に記載の方法。
26. 前記訂正可能な画素を含む孤立した領域に隣接する端部画素を特定する工程を含んでおり、該端部画素は、前記参照画素から開始し、画素列に沿って探索することにより見つかる、点数が所定のしきい値以上のものを前記訂正可能な画素を含む孤立した領域に属する画素と見なし得る前記しきい値よりも低い最初の画素である請求項２、１１、１３、１８または２５の何れか１項に記載の方法。
27. 前記端部画素から、隣接する行の隣接する画素に移動する工程と、
    前記隣接する画素の点数が前記しきい値よりも低い場合に、前記端部画素に到達するまで、前記隣接する行に沿って、前記参照画素を含む列の方向へ移動する工程と、
    前記隣接する画素の点数が前記しきい値よりも高い場合に、前記端部画素に到達するまで、前記隣接する行に沿って、前記参照画素を含む列から離れる方向へ移動する工程とを含む請求項２６に記載の方法。
28. 前記孤立した領域の左側の端部および右側の端部を特定するために、続く行の続く端部画素を特定し続ける工程を含んでおり、該工程は、前記左側の端部および右側の端部が一致するか、或いは前記画素配列の端部に到達するまで行われる請求項２７に記載の方法。
29. 前記画素配列の端部に到達した場合、孤立した領域が見つからなかったと判断する請求項２８に記載の方法。
30. 前記孤立した領域内の１つの画素を少なくとも含んでいる、最も上の行および最も下の行、ならびに最も左の列および最も右の列とを特定する工程と、
    前記最も上の行および最も下の行の距離と、前記最も左の列および最も右の列の距離とのうちの長い方に対応する直径を有し、かつ、前記最も上の行および最も下の行の中間と、前記最も左の列および最も右の列の中間とに中心を有する円を特定する工程と、
    該円内に収まる画素の所定の割合よりも多い割合が訂正可能な画素として分類される場合にのみ、赤目特徴が存在すると判断する工程とを含む請求項２８に記載の方法。
31. 前記円の中心の画素は前記赤目特徴の中心の画素として定義される請求項１、１０、１２、１７、２４または３０の何れか１項に記載の方法。
32. 同じではないが互いに重複する任意の孤立した領域を考慮に入れない工程を含む請求項１、２、１０、１１、１２、１３または１７から３１の何れか１項に記載の方法。
33. 訂正可能な画素を含む孤立した領域を含んで取り囲む顔の領域が、皮膚色調に対応する色相、彩度および明度のうちの１または複数を有する画素を、所定の割合よりも多く含んでいるかどうかを判断する工程を含む請求項１、２、１０、１１、１２、１３または１７から３２の何れか１項に記載の方法。
34. 前記顔の領域は、前記孤立した領域の範囲の３倍である請求項３３に記載の方法。
35. 前記顔の領域における７０％以上の画素が、２２０以上または３０以下の色相を有しており、かつ
    前記顔の領域における７０％以上の画素が、１６０以下の彩度を有する場合に、赤目特徴と特定する請求項３３または３４に記載の方法。
36. 請求項１ないし３５の何れか１項に記載の方法を用いて赤目特徴を検出する工程と、
    検出された赤目特徴の幾つかまたは全てを訂正する工程とを含むデジタル画像の処理方法。
37. 前記赤目特徴を訂正する工程は、赤目特徴にある幾つかまたは全ての画素の彩度を減少する工程を含む請求項３６に記載の方法。
38. 前記幾つかまたは全ての画素の彩度を減少する工程は、或る画素の彩度が、第１のレベルよりも高い第２レベルよりも上である場合、第１のレベルに減少する工程を含む請求項３７に記載の方法。
39. 前記赤目特徴を訂正する工程は、前記赤目特徴にある幾つかまたは全ての画素の明度を減少する工程を含む請求項３６から３８の何れか１項に記載の方法。
40. 請求項２、１２、１３または１８から３０の何れか１項に記載の方法を用いて、訂正可能な画素を含む孤立した領域を有する赤目特徴を検出する工程と、
    前記訂正可能な画素を含む孤立した領域における各画素の明度を、該画素の点数に関連する因子だけ減少する工程とを含むデジタル画像の処理方法。
41. 請求項２、１２、１３または１８から３０の何れか１項に記載の方法を用いて、訂正可能な画素を含む孤立した領域を有する赤目特徴を検出する工程と、
    前記訂正可能な画素を含む孤立した領域と一致する円における各画素の明度を、該画素の点数に関連する因子だけ減少する工程とを含むデジタル画像の処理方法。
42. コンピュータ上で実行すると、請求項１から４１の何れか１項に記載の方法を実行するように構成されるプログラムを記憶したコンピュータ読取り可能な記憶媒体。

Images