JP5139533B2 - デジタル画像の赤目欠陥の検出 - Google Patents

Description

本発明の実施形態は、概してデジタル画像処理の分野に関し、より明確には、デジタル画像における赤目欠陥を検出する方法と装置に関するものであって、そのような「赤目」欠陥は、実際に赤いか否かに関わらず、人間や動物の目の画像において、任意のフラッシュにより引き起こされた人為結果（アーチファクト）を含む。

赤目は、フラッシュが被写体の目の内部で反映され、被写体の目の黒い瞳孔が正常に現われるべきところで、写真中に通常赤い光の点として現われる、フラッシュ撮影中の現象である。目の不自然な強烈な赤色は、血管に富んでいる網膜の後ろの血管膜からの内部反射によるものである。この好ましくない現象は、一部は、カメラのフラッシュとカメラのレンズの間の小さな角度によって引き起こされることが良く理解される。この角度は、内蔵型のフラッシュ機能を備えたカメラの小型化とともに減少した。付加的に寄与するものとしては、カメラに対する被写体の相対的な接近、及び、周辺光のレベルを含む。

赤目現象は、瞳の開口を縮小させることを虹彩に強いることにより、減少することができる。これは、典型的には、フラッシュ写真が得られる直前に、フラッシュあるいは光を照明する「プレフラッシュ」によって行われる。これは、虹彩を閉じることを引き起こす。不運にも、プレフラッシュは、フラッシュ写真に先立って、好ましくない０．２乃至０．６秒の時間である。この遅延は、容易に識別可能であり、また、人間の被写体の反応時間内として余裕がある。従って、被写体は、プレフラッシュが実際の写真であると信じる可能性があり、また、実際の撮影時に望ましい位置にいない可能性もある。或いは、当該被写体は、典型的に、撮影中に捕捉される被写体のいかなる自発性も失わさせるように、プレフラッシュの通知がなされるに違いない。

デジタル写真は、画像がデジタル処理で捕捉され、カメラ自体のディスプレー画面上の表示のためにメモリーアレイに格納されるので、フィルムの必要性を除去する。これは、フィルム現像処理を待つこととは反対のものとして、写真が事実上即時に見られ楽しまれることを可能にする。デジタル撮影の装置は、画像処理と圧縮とカメラ・システム制御のためのマイクロプロセッサーを含んでいる。赤目検出及び消去を改善するオペレーションを遂行するために、そのようなマイクロプロセッサーの計算適応性を開発することは可能である。

デジタル画像中の赤目の検出及び補正のための既存の技術は、米国特許第６，４０７，７７７号明細書及び米国特許出願公開第２００５／０２３２４９０号明細書に記述される。しかしながら、これらの従前の方法は、実際上効率的ではない。

（要約）
本発明の１つの実施の形態に従って、目を含んでいるデジタル画像中の赤目欠陥を検出する方法が開示される；デジタル画像は、強度画像に変換され、少なくとも強度画像の一部分は、各々局所的な最大強度を有するセグメントに区分化され、デジタル画像の対応する部分が閾値化されて、相対的に高い強度の領域を識別し、ステップ（ｃ）の領域から、実質的に最大の平均強度を有する少なくとも幾つかの領域が選択され、予め定められた基準に従って、ステップ（ｄ）で選択された領域と交差するステップ（ｂ）に由来するセグメントが選択される。

他の特徴、及び本発明の実施の形態の利点は、添付の図面から、及び後述する詳細な説明から明白になるであろう。本発明は、本発明の実施の形態を例証するために使用される、以下の説明及び添付の図面の参照によって、最良の理解が得られるであろう。図面の説明は以下の通りである：
本発明の実施の形態に従って作動するデジタルカメラのブロック図である。 本発明による、赤目検出及び補正の実施の形態の図１のカメラ中のソフトウェアによって行なわれたステップのフローチャートである。 図２の方法によって処理された画像データを示す。 図２の方法によって処理された画像データを示す。 図２の方法によって処理された画像データを示す。 図２の方法によって処理された画像データを示すものであり、明確化のために、図６（ａ）乃至６（ｄ）、６（ｆ）は、本明細書で説明された適切な画像のネガ即ち逆の形式としている。 図２の方法によって処理された画像データを、明確化のために本明細書で説明された適切な画像のネガ即ち逆の形式で示すものである。

（詳細な説明）
フラッシュを用いて取得された画像は、赤目欠陥を含み得る。一般に、これらの赤目欠陥は、従来の目欠陥検出器を画像に適用することにより検知される。しかしながら、高いＩＳＯ、例えばＩＳＯ ８００よりも大きなレートで取得された画像は、ノイズを示す赤いピクセルの多数の小さなクラスターを含み得るものであり、また、そのような場合、目欠陥検出器は、当該ノイズの斑点を、相対的に小さな赤目欠陥であると識別することが可能である。

本発明の実施の形態は、高いＩＳＯのフラッシュ画像中の赤目を検出するための方法と装置を提供する。本発明の一の実施の形態については、デジタル画像が取得される。かかる画像の少なくとも一部分において、１つ以上の相対的に大きな候補赤目欠陥領域が検出される。画像の少なくとも１つの部分に顔検出が適用されて非顔領域を除去し、また、該除去された非顔領域を含まない画像の少なくとも１つの部分で、１つ以上の相対的に大きな候補赤目欠陥領域が識別される。

本発明の実施の形態は、画像処理が達成されるシステムの広い範囲に適用可能である。

図１は、本実施の形態におけるポータブルデジタルカメラであり、プロセッサー１２０を含むデジタル画像収集装置２０のブロック図である。デジタルカメラにおいて実行されるプロセスの多くは、内部に実装され、或いはプロセッサー１２０として総称的に表現された、マイクロプロセッサー、中央処理装置、制御器、デジタル・シグナル・プロセッサー、及び／又は特定用途向け集積回路中で作動するソフトウェアによって制御されることができることが理解されるであろう。一般的に、ユーザーインタフェース及びボタンや表示部のような周辺コンポーネントの制御は全て、マイクロコントローラー１２２によって制御される。プロセッサー１２０は、シャッター・ボタンの半押し（プリキャプチャモード３２）のような、１２２でのユーザ入力に応答して、デジタル撮影処理を初期化及び制御する。フラッシュが使用されるべきか否かを自動的に判定するために、光センサー４０を使用して、周辺光照射量がモニタリングされる。被写体への距離は、画像捕捉部６０上の画像にさらに焦点を合わせるフォーカス部５０を使用して、決定される。本明細書では、「画像」の用語は、画像データを意味するものであり、実際に見える画像が処理のあらゆる段階に存在することを必ずしも暗示するものではない。

フラッシュが使用される場合には、プロセッサー１２０は、シャッターボタンが完全に降下したときに、画像捕捉部６０による画像の記録と本質的に一致する写真撮影用フラッシュを、フラッシュ７０に生成させる。画像捕捉部６０は、デジタル処理で画像をカラーで記録する。かかる画像捕捉部は、デジタル記録を容易にするために、好ましくはＣＣＤ（電荷結合素子）またはＣＭＯＳを含む。フラッシュは、光センサー４０または当該カメラのユーザからの手動入力７２のいずれかに応答して、選択的に生成されることができる。画像捕捉部６０によって記録された高解像度画像は、動的ランダム・アクセス・メモリー（ＤＲＡＭ）あるいは不揮発性メモリーのようなコンピュータ・メモリーが含まれ得る画像格納部８０に格納される。カメラは、画像の試写及びポスト表示（post-view）のために、ＬＣＤのような表示部１００を備えている。

シャッター・ボタンの半押しによるプレキャプチャモード３２で生成される試写画像の場合には、表示部１００は、焦点と露光量を決定するのに使用される他、画像を構成する上でユーザを支援することができる。一時記憶装置８２は、試写画像の１つ或いは複数を格納するために使用され、画像格納部８０又は別個の構成要素の一部であることも出来る。試写画像は、好ましくは画像捕捉部６０によって生成される。試写画像は、速度及び記憶効率上の理由から、好ましくは、シャッターボタンが完全に押し下げられたときに得られる主画像よりも低解像度のものであり、また、一般的なプロセッサー１２０または専用ハードウェアあるいはこれらの組合せの一部であり得るソフトウェア１２４を使用して、未加工で捕捉された画像をサブサンプリングすることによって生成される。このハードウェア・サブシステムの設定によって、前（ｐｒｅ）取得画像処理は、試写画像を格納するに先立って、幾つかの予め定められたテスト基準を満足させることができる。そのようなテスト基準は、高解像度の主画像がシャッターボタンの十分な降下によって捕捉されるまでは、プレキャプチャモード３２の間、０．５秒毎に前の保存された試写画像を新たに捕捉された試写画像に絶えず置き換えることにより、年代順にすることができる。もっと精巧な基準は、試写画像の内容の分析、例えば、新たな試写画像を以前に保存された画像と置き換えるか否かを決定する前に、変更のための画像をテストすること、を含むことができる。他の基準は、鮮鋭度のような画像解析、あるいは露光条件のようなメタデータ分析、フラッシュを発生させるか否か、及び／又は被写体への距離、に基づくことができる。

テスト基準が満たされない場合、カメラは、現在の画像を保存することなく、次の試写画像を捕捉することによって、続行する。かかる処理は、シャッター・ボタンを完全に降下させることにより最終的な高解像度主画像が取得及び保存されるまで、継続する。

多数の試写画像を保存することができる場合、新しい試写画像は、ユーザが最終的な写真を撮るまでは、年代順の先入れ先出し（ＦＩＦＯ；Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）の一時的記憶装置に置かれるであろう。多数の試写画像を格納する理由は、最後の試写画像（すなわち任意の単一の試写画像）が、例えば、赤目補正処理あるいは本実施形態における中央ショット（mid-shot）のモード処理で、最終の高解像度画像と比較して、最良の参照画像でないかもしれないからである。多数の画像を格納することによって、より良い参照画像を得ることができ、また、後に論じられる整列段階で、試写と最終的に捕捉された画像間のより類似した整列を得ることができる。

さらに、カメラは、１つまたは複数の低解像度のポスト表示（post-view）画像を捕捉して一時的記憶装置８２中に格納することができる。ポスト表示画像は、主高解像度画像が捕捉された後にそれらが生じるという点を除いては、試写画像と同様に、本質的に低解像度画像である。

赤目検出及び補正フィルター９０は、カメラ２０あるいはデスクトップ・コンピュータ、カラー・プリンターまたはフォト・キオスク(kiosk)のような外部制御演算装置１０の一部には、不可欠になり得る。本実施の形態では、フィルター９０は、捕捉された高解像度デジタル画像を格納部８０から受信し、それを９２で分析して赤目を検出する。分析９２は、続く実施の形態に記述されるような本発明の原理に従って遂行される。赤目が発見されると、かかるフィルターは、９４で画像を修正し、周知の技術を使用して、画像から赤目を除去する。当該修正された画像は、画像表示部１００に表示され、内部記憶装置又はＣＦカード、ＳＤカード或いは同種のもののような着脱可能な記憶装置であり得る永続記憶装置１１２に保存されることができ、或いは、有線又は無線による画像出力手段１１０を介して他の装置にダウンロードされることができる。赤目フィルター９０は、フラッシュが使用されるとき毎に自動的に、あるいは入力３０を通じたユーザ要求の際に、作動させられることができる。別個のアイテムとして図示されたが、フィルター９０がカメラの一部である場合、それはプロセッサー１２０上の適切なソフトウェアによって実装され得る。

図２は、本発明による、赤目検出及び補正の実施形態の図１のカメラ及び／又は外部制御演算装置中のソフトウェアによって遂行されるステップのフローチャートである。

〔１．目の検出〕
本実施の形態の第１のステップ２００は、目を含むと疑われる画像の領域を識別するための目検出アルゴリズムを実行することである。そのようなアルゴリズムの例は、国際特許出願ＰＣＴ／ＥＰ２００６／００８３４２（Ｒｅｆ：ＦＮ１２８）号明細書及び２００６年１１月１０日に申請された米国特許出願第６０／８６５，３７５号明細書、２００６年１１月１３日に申請された米国特許出願第６０／８６５，６２２号明細書、及び、２００７年５月２日に申請された米国特許出願第６０／９１５，６６９号明細書（Ｒｅｆ：ＦＮ１８１／ＦＮ２０８）に記述され、その出力は、理想的には目を含むはずであるが誤検出（目でない領域）の可能性もある検出矩形である。さらに、たとえ検出矩形が目を含んでいる場合であっても、ほとんどの場合、その目は、欠陥の無いものであり、後の補正アルゴリズムによって修正されるべきでない。したがって、検出矩形は、補正を適用する前に、目でない及び正常な目の領域の両方を廃棄するためにフィルタリングされるべきである。

検出タスクの主な困難性は、（明るい赤からオレンジ、黄色、白、さらにはこれらの組み合わせまで、あらゆる色相をカバーする）色とサイズの両方の点から、赤目が広い種類に亘ることである。さらに、多くの場合では、欠陥は、色及び／又は強度の点から、均一にはほど遠い。したがって、全ての欠陥目に対する不変式、すなわち、実質的に全ての事例で該当する特性を見い出すことが目的となる。この特性は、欠陥がその近隣よりも明るく、一般に、より暗い輪に囲まれるということである。

したがって、欠陥の検出は、専ら、（赤及び緑の成分の平均として本実施形態中で計算された）強度画像上で行なわれ、その一方で、色情報は、補正について或いは欠陥領域でないことを決定するために、後の段階で使用される。

〔２．欠陥の検出〕
したがって、次のステップ２０２は、ステップ２００で目検出アルゴリズムによって生じた検出矩形の強度画像（図３ａ）を計算することを含む。

強度画像内の欠陥を検出するために、本方法は、欠陥に接近している近隣がより明るいという事実を活用する。しかしながら、強度画像の単なる閾値化によって欠陥を分離することを試みることは、成功の見込みがほとんどない。これは第１に、欠陥の可能性のある光度の範囲が広く、それゆえ、前述の閾値はいずれも、どのような場合でも目的通りに機能するように設定することができないからである。さらに、適応性のある閾値を使用すること、すなわち、局部的な強度情報に基づいて各事例の閾値を決定することも、一般に上手く行かないだろう。これは、以下のように説明することができる：あらゆる欠陥について、多くの場合、欠陥とその周囲（虹彩、まぶた）の間の境界は、明確に規定されることができない。図３ａは、この状況の非常に頻繁に生じる例を示すものであり、欠陥及び上眼瞼（まぶた）間の強度遷移は、特に欠陥及び虹彩間の遷移と比較して、あまり顕著ではない。これは、図３ａ中に見られる垂線に沿った強度プロファイルであり、欠陥と上眼瞼と虹彩との間の遷移強度をそれぞれ示す図３ｂ中の２つの点Ｐ１，Ｐ２で見られる。単純な閾値化によって欠陥を空間的に分離するために、大きな（図３ｂ中のＰ１による１６０よりも大きな）閾値が使用されなければならず、かかる閾値は、欠陥に属するすべてのピクセルの検出された領域における含有物を許可しないであろう。欠陥を空間的に分離する最低の閾値を用いて閾値化された欠陥の縮小された強度画像である図３ｃで見ることができるように、あまりにも大きな閾値の使用のために、検出された領域内に捕獲されない明るい輪が存する。

したがって、欠陥を周りから分離できるようにするために、より複合的な技術が発明された。それは、観測に基づくものであり、ほとんどの事例において、欠陥／周囲遷移が生じる強度を問わず、当該遷移は谷形（valley-shaped）に作られる。

〔２．１ 目区分化の平均値シフト〕
従って、ステップ２０４で、図３ａの強度画像は、平均値シフトのセグメント化の対象とされる。かかる平均値シフトの手続き（Ｄ．Ｃｏｍａｎｉｃｉｕ、Ｐ．Ｍｅｅｒ：平均値シフト：容貌空間分析への強健なアプローチ、ＩＥＥＥ Ｔｒａｎｓ． 図形分析機構知能、第２４巻、第５号、６０３−６１９、２００２年）は、多くの異なるタスクに使用され、その最も重要なものはクラスタリング（セグメント化）である。Ｎ−次元の分布を仮定すると、当該アルゴリズムの基本概念は、当該分布のモード（極大により定義されているモード）を識別することである。実例として、図４は、１Ｄ分布のモード識別の例を示すものであり、短い垂線は、１つのモードから次のモードの遷移を識別する。このアプローチは、それが最小値の点から始まり、局所の最大値の方へ展開するモードを構築するという点で、ボトムアップ型のアプローチである。各モードを識別するために、次の簡明な手続きが遂行される：
・ 当該分布の各点に対して、新たなモードが初期化される。その後、最大の勾配を持った隣接部が探求され、現在のモードに加えられる。
・ 最大の勾配が正数の場合、手続きは、新たに加えられた隣接部から開始するのと同一の方法で継続する。
・ 最大の勾配が負数の場合（すなわち現在の点が極大である場合）、手続きを停止する。
・ 手続き中に、最大の勾配により特徴づけられた隣接部が既に検査されていた（すなわち、既に、それは以前にモードに割り当てられていた）ならば、現在のモードに属する全ての点は、勝利を収めた隣接部（winning neighbor）のモードに割り当てられる。
・ 分布の全ての点がモードに割り当てられた場合、手続きを停止する。

この手続きは、一般に、分布（確率密度関数、すなわちヒストグラム）に適用される。ステップ２０４で、それが表面（２Ｄ分布と等価）であると見なして、強度画像上で直接適用される。強度画像が大きすぎる場合は、過剰区分化（あまりにも多くのモードの検出）を引き起こし得る小さな変化を縮小するために、局所のモードを抽出するに先立って、小さなカーネル（最大で５ｘ５）を用いて局所平均化することが適用され得る。

平均値シフトの強度セグメント化の結果が図５で示され、このうち、図５ａは、平均値シフトのセグメント化によって抽出された、極大限を備えた強度画像の疑似三次元メッシュであり、図５ｂは、セグメント化の結果として生じた領域を示し、図５ｃは、画像として表示された図５ｂ中の領域の極大値を示す。一つのものは、２つのものを観測し得る。第１に、予想通りに、目欠陥領域は、幾つかの極大値が欠陥領域の内部にあるという事実（図３ｂを参照されたい）により、欠陥サブセグメントと呼ばれる多数のセグメントへ分割される。この事例では、目欠陥に属する５つの欠陥サブセグメント（図５ｂ中の１〜５の付票が付けられたもの）がある。一方、当該欠陥は、その周囲から良好に分離される。すなわち、たとえ瞼と欠陥の２つの間の境界がいくつかのピクセルで非常に弱い場合でも、瞼は欠陥から分離される。

〔２．２ 欠陥サブセグメントの合併〕
次に、ステップ２０６で、目欠陥を構成する欠陥サブセグメントは、単一のセグメントへ合併される。

全ての欠陥サブセグメントを１つのセグメントへ合併することを可能にする観測は、一般に、これらのサブセグメントの極大値が、高い値であり、非常に高い強度領域へと共にグループ化されるということである。したがって、この高い強度の領域は、非常に高い閾値を備えた閾値化によって抽出され、一の実施例では、この領域の内部に位置され、それらの最大値を有する、強度にセグメント化された平均値シフトの全てのセグメントを識別する。セグメントを識別する他の基準は、セグメント領域の一部（例えば７５％以上）が、領域の内部に位置するか否かである。

かかるアルゴリズムは、以下のステップを有している：
１．以下の手続きによって、高い閾値を自動的に計算すること：
ａ． 図３ａの強度画像の内部の最大強度のピクセルを識別すること。
ｂ． そのピクセルを中心に、より小さな矩形を取得すること。矩形のサイズは、目検出矩形のサイズに依存する：ここで、目検出矩形の高さをＨとした場合に、例えば、Ｈ＜１００に対して１０ｘ１０、１００＜Ｈ＜２００に対して２０ｘ２０、Ｈ＞２００に対して３０ｘ３０である。図３（ａ）の例では、目検出矩形のサイズＨは２０ｘ２０である。
ｃ． より小さな矩形の内部のピクセルの平均強度を計算する。
ｄ． 上記の平均強度及び定量の合計に閾値を割り当てる。かかる定量は、発見的（ヒューリスティック）に決定され、また、本実施の形態中で使用される値は２５である。
２． 上記判定された閾値を当該強度画像に閾値化する−この結果は図６ａ中に示される。
３． 閾値化された画像における全ての接続された構成要素を識別する（図６ｂ）。これは、閾値化された画像中の接続されている全てのピクセルを各々のグループ６００ａ乃至ｆ（最小のグループらは付票されない）へリンクさせることを含む。
４． サイズが不適当である（例えば、それらが目検出矩形領域の０．１％未満か或いは該領域の４％よりも大きい）又は検出矩形の境界に触れる、接続された構成要素（すなわち図６ｂ中で付票されないグループ）を除去する（図６ｃ）。
５． それらの平均強度に関して残りの構成要素を順位付けし、上位２つだけを保持する。
６． ２つの構成要素の平均強度間の差異が著しい場合（例えば、それらの間の差異が、最大の平均強度の１０％を超過する場合）、最大の平均強度（intensity）を備えた構成要素が選択され、そうでなければ、最大の平均飽和値（saturation）を備えた構成要素が選択される（図６ｄ）。
７． 選択された構成要素の内部でその最大値が位置する（または選択された構成要素に関する全ての他の基準も満たす）画像について、平均値シフトでのセグメント化された全ての画像を識別する（図６ｅ）。
８． 強度画像中の全てのセグメントを合併し、他の全てのピクセルを廃棄する（図６ｆ）。

図５ｆに見られるように、この手続きによって決定された領域は、明るい欠陥のみならず、修正されるべきでない周囲に属するいくつかの部分（その全体が、以後は「拡張」欠陥と称される）も含んでいる。したがって、これらの部分は除去される（ステップ２０８）。

〔２．３ 最終的な欠陥の抽出〕
拡張欠陥から実際の欠陥を分離するために、ステップ２０８で、拡張欠陥に対応する強度画像の一部にヒストグラム閾値化技術を適用する。平均値シフトの区分化ステップ２０４は、拡張欠陥が欠陥以外に明るい部分を含まないことを保証するものであり、また、これはヒストグラム上の閾値の決定のために中央にある。かかる技術は、以下の通りである：拡張欠陥に対応する強度画像の一部の強度ヒストグラムが計算される。拡張欠陥のサイズが一般に小さいので、ヒストグラムはノイズを含む可能性が非常に高いであろう（すなわち多くの「スパイク」を含んでいる−図７ａを参照されたい）。したがって、閾値を計算するに先立って、それは、ｎ−ピクセルの広さの平均化したカーネルでそれを畳み込むことによって、平滑化される。当該カーネルの幅ｎは、発見的（ヒューリスティック）に選択されるものであり、本実施の形態ではｎ＝３１である。典型的には、平滑化の後、当該ヒストグラムは２峰性である（図７ａ中の滑らかな線を参照されたい）。図７ａ中の垂線によって示されるように、第１の顕著な最大値が決定され、次に、続く顕著な最小値が、求められた閾値として得られる。ここで留意すべきは、選択された最小値が２つのモード間の絶対最小値ではなく、極小値（local minimum）ということである：それは、（本実施形態では）左側に３つの隣接部を有し、右側に３つのより高い値を有している。さらに、それは、上記第１の最大値に続く第１の最小値である。閾値未満の強度を有する拡張欠陥中の全てのピクセルは、削除される。図７ｂは、上述のように計算された閾値を用いて図６ｆの画像が閾値化されることにより得られた結果を示す。残ったものは、補正を経なければならない可能性の高い実際の欠陥である。しかしながら、上述したように、検出された領域が実際の欠陥である可能性（尤度）に関する断定は、補正を適用するに先立って下される必要があるだろう。

〔３．フィルタリング〕
前の欄では、目検出矩形の内部の欠陥領域に対する最良の候補を識別する手続きが記述された。しかしながら、検出矩形は、誤判定（すなわち、目検出器によって誤って検出された目でない領域）の可能性もあり、あるいは欠陥の無い目を含んでいる可能性もある。このいずれの場合も、補正が適用されるべきではない。したがって、図７ｂの強度画像は、ステップ２１０でフィルタリングされ、上述された方法によって判定された当該欠陥領域が確かに目欠陥であるか否かを判定する。非欠陥目に対して検出された最も可能性のある欠陥候補は、目の白い部分（強膜）であり、それは検出矩形中で最も明るい領域である。それを修正することは、非常に重大な誤判定の結果となるものであり、したがってフィルタリングを経てはならない。

フィルター・ステップ２１０の後の指針は、実際の欠陥が以下の特性を有しているということである：
・ 円形であること；
・ 検出矩形の残部に比べてより飽和していること；
・ 検出矩形の残部に比べて黄色がかっている又は赤みがかっている（あるいはこの両方である）こと；
・ 輪郭が内側よりも暗いこと。

したがって、目欠陥候補領域が実際の欠陥であるか否かを判定するために、次のパラメーターが考慮に入れられる：
・ 領域の真円度（標準的な円形因子（すなわち面積比に対する平方の周囲）として計算されたもの）。
・ 領域及び検出矩形の平均飽和値；
・ 領域及び検出矩形の（赤みの平均程度を表わす）平均値ａ
・ 領域及び検出矩形の（赤色の平均程度を表わす）平均値ｂ
ａ及びｂのいずれも、Ｌａｂ空間における色の表現の座標である。
・ 領域の平均強度に対する領域の輪郭の平均強度の比率（この度合いは、最終欠陥についてではなく、拡張欠陥について１回のみ計算されたものである）

これらの手段に基づいて、ステップ２１０は、欠陥に伴う一般的な条件が満たされるかどうかを評価するために、多くのフィルター段階を含む。かかるフィルター段階は、ほとんどの欠陥が上に列挙された４つの特性の全てに合致するとは限らないことを考慮に入れる。したがって、上述した条件の各々は、他のもののコスト(expense）（すなわち他の特性に関するより厳密な条件を課すること）で、ある程度まで緩められることができる。例えば、検出された矩形の領域よりもわずかに小さな候補領域の平均飽和値は、領域が非常に丸く、非常に黄色いと規定されることが許容されること、などである。

〔４．補正〕
欠陥候補領域が全てのフィルターを通り、欠陥であると断定された場合、欠陥の強度（intensity）を減少させるべきであり、補正を経なければならない。しかし、多くの追加的な問題（すなわち、欠陥が閃光を含み得るという事実、及び、さらに欠陥の内部のピクセルの強度の減少は、領域の境界で不快なアーチファクトを作り得るという事実）にも対処されるべきである。

〔４．１ 閃光検出〕
従って、閃光検出フィルターは、ステップ２１２で適用される。一般に、閃光は、当該欠陥の残部と比較して、より明るく且つより飽和が少ない領域である。従って、閃光検出フィルターは、以下のステップを適用する：
・ 検出された欠陥領域の最も明るいｎ％の地点を検出すること。
・ 検出された欠陥領域の最も飽和が少ないｍ％の地点を検出すること。
ｍとｎの両方は、当該欠陥領域がより大きく、閃光によって占められた領域がより小さい、との観測結果に基づいて、欠陥領域のサイズの関数として選定される。さらに、ｎ＞ｍの場合は、言い換えると、幾つかの欠陥において、閃光よりも明るい欠陥の部分があるので（例えば１００〜３００のピクセルを有する欠陥に対して、ｍ＝１５，ｎ＝３０などの場合）、飽和が最小であるピクセルよりも、より明るいピクセルの方の検査を許可する。
・ 当該２セットの地点を交差すること。
・ 当該交差点の接続された構成要素を識別すること。
・ より飽和が少ない１つを候補閃光として選定すること。
・ 選択された領域が十分に円形（アスペクト比と充填率の両方の点から評価されている真円度）である場合、それは、閃光と断定され、したがって、修正される領域から除去される。

〔４．２ 欠陥の補正〕
閃光検出の後に、補正される領域は利用可能である。その後、ステップ２１４で、検出された欠陥の内部のピクセルの強度を固定係数（例えば５）により減少させることにより（この場合、１２０から２４へ、２１０から４２へ、１０９から２２へ、など）、補正を開始する。欠陥境界でのアーチファクト（欠陥境界の一方の横側に位置されたピクセルらが非常に異なった扱いをされるという事実によって作られるアーチファクト）を減らすために、欠陥領域を暗くした後、欠陥の内部及び外部の境界で３ｘ３のぼかしが適用される。さらに、適用される他の補正は、欠陥を取り囲む小さな境界枠内での赤色補正である。その目標は、当該欠陥領域に含まれており、取得されない目の赤みがかった部分であり、かかる処理をしなければ依然として多くの場合において見えるままである部分を除去することである。

本発明は、ここに記述された実施の形態（ら）に制限されるものではなく、本発明の範囲を逸脱することなく変更あるいは修正されることが可能である。

Claims (12)

1. 目を含んでいるデジタル画像における赤目欠陥を検出する方法であって、
   （ａ）下記（ｉ）及び（ｉｉ）を含み、前記デジタル画像を強度画像に変換するステップ：
   （ｉ）前記強度画像を局所平均化の対象とすること、及び、
   （ｉｉ）前記強度画像をモード識別の対象とすること
   （ｂ）前記強度画像を、各々局所的な最大の強度を有するセグメントにセグメント化するステップと、
   （ｃ）各々のセグメントに対応する前記デジタル画像の部分を閾値化し、相対的に高い強度の領域を識別するステップと、
   （ｄ）ステップ（ｃ）の少なくとも幾つかの領域のうち最大の平均強度を有する領域を選択するステップと、
   （ｅ）予め定められた基準に従って、ステップ（ｄ）で選択された領域と交差するステップ（ｂ）からのセグメントを識別するステップと、
   を含む方法。
2. 予め定められた範囲内に入るサイズを有するステップ（ｃ）からの領域らを識別することをさらに含み、
   前記最大の平均強度の領域は、前記領域らから選択される請求項１記載の方法。
3. ステップ（ｅ）は、ステップ（ｄ）で選択された領域内に最大値が位置される、ステップ（ｂ）からのセグメントらを識別することを含む請求項１記載の方法。
4. 最大の及び次に大きい平均強度を有するステップ（ｃ）からの２つの領域の平均強度の相異が予め定められた量を越え、
   ステップ（ｄ）で選択された領域は、最大の平均強度を有する領域である請求項１記載の方法。
5. 最大の及び次に大きい平均強度を有するステップ（ｃ）からの２つの領域の平均強度の相異が予め定められた量未満であり、
   ステップ（ｄ）で選択された領域は、最大の平均飽和値を有する領域である請求項１記載の方法。
6. 前記モード識別は、平均値シフトセグメント化を含む請求項１記載の方法。
7. 前記局所平均化は、前記平均値シフトセグメント化に先立って遂行される請求項６記載の方法。
8. ステップ（ｃ）は、
   前記強度画像内の最大強度のピクセルを識別することにより得られた閾値を使用し、
   前記最大の強度ピクセルを中央としたより小さな矩形の内部のピクセルの平均強度を計算し、
   定量と前記平均強度との合計値に前記閾値を割り当てる請求項１記載の方法。
9. （ｆ）ステップ（ｅ）からのセグメントに対応する強度画像の一部分の強度ヒストグラムを計算するステップと、
   （ｇ）前記ヒストグラムを平滑化するステップと、
   （ｈ）前記平滑化されたヒストグラムから閾値を決定するステップと、
   （ｉ）ステップ（ｈ）からの閾値で前記強度ヒストグラムを閾値化するステップと、
   をさらに含む請求項１記載の方法。
10. ステップ（ａ）及び（ｂ）は、目を含むと疑われた画像の一以上の部分に適用される請求項１記載の方法。
11. 請求項１に規定された方法を遂行するための手段を含むデジタル画像の収集／処理装置。
12. 請求項１乃至１０のいずれか記載の方法を遂行するためにプロセッサをプログラミングするように埋め込まれたコードを有する非一時的なプロセッサ可読デジタル記憶媒体。

Images