JP4428737B2

JP4428737B2 - 赤目検出方法

Info

Publication number: JP4428737B2
Application number: JP24327598A
Authority: JP
Inventors: エスシルトクラウトジェイ; ティーグレイロバート; ルオジエボ
Original assignee: イーストマンコダックカンパニー
Priority date: 1997-08-29
Filing date: 1998-08-28
Publication date: 2010-03-10
Anticipated expiration: 2018-08-28
Also published as: EP0899686A2; US6292574B1; JPH11136498A; EP0899686A3

Description

【０００１】
【発明の属する技術分野】
本発明は概してディジタル画像処理の分野に関し、更に特定的にはディジタル画像中の赤目を検出する方法に関する。
【０００２】
【従来の技術】
画像の捕捉のためにフラッシュ照明が使用されるとき、画像の中の人の瞳孔は赤く見えることがある。これはフラッシュユニットからの光が瞳孔に入り、網膜上で色々な向きに反射し、最後に瞳孔を通って外に出ることによって生ずる。光は部分的に網膜の中の毛細血管によって吸収されるため、瞳孔は画像の中で赤く見える。この現象は「赤目」と称される。赤目が認められる確率はフラッシュユニットがレンズの光学軸に近いほど増加する。従って、赤目は一般的に一体型のフラッシュユニットを有する小型カメラによって捕捉された画像の中に認められる。
【０００３】
共通に譲受される米国特許第５，４３２，８６３号は、赤目の色特徴を有する画像中の対象を検出するユーザ対話型の方法を記載する。この方法は形状、色彩及び明るさに基づいて候補赤目画素を自動的に検出する。
【０００４】
【発明が解決しようとする課題】
現在知られている赤目を検出する方法は充分であるが、欠点が無いわけではない。米国特許第５，４３２，８６３号の方法は候補画素が顔の上に配置されている、又は人間の目の一部であるかを決定しない。
従って、上述の欠点を克服する赤目を検出する方法が必要とされる。
【０００５】
【課題を解決するための手段】
本発明は上述の１つ以上の問題を克服することを目的とする。簡単に要約するに、本発明の１つの面によれば、フラッシュ照明による画像中の対称の目の色の欠陥を検出するためのコンピュータプログラム物であって、（ａ）ディジタル画像中の肌色領域を検出する段階と、（ｂ）赤目欠陥の色特徴を有する画素の組に対して肌色領域をサーチする段階と、（ｃ）上記段階（ｂ）において見出された赤目欠陥の位置に基づいて画素の色を修正する段階とを実行するコンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体を含むコンピュータプログラム物が提供される。
【０００６】
本発明は赤目欠陥を自動的に検出する方法を提供することを目的とする。
本発明は候補赤目欠陥が人間の顔の一部であるかどうかを決定する方法を提供することを目的とする。
本発明はまた候補赤目欠陥が人間の目の一部であるかどうかを決定する方法を提供することを目的とする。
【０００７】
【発明の実施の形態】
本発明の上述及び他の面、目的、特徴及び利点は以下詳述される実施例及び添付の図面を参照して明らかとなろう。以下の説明において、ソフトウエアプログラムとしての望ましい実施例によって本発明を説明する。当業者はそのようなソフトウエアの等価物がハードウエア中に構築されうることを容易に認識するであろう。
【０００８】
図１は２対の赤目２０を示すカラー画像のグレースケール画像１０を示す図である。
図２を参照するに、本発明のフローチャートの全体図が示されている。カラーディジタル画像は従来技術によって周知のコンピュータシステム上に存在するソフトウエアプログラムに入力される。ディジタル画像の符号値は元のシーンによる画像を捕捉するのに使用されるフィルムの露出の量の対数に正比例することが望ましい（Ｓ２）。プログラムは画像中の全ての別個の連続した肌色領域を同定することから開始する（Ｓ４）。
【０００９】
図３を参照するに、図２のステップＳ４の詳細なフローチャートが示されている。まずカラー画像の赤、緑及び青の値は、Ｒ，Ｇ及びＢを夫々カラー画像中の画素の赤、緑及び青の符号値とすると、以下の関係式：
【００１０】
【数１】

【００１１】
を使用してＬＳＴカラー空間へ変換される（Ｓ４ａ）。
次のステップでは３次元のヒストグラムが構築される。ヒストグラムの大きさを減少させるため、まず、Ｌ，Ｓ及びＴの符号値は、夫々８．０ｘ（３）^1/2，２．０及び２．０で割り算されることによって量子化される（Ｓ４ｂ）。これらの量子化された符号値はＬ’，Ｓ’及びＴ’と称される。Ｌ’，Ｓ’及びＴ’の各組み合わせはヒストグラムの「ｂｉｎ」と称される。ヒストグラムＨ（Ｌ’，Ｓ’，Ｔ’）の値は（Ｓ４ｃ）、Ｌ’，Ｓ’及びＴ’の量子化された符号値を有する画像中の画素の数に等しい。換言すれば、ヒストグラムによって各ｂｉｎに属する画像中の画素の数が分かる。この数はｂｉｎの値と称される。
【００１２】
ヒストグラムは、各ｂｉｎの値をそのｂｉｎの値と隣接するｂｉｎの値との加重平均によって置き換えることによって平滑化される（Ｓ４ｄ）。次に、ヒストグラム中のピーク値が見つけられ（Ｓ４ｅ）、ヒストグラム中の各ｂｉｎは最も近くに配置されるピーク値が割り当てられる（Ｓ４ｆ）。最後に、カラー画像中の各画素はヒストグラムのｂｉｎに割り当てられており、各ｂｉｎはピークに割り当てられているため、ピークはカラー画像中の各画素に割り当てられる（Ｓ４ｇ）。画素の符号値がそれが割り当てられたピークの数に等しい単一帯域画像はセグメント化された画像と称される。
【００１３】
同一の符号値を有するセグメント化された画像中の連続領域はカラー画像中の対象又は対象の一部に対応しやすい。固有の番号（ラベル）はセグメント化された画像中の全てのそのような領域に割り当てられる（Ｓ４ｈ）。番号は、最も多くの画素を有する領域に対して割り当てられる１から始まり、順次的に割り当てられる。符号値が画素の属する領域のラベルに対応する単一帯域画像はラベル付けされた画像と称される。
【００１４】
プログラムは次にセグメント化された画像中のどの連続領域が人間の肌の典型的な色を有するかを決定する。各領域の平均Ｌ，Ｓ及びＴ符号値が計算され、これに基づいて各領域にはスコアＰ_skinが割り当てられる（Ｓ４ｉ）。Ｐ_skinの高い値はその領域が人間の肌の典型的な色であることを示す。或いは、低い値はその領域の色が典型的な肌の色ではないことを示す。Ｐ_skinが閾値Ｔ_skin０．１０を超過する領域は肌色領域と称される（Ｓ４ｊ）。
【００１５】
カラー画像中の夫々の顔を単一の肌色領域に関連づけるために、１つの最終的な段階が必要である。上述の方法は、しばしば顔のつや、影等により顔の色が均一でないことにより、単一の顔を１つ以上の肌色領域に関連づけさせることがある。２つの肌色領域は２つの条件が満たされれば単一の肌色領域の中にマージされる（Ｓ４ｋ）。第１の条件は、２つの領域が相互連結されることである。領域ｉ中の画素は、領域ｊに属する画素が８つの最も近傍の画素のうちの１つであれば、領域ｊに対して連結されている。領域ｉ及びｊの画素の間の連結の数に正比例する関数Ｑ（ｉ，ｊ）が計算される。関数はＱ（ｉ，ｊ）が１．０となるよう正規化される。Ｑ（ｉ，ｊ）が閾値MinMergerFraction を超過すれば、第２の条件が満たされれば、例えば閾値０．００５が使用されれば、ｉ及びｊは単一の領域中にマージする。第２の条件は、
Ｄ_color＝（（Ｌ_i−Ｌ_j）²＋（Ｓ_i−Ｓ_j）²＋（Ｔ_i−Ｔ_j）²）^1/2
によって与えられる領域ｉ及びｊの色の間の距離が、４０．０に設定されるMaxMergeColorDistance 以下にされることである。
【００１６】
肌色領域をマージする方法は、２つの条件が満たされる場合に、最小の領域をより大きな領域にマージすることから開始する。領域ｉがより大きな領域ｊにマージされる場合、次に領域ｊが更に大きな領域ｋにマージされることが起こりうる。これが起こるとき、領域ｉ，ｊ及びｋは単一の領域にマージされる。領域ｉ及びｋは、これらの２つの領域について上述の２つの条件が満たされない場合でもマージされうることに注意すること。これらは領域ｊに対する相互連結によってマージされる。
【００１７】
肌色検出の結果としてカラー画像中に肌色領域のマップが与えられる（Ｓ４ｌ）。肌色でない領域はゼロの符号値が与えられる。別個の連続した肌色領域は番号１から始まって領域の大きさの降順に連続して番号が付けられる。図４は図１の肌色領域のマップを示す図である。
図２を参照し、また図５に図示されるように、各肌色領域のサブマップは肌マップ（図４）からその肌領域全てを含む最小の矩形セクションを切り出すことによって形成される（Ｓ６）。例えば、図５の肌領域３０ｂは図４の肌領域３０ａに対応する。図５は夫々の別々の連続する肌色領域を個々のサブマップとして示す図である。サブマップの左上の隅に対応する肌マップの列及び行は夫々Col _cutout及びRow _cutoutと称される。サブマップでは、２５５の値（白）は画素が肌色が存在する位置に配置されていることを示す。ゼロの符号値（黒）は肌色がないことを示す。
【００１８】
図２を参照し、図６に示されるように、次の段階において楕円形３５はステップＳ６において見つけられた個々の肌色サブマップに当てはめられる（Ｓ８）（図５）。楕円形を２値画像に当てはめる方法は、１９９２年Addison-WesleyからのRobert M. Haralick 及びLinda G. Shapiroによる「Computer and Robot Vision. Volume I 」に記載されている。人間の顔はほぼ楕円形である。従って、肌色サブマップが人間の顔のものであれば、楕円は肌色マップによく当てはまり、楕円の短軸は顔の幅にほぼ等しくなるべきである。楕円形の肌色サブマップへの当てはめの尺度は、Ｎをマップ中の肌色画素（符号値２５５）の数、Ｎ_outを楕円形の外側になる肌色画素の数、Ｎ_inを楕円形の内側の肌色画素の数、またＡを楕円形の中の画素の数とすると、
【００１９】
【数２】

【００２０】
によって与えられる。Ａは楕円形の面積とも称される。肌色画素の全てが楕円形の中にあり、肌色画素の数が楕円の面積と等しければ、Ｆｉｔは１となり、当てはめは完全である。肌色画素が楕円の外側にある、又は楕円の面積がその中の肌色画素の数以上であるとき、Ｆｉｔの値は減少される。Ｆｉｔの値が０．７０とされる所定の値MinEllipseFit 以下であれば、肌色領域は顔ではなく、それを更に処理しないものとする（Ｓ１０）。
【００２１】
肌色サブマップが顔のサブマップであるかどうかの他の印は、Ｄ_majorを楕円形の長軸とし、Ｄ_minorを画素中の短軸とすると、
AspectRatio ＝Ｄ_major／Ｄ_minor
に与えられる楕円形のアスペクト比AspectRatio である。AspectRatio が３．０とされるMaxAspectRatio以上であれば、肌色領域は顔であるには細長すぎる画像中の対象に対応する。プログラムは肌色領域が顔ではないと決定し、これを更には処理しない（Ｓ１０）。
【００２２】
肌サブマップが楕円形に対する許容可能な当てはめの度合いを有し、楕円形が許容可能なアスペクト比を有する場合、マップは潜在的に顔の位置を示す。次に、７５ピクセルに設定されるAimEyeDistanceを目の間の所望の距離とし、２．０に設定されるFaceWidthEyeDistanceRatio を典型的な顔に対する幅と目の間の距離との比とすると、以下の式、
Ｓ_prescale＝（AimEyeDistance x FaceWidthEyeDistanceRatio）／Ｄ_minor
によって与えられるリサイズ係数Ｓ_prescaleを計算する。Ｓ_prescaleが０．１０であるMinPrescale 以下であるか、又は１．５０であるMaxPrescale 以上であれば、肌色領域は更には処理されない（Ｓ１０）。次の段階は、カラー画像からサブマップの位置に正確に対応する副カラー画像を切り出す段階である（Ｓ１２）。楕円形の短軸が顔の幅と略等しければ顔の中の目の間の距離はAimEyeDistanceに近いはずである。図７はこのようにしてリサイズされた後の副カラー画像４０を示す図である。図７はグレースケールの図として示されているが、実際の画像はカラー画像であることに注意すべきである。図８はやはりリサイズされており（Ｓ１４）副カラー画像の夫々に対応する楕円形５０を示す図である。実際は、これらの画像が更に処理されたときに境界外の画素がアドレス指定されないよう、リサイズされた副カラー画像及びサブマップの縁に余分な行及び列を加えることが望ましい。画像の上部及び下部はパッド行によって埋められ、左側及び右側はパッド列によって埋められる。
【００２３】
ここで顔の形状を有する肌色領域が同定されており、候補赤目の位置は同定される必要があり（Ｓ１６）、これは図９に詳細に図示される。ここで図９を参照するに、副カラー画像４０は小さな赤い特徴を同定するよう処理される。プログラムは、Ｒ，Ｇ及びＢを副カラー画像の赤，緑及び青の符号値とすると、
Ｘ＝Ｒ−Ｍａｘ（Ｇ，Ｂ）
によって与えられる画素値Ｘを有する新しい単一帯域画像を決めることによって開始する（Ｓ１６ａ）。
【００２４】
新しい画像の中の赤目は、高い符号値と、多分瞳孔の中のきらめき（glint ）による中心の小さな低い符号値の領域とを有する小さな楕円形の面積として現れる。きらめきの影響は、例えば３ｘ３のカーネルといったW ＿close x W ＿close のカーネルを使用することによってグレースケールの形態学的クローズ操作を実行することによって除去される（Ｓ１６ｂ）。また、３ｘ３以外の他の大きさのカーネルも使用されうる。グレースケールの形態学的操作は１９８２年にAcademic Press 社から出版されたJean Serra による「Image Analysis and Mathematical Morphology Volume 1 」の第４２４乃至４７８頁を参照のこと。次に、高い符号値の小さな領域は、例えば５ｘ５のカーネルといったW ＿open x W＿openのカーネルを使用することによってグレースケールの形態学的オープン操作を実行することによって除去される（Ｓ１６ｃ）。また５ｘ５以外の他の大きさのカーネルも使用されうる。残りの画像を形成するよう、オープン画像は次にクローズ画像から引き算される（Ｓ１６ｄ）。この画像はオープン画像の中にあったのものを示すが、クローズ画像の中のもの、即ち、副カラー画像中の小さな赤い特徴に対応する高い符号値の小さな領域は示さない。次に、残りの画像は以下のカーネル、即ち、
１２１
２４２
１２１
を有する線形フィルタを使用して平滑化される（Ｓ１６ｅ）。平滑化された残りの画像中の各画素に対して、その画素を中心として配置された７ｘ７の窓が検査される。この画素の符号値が、５に設定された閾値Ｔ_peakを超過し、窓の中の他の全ての画素の符号値以上であれば、その画素はピークとして分類される（Ｓ１６ｆ）。図１０の（Ａ）及び（Ｂ）は図７中の全ての副カラー画像に対するピーク３７を示す図である。平滑化された残りの画像の中の全てのピークが見つけられたあと、個々のピークが検査される（Ｓ１６ｇ）。まず、画素がピークであると分類され、この画素の西、北西、北又は北東側にある隣接する画素もまたピークであると分類されたとき、ピークは除去される（Ｓ１６ｈ）。
【００２５】
ピークとして分類された画素は候補赤目画素である。しかしながらピークの位置が瞳孔の中のきらめきと一致し、赤い欠陥ではないことも可能である。このため、ピークからの２に等しい距離GlintRadius より内側の画素が検査される（Ｓ１６ｉ）。候補赤目画素は以下定義される最高の色スコアＰ_colorを有する近傍の画素へ移動される。
【００２６】
次に、候補赤目画素は類似した色の画素の連続領域を成長させるための種（ｓｅｅｄ）として使用される。領域内の画素の数がMinSize より小さいか、MaxSize より大きければ、領域は赤目欠陥の特徴である大きさではなく、候補赤目画素は除去される（Ｓ１６ｊ）。
上述の処理の結果として、各副カラー画像１６ｋに対する候補赤目画素のマップが得られる（Ｓ１６ｋ）。図８の楕円形は、潜在的に顔であると同定された図７の対応する副カラー画像中の領域の近似したマップである。従って、図１１に概説される次の段階の目の検出では、楕円の内側にある候補赤目画素のみが考慮される。
【００２７】
再び図２を参照するに、目の検出の目的は候補赤目画素が実際に目の一部であるかどうかを決定することである。目の検出の手順はカラー画像の単色版を必要とする（Ｓ１８）。Ｇを緑帯域の符号値とし、γを２．０に設定されるパラメータとすると、カラー画像の緑帯域は、緑画素符号値を以下の式、即ち、
【００２８】
【数３】

【００２９】
を使用して変形することによってコントラストが増加された後に使用される。カラー画像の単色版はルミナンス画像と称される。
図２中の目の検出手順Ｓ２０はテンプレートマッチングの方法に基づく。これは目のどの画像もテンプレートとして使用されうることに注意することによって理解が容易にされる。図１２の上の画像６０は左目のテンプレートを示す。下の画像７０はテンプレートのゾーンへの分割を示す。ゾーン１は眉毛の領域である。ゾーン２及び３は夫々目の左側及び右側である。ゾーン４は瞳孔及び虹彩を含む。ゾーン０は使用されない。目のテンプレートは、目の間の距離が３０６ピクセルのTemplateEyeDistance であり、２つの目の傾斜がゼロに近い画像から得られた。上述のように、リサイズされた副カラー画像中の１対の赤目は約AimEyeDistance（７５ピクセル）だけ離れているはずである。従って、テンプレートが一致するよう正しい大きさであるためには、目は以下の係数、即ち、
Ｓ₀＝ AimEyeDistance ／ TemplateEyeDistance
によってリサイズされねばならない。
【００３０】
実際は、楕円形の短軸からの顔の幅の推定は常に正確ではない。また、目は傾斜されうる。このため、元の左目のテンプレート及びゾーンマップから開始し、広がった範囲の大きさ及び向きの左目、右目（左目の鏡像）及びゾーンマップが形成される（Ｓ２２）。元の目のテンプレート及びゾーンマップはＳ₀x NarrowからＳ₀x wideまでSStep の増分でリサイズされる。Narrow, Wide及びSStep の望ましい値は夫々１．５，０．５０及び０．０５である。各リサイズ係数に対して傾斜を適応させるために、TStep 度の増分の-MaxTilt度（時計回りの傾斜）からMaxTilt 度までの範囲の一連の傾斜されたテンプレート及びゾーンマップが生成される（Ｓ２２）。MaxTilt の望ましい値は３０°であり、TStep の望ましい値は２．０°である。
【００３１】
図１１を参照するに、図２のステップＳ２０の詳細なフローチャートが示されている。左及び右赤目対に属すると仮定される１対の候補赤目画素を考える（Ｓ２０ａ）。元の目のテンプレートに対する目の縮尺は、Ｌ_p（Ｒ_p）を左（右）の候補赤目画素の列であるとし、Ｌ_l（Ｒ_l）を左（右）の候補赤目画素の行であるとすると、以下の関係式、即ち、
【００３２】
【数４】

【００３３】
によって候補赤目画素対の間の距離と関連づけられる（Ｓ２０ｂ）。（列の番号は１から開始し、左から右へ増加する。行の番号は１から開始し上から下へ増加する）。候補赤目画素の間の傾斜（Ｓ２０ｂ）は、
【００３４】
【数５】

【００３５】
によって与えられる。
上述のように、目のテンプレート及びゾーンマップの組は、SStep の解像度のＳ₀x NarrowからＳ₀x wideまでのリサイズ係数の範囲及び解像度TStep で-MaxTilt度（時計回りの傾斜）からMaxTilt 度までの範囲に広がるよう形成される。候補赤目画素の対に対するＳ_pair及びTiltの値に最もよく一致する左目テンプレート、右目テンプレート及びゾーンマップは続く相関段階で使用される。Ｓ_pair及びTiltがこの範囲外であれば、この対は更なる処理をされない（Ｓ２０ｃ）。
【００３６】
目のテンプレートが選択された後、次の段階では赤目画素の周囲の領域が目に一致するかどうかが決定される。これはルミナンス画像の左の候補赤目画素の周囲の領域で左目テンプレートの相関を、右の候補赤目画素の周囲の領域で右目テンプレートの相関を実行することによって行われる（Ｓ２０ｄ）。相関方法の１つの段階は、テンプレート及びルミナンス画像の画素を一致させ、それらの符号値の積を計算することである。テンプレート画像の中心は目の中心に対応する。候補赤目画素は目の中心に近いが、目の中心にある必要はないため、ここでは候補赤目画素の回りに３に等しい距離LookAroundに亘って広がる方形の中の全ての画素に一致されるテンプレートの中心に対して数回相関を行う。相関はテンプレートのゾーン１からゾーン４に対して別々に行われる（図１２参照）。これらの相関はＣｚ１，Ｃｚ２，Ｃｚ３及びＣｚ４と称される。更に、ゾーン１からゾーン４までの合計からなる領域に対して全体の相関が計算される。全体の相関Ｃの最も高い値を有する候補赤目画素の周囲の方形の中の画素は、候補赤目画素を含む目の中心の最もよい推測である。この画素は目の中心の画素と称される。左及び右の候補赤目画素は共に関連する目の中心の画素を有する。
【００３７】
ここで相関処理を詳述する。ｐを列の番号とし、ｌを行の番号とすると、テンプレート画像は関数Φ（ｐ，ｌ）によって示される。テンプレートの中の列及び行の番号は夫々ｗ及びｈである。目のテンプレートの中心は略目の中心の位置である。テンプレートのゾーンは、ｐ∈Ｚが列ｐがゾーンＺにあることを意味し、ｌ∈Ｚが行ｌがゾーンＺにあることを意味し、Ｎ_Zはゾーンの中の画素の数であるときに、
【００３８】
【数６】

【００３９】
によって与えられる積Πによって、列ｐ₀及び行ｌ₀においてΓ（ｐ，ｌ）によって示されるルミナンス画像と相関される。また、
【００４０】
【数７】

【００４１】
によって与えられるゾーンＺの中のテンプレートの平均符号値が計算される。更に、ゾーンＺの中のテンプレートの標準偏差は、以下の式、
【００４２】
【数８】

【００４３】
によって計算される。同様に、ゾーンＺの中のルミナンス画像の平均符号値は以下の式、
【００４４】
【数９】

【００４５】
によって計算され、標準偏差は以下の式、
【００４６】
【数１０】

【００４７】
によって計算される。
上述によって定義された量を使用して、ルミナンス画像のゾーンＺの中のテンプレートとの相関は、以下の関係式、
【００４８】
【数１１】

【００４９】
によって与えられる。画像及びテンプレートの符号値がゾーン１の中で全く同じであれば、Ｃ_Zは１．０となる。画像及びテンプレートが完全に相関されていなければＣ_Zはゼロとなる。
目の中心の画素に対するＣ，Ｃ_Z1，Ｃ_Z2，Ｃ_Z3及びＣ_Z4の値は、候補赤目画素の対が副カラー画像中の赤目欠陥の一部である可能性の尺度であるスコアの計算に使用される（Ｓ２０ｅ）。相関は夫々０．０乃至１．０の範囲の関連するスコアリング関数の中の変数として使用される。例えば、目の中心の画素に対するＣの値が画素が実際に目の中心に配置されている可能性が非常に低いことを示す場合、ｐＣ（Ｃ）と称される全体の相関Ｃに関連するスコアリング関数は０．０となる。一方、Ｃの値が目のテンプレートの相関の典型的な範囲である場合、ｐＣ（Ｃ）は１．０となる。そうでなければ、ｐＣ（Ｃ）は中間値を取る。スコアリング関数ｐＣ（Ｃ）及び後述される他のスコアリング関数は図１３に示される。
【００５０】
後に候補赤目対に対する全体のスコアと組み合わせられるスコアはこれらのスコアリング関数に基づいて定義される。以下の式は全体の相関Ｃに関するスコアＰ_corrを、
Ｐ_corr＝ｐＣ（Ｃ）
として簡単に定義する。ゾーン相関に関連するスコアＰ_zoneはゾーン相関スコアリング関数の加重平均である。ゾーン４（瞳孔）の中の相関は目の存在に関して他のゾーンよりもはるかに信頼できる指標であることが分かっている。このためゾーン４の相関は他のゾーンよりも多くの重みをあたえられている。典型的には、重みＷを６．０とする。Ｐ_zoneは、
【００５１】
【数１２】

【００５２】
によって与えられる。
全体の相関Ｃの計算過程において計算された
【００５３】
【外１】

【００５４】
は、目の中心の画素に中心を合わせられたルミナンス画像の中の特徴が実際に目であればよい指標であることが分かっている。例えば、
【００５５】
【外２】

【００５６】
が非常に低ければ、特徴が目であるには低すぎるコントラストを有する。これを考慮したうえで、
【００５７】
【外３】

【００５８】
に関連するスコアを、
【００５９】
【数１３】

【００６０】
によって定義する。
最後に、候補赤目画素の色は実際の赤目欠陥を示すものでなくてはならない。この計算のために、候補赤目画素の赤、緑及び青の符号値はルミナンス（Lum ）、色調（Hue ）及び飽和（Sat ）の値に変換される。ルミナンスは、
【００６１】
【数１４】

【００６２】
によって計算される。画素の対するLum の値はゼロから可能な限り高い符号値までの範囲を取る。飽和は以下の式、
【００６３】
【数１５】

【００６４】
によって与えられ、０から１００までの値の範囲を取る。色調は、赤色は１２０度の色調角へ変位される以外は、Addison-Wesley Publishing Company 出版の「Computer Graphics Principles and Practice 2nd ed. 」の第５９２頁と同様に定義される。Hue の値は０乃至３６０度の範囲を取りうる。候補赤目画素の色に関連するスコアは、
Ｐ_color＝pL(Lum)pH(Hue)pS(Sat)
によって定義される。
【００６５】
結果は、候補赤目画素が実際に画像中の赤目欠陥の一部である可能性を示すスコアＰ_eyeである。このスコアは、
Ｐ_eye＝Ｐ_corrＰ_zoneＰ_sigmaＰ_color
によって定義され、その値は０．０から１．０までの範囲を取る。対の中の左び右の候補赤目画素の両方に対して良さの尺度Ｐ_eyeが計算される。これらの２つの値の平均は、
【００６６】
【数１６】

【００６７】
によって与えられる。Ｐ_pairが最大となる候補赤目画素の対は候補赤目画素の最善の対と称される（Ｓ２０ｆ）。Ｐ_pairが０．０５である閾値MinEyeScore を超過すれば、プログラムは更なる処理を行う。そうでなければ、プログラムは副カラー画像の中に１対の赤目がないと決定する（Ｓ２０ｇ）。
カラー画像中の赤目欠陥を有する対の一部でない候補赤目画素の最善の対が誤って分類される確率を最小化させることが重要である。赤目の対が実際に配置されていることを確かめる１つの方法は、人間の顔が顔を二分する線に対して略対称であることを使用することである（図２のＳ２４）。これを行うため、副カラー画像は候補赤目画素の最善の対を連結する線の傾斜が略ゼロであるよう回転される。次に、副カラー画像から目の間の中点を中心とされた画像が切り出される。この画像は候補赤目画素の間の距離の１．５倍の幅と、その幅の４分の１の高さを有する。この画像は次に半分に切断される。ここで添え字ｘはカラー画像の帯域を示すとすると、左半分の画像は、Ｅ^x _left(p,l) と称され、右半分の画像は、Ｅ^x _right(p,l) と称される。例えば、Ｅ^r _left p,l)は画像の赤の帯域を示す。右半分の画像の中の列はそれ自体の構造となるよう反転される（最初の列が最後の列になる等）。Ｅ^x _left(p,l) とＥ^x _right(p,l) との相関はまず、p 及びl に亘る総和は夫々半分の画像の列及び行の全てに対するものであり、Ｎは半分の画像の中の画素数であるとして、積の和、即ち、
【００６８】
【数１７】

【００６９】
を計算することによって実行される。相関は、Ｍ^x _left及びＭ^x _rightを半分の画像の帯域ｘの平均符号値とし、σ^x _left及びσ^x _rightを標準偏差とすると、
【００７０】
【数１８】

【００７１】
によって与えられる。スコアＰ_symは対称スコアリング関数pSym（Ｃ^xsym ）に基づいて、
Ｐ_sym＝pSym（Ｃ^rsym ）pSym（Ｃ^gsym ）pSym（Ｃ^bsym ）
によって定義される。
最終的なスコアＰは端にＰ_sym及びＰ_pairの積、即ち、
Ｐ＝Ｐ_symＰ_pair
である。この０．０から１．０までの範囲を取りうるスコアが０．０５に設定されている閾値MinScoreを超える場合（Ｓ２６）、候補赤目対はリサイズされた副カラー画像の中の赤目欠陥の対の位置をマークすると考えられる。
【００７２】
最後に、原カラー画像の中の左及び右の赤目欠陥の位置は、p 及びl をリサイズされた副カラー画像中の左の候補赤目画素の列及び行とし、p'及びl'を原カラー画像中の対応する位置とすると、以下の関係式、
【００７３】
【数１９】

【００７４】
を使用してリサイズされた副カラー画像の左及び右の候補赤目画素に基づいて計算される（Ｓ２８）。
時々、楕円形に当てはめられた後の２つの異なる肌領域が重なり合う、又は互いに非常に近接することがある。これによって、同じ赤目対が２回見つけられる、又は互いに近すぎる２つの赤目対の検出が真に赤目対であるとされうる。このため、カラー画像中の全ての赤目対が配置された後、いずれかの２つの対が２０ピクセルのMinInterpairEyeDistance よりも小さい赤目位置を有するかどうかが決定される。この場合、より低いスコアを有する対は除去される（Ｓ３０）。
【図面の簡単な説明】
【図１】赤目を示す図である。
【図２】本発明のソフトウエアプログラムのフローチャートを示す全体図である。
【図３】図２の連続する肌色領域を決定する部分の詳細なフローチャートを示す図である。
【図４】肌色領域を示す図１の２値表現である。
【図５】図４の個々の連続する色領域の詳細図を示す図である。
【図６】図５のに当てはめられる楕円形を示す図である。
【図７】リサイズされた候補顔領域を示す図である。
【図８】図７に当てはめられた候補顔領域に対応するリサイズされた楕円形を示す図である。
【図９】図２の候補赤目決定部分の詳細なフローチャートである。
【図１０】図７の候補赤目欠陥を示す図である。
【図１１】図２の目の検出の部分の詳細なフローチャートである。
【図１２】目のテンプレート及びゾーンマップを示す図である。
【図１３】本発明のスコアリング関数を示す図である。
【符号の説明】
１０グレースケール画像
２０赤目
３０ａ，３０ｂ肌領域
３５楕円形
３７ピーク
４０副カラー画像
５０楕円形
６０上の画像
７０下の画像

Claims

フラッシュ照明による画像中の対象の目の色の欠陥を検出する方法であって、
ディジタル画像の全体を、顔の特徴を有する１つ又は複数の肌色領域を前記ディジタル画像において検出するためにサーチする段階と、
通常の顔の目の間の所定の距離に基づいて肌色領域それぞれをリサイズする段階と、
候補赤目欠陥を形成するために、赤目欠陥の色特徴を有する画素群を求めて、前記リサイズされた肌色領域をサーチする段階と、
目のテンプレート、及び前記目のテンプレートの個々のゾーンを含むゾーン・マップを選択する段階であって、前記選択する段階は、特定の範囲の大きさ及び傾きの向きにわたる左目のテンプレート、右目のテンプレート、及びゾ―ン・マップから行われ、前記選択する段階は、候補赤目欠陥の対について、前記候補赤目欠陥の対の傾斜、及び前記候補赤目欠陥の対間の距離に基づいて行われる段階と、
前記候補赤目欠陥の対のうちの候補赤目欠陥それぞれの周囲の領域を、前記選択された目のテンプレートと相関させる段階であって、前記相関させる段階が、前記個々のゾーン毎に別個に行われる段階と、
前記候補赤目欠陥の対の色を修正する段階と
を含む方法。
請求項１記載の方法であって、前記リサイズする段階は、通常の顔の幅と、前記通常の顔の目の間の前記所定の距離との間の所定の比に基づく方法。
請求項１記載の方法であって、
前記左目のテンプレート、前記右目のテンプレート、及び前記ゾーン・マップの前記大きさの特定の範囲が、狭い大きさから広い大きさまでの増分の大きさにわたる方法。
請求項３記載の方法であって、前記左目のテンプレート、前記右目のテンプレート、及び前記ゾーン・マップの、前記傾きの向きの特定の範囲が、所定の角度の増分の
負の最大傾斜角度（時計回りの傾斜）から正の最大傾斜角度までの範囲にわたる方法。