JP4619589B2 - デジタル画像処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル画像処理における赤目検出方法に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
赤目(red-eye)は、フラッシュ又はストロボを用いて撮影された写真画像（連続階調又はデジタル）に見られる一般的な現象であり、被写体である人間の目の色がその本来の色ではなく「血赤色」に見える。赤目は、目の網膜から反射したフラッシュの光がカメラの対物レンズに戻ることにより生じる。
【０００３】
赤目を検出して補正する画像処理技術は公知であり、使用されている。一般に、赤目の検出又は識別をする従来の画像処理技術は、人間の介入を必要とするか、又は要求される画像処理操作の点で効率が非常に悪い。ある従来の方法では、オペレータが全ての画像に目を通し、更なる処理のために赤目を含む画像をマーキングしなくてはならない。この作業は時間がかかり、費用がかかる。オペレータの関与を取り除くか又は低減する試みにより、色、サイズ、及び形状の基準に基づいた赤目の検出を試みる自動処理が行われることになった。赤色は非常にありふれたものであり、赤目が多数の画像（例えば、フラッシュを用いずに撮影されたもの、人間の被写体を含まないものなど）に存在しないことを前提とすると、大量の画像処理リソースがこの目的のために非効率的に用いられていることになる。更に、サイズ／形状の基準を満たす赤色被写体はいずれも赤目として識別されるといった事実のため、偽陽性がしばしば生じる。従って、これらの従来の自動赤目検出技術を用いると、赤色のボタン、赤色のキャンディーなどは全て赤目として誤認識される可能性がある。
【０００４】
【課題を解決するための手段】
本発明によると、赤目検出方法は、画像を定義するデジタル画像データを受け取るステップを含む。デジタル画像データは、正反射を含む画像の全ての領域が識別するように処理される。正反射を含むとみなされた画像領域は従来の技術に従って更に処理され、赤目の有無が判定される。正反射は、輝度−クロミナンス特性、幾何学的（例えば、サイズ／形状）特性、及び／又は輝度勾配特性に従って識別される。
【０００５】
【発明の実施の形態】
図１は、人間の目Ｅを線図で示している。人間の目Ｅは虹彩Ｉ及び瞳孔Ｐを含み、これらは共に透明な角膜で覆われている。この説明のために、この目の像が赤目の影響を含むと仮定する。この影響は、フラッシュの光が目の後部の網膜から反射することにより生じる。人間の目の形状を考慮すると、目の前部からの反射も、目の後部側からの反射と空間的に近接して見えることを推論することができる。前部側からの反射は滑らかで湿った表面からの反射であり、従って正反射の特性を全て示している。また、図示される目Ｅは正反射ＳＲを示しており、この例では瞳孔Ｐの空間範囲と重複している。正反射は、写真のフラッシュ又はストロボが目の角膜から反射して生じる、光沢のある本質的に「白い」領域である。周知のように、赤目は画像内の瞳孔Ｐの血赤色によって明示される。
【０００６】
図２は部分的な画像Ａを示しており、この画像Ａは、背景Ｂ、第１の物体Ｏ１、第２の物体Ｏ２、第３の物体Ｏ３、及び前述の目Ｅによって定義されている。画像はデジタル形式で設けられることが好ましく、そうでない場合は、本発明による処理のために連続調データからデジタルデータに変換される。画像データは、輝度−クロミナンス色空間という形で表される複数のピクセル値によって定義されるか、ＹＣｒＣｂ、ＣＩＥＬＡＢなどの輝度−クロミナンス色空間に変換されたデジタル画像データであることが最も好ましい。
【０００７】
また、図３を参照すると、本発明による赤目検出方法が開示されている。この方法は、あらゆる適切な画像処理装置又は現像装置において実行され、例えば画像Ａなどの画像を定義するデジタル画像データを受け取るステップＳ１を含む。ステップＳ２は、デジタル画像データを処理し、正反射ＳＲを含む全ての領域Ｒを識別することを含む。最後に、ステップＳ３では、正反射ＳＲを含むとみなされた領域Ｒのみを従来の技術に従って更に処理し、赤目の有無を判定する。従って、図２を参照すると、ステップＳ２により、領域Ｒ１（明確にするために破線で示される）が画像Ａ中で正反射ＳＲを含む唯一の領域Ｒとして識別される。
【０００８】
本質的に全ての赤目が正反射ＳＲに関連している、即ち、正反射がなければ赤目はない、という事実を本発明が利用していることを、当業者は認識するであろう。一方、正反射の存在が必ずしも赤目の存在を示すわけではない。実際に、赤目が存在せずに正反射が存在することはしばしばある。従って、領域Ｒ内の正反射ＳＲに関連する赤目の有無を判定するには、正反射ＳＲを含むと識別された領域Ｒを従来の方法で更に処理することが必要である。正反射ＳＲを含む各領域Ｒ内の赤目を検出し、補正する従来の処理は、従来の特許に述べられるものなど、あらゆる適切な方法によって実行される。これらの方法は、特定の赤色を有し、人間の瞳孔Ｐのサイズ及び形状に対応する特定のサイズ及び形状を有する画像の特徴又は物体を探し出すことに基づいて赤目を識別することがしばしばである。
【０００９】
正反射ＳＲを含む全ての領域Ｒを識別するステップＳ２は、図４に開示されるような、本発明に従った複数のサブステップＳ２ａ〜Ｓ２ｆを含む。本発明の全体的な範囲及び意図から逸脱することなく、図４に述べられるステップのうちのいくつかを本明細書に特定した順序とは異なる順序で実行することができることを、当業者は認識するであろう。
【００１０】
サブステップＳ２ａは、画像Ａを定義するデータ又はピクセルを処理し、潜在的(potential)正反射ＰＳＲを含む全ての領域Ｒを輝度−クロミナンスデータに基づいて識別する、即ち、明るい白領域は全て潜在的正反射ＰＳＲとして識別することを含む。１つの例では、ＹＣｒＣｂの８ビット／セパレーションの色空間記述を用いて、Ｙ＞２２０、−１６＜Ｃｂ＜１６、及び−８＜Ｃｒ＜２４の関係を全て満たす隣接ピクセルのグループを探し出すことにより、このような明るい白領域を識別することができる。例えば、図２では、正反射ＳＲは潜在的正反射として識別される。また、例えば、物体Ｏ１〜Ｏ３も、その明るい白色の輝度−クロミナンス特性に基づいて潜在的正反射として識別される。
【００１１】
次いでサブステップＳ２ｂは、各潜在的正反射ＰＳＲを、例えば所望の形状及び／又はサイズといった幾何学的属性と比較する。説明における処理を簡潔にするため、ＰＳＲを選択されたサイズのしきい値、例えばピクセルの高さ及び幅の値と比較する。これらの値よりも大きい値は、潜在的正反射が正反射であるには大きすぎるとみなされる。従って、図２の画像Ａを参照すると、物体Ｏ１及びＯ２はこのサイズしきい値を上回るため、潜在的正反射のセットから切り捨てられる。ステップＳ２ｂの後では、物体Ｏ３及び実際の正反射ＳＲのみが潜在的正反射ＰＳＲとしてなお識別される。
【００１２】
サブステップＳ２ｃは、各潜在的正反射ＰＳＲ毎の輝度勾配を決定する。これは、例えば、潜在的正反射ＰＳＲの空間範囲全体にわたるサブトラクションを用いて達成される。輝度勾配は、本明細書中では各潜在的正反射ＰＳＲ内の輝度の変化の割合として定義される。実際の正反射ＳＲは、通常の白色物体のような他の明るい白色画像領域とは対照的に強い輝度勾配を示す。
【００１３】
サブステップＳ２ｄは、全ての潜在的正反射ＰＳＲの輝度又は輝度勾配を、選択された輝度勾配のしきい値と比較する。ステップＳ２ｅは、この選択された輝度勾配のしきい値を上回る輝度勾配を示さないものを、全ての潜在的正反射のセットから切り捨てる。本実施例では、画像Ａ内の物体Ｏ３は白いボタンのようなものであり、サブステップＳ２ｄによって適用される輝度勾配のしきい値を満たすのに十分強い輝度勾配によって定義されていないため、この後、サブステップＳ２ｅに従って無視される。
【００１４】
サブステップＳ２ｆは、残った潜在的正反射ＰＳＲを全て正反射ＳＲとして識別する。本実施例では、サブステップＳ２ｆは実際の正反射ＳＲのみを正反射として識別する。所望であれば、任意のサブステップＳ２ｅ'をサブステップＳ２ｆの前に設けることができる。サブステップＳ２ｅ'は、潜在的正反射ＰＳＲに隣接する赤色のピクセルを探索する。隣接する赤色ピクセルが識別されない場合、潜在的正反射は無視され、正反射ＳＲとして識別されない。このような場合、赤色ピクセルは潜在的正反射に隣接して位置していないとすると、正反射に関連して赤目を探し出すための更なる処理は不要となる。
【００１５】
偽陽性（即ち、領域Ｒが実際に正反射ＳＲを含んでいない場合に正反射ＳＲを含むものとして領域Ｒを識別すること）が生じうるが、それはむしろ望ましい、ということに注意すべきである。赤目を含むものとして識別された領域に対して実行される、下流の従来の赤目検出及び補正処理は、赤目を実際に含まない領域を識別し、これを無視する。一方、潜在的正反射を正反射として識別するように前述の方法を変えることにより、赤目の発生を見落とす確率は最小にされる。
【００１６】
領域識別及び後続の赤目検出アルゴリズムが奇数の赤目を与える場合は、追加の処理を適用し、正反射を伴わない赤目といったまれなケースを探索することができることを、当業者は認識するであろう。そのような拡張の１つは、識別された赤目の周囲にある本質的に水平のバンドに沿って画像を調べる。
【００１７】
本発明は、好適な実施の形態を参照して説明された。サブステップ２ｂ〜２ｆを再編成したり、一部省略してもよいことに注意すべきである。他の修正は、本明細書を読み、理解するにつれ、本発明に関連する技術に携わる者に生じるであろう。本発明は、請求の範囲及びその均等物の範囲内である限り、そのような修正及び改変を全て含むものと解釈されるように意図される。
【図面の簡単な説明】
【図１】赤目現象を示す、人間の目の線図である。
【図２】図１の目及び他の物体を含む画像の部分線図である。
【図３】本発明による赤目検出方法を開示するハイレベルのフローチャートである。
【図４】図３に開示される赤目検出方法のサブステップを示す、より詳細なフローチャートである。
【符号の説明】
Ａ 部分的な画像
Ｂ 背景
Ｅ 目
Ｉ 虹彩
Ｏ１、Ｏ２、Ｏ３ 物体
Ｐ 瞳孔
ＰＳＲ 潜在的正反射
ＳＲ 正反射

Claims (1)

1. カメラが被写体側にフラッシュ又はストロボの光を放射し、当該カメラによって対物レンズを介して被写体を撮影して得られたデジタル画像の潜在的赤目領域を識別するデジタル画像処理方法であって、
   複数のピクセルによって定義されるデジタル画像を受け取るステップと、
   前記デジタル画像内に、前記被写体である人間の網膜から反射した前記フラッシュ又はストロボの光が前記対物レンズに戻ることにより生ずる正反射を表すピクセルを含む対象領域を探し出すステップと、
   各対象領域を潜在的赤目領域として識別するステップと、
   を含み、
   対象領域を探し出す前記ステップが、
   前記デジタル画像の隣接ピクセルのグループが正反射の輝度−クロミナンス特性を有するピクセルを含む場合、前記隣接ピクセルのグループを潜在的正反射として識別するサブステップと、
   識別された各潜在的正反射に対し、前記潜在的正反射の幾何学的属性を少なくとも１つ決定するサブステップと、
   前記潜在的正反射の前記少なくとも１つの幾何学的属性を所望の幾何学的属性と比較するサブステップと、
   前記少なくとも１つの幾何学的属性が前記所望の幾何学的属性と一致する場合、前記潜在的正反射を正反射として識別するサブステップと、
   各潜在的正反射に対し、前記潜在的正反射の輝度勾配を決定するサブステップと、
   前記潜在的正反射の前記輝度勾配を、選択された輝度勾配のしきい値と比較するサブステップと、
   前記少なくとも１つの幾何学的属性が前記所望の幾何学的属性と一致し、かつ前記輝度勾配が前記輝度勾配のしきい値よりも大きい場合、前記潜在的正反射を正反射として識別するサブステップと、
   を含むデジタル画像処理方法。

Images