JP3810776B2 - ディジタル画像中の赤目を検出し補正する方法 - Google Patents

ディジタル画像中の赤目を検出し補正する方法 Download PDF

Info

Publication number
JP3810776B2
JP3810776B2 JP2004129660A JP2004129660A JP3810776B2 JP 3810776 B2 JP3810776 B2 JP 3810776B2 JP 2004129660 A JP2004129660 A JP 2004129660A JP 2004129660 A JP2004129660 A JP 2004129660A JP 3810776 B2 JP3810776 B2 JP 3810776B2
Authority
JP
Japan
Prior art keywords
red
pixel
eye
region
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004129660A
Other languages
English (en)
Other versions
JP2004326805A (ja
Inventor
ヒュイタオ・ルオ
ジョナサン・イェン
ダニエル・トレッター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of JP2004326805A publication Critical patent/JP2004326805A/ja
Application granted granted Critical
Publication of JP3810776B2 publication Critical patent/JP3810776B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/624—Red-eye correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、ディジタル画像中の赤目を検出し補正するシステム及び方法に関する。
赤目は、カメラがフラッシュ照明を用いて取込んだ画像に現れる、人間の瞳孔の不自然な赤みを帯びた着色の様相である。赤目は、人間の網膜の血管に反射してカメラに戻る、フラッシュからの光によりもたらされる。
赤目効果を低減するために、いくつかの技術が提案されてきた。レンズからフラッシュまでの間隔が狭いカメラの場合の一般的な赤目を低減する解決法は、画像を露光し取込むために、最後のフラッシュを使用する前に１つ又は２つ以上の露光前フラッシュを使用することである。各露光前フラッシュにより、人間の瞳孔のサイズが縮小し、したがって、最終フラッシュからの光が人間の網膜に反射しカメラに取込まれる可能性が低減することになる。一般に、露光前フラッシュ技術は、通常は赤目を低減させるだけであって除去はしないものである。
カラー画像において赤目を検出し補正するために、多数の画像処理技術が提案されてきた。一般に、これらの技術は、通常は半自動式又は自動式である。半自動式赤目検出技術は人間の入力に依存する。例えば、半自動赤目低減システムの中には、赤目を含む画像の領域をユーザがシステムに対して手作業で特定した後に欠陥を補正することが可能となるものがある。多くの自動赤目低減システムは、赤目領域を検出する前に予備的な顔検出ステップに依存する。一般的な自動手法は、画像中の顔を検出し、次いで検出された各顔内の目を検出することを含む。目の位置を特定した後、検出された目の位置に対応する画像領域の形状、着色、及び明度に基づいて赤目を識別する。一般に、顔検出に基づく自動赤目低減技術は、集中的な計算及びメモリを必要とする。更に、顔検出アルゴリズムの大半は、直立正面像の向きの顔しか検出することができず、画像平面に対して面内又は面外に回転する顔を検出することはできない。
本発明は、ディジタル画像中の赤目を検出し補正するシステム及び方法を特徴とする。
一実施形態では、本発明は、ディジタル画像を処理する方式（システム及び方法）を特徴とする。本発明の方式によれば、ディジタル画像中のピクセル赤みの測定値を計算する。該計算したピクセル赤み測定値に基づいて、候補赤目ピクセル領域の予備セットを識別する。該予備セットから、少なくとも１つの個々の隣接するピクセル領域に対する計算された赤みコントラストが所定の赤みコントラストしきい値を下回る各候補赤目ピクセル領域をフィルタリングする。更に、前記予備セットから、少なくとも１つの個々の隣接するピクセル領域に対する計算されたグレイスケールコントラストが所定のグレイスケールコントラストしきい値を下回るディジタル画像の領域内に位置する各候補赤目ピクセル領域をフィルタリングする。
別の実施形態では、本発明は、オリジナルの色値を有するピクセルを含むディジタル画像を処理する方式（システム及び方法）を特徴とする。本発明の方式によれば、ディジタル画像中の少なくとも１つの候補赤目ピクセル領域を検出する。各候補赤目ピクセル領域中のピクセルを赤みと肌色の色合いとに基づいて分類する。各候補赤目ピクセル領域毎に、赤色及び非肌色として分類される候補赤目ピクセル領域中の全てのピクセルを識別する初期ピクセルマスクを生成する。各初期ピクセルマスクに基づいて最終ピクセルマスクを生成する。ディジタル画像中の赤目を、最終ピクセルマスクにおいて赤色として識別されるオリジナルの色値を暗化し彩度を低下させることにより補正する。この場合には、最終ピクセルマスクにおいて赤色として識別されたピクセルのオリジナルの色値の彩度を、最終ピクセルマスク中のピクセル位置と共に変化する個々の量により低下させる。
本発明の他の特徴及び利点は、図面及び特許請求の範囲を含む以下の説明から明らかとなろう。
以下の説明では、同様の要素を識別するために同様の符号を使用する。更に、図面は、例示的な実施形態の主な特徴を概略的に例示するように意図されている。図面は、実際の実施形態の全ての特徴を描くようにも、描かれた要素の相対寸法を表現するようにも意図されておらず、一定の比率で縮小されるようには描かれていない。
1．システム概観
図１及び図２を参照すると、一実施形態では、ディジタル入力画像12中の赤目ピクセル領域を検出し補正するシステム10は、大域スクリーニングモジュール14と、局所検査モジュール16と、赤目セグメンテーションモジュール18と、赤目補正モジュール20とを含む。大域スクリーニングモジュール14は、入力画像12に基づいて赤みマップ22を計算し、赤みマップ22をフィルタリングすることにより候補赤目ピクセル領域マップ24を生成する。更に、大域スクリーニングモジュール14は、グレイスケールマップ26を計算し、候補赤目ピクセル領域マップ24から、少なくとも１つの個々の隣接ピクセル領域に対する計算されたグレイスケールコントラストが所定のグレイスケールコントラストしきい値を下回るディジタル画像の領域中に配置された、各候補赤目ピクセル領域をフィルタリングする。局所検査モジュール16は、１つ又は２つ以上の局所検査テスト28と対検査（pairing verification）テスト30とに基づき、フィルタリングされた候補赤目ピクセル領域マップ24における候補赤目ピクセル領域をフィルタリングする。赤目セグメンテーションモジュール18は、残りの候補赤目ピクセル領域の各々を処理してセグメンテーションマップ32を生成する。セグメンテーションマップ32は、候補赤目ピクセル領域マップ24の赤目ピクセル領域中の、入力画像12中の赤目ピクセルに対応するピクセルを指定する。赤目補正モジュール20は、セグメンテーションマップ32におけるセグメント化された赤目ピクセルに対応する入力画像ピクセルを（例えば、彩度低下、又は彩度低下と暗化との組み合わせにより）補正することにより補正画像34を生成する。
実施形態によっては、システム10のモジュール14〜20を、コンピュータ（又はワークステーション）上で実行可能な１つ又は２つ以上の個々のソフトウェアモジュールとして実施される。一般に、システム10のモジュール14〜20を実行することができるコンピュータ（又はワークステーション）は、処理ユニットと、システムメモリと、処理ユニットをコンピュータのあらゆる構成要素に連結するシステムバスとを含む。処理ユニットは、１つ又は２つ以上のプロセッサを含むことが可能であり、その各々は、あらゆる市販のプロセッサのうちの何れの形態とすることも可能である。システムメモリは、通常は、コンピュータ用の起動ルーチンを含む基本入出力システム（BIOS）を格納するリードオンリメモリ（ROM）とランダムアクセスメモリ（RAM）とを含む。システムバスは、メモリバス、周辺バス、又は局所バスとすることが可能であり、PCI、VESA、Microchannel、ISA、及びEISAを含む種々のバスプロトコルの何れと互換性があってもよい。コンピュータはまた、個々のインタフェースによりシステムバスに接続される、ハードドライブ、フロッピードライブ、及びCD-ROMドライブを有することが可能である。ハードドライブ、フロッピードライブ、及びCD-ROMドライブは、データ、データ構造、及びコンピュータ実行可能命令のための不揮発性又は永久記憶域を提供する個々のコンピュータ読取可能媒体ディスクを含む。他のコンピュータ読取可能記憶デバイス（例えば、磁気テープドライブ、フラッシュメモリデバイス、及びディジタルビデオディスク）をコンピュータと共に使用することも可能である。ユーザは、キーボード及びマウスを使用して、コンピュータと対話（例えばコマンド又はデータを入力）することができる。他の入力デバイス（例えば、マイクロフォン、ジョイスティック、又はタッチパッド）を設けることも可能である。モニタ上に又は他の表示技術によりユーザに対して情報を表示することも可能である。また、コンピュータは、スピーカ及びプリンタ等の周辺出力装置を含むことが可能である。更に、局所エリアネットワーク（LAN）又はワイドエリアネットワーク（WAN）（例えばインターネット）を介して、１つ又は２つ以上のリモートコンピュータをこのコンピュータに接続することも可能である。
II．大域スクリーニングモジュール
大域候補赤目ピクセル領域検出
図３を参照すると、大域スクリーニングモジュール14は、動作時、入力画像12におけるピクセルの赤みの測定値を最初に計算することにより、赤みマップ22を生成する（ステップ36）。ピクセルの赤みの種々の異なる測定値のうちの何れかを使用して入力画像12から赤みマップ22を生成することが可能である。実施形態によっては、ピクセルエネルギーの赤成分の測定値の総ピクセルエネルギーの測定値に対する割合に基づいて、ピクセル赤み測定値を計算する。例えば、一実施形態では、ピクセル赤み測定値(R)を次のように計算する。
R＝(α・r＋β・g＋γ・b)／(r＋g＋b＋d) (1)
ここで、r、g、及びbは、それぞれ入力画像12の赤、緑、及び青成分ピクセル値であり、α、β、及びγは重み係数であり、dは、特異性（singularities）を回避し明るいピクセルほど高い重みを与えるように選択した値を有する所定の定数である。r、g、及びbの各々が［0,255］の範囲の値を有する１つの例示的な実施形態では、α＝255であり、β＝γ＝0であり、dは値８を有する。図４Ａ及び図４Ｂに示すように、式(1)のマッピングに基づき、大域スクリーニングモジュール14は、入力画像12の各ピクセルの赤みを、式(1)により与えられる赤み値を有する赤みマップ22の対応するピクセルへとマップする。
赤みマップ22を計算するために使用することができる他の代表的な赤み測定値(R1,R2,R3,R4)を、下記の式(2)〜(5)で表す。
R1＝r2／(r＋g＋b＋1)2 (2)
R2＝r2／(g＋b)2 (3)
R3＝(r＋b)／(r＋g＋b＋1) (4)
R4＝Cr／(Cb＋1)2 (5)
ここで、r、g、及びbは、それぞれ入力画像12の赤、緑、及び青成分ピクセル値であり、Cr及びCbは、YCbCr色空間における入力画像12の赤及び青のクロミナンス成分ピクセル値である。
再び図３を参照すると共に図５Ａ及び図５Ｂを参照すると、大域スクリーニングモジュール14は、赤みマップ22における候補赤目ピクセルの予備セットを識別する(図３のステップ38)。実施形態によっては、赤みマップ22に２次元赤みフィルタを適用することにより、候補赤目ピクセルの予備セットを識別する。１つの例示的な実施形態では、赤みマップ22のピクセル赤み測定値に以下の２次元赤み有限インパルス応答(FIR)フィルタを適用する。
２次元赤みフィルタは、中核ピクセル領域と該中核ピクセル領域を取り囲むピクセル領域とに関して画定される。図５Ａ及び図５Ｂに示すように、式(6)の特定のFIRフィルタ実施形態は、辺長d1の正方形中核領域40(AR1)とそれを取り囲む周囲ピクセル領域42(AR2)とに関して画定される。該周囲ピクセル領域42(AR2)は、辺長d2の正方形ピクセル領域と中核ピクセル領域40との間で画定される矩形路に対応するものである（但し、d1＜d2（例えば、d2＝2・d1)）。実施形態によっては、中核領域AR1及び周囲領域AR2内のピクセルの平均値を、積分画像(integral image)処理を使用して計算することが可能である。ここで、入力画像I(x,y)の積分画像S(x,y)は次のように定義される。
積分画像Sが与えられると、任意の矩形［x1,x2］及び［y1,y2］内の画像ピクセルの合計を次式により取得することができる。
Sum(x1,x2,y1,y2)＝S(x2,y2)−S(x2,y1)−S(x1,y2)＋S(x1,y1) (8)
該式(8)に基づき、任意の矩形内のピクセルの平均値を、３つの整数加算／減算と１つの除算とにより効率的に取得することができる。上述した実施形態では、領域AR1,AR2のそれぞれに対する平均ピクセル値APVR1及びAPVR2を計算し、赤みマップ22に式(6)の２次元FIRを適用することにより、赤みマップの対応する各領域毎に以下の赤みスコア(RS1)を生成する。
RS1＝AR1−AR2 (9)
別の実施形態では、赤みマップ22に対して非線形FIRフィルタを適用することにより、赤みマップの対応する各領域毎に以下の赤みスコア(RS2)を生成する。
RS2＝APVR1＋w・(APVR1／APVR2)4 (10)
ここで、wは、経験的に確定することが可能な一定の重み係数である。この式において、APVR1は、中核正方形AR1の絶対赤みを表し、(APVR1／APVR2)は、中心正方形AR1と周囲領域AR2との間のコントラストを表す。式(10)の赤みスコアRS2は、赤色ドット領域が、その周囲領域に対して高コントラストを示しながら、どれくらい十分に赤くなければならないかを公式化する。上述した実施形態では、赤目領域を、正方形の候補ピクセル領域により近似する。他の実施形態では、赤目領域を異なる形状(例えば円形又は楕円形)により近似することが可能である。
図６を参照すると、選択された中核サイズd1に対して一組の赤みスコアを計算した後、該計算した赤みスコアに対して経験的に確定されたしきい値を適用することにより、候補赤目ピクセルを識別するバイナリマップを生成する。一実施形態では、バイナリマップにおける「０」(黒ピクセル)は背景ピクセルを表し、「１」(白ピクセル)は候補赤目ピクセルを表す。異なる中核サイズについて赤みスコアを計算するプロセス並びにしきい値処理を繰り返すことにより、複数のバイナリマップを生成する。その結果として得られる複数のバイナリマップは、各ピクセル位置において全てのバイナリマップにわたりOR論理演算子を適用して、候補赤目ピクセルを識別する最終バイナリマップ44を作成することにより、結合される。最終バイナリマップ44における候補赤目ピクセルは、ピクセル連結性（connectivity）に基づいてセグメント化され、該セグメント化された各領域が候補赤目領域としてラベル付けされる。一実施形態では、各候補赤目領域は、境界矩形(又はボックス)によって表される。
実施形態によっては、最終バイナリマップ44における候補赤目領域に対して複数の高速の発見的手法（fast heuristics）を適用することにより、誤警報(false alarm)をなくす。アスペクト比検査及び形状分析技術を含む既知の赤目ピクセル技術を使用して、誤警報をなくすことも可能である。例えば、実施形態によっては、候補リストから細長い候補赤目領域を除去する。
大域候補赤目ピクセル領域検査
図７、図８Ａ、及び図８Ｂを参照すると、大域スクリーニングモジュール14は、各候補赤目領域に対して検査テストを適用することにより、それがそれ自体十分に赤くその周囲よりも赤いことを確実にする。これらの検査テストは、候補赤目領域に適用し、個々のピクセルには適用しない。実施形態によっては、赤みコントラストしきい値に基づいて、赤目候補領域の予備セットから候補赤目ピクセル領域をフィルタリングする（図７のステップ46）。これらの実施形態では、各予備候補赤目領域48に対して、最初に従来の貪欲（greedy）検索プロセスを適用することにより、新たな赤目ピクセル領域内のピクセルの平均赤みが低減しないという条件の下で、赤目候補領域（例えば矩形）のサイズを最大化する。上述した一致フィルタリングプロセスにより識別される予備赤目ピクセル領域は、入力画像12の実際の赤目より小さい場合が多いため、貪欲な検索プロセスにより、拡大された候補赤目領域50が入力画像12中の赤目（ある場合）をカバーする確率が増大する。次に、各候補赤目領域50の平均赤みを、その８つの隣接するボックス51（各々が対応する候補赤目領域50と同じサイズを有する）の赤みと比較する（図８Ｂを参照）。所与の候補赤目領域50とそれを取り囲む周囲ボックスとの間の最小の対をなすコントラストがしきい値を下回る場合に、予備赤目候補マップから所与の候補赤目領域を除去する。コントラスト値を、候補赤目領域のピクセルの平均赤み(CenterAverage)と近傍領域の各々のピクセルの平均赤み(NeighborAverage［k］、k＝1,2,…,8)との差に基づいて計算する。以下の条件を満たす場合に、予備候補赤目ピクセルマップ24から候補赤目ピクセル領域を除去する。
MIN（CenterAverage−NeighborAverage［k］)＜CMIN (11)
ここで、k＝1,2,…,8であり、MINは、計算されたコントラスト測定値の最小値を計算する関数であり、CMINは、経験的に確定された最小赤みコントラストしきい値である。式(10)の条件を満たさない場合、テスト対象の候補赤目領域を、さらなる検査のために送出する。
図７、図９Ａ、図９Ｂ、及び図１０を参照すると、実施形態によっては、大域スクリーニングモジュール14は、グレイスケールコントラストしきい値に基づく予備候補赤目領域マップ24からの上述した赤み検査プロセス後に残っている候補赤目ピクセル領域をフィルタリングする（図７のステップ52）。このプロセスにおいて、候補赤目ピクセル領域を、それが周囲領域より暗いか否かに基づいてフィルタリングする。最初に、G＝MIN(G1,G2)により与えられるグレイスケールマッピングGに従って入力画像12のピクセルをマッピングすることにより、グレイスケールマップ26（図２）を計算する。なお、MINは、
G1＝0.299×r＋0.587×g＋0.114×b (12)
G2＝0.299×(255−r)＋0.587×g＋0.114×b (13)
により与えられるG1及びG2の最小値を出力する関数であり、r、g、及びbは、領域内の各ピクセルに対する赤、緑、及び青の値であり、グレイスケール値は、各ピクセル毎に取得され領域にわたって平均化される。このグレイスケールマッピングでは、G1は、(r,g,b)から計算される従来のグレイスケールマッピングであり、G2は、(255−r,g,b)から計算されるグレイスケールマッピングである。グレイスケールマッピングG2は、「強烈な(glowing)」赤目の場合(すなわち、赤目がその周囲よりずっと明るく見える場合)を処理する。上記手法に従って、かかる典型的でない「強烈な」赤目を、典型的な赤目として同様に扱うことを可能にするグレイスケールチャネルにマップする。
計算されたグレイスケールマップ26にわたって従来の検索技術を実行することにより、眼球に対応する１つ又は２つ以上の領域の位置を特定する。例示する実施形態では、眼球領域を正方形として表す。この実施形態では、上述した赤み検査プロセス後に残っている各赤目候補領域を、対応する眼球領域56（図９Ａにおいて正方形として示す）以下のサイズを有する個々の瞳孔領域50に対応するものとする。なお、各瞳孔領域50は、必ずしもその関連するグレイスケール眼球領域56と同じではない。この検索アルゴリズム設計では、眼球領域56が瞳孔領域50と同じ中心を共有するものと想定する。眼球領域56のサイズを、候補正方形ボックス58のその８つの最近傍（図９Ｂの数字0〜7）の各々との比較に基づいて確定する。特に、周囲領域０〜７を包含する初期領域を、９つの等しいサイズのボックス(０〜９と番号付ける)に分割する。最終的な最適なグレイスケールボックス56（又は正方形）のサイズを、中心ボックス58（ボックス８）とその周囲の近傍（ボックス０〜７）とのグレイスケールコントラストを最大化するサイズを選択することにより確定する。この検索では、１つの変数、すなわち、中心ボックス58の辺長のみがあればよい。一実施形態では、ブルートフォース検索技術を使用して、眼球領域56の最終サイズを確定する。
グレイスケール眼球領域（又はボックス）の最終サイズを確定すると、最終眼球領域56と周囲ボックス（０〜７）とのグレイスケールコントラストを使用して、眼球領域が入力画像12における実際の眼球に対応することを確かめる。図１０に示すように、候補眼球領域56を取り囲む領域を、８つの等しいサイズのボックスに分割する。周囲ボックスkの平均グレイスケールを、N(k)、k＝0,1,…,8（N［8］は中心眼球ボックスに対応する）として示す。５つの連続した隣接するボックスの個々のセットからなる循環するサブセット60,62,64,66,68,70,72,74の各々を、
｛N(k％8）,N((k＋1)％8）,…,N((k＋4)％8）｝ (14)
により示すことが可能である。ここで、％はモジュロ演算子であり、k＝0,1,…,7である。これにより、赤目が入力画像12の顔の縁に位置する状況を処理することができる。周囲ボックスの８つのサブセットのうち、最も均一なサブセット60〜74を、中心候補ボックスとのグレイスケールコントラスト(CGRAY)の測定値を計算するための基礎として選択する。すなわち、
CGRAY＝AVER｛N(m％8),N((m＋1)％8),…,N((m＋4)％8)｝／N(8) (15)
ここで、m＝argmin STD｛N(k％8),N((k＋1)％8),…,N((k＋4)％8)｝、k＝0,1,…,7であり、AVER｛a(1),a(2),…,a(n)｝は、配列｛a(k)｝の平均を表し、STD｛a(1),a(2),…,a(n)｝は、配列｛a(k)｝の標準偏差を表す。式(14)のグレイスケールコントラスト計算に基づき、候補赤目ピクセル領域マップ24から、計算されたコントラスト測定値が経験的に確定されたしきい値を下回る対応する候補眼球領域を含む候補赤目領域を除去する。
III．局所検査モジュール
再び図２を参照すると、上述した大域赤み及びグレイスケール検査プロセスを適用した後、候補赤目ピクセル領域マップ24は、一組の候補赤目ピクセル領域を含み、その各々は、入力画像12中の赤目領域のおよその位置及びサイズに対応する可能性が高い。実施形態によっては、局所検査モジュール16は、候補赤目ピクセル領域マップ24に対して１つ又は２つ以上の局所検査プロセス28を適用することにより、候補赤目ピクセル領域マップ24から候補赤目ピクセル領域を更にフィルタリングする。以下の実施形態では、入力画像12の局所化領域に対して、肌色（肌の色合い）分類、赤み分類及び非赤み分類技術を適用することにより、候補赤目ピクセル領域マップ24における候補を検査する。これらの分類技術を、少なくとも部分的には、典型的な赤目が、非赤色領域（すなわち目の白色領域)により包囲され、更に肌色領域（すなわち顔）により大部分包囲される、赤色領域（すなわち虹彩）である、という観察に基づいてモデル化する。
肌色検査
少なくとも部分的に、赤目が、肌色領域（すなわち顔）により包囲される非肌色領域（すなわち目）であるという観察に基づいてモデル化される肌色検査プロセスに基づき、候補赤目ピクセル領域マップ24から候補をフィルタリングすることが可能である。このプロセスでは、入力画像12のピクセルを、肌色領域か又は非肌色領域の何れかに対応するものとして分類する。いかなる肌色分類技術を使用して入力画像12のピクセルを分類してもよい。入力画像ピクセルを分類した後、それらピクセルを、任意のピクセルセグメンテーションプロセスを使用して肌色領域と非肌色領域とにセグメント化する。
実施形態によっては、肌色領域内の孤立した非肌色領域（すなわち島(island)）に対応しない候補赤目ピクセル領域マップ24における各候補を、候補赤目ピクセル領域マップ24からフィルタリングする。
実施形態によっては、先の肌色検査テストに加えて、各候補赤目ピクセル領域と対応する周囲領域とにおける肌色ピクセルと非肌色ピクセルとの割合を個々確定する。大部分が非肌色ピクセルから構成されず、大部分が肌色ピクセルから構成される領域により包囲されない各候補を、候補赤目ピクセル領域マップ24からフィルタリングする。目標赤目ピクセル領域中の非肌色ピクセルと、赤目ピクセル領域を取り囲む目標ピクセル領域中の肌色ピクセルとのしきい値割合を、経験的に確定することが可能である。
赤み検査
また、ピクセルベース又は領域ベースの赤み検査プロセスに基づき、候補赤目ピクセル領域マップ24から候補をフィルタリングすることが可能である。
ピクセルベースの赤み検査プロセスでは、以下の基準を満たす色成分を有する入力画像12のピクセルを、赤色ピクセルとして分類する。
Cr＞128
Cr＞Cb
Cr＞Y (16)
ここで、Cr、Cb、及びYは、YCbCr色空間で表される入力画像ピクセルの色成分である。
領域ベースの赤目検査プロセスでは、以下の基準を満たす色成分を有する入力画像12のピクセルを、赤色ピクセルとして分類する。
Cr＞MeanCr＋(12.0−MeanCr)・(MaxCr−MinCr)／800
Cr＞Cb
Cr＞Y＋(MaxY−MinY)・(MeanY−MinY)／(3・255) (17)
ここで、MeanCrはCrの平均値であり、MaxCr及びMinCrはCrの最大値及び最小値であり、MeanYはYの平均値であり、MaxY及びMinYはYの最大値及び最小値である。これらのパラメータの各々を、所与の候補赤目ピクセル領域に関して中心が置かれ十分な肌ピクセルにより目全体をカバーする領域に対応する局所ウィンドウにわたって計算する。
非赤目検査
また、赤目ピクセル領域候補と周囲の目の白色領域の非赤みとのコントラストに基づいて、候補赤目ピクセル領域マップ24から候補をフィルタリングすることが可能である。これらの実施形態では、入力画像12の局所ウィンドウ領域に亙り、YCbCr色成分比Cb／Crを計算する。局所ウィンドウは、所与の候補赤目ピクセル領域に関して中心が置かれ目全体をカバーする領域に対応する。Cb／Cr比値を反転させしきい値処理することにより、赤み分類マップを取得する。実施形態によっては、Cb／Cr比値を、局所ウィンドウの高及び低極値に基づいて正規化する。しきい値レベルを経験的に確定してもよく、それは赤み分類マップにおいて暗領域により包囲される白色の島をもたらすレベルに対応する。例えば、図１１Ｂは、図１１Ａの入力画像12に現れる少年の右目を包含する領域中の非赤み／赤み検出を実行する結果を示す。
図１２Ａ、図１２Ｂ、及び図１２Ｃを参照すると、実施形態によっては、赤み分類マップを処理して島(すなわち、ウィンドウの境界から分離しているが切取られたウィンドウの中心に近接して結合される領域)の形態の赤目領域を生成する。図１２Ａは、しきい値処理の後に生成されるバイナリ赤み分類マップの例示的な初期状態を示し、「１」は赤色ピクセルとして分類されるピクセルに対応し、「０」は非赤色ピクセルとして分類されるピクセルに対応する。図１２Ｂに示すように、境界(すなわち、局所ウィンドウの縁)に結合される、図１２Ａの初期バイナリ赤みマップにおけるピクセルを、非赤色ピクセルとして再分類する。図１２Ｃに示すように、ウィンドウの中心に近接して結合されるピクセルを、赤み分類マップの最終状態において赤目ピクセルとして(図示する例では「２」で)マークする。
対検査
再び図２を参照すると、上述した大域赤み、大域グレイスケール及び局所検査プロセスを適用した後、候補赤目ピクセル領域マップ24は、各々が入力画像12において赤目領域のおよその位置及びサイズに対応する可能性の高い、一組の候補赤目ピクセル領域を含む。実施形態によっては、局所検査モジュール16は、候補赤目ピクセル領域マップ24に対して局所対検査プロセス30を適用することにより、候補赤目ピクセル領域マップ24から候補赤目ピクセル領域を更にフィルタリングする。これらの実施形態では、候補赤目ピクセル領域をグループ化して対にする。このプロセスにより、誤警報の数が低減し、入力画像12に現れる人間の一対の目のうちの１つのみを補正することからもたらされる可能性のある、いかなる不自然な様相も回避されるように、対の赤目のみを補正することが保証される。この対局所検査プロセスの１つの例示的な実施形態のステップに対応する擬似コードを、以下に提供する。
1．各赤目候補(b1)毎に｛
2．その赤色ボックスがいかなる他のボックスとも対にされなかった場合｛
3．この赤色ボックスの近傍において他の赤色ボックスを検索
4．赤色ボックスが完全に近傍内側にある各赤目候補(b2)毎に｛
5．(b1)及び(b2)のボックスが同様のサイズを有する場合｛
6．(b1)及び(b2)を対としてマークする
7．｝
8．｝
9．｝
10．｝
11．各赤目候補(b)毎に｛
12．(b)が対にされていない場合｛
13．候補リストから(b)を除去
14．｝
15．｝
上述したプロセスにおいて現赤目候補の各々に対し、現候補に関して一定距離範囲内に位置する隣接領域の候補赤目ピクセル領域マップにおいて他の候補赤目ピクセル領域を検索することにより、その対候補を検出する(ステップ3)。図１３を参照すると、実施形態によっては、候補赤目領域82に関し隣接する検索領域80を、２つの同心円により画定されるハッチングされた円形領域として示す。これらの２つの円は、テスト対象の候補赤目領域82に対して中心が置かれる。同心円の半径（r1,r2）を、現赤色ボックスのサイズに基づいて確定することが可能である。例えば、実施形態によっては、現候補赤目領域82の高さ及び幅がh及びwである場合、同心円の半径(r1,r2)を
r1＝(h＋w)×1.5 (18)
r2＝(h＋w)×6.5 (19)
に設定する。
実施形態によっては、対の候補赤目ピクセル領域はまた、サイズが同様であることが必要である。例えば、上述した対局所検査プロセス（ステップ5）の擬似コード実施形態では、２つの候補赤目ピクセル領域のサイズを比較することにより、それらが十分に同様であることを確かめる。例えば、実施形態によっては、対にされている候補赤目ピクセル領域がそれぞれ長さs1及びs2の正方形であり、s1≦s2である場合、比s2／s1が所定の不一致しきい値未満であれば２つの候補赤目ピクセル領域を対としてラベル付けする。１つの例示的な実施形態では、不一致しきい値を値2.6に設定する。
IV．半自動局所検査
実施形態によっては、上述した局所検査プロセスを手動モードで適用してもよく、その場合ユーザが入力画像12において各赤目上をクリックすることが期待される。この手動局所検査プロセスの１つの例示的な実施形態のステップに対応する擬似コードを、以下に提供する。
1．入力画像を読み出す；カーソル位置を取得
2．カーソルの位置（及びその近傍）で肌色ピクセル分類を実行；肌色領域でクリックされた場合、アボート
3．カーソルの位置（及びその近傍）で赤色ピクセル分類を実行；非赤色ピクセルでクリックされた場合、アボート
4．カーソルの位置（及びその近傍）で赤色領域分類を実行；非赤色領域でクリックされた場合、アボート
5．初期ウィンドウサイズ設定
6．ウィンドウサイズに従って入力画像を切取る
7．カーソル（又はその近傍のうちの何れか１つ）が分離した非肌色領域にある場合、
8．YCbCr変換を実行、局所的にCb／Crを正規化、Cb／Crを反転、しきい値処理（例えば最高10％)
9．島がある場合、
10．しきい値を低くして島を増大
11．形状を検査（枝(off-shoot)がない）、正常終了
12．そうでない場合（島がない）
13．カーソルが白色の上にある(しきい値が低すぎる可能性がある)場合、
14．島が現れるまでしきい値を上昇
15．一度も現れない場合、アボート
16．そうでない場合、形状を検査（枝がない）、正常終了
17．そうでない場合、アボート
18．そうでない場合、
19．カーソル(又はその近傍の何れか１つ)が分離した赤色領域にある場合、8へ
20．そうでない場合
21．ウィンドウがすでに画像全体をカバーする場合、アボート
22．そうでない場合、ウィンドウサイズを拡大、6へ
初期ウィンドウサイズ(ステップ5)は、事前設定されたウィンドウサイズ(例えば４ピクセル×４ピクセルのサイズを有する正方形領域）に対応することが可能であり、又は大域スクリーニングモジュール14により計算される候補赤目ピクセル領域に対応することが可能である。
実施形態によっては、上述した手動局所検査プロセスを、人間の顔検出に基づく赤目低減システムに適用する。これらの実施形態において、入力画像の全ての顔における顔検出により見られる各目を、それが赤目であるか否かを判断する上述した局所検査プロセスに従って処理する。
V．赤目セグメンテーションモジュール
図１４、図１５Ａ、図１５Ｂ、図１５Ｃ、及び図１５Ｄを参照すると、赤目領域81（図１５Ａ）を含む入力画像12に対して大域スクリーニング及び局所検査プロセスを実行した後、候補赤目ピクセル領域マップ24における残りの候補を以下のようにセグメント化し補正することが可能である。
候補赤目ピクセル領域マップ24において識別される候補赤目ピクセル領域に基づいて、初期ピクセルマスク83(図１５Ｂ)を生成する(図１４のステップ84)。実施形態によっては、初期ピクセルマスク83を、上述した局所赤み検査プロセスのうちの１つを使用して赤及び非肌色として分類される候補赤目ピクセル領域内の全てのピクセルを選択することにより生成する。他の実施形態では、赤み分類マップ(例えば図１２Ｃを参照)の最終段階を、初期ピクセルマスク83として選択する。
初期ピクセルマスク83を、各赤目ピクセル領域が入力画像12の対応する赤目領域に一致するマスクサイズ及び位置を有するように修正する(図１４のステップ86)。実施形態によっては、各赤目ピクセル領域に亙るマスクサイズ及び位置を、米国特許第6,016,354号において述べられている手続きを使用して確定することが可能である。例えば、これらの実施形態において、赤目ピクセル領域にわたって初期ピクセルマスクが与えられると、バイナリ正方形の最尤推定値を見つけることにより、各初期ピクセルマスクを修正することが可能である。特に、以下の関数(D)を、初期ピクセルマスクの全てのピクセルとh（hはバイナリ正方形の辺長である）の全ての値に対して最大化する。
D＝2・(候補の数)−h2 (19)
各赤目ピクセル領域に対してバイナリ正方形のサイズ及び位置を計算した後、バイナリ正方形外の全ての赤目ピクセルを外れ値として除去することにより、修正されたピクセルマスクを取得する（図１４のステップ88）。
赤目ピクセル領域の周囲のあらゆるピンク色の境界を包含するように、修正されたピクセルマスクの各赤目ピクセル領域を増大させることにより（これが必要な場合）、最終ピクセルマスク89（図１５Ｃ）を生成する（図１４のステップ90）。オリジナルピクセル値をRGB色空間で表す一実施形態では、修正されたピクセルマスク領域を、以下のピクセル統計に基づいて拡大する。修正されたピクセルマスクにおいて識別される全ての候補赤目ピクセルについての赤及び緑色成分を、赤目ピクセルの赤の中央値(Rmedian)と該赤の中央値に対応する赤目ピクセルの緑の値(Gred_median)を用いて補正する
Δm＝Rmedian−Gred_median (20)
Δmが０以下である場合、選択された赤の中央値は赤色ピクセルではなく、したがって、修正されたピクセルマスクにおけるピクセルが何れも変更されない。そうでない場合、各マスクピクセルに対し、赤目候補ピクセルである近傍の数を確定する。所与のマスクピクセルが候補赤目ピクセルでない場合、以下のマスク位置設定プロセスを実行する。
if 赤目ピクセル近傍の数 ＞ 2｛
Δ＝red−green；
if(Δ＞0)｛
P＝｜Δ−Δm｜／Δm×100
RP＝｜red−Rmedian｜／Rmedian×100
if (P＜40及びRP＜30)、マスク位置を１に設定(マスク位置を候補にするため)
｝
｝
ここで、red及びgreeenは、所与のマスクピクセルの赤及び緑色成分値である。このプロセスの最後に、更新されたマスクがもたらされる。最終ピクセルマスク89を取得するために、このプロセスを事前定義された拡大範囲（例えば５ピクセル）を達成するまで複数回繰返す。
赤目ピクセルをセグメント化するプロセスに関するさらなる詳細を米国特許第6,016,354号から取得することが可能である。
VI．赤目補正モジュール
図１４及び図１６を参照すると、補正される赤目ピクセルを識別する最終ピクセルマスク89を計算した（図１４のステップ90）後、色補正暗化係数及び重みを計算する（図１４のステップ92)。暗化係数及び重みは、赤目ピクセルのオリジナル色値がどの程度彩度低下する（すなわち中間色又はグレイの値に向わせる）べきかを示す。後に詳細に説明するように、これらの２つの係数は、最終ピクセルマスクにおけるピクセル位置により変化することにより、アーティファクトを回避するために変更される入力画像12のピクセルと変更されないピクセルとの平滑な遷移を提供する。
暗化係数を、入力画像ピクセルの輝度(又はグレイ)値に基づいて計算する。一実施形態では、暗化係数を図１６に示すグラフに基づいて計算する。そこでは、各赤目ピクセルの輝度(又はグレイ)レベルが、［lummin,lummax］＝［0,1］の範囲にわたって変化するものとする。一実施形態では、緑のカラーチャネルを使用して、輝度値を推定する。他の実施形態では、輝度値の異なる推定値又は測定値を使用することが可能である。図示する実施形態では、最小暗化係数(mi)を0.6に設定し、最大暗化係数(mf)を1.0に設定する。他の実施形態では、これらのパラメータを異なる値に設定することが可能である。この式では、暗化係数値は、ピクセルの暗度レベルにより減少する。すなわち、輝度（又はグレイ）値が低下する（すなわち暗くなる）ことは、暗度係数が低下することに関連する。上述した実施形態では、暗度係数は、倍数的に増加してピクセル値に影響を及ぼすため、最終ピクセルマスクにおいて赤色として識別される暗いピクセル（すなわち輝度値が低いピクセル）を、それより明るいピクセル（すなわち輝度値がより高いピクセル）より暗くする。
所与のピクセルに対し、その所与のピクセルに隣接する最終ピクセルマスク中の赤目候補ピクセルの数に基づき、重み(wt)を設定する。例えば、一実施形態では、重みを以下のように設定することが可能である。
ここで、「隣接する候補」は、重み係数が割当てられている所与のピクセルに隣接する最終ピクセルマスクにおける候補赤目ピクセルの数に対応する。この式では、最終ピクセルマルクにおいて識別される赤目ピクセル領域の中心に近い候補赤目ピクセルに対し、赤目ピクセル領域の境界に近い赤目ピクセルより高い重みを割当てる。
最終ピクセルマスク89に対応するピクセルの色値を、計算された暗化及び重み係数に従ってオリジナル色値を彩度低下し暗化することにより補正する(図１４のステップ94)。RGB色空間実施形態によっては、最終ピクセルマスクにおいて赤色として識別された各入力画像ピクセルの色値(red、green、blue)を、以下のように最終色値(R1、G1、B1)に補正する。
If(mask＝1)、tmp＝dark｛green−grnmin］
Else tmp＝1
R1＝(wt×tmp×green＋(1−wt)×red)
G1＝(wt×tmp×green＋(1−wt)×green)
B1＝(wt×tmp×green＋(1−wt)×blue)
これらの実施形態では、入力画像ピクセルの色成分をRGB色空間に関して定義すると想定する。これらの実施形態を他の色空間表現に容易に拡張することができる。wt＝1である場合、ピクセル値を中間色にする(すなわち、ピクセル値を同じグレイの色合いに設定する)。wt＝0である場合、対応するピクセルの色成分値の何れも変更しない。この実施形態では、輝度の低いピクセル(すなわち、緑の値が小さい)を、一般に、輝度が変化していない、より高輝度ピクセルより暗くする。図１５Ａの入力画像12の領域の赤目補正バージョンを図１５Ｄに示す。
VII．結論
他の実施形態が特許請求の範囲内にある。
本明細書で説明したシステム及び方法は、いかなる特定のハードウェア又はソフトウェア構成にも限定されず、むしろ、それらを、ディジタル電子回路において又はコンピュータハードウェア、ファームウェア、デバイスドライバ、又はソフトウェアにおいてあらゆる計算又は処理環境において実施することが可能である。これらのシステム及び方法を、ディジタルカメラ、プリンタ及びポータブル電子機器(例えば、携帯電話及び携帯情報端末)を含む多種多様の電子機器の何れかのハードウェアで具体化することが可能である。
ディジタル画像中の赤目を検出し補正するシステムの実施形態のブロック図である。 ディジタル画像中の赤目を検出し補正するプロセスの実施形態において、入力画像から導出される異なる画像マップと画像マップに適用される異なる処理ステップとの情報フローチャートである。 ディジタル画像の赤目を検出するプロセスの実施形態におけるステップのフローチャートである。 例示的な入力画像の説明図である。 図４Ａの入力画像から導出される赤みマップである。 中核ピクセル領域と周囲ピクセル領域とを含む２次元赤みフィルタの説明図である。 AR1とラベル付けされた中核ピクセル領域とAR2とラベル付けされた周囲ピクセル領域とを有する図５Ａの２次元赤みフィルタの説明図である。 図４Ｂの赤みマップから導出される候補赤目ピクセルマップである。 ディジタル画像中の赤目を検出するプロセスの実施形態におけるフィルタリングステップのフローチャートである。 拡大されている候補赤目ピクセル領域の説明図である。 ８つの隣接するピクセル領域のセットにより包囲される図８Ａの拡大された候補赤目ピクセル領域の説明図である。 候補グレイスケール眼球ピクセル領域により包囲される候補赤目ピクセル領域の説明図である。 ８つの隣接するピクセル領域のセットにより包囲される候補グレイスケール眼球ピクセル領域の説明図である。 グレイで強調表示された５つの隣接するピクセル領域のあらゆるサブセットを含む候補グレイスケール眼球ピクセル領域の異なる説明図である。 少年の例示的な入力画像である。 図１１Ａに現れる少年の右目を取り囲む領域において、赤み分類マップをしきい値処理することにより生成される画像である。 検出された赤目ピクセル領域の２値画像の説明図である。 画像境界に結合される赤目ピクセルを除去した後の図１１Ａの２値画像の説明図である。 画像の中心領域に結合されるピクセルを赤目ピクセルとしてマークした後の図１１Ｂの２値画像の説明図である。 赤目候補対プロセスの実施形態において使用するジオメトリを示す２つの同心円の説明図である。 ディジタル画像中の赤目ピクセルをセグメント化し補正する方法のフローチャートである。 赤目ピクセル領域を含む目の入力画像である。 赤目ピクセル領域上に重ね合せられた初期ピクセルマスクを含む図１５Ａの入力画像である。 赤目ピクセル領域上に重ね合せられた最終ピクセルマスクを含む図１５Ａの入力画像である。 図１４の方法に従って補正された、図１５Ｃの最終ピクセルマスクに対応する赤目ピクセル領域を含む図１５Ａの入力画像である。 入力画像のピクセルの緑色成分値の関数としてプロットされる暗化係数のグラフである。

Claims (9)

  1. オリジナル色値を有するピクセルを含むディジタル画像(12)を処理する方法であって、
    前記ディジタル画像(12)におけるピクセル赤みの測定値を計算し、
    該計算したピクセル赤みの測定値に基づき候補赤目ピクセル領域の予備セットを識別し、
    各々の候補赤目ピクセル領域の赤みコントラストを計算し、
    前記識別された予備セットから、所定の赤みコントラスト閾値よりも小さい赤みコントラストを有する候補赤目ピクセル領域を除去し、
    各々の候補赤目ピクセル領域のグレースケールコントラストを計算し、
    前記識別された予備セットから、所定のグレースケールコントラスト閾値よりも小さいグレースケールコントラストを有する候補赤目ピクセル領域を除去する
    という各ステップを含み、
    ここで、
    前記ピクセル赤みとは、総ピクセルエネルギーの測定値に対する赤成分のピクセルエネルギーの測定値の割合であり、
    前記赤みコントラストは、前記候補赤目ピクセル領域の赤みの平均と、少なくとも１つの各々の隣接ピクセル領域の赤みの平均との間の差分であり、
    前記グレースケールコントラストは、前記候補赤目ピクセル領域のグレースケール値の平均と、少なくとも１つの各々の隣接ピクセル領域のグレースケール値の平均との間の差分であることからなる、ディジタル画像を処理する方法。
  2. 前記候補赤目ピクセル領域(50)の前記予備セットを識別する前記ステップが、前記計算されたピクセル赤みの測定値に対して２次元赤みフィルタを適用することを含み、該赤みフィルタが、中核ピクセル領域(40)と該中核ピクセル領域(40)を取り囲む周囲ピクセル領域(42)とに基づいて赤みスコアを計算し、
    前記計算された赤みスコアが、前記中核ピクセル領域(40)の平均赤みを測定する成分と、前記周囲ピクセル領域(42)に対する前記中核ピクセル領域(40)の平均コントラストを測定する成分とを含むことからなる、請求項１に記載のディジタル画像を処理する方法。
  3. 前記計算された赤みスコアに対して所定のしきい値を適用して候補赤目ピクセルを識別するステップを更に含む、請求項２に記載のディジタル画像を処理する方法。
  4. 一組の対応する周囲ピクセル領域(51)の各々に対する計算された赤みコントラストが前記所定の赤みコントラストしきい値を下回る各候補赤目ピクセル領域(50)を前記予備セットからフィルタリングする、請求項１に記載のディジタル画像を処理する方法。
  5. 前記ディジタル画像(12)におけるピクセルグレイスケールの測定値を計算し、及び所与の候補赤目ピクセル領域(50)に対し、該所与の候補赤目ピクセル領域(50)に中心を置く候補眼球領域(56,58)であって該候補眼球領域(56,58)とそれを取り囲む領域(０〜７)との間のグレイスケールコントラストを最大化するサイズを有する候補眼球領域を計算し、
    前記候補眼球領域(56,58)とそれを取り囲む前記領域(０〜７)の少なくとも一部との間のグレイスケールコントラスト測定値を計算し、該計算したグレイスケールコントラスト測定値に対してしきい値を適用して前記予備セットから前記候補赤目ピクセル領域(50)をフィルタリングする、
    という各ステップを更に含む、請求項１に記載のディジタル画像を処理する方法。
  6. 候補赤目ピクセル領域(50)を対にし、前記予備セットから対になっていない候補赤目ピクセル領域(50)をフィルタリングする、という各ステップを更に含む、請求項１に記載のディジタル画像を処理する方法。
  7. 前記予備セットから、前記ディジタル画像(12)における隣接する肌色領域と併合される候補赤目ピクセル領域(50)をフィルタリングし、
    前記候補赤目ピクセル領域(50)における非肌色ピクセルの割合と前記候補赤目ピクセル領域(50)を取り囲む領域における肌色ピクセルの割合とに基づいて、前記予備セットから前記候補赤目ピクセル領域(50)をフィルタリングし、
    該候補赤目ピクセル領域(50)におけるディジタル画像ピクセルをYCbCr色空間にマップし、該マップしたYCbCr色空間ピクセル値に対してしきい値を適用して前記候補赤目ピクセル領域(50)をフィルタリングし、
    個々の候補赤目ピクセル領域(50)を包含する画像領域における各ピクセル毎にYCbCr色空間クロミナンス成分の比を計算し、該計算した比に対してしきい値を適用して前記候補赤目領域を識別する、
    という各ステップを含む、請求項１に記載のディジタル画像を処理する方法。
  8. 赤み及び肌色の色合いに基づいて各候補赤目ピクセル領域(81)におけるピクセルを分類し、
    各候補赤目ピクセル領域(81)毎に、赤色及び非肌色として分類される前記候補赤目ピクセル領域(81)中の全てのピクセルを識別する初期ピクセルマスク(83)を生成し、
    対応する赤目ピクセル領域(81)と一致するマスクサイズ及び位置を達成するために前記初期ピクセルマスク(83)を修正し、
    前記修正したピクセルマスクのサイズを増大させて、対応する赤目ピクセル領域(81)を取り囲むピンク領域に適応させることにより、最終ピクセルマスク(89)を生成する、
    という各ステップを更に含む、請求項１に記載のディジタル画像を処理する方法。
  9. オリジナル色値を彩度低下させ暗化させることにより、前記最終ピクセルマスク(89)に対応するピクセルのオリジナル色値を補正することを更に含む、請求項８に記載のディジタル画像を処理する方法。
JP2004129660A 2003-04-28 2004-04-26 ディジタル画像中の赤目を検出し補正する方法 Expired - Fee Related JP3810776B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/424,419 US7116820B2 (en) 2003-04-28 2003-04-28 Detecting and correcting red-eye in a digital image

Publications (2)

Publication Number Publication Date
JP2004326805A JP2004326805A (ja) 2004-11-18
JP3810776B2 true JP3810776B2 (ja) 2006-08-16

Family

ID=33299356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004129660A Expired - Fee Related JP3810776B2 (ja) 2003-04-28 2004-04-26 ディジタル画像中の赤目を検出し補正する方法

Country Status (3)

Country Link
US (1) US7116820B2 (ja)
EP (1) EP1499110A3 (ja)
JP (1) JP3810776B2 (ja)

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630006B2 (en) 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US7738015B2 (en) 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US7042505B1 (en) 1997-10-09 2006-05-09 Fotonation Ireland Ltd. Red-eye filter method and apparatus
US7088855B1 (en) * 2001-01-22 2006-08-08 Adolfo Pinheiro Vide Method and system for removal of red eye effects
US6895112B2 (en) * 2001-02-13 2005-05-17 Microsoft Corporation Red-eye detection based on red region detection with eye confirmation
JP2006509292A (ja) * 2002-12-05 2006-03-16 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ セグメント化されたイメージから偽エッジを除去するための装置及び方法
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7536036B2 (en) * 2004-10-28 2009-05-19 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
US8036458B2 (en) 2007-11-08 2011-10-11 DigitalOptics Corporation Europe Limited Detecting redeye defects in digital images
US8170294B2 (en) 2006-11-10 2012-05-01 DigitalOptics Corporation Europe Limited Method of detecting redeye in a digital image
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7920723B2 (en) 2005-11-18 2011-04-05 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7689009B2 (en) 2005-11-18 2010-03-30 Fotonation Vision Ltd. Two stage detection for photographic eye artifacts
US7336821B2 (en) * 2006-02-14 2008-02-26 Fotonation Vision Limited Automatic detection and correction of non-red eye flash defects
US7970182B2 (en) 2005-11-18 2011-06-28 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US9412007B2 (en) 2003-08-05 2016-08-09 Fotonation Limited Partial face detector red-eye filter method and apparatus
US8520093B2 (en) 2003-08-05 2013-08-27 DigitalOptics Corporation Europe Limited Face tracker and partial face tracker for red-eye filter method and apparatus
US7664322B1 (en) * 2003-08-11 2010-02-16 Adobe Systems Incorporated Feature-based color adjustment
JP4431949B2 (ja) * 2003-10-27 2010-03-17 ノーリツ鋼機株式会社 赤目補正方法及びこの方法を実施する装置
JP4320272B2 (ja) * 2004-03-31 2009-08-26 富士フイルム株式会社 特定領域検出方法、特定領域検出装置、およびプログラム
JP4396387B2 (ja) * 2004-05-13 2010-01-13 オムロン株式会社 画像補正装置
JP4599110B2 (ja) * 2004-07-30 2010-12-15 キヤノン株式会社 画像処理装置及びその方法、撮像装置、プログラム
EP1774466A4 (en) * 2004-07-30 2009-10-21 Canon Kk PICTURE PROCESSING AND DEVICE, PICTURE DEVICE AND PROGRAM
CN100377163C (zh) * 2004-08-09 2008-03-26 佳能株式会社 用于处理图像的方法和装置
US7403654B2 (en) * 2004-10-04 2008-07-22 Arcsoft, Inc. Enhanced automatic red eye removal
JP4901229B2 (ja) * 2005-03-11 2012-03-21 富士フイルム株式会社 赤目検出方法および装置並びにプログラム
US7907786B2 (en) * 2005-06-06 2011-03-15 Xerox Corporation Red-eye detection and correction
JP4498224B2 (ja) * 2005-06-14 2010-07-07 キヤノン株式会社 画像処理装置およびその方法
JP4405942B2 (ja) * 2005-06-14 2010-01-27 キヤノン株式会社 画像処理装置およびその方法
JP4670664B2 (ja) * 2005-10-05 2011-04-13 三菱電機株式会社 画像認識装置
US7747071B2 (en) * 2005-10-27 2010-06-29 Hewlett-Packard Development Company, L.P. Detecting and correcting peteye
US7599577B2 (en) 2005-11-18 2009-10-06 Fotonation Vision Limited Method and apparatus of correcting hybrid flash artifacts in digital images
US7567707B2 (en) * 2005-12-20 2009-07-28 Xerox Corporation Red eye detection and correction
US7903870B1 (en) * 2006-02-24 2011-03-08 Texas Instruments Incorporated Digital camera and method
JP4549997B2 (ja) * 2006-03-30 2010-09-22 富士フイルム株式会社 赤目検出装置、赤目検出方法、および赤目検出プログラム
ATE497218T1 (de) 2006-06-12 2011-02-15 Tessera Tech Ireland Ltd Fortschritte bei der erweiterung der aam- techniken aus grauskalen- zu farbbildern
US8064694B2 (en) * 2006-06-21 2011-11-22 Hewlett-Packard Development Company, L.P. Nonhuman animal integument pixel classification
JP4779851B2 (ja) * 2006-07-24 2011-09-28 セイコーエプソン株式会社 オブジェクト検出装置
CN101523414A (zh) * 2006-09-28 2009-09-02 皇家飞利浦电子股份有限公司 图像的部分的内容检测
US7941002B2 (en) 2006-12-01 2011-05-10 Hewlett-Packard Development Company, L.P. Apparatus and methods of producing photorealistic image thumbnails
US7764846B2 (en) * 2006-12-12 2010-07-27 Xerox Corporation Adaptive red eye correction
US20080170778A1 (en) * 2007-01-15 2008-07-17 Huitao Luo Method and system for detection and removal of redeyes
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
US20080199073A1 (en) * 2007-02-20 2008-08-21 Microsoft Corporation Red eye detection in digital images
WO2008109708A1 (en) * 2007-03-05 2008-09-12 Fotonation Vision Limited Red eye false positive filtering using face location and orientation
JP4214420B2 (ja) * 2007-03-15 2009-01-28 オムロン株式会社 瞳色補正装置およびプログラム
WO2008119368A1 (en) * 2007-04-03 2008-10-09 Telecom Italia S.P.A. Method for red eye detection in a digital image
US8031970B2 (en) * 2007-08-27 2011-10-04 Arcsoft, Inc. Method of restoring closed-eye portrait photo
US8503818B2 (en) 2007-09-25 2013-08-06 DigitalOptics Corporation Europe Limited Eye defect detection in international standards organization images
JP5089405B2 (ja) * 2008-01-17 2012-12-05 キヤノン株式会社 画像処理装置及び画像処理方法並びに撮像装置
US8212864B2 (en) 2008-01-30 2012-07-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
CN101983507A (zh) * 2008-02-01 2011-03-02 惠普开发有限公司 自动红眼检测
US8331666B2 (en) * 2008-03-03 2012-12-11 Csr Technology Inc. Automatic red eye artifact reduction for images
JP4983684B2 (ja) * 2008-03-26 2012-07-25 セイコーエプソン株式会社 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム
US8081254B2 (en) 2008-08-14 2011-12-20 DigitalOptics Corporation Europe Limited In-camera based method of detecting defect eye with high accuracy
US8295593B2 (en) * 2009-01-07 2012-10-23 Seiko Epson Corporation Method of detecting red-eye objects in digital images using color, structural, and geometric characteristics
US8559668B2 (en) * 2009-06-01 2013-10-15 Apple Inc. Red-eye reduction using facial detection
WO2010149220A1 (en) * 2009-06-26 2010-12-29 Nokia Corporation An apparatus
JP4580029B2 (ja) * 2009-10-02 2010-11-10 キヤノン株式会社 画像処理装置およびその方法
US8300929B2 (en) * 2009-10-07 2012-10-30 Seiko Epson Corporation Automatic red-eye object classification in digital photographic images
US8170332B2 (en) * 2009-10-07 2012-05-01 Seiko Epson Corporation Automatic red-eye object classification in digital images using a boosting-based framework
KR101624650B1 (ko) 2009-11-20 2016-05-26 삼성전자주식회사 적목 현상 검출 방법 및 장치
US8649612B1 (en) 2010-01-06 2014-02-11 Apple Inc. Parallelizing cascaded face detection
US8300927B2 (en) * 2010-02-11 2012-10-30 Seiko Epson Corporation Mouth removal method for red-eye detection and correction
CN102893292B (zh) 2010-04-30 2016-02-10 诺基亚技术有限公司 用于补偿眼睛颜色缺陷的方法及装置
KR101454988B1 (ko) * 2010-06-28 2014-10-27 노키아 코포레이션 아이 컬러 결함을 보상하기 위한 방법, 장치 및 컴퓨터 프로그램 제품
KR101026410B1 (ko) * 2010-07-29 2011-04-07 엘아이지넥스원 주식회사 표적 추출 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
US8559712B2 (en) * 2010-09-13 2013-10-15 Hewlett-Packard Development Company, L.P. Processing an image of a person's face
US8705811B1 (en) 2010-10-26 2014-04-22 Apple Inc. Luminance adjusted face detection
US8786735B2 (en) 2011-03-21 2014-07-22 Apple Inc. Red-eye removal using multiple recognition channels
US8837827B2 (en) 2011-03-21 2014-09-16 Apple Inc. Red-eye removal using multiple recognition channels
US8837822B2 (en) 2011-03-21 2014-09-16 Apple Inc. Red-eye removal using multiple recognition channels
US8837785B2 (en) 2011-03-21 2014-09-16 Apple Inc. Red-eye removal using multiple recognition channels
US8818091B2 (en) 2011-03-21 2014-08-26 Apple Inc. Red-eye removal using multiple recognition channels
US8675971B2 (en) * 2011-03-25 2014-03-18 Aptina Imaging Corporation Method and apparatus for classifying image pixels
US9721160B2 (en) * 2011-04-18 2017-08-01 Hewlett-Packard Development Company, L.P. Manually-assisted detection of redeye artifacts
US8571271B2 (en) 2011-05-26 2013-10-29 Microsoft Corporation Dual-phase red eye correction
US8811683B2 (en) * 2011-06-02 2014-08-19 Apple Inc. Automatic red-eye repair using multiple recognition channels
US9041954B2 (en) 2011-06-07 2015-05-26 Hewlett-Packard Development Company, L.P. Implementing consistent behavior across different resolutions of images
US8970902B2 (en) 2011-09-19 2015-03-03 Hewlett-Packard Development Company, L.P. Red-eye removal systems and method for variable data printing (VDP) workflows
TW201328312A (zh) * 2011-12-27 2013-07-01 Icatch Technology Inc 修正紅眼的影像處理方法及裝置
CN105247570A (zh) * 2013-05-28 2016-01-13 马维尔国际贸易有限公司 用于红眼修正的系统和方法
KR20150005094A (ko) * 2013-07-04 2015-01-14 삼성전자주식회사 전자 디바이스 및 전자 디바이스에서 눈 영역 검출 방법
KR20150075906A (ko) * 2013-12-26 2015-07-06 삼성전기주식회사 시선 추적 장치 및 방법
US9953415B2 (en) 2014-12-03 2018-04-24 Tata Consultancy Services Limited System and method for quantification of Escherichia coli bacteria in water
KR102585229B1 (ko) 2015-07-08 2023-10-05 삼성전자주식회사 대상체의 피부 타입에 관련된 정보를 제공하는 전자 장치 및 방법
WO2017007218A1 (ko) * 2015-07-08 2017-01-12 삼성전자 주식회사 대상체의 피부 타입에 관련된 정보를 제공하는 전자 장치 및 방법
CN106981066B (zh) * 2017-03-06 2019-07-12 武汉嫦娥医学抗衰机器人股份有限公司 一种基于肤色的内脸图像分割方法
US20190370942A1 (en) * 2018-06-01 2019-12-05 Apple Inc. Red-eye correction techniques

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5432863A (en) * 1993-07-19 1995-07-11 Eastman Kodak Company Automated detection and correction of eye color defects due to flash illumination
US6215891B1 (en) * 1997-03-26 2001-04-10 Oki Electric Industry Co., Ltd. Eye image recognition method eye image selection method and system therefor
US6204858B1 (en) 1997-05-30 2001-03-20 Adobe Systems Incorporated System and method for adjusting color data of pixels in a digital image
US6009209A (en) * 1997-06-27 1999-12-28 Microsoft Corporation Automated removal of red eye effect from a digital image
US6252976B1 (en) 1997-08-29 2001-06-26 Eastman Kodak Company Computer program product for redeye detection
US6292574B1 (en) 1997-08-29 2001-09-18 Eastman Kodak Company Computer program product for redeye detection
WO1999017254A1 (en) * 1997-09-26 1999-04-08 Polaroid Corporation Digital redeye removal
US6016354A (en) * 1997-10-23 2000-01-18 Hewlett-Packard Company Apparatus and a method for reducing red-eye in a digital image
JP2004502212A (ja) 2000-03-23 2004-01-22 インスティチュート・フォー・インフォコム・リサーチ 画像処理による赤目修正
US6728401B1 (en) * 2000-08-17 2004-04-27 Viewahead Technology Red-eye removal using color image processing
US6895112B2 (en) * 2001-02-13 2005-05-17 Microsoft Corporation Red-eye detection based on red region detection with eye confirmation
US6873743B2 (en) 2001-03-29 2005-03-29 Fotonation Holdings, Llc Method and apparatus for the automatic real-time detection and correction of red-eye defects in batches of digital images or in handheld appliances
BR0209543A (pt) * 2001-05-11 2005-04-26 Detector Electronics Método e aparelho de detecção de fogo através de formação de imagem da chama
US6980691B2 (en) * 2001-07-05 2005-12-27 Corel Corporation Correction of “red-eye” effects in images
JP2005518722A (ja) * 2002-02-22 2005-06-23 ピクソロジー ソフトウエア リミテッド デジタル画像における赤目特徴の検出および補正
US7155058B2 (en) * 2002-04-24 2006-12-26 Hewlett-Packard Development Company, L.P. System and method for automatically detecting and correcting red eye

Also Published As

Publication number Publication date
US7116820B2 (en) 2006-10-03
EP1499110A3 (en) 2006-03-01
JP2004326805A (ja) 2004-11-18
US20040213476A1 (en) 2004-10-28
EP1499110A2 (en) 2005-01-19

Similar Documents

Publication Publication Date Title
JP3810776B2 (ja) ディジタル画像中の赤目を検出し補正する方法
CN110033456B (zh) 一种医疗影像的处理方法、装置、设备和系统
US6873743B2 (en) Method and apparatus for the automatic real-time detection and correction of red-eye defects in batches of digital images or in handheld appliances
EP1810245B1 (en) Detecting irises and pupils in human images
TWI430184B (zh) 結合全色像素之邊緣映射
CN109816666B (zh) 对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质
US20060204052A1 (en) Method, apparatus, and program for detecting red eye
JP3684017B2 (ja) 画像処理装置及び方法
US8285002B2 (en) Image processing apparatus and method, image sensing apparatus, and program
WO2015070723A1 (zh) 眼部图像处理方法和装置
JP2007504719A (ja) 組み込みアプリケーションに適した、画像における赤目の検出と補正を行うシステム及び方法
US20090103784A1 (en) Effective red eye removal in digital images without face detection
WO2021042823A1 (zh) 图片检测方法及装置
JP2013027636A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN113129390B (zh) 一种基于联合显著性的色盲图像重新着色方法及系统
CN112288697B (zh) 用于量化异常程度的方法、装置、电子设备及可读存储介质
JP6620636B2 (ja) 眼底画像処理装置
Reza et al. Automatic detection of optic disc in fundus images by curve operator
KR101881795B1 (ko) 퍼지 이론에 기초한 컬러 이미지의 에지 검출 방법
JP4457586B2 (ja) 赤目領域補正方法、赤目領域補正処理プログラム、記録媒体、画像処理装置
CN118196218B (zh) 一种眼底图像处理方法、装置及设备
JP4269808B2 (ja) 色不良領域補正方法、色不良領域補正処理プログラム、色領域特定方法、色領域特定処理プログラムおよび画像処理装置
WO2008119368A1 (en) Method for red eye detection in a digital image
CN117522802A (zh) 视网膜图像预处理方法、装置、电子设备及存储介质
CN116092171A (zh) 图像的识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050913

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20051213

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20051216

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060524

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees