JP3181472B2 - フラッシュ発光による瞳の色調不良の自動検出及び補正 - Google Patents

フラッシュ発光による瞳の色調不良の自動検出及び補正

Info

Publication number
JP3181472B2
JP3181472B2 JP16542194A JP16542194A JP3181472B2 JP 3181472 B2 JP3181472 B2 JP 3181472B2 JP 16542194 A JP16542194 A JP 16542194A JP 16542194 A JP16542194 A JP 16542194A JP 3181472 B2 JP3181472 B2 JP 3181472B2
Authority
JP
Japan
Prior art keywords
pupil
group
poor
pixel
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP16542194A
Other languages
English (en)
Other versions
JPH0772537A (ja
Inventor
ジェイ ベナティ ポール
ティー グレイ ロバート
エイ コスグローブ パトリック
Original Assignee
イーストマン コダック カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イーストマン コダック カンパニー filed Critical イーストマン コダック カンパニー
Publication of JPH0772537A publication Critical patent/JPH0772537A/ja
Application granted granted Critical
Publication of JP3181472B2 publication Critical patent/JP3181472B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/624Red-eye correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)
  • Studio Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、ディジタル画像内の被
写体の瞳の色調不良をディジタル的に検出する方法に関
する。
【0002】
【従来の技術】カラーのフラッシュ撮影において、レッ
ドアイと呼ばれる現象が生じることが知られている。こ
の用語“レッドアイ”は、写真撮影により再生される人
の瞳孔が、通常の黒色ではなく赤色に見えることを示し
ている。〔この効果は、動物をフラッシュ撮影する際に
も生じるが、赤色ではない色が示されることもある。〕 赤みを帯びた光は、フラッシュ発光により生ずる光が瞳
の網膜の直後の層で反射されることにより得られる。こ
の問題を回避するために、以下の2つの処理が画像の入
力時に利用される:(1)周囲の光量を増加させる、ま
たは、(2)フラッシュをカメラから数インチに離す。
第1の方法は、瞳孔を小さくさせるので、反射光の量が
減少し、必要とされるフラッシュ発光量も少なくなる。
反射光は、光源、即ち、フラッシュに向かう逆向きの細
いビームに限られるので、第2の方法により、レンズに
よる反射光の検出が防止される。残念ながら、アマチュ
ア写真家は、必ずしも上記のいずれかの方法を実行して
いるとは限らない。一般にアマチュア写真家は、撮影場
所の周囲の光量不足を補うためにフラッシュを使用す
る。その上、インスタントカメラと一眼レフカメラの多
くは、レンズの近くにフラッシュが置かれている。
【0003】画像がディジタル的に入力された後、瞳の
色調不良を修正することが可能である。ドッブス他を共
同譲受人とする、発明の名称が“長円境界関数を利用す
る局所的な画像の再彩色”である、1992年6月14
日に発行された米国特許第5,130,789号明細書
に、オペレータによって瞳の周辺領域が指定された後、
領域の彩度と明度のチャネルを修正する方法が記載され
ている。
【0004】
【発明が解決しようとする課題】本発明の目的は、画像
内の不良に彩色された瞳を自動的に決定することであ
る。本発明の他の目的は、本体と、境界と、閃光の画素
を別個に補正することにより補正を改善し、また、検出
とは異なる解像度で補正を行うことである。
【0005】
【課題を解決するための手段】本発明の望ましい方法の
一つは、 a) 少なくとも被写体の頭の一部を含み、一以上の瞳
の色調不良が存在する可能性のある空間的な領域を定
め; b) 色調の内容に関するかかる空間的な領域内の画素
をサンプリングし、瞳の色調不良の可能性のある画素を
認定するよう上記のサンプル化された画素の各々を瞳の
色調不良を表わす複数の閾値と比較し; c) 上記認定された瞳の色調不良の可能性のある画素
を空間的に隣接する一以上の群に分割し; d) 瞳の色調不良の群の候補を認定するよう、群の大
きさと、群の形状と、彩色と、輝度とを含む複数の特徴
に基づいて分割された各群の各画素と、各群に対する第
1の評価数を算出し; e) 認定された瞳の色調不良の群の候補の各々からそ
の上記評価数に基づいて核画素を選択し、その近接画素
の中から所定の評価数の範囲内にあるすべての近接画素
と、決定される変化が瞳の色調不良の群の候補の外側の
境界を認定するよう重要な画素評価数の変化を示す群の
画素とを決定し; f) 瞳の色調不良の群の候補を決定するよう、群の大
きさと、群の形状と、彩色と、輝度とを含む複数の特徴
に基づいて瞳の色調不良の群の候補の各々に関して各画
素に対する第2の評価数を算出するステップよりなる、
フラッシュ発光によるディジタル画像内の被写体の瞳の
色調不良を検出する方法である。
【0006】本発明により使用される方法は、’789
号特許の領域の輝度の変化を破壊することなく再彩色を
行う基準を維持する。しかし、本発明は、’789号特
許明細書の開示を実行するために必要な3つの入力のう
ち2つを自動的に供給する。本発明において最初に必要
とされるのは、おおよその着目領域だけであるが、’7
89号特許ではかなり厳密な領域が必要とされる。ま
た、本発明により、各瞳は:(1)本体画素と、(2)
境界画素と、(3)閃光画素の3通りの画素の種類に分
類されることに注意する必要がある。3通りの画素の種
類の各々は、極めて自然に見える補正を行うために別々
に処理される。さらに、着目領域が取得された画像解像
度は、本発明の補正時の解像度であることは必ずしも必
要とはされない。
【0007】
【実施例】図1を参照すると、本発明は、ディジタル化
スキャナ10と、表示装置26を有するコンピュータの
ような制御及び論理装置24と、光ディスク書込み装置
36を使用して実現される。図示する如く、現像された
フィルムの一以上のフレーム18を含むフィルム片15
は、フィルム片15が制御及び論理回路30の命令に基
づいて走査される走査ゲート12の中に置かれる。各フ
レーム18が走査されると、ブロック22で示される合
成画像データは、ディジタル化され、記憶用メモリ28
に送出される。コンピュータ24は、以下に説明する方
法により、異常の特性に関する記録を提供する光ディス
ク書込み装置36により光ディスクに書き込まれる可能
性のある出力画像データ32を供給するよう記憶された
データを処理する。ディジタル化スキャナ10は、画素
値を赤色、緑色、青色のチャネル毎に多数の輝度レベル
に量子化することが可能である。適切な品質の画像は典
型的には256レベルであるのに対して、輝度レベルの
数の最小値はおよそ64であろう。画像データ32は、
上記の如くフィルムを走査する操作により得られるが、
他の周知の画像データの供給法が利用されても良いこと
は容易に理解される。
【0008】コンピュータ24は本発明に従って機能す
る。次に、図2を参照すると、本発明は、以下の2つの
別個のフェーズ:(1)検出フェーズ200と、(2)
確定フェーズ300とに区分することができる。検出フ
ェーズ200は、以下の5つの別個の段階(図3を参照
せよ):(1)瞳の色調不良である候補画素の認定21
0と、(2)分割220と、(3)第1の評価230
と、(4)領域成長(或いは、画素評価数の変化の認
定)240と、(5)第2の評価250とに区分するこ
とができる。検出フェーズ200の各段階は、データ処
理系列を生成するよう前の段階で作成された結果を利用
する。確定フェーズ300は、以下の2つの段階(図4
を参照せよ):(1)拡大縮小370と、(2)補正3
80とに区分することができる。解像度は、次の3段
階:(1)低解像310と、(2)同一解像320と、
(3)高解像330とに区分することができる。補正部
も、次の3段階:(1)閃光補正340と、(2)本体
補正350と、(3)境界補正360とに区分すること
ができる。
【0009】かかるデータ処理系列の必要性に注意する
ことが重要である。レッドアイ不良のある場合、単に画
像内の赤みを帯びた画素は全て不良であると想定するな
らば、レッドアイではない多数の画素が、本当のレッド
アイ画素の組に含まれるであろう。レッドアイは、色調
と空間的位置の両方の手掛かりを含む。一方の手掛かり
に基づき、もう一方の手掛かりの組には基づかない場
合、得られる結果は正しくないであろう。データ処理系
列の各々の段階で作成される手掛かりを組み立てること
により、本発明において、レッドアイ画素とレッドアイ
以外の画素とを識別し得る。
【0010】レッドアイが目立ち、かつ、紛らわしく見
えるのは、赤色ではないエレメント(例えば、CRT上
の画素)に取り囲まれた赤色のエレメントが集中するた
めである。エレメントの彩色は、赤色と、緑色と、青色
の属性値の組み合わせによって決まる。従って、レッド
アイ領域を構成するエレメントは、緑色或いは青色より
も多くの赤色を含むことを推断できる。実際、観察用レ
ッドアイ画素は、ビデオガンマ測度における、赤色と、
(緑色又は青色のいずれかの)最大値との強度の比が平
均で1.7:1である結果が実験により得られた。この
比を増大又は減少させることにより、本発明は、赤色に
対する感度を減少又は増大させる。
【0011】エレメントのRGB値を図5に示すHLS
(色相、明度、及び飽和度)空間に集めることにより、
フラッシュが照射された人間の瞳で観察される赤色の種
類を得ることが可能である。従来の実施例により使用さ
れた以下の値: 700 ≦ 色相 ≦ 1010 40 ≦ 明度 ≦ 166 65 ≦ 飽和度 ≦ 256 が得られているが、本発明における感度を修正するため
調節されても良い。
【0012】従って、上記の比と、3次元HLS領域
は、本発明の第1の段階で使用される基準を構成する。
かかる基準に合格する与えられた画像内のすべての画素
は、事前に零化されたビットマップ、即ち、カラービッ
トマップに値1で表わされる。ビットマップは、1又は
0を保持するメモリの1区画である。この2進データ
は、その2進データを翻訳するプログラムに応じて多く
の事を表わすことが可能である。本発明において、この
ビットマップは、瞳の色調不良である画素の候補を表わ
す。これらのマップは、一つのデータを表わすために1
ビットだけを使用するので、このデータ構造により物理
的なメモリは大量に節約される。かくして、この段階の
最後に、上記の基準を満たす画素だけがカラービットマ
ップ内に存在する。色相と、明度と、飽和度の空間の詳
細な説明は、コンピュータグラフィック誌:SIGGR
APH−−ACMの季刊報告、第13巻、第3号、19
79年8月、ページIII−37と38を参照のこと。
【0013】この段階に至るまでに、本発明は、個々の
画素に関する処理を行い:図3に示す瞳の色調不良であ
る候補画素の認定段階210の基準に合格し得なかった
画素を除去する。次いで、個々の画素は、セグメントと
呼ばれる空間的に隣接する群に分割される。この処理
は、非零のビットを検出するまでカラービットマップを
ラスタ走査することから始まる。このビットは核ビット
である。一旦検出された核ビットは、事前に零化され、
マークされたビットマップで1に設定される。次いで、
分割処理は、マークされたビットマップ内に“オン”で
あるビットがない場合に終了するループを開始する。ル
ープの最初の段階において、カラービットマップ内の現
在のビットは零化される。カラービットマップ内の現在
のビットの周りを(8連結形式で)調べて“オン”ビッ
トを探索する関数が呼び出される。“オン”ビットが検
出されると、それらは、核のビットマップ内でも“オ
ン”ではない場合に限り、マークされたビットマップ内
に配置される。すべての8連結“オン”ビットが検出さ
れると、この関数は終了し、分割処理ループに戻る。こ
のループの次のステップは、マークされたビットマップ
内の現在のビットを零化し、核のビットマップ内の現在
のビットを“オン”に変える。最後に、マークされたビ
ットマップを調べて左上の非零のビットを探索する関数
が呼び出される。このビットが、次に、現在のビットに
なり、再びループが繰り返される。最後に、分割処理ル
ープは終了する。この時点で、各セグメントは、面積と
形状とに基づいて認定される。特に、2つの基準、即
ち、偏心率と画素数がある。セグメントの偏心率は、偏
心率の最小値よりも大きく、偏心率の最大値よりも小さ
いことが必要とされ、ここで、0.0は、真円を表わ
し、1.0は、最も細長い形状(即ち、線)を表わす。
偏心率の値の範囲により、線状のセグメントタイプを除
去する(即ち、瞳孔は丸みを帯びている)。偏心率の値
を求めるために使用された従来の式は、付録Aに記載さ
れている。セグメントは、所定の最小と最大の(画素数
による)面積の間に含まれることが必要である。画素数
の最小値よりも小さいセグメントは、通常、他の画像対
象物(例えば、皮膚の黒子)と識別できない。セグメン
トであることが認定された場合、そのセグメントは、ク
ラスマップビットマップ(class map bit map) に入れら
れる。核のビットマップの零化は、分割処理のこの部分
で終了する。説明を続ける前に、この時点で4つのビッ
トマップの中で“オン”ビットを含み得るのは、カラー
ビットマップ及びクラスマップビットマップの2つだけ
であることを理解することが重要である。カラービット
マップは、他のセグメントに属する“オン”ビットを含
む可能性があり、クラスマップビットマップは、先に検
出されたセグメントと現在のセグメントだけを含み得
る。
【0014】最後に、カラービットマップのラスタ走査
が続けられる。カラービットマップ内で次の非零のビッ
トが検出されるとき、そのビットは核のビットに指定さ
れ、新たに処理が始まる。これは、カラービットマップ
内の“オン”ビットが無くなるまで続けられる。セグメ
ントが分割されるとき、以下の2つの作業が行われる:
即ち、(1)新しいセグメントがクラスマップセグメン
トに挿入され、(2)セグメントに関するデータが蓄積
される。このデータには、偏心率、即ち、セグメントの
円形度の尺度と;セグメント内に含まれる画素数(即
ち、面積)と;セグメントの評価数と;最良の画素の評
価数(即ち、セグメント内で得られる最大の画素評価
数)と;最良の画素の座標値と;セグメントの重心の座
標値とが含まれる。検出された各セグメントは、各々に
付随する統計量が、次の段階において利用できるように
格納される。評価 :(図3を参照のこと) 連続的な重み付けにより画素を評価する方法が本発明に
おいて採用されている。種々の基準(色相、明度、飽和
度、及び、上記の比テスト)を考慮し、かかる基準に基
づいて、瞳の色調不良の評価数が与えられる。評価数
は、両端を含めて0から1までの範囲に亘る。
【0015】本発明において、画素は、HLS値と、そ
の画素が比の基準に合格するかどうか(即ち、2値の評
価数)とに基づいて評価される。画像内の各画素は、色
相と、明度と、飽和度の値を有する。これらの値が与え
られると、これらのチャネルの各々に関する評価数(sco
re hueと、score lightness と、score saturation)を
算出することができる。これらの評価数は、図6の
(a)乃至(c)に示される情報に基づいて作成され
る。あるチャネルの値に関する評価数は、その値に関す
る対応する台形重み付け関数に一致する。次いで、y軸
から評価数を読み取る。例えば、ある画素は、以下のH
LS値: H = 73, L = 75, S = 68, を有するので、対応する評価数は: score hue = 0.5 score lightness = 1.0 score saturation = 0.032 である。
【0016】疑似命令を用いると、評価数は以下の如く
算出される: もし、(valuep < value1) ならば、 score = 0.0 その他の場合、もし、(valuep > value4) ならば、 score = 0.0 その他の場合、もし、(value1 ≦ valuep < value2) な
らば、 score = (valuep - value1)/(value2 - value1) その他の場合、もし、(value3 < valuep ≦ value4)な
らば、 score = (valuep - value4)/(value3 - value4) ; であり、ここで、 valuep は対象となる画素のチャネル
(色相、明度、又は、飽和度)であり、value1は台形の
第1番目の点(h1、l1、又は、s1)を表わし、va
lue2は第2番目の点(h2、l2、又は、s2)を表わ
し、value3は第3番目の点(h3、l3、又は、s3)
を表わし、value4は第4番目の点(h4、l4、又は、
s4)を表わす。最後に、これら3つの評価数が共に掛
算されて、両端を含めて0.0から1.0までの範囲を
変化する画素評価数が得られる。
【0017】個々のチャネルの評価数を共に掛算する目
的は、画素がチャネルテストに失敗する(台形領域の外
側に含まれる)場合、画素の全体的な評価数が0になる
(即ち、瞳の色調不良の候補にはならない)ようにする
ことである。その上、これにより、一つのチャネルにお
ける評価数が著しく大きい場合、他のチャネルの許容可
能ではあるが小さな評価数を補償することができる。
【0018】セグメントの評価数は、そのセグメントに
含まれる画素の平均評価数を算出することにより定めら
れる。領域成長段階240は、色の閾値テストには合格
したが、好ましくない空間的な変動を有するように見え
るという問題のある副領域を除去することにより、セグ
メントを整理する処理である。
【0019】ディジタル画像領域の成長法により、画素
が領域の既存の画素に併合される。これは、水晶の成長
に類似している。水晶が成長を始めるためには、一つの
塵(或いは、何か他の素材)が存在する必要がある。次
いで、溶液が注入されると、溶解された粒子の中には溶
液から沈殿するものがあり、水晶構造を形成し始める。
溶液中の粒子がある濃度以下に低下すると、成長は終了
する。同様の方法により、ディジタル領域の成長は、核
の画素の供給によって始まり、連結された画素が定めら
れた類似性の基準にそれ以上合格しない場合に終了す
る。セグメントの核の画素は、分割段階220において
得られる。この画素は、与えられたセグメント内の最良
の画素の座標値に指定される。
【0020】最初に、領域成長段階240は、分割段階
220で検出された各セグメントを一巡する。上述の如
く、各セグメントには最良の画素が含まれる。この画素
が核の画素である。この方法により、現在の画素の周囲
が(8連結パターンで)探索され、以下の評価数: scorecurrent pixel - 0.5 ≦ scoreneighboring pixel scoreneighboring pixel ≧ scorecurrent segment を有するすべての画素が特定される。
【0021】上記の2つの基準の一方又は両方に合格す
る隣接画素は、成長領域に併合される。分割段階220
の終了後に、セグメントの一部分である画素だけが、こ
の段階で考慮される。この画素の併合処理は、各セグメ
ントに対して照合されるべき元のセグメントの画素がな
くなるまで続けられる。この段階で最終的に得られるセ
グメントは、分割段階220で得られたセグメントとは
異なっている可能性がある(例えば、セグメントの構成
に含まれなかった画素があるかもしれない)ので、新し
いセグメントの統計量と評価数は、段階250において
更新される。
【0022】この時点で、最良の評価数を有するセグメ
ントは、一番目の瞳(或いは、一番目の瞳のセグメン
ト)と呼ばれる瞳の色調不良であると想定するより他に
はない。一以上の瞳が画像ウィンドウ内にあることが予
想される場合、二番目の瞳(或いは、二番目の瞳のセグ
メント)と呼ばれる別の瞳の色調不良を探す補助的な探
索が行われる。一番目の瞳のセグメントの面積(或い
は、画素数)と、45°の基準に基づいて、他の不良な
瞳のセグメント候補に対して新しい評価数が算出され
る。〔この45°基準は、二番目の瞳が、一番目の瞳の
中心を通る水平線から±45°の範囲内にあるべきこと
を要求する(図8の(a)及び(b)を参照のこと)。
この領域内に存在しないすべてのセグメントは、評価数
に0が与えられる(即ち、二番目の瞳の候補であるとは
想定されない)。〕面積の評価数(score area)は、図
7に示す3角形状の重み付け関数に基づいて定められ
る。前述の評価方法と同様に、面積の評価数は、両端を
含めて0.0から1.0までの範囲に亘る。このscore
areaとscore45 は、セグメントの新しい評価数を得るた
めに当該セグメントの評価数に掛算される。最高の評価
数を有するセグメントが二番目の瞳であると想定され
る。
【0023】本発明の極めて重要な特徴は、確定フェー
ズ300とその柔軟性に集中する。このフェーズまで
に、クラスマップビットマップは、画像内の瞳の色調不
良を有する必要がある。次いで、本発明は、瞳の色調不
良の各々を自然に見える瞳に置き換えなければならな
い。この考えを実現するため、以下の2つの重要な問
題:(1)拡大縮小370と、(2)補正380を検討
する必要がある。拡大縮小 :(図4の符号370を参照のこと) 先に指摘した柔軟性には、検出フェーズ200の確定フ
ェーズ300との相互依存性が含まれる。検出フェーズ
200をある画像解像度で実行し、確定フェーズ300
を他の画像解像度で実行したい場合があり得る。かかる
柔軟性を考慮して、図4に示す拡大縮小部370は、以
下の3つの部:(1)検出と同じ解像度320での確定
と、(2)高解像度330での確定と、(3)低解像度
310での確定とに分割される。これらの部分の各々
は、別々に取り扱われる。同一解像度320での確定で
は、クラスマップビットマップを更に処理する必要はな
い。クラスマップビットマップに存在する各画素を補正
することだけが必要とされる(以下の補正を参照のこ
と)。高解像度或いは低解像度での確定には、新しいビ
ットマップ、即ち、拡大縮小化クラスマップの作成が必
要である。
【0024】高解像度330での補正時の問題は、クラ
スマップの各画素が実際に高解像度で幾つかの画素に起
因していることである。これらの画素の中には、瞳の色
調不良の画素が含まれる可能性はあるが、それ以外は含
まれる可能性がない。従って、正確な瞳の色調不良の選
択処理は、高解像度で行われるべきである。高解像度で
画像を確定する処理は、拡大された形のクラスマップビ
ットマップの形成を必然的に伴う。この処理の最初の段
階で、拡大された形の原画像(検出フェーズ200が取
り扱う画像)が瞳の色調不良の候補画素の認定段階21
0に与えられる。この認定段階は、拡大縮小化カラービ
ットマップを返す。次いで、クラスマップビットマップ
内に含まれる各セグメントの検査が行われる。各セグメ
ントが検出されると、そのセグメントの最良の画素の座
標値は、適当なX/Yの拡大縮小係数で拡大される。理
論上、これらの座標値は、拡大縮小係数の値で夫々乗算
された元の座標値から離れた座標値のせいぜい±X/Y
方向の拡大縮小係数倍の範囲である。例えば、画像内に
一つの瞳の色調不良が含まれ、本発明によりその瞳の色
調不良が正しく検出される場合、図9の左上隅に示され
るクラスマップビットマップが得られる。さらに、2倍
で(X及びYの両方向に)拡大された画像に関して確定
フェーズ300を行うことが要求される場合、図9の右
下隅に示す拡大縮小化カラービットマップが得られる。
図9は、クラスマップ内の(4,2)にあるビットが最
良の画素に指定されたことを示す(分割220を参照の
こと)。これらの座標値に夫々の拡大縮小係数(この例
では、両方の座標値に対して2である)が乗算された場
合、得られるビットは、図9において‘X’によって示
される場所(8,4)に存在する。残念ながら、このビ
ット位置は、拡大縮小化カラービットマップにおいて瞳
の色調不良の候補に分類されていない。従って、拡大縮
小化カラービットマップにおいて最も近接する瞳の色調
不良候補の検出が開始される。一旦検出されると、その
位置は、分割段階220の核の点として使用される。最
後に、領域成長段階240が呼び出され、有効なクラス
マップビットマップ、即ち、拡大縮小化クラスマップが
作成される。次に残されていることは、拡大縮小化クラ
スマップビットマップにおいて瞳の色調不良画素に分類
された拡大された形の原画像内の画素を補正することだ
けである(以下の補正を参照のこと)。以上に概説した
方法は、クラスマップビットマップを拡大するだけでは
ない。低解像度の各ビットをN個のビット(ここで、N
はX方向の拡大縮小係数のY方向の拡大縮小係数倍に一
致する)に置き換える場合、得られるクラスマップ、即
ち、拡大縮小化クラスマップは、瞳の色調不良の範囲内
に含まれる本当の画素数を過大に評価するであろう。
【0025】低解像度310での補正は、高解像度33
0での補正の逆である(即ち、低解像度の各画素には検
出フェーズ200の画像からの多数の画素に基づく情報
が含まれる)。検出フェーズ200の画像には、瞳の色
調不良に分類される画素があるが、他の画素は、瞳の色
調不良画素に分類されることはない。ここでの補正処理
では、より正確なクラスマップを作成するための領域成
長の工夫が必要とされないので、拡大の場合よりも実質
的に簡略化される。
【0026】最初の検出フェーズ190の画像内の画素
のN×M(ここで、NはX方向の拡大縮小係数に等し
く、MはY方向の拡大縮小係数に等しい)のすべての分
類に対して、一つの低解像度画素が対応する。N×Mの
画素分類の各画素は、瞳の色調不良画素であることを保
証されていないので、対応する低解像度画素は、検出フ
ェーズ200により瞳の色調不良の候補画素に指定され
るために必要な属性を含まない可能性がある。これは問
題である。元の解像度画像の本当の瞳の色調不良候補か
ら得られる低解像度画素の一部分だけを補正するプログ
ラムとして、低解像度画素の各々を完全な補正に対する
百分率で補正する。この百分率は、N×Mの原画像の画
素の分類の各々の中に含まれる瞳の色調不良候補の数を
知ることにより得られる。図10は、クラスマップビッ
トマップと、これに対応する拡大縮小化ビットマップを
示す。再び、拡大縮小化クラスマップを完成するため対
応するX方向及びY方向の拡大縮小係数によってクラス
マップの各ビットを簡単に縮小することにより、瞳の色
調不良に含まれる画素数が過大に評価されるであろう。
さらに、これらの画素は、過剰に補正されるであろう。補正 :(図4に示す符号380を参照のこと) レッドアイ現象を示す瞳孔は、色相に(中間色というよ
りはむしろ)赤味を帯び、かつ、かなり明るいという点
で正常な瞳孔とは異なる。補正は、一般に、画素の色度
を除去し、明度を暗くすることにより実現される。この
作業を行うため、与えられた画素のガンマRGB値がY
CC値に変換される。〔YCC空間は、RGB空間の簡
単な変換である。RGB空間の画像をYCC空間に変換
するため、以下のマトリックスが各画素に乗算される:
【0027】
【数1】
【0028】ここで、RとGとBは、与えられた画素の
ガンマ測度の赤と緑と青の座標値を表わし、YとC1と
C2は、YCC空間における画素の明度と色度チャネル
1と色度チャネル2の座標値を表わす。ガンマRGBと
YCCの色測度は、コダック製フォトCD製品:現像者
のための計画作成の手引き書、イーストマンコダック
社、1992年(分冊番号DCI200R)に記載され
ている。〕次に、両方の色度チャネルは、零化される
(即ち、画素の中間色の値だけが残される)。この時、
明度チャネルは、画素の中間色の値の明度を低下させる
ため、倍率0.35が乗算される。(一般に、レッドア
イの明度値は、網膜を照射するカメラのフラッシュによ
り発生される過度な光量に起因して異常に高い。従っ
て、補正時に、この高い明度値を低下させることが必要
である。この倍率0.35は、実験的な実証に基づいて
いるが、他の値により自然な表現が得られる可能性があ
る)。最後に、YCC値が再びガンマRGB値に変換さ
れ、画素の値に設定される。上述の処理は本体補正35
0を説明するものである。この方法により、本体の画
素、即ち、瞳の色調不良画素だけに8−連結する画素の
飽和度が低下する(図11を参照のこと)。境界の補正
360は、境界の画素、即ち、少なくとも一の瞳の色調
不良以外の画素と、少なくとも一の瞳の色調不良画素と
に8−連結する画素に基づいて行われる。かかる画素
は、倍率0.15で暗くされるだけである。さらに、瞳
の色調不良の閃光に関連すると想定される画素は、時折
ほのかに赤い色相を含むことが検出される。(1)瞳の
色調不良画素ではなく、(2)瞳孔の中心から瞳孔の算
出された半径の40%の範囲内にあり、(3)両端を含
み、600乃至1100の範囲に亘る色相値を有する画
素は、閃光画素と呼ばれる。閃光の補正340を行うた
め、閃光画素の色度チャネルは零化されるが、明度は変
化することなく保たれる。
【0029】本発明を“レッドアイ”不良の補正を参照
して説明しているが、本発明は動物の瞳の色調不良の補
正にも適用可能であり、種々の検出値と補正値が被写体
の不良な色調に特有であることが当業者により認められ
るであろう。その上、特定の2つの色空間が使用されて
いるが、当業者により他の色空間が示唆されるであろ
う。
【0030】
【発明の効果】本発明は、フラッシュ発光に起因する瞳
の色調不良の検出に有効であり: (1) オペレータの介入を最小限に抑え、(2) 従
来可能な補正よりも遙かに厳密な瞳の色調不良の補正を
実現し、(3) 瞳の色調不良は一の画像解像度におい
て検出され、一方、補正処理は他の画像解像度において
行われ、(4) 瞳が極めて自然に見えるよう瞳の色調
不良画素を3通りの種類(本体、境界、閃光)に副分類
することを利点とする。
【図面の簡単な説明】
【図1】本発明を実施するシステムの説明図である。
【図2】本発明の一つの面の最上位レベルのフローチャ
ートである。
【図3】図2に示す検出フェーズの詳細なフローチャー
トである。
【図4】図2に示す確定フェーズの詳細なフローチャー
トである。
【図5】本発明により使用される色相と、明度と、飽和
度の空間を示す図である。
【図6】(a)乃至(c)は、図3に示す第1の評価段
階230及び図3に示す第2の評価段階250で使用さ
れる色相と、明度と、彩度の台形状の評価数を示す図で
ある。
【図7】本発明で使用される3角形状の評価数領域を示
す図である。
【図8】(a)及び(b)は、本発明で使用される45
°の台形状の評価数を示す図である。
【図9】図4の補正段階380に示される拡大方法の一
例を示す図である。
【図10】図4の補正段階380に概説される縮小方法
の一例を示す図である。
【図11】瞳の色が不良である各画素は、本体画素と、
境界画素と、閃光画素の何れかであるとみなされている
瞳の色の不良の一例を示す図である。
【符号の説明】
10 ディジタル化スキャナ 12 走査ゲート 15 フィルム片 18 フレーム 22 ブロック 24 制御及び論理装置(コンピュータ) 26 表示装置 28 メモリ 30 論理回路 32 画像データ 34 光ディスク 36 ディスク書込み装置 200 検出フェーズ 210 不良候補画素 220 分割段階 230 第1の評価段階 240 領域成長段階 250 第2の評価 300 確定フェーズ 310 低解像度 320 同一解像度 330 高解像度 340 閃光補正 350 本体補正 360 境界補正 370 拡大縮小論理 380 補正論理
───────────────────────────────────────────────────── フロントページの続き (72)発明者 パトリック エイ コスグローブ アメリカ合衆国 ニューヨーク 14472 ホネオイ・フォールズ ディクソンウ ッズ 16 (56)参考文献 特開 平6−75305(JP,A) 特開 平6−350914(JP,A) 特開 平7−13274(JP,A) 特開 平6−258732(JP,A) 特開 平5−224271(JP,A) (58)調査した分野(Int.Cl.7,DB名) G03B 15/05 G03B 7/00 - 7/28 H04N 1/46 - 1/62 H04N 5/262

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 a) 少なくとも被写体の頭の一部を含
    み、一以上の瞳の色調不良が存在する可能性のある空間
    的な領域を定め、 b) 色調の内容に関して該空間的な領域内の画素をサ
    ンプリングし、瞳の色調不良の可能性のある画素を認定
    するよう上記のサンプル化画素の各々を瞳の色調不良を
    表わす複数の閾値と比較し、 c) 該認定された瞳の色調不良の可能性のある画素
    ら一以上の空間的に隣接する群を作成し、 d) 瞳の色調不良の群の候補を認定するよう、群の大
    きさと、群の形状と、彩色と、明度とを含む複数の特徴
    に基づいて、該作成された各群の各画素と、各群とに対
    する第1の評価数を算出し、 e) 該認定された瞳の色調不良の群の候補の各々から
    該評価数に基づいて核画素を選択し、該核画素の近接画
    素の中から所定の評価数範囲内にあるすべての該近接画
    素と、決定される変化が瞳の色調不良の群の候補の外側
    の境界を認定するよう重要な画素評価数の変化を示す群
    の画素とを決定し、 f) 瞳の色調不良の群を決定するよう、群の大きさ
    と、群の形状と、彩色と、輝度とを含む複数の特徴に基
    づいて該瞳の色調不良の群の候補の各々に関して各画素
    に対する第2の評価数を計算するステップよりなる、フ
    ラッシュ発光によるディジタル画像内の被写体の瞳の色
    調不良を検出する方法。
  2. 【請求項2】 a) 少なくとも被写体の頭の一部を含
    み、一以上の瞳の色調不良が存在する可能性のある空間
    的な領域を定め、 b) 色調の内容に関して該空間的な領域内の画素をサ
    ンプリングし、瞳の色調不良の可能性のある画素を認定
    するよう上記のサンプル化画素の各々を瞳の色調不良を
    表わす複数の閾値と比較し、 c) 該認定された瞳の色調不良の可能性のある画素
    ら一以上の空間的に隣接する群を作成し、 d) 瞳の色調不良の群の候補を認定するよう、群の大
    きさと、群の形状と、彩色と、明度とを含む複数の特徴
    に基づいて、該作成された各群の各画素と、各群とに対
    する第1の評価数を算出し、 e) 該認定された瞳の色調不良の群の候補の各々から
    該評価数に基づいて核画素を選択し、該核画素の近接画
    素の中から所定の評価数範囲内にあるすべての該近接画
    素と、決定される変化が瞳の色調不良の群の候補の外側
    の境界を認定するよう重要な画素評価数の変化を示す群
    の画素とを決定し、 f) 瞳の色調不良の群を決定するよう、群の大きさ
    と、群の形状と、彩色と、輝度とを含む複数の特徴に基
    づいて該瞳の色調不良の群の候補の各々に関して各画素
    に対する第2の評価数を計算し、 g) 該瞳の色調不良の群から最良の群の評価数を選択
    し、瞳が存在するかどうかを決定し、最も確からしい瞳
    を認定するよう該最良の群の評価数を所定の群の評価数
    の閾値と比較し、 h) 瞳の面積が該最も確からしい瞳に対応する該色調
    不良の群の面積の所定の閾値の比の範囲内にあるかどう
    かと、該群が該被写体の頭部の所定の水平軸に沿う該最
    も確からしい瞳の所定の閾値角度の辺の範囲内にあるか
    どうかとに基づいて、他の瞳の色調不良の群が存在する
    かどうかを決定するステップよりなる、 フラッシュ発光によるディジタル画像内の被写体の瞳の
    色調不良を検出する方法。
  3. 【請求項3】 a) 少なくとも被写体の頭の一部を含
    み、一以上の瞳の色調不良が存在する可能性のある空間
    的な領域を定め、 b) 色調の内容に関して該空間的な領域内の画素をサ
    ンプリングし、瞳の色調不良の可能性のある画素を認定
    するよう上記のサンプル化画素の各々を瞳の色調不良を
    表わす複数の閾値と比較し、 c) 該認定された瞳の色調不良の可能性のある画素
    ら一以上の空間的に隣接する群を作成し、 d) 瞳の色調不良の群の候補を認定するよう、群の大
    きさと、群の形状と、彩色と、明度とを含む複数の特徴
    に基づいて、該作成された各群の各画素と、各群とに対
    する第1の評価数を算出し、 e) 該認定された瞳の色調不良の群の候補の各々から
    該評価数に基づいて核画素を選択し、該核画素の近接画
    素の中から所定の評価数範囲内にあるすべての該近接画
    素と、決定される変化が瞳の色調不良の群の候補の外側
    の境界を認定するよう重要な画素評価数の変化を示す群
    の画素とを決定し、 f) 瞳の色調不良の群を決定するよう、群の大きさ
    と、群の形状と、彩色と、輝度とを含む複数の特徴に基
    づいて該瞳の色調不良の群の候補の各々に関して各画素
    に対する第2の評価数を計算し、 g) 瞳の色調不良の群から最良の群の評価数を選択
    し、瞳が存在するかどうかを決定し、最も確からしい瞳
    を認定するよう該最良の群の評価数を所定の閾値の群の
    評価数と比較し、 h) 瞳の面積が該最も確からしい瞳に対応する該色調
    不良の群の面積の所定の閾値の比の範囲内にあるかどう
    かと、該群が該被写体の頭部の所定の水平軸に沿う該最
    も確からしい瞳の所定の閾値角度の辺の範囲内にあるか
    どうかとに基づいて、他の瞳の色調不良の群が存在する
    かどうかを決定し、 i) 瞳の色調不良の群の各々の不良色調を、 (i) 補正解像度と、該補正された解像度で各画素が
    瞳の色調不良画素であるかどうかとを決定し、 (ii) 該補正された解像度で該瞳の色調不良画素を本
    体と、境界と、閃光との種類に分類し、 (iii) 該本体と、境界と、閃光の種類の該瞳の色調
    不良を補正することにより補正するステップよりなる、 フラッシュ発光によるディジタル画像内の被写体の瞳の
    色調不良を検出及び補正する方法。
JP16542194A 1993-07-19 1994-07-18 フラッシュ発光による瞳の色調不良の自動検出及び補正 Expired - Fee Related JP3181472B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US093843 1993-07-19
US08/093,843 US5432863A (en) 1993-07-19 1993-07-19 Automated detection and correction of eye color defects due to flash illumination

Publications (2)

Publication Number Publication Date
JPH0772537A JPH0772537A (ja) 1995-03-17
JP3181472B2 true JP3181472B2 (ja) 2001-07-03

Family

ID=22241139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16542194A Expired - Fee Related JP3181472B2 (ja) 1993-07-19 1994-07-18 フラッシュ発光による瞳の色調不良の自動検出及び補正

Country Status (4)

Country Link
US (2) US5432863A (ja)
EP (1) EP0635972B1 (ja)
JP (1) JP3181472B2 (ja)
DE (1) DE69415886T2 (ja)

Families Citing this family (197)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3444552B2 (ja) * 1994-05-24 2003-09-08 オリンパス光学工業株式会社 カメラシステム
JP2907120B2 (ja) * 1996-05-29 1999-06-21 日本電気株式会社 赤目検出補正装置
US6233395B1 (en) 1996-09-20 2001-05-15 Covance Laboratories Gmbh Method for quantitative iris colorimetry
US6786420B1 (en) 1997-07-15 2004-09-07 Silverbrook Research Pty. Ltd. Data distribution mechanism in the form of ink dots on cards
US6204858B1 (en) * 1997-05-30 2001-03-20 Adobe Systems Incorporated System and method for adjusting color data of pixels in a digital image
US6381345B1 (en) * 1997-06-03 2002-04-30 At&T Corp. Method and apparatus for detecting eye location in an image
US5990901A (en) * 1997-06-27 1999-11-23 Microsoft Corporation Model based image editing and correction
US6009209A (en) * 1997-06-27 1999-12-28 Microsoft Corporation Automated removal of red eye effect from a digital image
US6803989B2 (en) * 1997-07-15 2004-10-12 Silverbrook Research Pty Ltd Image printing apparatus including a microcontroller
US6618117B2 (en) 1997-07-12 2003-09-09 Silverbrook Research Pty Ltd Image sensing apparatus including a microcontroller
US6702417B2 (en) * 1997-07-12 2004-03-09 Silverbrook Research Pty Ltd Printing cartridge with capacitive sensor identification
AUPO799997A0 (en) * 1997-07-15 1997-08-07 Silverbrook Research Pty Ltd Image processing method and apparatus (ART10)
US6879341B1 (en) * 1997-07-15 2005-04-12 Silverbrook Research Pty Ltd Digital camera system containing a VLIW vector processor
US7246897B2 (en) * 1997-07-15 2007-07-24 Silverbrook Research Pty Ltd Media cartridge for inkjet printhead
US7705891B2 (en) * 1997-07-15 2010-04-27 Silverbrook Research Pty Ltd Correction of distortions in digital images
US7551202B2 (en) * 1997-07-15 2009-06-23 Silverbrook Research Pty Ltd Digital camera with integrated inkjet printer
US6690419B1 (en) 1997-07-15 2004-02-10 Silverbrook Research Pty Ltd Utilising eye detection methods for image processing in a digital image camera
US6624848B1 (en) * 1997-07-15 2003-09-23 Silverbrook Research Pty Ltd Cascading image modification using multiple digital cameras incorporating image processing
US20040160524A1 (en) * 1997-07-15 2004-08-19 Kia Silverbrook Utilising exposure information for image processing in a digital image camera
US7714889B2 (en) * 1997-07-15 2010-05-11 Silverbrook Research Pty Ltd Digital camera using exposure information for image processing
US7593058B2 (en) * 1997-07-15 2009-09-22 Silverbrook Research Pty Ltd Digital camera with integrated inkjet printer having removable cartridge containing ink and media substrate
US7077515B2 (en) * 1997-07-15 2006-07-18 Silverbrook Research Pty Ltd Media cartridge for inkjet printhead
US7110024B1 (en) * 1997-07-15 2006-09-19 Silverbrook Research Pty Ltd Digital camera system having motion deblurring means
AUPO850597A0 (en) * 1997-08-11 1997-09-04 Silverbrook Research Pty Ltd Image processing method and apparatus (art01a)
US7551201B2 (en) 1997-07-15 2009-06-23 Silverbrook Research Pty Ltd Image capture and processing device for a print on demand digital camera system
US6252976B1 (en) * 1997-08-29 2001-06-26 Eastman Kodak Company Computer program product for redeye detection
US6292574B1 (en) 1997-08-29 2001-09-18 Eastman Kodak Company Computer program product for redeye detection
WO1999017254A1 (en) * 1997-09-26 1999-04-08 Polaroid Corporation Digital redeye removal
US7738015B2 (en) 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US7042505B1 (en) 1997-10-09 2006-05-09 Fotonation Ireland Ltd. Red-eye filter method and apparatus
US7352394B1 (en) 1997-10-09 2008-04-01 Fotonation Vision Limited Image modification based on red-eye filter analysis
US6407777B1 (en) * 1997-10-09 2002-06-18 Deluca Michael Joseph Red-eye filter method and apparatus
US7630006B2 (en) 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US6016354A (en) * 1997-10-23 2000-01-18 Hewlett-Packard Company Apparatus and a method for reducing red-eye in a digital image
US6160923A (en) * 1997-11-05 2000-12-12 Microsoft Corporation User directed dust and compact anomaly remover from digital images
US6266054B1 (en) 1997-11-05 2001-07-24 Microsoft Corporation Automated removal of narrow, elongated distortions from a digital image
US6088470A (en) * 1998-01-27 2000-07-11 Sensar, Inc. Method and apparatus for removal of bright or dark spots by the fusion of multiple images
US6631208B1 (en) * 1998-05-29 2003-10-07 Fuji Photo Film Co., Ltd. Image processing method
AUPP702098A0 (en) 1998-11-09 1998-12-03 Silverbrook Research Pty Ltd Image creation method and apparatus (ART73)
US6285410B1 (en) * 1998-09-11 2001-09-04 Mgi Software Corporation Method and system for removal of flash artifacts from digital images
US6134339A (en) * 1998-09-17 2000-10-17 Eastman Kodak Company Method and apparatus for determining the position of eyes and for correcting eye-defects in a captured frame
KR100350789B1 (ko) * 1999-03-04 2002-08-28 엘지전자 주식회사 이미지 검색시스템의 분위기 칼라 자동추출 및 원래 칼라 조정방법
AUPQ056099A0 (en) 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (pprint01)
US7092569B1 (en) * 1999-07-29 2006-08-15 Fuji Photo Film Co., Ltd. Method and device for extracting specified image subjects
US7024035B1 (en) * 1999-09-07 2006-04-04 Fuji Photo Film Co., Ltd. Method of setting region to be subjected to red eye correction and red eye correcting method
JP3961734B2 (ja) * 1999-12-24 2007-08-22 富士フイルム株式会社 画像処理方法、装置及び記録媒体
US6940545B1 (en) * 2000-02-28 2005-09-06 Eastman Kodak Company Face detecting camera and method
US6728401B1 (en) 2000-08-17 2004-04-27 Viewahead Technology Red-eye removal using color image processing
US6718051B1 (en) 2000-10-16 2004-04-06 Xerox Corporation Red-eye detection method
US6711286B1 (en) 2000-10-20 2004-03-23 Eastman Kodak Company Method for blond-hair-pixel removal in image skin-color detection
US6792134B2 (en) 2000-12-19 2004-09-14 Eastman Kodak Company Multi-mode digital image processing method for detecting eyes
US6920237B2 (en) * 2000-12-19 2005-07-19 Eastman Kodak Company Digital image processing method and computer program product for detecting human irises in an image
US7088855B1 (en) * 2001-01-22 2006-08-08 Adolfo Pinheiro Vide Method and system for removal of red eye effects
EP1229734A1 (en) * 2001-01-31 2002-08-07 GRETAG IMAGING Trading AG Automatic colour defect correction
US6895112B2 (en) * 2001-02-13 2005-05-17 Microsoft Corporation Red-eye detection based on red region detection with eye confirmation
US6873743B2 (en) * 2001-03-29 2005-03-29 Fotonation Holdings, Llc Method and apparatus for the automatic real-time detection and correction of red-eye defects in batches of digital images or in handheld appliances
US6859565B2 (en) * 2001-04-11 2005-02-22 Hewlett-Packard Development Company, L.P. Method and apparatus for the removal of flash artifacts
US7174034B2 (en) * 2001-04-13 2007-02-06 Seiko Epson Corporation Redeye reduction of digital images
US6980691B2 (en) * 2001-07-05 2005-12-27 Corel Corporation Correction of “red-eye” effects in images
EP1288859A1 (de) * 2001-09-03 2003-03-05 Agfa-Gevaert AG Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotografischen Bilddaten
EP1288858A1 (de) * 2001-09-03 2003-03-05 Agfa-Gevaert AG Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotographischen Bilddaten
EP1288860A1 (de) * 2001-09-03 2003-03-05 Agfa-Gevaert AG Verfahren zur Verarbeitung digitaler fotografischer Bilddaten, welches ein Verfahren zum automatischen Erkennen von rote-Augen-Defekten umfasst
GB2379819B (en) * 2001-09-14 2005-09-07 Pixology Ltd Image processing to remove red-eye features
US7058209B2 (en) * 2001-09-20 2006-06-06 Eastman Kodak Company Method and computer program product for locating facial features
US7133070B2 (en) * 2001-09-20 2006-11-07 Eastman Kodak Company System and method for deciding when to correct image-specific defects based on camera, scene, display and demographic data
GB2384639B (en) * 2002-01-24 2005-04-13 Pixology Ltd Image processing to remove red-eye features
AU2003207336A1 (en) * 2002-02-22 2003-09-09 Pixology Software Limited Detection and correction of red-eye features in digital images
GB2385736B (en) * 2002-02-22 2005-08-24 Pixology Ltd Detection and correction of red-eye features in digital images
US7064768B1 (en) * 2002-03-20 2006-06-20 Ess Technology, Inc. Bad pixel correction while preserving features
US7155058B2 (en) * 2002-04-24 2006-12-26 Hewlett-Packard Development Company, L.P. System and method for automatically detecting and correcting red eye
EP1359740A1 (de) * 2002-04-30 2003-11-05 Agfa-Gevaert AG Vorrichtung und Verfahren zum Verarbeiten von Bildern
US7146026B2 (en) 2002-06-04 2006-12-05 Hewlett-Packard Development Company, L.P. Image correction system and method
US7177449B2 (en) 2002-06-26 2007-02-13 Hewlett-Packard Development Company, L.P. Image correction system and method
US7035461B2 (en) * 2002-08-22 2006-04-25 Eastman Kodak Company Method for detecting objects in digital images
US7035462B2 (en) * 2002-08-29 2006-04-25 Eastman Kodak Company Apparatus and method for processing digital images having eye color defects
US7277589B2 (en) * 2002-09-24 2007-10-02 Fujifilm Corporation Image retouching method, apparatus, and program storage medium, image correcting method, apparatus, and program storage medium, and eye detecting and correcting method apparatus, and program storage medium
US20040114829A1 (en) * 2002-10-10 2004-06-17 Intelligent System Solutions Corp. Method and system for detecting and correcting defects in a digital image
JP4126487B2 (ja) * 2002-11-08 2008-07-30 株式会社沖データ 画像変換方法および画像変換装置
JP2004206688A (ja) * 2002-12-12 2004-07-22 Fuji Photo Film Co Ltd 顔認識方法、顔切出方法、および撮像装置
US20040130546A1 (en) * 2003-01-06 2004-07-08 Porikli Fatih M. Region growing with adaptive thresholds and distance function parameters
US7424164B2 (en) * 2003-04-21 2008-09-09 Hewlett-Packard Development Company, L.P. Processing a detected eye of an image to provide visual enhancement
US7116820B2 (en) * 2003-04-28 2006-10-03 Hewlett-Packard Development Company, Lp. Detecting and correcting red-eye in a digital image
US7343028B2 (en) * 2003-05-19 2008-03-11 Fujifilm Corporation Method and apparatus for red-eye detection
US8036458B2 (en) * 2007-11-08 2011-10-11 DigitalOptics Corporation Europe Limited Detecting redeye defects in digital images
US7336821B2 (en) 2006-02-14 2008-02-26 Fotonation Vision Limited Automatic detection and correction of non-red eye flash defects
US8498452B2 (en) 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US7471846B2 (en) 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US8330831B2 (en) 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US9692964B2 (en) 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8682097B2 (en) 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US7970182B2 (en) 2005-11-18 2011-06-28 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US8948468B2 (en) 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US8155397B2 (en) 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
US7587085B2 (en) * 2004-10-28 2009-09-08 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US7317815B2 (en) * 2003-06-26 2008-01-08 Fotonation Vision Limited Digital image processing composition using face detection information
US8363951B2 (en) 2007-03-05 2013-01-29 DigitalOptics Corporation Europe Limited Face recognition training method and apparatus
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US7920723B2 (en) * 2005-11-18 2011-04-05 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US8989453B2 (en) * 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US7616233B2 (en) 2003-06-26 2009-11-10 Fotonation Vision Limited Perfecting of digital image capture parameters within acquisition devices using face detection
US7565030B2 (en) 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US9129381B2 (en) 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8553949B2 (en) 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US7792335B2 (en) 2006-02-24 2010-09-07 Fotonation Vision Limited Method and apparatus for selective disqualification of digital images
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US8170294B2 (en) 2006-11-10 2012-05-01 DigitalOptics Corporation Europe Limited Method of detecting redeye in a digital image
US7536036B2 (en) * 2004-10-28 2009-05-19 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
US7689009B2 (en) 2005-11-18 2010-03-30 Fotonation Vision Ltd. Two stage detection for photographic eye artifacts
US9412007B2 (en) 2003-08-05 2016-08-09 Fotonation Limited Partial face detector red-eye filter method and apparatus
US20050031224A1 (en) * 2003-08-05 2005-02-10 Yury Prilutsky Detecting red eye filter and apparatus using meta-data
US20050140801A1 (en) * 2003-08-05 2005-06-30 Yury Prilutsky Optimized performance and performance for red-eye filter method and apparatus
US8520093B2 (en) 2003-08-05 2013-08-27 DigitalOptics Corporation Europe Limited Face tracker and partial face tracker for red-eye filter method and apparatus
US7454040B2 (en) * 2003-08-29 2008-11-18 Hewlett-Packard Development Company, L.P. Systems and methods of detecting and correcting redeye in an image suitable for embedded applications
US7333653B2 (en) * 2003-08-29 2008-02-19 Hewlett-Packard Development Company, L.P. Detecting and correcting redeye in an image
US7310443B1 (en) * 2003-09-17 2007-12-18 Sonic Solutions, Inc. Automatic red eye detection and correction in digital images
US7835572B2 (en) * 2003-09-30 2010-11-16 Sharp Laboratories Of America, Inc. Red eye reduction technique
US6984039B2 (en) * 2003-12-01 2006-01-10 Eastman Kodak Company Laser projector having silhouette blanking for objects in the output light path
US7564994B1 (en) * 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition
US7684642B2 (en) * 2004-03-03 2010-03-23 Eastman Kodak Company Correction of redeye defects in images of humans
JP4599110B2 (ja) * 2004-07-30 2010-12-15 キヤノン株式会社 画像処理装置及びその方法、撮像装置、プログラム
US7623707B2 (en) * 2004-09-15 2009-11-24 Adobe Systems Incorporated Hierarchically locating a feature in a digital image
WO2006041426A2 (en) 2004-09-15 2006-04-20 Adobe Systems Incorporated Locating a feature in a digital image
US8320641B2 (en) * 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
FR2880969B1 (fr) * 2005-01-20 2007-06-15 Sagem Dispositif pour detecter des yeux rouges sur une image et dispositif d'impression d'image mettant en oeuvre ce procede
US7907786B2 (en) * 2005-06-06 2011-03-15 Xerox Corporation Red-eye detection and correction
JP4405942B2 (ja) * 2005-06-14 2010-01-27 キヤノン株式会社 画像処理装置およびその方法
KR100791372B1 (ko) 2005-10-14 2008-01-07 삼성전자주식회사 인물 이미지 보정 장치 및 방법
US7747071B2 (en) * 2005-10-27 2010-06-29 Hewlett-Packard Development Company, L.P. Detecting and correcting peteye
US7599577B2 (en) 2005-11-18 2009-10-06 Fotonation Vision Limited Method and apparatus of correcting hybrid flash artifacts in digital images
US7567707B2 (en) * 2005-12-20 2009-07-28 Xerox Corporation Red eye detection and correction
IES20060559A2 (en) * 2006-02-14 2006-11-01 Fotonation Vision Ltd Automatic detection and correction of non-red flash eye defects
US7804983B2 (en) 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
EP2033142B1 (en) 2006-06-12 2011-01-26 Tessera Technologies Ireland Limited Advances in extending the aam techniques from grayscale to color images
US8064694B2 (en) * 2006-06-21 2011-11-22 Hewlett-Packard Development Company, L.P. Nonhuman animal integument pixel classification
EP2050043A2 (en) 2006-08-02 2009-04-22 Fotonation Vision Limited Face recognition with combined pca-based datasets
WO2008022005A2 (en) * 2006-08-09 2008-02-21 Fotonation Vision Limited Detection and correction of flash artifacts from airborne particulates
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US7403643B2 (en) 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US8320702B2 (en) * 2006-09-28 2012-11-27 Jadak Technologies, Inc. System and method for reducing specular reflection
EP2104930A2 (en) 2006-12-12 2009-09-30 Evans & Sutherland Computer Corporation System and method for aligning rgb light in a single modulator projector
US7764846B2 (en) * 2006-12-12 2010-07-27 Xerox Corporation Adaptive red eye correction
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
EP2115662B1 (en) 2007-02-28 2010-06-23 Fotonation Vision Limited Separating directional lighting variability in statistical face modelling based on texture space decomposition
WO2008109622A1 (en) * 2007-03-05 2008-09-12 Fotonation Vision Limited Face categorization and annotation of a mobile phone contact list
JP4970557B2 (ja) 2007-03-05 2012-07-11 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド デジタル画像取込装置における顔検索及び検出
JP2010520567A (ja) 2007-03-05 2010-06-10 フォトネーション ビジョン リミテッド 顔の位置および向きを用いた赤目の誤検出フィルタリング
US7916971B2 (en) 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
US8503818B2 (en) 2007-09-25 2013-08-06 DigitalOptics Corporation Europe Limited Eye defect detection in international standards organization images
US8391596B2 (en) * 2007-10-17 2013-03-05 Qualcomm Incorporated Effective red eye removal in digital images without face detection
TW200930069A (en) * 2007-12-21 2009-07-01 Altek Corp Method for correcting red-eye
JP5089405B2 (ja) * 2008-01-17 2012-12-05 キヤノン株式会社 画像処理装置及び画像処理方法並びに撮像装置
US8750578B2 (en) * 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
US8212864B2 (en) 2008-01-30 2012-07-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
EP2238744A4 (en) * 2008-02-01 2011-08-03 Hewlett Packard Co AUTOMATIC DETECTION OF IT RED
US8331666B2 (en) * 2008-03-03 2012-12-11 Csr Technology Inc. Automatic red eye artifact reduction for images
US7855737B2 (en) 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
US8358317B2 (en) 2008-05-23 2013-01-22 Evans & Sutherland Computer Corporation System and method for displaying a planar image on a curved surface
US8702248B1 (en) 2008-06-11 2014-04-22 Evans & Sutherland Computer Corporation Projection method for reducing interpixel gaps on a viewing surface
WO2010012448A2 (en) 2008-07-30 2010-02-04 Fotonation Ireland Limited Automatic face and skin beautification using face detection
US8396261B2 (en) * 2008-08-01 2013-03-12 Hewlett-Packard Development Company, L.P. Method for red-eye detection
US8081254B2 (en) 2008-08-14 2011-12-20 DigitalOptics Corporation Europe Limited In-camera based method of detecting defect eye with high accuracy
US8077378B1 (en) 2008-11-12 2011-12-13 Evans & Sutherland Computer Corporation Calibration system and method for light modulation device
WO2010063463A2 (en) 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
US8295593B2 (en) * 2009-01-07 2012-10-23 Seiko Epson Corporation Method of detecting red-eye objects in digital images using color, structural, and geometric characteristics
JP5456159B2 (ja) * 2009-05-29 2014-03-26 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 背景から前景の頭頂部を分離するための方法および装置
US8379917B2 (en) 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
US8655100B2 (en) * 2010-01-29 2014-02-18 Hewlett-Packard Development Company, L.P. Correcting an artifact in an image
US8576241B1 (en) * 2010-02-03 2013-11-05 Amazon Technologies, Inc. Color palette maps for color-aware search
JP2012027687A (ja) * 2010-07-23 2012-02-09 Casio Comput Co Ltd 画像処理装置及びプログラム
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
US8786735B2 (en) 2011-03-21 2014-07-22 Apple Inc. Red-eye removal using multiple recognition channels
US8837785B2 (en) 2011-03-21 2014-09-16 Apple Inc. Red-eye removal using multiple recognition channels
US8818091B2 (en) 2011-03-21 2014-08-26 Apple Inc. Red-eye removal using multiple recognition channels
US8837827B2 (en) 2011-03-21 2014-09-16 Apple Inc. Red-eye removal using multiple recognition channels
US8837822B2 (en) 2011-03-21 2014-09-16 Apple Inc. Red-eye removal using multiple recognition channels
US9721160B2 (en) 2011-04-18 2017-08-01 Hewlett-Packard Development Company, L.P. Manually-assisted detection of redeye artifacts
US8811683B2 (en) 2011-06-02 2014-08-19 Apple Inc. Automatic red-eye repair using multiple recognition channels
US9041954B2 (en) 2011-06-07 2015-05-26 Hewlett-Packard Development Company, L.P. Implementing consistent behavior across different resolutions of images
US9111144B2 (en) 2011-09-15 2015-08-18 Identigene, L.L.C. Eye color paternity test
US8970902B2 (en) 2011-09-19 2015-03-03 Hewlett-Packard Development Company, L.P. Red-eye removal systems and method for variable data printing (VDP) workflows
US9641826B1 (en) 2011-10-06 2017-05-02 Evans & Sutherland Computer Corporation System and method for displaying distant 3-D stereo on a dome surface
US9064149B1 (en) 2013-03-15 2015-06-23 A9.Com, Inc. Visual search utilizing color descriptors
US9299009B1 (en) 2013-05-13 2016-03-29 A9.Com, Inc. Utilizing color descriptors to determine color content of images
JP6299300B2 (ja) * 2014-03-14 2018-03-28 オムロン株式会社 画像処理装置および画像処理方法
KR102198852B1 (ko) * 2014-03-24 2021-01-05 삼성전자 주식회사 홍채 인식 장치 및 이를 포함하는 모바일 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5130935A (en) * 1986-03-31 1992-07-14 Canon Kabushiki Kaisha Color image processing apparatus for extracting image data having predetermined color information from among inputted image data and for correcting inputted image data in response to the extracted image data
US4819077A (en) * 1986-05-14 1989-04-04 Kabushiki Kaisha Toshiba Color image processing system
EP0259981B2 (en) * 1986-08-13 1999-05-06 Canon Kabushiki Kaisha Colour image processing method and apparatus
JPS6379632A (ja) * 1986-09-25 1988-04-09 株式会社東芝 電子内視鏡装置
JPH0250859A (ja) * 1988-08-11 1990-02-20 Dainippon Screen Mfg Co Ltd 色分解条件設定方法および装置
US5204948A (en) * 1989-09-08 1993-04-20 Advantest Corporation Method and apparatus for evaluating color image signals
US5130789A (en) * 1989-12-13 1992-07-14 Eastman Kodak Company Localized image recoloring using ellipsoid boundary function
US5089976A (en) * 1990-07-18 1992-02-18 Friends Of The Ucsd Library, Inc. Color normalization process
US5202935A (en) * 1990-10-19 1993-04-13 Matsushita Electric Industrial Co., Ltd. Color conversion apparatus for altering color values within selected regions of a reproduced picture
US5140616A (en) * 1990-11-19 1992-08-18 Ag Communication Systems Corporation Network independent clocking circuit which allows a synchronous master to be connected to a circuit switched data adapter

Also Published As

Publication number Publication date
EP0635972B1 (en) 1999-01-13
US5748764A (en) 1998-05-05
US5432863A (en) 1995-07-11
EP0635972A3 (en) 1995-09-27
DE69415886T2 (de) 1999-07-29
JPH0772537A (ja) 1995-03-17
EP0635972A2 (en) 1995-01-25
DE69415886D1 (de) 1999-02-25

Similar Documents

Publication Publication Date Title
JP3181472B2 (ja) フラッシュ発光による瞳の色調不良の自動検出及び補正
US9619897B2 (en) Correction of blotches in component images
JP4153108B2 (ja) 画像処理方法、画像処理装置及び記録媒体
US7953251B1 (en) Method and apparatus for detection and correction of flash-induced eye defects within digital images using preview or other reference images
US8391595B2 (en) Image processing method and image processing apparatus
US6233364B1 (en) Method and system for detecting and tagging dust and scratches in a digital image
US7953250B2 (en) Method and apparatus for red-eye detection in an acquired digital image
US20040114829A1 (en) Method and system for detecting and correcting defects in a digital image
US20130230238A1 (en) Registration of separations
IES20050096A2 (en) Method and apparatus for red-eye detection in an acquired digital image
JP2000149018A (ja) 画像処理方法、画像処理装置及び記録媒体
JP2000148980A (ja) 画像処理方法、画像処理装置及び記録媒体
JP2001148780A (ja) 赤目修正対象領域の設定方法および赤目修正方法
JP4599110B2 (ja) 画像処理装置及びその方法、撮像装置、プログラム
US7715650B2 (en) Method and apparatus for digital processing of images
JP3510040B2 (ja) 画像処理方法
JP4259310B2 (ja) 画像処理装置及びプログラム
JP3473832B2 (ja) ディジタル画像の自動補正方法及びそのシステム

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080420

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090420

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees