JPH11284874A - 自動赤目検出および軽減システム - Google Patents

自動赤目検出および軽減システム

Info

Publication number
JPH11284874A
JPH11284874A JP11008138A JP813899A JPH11284874A JP H11284874 A JPH11284874 A JP H11284874A JP 11008138 A JP11008138 A JP 11008138A JP 813899 A JP813899 A JP 813899A JP H11284874 A JPH11284874 A JP H11284874A
Authority
JP
Japan
Prior art keywords
red
eye
face
detection device
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11008138A
Other languages
English (en)
Inventor
Y A Wang Jon
ジョン・ワイ・エー・ワング
Chan Honjan
ホンジアン・チャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HP Inc
Original Assignee
Hewlett Packard Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Co filed Critical Hewlett Packard Co
Publication of JPH11284874A publication Critical patent/JPH11284874A/ja
Pending legal-status Critical Current

Links

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/624—Red-eye correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30216—Redeye defect

Abstract

(57)【要約】 【課題】 目の自然な外観を維持しながら、ユーザ
が介入することなく画像における赤目を自動的に検出し
軽減する。 【解決手段】 自動赤目検出および軽減システム１０
は、赤目検出装置１２および赤目軽減システム１３を備
える。赤目検出装置１２は、顔もしくは目の検出技術を
使用することによって、目の中の赤い瞳孔が画像１１に
含まれるかどうかをユーザが介入することなく自動的に
検出する。赤目検出装置１２は画像１１の中に赤い瞳孔
を検出した場合、赤い瞳孔の位置および大きさも判定
し、画像１１中の赤い瞳孔の赤色ピクセルを赤目軽減シ
ステム１３に送信して、検出した赤い瞳孔内の各赤色ピ
クセルの色を所定の色（たとえば、モノクロ）に変更す
る。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ディジタル画像処
理に関し、より詳細には、ディジタル画像における赤目
をユーザが介入することなく自動的に検出し軽減する自
動赤目検出および軽減システムに関する。
【０００２】
【従来の技術】比較的暗い環境で人物を写真撮影するに
は、露光不足にならないようにフラッシュライトが必要
である。しかしながら、フラッシュライトを使用した結
果、写真中の人物の目が赤くなり、その人物が写真中で
「不気味に」もしくは不自然に見えることが頻繁にあ
る。これを一般に「赤目」現象もしくは単に赤目と呼
ぶ。
【０００３】一般に赤目は、人間の瞳孔が暗闇の中でフ
ラッシュライトに素早く適応することができない結果引
き起こされる。知られているように、暗い環境の中では
人間の瞳孔は大きくなる。フラッシュライトが発生した
際は、フラッシュライトが突然であるため瞳孔の大きさ
を小さくすることができない。これによってフラッシュ
ライトが目の奥にある網膜で反射し、赤目の原因とな
る。
【０００４】赤目効果を軽減するためにいくつかの従来
技術が提案されてきた。従来技術の赤目効果を軽減する
方法としては、最後のフラッシュを使用して画像を露光
し取り込む前に、カメラの複数のフラッシュを使用して
瞳孔を収縮させる方法がある。しかしながら、この赤目
効果を軽減する方法では、最初のフラッシュライトが発
光する時間と実際に写真が撮られる時間との間において
遅延が生じることが問題となる。これは、露光用ボタン
を押した数秒後に写真が撮られることを意味する。この
露光用ボタンを押した時間と写真が撮られる時間との間
の遅延は、ある種の混乱を引き起こす。被写体が、写真
撮影プロセスが完了してしまったと思い、画像を取り込
む前にポーズを取った位置から移動してしまうことであ
る。また、ユーザが写真撮影中にこのカメラの赤目防止
機能を使用するのを忘れた場合、あるいはカメラにこの
ような赤目防止機能が装備されていない場合においても
赤目問題は起こる。さらに、この従来技術の方法では、
既に撮られている写真の中の赤目問題を解決することが
できない。
【０００５】画像処理技術の進歩によって、現在では画
像をディジタル化し、このディジタル化した画像をコン
ピュータ・システムに記憶することができる。これは、
画像をディジタル方式で取り込むためにディジタル・カ
メラを使用するか、あるいは画像をディジタル形式に変
換するスキャナを使用するかによって行うのが一般的で
ある。このディジタル画像には、マトリックスで配置さ
れた画像のピクセルを表現するデータが含まれる。次
に、このディジタル画像のデータをコンピュータに記憶
する。このディジタル画像は表示するために検索するこ
ともできるし、またコンピュータ内においてディジタル
方式で修正することもできる。
【０００６】
【発明が解決しようとする課題】今日では画像をディジ
タル画像として取り込んだり、ディジタル画像に変換し
たりすることができるので、画像における赤目問題をデ
ィジタル方式で修正することができる。赤目問題をディ
ジタル方式で修正するためにいくつかの従来技術の方法
が提案された。１つは、手動でユーザが赤目をディジタ
ル方式で上塗りする手段を単に備える方法である。この
方法の欠点は、ユーザが赤目を上塗りするためにある種
の描画技術が必要になることである。また他の欠点は、
赤目の修正が自動的に行われず、手動で行われることで
ある。
【０００７】他の方法では、赤目領域の上に黒い円を配
置するようにユーザが瞳孔の中心を正確に位置づけなけ
ればならない。この方法の欠点は、自動的に赤目を検出
することができず、ユーザの介入（すなわち、正確に赤
い瞳孔を位置づけること）を必要とすることである。ま
た、他の欠点は、赤目領域が円形の領域でないことが頻
繁にあることである。このため、赤目領域の部分を黒い
円で覆うことができないこともある。さらに、黒い円が
赤目領域の周辺領域（すなわち、ピンク色の輪）を覆う
ことができないこともある。
【０００８】さらに、赤い瞳孔を真っ黒な円で置き換え
ることによって、瞳孔の輝きもまた覆い隠してしまうこ
とがある。知られているように、瞳孔の中の輝きは通常
明るく「白い」点である。従ってこのような真っ黒な円
で置き換えるタイプの修正を行った結果、非常に瞳孔が
際立ち、しかも望ましくないものになることが頻繁にあ
り、画像における目の自然な外観を台無しにしてしまう
ことも時々ある。
【０００９】本発明の１つの特徴は、ディジタル画像に
おける赤目を自動的に検出し軽減することである。
【００１０】本発明の他の特徴は、ユーザが介入するこ
となくディジタル画像における赤目を自動的に検出し軽
減することである。
【００１１】本発明の他の特徴は、顔を検出する技術を
使用してディジタル画像における赤目を自動的に検出し
軽減することである。
【００１２】本発明の他の特徴は、目の自然な外観を維
持しながらディジタル画像における赤目を自動的に検出
し軽減することである。
【００１３】本発明は、上記問題点を解決するものであ
り、顔または目を検出する技術を使用して、目の自然な
外観を維持しながら、ユーザが介入することなく画像に
おける赤目を自動的に検出し軽減する自動赤目検出およ
び軽減システムを提供することを目的とする。
【００１４】
【課題を解決するための手段】本発明の自動赤目検出お
よび軽減システムには、赤い瞳孔が画像に含まれるかど
うかをユーザが介入することなく検出する赤目検出装置
が含まれる。赤目検出装置は、赤い瞳孔が画像に含まれ
ることを検出した場合、その赤い瞳孔の位置および大き
さを検出する。自動赤目検出および軽減システムにはま
た、赤い瞳孔の色をユーザが介入することなく検出し変
更することができるように、赤い瞳孔の内部の各赤色ピ
クセルを所定の色に変更する赤目検出装置に結合された
赤目軽減システムも含まれる。
【００１５】ディジタル画像における赤目効果を自動的
に検出し軽減するための方法には、赤い瞳孔が画像に含
まれるかどうかをユーザが介入することなく検出するス
テップが含まれる。この方法もまた、赤い瞳孔が画像に
含まれることを検出した場合、その赤い瞳孔の位置およ
び大きさを判定するステップが含まれる。次に、赤い瞳
孔の色をユーザが介入することなく検出し変更すること
ができるように、赤い瞳孔の内部の各赤色ピクセルを所
定の色に変更する。
【００１６】
【発明の実施の形態】図１は、本発明の実施形態の自動
赤目検出および軽減システム１０を示すブロック図であ
る。本発明の実施形態によると、自動赤目検出および軽
減システム１０は、画像（たとえば、画像１１）中の目
の赤い瞳孔をユーザが介入することなく自動的に検出し
位置を確認する。次に自動赤目検出および軽減システム
１０は、再度ユーザが介入することなく目の自然な外観
を維持しながら検出した赤い瞳孔を軽減もしくは最小限
にする。
【００１７】下記でより詳細に述べるように、自動赤目
検出および軽減システム１０は、赤目検出装置１２およ
び赤目軽減システム１３を備える。目の中の赤い瞳孔が
画像１１に含まれるかどうかをユーザが介入することな
く自動的に検出するために、赤目検出装置１２を使用す
る。赤目検出装置１２は、ニューラル・ネットワークを
基盤とする顔の検出技術、または主要構成要素解析（ p
rinciple component analysis ）を基盤とする顔もしく
は目の検出技術などの、顔もしくは目の検出技術を使用
することによってこれを実行する。これらの技術につい
て下記でより詳細に述べる。
【００１８】赤目検出装置１２が画像１１の中に赤い瞳
孔を検出した場合、画像１１中の赤い瞳孔の赤色ピクセ
ルを赤目軽減システム１３に送信して、検出した赤い瞳
孔の内部の各赤色ピクセルの色を所定の色（たとえば、
モノクロ）に変更する。モノクロは黒または灰色のいず
れでもよい。この軽減もまたユーザの介入なく行われ
る。図１〜図７を参照して、自動赤目検出および軽減シ
ステム１０について下記でより詳細に述べる。
【００１９】図１において、自動赤目検出および軽減シ
ステム１０は、ソフトウェア、ハードウェア、もしくは
ファームウェアによって実施されうる。これは、赤目検
出装置１２および赤目軽減システム１３の両方のモジュ
ールをソフトウェア、ハードウェア、もしくはファーム
ウェアによって実施することができることを意味する。
本発明の実施形態では、自動赤目検出および軽減システ
ム１０は、コンピュータ・システム（図示せず）上で実
行されるソフトウェア・アプリケーション・プログラム
である。この自動赤目検出および軽減システム１０を実
行するコンピュータ・システムは、パーソナル・コンピ
ュータ、小型コンピュータ、ワークステーション用コン
ピュータ、ノートブック型コンピュータ、ネットワーク
・コンピュータ、サーバ用コンピュータ、大型コンピュ
ータ、もしくはその他データ処理システムであってもよ
い。別の実施形態として、自動赤目検出および軽減シス
テム１０における赤目検出装置１２のモジュールまたは
赤目軽減システム１３のモジュールの一方をハードウェ
アもしくはファームウェアによって実施し、他方をソフ
トウェアのモジュールのままにすることもできる。
【００２０】さらに、画像処理システム（図示せず）に
おいて自動赤目検出および軽減システム１０を実施する
こともできる。この画像処理システムは、画像ディスプ
レイ・システム、スキャナ・システム、または単にディ
スプレイを持つコンピュータ・システムであってもよ
い。画像処理システムはまた、他のタイプの画像処理シ
ステムであってもよい。
【００２１】図１から分かるように、赤目検出および軽
減するために自動赤目検出および軽減システム１０は画
像１１を受信する。この画像１１は、外部の画像を取込
む装置から獲得することができるディジタル画像であ
る。周知である画像を取込む装置には、ディジタル・カ
メラ、スキャナが含まれる。たとえば、ディジタル・カ
メラによって画像１１を獲得することもできる。別の例
として、スキャナを使用して写真をスキャンすることに
よって画像１１を獲得することもできる。画像１１は、
どんな種類の画像であってもよく、「赤目」を有する人
物を示すこともある。前述のように、赤目効果は画像１
１内の人物の目の中にある赤い色の瞳孔である。
【００２２】画像１１における赤目を軽減するために、
自動赤目検出および軽減システム１０は画像１１におい
て赤い瞳孔を有する目が含まれるかどうかをまず判定す
る。自動赤目検出および軽減システム１０の赤目検出装
置１２が、この機能を実行する。従来技術の赤目軽減シ
ステムと異なり、本発明の実施形態による自動赤目検出
および軽減システム１０の赤目検出装置１２は、ユーザ
が介入することなく自動的に画像１１における赤い瞳孔
を検出する。赤目検出装置１２はまた、赤い瞳孔の位置
および大きさも判定する。次に、赤目軽減システム１３
に検出した赤い瞳孔の内部の赤色ピクセルを送信し、各
赤色ピクセルの色を所定の色に変更する。本発明の実施
形態では、この所定の色がモノクロ（黒もしくは灰色）
である。別の実施形態として、所定の色が他の色でもよ
い。赤目検出装置１２について、図２〜図６を参照して
下記でより詳細に述べる。赤目軽減システム１３につい
ても、図７を参照して下記でより詳細に述べる。
【００２３】図２は、赤目検出装置１２の構造の一例を
示すブロック図である。図２において、赤目検出装置１
２は、顔検出装置２１と、目検出装置２２と、赤い瞳孔
検出装置２３とを備える。顔検出装置２１は、人間の顔
（図１に図示せず）が画像１１に含まれるかどうかを検
出するために使用される。顔検出装置２１はまた、検出
した顔の位置、大きさ、および方向も判定する。一度、
顔検出装置２１が顔を検出すると、目検出装置２２に検
出した顔を含む画像１１の画像部分を送信し、その検出
した顔に開いた目があるかどうかを検出し、もし開いた
目があればその開いた目の位置、大きさ、および方向を
判定する。検出した顔に開いた目が含まれることを目検
出装置２２が検出した場合、赤い瞳孔検出装置２３に検
出した開いた目を送信し、その開いた目に赤い瞳孔が含
まれるかどうかを検出する。検出された開いた目に赤い
瞳孔が含まれることを赤い瞳孔検出装置２３が検出した
場合、検出した赤い瞳孔を赤目軽減システム１３（図１
参照）に送信し、赤い瞳孔の赤色を置き換える。ここ
で、開いた目または赤い瞳孔とは、検出された開いた目
または検出された赤い瞳孔を含む画像部分を言う。
【００２４】図２は、赤目検出装置１２が３つのモジュ
ール（すなわち、顔検出装置２１、目検出装置２２、お
よび赤い瞳孔検出装置２３の各モジュール）を含むこと
を示すが、赤目検出装置１２がこれら３つのモジュール
のうちいくつかを使用せずに動作することもできること
に留意されたい。たとえば、赤目検出装置１２が顔検出
装置２１を含まないこともある。この場合、画像１１に
開いた目が含まれるかどうかを検出するため、画像１１
を目検出装置２２に直接送信する。他の例では、赤目検
出装置１２が目検出装置２２を含まないこともある。こ
の場合、顔検出装置２１は、赤い瞳孔を検出するために
検出した顔の領域を赤い瞳孔検出装置２３に直接送信す
る。
【００２５】図２において、顔検出装置２１は画像１１
をディジタル形式で受信する。次に顔検出装置２１は画
像１１に顔が含まれるかどうかを検出する。画像１１に
複数の顔が含まれる場合、顔検出装置２１はそれぞれの
顔を検出し位置を確認する。顔検出装置２１は、画像１
１に顔が含まれるかどうかを検出するために顔の検出技
術を利用する。本発明の実施形態では、顔検出装置２１
によって顔を検出すために使用される顔の検出技術が、
ニューラル・ネットワークを基盤とする顔および目の検
出技術である。ニューラル・ネットワークを基盤とする
顔および目の検出技術は、１９９５年１１月、H.Rowley
(har@cs.cmu.edu)、S.Baluja(baluja@cs.cmu.edu)、およ
びT.Kanade(tk@cs.cmu.edu)による、"HUMAN FACE DETECT
ION IN VISUAL SCENES(映像中の人間の顔の検出)”とい
う題名の刊行物の中で開示されている。この出版物は、Ca
rnegie Mellon Universityのインターネット・サイト「w
ww.ius.cs.cmu.edu/IUS/har2/har/www/CMU-CS-95-158R
/.」より入手可能である。別の実施形態では、顔検出装
置２１によって顔を検出するために使用される顔の検出
技術が、主要構成要素解析を基盤とする顔および目の検
出技術である。この主要構成要素解析を基盤とする顔お
よび目検出技術は、１９９２年１１月１７日付けの、”
FACE RECOGNITION SYSTEM(顔認識システム)”という名
称の米国特許第５，１６４，９９２号の中で開示されて
いる。別の実施形態として、顔検出装置２１によって他
の周知である顔の検出技術を使用することもできる。
【００２６】顔検出装置２１がニューラル・ネットワー
クを基盤とする顔および目の検出技術を利用する場合、
顔検出装置２１は画像１１を顔の候補を表示する複数の
顔候補窓（ face candidate window）（図示せず）に分
割し、次にニューラル・ネットワークを基盤とするフィ
ルタ（図示せず）のセットを画像１１の内部の各顔候補
窓に適用して、各顔候補窓に顔が含まれるかどうかを検
出することによって、画像１１に顔が含まれるかどうか
を検出する。これについては、前述の”HUMANFACE DETE
CTION IN VISUAL SCENES”という題名の刊行物の中で詳
細に述べられている。この場合、顔候補窓は重複しても
しなくてもよい。フィルタによって、顔を含む位置を探
索しながら（すなわち、目の位置を探索しながら）、画
像１１における各顔候補窓をいくつかの大きさで検査す
る。次に顔検出装置２１は、フィルタの出力を結合する
ためにアービトレータ（ arbitrator ）を使用する。個
々のフィルタからの検出結果をマージ（ merge）して重
複する検出結果を削除するために、このアービトレータ
を使用する。その結果、顔検出装置２１は顔を検出す
る。顔検出装置２１のためにニューラル・ネットワーク
を基盤とする顔および目の検出技術を使用することによ
って、顔の検出を確実にしかも比較的迅速に行うことが
でき、大部分の顔を検出することができる。さらに、こ
れによって、顔検出装置２１が異なるポーズおよび照明
を有する異なる種類の顔を検出することができる。図３
は顔検出装置２１の自動顔検出プロセスを示すフローチ
ャート、図４は図３の顔検出装置２１が呼び出す顔検出
サブルーチンを示すフローチャートであり、ニューラル
・ネットワークを基盤とする顔および目の検出技術を利
用している。
【００２７】図３において、自動顔検出プロセスはステ
ップ１００で開始する。ステップ１０１で、顔検出装置
２１が画像１１を受信する。ステップ１０２で、顔検出
装置２１がこの画像を回転し、画像１１の複数の回転画
像を生成する。画像１１を回転する目的は、画像１１に
おける様々な方向の顔を検出することができるようにす
ることである。回転画像の数は本発明にとって重要では
なく、ユーザの要求によって変化してもよい。
【００２８】ステップ１０３で、顔検出装置２１が画像
１１の回転画像の１つを選択し、選択した画像を複数の
異なる大きさの画像に拡大または縮小する。ステップ１
０４で、顔検出装置２１は１つの拡大または縮小された
画像を選択し、次に選択した拡大または縮小された画像
に顔が含まれるかどうかを検出する顔検出サブルーチン
を呼び出す。ステップ１０５で、顔検出装置２１は、顔
検出サブルーチンを経由していない拡大または縮小され
た画像がまだあるかどうかを判定する。もしあれば、ス
テップ１０４を繰り返す。もしなければ、顔を検出する
ために拡大または縮小していない回転画像がまだあるか
どうかを判定するため、ステップ１０６を実行する。も
しあれば、プロセスはステップ１０３に戻る。もしなけ
れば、プロセスはステップ１０７で終了する。
【００２９】図４において、顔検出装置２１が実行する
顔検出サブルーチンはステップ１２０で開始する。ステ
ップ１２２で拡大または縮小された画像を複数の顔候補
窓に分割する。前述のように、顔候補窓は重複してもし
なくてもよい。ステップ１２３で、顔検出装置２１は、
顔候補窓に顔が含まれるかどうかを判定する。ステップ
１２４で顔を検出したと判定した場合、その顔に開いた
目が含まれるかどうかを判定するために目検出装置２２
のルーチンを呼び出すステップ１２５を実行する。
【００３０】赤目検出装置１２が目検出装置２２を含ま
ない実施形態では、ステップ１２５で顔検出装置２１が
直接赤い瞳孔検出装置２３のルーチンを呼び出す。ステ
ップ１２４で、顔候補窓に顔が含まれないと判定した場
合、ステップ１２５をスキップする。
【００３１】ステップ１２６で、判定していない顔候補
窓がまだある場合、プロセスはステップ１２３に戻る。
その他の場合、ステップ１２７でプロセスは終了する。
【００３２】再び図２を参照すると、画像１１に顔が含
まれることを顔検出装置２１が検出した場合、次に画像
１１において検出した顔の領域を目検出装置２２に送信
する。画像１１に複数の検出した顔が含まれる場合、検
出したそれぞれの顔を目検出装置２２に送信する。次に
目検出装置２２は顔の領域に開いた目が含まれるかどう
かを検出する。顔の領域に開いた目が含まれるかどうか
を検出するため、目検出装置２２は目の検出技術を利用
する。本発明の実施形態では、目検出装置２２によって
目を検出するために使用される目の検出技術は、前述の
HUMAN FACE DETECTION IN VISUAL SCENESという題名の
刊行物の中で開示された、ニューラル・ネットワークを
基盤とする顔および目の検出技術である。他の実施形態
では、目検出装置２２によって開いた目を検出するため
に使用される目の検出技術は、前述の米国特許第５，１
６４，９９２号の中で開示された、主要構成要素解析を
基盤とする顔および目の検出技術である。別の実施形態
として、目検出装置２２が他の周知である目の検出技術
を使用することもできる。
【００３３】目検出装置２２がニューラル・ネットワー
クを基盤とする顔および目の検出技術を利用する場合、
目検出装置２２は、画像１１の顔の領域を目の候補を表
示する複数の目候補窓（ eye candidate window ）（図
示せず）に分割し、次にニューラル・ネットワークを基
盤とするフィルタ（図示せず）のセットを顔の領域内の
各目候補窓に適用して各目候補窓に開いた目が含まれる
かどうかを検出することによって、顔の領域に開いた目
が含まれるかどうかを検出する。目候補窓は重複しても
しなくてもよい。フィルタによって、各目候補窓を数個
のスケールで検査して目の位置を探索する。次に目検出
装置２２は、フィルタの出力を結合するためにアービト
レータを使用する。個々のフィルタからの検出結果をマ
ージして重複する検出結果を削除するため、このアービ
トレータを使用する。その結果、目検出装置２２は開い
た目を検出する。顔検出装置２１および目検出装置２２
の両方がニューラル・ネットワークを基盤とする顔およ
び目の検出技術を使用する場合、顔検出装置２１は検出
した顔の中の目の位置を出力する。次に目検出装置２２
は、それらの目が開いたかどうかを検出し顔の領域内の
検出した目の位置をより正確にするため、同一の顔およ
び目の検出技術を適用する。目検出装置２２のためにニ
ューラル・ネットワークを基盤とする顔および目の検出
技術を使用することによって、目の検出を確実にしかも
比較的迅速に行うことができ、大部分の顔を検出するこ
とができる。さらに、これによって目検出装置２２が異
なるポーズおよび照明を用いて異なる種類の目を検出す
ることができる。図５は、目検出装置２２の自動目検出
プロセスを示すフローチャートであり、ニューラル・ネ
ットワークを基盤とする顔および目の検出技術を利用し
ている。
【００３４】前述のように、図１の赤目検出装置１２は
顔検出装置２１（図２参照）を使用せずに機能すること
もできる。この場合、目検出装置２２は画像１１の検出
される顔の領域の代わりに画像１１全体を受信する。
【００３５】図５において、自動目検出プロセスはステ
ップ１４０で開始する。ステップ１４１で、図２の目検
出装置２２が顔の領域（すなわち、顔が含まれている顔
候補窓）を受信する。ステップ１４２で、この顔の領域
もしくは顔候補窓を複数の目候補窓に分割する。ステッ
プ１４３で、目検出装置２２は、ニューラル・ネットワ
ークを基盤とする目の検出技術を使用して、目候補窓に
開いた目が含まれるかどうかを判定する。ステップ１４
４で開いた目を検出したかどうかを判定する。開いた目
を検出したと判定した場合、ステップ１４５で目検出装
置２２が赤い瞳孔検出装置２３のルーチンを呼び出す。
開いた目を検出しなかった場合、ステップ１４５をスキ
ップする。ステップ１４６では、目検出装置２２が判定
していない目候補窓があるかどうかを判定する。まだ判
定していない目候補窓がある場合、プロセスはステップ
１４３に戻る。判定していない目候補窓がない場合、ス
テップ１４７でプロセスは終了する。
【００３６】再び図２を参照すると、目検出装置２２が
画像１１において顔に開いた目が含まれることを検出し
た場合、次にこの開いた目の領域を赤い瞳孔検出装置２
３に送信し、開いた目に赤い瞳孔が含まれるかどうかを
検出する。赤い瞳孔検出装置２３の機能は、赤色ピクセ
ルを含む開いた目の領域において略円形の領域を検出す
ることである。赤い瞳孔検出装置２３が開いた目の領域
にこのような円形領域が含まれることを検出した場合、
この検出された開いた目には赤目軽減システム１３が修
正する必要のある赤い瞳孔が含まれる。赤い瞳孔検出装
置２３が赤色ピクセルで満たされた略円形領域を検出し
なかった場合、開いた目には赤い瞳孔が含まれないので
赤目軽減システム１３は起動しない。図６は、赤い瞳孔
検出装置２３の赤い瞳孔検出プロセスを示すフローチャ
ートである。
【００３７】図６において、この赤い瞳孔検出プロセス
はステップ１６０で開始する。ステップ１６１で、赤い
瞳孔検出装置２３は、目検出装置２２から送信された検
出した開いた目を含む画像の領域（すなわち、開いた目
の領域もしくは目候補窓）を受信する。ステップ１６２
で、赤い瞳孔検出装置２３は目候補窓内の赤色ピクセル
を全て検出する。周知である任意の赤色検出装置もしく
はフィルタを使用することによって、これを実行するこ
とができる。次にステップ１６３で、赤い瞳孔検出装置
２３は、赤色ピクセルを含む目候補窓内の略円形領域の
位置を見つける。これもまた、たとえばソフトウェア・
プログラムによって実現することができる。
【００３８】ステップ１６４は、赤い瞳孔検出装置２３
が目候補窓内に略円形領域を見つけたかどうかを判定す
る判定ステップである。略円形領域を見つけた場合、赤
目軽減システム１３をソフトウェアが実施するときは、
図１の赤目軽減システム１３を起動する、すなわちルー
チンを呼び出すステップ１６５を実行する。次に、プロ
セスはステップ１６６で終了する。ステップ１６４で、
目候補窓内に略円形領域が含まれないと判定した場合、
プロセスはステップ１６６で終了する。
【００３９】再び図１を参照すると、画像１１に赤い瞳
孔が含まれることを赤目検出装置１２が検出した時、次
に色を修正する（すなわち、赤目を軽減する）ために赤
い瞳孔の領域を赤目軽減システム１３に送信する。赤目
軽減システム１３は、赤い瞳孔内における各赤色ピクセ
ルの色を別の所定の色に変更することによって、赤目を
軽減する。図７は、赤目軽減システム１３の赤目軽減プ
ロセスを示すフローチャートである。
【００４０】図７において、プロセスはステップ２００
で開始する。ステップ２０１で、（図２の赤い瞳孔検出
装置２３が略円形領域として識別した）赤い瞳孔内の赤
色ピクセルを全て赤目軽減システム１３において受信す
る。ステップ２０２で、赤目軽減システム１３が赤色の
略円形領域内における赤色ピクセルの色（たとえば、赤
−緑−青（ＲＧＢ））値を受信する。ステップ２０３
で、赤目軽減システム１３が赤色ピクセルのＲＧＢ値を
所定の色（たとえば、モノクロ）に変更する。次にステ
ップ２０４で、赤目軽減システム１３は、赤色の略円形
領域（すなわち、検出した赤い瞳孔）内に赤色ピクセル
がまだあるかどうかを判定する。ある場合には、ステッ
プ２０２を繰り返す。ない場合には（これは、赤色の円
形領域内のすべての赤色ピクセルがこのプロセスを終了
したことを意味する）、ステップ２０５で赤目軽減プロ
セスが終了する。
【００４１】図７に示す赤目軽減プロセスは、赤目軽減
システム１３についての本発明の実施形態を実施する。
別の実施形態として、赤目軽減システム１３の赤目軽減
プロセスは、色が十分に赤い赤色の円形領域に隣接する
ピクセルの色を変更することによって、赤色の円形領域
を「大きくする」こともできる。これによって、色を修
正した後赤い瞳孔がより自然に見えるようになる。
【００４２】前述の説明では、本発明をその具体的な実
施形態を参照して述べてきた。しかしながら、本発明の
より広範な精神および範囲から逸脱することなく様々な
修正および変更を加えることもできることは、当業者に
とって明白であろう。従って、かかる明細書および図面
は、限定の意味よりもむしろ例示の意味をもって考慮さ
れるものである。
【００４３】以下に本発明の実施の形態を要約する。
【００４４】１．（Ａ）画像（１１）が赤い瞳孔を含む
かどうかをユーザの介入なく検出し、前記画像（１１）
が前記赤い瞳孔を含むことを検出した場合に前記赤い瞳
孔の位置および大きさを検出する赤目検出装置（１２）
と、 （Ｂ）前記赤目検出装置（１２）に結合され、前記赤い
瞳孔の色をユーザの介入なしで検出し変更することがで
きるように、前記赤い瞳孔の内部の各赤色ピクセルを所
定の色に変更する赤目軽減システム（１３）とを備える
自動赤目検出および軽減システム（１０）。
【００４５】２．前記赤目検出装置（１２）は、 （Ｉ）前記画像（１１）が顔を含むかどうかを検出し、
前記画像（１１）が前記顔を含むことを検出した場合に
前記顔の位置、大きさ、および方向を判定する顔検出装
置（２１）と、 （ＩＩ）前記顔検出装置（２１）に結合され、前記顔が
前記赤い瞳孔を含むかどうかを検出し、前記顔が前記赤
い瞳孔を含むことを検出した場合に前記顔の内部の前記
赤い瞳孔の位置および大きさを判定する赤い瞳孔検出装
置（２３）とをさらに備える上記１に記載の自動赤目検
出および軽減システム（１０）。
【００４６】３．前記赤目検出装置（１２）は、 （Ｉ）前記画像（１１）が目を含むかどうかを検出し、
前記画像（１１）が前記目を含むことを検出した場合に
前記画像（１１）の内部の前記目の位置、大きさ、およ
び方向を判定する目検出装置（２２）と、 （ＩＩ）前記目検出装置（２２）に結合され、前記目が
前記赤い瞳孔を含むかどうかを判定し、前記目が前記赤
い瞳孔を含むことを検出した場合に前記目の内部の前記
赤い瞳孔の位置および大きさを判定する赤い瞳孔検出装
置（２３）とをさらに備える上記１に記載の自動赤目検
出および軽減システム（１０）。
【００４７】４．前記赤目検出装置（１２）は、 （Ｉ）前記画像（１１）が顔を含むかどうかを検出し、
前記画像が前記顔を含むことを検出した場合に前記顔の
位置、大きさ、および方向を判定する顔検出装置（２
１）と、 （ＩＩ）前記顔検出装置（２１）に結合され、前記顔が
目を含むかどうかを検出し、前記顔が前記目を含むこと
を検出した場合に前記顔の内部の前記目の位置、大き
さ、および方向を判定する目検出装置（２２）と、 （ＩＩＩ）前記目検出装置（２２）に結合され、前記目
が前記赤い瞳孔を含むかどうかを判定し、前記目が前記
赤い瞳孔を含むことを検出した場合に前記目の内部の前
記赤い瞳孔の位置および大きさを判定する赤い瞳孔検出
装置（２３）とをさらに備える上記１に記載の自動赤目
検出および軽減システム（１０）。
【００４８】５．前記顔検出装置（２１）は、ニューラ
ル・ネットワークを基盤とする顔の検出装置、および主
要構成要素解析を基盤とする顔の検出装置の１つである
上記２または４に記載の自動赤目検出および軽減システ
ム（１０）。
【００４９】６．前記目検出装置（２２）は、ニューラ
ル・ネットワークを基盤とする目の検出装置、および主
要構成要素解析を基盤とする目の検出装置の１つである
上記３または４に記載の自動赤目検出および軽減システ
ム（１０）。
【００５０】７．前記赤い瞳孔検出装置（２３）は、赤
色ピクセルを含む前記目の内部の略円形の領域を判定す
ることによって、前記目が前記赤い瞳孔を含むかどうか
を判定する上記２、３、または４に記載の自動赤目検出
および軽減システム（１０）。
【００５１】８．前記画像（１１）を前記顔検出装置
（２１）に送信する前に前記画像（１１）を所定の回転
角度に回転する回転モジュールをさらに備え、前記画像
（１１）が前記顔を含むことを検出した場合に前記画像
（１１）の前記回転角度によって前記顔の前記方向を判
定する上記１ないし７のいずれか一項に記載の自動赤目
検出および軽減システム（１０）。
【００５２】
【発明の効果】本発明によれば、顔または目を検出する
技術を使用して、目の自然な外観を維持しながら、ユー
ザが介入することなく画像における赤目を自動的に検出
し軽減することが可能である。
【図面の簡単な説明】
【図１】本発明の実施形態の自動赤目検出および軽減シ
ステムを示すブロック図である。
【図２】赤目検出装置の構造の一例を示すブロック図で
ある。
【図３】顔検出装置の自動顔検出プロセスを示すフロー
チャートである。
【図４】図３の顔検出装置が呼び出す顔検出サブルーチ
ンを示すフローチャートである。
【図５】目検出装置の自動目検出プロセスを示すフロー
チャートである。
【図６】赤い瞳孔検出装置の赤い瞳孔検出プロセスを示
すフローチャートである。
【図７】赤目軽減システムの赤目軽減プロセスを示すフ
ローチャートである。
【符号の説明】
１０ 自動赤目検出および軽減システム １１ 画像 １２ 赤目検出装置 １３ 赤目軽減システム ２１ 顔検出装置 ２２ 目検出装置 ２３ 赤い瞳孔検出装置
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ホンジアン・チャン アメリカ合衆国 カリフォルニア，マウン テンビュー，ランニングウッド・サークル 849

Claims (1)

    【特許請求の範囲】
  1. 【請求項１】（Ａ）画像（１１）が赤い瞳孔を含むかど
    うかをユーザの介入なく検出し、前記画像（１１）が前
    記赤い瞳孔を含むことを検出した場合に前記赤い瞳孔の
    位置および大きさを検出する赤目検出装置（１２）と、 （Ｂ）前記赤目検出装置（１２）に結合され、前記赤い
    瞳孔の色をユーザの介入なしで検出し変更することがで
    きるように、前記赤い瞳孔の内部の各赤色ピクセルを所
    定の色に変更する赤目軽減システム（１３）とを備える
    ことを特徴とする自動赤目検出および軽減システム（１
    ０）。
JP11008138A 1998-01-29 1999-01-14 自動赤目検出および軽減システム Pending JPH11284874A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/015,407 US6278491B1 (en) 1998-01-29 1998-01-29 Apparatus and a method for automatically detecting and reducing red-eye in a digital image
US09/015-407 1998-01-29

Publications (1)

Publication Number Publication Date
JPH11284874A true JPH11284874A (ja) 1999-10-15

Family

ID=21771225

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11008138A Pending JPH11284874A (ja) 1998-01-29 1999-01-14 自動赤目検出および軽減システム

Country Status (2)

Country Link
US (1) US6278491B1 (ja)
JP (1) JPH11284874A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001071421A1 (en) * 2000-03-23 2001-09-27 Kent Ridge Digital Labs Red-eye correction by image processing
WO2006011630A1 (en) * 2004-07-30 2006-02-02 Canon Kabushiki Kaisha Image processing apparatus and method, image sensig apparatus, and program
JP2009193421A (ja) * 2008-02-15 2009-08-27 Sony Corp 画像処理装置、カメラ装置、画像処理方法、およびプログラム
US7724950B2 (en) 2005-06-14 2010-05-25 Canon Kabushiki Kaisha Image processing apparatus, image processing method, computer program, and storage medium
US7826659B2 (en) 2005-06-14 2010-11-02 Canon Kabushiki Kaisha Image processing apparatus and method, computer program, and storage medium dividing an input image into band images
US8045795B2 (en) 2005-06-14 2011-10-25 Canon Kabushiki Kaisha Image processing apparatus, image processing method, computer program, and storage medium
US8126265B2 (en) 2005-11-18 2012-02-28 DigitalOptics Corporation Europe Limited Method and apparatus of correcting hybrid flash artifacts in digital images
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US8290267B2 (en) 2007-11-08 2012-10-16 DigitalOptics Corporation Europe Limited Detecting redeye defects in digital images
US8525898B2 (en) 2008-01-30 2013-09-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
US9460347B2 (en) 2013-06-28 2016-10-04 Canon Kabushiki Kaisha Image processing apparatus and method for processing image for detecting an image area including a defective color tone

Families Citing this family (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6786420B1 (en) 1997-07-15 2004-09-07 Silverbrook Research Pty. Ltd. Data distribution mechanism in the form of ink dots on cards
US6618117B2 (en) 1997-07-12 2003-09-09 Silverbrook Research Pty Ltd Image sensing apparatus including a microcontroller
US6624848B1 (en) 1997-07-15 2003-09-23 Silverbrook Research Pty Ltd Cascading image modification using multiple digital cameras incorporating image processing
US6879341B1 (en) 1997-07-15 2005-04-12 Silverbrook Research Pty Ltd Digital camera system containing a VLIW vector processor
AUPO802797A0 (en) 1997-07-15 1997-08-07 Silverbrook Research Pty Ltd Image processing method and apparatus (ART54)
US7110024B1 (en) 1997-07-15 2006-09-19 Silverbrook Research Pty Ltd Digital camera system having motion deblurring means
US6690419B1 (en) 1997-07-15 2004-02-10 Silverbrook Research Pty Ltd Utilising eye detection methods for image processing in a digital image camera
AUPO799997A0 (en) * 1997-07-15 1997-08-07 Silverbrook Research Pty Ltd Image processing method and apparatus (ART10)
US7724282B2 (en) 1997-07-15 2010-05-25 Silverbrook Research Pty Ltd Method of processing digital image to correct for flash effects
US6985207B2 (en) 1997-07-15 2006-01-10 Silverbrook Research Pty Ltd Photographic prints having magnetically recordable media
US7077515B2 (en) * 1997-07-15 2006-07-18 Silverbrook Research Pty Ltd Media cartridge for inkjet printhead
US7246897B2 (en) * 1997-07-15 2007-07-24 Silverbrook Research Pty Ltd Media cartridge for inkjet printhead
US7593058B2 (en) * 1997-07-15 2009-09-22 Silverbrook Research Pty Ltd Digital camera with integrated inkjet printer having removable cartridge containing ink and media substrate
US20040160524A1 (en) * 1997-07-15 2004-08-19 Kia Silverbrook Utilising exposure information for image processing in a digital image camera
US7714889B2 (en) * 1997-07-15 2010-05-11 Silverbrook Research Pty Ltd Digital camera using exposure information for image processing
US7551202B2 (en) * 1997-07-15 2009-06-23 Silverbrook Research Pty Ltd Digital camera with integrated inkjet printer
US6948794B2 (en) 1997-07-15 2005-09-27 Silverbrook Reserach Pty Ltd Printhead re-capping assembly for a print and demand digital camera system
AUPO850597A0 (en) * 1997-08-11 1997-09-04 Silverbrook Research Pty Ltd Image processing method and apparatus (art01a)
US7352394B1 (en) 1997-10-09 2008-04-01 Fotonation Vision Limited Image modification based on red-eye filter analysis
US7042505B1 (en) 1997-10-09 2006-05-09 Fotonation Ireland Ltd. Red-eye filter method and apparatus
US7738015B2 (en) 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US7630006B2 (en) 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US6631208B1 (en) * 1998-05-29 2003-10-07 Fuji Photo Film Co., Ltd. Image processing method
AUPP702098A0 (en) 1998-11-09 1998-12-03 Silverbrook Research Pty Ltd Image creation method and apparatus (ART73)
AUPQ056099A0 (en) 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (pprint01)
JP2000350123A (ja) * 1999-06-04 2000-12-15 Fuji Photo Film Co Ltd 画像選択装置、カメラ、画像選択方法及び記録媒体
US6940545B1 (en) * 2000-02-28 2005-09-06 Eastman Kodak Company Face detecting camera and method
US6728401B1 (en) * 2000-08-17 2004-04-27 Viewahead Technology Red-eye removal using color image processing
US20020081003A1 (en) * 2000-12-27 2002-06-27 Sobol Robert E. System and method for automatically enhancing graphical images
EP1229734A1 (en) * 2001-01-31 2002-08-07 GRETAG IMAGING Trading AG Automatic colour defect correction
US6873743B2 (en) * 2001-03-29 2005-03-29 Fotonation Holdings, Llc Method and apparatus for the automatic real-time detection and correction of red-eye defects in batches of digital images or in handheld appliances
EP1288858A1 (de) * 2001-09-03 2003-03-05 Agfa-Gevaert AG Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotographischen Bilddaten
EP1293933A1 (de) * 2001-09-03 2003-03-19 Agfa-Gevaert AG Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotografischen Bilddaten
EP1288860A1 (de) * 2001-09-03 2003-03-05 Agfa-Gevaert AG Verfahren zur Verarbeitung digitaler fotografischer Bilddaten, welches ein Verfahren zum automatischen Erkennen von rote-Augen-Defekten umfasst
GB2379819B (en) * 2001-09-14 2005-09-07 Pixology Ltd Image processing to remove red-eye features
US6978052B2 (en) 2002-01-28 2005-12-20 Hewlett-Packard Development Company, L.P. Alignment of images for stitching
US20030161506A1 (en) * 2002-02-25 2003-08-28 Eastman Kodak Company Face detection computer program product for redeye correction
US7155058B2 (en) * 2002-04-24 2006-12-26 Hewlett-Packard Development Company, L.P. System and method for automatically detecting and correcting red eye
US7146026B2 (en) 2002-06-04 2006-12-05 Hewlett-Packard Development Company, L.P. Image correction system and method
US7177449B2 (en) 2002-06-26 2007-02-13 Hewlett-Packard Development Company, L.P. Image correction system and method
US7051040B2 (en) * 2002-07-23 2006-05-23 Lightsurf Technologies, Inc. Imaging system providing dynamic viewport layering
JP2004206688A (ja) * 2002-12-12 2004-07-22 Fuji Photo Film Co Ltd 顔認識方法、顔切出方法、および撮像装置
EP1453290A1 (de) * 2003-02-28 2004-09-01 Agfa-Gevaert AG Verfahren und Vorrichtung zum automatischen Erzeugen von Abzügen fotografischer, digitaler Bilddaten
US7224850B2 (en) * 2003-05-13 2007-05-29 Microsoft Corporation Modification of red-eye-effect in digital image
US7343028B2 (en) * 2003-05-19 2008-03-11 Fujifilm Corporation Method and apparatus for red-eye detection
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7970182B2 (en) 2005-11-18 2011-06-28 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US8330831B2 (en) 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7920723B2 (en) 2005-11-18 2011-04-05 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US8170294B2 (en) 2006-11-10 2012-05-01 DigitalOptics Corporation Europe Limited Method of detecting redeye in a digital image
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US7536036B2 (en) * 2004-10-28 2009-05-19 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US7689009B2 (en) 2005-11-18 2010-03-30 Fotonation Vision Ltd. Two stage detection for photographic eye artifacts
US7565030B2 (en) * 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US8498452B2 (en) 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US8682097B2 (en) 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US8989453B2 (en) 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US8948468B2 (en) 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US8155397B2 (en) 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
US9692964B2 (en) 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US7471846B2 (en) 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US7587085B2 (en) 2004-10-28 2009-09-08 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
US7317815B2 (en) * 2003-06-26 2008-01-08 Fotonation Vision Limited Digital image processing composition using face detection information
US9129381B2 (en) 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US9412007B2 (en) 2003-08-05 2016-08-09 Fotonation Limited Partial face detector red-eye filter method and apparatus
US20050031224A1 (en) * 2003-08-05 2005-02-10 Yury Prilutsky Detecting red eye filter and apparatus using meta-data
US8520093B2 (en) 2003-08-05 2013-08-27 DigitalOptics Corporation Europe Limited Face tracker and partial face tracker for red-eye filter method and apparatus
US20050140801A1 (en) * 2003-08-05 2005-06-30 Yury Prilutsky Optimized performance and performance for red-eye filter method and apparatus
US7835572B2 (en) * 2003-09-30 2010-11-16 Sharp Laboratories Of America, Inc. Red eye reduction technique
US7860309B1 (en) 2003-09-30 2010-12-28 Verisign, Inc. Media publishing system with methodology for parameterized rendering of image regions of interest
US7403640B2 (en) * 2003-10-27 2008-07-22 Hewlett-Packard Development Company, L.P. System and method for employing an object-oriented motion detector to capture images
JP4262082B2 (ja) * 2003-12-24 2009-05-13 キヤノン株式会社 画像処理装置及びその制御方法とプログラム及び記憶媒体
US20050163498A1 (en) * 2004-01-28 2005-07-28 Battles Amy E. User interface for automatic red-eye removal in a digital image
JP2005309409A (ja) * 2004-03-25 2005-11-04 Fuji Photo Film Co Ltd 赤目防止装置、プログラムおよびプログラムを記録した記録媒体
JP2005310124A (ja) * 2004-03-25 2005-11-04 Fuji Photo Film Co Ltd 赤目検出装置、プログラムおよびプログラムを記録した記録媒体
US7245285B2 (en) * 2004-04-28 2007-07-17 Hewlett-Packard Development Company, L.P. Pixel device
US20050248664A1 (en) * 2004-05-07 2005-11-10 Eastman Kodak Company Identifying red eye in digital camera images
JP4078334B2 (ja) * 2004-06-14 2008-04-23 キヤノン株式会社 画像処理装置および画像処理方法
US20060008169A1 (en) * 2004-06-30 2006-01-12 Deer Anna Y Red eye reduction apparatus and method
US8320641B2 (en) 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US7450756B2 (en) * 2005-04-28 2008-11-11 Hewlett-Packard Development Company, L.P. Method and apparatus for incorporating iris color in red-eye correction
US7548647B2 (en) * 2005-04-29 2009-06-16 Hewlett-Packard Development Company, L.P. Method and apparatus for digital-image red-eye correction that facilitates undo operation
US7612794B2 (en) * 2005-05-25 2009-11-03 Microsoft Corp. System and method for applying digital make-up in video conferencing
US7590267B2 (en) * 2005-05-31 2009-09-15 Microsoft Corporation Accelerated face detection based on prior probability of a view
US7907786B2 (en) * 2005-06-06 2011-03-15 Xerox Corporation Red-eye detection and correction
US20070036438A1 (en) * 2005-08-15 2007-02-15 Lexmark International, Inc. Methods and systems for identifying red eye pairs
KR100791372B1 (ko) * 2005-10-14 2008-01-07 삼성전자주식회사 인물 이미지 보정 장치 및 방법
US7567707B2 (en) * 2005-12-20 2009-07-28 Xerox Corporation Red eye detection and correction
JP4643715B2 (ja) 2006-02-14 2011-03-02 テセラ テクノロジーズ アイルランド リミテッド 赤目ではない目の閃光による不良の自動的な検知および補正
US7965875B2 (en) 2006-06-12 2011-06-21 Tessera Technologies Ireland Limited Advances in extending the AAM techniques from grayscale to color images
US7403643B2 (en) 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
JP4311435B2 (ja) * 2006-10-25 2009-08-12 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
US20080123956A1 (en) * 2006-11-28 2008-05-29 Honeywell International Inc. Active environment scanning method and device
US7764846B2 (en) * 2006-12-12 2010-07-27 Xerox Corporation Adaptive red eye correction
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
EP2115662B1 (en) 2007-02-28 2010-06-23 Fotonation Vision Limited Separating directional lighting variability in statistical face modelling based on texture space decomposition
KR101247147B1 (ko) 2007-03-05 2013-03-29 디지털옵틱스 코포레이션 유럽 리미티드 디지털 영상 획득 장치에서의 얼굴 탐색 및 검출
US7995804B2 (en) 2007-03-05 2011-08-09 Tessera Technologies Ireland Limited Red eye false positive filtering using face location and orientation
US7916971B2 (en) 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
US8503818B2 (en) * 2007-09-25 2013-08-06 DigitalOptics Corporation Europe Limited Eye defect detection in international standards organization images
US8073198B2 (en) * 2007-10-26 2011-12-06 Samsung Electronics Co., Ltd. System and method for selection of an object of interest during physical browsing by finger framing
US7885145B2 (en) * 2007-10-26 2011-02-08 Samsung Electronics Co. Ltd. System and method for selection of an object of interest during physical browsing by finger pointing and snapping
US7747160B2 (en) * 2008-01-04 2010-06-29 Sony Ericsson Mobile Communications Ab Intelligent red eye removal
US7855737B2 (en) 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
US8285059B2 (en) * 2008-05-20 2012-10-09 Xerox Corporation Method for automatic enhancement of images containing snow
US8094947B2 (en) * 2008-05-20 2012-01-10 Xerox Corporation Image visualization through content-based insets
US8194992B2 (en) * 2008-07-18 2012-06-05 Xerox Corporation System and method for automatic enhancement of seascape images
CN102027505A (zh) 2008-07-30 2011-04-20 泰塞拉技术爱尔兰公司 使用脸部检测的自动脸部和皮肤修饰
US8081254B2 (en) 2008-08-14 2011-12-20 DigitalOptics Corporation Europe Limited In-camera based method of detecting defect eye with high accuracy
US8254679B2 (en) 2008-10-13 2012-08-28 Xerox Corporation Content-based image harmonization
US8295637B2 (en) * 2009-01-07 2012-10-23 Seiko Epson Corporation Method of classifying red-eye objects using feature extraction and classifiers
US8633999B2 (en) * 2009-05-29 2014-01-21 DigitalOptics Corporation Europe Limited Methods and apparatuses for foreground, top-of-the-head separation from background
US8379917B2 (en) 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
US8837827B2 (en) 2011-03-21 2014-09-16 Apple Inc. Red-eye removal using multiple recognition channels
US8818091B2 (en) 2011-03-21 2014-08-26 Apple Inc. Red-eye removal using multiple recognition channels
US8786735B2 (en) 2011-03-21 2014-07-22 Apple Inc. Red-eye removal using multiple recognition channels
US8837822B2 (en) 2011-03-21 2014-09-16 Apple Inc. Red-eye removal using multiple recognition channels
US8837785B2 (en) 2011-03-21 2014-09-16 Apple Inc. Red-eye removal using multiple recognition channels
US8571271B2 (en) 2011-05-26 2013-10-29 Microsoft Corporation Dual-phase red eye correction
US8811683B2 (en) 2011-06-02 2014-08-19 Apple Inc. Automatic red-eye repair using multiple recognition channels
US9041954B2 (en) 2011-06-07 2015-05-26 Hewlett-Packard Development Company, L.P. Implementing consistent behavior across different resolutions of images
US9177202B2 (en) * 2011-07-11 2015-11-03 Toyota Jidosha Kabushiki Kaisha Red-eye detection device
US8970902B2 (en) 2011-09-19 2015-03-03 Hewlett-Packard Development Company, L.P. Red-eye removal systems and method for variable data printing (VDP) workflows
US9928874B2 (en) 2014-02-05 2018-03-27 Snap Inc. Method for real-time video processing involving changing features of an object in the video
CN106887024B (zh) 2015-12-16 2019-09-17 腾讯科技（深圳）有限公司 照片的处理方法及处理系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164992A (en) 1990-11-01 1992-11-17 Massachusetts Institute Of Technology Face recognition system
US6016345A (en) * 1993-11-02 2000-01-18 Home Access Health Corporation Method and system for anonymously testing for a human malady
JP2907120B2 (ja) * 1996-05-29 1999-06-21 日本電気株式会社 赤目検出補正装置
US6134339A (en) * 1998-09-17 2000-10-17 Eastman Kodak Company Method and apparatus for determining the position of eyes and for correcting eye-defects in a captured frame

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001071421A1 (en) * 2000-03-23 2001-09-27 Kent Ridge Digital Labs Red-eye correction by image processing
JP4599110B2 (ja) * 2004-07-30 2010-12-15 キヤノン株式会社 画像処理装置及びその方法、撮像装置、プログラム
WO2006011630A1 (en) * 2004-07-30 2006-02-02 Canon Kabushiki Kaisha Image processing apparatus and method, image sensig apparatus, and program
JP2006040231A (ja) * 2004-07-30 2006-02-09 Canon Inc 画像処理装置及びその方法、撮像装置、プログラム
US8285002B2 (en) 2004-07-30 2012-10-09 Canon Kabushiki Kaisha Image processing apparatus and method, image sensing apparatus, and program
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US7724950B2 (en) 2005-06-14 2010-05-25 Canon Kabushiki Kaisha Image processing apparatus, image processing method, computer program, and storage medium
US7826659B2 (en) 2005-06-14 2010-11-02 Canon Kabushiki Kaisha Image processing apparatus and method, computer program, and storage medium dividing an input image into band images
US8045795B2 (en) 2005-06-14 2011-10-25 Canon Kabushiki Kaisha Image processing apparatus, image processing method, computer program, and storage medium
EP2544146A1 (en) 2005-06-14 2013-01-09 Canon Kabushiki Kaisha Image processing apparatus, image processing method, computer program, and storage medium
US8126265B2 (en) 2005-11-18 2012-02-28 DigitalOptics Corporation Europe Limited Method and apparatus of correcting hybrid flash artifacts in digital images
US8823830B2 (en) 2005-11-18 2014-09-02 DigitalOptics Corporation Europe Limited Method and apparatus of correcting hybrid flash artifacts in digital images
US8422780B2 (en) 2005-11-18 2013-04-16 DigitalOptics Corporation Europe Limited Method and apparatus of correcting hybrid flash artifacts in digital images
US8290267B2 (en) 2007-11-08 2012-10-16 DigitalOptics Corporation Europe Limited Detecting redeye defects in digital images
US8525898B2 (en) 2008-01-30 2013-09-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
US9137425B2 (en) 2008-01-30 2015-09-15 Fotonation Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
JP4539729B2 (ja) * 2008-02-15 2010-09-08 ソニー株式会社 画像処理装置、カメラ装置、画像処理方法、およびプログラム
US8149280B2 (en) 2008-02-15 2012-04-03 Sony Corporation Face detection image processing device, camera device, image processing method, and program
JP2009193421A (ja) * 2008-02-15 2009-08-27 Sony Corp 画像処理装置、カメラ装置、画像処理方法、およびプログラム
US9460347B2 (en) 2013-06-28 2016-10-04 Canon Kabushiki Kaisha Image processing apparatus and method for processing image for detecting an image area including a defective color tone

Also Published As

Publication number Publication date
US6278491B1 (en) 2001-08-21

Similar Documents

Publication Publication Date Title
JPH11284874A (ja) 自動赤目検出および軽減システム
US7352394B1 (en) Image modification based on red-eye filter analysis
US8170294B2 (en) Method of detecting redeye in a digital image
US8885074B2 (en) Red-eye filter method and apparatus
JP4966021B2 (ja) 赤目フィルターの性能を最適化する方法及びその装置
US8861806B2 (en) Real-time face tracking with reference images
US20050220346A1 (en) Red eye detection device, red eye detection method, and recording medium with red eye detection program
US20020081003A1 (en) System and method for automatically enhancing graphical images
WO2018176925A1 (zh) Hdr图像的生成方法及装置
US9838616B2 (en) Image processing method and electronic apparatus
JP4982567B2 (ja) フラッシュを用いて撮影された画像のアーチファクト除去
WO2001071421A1 (en) Red-eye correction by image processing
JP3473832B2 (ja) ディジタル画像の自動補正方法及びそのシステム
IE20050052U1 (en) Optimized performance for red-eye filter method and apparatus
JPH10340345A (ja) 個体識別装置
Wang et al. A novel automatic red-eye detection and removal method
IES84151Y1 (en) Optimized performance for red-eye filter method and apparatus