JP5140163B2 - 視線測定のための方法及び装置 - Google Patents

Description

本発明の開示は、概してデジタル画像処理に関し、より詳しくは、デジタル写真のエラー補正に関する。

この欄に記述されたアプローチは、追求され得たが、必ずしも従前に着想された或いは追求されたアプローチではないものである。したがって、他に示されない限り、この欄に記述されたアプローチの内のどれであっても、単にこの欄にそれらが含まれることで先行技術としての資格があると見なされるべきでない。

多くの携帯用カメラ上のフラッシュは、捕捉された画像内で望ましくない欠陥を引き起こす場合がある。フラッシュが被写体の目の内部で反射される場合の最も一般的な欠陥のうちの１つは、「赤目」現象であり、通常は被写体の目の黒い瞳孔が現われる部分に、赤いドットとして写真に現われる。かかる目の不自然な強烈な赤色は、網膜の後ろの血管に富んでいる血管膜からの内部反射によるものである。この望ましくない欠陥は、一つには、カメラのフラッシュ及びカメラのレンズ間の小さな角度によって引き起こされることが良く理解されている。フラッシュ機能を一体的に備えたカメラの小型化により、かかる現象は、今日のより小さな携帯用カメラの多くの中で相当に頻出され得る。

赤目欠陥は、フラッシュ撮影が行われる結果虹彩を閉じさせる直前にフラッシュまたは光の照明を用いる「プレフラッシュ」でのように、瞳の開口を縮小させることを虹彩に強いることにより、最小限にすることができる。不運にも、プレフラッシュはフラッシュ写真の０．２〜０．６秒前に生じ、かかる期間は、被写体である人間の反応時間内で容易に認識可能である。従って、被写体は、プレフラッシュが実際の写真であると信じる可能性があり、また、実際の撮影時に望ましい位置にいない可能性もあり、或いは、当該被写体は、プレフラッシュによって、当該撮影中に捕捉され得た被写体のいかなる自発性も典型的に失わせる当該撮影の通知がなされるかもしれない。したがって、プレフラッシュの使用は、赤目現象を減少させることにおいて幾分有用である一方、他の点では画像に悪影響を与える場合がある。

コンピューター上のデジタルカメラ及びデジタル画像ソフトウェアの到来で、フラッシュで引き起こされた目欠陥を除去するための技術は、カメラの外部またはカメラに内蔵されたマイクロプロセッサ基盤の装置を用い、捕捉された画像を処理することによって、共通の場所になった。マイクロプロセサーに基づいた装置によって実行された殆どのアルゴリズムは、全く初歩的である。例えば、共通の欠陥除去アルゴリズムは、様々な範囲の形状の内の形を形成する色スペクトル内のピクセルに対するデジタル画像を検査して、欠陥候補を識別することを含んでいる。技術は、色スペクトルを狭くし、アルゴリズムが有力な欠陥候補を識別するために使用する形状の範囲を狭くするためのものが存在するが、しかし、それらの既存の技術は非常に制限的であり、多くの場合、そのような技術が人間の目の生理的変化や画像が捕捉された下での条件（状態）を考慮に入れていないために、回避されるべき誤判定が引き起こされるような誤りが、正しい判定と見なされる可能性がある。したがって、かかる技術分野では、フラッシュに引き起こされた目欠陥の検出及び補正アルゴリズムを改善する必要性がある。

〔色図面に関する声明〕
本特許または出願の書類は、カラーで作成された少なくとも一の図面を含んでいる。この特許または特許出願のカラー図面（ら）を備えた公報は、請求及び必要な料金の支払いに基づいて特許庁により提供されるだろう。本発明は、添付の図面において、制限するためではなく例示の目的で説明される。
ａ乃至ｄは、捕捉されたデジタル画像に生じ得る通常のフラッシュで引き起こされた目欠陥の例を示す。 本発明の特徴を具体化する方法を例証するフローチャートを示す。 ａ及びｂに、携帯用デジタル画像取得装置のための２つの有力な構成を例証する。 ａ及びｂに、部分的な赤目欠陥の幾つかを示す。 フラッシュが、レンズの右側にある場合、レンズの左側にある場合、レンズの下方側にある場合、レンズの上方側にある場合、レンズの右上側にある場合、レンズの左上側にある場合、レンズの左下側にある場合、或いはレンズの右下側にある場合に発生する、様々な部分的な赤目現象を示す。 ａ及びｂに、フラッシュからレンズまでの距離が２ｃｍ及び５ｃｍの場合についての赤目欠陥の共通の色スペクトルを示す。 周辺光の作用としての瞳孔サイズのプロットを示す。 ａ乃至ｃに、様々な角度の視線での目を示す。 両目についての視線角度（ｇａｚｅ ａｎｇｌｅ）を示す。 携帯用の画像取得装置のブロックダイヤグラムである。

（本発明の実施の形態の詳細な説明）
以下の記述では、説明の目的のために、本発明についての完全な理解を提供するために多数の特定の詳細が示される。しかしながら、本発明がこれらの特定の詳細によらずとも実施され得ることは明白であろう。他の例では、本発明を不必要に不明瞭することを避けるために、良く知られた構造及び装置は、ブロック図の形式で示される。

（概説）
図１ａ乃至ｄは、捕捉されたデジタル画像に生じ得る、共通のフラッシュに誘発された目欠陥の例を示す。図１ａは、目が赤目現象を呈しているデジタル画像を示す。図１ｂは、目が金目（golden-eye）現象を呈しているデジタル画像を示す。図１ｃは、目が部分的な赤目（half-red eye）現象を呈しているデジタル画像を示す。図１ｄは、１つの目が赤目現象を呈し、他方の目が金目現象を呈しているデジタル画像を示す。本発明の側面は、捕捉されたデジタル画像からこれらの欠陥を取り除くためのアルゴリズムの改善に関する。

「赤目フィルタ解析に基づく画像修正（ＩＭＡＧＥ ＭＯＤＩＦＩＣＡＴＩＯＮ ＢＡＳＥＤ ＯＮ ＲＥＤ−ＥＹＥ ＦＩＬＴＥＲ ＡＮＡＬＹＳＩＳ）」と題され２００４年２月４日に出願された米国特許７，３５２，３９４号明細書は、デジタル画像から図１ａ乃至ｄに示されるような欠陥を削除するための技術について論じている。

本発明の技術は、画像が捕捉または取得される場合に画像取得データを格納し、図１ａ乃至ｄ中で例示されたような欠陥を修正する方法を決定する際に当該画像取得データを使用することを含んでいる。画像取得データの例は、レンズに対するフラッシュの位置、フラッシュからレンズまでの距離、レンズの焦点距離、画像取得装置上の一点（ポイント）から撮影される被写体までの距離、周辺光の量、及びフラッシュ強度を含むことができる。画像取得データは、捕捉後に画像を処理する方法のための行動方針を決定するのに使用することができる。例えば、一例として、明るい周辺光のような特定の取得条件に相当する画像取得データは、複数の欠陥補正アルゴリズムから、どのアルゴリズムのサブセットを特定の画像に適用すべきかを決定し、或いは特定の欠陥補正アルゴリズムによって使用されるべきパラメーターを決定し得る。

本発明のさらなる技術は、動的な人体計測データを判定して、複数の欠陥補正アルゴリズムから、どのアルゴリズムのサブセットを特定の画像に適用すべきかを決定し、或いは特定の欠陥補正アルゴリズムによって使用されるべきパラメーターを決定するために、画像取得データを使用することを含むことができる。本発明のさらなる技術は、複数の欠陥補正アルゴリズムから、どのアルゴリズムのサブセットを特定の画像に適用すべきかを決定し、或いは特定の欠陥補正アルゴリズムによって使用されるべきパラメーターを決定するために、さらに、動的な人体計測データと共に画像取得データを使用することを含むことができる。

図２は、本発明の側面を具体化した方法を例証するフローチャートを示す。本方法は、カメラや多機能携電話機（スマートフォン）のような携帯用デジタル画像取得装置で、デジタル画像を捕捉（キャプチャー）すること（ブロック２１０）を含む。本方法は、当該捕捉されたデジタル画像に関連した画像取得データを格納し（ブロック２２０）、当該捕捉された画像に関連した動的な人体計測データを決定（判定）すること（ブロック２３０）をさらに含む。動的な人体計測データは、画像取得データから引き出されるか、あるいは取得されたデジタル画像の内容から判定されるか、あるいは当該技術分野で既知の他の任意の方法で判定されることができる。当該画像取得データ及び動的な人体計測データに基づいて、当該デジタル画像に関して補正処置を行なうか否か、及びその方法が決定されることができる（ブロック２４０）。

本発明の有力な実施の形態は、一時にデジタル画像を取得し、該時点での状態について記述する画像取得データを格納し、デジタル画像中の目の視線角度（ｅｙｅ ｇａｚｅ ａｎｇｌｅ）を判定し、当該画像取得データ及び当該目の視線角度の少なくとも一つに基づいた行動方針を決定すること、の各ステップを含む方法を遂行するようにプロセッサーをプログラムするために埋め込まれたコードを有するプロセッサー読込み可能な一または複数の媒体を含むことができる。

本発明の他の有力な実施の形態は、画像が取得されるときの周辺光を示す値を検知し、該値を当該画像と関連付けて格納し、かかる値に基づいて行動方針の一つについて決定すること、の各ステップを含む方法を遂行するようにプロセッサーをプログラムするために埋め込まれたコードを有するプロセッサー読込み可能な一または複数の媒体を含むことができる。

本発明の他の有力な実施の形態は、レンズに対する光源の位置を示す値を格納し、該値を使用して部分的な赤目欠陥のための予期（ｅｘｐｅｃｔ）された方向を識別し、該予期された方向に基づいて、画像中の欠陥候補を少なくとも一つ識別するステップを含む方法を遂行するようにプロセッサーをプログラムするために埋め込まれたコードを有するプロセッサー読込み可能な一または複数の媒体を含むことができる。

本発明の他の有力な実施の形態は、一時にデジタル画像を取得し、レンズに対する光源の位置、前記光源から前記レンズまでの距離、レンズの焦点距離、デジタル画像取得装置上の一点から被写体までの距離、周辺光の量、またはフラッシュ強度、の少なくとも１つを含む画像取得データを格納し、当該一時に捕捉された前記画像中に表された１または複数の人間の、１または複数の動的に変化する人体測定を含む動的な人体計測データを判定し、画像取得データ及び前記動的な人体計測データの少なくとも一つに基づいた補正処置の方針を決定する、との各ステップを含む方法を遂行するようにプロセッサーをプログラミングするために埋め込まれたコードを有するプロセッサー読込み可能な一または複数の媒体を含むことができる。

本発明の他の有力な実施の形態は、レンズと、デジタル画像捕捉装置と、画像捕捉中に照明を提供するための光源と、方法を遂行するためにプロセッサをプログラミングするための埋込まれたコードを備えたプロセッサ読出し可能な媒体に格納された処理を遂行するためのロジックと、を備えた携帯用デジタル画像取得装置を含む。

（画像取得データ）
本発明の技術は、捕捉されたデジタル画像に関連した様々な種類の画像取得データを、例えば携帯用デジタル取得装置におけるメモリ内に格納することを含む。画像取得データは、例えば、画像ファイルに関連したメタデータとして格納されることができる。画像取得データの例は、レンズに対するフラッシュの位置、レンズからフラッシュまでの距離、レンズの焦点距離、撮影されている被写体への距離、周辺光の量、及びフラッシュ強度を含んでいるが、必ずしもこれらに限定されるものではない。

格納することができる画像取得データの一の種類は、デジタル画像を捕捉するレンズに対するフラッシュの位置である。図３ａ及び３ｂは、携帯用デジタル画像取得装置３００ａ及びｂのための２つの有力な構成を例証する。図３ａの携帯用デジタル画像取得装置３００ａでは、フラッシュ３０１ａは、レンズ３０２ａの横側（サイド）に位置し、他方、図３ｂの携帯用デジタル画像取得装置３００ｂでは、フラッシュ３０１ｂは、レンズ３０２ｂの直ぐ上に位置する。例えばプロフィール写真を撮るときに、図の３００ａ−ｂの携帯用デジタル取得装置が９０度回転された場合、図３ａ中のフラッシュ３０１ａは、レンズ３０２の下側にあり、また、図３ｂの中のフラッシュ３０１ｂは、レンズ３０２ｂの横側にあるだろう。後により詳細に論じられるように、フラッシュに対するレンズの相対的な位置を知ることは、特定の種類の目欠陥現象を識別するのを支援することを可能にする。例えば、レンズの横側に位置したフラッシュは、図４ａ中に示されるような部分的赤目現象を生み出す可能性がより高く、一方、レンズの上側に位置したフラッシュは、図４ｂ中に示されるような部分的赤目現象を生み出す可能性がより高い。

格納することができる他の種類の画像取得データは、レンズとフラッシュとの間の距離である。例えば、図３ａでは、レンズ３０２ａ及びフラッシュ３０１ａ間の距離は点線３０３ａによって示され、図３ｂでは、レンズ３０２ｂとフラッシュ３０１ｂとの距離は、点線３０３ｂによって示される。様々な欠陥補正アルゴリズムを実行する特定の装置の構成によって、フラッシュとレンズとの距離は、一定とされることができ、この場合には、その距離は、画像取得毎に距離を動的に計算される必要なしに、装置の設計者によって格納することができる。そして、可動レンズやフラッシュまたは外部レンズやフラッシュ用の接続機構を備えた他の携帯用デジタル取得装置では、かかる距離は、画像取得毎に動的に計算されることができる。

格納することができる他の種類の画像取得データは、写真が撮影されるときに携帯用デジタル画像取得装置によって測定されるような周辺光である。かかる測定は、光情報を、光の値あるいは露光量を示す値のような電子符号化に変換することができる電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサーあるいは相補型酸化金属半導体（ＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサーのような光センサーによって、遂行されることができる。

格納されることができる他の種類の画像取得データは、レンズの焦点距離である。殆どのデジタル画像取得装置は、可変焦点距離を備えたレンズを有している。本発明の技術は、ポストキャプチャ（post-capture）画像解析中に使用される焦点距離を示す値を格納することを含んでいる。格納されることができる他の種類の画像取得データは、レンズのような携帯用デジタル取得装置上の一点（ポイント）と撮影されている被写体との間の距離である。殆どのデジタル画像取得装置は、オートフォーカス機構を備えた使用のための距離分析器を含んでいる。本発明の技術は、ポストキャプチャ画像解析中に使用される装置上の点と被写体との間の距離を示す値を格納することを含んでいる。

（いずれの欠陥現象を探知するかを決定するための画像取得データの使用）
本発明の技術は、どのように欠陥現象を探知するかを決定することを援助するために、画像取得データを使用することを含む。レンズに対するフラッシュの位置を示す取得データは、例えば、特定の欠陥の方向を判定するために使用することができる。例えば、フラッシュがレンズの上側に位置するならば、部分的赤目（half-red eye）の帯黄色の部分は、目のより下側の部分になり、また逆の場合も同様である。フラッシュがレンズの左側に位置するならば、部分的赤目の帯黄色の部分は、目の右側の部分になり、また逆の場合も同様である。図５は、フラッシュが、レンズの右側にある場合（５０１）、レンズの左側にある場合（５０２）、レンズの下方側にある場合（５０３）、レンズの上方側にある場合（５０４）、レンズの右上側にある場合（５０５）、レンズの左上側にある場合（５０６）、レンズの左下側にある場合（５０７）、或いはレンズの右下側にある場合（５０８）に発生する、様々な部分的赤目現象を示す。

この情報は、部分的赤目の予期された赤−黄色の勾配を判定するために使用することができ、誤検出を減少させるために使用されることができる。特定の形を形成するピクセルの黄色／赤色グループ化の検知によって部分的赤目を検知するアルゴリズムが存在し、それ故に、部分的赤目を示す。部分的赤目を示すグループ化の赤−黄色の勾配は、誤検出を識別するために、予期された赤−黄色の勾配と比較されることができる。例えば、検知されたグループ化が左から右に、あるいは上から下に赤−黄色の勾配を有しているが、予期された赤−黄色の勾配が右から左である場合には、右から左以外の勾配を有するグループ化は、部分的赤目でないものとして識別可能であり、それ故に修正はされない。右から左への赤−黄色の勾配を有する検知されたグループ化は、欠陥を補正するために、画像修正を経ることができる。

本発明の技術は、潜在的な欠陥の色スペクトルを判定するために、画像取得データを使用することをさらに含んでいる。例えば、レンズとフラッシュとの間の距離は、赤目欠陥の色スペクトルに影響を与える。図６ａは、フラッシュ及びレンズ間の距離が２ｃｍの場合についての赤目欠陥用の共通の色スペクトルを示し、また、図６ｂは、撮影するフラッシュ及びレンズ間の距離が５ｃｍの場合について捕捉された画像の最終的な欠陥を示す。特定の欠陥に対しての予期すべき色のスペクトルを知ることによって、アルゴリズムが正確になり得る。例えば、形状の範囲内での色のスペクトルを探索するように構成された赤目除去アルゴリズムでは、探索された色のスペクトルは、画像取得データに基づいて狭くなることができ、したがって、誤判定の数を縮減する。

（動的な人体計測データを判定するための画像取得データの使用）
一般に、人体測定学は、人類学の分類及び比較で使用するための人体測定の研究として定義される。目の間隔と目幅の比率あるいは、頭のサイズに対する目のサイズの比率のような静的な人体計測データは、画像中で他の検知された人間の対象（ｏｂｊｅｃｔ）の分析に基づいて、対象が目であるか否かに関して、良い指示を提供することができる。しかしながら、多くの人体計測データは、動的であり、画像が捕らえられる条件に依存して変化するであろう。例えば、瞳孔のサイズは、一定ではなく、光の作用として変化し、また、視線は、被写体がその目をどの程度回動させるかに基づいて変化する。

本発明の技術は、画像取得データを使用して、瞳孔サイズのような動的な人体計測データを評価あるいは判定することを含んでいる。瞳孔サイズは、画像が捕捉されたときの周辺光の条件を記述する画像取得データに基づいて、合理的に推定することができる。被写体の視野内の光量の作用として、瞳孔サイズが変化することが知られている。図７は、その変化の例を表したプロット図である。周辺光を示す検知された値と推定された瞳孔サイズとの間の関係データ（ｒｅｌａｔｉｏｎｓｈｉｐ ｄａｔａ）は、デジタル画像取得装置上に格納されることができ、それ故、周辺光の光量が既知であれば、推定された被写体についての瞳孔サイズを判定することができる。

続いて、被写体についての瞳孔の推定されたサイズは、様々な方法の欠陥補正アルゴリズムへ実装することができる。例えば、フラッシュにより引き起こされる目欠陥は、網膜で反射されレンズに達するフラッシュから発する光に依存する。したがって、フラッシュと網膜とレンズとの間の角度が十分に小さい場合には、光はレンズに達することができず、また、目欠陥は現われない。これは、典型的には、被写体がカメラに非常に接近しているか、あるいは被写体の瞳孔が非常に収縮している場合に起こる。網膜がより多く収縮されているので、フラッシュにより引き起こされる欠陥は、真昼間にはめったに現われない。本発明の技術は、フラッシュに引き起こされた目欠陥を検知し補正する際にこの事実を利用することを含んでいる。その臨界角は、目の色のような特定の生理学の特性に応じてわずかに変わるものの、健康な成人のための正常な上限が推定されることができる。例えば、コーカサス地方の人については、上限は、およそ３度になるだろう。与えられた被写体の瞳孔サイズ及びフラッシュからレンズまでの距離に対しては、カメラと目欠陥が現われ得る被写体との間に最小の距離（臨界距離とも称される）が存在する。基礎的な幾何学的な計算法の使用により、臨界距離を計算するために次の数式が使用されることができる。

臨界距離 ＝（フラッシュレンズ距離（ＦｌａｓｈＬｅｎｓＤｉｓｔａｎｃｅ）−被写体の瞳孔サイズ（ＯｎＳｕｂｊＰｕｐｉｌＳｉｚｅ）／［２ａｔａｎ（臨界角／２）］

上記の内、「フラッシュレンズ距離（ＦｌａｓｈＬｅｎｓＤｉｓｔａｎｃｅ）」は、装置設計者によって格納されるか、或いは画像捕捉のときに動的に計算されたフラッシュ及びレンズ間の距離である。臨界距離は、推定された臨界角及び推定された被写体の瞳孔サイズ（ＯｎＳｕｂｊＰｕｐｉｌＳｉｚｅ）を使用して、計算されることができる。臨界距離、及び、レンズと被写体の間の距離の少なくとも一つに基づいて、行動方針が決定されることができる。例えば、画像取得データ内に格納されたレンズ及び被写体間の距離についての値が、判定された臨界距離についての閾値未満である場合には、捕捉された画像に欠陥補正アルゴリズムを適用する必要はない。無用の欠陥補正アルゴリズムを実行しないことは、ユーザの時間を節約し、撮影から次の撮影への時間を縮小し、電力消費を低減する。無用の欠陥補正アルゴリズムを実行しないことは、さらに、誤検出を識別し、変更されるべきでない画像の一部を変更するアルゴリズムの全ての機会を排除する。

被写体の瞳孔サイズに関する動的な人体計測データも、画像内の瞳孔サイズの評価を決定するために、レンズ焦点距離のような他の画像取得データと共に使用されることができる。その後、推定された画像内の瞳孔サイズは、最大の欠陥サイズを設定したアルゴリズム中で使用されることができる。多くのアルゴリズムが、欠陥候補が実際に欠陥であるか又は誤検出であるかを判定することを助けるために、最大期待（ｍａｘｉｍｕｍ ｅｘｐｅｃｔｅｄ）欠陥サイズを利用する。欠陥候補が人間の目や瞳孔のような目の一部を実際に描いていないという仮定において、欠陥候補が最大期待欠陥サイズよりもサイズがより大きければ、他の場合にフラッシュに引き起こされた欠陥であると示す候補欠陥は、変更されないであろう。ほとんどの装置は、あらゆる状況がカバーされるように、また欠陥を見逃さないように、絶対最大値を利用する。本発明の一実施形態で説明されるような人体計測データ及び画像取得データによって判定された、推定された画像内の瞳孔サイズは、画像が捕捉されたときの条件に基づいて、その絶対最大値が減少することを可能にし、それにより、欠陥補正アルゴリズムによって検知された真陽性（true positive）の数を縮小することなく、特定の欠陥補正アルゴリズムによって検知された偽陽性（false positive）の数を著しく縮小する。

（視線測定に協力する画像取得データの使用）
本発明の技術は、さらに、特定の種類の欠陥が存在する可能性を判定するために、視線測定のような他の判定された動的な人体計測データと結合された画像取得データを使用することを含んでいる。視線は、例えば、検知された顔領域上に動的外観モデル（ＡＡＭ：Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ）を置くことにより、測定されることができる。視線の総量を判定するために、上記ＡＡＭから、目の回転及び顔の回転が測定されることができる。この視線情報は、特に、画像への赤目フィルターを適用すること、あるいは２つのペアになった赤目候補間の差異を調整することに関して、有利な情報を提供することができる。

目の異なる領域は、異なる種類の欠陥を引き起こす場合がある。例えば、大量の血管を含んでいる網膜は、赤目欠陥を引き起こす可能性が高く、一方、他の領域は、血管を含んでおらず、白または黄色の目欠陥を引き起こす可能性があり得る。目の視線角度を判定することによって、画像捕捉中のレンズに光を反映する目の領域が決定されることができる。その情報を備えることで、赤目フィルターが適用されるべきか否か、赤目フィルターに付加するフィルターが適用されるべきか否か、が決定されることができる。

図８ａは、視線がレンズに直接向けられており、フラッシュが小さな角度で目に入射し、網膜の血管を刺激し、それにより、赤目欠陥を引き起こし得る条件を生み出す通常の事例を示す。図８ｂは、フラッシュが網膜の後ろに直接当たるように被写体の視線は（画像取得装置から見て）わずかに左にあるが、直にフラッシュに配向された目の軸を示しており、依然として、フラッシュは、赤目欠陥に潜在的に結びつく網膜血管を刺激する。図８ｃで、視線角度は、さらに左方へ数度移り、ここでフラッシュは、網膜領域と反対側の目の盲点領域上に直接入射される。

かかる盲点は、角度が大きくなることで軸外となる傾向があり、網膜に比べて異なる種類の欠陥を引き起こす。測定された目の視線角度と盲点オフセット及びカメラからの被写体の距離の関係のより正確な計算は、図９で定められる。

盲点オフセットであるＡ２は、特定の人にとって一定とすることができ、平均値に基づいて推定することができる。かかる目の視線角度はＡ１であり、また、被写体への距離はＤである。フラッシュ及びカメラレンズの間の距離（間隔）はＳ（図示せず）である。Ｓ及びＤについての値は、格納された画像取得データから得ることができる。
また、従って：
あるいは、目の視線角度であるＡ１は、次のように、Ｓ，Ｄ及びＡ２と関連する：

ここで、ｔａｎ^−１（Ｓ／Ｄ）項は、目の視線角度に対してレンズからフラッシュまでの距離の角度の寄与（度）を表わすものであり、ｔａｎ^−１（Ｓ／Ｄ）項についての例示の値の表が以下に与えられる。

視線測定及び画像取得データを組み合わせることによって、特定種類のフィルターに適用する場合に判定されることができる。例えば、視線の総量が特定量よりも大きいがために、フラッシュが網膜以外の領域に影響を与える可能性があることを視線測定及び画像取得データが示す場合、追加の黄目（yellow-eye）あるいは金目（golden-eye）フィルターは、標準赤目フィルターを推奨するために、適用され得る。視線測定は、（主画像上で視線測定を予測する又は精緻化するために）主獲得画像上で、あるいは試写画像のシーケンス上で行なわれ得る。

さらに、本発明の技術は、第１の目が第１の欠陥を体験（experience）し、第２の目が異なる欠陥を体験するところで、フラッシュ目（ｆｌａｓｈ−ｅｙｅ）のペアの分析を助けるために、視線測定を使用することを含んでいる。この理由は、２つの目を分離する距離のために、１対の目（ｅｙｅ−ｐａｉｒ）についての目の視線角度（Ａ１及びＡ３）が幾分異なることを示す図９から理解することができる。目の視線角度における１−２度以上の違いは、一対の目の各目に、異なる形式の欠陥を生じさせる場合がある。１対の目が両方とも赤目欠陥を体験するはずなのか、両方とも赤目欠陥を体験しないはずなのか、或いは一方が赤目欠陥を体験し他方が何か他のものを体験するのか、を予測するために、視線測定及び画像取得データを使用することによって、欠陥検知アルゴリズムは、誤判定を除去するように改善されることが可能になる。例えば、アルゴリズムは両方が赤目欠陥を示す目の候補対を検出するが、目の視線角度及び画像取得データのいずれもが、どちらの目も赤目欠陥でない又は１つの目だけが赤目欠陥を体験するはずであることを示す場合には、当該候補対は、画像を間違って変換することなく、誤判定であると識別されることができる。視線測定は、この説明で言及された他の技術を含む他の画像処理技術の代わりに、あるいはその技術と共に使用することができる。

（実装メカニズム−ハードウェア概説）
図１０は、本発明の実施の形態が実装されることができる画像取得装置１０００を例示するブロック図である。画像取得装置１０００は、レンズ１０２２及び画像捕捉中に照明を提供するための光源１０２４を備える画像取得装置１０２０を含むことができる。画像取得装置１０２０は、装置１０００上の一点と被写体との間の距離を判定するための距離分析器１０２８を含む。画像取得装置１０２０は、光情報を電子符号化に変換する例えばＣＣＤ、ＣＭＯＳ、あるいは他の物でありうる光センサー１０２６をさらに含む。画像取得装置１０２０は、画像取得中にレンズ１０２２のパラメーターをモニタリングするための機構１０２９をさらに含むことができる。取得中のレンズの適切なパラメーターは、主として、被写界深度、画像の拡大を決定する焦点距離、及びレンズ１０２２が合焦された物体への距離を決定する集束距離を決定する口径またはＦストップを含むことができる。

画像取得装置１０００は、パーソナルコンピュータ、携帯用カメラ、多機能携帯電話機、静止画像を捕捉する能力を備えたビデオカメラなどに結合されたレンズのように、単一の装置内に含まれ得る。あるいは、画像取得装置１０００の様々な部分は、パーソナルコンピュータに関する幾つかの構成要素と、携帯用デジタルカメラに関する幾つかの構成要素と、を備えるといったように、多数の装置間で分配され得る。あるいは、画像取得装置１０００は、情報を通信するためのバス１００２または他の通信機構、及び、情報の処理のためにバス１００２と連結されたプロセッサー１００４を含んでいる。画像取得装置１０００は、さらに、情報及びプロセッサー１００４によって実行される命令を格納するために、バス１００２に連結され、ランダム・アクセス・メモリー（「ＲＡＭ」）または他の動的記憶装置のようなメインメモリ１００６を含んでいる。メインメモリ１００６は、さらに、プロセッサー１００４によって実行される命令の実行中に、一時的数値変数あるいは他の中間の（intermediate）情報を格納するために使用されることができる。画像取得装置１０００は、さらに、プロセッサー１００４用の静的情報及び命令を格納するために、バス１００２に連結された読み出し専用メモリ（「ＲＯＭ」）１００８または他の静的記憶装置を含んでいる。磁気ディスクや光ディスクのような記憶装置１０１０は、情報と命令の格納のために提供され、バス１００２に連結される。

画像取得装置１０００は、ユーザに対する情報あるいは画像を表示するために、バス１００２を通じて液晶ディスプレー（ＬＣＤ）のような表示部１０１２に連結され得る。キーを含む入力装置１０１４は、プロセッサー１００４に情報とコマンドの選択を伝達するために、バス１００２を通じて連結される。プロセッサー１００４に方向情報及びコマンド選択を伝達するための他の種類のユーザ入力装置、例えばマウス、トラックボール、スタイラス、あるいはカーソル方向キーのようなカーソル制御器１０１６も、プロセッサー１００４に情報とコマンドの選択を伝達するためのディスプレイ１０１２上のカーソル移動の制御のために使用することができる。

ここに使用される用語「コンピューター読込み可能な媒体」は、実行のためにプロセッサー１００４に命令を供給することに参画する任意の媒体を意味する。そのような媒体は、不揮発性の媒体及び揮発性の媒体を含むとともに、これらに限定されずに多くの形式を採り得る。不揮発性の媒体は、例えば、記憶装置１０１０のような光学または磁気ディスクを含む。揮発性の媒体は、メインメモリ１００６のような動的記憶装置を含む。

コンピューター読込み可能な媒体の一般的な形式は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープあるいは他の磁気媒体、ＣＤ−ＲＯＭ、他の任意の光学媒体、パンチカード、紙テープ、孔のパターンを備えた他の物理的媒体、ＲＡＭ、ＰＲＯＭ、及びＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、他の任意のメモリー・チップ又はカートリッジ、下に記述されたような搬送波、あるいはコンピューター読込み可能な他の任意の媒体、を含む。コンピューター読込み可能な媒体の任意の単一種類又は組み合わせは、１台以上のプロセッサーにより実行されたときに本発明の技術に対応するステップを該プロセッサーに実行させる命令を格納するために、使用することができる。

（拡張及び他の可能性）
この説明では、特定の処理ステップが特定の順序で示され、アルファベット及び英数字の付票（ｌａｂｅｌ）は、特定のステップを識別するために使用される。もし本説明中で特に示されなかったならば、本発明の実施の形態は、そのようなステップを遂行するどのような特定の順序にも制限される必要はない。特に、付票は、単にステップの便利な識別のために使用されるものであり、そのようなステップを行なう特別の順序を指定または要求するようには意図されない。

Claims (23)

1. レンズと、
   デジタル画像捕捉装置と、
   画像捕捉の間に照明を提供するための光源と、
   一時にデジタル画像を取得すること；
   該時点での状態について記述する画像取得データを格納すること；
   デジタル画像中の目の視線角度を判定すること；
   前記画像取得データ及び前記目の視線角度の少なくとも一つに基づいた行動方針を決定すること；
   の動作を行なうためのロジックと、
   前記目の視線角度がある値よりも大きいか否かを判定するためのロジックと、
   を含み、
   前記画像取得データには、レンズに対する光源の位置を示す値が含まれ、
   前記行動方針は、画像を分析して、前記目の視線角度が前記値よりも大きいと判定することに応答して赤目欠陥候補以外のフラッシュ目（flash-eye）欠陥候補を識別し、さらに、前記レンズに対する光源の位置を示す値を使用して、部分的赤目の欠陥のための帯黄色部分の方向を識別し、該識別された方向の少なくとも一つに基づいて、画像中の欠陥候補を識別すること
   を特徴とする携帯用デジタル画像取得装置。
2. 前記ロジックは、ソフトウェア命令を実行する１または複数のプロセッサーを含む請求項１記載の携帯用デジタル画像取得装置。
3. さらに、前記目の視線角度がある値よりも大きいか否か判定するためのロジックを含み、
   前記行動方針は、目の視線角度が前記値よりも大きいと判定することに応答して、
   画像を分析して黄目（yellow-eye）欠陥の候補を識別すること；または、
   画像を分析して金目（golden-eye）欠陥の候補を識別すること；
   の内の少なくとも１つの動作を行うこと
   を含む請求項１記載の携帯用デジタル画像取得装置。
4. 前記画像取得データは、当該携帯用デジタル画像取得装置から被写体までの距離、及び光源とレンズとの間隔を含み、
   前記値は、前記距離及び前記間隔の内の少なくとも一つに基づいて決定されることを特徴とする請求項３記載の携帯用デジタル画像取得装置。
5. 前記目の視線角度がある値未満であるか否かを判定するためのロジックをさらに含み、
   前記行動方針は、画像を分析して、前記目の視線角度が前記値未満であると判定することに応答して赤目欠陥候補を識別する請求項１記載の携帯用デジタル画像取得装置。
6. 第１の目と第２の目を含む画像中の一対の目を識別し、
   前記第１の目における目の視線角度が第１の種類の欠陥の存在する可能性の高いことを示すと判定し、
   前記第２の目における目の視線角度が第２の種類の欠陥の存在する可能性の高いことを示すと判定し、
   画像を分析して、該画像が前記第１の種類の欠陥を含むか否かを判定し、さらに、
   画像を分析して、該画像が前記第２の種類の欠陥を含むか否かを判定する
   ためのロジックをさらに含む請求項１記載の携帯用デジタル画像取得装置。
7. 該時点での状態について記述する画像取得データを格納することは、
   該時点の周辺光の光量を示す値を検知すること；及び、
   該値を格納すること；を含み、
   携帯用デジタル画像取得装置は、
   前記画像に前記値を関連付け、
   該値に基づいて、行動方針の少なくとも一部を決定する
   ためのロジックを含む
   請求項１記載の携帯用デジタル画像取得装置。
8. 前記値が閾値よりも大きいか否かを判定するためのロジックをさらに含み、
   前記行動方針は、前記値が閾値よりも大きければデジタル画像を変更しないこと
   を特徴とする請求項７記載の携帯用デジタル画像取得装置。
9. 前記値が閾値未満であるか否かを判定するためのロジックをさらに含み、
   前記行動方針は、前記値が閾値未満であれば、画像を分析してフラッシュ目欠陥候補を識別すること
   を特徴とする請求項７記載の携帯用デジタル画像取得装置。
10. 画像捕捉装置及び被写体間の距離を示す第２の値を判定し、
    前記第２の値を格納し、
    該値を使用して被写体における瞳孔サイズを判定し、
    被写体における瞳孔サイズ及び前記第２の値を使用して、臨界距離を決定し、
    臨界距離に基づいて、画像についての補正処置を少なくとも一部分行なうべきか否かを決定する
    ためのロジックをさらに含む請求項７記載の携帯用デジタル画像取得装置。
11. 画像捕捉装置及び被写体間の距離を示す第２の値を判定し、
    レンズ焦点距離を示す第３の値を判定し、
    前記第２の値及び前記第３の値を格納し、
    前記値、前記第２の値、及び前記第３の値を使用して、画像内の瞳孔サイズを判定し、
    画像内の瞳孔サイズの少なくとも一つに基づいて画像の欠陥を識別する
    ためのロジックをさらに含む請求項７記載の携帯用デジタル画像取得装置。
12. 請求項１乃至１１のいずれか１項に記載された動作を行なうようにプロセッサーをプログラミングするために埋め込まれたコードを有するプロセッサー読込み可能な一または複数の媒体。
13. レンズと、
    デジタル画像捕捉装置と、
    画像捕捉の間に照明を提供するための光源と、
    一時にデジタル画像を取得すること；
    該時点の周辺光の光量を示す値を検知して該値を格納することを含み、該時点での状態について記述する画像取得データを格納すること；
    デジタル画像中の目の視線角度を判定すること；
    前記画像取得データ及び前記目の視線角度の少なくとも一つに基づいた行動方針を決定すること；
    の動作を行なうためのロジックと、
    前記画像に前記値を関連付け、該値に基づいて、行動方針の少なくとも一部を決定するためのロジックと、
    画像捕捉装置及び被写体間の距離を示す第２の値を判定し、
    レンズ焦点距離を示す第３の値を判定し、
    前記第２の値及び前記第３の値を格納し、
    前記値、前記第２の値、及び前記第３の値を使用して、画像内の瞳孔サイズを判定し、
    画像内の瞳孔サイズの少なくとも一つに基づいて画像の欠陥を識別する
    ためのロジックと、
    を含み、
    前記画像取得データには、レンズに対する光源の位置を示す値が含まれ、
    前記行動方針は、画像を分析して、前記目の視線角度が前記値よりも大きいと判定することに応答して赤目欠陥候補以外のフラッシュ目（flash-eye）欠陥候補を識別し、さらに、前記レンズに対する光源の位置を示す値を使用して、部分的赤目の欠陥のための帯黄色部分の方向を識別し、該識別された方向の少なくとも一つに基づいて、画像中の欠陥候補を識別すること
    を特徴とする携帯用デジタル画像取得装置。
14. 前記ロジックは、ソフトウェア命令を実行する１または複数のプロセッサーを含む請求項１３記載の携帯用デジタル画像取得装置。
15. さらに、前記目の視線角度がある値よりも大きいか否か判定するためのロジックを含み、
    前記行動方針は、前記目の視線角度が前記値よりも大きいと判定することに応答して、
    画像を分析して黄目（yellow-eye）欠陥の候補を識別すること；または、
    画像を分析して金目（golden-eye）欠陥の候補を識別すること；
    の内の少なくとも１つの動作を行うこと
    を含む請求項１３記載の携帯用デジタル画像取得装置。
16. 前記画像取得データは、当該携帯用デジタル画像取得装置から被写体までの距離、及び光源とレンズとの間隔を含み、
    前記値は、前記距離及び前記間隔の内の少なくとも一つに基づいて決定されることを特徴とする請求項１５記載の携帯用デジタル画像取得装置。
17. 前記目の視線角度がある値未満であるか否かを判定するためのロジックをさらに含み、
    前記行動方針は、画像を分析して、前記目の視線角度が前記値未満であると判定することに応答して赤目欠陥候補を識別する請求項１３記載の携帯用デジタル画像取得装置。
18. 前記目の視線角度がある値よりも大きいか否かを判定するためのロジックをさらに含み、
    前記行動方針は、画像を分析して、前記目の視線角度が前記値よりも大きいと判定することに応答して赤目欠陥候補以外のフラッシュ目（flash-eye）欠陥候補を識別する請求項１３記載の携帯用デジタル画像取得装置。
19. 第１の目と第２の目を含む画像中の一対の目を識別し、
    前記第１の目における目の視線角度が第１の種類の欠陥の存在する可能性の高いことを示すと判定し、
    前記第２の目における目の視線角度が第２の種類の欠陥の存在する可能性の高いことを示すと判定し、
    画像を分析して、該画像が前記第１の種類の欠陥を含むか否かを判定し、さらに、
    画像を分析して、該画像が前記第２の種類の欠陥を含むか否かを判定する
    ためのロジックをさらに含む請求項１３記載の携帯用デジタル画像取得装置。
20. 前記値が閾値よりも大きいか否かを判定するためのロジックをさらに含み、
    前記行動方針は、前記値が閾値よりも大きければデジタル画像を変更しないこと
    を特徴とする請求項１３記載の携帯用デジタル画像取得装置。
21. 前記値が閾値未満であるか否かを判定するためのロジックをさらに含み、
    前記行動方針は、前記値が閾値未満であれば、画像を分析してフラッシュ目欠陥候補を識別すること
    を特徴とする請求項１３記載の携帯用デジタル画像取得装置。
22. 画像捕捉装置及び被写体間の距離を示す第２の値を判定し、
    前記第２の値を格納し、
    該値を使用して被写体における瞳孔サイズを判定し、
    被写体における瞳孔サイズ及び前記第２の値を使用して、臨界距離を決定し、
    臨界距離に基づいて、画像についての補正処置を少なくとも一部分行なうべきか否かを決定する
    ためのロジックをさらに含む請求項１３記載の携帯用デジタル画像取得装置。
23. 請求項１３乃至２２のいずれか１項に記載された動作を行なうようにプロセッサーをプログラミングするために埋め込まれたコードを有するプロセッサー読込み可能な一または複数の媒体。