JP4709147B2 - デジタル画像から赤目現象を除去するシステム及びその方法 - Google Patents

Description

本発明は、フラッシュ（照明装置）を用いたデジタル撮影に関し、特に、デジタルカメラで撮影されたデジタル画像、デジタルスキャナーでスキャナーされたデジタル画像、その他のデジタル画像取得装置で得られたデジタル画像から、“赤目現象”を除去（フィルタリング）する技術に関する。

１）赤目現象(red-eye phenomenon)
“赤目”は、フラッシュ撮影における現象であり、フラッシュ（光）が被写体の目内で反射され、通常、写真撮影において被写体の目が黒目として現れる箇所が、赤点（red dot）として現れる現象である。このように目が不自然に赤く輝くのは、網膜の後側の血管膜（血液が充満した血管の膜）の内部反射のためである。この好ましくない現象は、カメラのフラッシュとレンズとの間の小さなアングル（角度）によって部分的に引き起こされるものとして理解できるが、このアングルは、フラッシュ機能を有するカメラの小型化によって低減されている。また、赤目現象のさらなる誘因としては、被写体とカメラの相対的な近接関係、虹彩色（目の輝き）がこの赤目現象の影響を受け易いこと、及び瞳孔を開かせる要因としての低い環境光レベル（暗い状況）、とがある。

赤目現象は、瞳孔の開き具合を減少させることにより最小限に抑えることができる。これは、通常、フラッシュ撮影の直前に発するフラッシュや照明光、又は強い付加的な光源を用いたプレフラッシュを行うことにより、虹彩（アイリス）を閉じさせることによる。しかしながら、残念なことに、この技術では一般に、写真撮影における露出処理が０．５秒以上遅延するため、瞳孔の縮小を許すことになる。すなわち、このような遅延は、ユーザの移動を引き起こし、かつ被写体が向きを変えてしまう要因となる。それ故に、これらの技術は、赤目（red-eye artifact）を取り除くには有効であるが、新たに望んでいない結果を生じさせてしまうことになる。

２）デジタルカメラと赤目（Digital camera and Red-Eye Artifact）
デジタルカメラは、よりポピュラーとなり小型化されている。当該デジタルカメラは、画像内部に種々の形状を形成し、かつ色を表示する複数の画素を含むデジタル画像を生成する。デジタルカメラは、フィルムカメラよりも幾つかの有利な点があり、例えば、電子的に取得した画像としてのフィルムを必要に応じて消去したり、カメラ自身の表示スクリーンに取得した画像を表示するために、記憶手段（memory array）に当該画像を格納することができる。フィルムカメラのようにフィルム処理（現像処理）を待つのとは対照的に、撮影写真における画像をほとんど瞬間的に見て楽しむことができる。さらに、デジタル的に得られた画像は、パーソナルコンピュータやカラープリンタなどの他の表示デバイスにダウンロードすることができる。また、デジタルカメラは、画像処理、圧縮処理及びカメラシステム制御のためのマイクロプロセッサを備えている。しかしながら、それでもなお、プレフラッシュが行わないと、デジタルカメラ及びフィルムカメラの両カメラは、被写体の目の内部でフラッシュが反射する赤目現象を捉えてしまう。したがって、プレフラッシュに注意を払うことなく、フラッシュを備える小型のデジタルカメラの赤目現象を消去する方法が望まれていた。

デジタル画像取得装置の優位な点は、純粋な画像（ピクセル）データよりも画像ファイルに多くのデータを含んでいることにある。そのような付加的なデータは、メタデータと呼ばれるもので、大抵の場合、画像を含む画像ファイルのヘッダーに保存されている。このメタデータは、（ａ）与えられた時間で得られた特定の画像とは無関係の（独立した）カメラや他の取得デバイスに関する情報（デバイス固有のメタデータ）と、（ｂ）取得された特定の画像の取得パラメータと、を含んでいる。すなわち、メタデータは、ユーザの入力若しくは別の方法に基づいた、調節可能なこれらのパラメータに関する情報、若しくは露出（exposure）から露出までに変化するこれらのパラメータに関する情報を含んでいる。

３）デジタルスキャニングと赤目(Digital Scanning and Red-Eye Artifact)
フィルムのようなアナログ装置により撮影された画像は、多くの場合、デジタル画像を生成するためにスキャンされる。スキャニングは、フィルム画像をデジタル形式の画像にデジタル処理する目的、又は、デジタルシステムについてのフィルム画像を印刷する過程の中間過程において実行される。赤目現象は、フィルムカメラにおいてもよく知られる現象であり、フラッシュとレンズとが近接した状態での特定点及び写真撮影カメラにおいて、当該現象は強調される。

画像がフィルムからスキャンされる際、スキャナーは、露出及びカラーバランスに対応するために、スキャニングパラメータを調整する付加機能（option）を有している。また、ネガフィルムに対して、スキャナーソフトウェアは、ネガフィルムのオレンジ色やフィルム形式のマスクを可能な限り除去するために、色を反転させる。

フィルム画像に対するメタデータは、一般に、デジタルカメラのメタデータよりも限定された情報であるが、大部分のフィルムには、製造業者、フィルムの種類、感光乳剤のバッチナンバーについての情報が含まれている。このような情報は、赤目現象を患っている加工されていない、未修正の目の色を見極めることに活用できる。

４）人体測定学(Anthropometry)
人体測定学（人体計測法）は、人類学的分類や比較に用いる人体測定の研究として定義されている。このようなデータは、極めて自然な統計に基づくものであるにもかかわらず、画像内におけるもう一方の検出された人物の解析に基づいて、対象物か目であるか否かについて、良い指標を提供することが可能である。

５）赤目検出及び補正アルゴリズム(Red-Eye Detection and Correction Algorithms)
赤目検出アルゴリズムは、一般的に、瞳（瞳孔）検出と目検出とを含んでいる。これらの両検出の動作は、赤目データが赤目であるか、若しくは赤目データが赤目現象を有しているかを判別するために行われる。赤目検出アルゴリズムの成功（活躍）は、一般に、正確なポジ検出（correct positive detection）と最小誤検出(minimal false detection)の二つの検出の成功に依存している。

従来技術における赤目検出では、大抵の場合、画像データについて上述の検出を最初行う。例えば、特許文献１では、メタデータを使用していないが、初歩的な性質と単純な取得細目（フラッシュのオン／オフ、環境光レベル、カメラ−被写体間距離）を使用している。これは、単に、画像取得状況（条件）が赤目をもたらすか否かを判別することに起因しており、したがって、赤目現象があろうとなかろうと、とにかく赤目補正を使用する。

また、特許文献２では、赤目を含む幾つかの画像の異常を修正するにあたり、メタデータを使用している。しかしながら、当該特許文献２は、上記特許文献１と同様に、赤目が発生しているか否かを決定するためにメタデータを使用しており、当該メタデータを、赤目の補正プロセスにおいて使用していない。

また、メタデータは、印刷システムからの出力を最適化するためにデジタル画像を後処理する、写真仕上げの産業でも使用されている。メタデータのこのような使用例としては、特許文献３、特許文献４及び特許文献５に提案されている。さらに、特許文献６では、メタデータを標準のカメラフィルムに記憶してもよく、その後、フィルムの後処理を支援するために、使用することが提案されている。
米国特許第６,４０７,７７７号公報（DeLuca） 米国特許公開第２００３／００９５１９７号公報（Eastman Kodak） 米国特許第６,５０５,００３号公報 米国特許第６,５０１,９１１号公報 米国特許第６,４９６,６５５号公報 米国特許第６,４２９,９２４号公報

そこで、本発明は、デジタル画像から赤目現象を除去するシステム及びその方法を提供することを目的とする。

本発明は、人体測定値と潜在的に赤目として許容される画像の領域を特定する画像に関連したメタデータとを用いて、デジタル画像から赤目現象を除去（フィルタリング）する方法を提供する。

なお、以下の本発明の好適な実施形態における画像は、外部の被写体がレンズを介して光学的にセンサーアレイに投影されることにより生成され、前記領域の属性は、取得時のレンズの焦点距離、レンズ開口、アレイサイズ、アレイ分解能、被写体までの距離、及び被写界深度のうちの１つ以上の関数として定義される。

また、本発明は、人体測定値と潜在的に赤目として許容される画像の領域を特定する画像に関連したメタデータとを用いた手段を備えた、デジタル画像から赤目現象を除去（フィルタリング）するシステムを提供する。

本発明によれば、赤目発生の偽陽性を排除又は減少しつつ、画像の赤目検出を向上させることができ、また検出された赤目補正を向上させることが可能になる。

本発明の好適な実施形態は、一般的に、デジタルカメラやデジタルスキャナーのようなデジタル画像取得装置、プリンターや電子格納装置のような出力装置に適用することが可能である。なお、デジタルカメラ及び出力装置やプリンターは、個々にデジタル画像取得装置及びデジタルデータ出力装置を含むものとして構成してもよい。

デジタルカメラや他の画像取得装置は、画像解析及び画像処理の機能を有している。また、これらの処理のもう一つの方法として、デジタルカメラの外部の一般に使用されるコンピュータ又は専用のコンピュータで行うことが可能であり、デジタルカメラに対するホスティングプラットホームとして作用する装置に、画像をダウンロードして行うことが可能である。このような装置は、特に限定されず、その他に、携帯ＰＣ、プリントサーバ、処理機能を搭載したプリンター、又はデジタルカメラを備えた携帯電話機等が挙げられる。また、画像取得処理のもう一つの方法としては、アナログ画像をスキャニングすることによりデジタル画像を取得することができる。例えば、ネガフィルムや反転フィルムをスキャニングしたり、写真の印画をスキャニングすることにより画像を取得できる。

上記検出処理の精度は、２つのパラメータによって測定される。前者は、正確に検出されたオブジェクト（物体、対象物）の比率（割合）に関する正検出である。成功検出を評価するための第２のパラメータは、分類ミスの量であり、この第２のパラメータは、誤検出又はβエラー（第２種の過誤）として定義される。誤検出は、固有の特性を有していないのに、当該固有の特定を有していると誤って判別したオブジェクトに関係するものである。

全体的に、成功した検出処理の目指すところは、誤検出の比率を最小化しつつ正検出の精度を向上させることにある。多くの場合、正検出と誤検出との間には、互いに諸条件が考慮されている。検索条件が緩和されると、多くの画像が検出されるが、同時に、多くの誤検出が通常、導かれることになる。その逆もまた同様である。

赤目の検出及び補正の精度を向上させるために、本実施形態では、被写体についての人体情報とメタデータとを使用する。メタデータは、上述したように、装置固有のメタデータと画像取得時における固有のメタデータとを含んでいる。デジタルカメラの場合、装置固有のメタデータは、色検出感度、カメラセンサのスペクトル反応又はサイズ、センサーがＣＣＤ又はＣＭＯＳであるか、ＣＣＤセンサーで収集されたＲＡＷデータからＲＧＢのような色空間に変換する画像の階調再現変換及び色変換、絞り値、又は従来技術と同様に理解できるカメラ固有のパラメータを含んでいる（これらを組み合わせたものも含む）。スキャニング装置の固有のメタデータの場合は、フィルムの色検出感度曲線、スキャナーセンサの色検出感度、ＣＣＤかＣＭＯＳか、ラインセンサかエリアセンサか、スキャナーで収集されたＲＡＷデータからＲＧＢのような色空間に変換する画像の階調再現変換及び色変換を含んでいる。取得メタデータは、デジタルカメラのオートフォーカス機構によって決定される焦点距離、フラッシュの電力（使用の有無は問わず）、画像取得時のレンズの焦点距離、ＣＣＤのサイズ、被写界深度、又はレンズ開口、露出時間、その他従来技術と同様に理解できる取得パラメータを含んでいる（これらを組み合わせたものも含む）。人体測定データは、要求されたサイズと、人体の異なる部分間、特に、顔領域の異なる部分間の比率との平均及びバラツキを含んでいる。

本実施形態では、このような情報を用いることにより、潜在的に赤目の影響を受けやすい目の領域の、より正確な検出を行うものである。この検出に基づいて、カメラ若しくは異なる装置のプロセッサは、赤目補正処理を行うことができる。

図１に示すように、１００は、デジタルスチルカメラ、携帯ＰＣに接続されたレンズ、画像キャプチャー機能を搭載した携帯電話機、静止画像キャプチャー機能の搭載したビデオカメラのように様々にパッケージ化されたデジタルカメラ等の画像取得装置である。

画像取得装置１００は、光イメージを電気信号に変換するＣＣＤ、ＣＭＯＳ、その他のセンサーアレイである光センサー１０２を備えている。また、殆どのカメラは、ストロボのような内蔵式のフラッシュ１０４を備えている。多くの場合、カメラストロボは、物理的にレンズに近く、赤目の発生と赤目の強度を強調する傾向にある。また、カメラは、レンズ１０６を備えている。画像取得時のレンズの関係パラメータは、開口（レンズ開口）１１４、絞り値、最初に決定する被写界深度、画像の拡大率を決定する焦点距離１１２、レンズ１０６が合焦する物体までの移動量を決定する合焦移動量１１６を含んでいる。

図１のブロック１３０は、赤目の検出及び補正（修正）の処理を行う赤目フィルター部であり、この処理は、画像取得段階の一部としてカメラ内で行われたり、カメラ内の後処理段階、パーソナルコンピュータなどの外部装置にカメラから画像を転送する間や、外部装置における後処理段階、画像転送ソフトウェアや画像編集ソフトウェアなどで行われる。

赤目フィルター部１３０は、２つの段階を有している。ブロック１３２は、メタデータ解析部であり、メタデータと人体測定データとに基づいて、画像を検証する（図８参照）。ブロック１３８は、画像データの画素解析部である。画素解析部１３８は、メタデータ解析部１３２から情報を受信する。それゆえに、画素レベルについての決定は、取得された画像、若しくは取得された画像と他のメタデータの条件下に基づいて変化する。ブロック１６０は、画像格納部であり、赤目修正動作後の画像を保存する。

図２は、図１に示したカメラの処理フローを示すものである。画像取得段階は、ブロック２００によって表されている。この動作は、事前取得設定処理２１０を含んでおり、ユーザ、若しくはユーザ及びカメラが、絞り値２１２、フラッシュＯＮ／ＯＦＦ２１４、焦点距離２１６などの好ましい設定を決定する。画像取得段階２００は、取得処理若しくは写真撮影処理２２６、図１の光センサー１０２によって取得された画像を最終形式又はＲＡＷ形式で、一時的に記憶する記憶処理２２８とを含んでいる。画像取得段階２００の一部として、カメラは、事前取得設定処理２１０において、最適な取得パラメータを決定する。また、ユーザは、好ましいズームポジションに対するレンズ１０６の焦点距離２１６を決定する。

ブロック（記憶処理）２２８で格納された後の画像は、赤目のための処理が行われる（ブロック２３０）。本実施形態の赤目処理は、色補正、圧縮、鮮鋭化などの処理の間に行われる。赤目フィルター処理２３０は、カメラ若しくは画像取得装置の内部又は外部のソフトウェアによって行われることが好ましい。また、赤目フィルター処理２３０は、赤目検出処理２４０と赤目修正処理２５０との２つのメイン動作を含むことが好ましい。

赤目検出処理２４０は、メタデータ２４２を解析する第１段階と、得られたデータ２４４を転送する段階と、画素解析に基づく固有の赤目検出段階とを含んでいる。赤目修正は、動作２５０として図２に示されている。赤目検出処理２４０の結果に基づいた幾つかの画像改善が、当該画像に適用される。この赤目修正処理２５０では、修正がデータ２５２の中に反映され、ダメージ画素を置き換える。また、新しい値に変更する必要がある画素のリストを画像ヘッダー若しくは外部に格納したり、ユーザに表示したり、修正を適用するためにユーザに動作を促すことを要求したり、又はこれらの動作の組み合わせが行われる。そして、赤目検出処理２４０が適用された修正を伴う画像は、ブロック２６０において保存される。

図３（ａ）〜図３（ｄ）は、光学系の画像面に位置する図１の光センサー１０２について生成された画像の詳細について図示している。当該センサーは、ＣＣＤやＣＭＯＳのような光電素子である。

図３（ａ）は、グリッド（格子）タイプのＣＣＤを示している。細かい四角の一つ一つは、セルである（図３ａのブロック３０２）。ＣＣＤサイズ３１４は、幅３０６と高さ３０８で形成された長方形の対角線として計算される。

図３（ｂ）は、ＣＣＤ上にどのような顔が投影されるかを示すものであり、図３（ｃ）は、連続した画像がグリッドベースの画像に、どのような画素化されたのかを示したものである。

図３（ｄ）は、人間の目が作り上げられた画像をより具体的に示すものであり、目の画像は、大抵の場合、赤目が生じる位置である瞳３４４とアイリス（虹彩）３４２とを含む。目の白色部分３４６もまた、人間の目の構成要素であり、赤目検出、特に、誤検出回避に使用される。

図４は、様々なメタデータ情報を示すものであり、当該情報は、データ解析の潜在的な結果や入力として本実施形態の一部に使用される。例えば、ブロック４１２、４２２及び４３２は、フラッシュの使用有無に関連する赤目検出の動作を示すものである。ブロック４１２におけるフラッシュが使用されたか否かの情報は、ブロック４２２で、赤目事前処理４３２に送られ、赤目フィルター処理を開始する理由があるか否かを判別する。ブロック４１２の判別で、フラッシュが使用されていなければ、赤目フィルター処理を適用する理由がないことになる。このような判別は、上述のようにストロボとレンズとの間の小さな差異によって、赤目が生成される消費者レベルのカメラに対しては、正当なものである。

ブロック４１４、４２４、４３４は、物体までの距離、レンズ開口、ＣＣＤサイズ、レンズの焦点距離、被写界深度を含むメタデータの適用を説明している。このデータは、大抵の場合、画像取得時に画像とともに、若しくは別個に記憶される。この情報に基づいて、オペレーション４２４で、赤目フィルター処理に転送し、赤目フィルター処理部は、オペレーション４３４で、赤目が生じる目領域の潜在的なサイズの範囲を決定する。

ブロック４１６、４２６、４３６は、カメラ固有に情報に関係するものである。画像の色構成は、図９に示したＣＣＤ反応曲線、記憶されたＲＡＷ形式の画像データからのゲイン調整、ＲＧＢやＹＣＣのような良くしられた色空間へのホワイトバランス、及び画像の階調再現変換のような色修正などの潜在的な色変換を含む多少のパラメータによって判別される。このような情報は、変換マトリクスやカラープロファイルなどの参照テーブルの形式で与えられる。

オペレーション４２６からの変換の認識に基づいて、ソフトウェアは、オペレーション４３６で、赤目に対する良い候補が存在するより正確な色の範囲をさらに判別する。この情報は、様々なセンサーと色補正アルゴリズムに基づいた潜在的な赤目領域の範囲を絞り込むのに有効である。また、この変換の認識をせずに、赤目領域候補として間違って定義された色を除去するのに役立つが、センサーや色変換の特定の組み合わせの場合では役立たない。

図５は、オブジェクトの相対的なサイズを判別するために収集された情報を説明するための図である。画像距離によって分割された画像サイズ、及び物体距離によって分割されたオブジェクトサイズ（物体のサイズ）の比率はほぼ等価であり、オブジェクトサイズにより分割された画像サイズは、レンズ１０６の拡大率として定義される。４つ値のうち３つの値、すなわち、焦点距離１１２、物体までの距離１１６、オブジェクトサイズ５１６の３つが分かっていれば、画像サイズ５１２は、以下の数式１により評価することが可能である。

しかしながら、上記パラメータ値は、多くの場合、正確には把握できない。その代わりに、値の分布が評価できる。

図６は、被写界深度により生成されるバラツキを説明するための図である。被写界深度は、十分はっきりと物体がキャプチャーされる画像の、カメラから物体までの距離の範囲として定義される。固定長レンズに対しては、被写界深度は開口の関数となる。開口をより大きくすれば、被写界深度はより浅くなる。

図６を参照すると、被写界深度をさらに大きくすると、合焦していた物体までの距離が変化する。したがって、Distance_to_Subjectを必要な範囲とすると、

となる。

この情報が重要であり、かつ考慮しなければならないのかは、図６に示す通りである。このような場合、２つのオブジェクトの木６１４と家６２４は、各々、近距離６１６と遠距離６２６とに位置する。しかしながら、木６１４と家６２４は同じサイズとなり、画像面におけるオブジェクトのサイズ若しくはオブジェクトの投影は異なり、カメラに近い木画像６３６は、家画像６４６よりも大きく現れる。

図７は、平均成人男性及び平均成人女性の幾つかの関連ある人体測定値を含むものである。図７（ａ）は、成人男性の平均人体測定値であり、図７（ｂ）は、成人女性の平均人体測定値である。例えば、成人男性７００に対して、目の間の距離７１４の平均値は、２．３６インチ、目の間の距離と鼻孔までの距離は、平均１．５インチ、頭の幅は、平均６．１インチである。

しかしながら、これは、単なる一次近似値である。値全体のバラツキを表すものとして二次近似がある。このようなバラツキは、以下の数式３で計算する必要がある。

また、顔や目、その他の幾つかの周知の物体を候補として考慮するためオブジェクトサイズは、以下の数式４となる。

特に、図７（ｃ）を見る限り、眼球７７０の平均サイズは、おおよそ１インチ（約２４ｍｍ）、虹彩７７２の平均サイズは、目全体径の半分、若しくは半径０．５インチ（半径約１２ｍｍ）である。瞳７７４は、数ｍｍと小さく、虹彩のサイズと同じ大きさに拡張する。幸いにも、赤目の場合では、フラッシュが必要な暗い光条件で最初に起こり、瞳は、拡張側となるだろう。

このような場合のバラツキは、個々に異なるだけでなく、年齢に基づくバラツキもある。目の場合では、目のサイズは、赤ん坊から成人になるまで相対的に一定である。これは、赤ん坊と幼児において見られる”ビックアイ”の著しい効果をその理由とする。幼児期の平均眼球は、前後におおよそ１９．５ｍｍであり、上述のように、一生の間に、平均で２４ｍｍまで成長する。このデータに基づいた目検出の場合、虹彩の一部である瞳のサイズは、ある程度限定され、バラツキとして以下のような条件式となる。

上述のように計算されたオブジェクトサイズは、ｍｍやインチのような実際の身体的なサイズであろう。本実施形態において、使い勝手をよくするために、この情報は、画素サイズで計測されたもので表す必要がある。

図３（ａ）に戻り、センサーのサイズは、センサーの対角線３０４によって描写されている。幅３０６と高さ３０８との間の比率に基づいて、ピタゴラス三角形として計算される。

また、周知のセンサー分解能、オブジェクトサイズは、画素サイズに変換される。例えば、アスペクト比２：３、ＣＣＤ分解能２０００×３０００を有する１／２インチ（１２ｍｍ）ＣＣＤが与えられた場合、ＣＣＤの幅は、

となる。それ故、３０００画素の幅に対して、１ｍｍの物体サイズは、おおよそ３００画素に等価である。

この数式に基づいて、画像のオブジェクトが検出された場合、画素における画像サイズは、探し求められたオブジェクトの種類に対して許容される範囲と比較され、それに応じて、当該画像が探し求められたオブジェクトであるか否かを決定がなされる。したがって、例えば、画像データと同様に、メタデータと人体測定データとを用いて、図４のブロック４１４、４２４、４３４によって例示すると、人間の目は、かなり確実に定義することができ、従来の単なる画像ベースの解析よりも（特許文献１参照）、確実性がある。

図３（ｄ）には、画素で表示された目の一例が示されている。虹彩３４２が直径でおおよそ１１画素、瞳３４４が直径でおおよそ６画素の場合を示している。追加的なオブジェクトまでの距離、レンズの焦点距離の認識に伴い、ソフトウェアで実行される上述の計算は、オブジェクトのキャプチャーされた画像のサイズに基づいて、目ではないオブジェクトを拒絶して、もっともそれらしい目の候補を選択する決定処理機能を提供することができる。

図８は、本実施形態における、メタデータと人体測定データとを使用した画像の統計に基づく解析を説明するためのソフトウェアワークフロー図である。入力は、図４に示したメタデータ(ステップ４１４)、図７（ａ）及び図７（ｂ）で示した人体測定データ（ステップ８００）である。

ステップ８１０において、興味あるオブジェクトのサイズ分布、すなわち、本実施形態では人間の目のサイズ分布は、データ４１４とデータ８００に応じて計算される。この計算は上述のように、人間の目（虹彩、瞳）としてのオブジェクトのサイズの有望な範囲をもたらす。なお、この計算は、高速計算したり、処理の高速化のために、予め計算した値をデータベースに格納しておいてもよい。

画像内の目を検索する際に与えられる目と思われる領域は、画像データを検討する従来の方法によって判別される（ステップ８２０）。ステップ８３０では、ステップ８１０で計算されたサイズの範囲内に各領域が収まるか否かの判別を行う。範囲サイズが大きすぎた場合、若しくは小さすぎた場合、すなわち、あり得そうな範囲から外れる場合には、ステップ８６０において領域が目である確率の指数を減少させる。一方、領域サイズが範囲内にある場合には、ステップ８５０で、確率の指数を増加する。なお、これらの決定は、確率的な結果であり、必ずしも決定的なものでない。

そして、本実施形態では、第２目の目の存在のような追加的な手がかりを探したり（ステップ８３２）、顔、髪、首などの全体的な形状としての顔周辺の特徴を検索したり（ステップ８３４）、両目に近接する唇の存在を検索したり（ステップ８３６）、鼻孔を検索する（ステップ８３８）ことによる、追加的な人体測定テストを適用して、当該決定をより精度の高いものとしている。

なお、この各々のステップにおいて、検索された特徴が見つかったか否かが質疑応答される。検索結果がポジティブの場合、目が存在する領域に対する確率の指標を増加し（ステップ８５０）、検索結果がネガティブである場合には、当該確率の指標を減少する（ステップ８６０）。もちろん、確率的な方法は、検出されたオブジェクトがどのシステムで探されたものなのか否かの決定において、よい基準の設定の生成に利用できる。より詳細に説明すると、検出プロセスは、エラータイプ１とエラータイプ２、間違った決定を下していることについての許容できる確率であるαエラー、まったく検出しないことについて許容される確率である偽陽性及びβエラーなどとして知られる許容される２つのタイプのエラーを含んでいる。このような確率的なアプローチに基づいて、ステップ８５０及びステップ８６０での確率指標の増減は、２つの基準αとβとに対して、常に比較される。

最後に、与えられた領域に対して、全ての人体測定テストが完了したならば、確率の指標が、経験的又は実験的に特定の型から抽出され、若しくはデジタル画像取得装置のタイプから抽出された上述の所定の閾値以上である場合に、オブジェクトが目であると検出する。

今、画像データは、図２において、画素解析部で処理されている。目として抽出された領域、より詳しくは、瞳又は虹彩として抽出された領域における画素は、これらの画素の色が赤目に相当するものであるか否かを見るために検証される。赤目を指し示す特定の色、又は色の範囲に関する画素の検証技術はよく知られており、例えば、上述の特許文献１おいて開示されている。しかしながら、本実施形態では、図４において、装置固有のメタデータ４１６を使用することによって、画像における赤目を指し示す色の範囲は、上述した従来の技術よりもより正確に決定することが可能になる。

これは、図９において説明されており、図９の相対反応グラフ９００は、可視波長９１０、３色センサーの青色９３２、緑色９３４、赤色９３６、一般的なＣＣＤタイプのセンサーを関数としたものである。同グラフにおいて、異なるレスポンス曲線が、写真撮影フィルムに関連する異なるレイヤーのレスポンス（反応）として描かれている。

Ｘ軸は、人間の視覚体系の波長範囲であり、人間の目では見ることはできないが、センサーで記録できる赤外線と紫外線とを含むように延びている。Ｙ軸は、絶対値１と対比した相対値で描かれている。波長の関数としての赤、緑、青の三色のスペクトル反応関数は、それぞれＲ（λ）、Ｇ（λ）、Ｂ（λ）として定義される。

スペクトル反応曲線Ｌ（λ）として定義された光センサーにおいて、３つの異なる色センサー若しくはフィルムの着色顔料に光を届ける光源は、曲線のスカラー乗法の積分として数学的に定義されたそれぞれの色に対するレスポンスを生成であろう。積分の範囲は、低波長領域ＵＶから最も高い波長領域までである。以下の数式９により、Ｒ、Ｇ、Ｂの３刺激値を与えられる。

従来のこのような技術は、２次元の表現から単一値までのスカラー反応のために、異なるスペクトル反応が、同じ刺激値を生成してしまう事実として理解できる。この作用は、センサー及びフィルムのメタメリズム、人体可視体系メタメリズム、光源のメタメリズムの特定であるメタメリズムとして知られている。

また、多くの可変パラメータのために、画像における固定参照点である固有の色を見つけることは相対的に困難である。その理由として、反射された色は、大抵の場合、多くのファクタ、とりわけ、環境光に依存している。しかしながら、上述の赤目は、ストロボ光の反射の結果であり、網膜の後ろ側の充血した血管膜からの特性として十分に定義することができる。大抵の場合、外部環境光の作用は、相対的に低く、赤目作用は、他のオブジェクトよりもより正確なスペクトル特性を有する自ら光を照射するオブジェクトとして考えることができる。相対的に広がりと目の内部が血管であるフラッシュスペクトル反応と組み合わされたこのような目の内部のスペクトル反応の一例を、図９のブロック９５０に示す。

センサＲ（λ）、Ｇ（λ）、Ｂ（λ）のスペクトル検出感度と目におけるフラッシュ光の反射とを与え、９５０によってＥ（λ）を定義し、この固有のセンサーに対する赤目刺激値は、以下の数式により導かれる。

{Ｒ,Ｇ,Ｂ,}_red-eyeの値は、与えられるカメラにおいて相対的に一定である。しかしながら、異なるセンサー間での反応は異なることから、これらの値は、異なる各カメラにおいて一定ではない。しかしながら、上述のレスポンス曲線のように、この情報に基づいた範囲や赤色の極めて近い近似値を判別することは可能である。また、判別の手助けとなる赤色の値だけではなく、緑センサー及び青センサーについての赤目の剰余反応もその手助けとなる。従来技術において、大多数のカメラは、画像を固定記憶装置に保存する前に、露出に対する追加的な変換と画像に対する階調再現変換を行うことがよく知られている。このような変換の一例としては、画素の関数として、色補正と階調再現との連結がある。ＲＡＷ形式の画素値を{Ｒ,Ｇ,Ｂ,}_RAW-CCDとすると、３つの参照テーブルを介して、変換される。

そして、例えば、赤色参照テーブルＲ−Ｌｕｔは、１０ビットＲＡＷデータから８ビットＲＡＷデータのガンマ関数であるとすると、

と表され、また、逆関数として、

と表される。また、参照テーブルを介して変換された後の{Ｒ,Ｇ,Ｂ,}値は、

となる。

そして、これらの変換の内部認識によって、上記の定義としてＲＡＷ値に至らすために処理を反転することができる。

そして、ＲＡＷ刺激値の値が判別され、正確なマッチングに用いられる。また、そのような露出条件、若しくは間違った環境光における次善最適の画像に対して補正を行うために、同様の変換がデジタルスキャナーでも行われる。処理を反転することは、純粋な数学的な感覚とは異なり、例えば、変換関数は、変換を通じて、フルに反転しなくてもよい。このような問題は、例えば、画素値が切り取られたり、集められたりした場合に生じるものである。このような場合では、逆関数に数値近似を定義する必要がある。

上述の本実施形態は、本質的にデジタルカメラを含む拡張されたデジタル画像取得技術によって含むものであるが、取得構成要素を備えた携帯電話機やおもちゃのようなカメラ等のような他の装置にも搭載してもよい。また、本実施形態のデジタルカメラや他の画像取得デバイスは、画像データを記憶する機能だけでなく、メタデータのような追加的なデータを記憶する機能も有している。ＪＰＥＧ、ＴＩＦＦ、ＪＰＥＧ２００等の画像ファイルのファイルヘッダーは、フラッシュが使用されたか、オートフォーカス機能によって記憶された距離、レンズの焦点距離、センサー分解能、シャッタースピード及び開口等のような取得情報を含むことができる。また、本実施形態によれば、発生の偽陽性を排除又は減少しつつ、画像の赤目検出を向上させることができ、また検出された赤目補正を向上することが可能になる。

以上、本発明を上述の好適な実施形態に即して説明したが、本発明の技術的特徴は、特定の実施形態に限定されるものではなく、本実施形態は、限定というよりはむしろ、本発明の説明とみなすことが好ましい。また、本発明は、その技術的特徴を逸脱することなく、技術分野における通常の知識を有する者によって様々な変更が可能である。

また、本発明の方法は、上記実施形態に即して実行される方法において、図示した選択された順序で動作するが、当該順序は、任意に選択及びオーダーすることができ、動作を実行するにあたり、特定の順序を暗示する意図はない。但し、明確に説明した場合、若しくは必要とされるこれら従来技術によって理解できる場合はこの限りではない。

本発明の好適な実施形態のデジタル画像取得装置の構成ブロック図である。 本発明の好適な実施形態のデジタル画像における赤目を検出する方法のハイレベルワークフローである。 本発明の好適な実施形態の説明において用いられる概略図であり、３（ａ）は光センサー、３（ｂ）〜３（ｄ）はデジタルに画素化された画像を示す図である。 本発明の好適に実施形態の赤目検出の一部分であって、図２のハイレベルワークフローにおけるメタデータを用いた処理を説明するための図である。 物体までの距離と焦点距離に基づいた、物体と画像との関係を幾何光学的に説明するための図であり、当該焦点距離は、画像の主平面から物体の画像が無限遠の位置で形成される面である画像焦点面までの距離である。 レンズの焦点距離と被写界深度との間の関係と、画像に現れる物体のサイズを示す図である。 成人男性及び成人女性に関する人間の顔の人類学的測定を説明するための図である。 本発明の好適な実施形態におけるメタデータと人類学的データとを用いた画像の統計的な解析について説明するためのワークフロー図である。 ３色のセンサーを想定した場合のスペクトル反応曲線、及び一般的な光源と写真撮影される物体のスペクトル特性に基づいた、取得システムのスペクトル反応を示した図である。

符号の説明

１００ 画像取得装置
１０２ 光センサー
１０４ フラッシュ
１０６ レンズ
１１２ 焦点距離
１１４ 開口
１１６ 合焦移動量
１３０ 赤目フィルター部
１３２ メタデータ解析部
１３８ 画素解析部
１６０ 画像格納部

Claims (9)

1. 人体測定データ及び取得される特定の画像についての１つ以上の取得パラメータに関連したメタ情報を含むメタデータを用いて、赤目現象の影響を受けやすい画像の領域を特定し、外部の被写体がレンズを介して光学的にセンサーアレイに投影されることにより取得されるデジタル画像から赤目現象を除去する方法であって、
   前記画像の領域が前記被写体の目である確率を前記人体測定データに基づいて増減させ、前記確率がある閾値よりも高い確率を有する前記画像の領域を前記被写体の目であると検出し、
   前記取得される特定の画像と独立した装置固有の前記センサーアレイのスペクトル反応関数、前記画像のカラー変換関数、又は前記画像の階調再現変換関数に基づいて定義される色に基づいて、前記被写体の目として検出された領域における前記赤目現象を表す色を有する画素を判別することを特徴とするデジタル画像から赤目現象を除去する方法。
2. 前記メタデータは、画像取得時のレンズの焦点距離、レンズ開口、アレイサイズ、アレイ分解能、被写体までの距離、及び被写界深度のうちの１つ以上を含むことを特徴とする請求項１に記載の方法。
3. 前記赤目現象を除去する方法は、写真撮影フィルムを備えていないポータブル画像取得装置で実行されることを特徴とする請求項１又は２に記載の方法。
4. 前記赤目現象を除去する方法は、外部コンピュータ装置における後処理動作において実行されることを特徴とする請求項１から３のいずれか１つに記載の方法。
5. 人体測定データ及び取得される特定の画像についての１つ以上の取得パラメータに関連したメタ情報を含むメタデータを用いて、赤目現象の影響を受けやすい画像の領域を特定する手段を備え、外部の被写体がレンズを介して光学的にセンサーアレイに投影されることにより取得されるデジタル画像から赤目現象を除去するシステムであって、
   前記赤目現象の影響を受けやすい画像の領域を特定する手段は、
   前記画像の領域が前記被写体の目である確率を前記人体測定データに基づいて増減させ、前記確率がある閾値よりも高い確率を有する前記画像の領域を前記被写体の目であると検出し、
   前記取得される特定の画像と独立した装置固有の前記センサーアレイのスペクトル反応関数、前記画像のカラー変換関数、又は前記画像の階調再現変換関数に基づいて定義される色に基づいて、前記被写体の目として検出された領域における前記赤目現象を表す色を有する画素を判別する手段、をさらに含むことを特徴とするデジタル画像から赤目現象を除去するシステム。
6. 前記メタデータは、画像取得時のレンズの焦点距離、レンズ開口、アレイサイズ、アレイ分解能、被写体までの距離、及び被写界深度のうちの１つ以上の関数として定義されることを特徴とする請求項５に記載のシステム。
7. 前記システムは、写真撮影フィルムを備えていないポータブル画像取得装置で具現化されることを特徴とする請求項５又は６に記載のシステム。
8. 前記ポータブル画像取得装置は、デジタルカメラであることを特徴とする請求項７に記載のシステム。
9. 前記システムは、外部コンピュータ装置における後処理機能として具現化されることを特徴とする請求項５又は６に記載のシステム。

Images