JP4234381B2 - 顔の特徴を位置確認するための方法及びコンピュータープログラム製品 - Google Patents
顔の特徴を位置確認するための方法及びコンピュータープログラム製品 Download PDFInfo
- Publication number
- JP4234381B2 JP4234381B2 JP2002269994A JP2002269994A JP4234381B2 JP 4234381 B2 JP4234381 B2 JP 4234381B2 JP 2002269994 A JP2002269994 A JP 2002269994A JP 2002269994 A JP2002269994 A JP 2002269994A JP 4234381 B2 JP4234381 B2 JP 4234381B2
- Authority
- JP
- Japan
- Prior art keywords
- iris
- pixel
- image
- eye
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30216—Redeye defect
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタル画像理解方法に関し、より詳細には人の顔の特徴を検出するための方法に関する。
【０００２】
【従来の技術】
顔の特徴の位置を検出する性能は様々な応用に役立つ。それらの適用は、自動的に顔を変形すること及びゆがめること、表現認識、髪の毛の区分化、顔の認識及び分類、赤目検出、並びに顔の画像圧縮を含んでいる。さらに、顔の特徴の位置を見つけるために使用される技術の多くは、様々な他の一般的な画像特徴検出タスクに役立つ。これらは医学的な画像で器官を識別し産業上の視覚的な応用で回路ボード構成部分の位置を確認することを含むことができる。
【０００３】
顔の特徴の検出は多くの研究者によって研究されている。顔の特徴を検出するアルゴリズムの主に４つの分野がある。それらは、テンプレート整合、エッジ検出、型モデル、及び全体的な整合である。型モデルを使用する技術は最も有望であるように思われる。それらの方法は、妥当性のある結果への探索を抑制するために特徴形のモデルを使用する。これは、特徴がユニークに識別することができる特徴ファインダーの精度及び範囲の両者を増加させる。変形可能なテンプレート及び活発な型モデルは２つの最も一般的なアプローチである。変形可能なテンプレートは特徴型の明示的にパラメター化されたモデルを必要とする。これは、技術の適用可能性を、容易にパラメター化され、型モデルのパラメーターに厳密に一致しない型における結果の正確さを縮小した型に限定する。一方で、活発な型モデルは一連のグラウンドトルース例に基づいた特徴形のモデルを学習する。これは方法を特徴型のはるかに広いクラスに適用可能にする。
【０００４】
活発な型のモデルはＣｏｏｔｅｓ等によって発展された。（例えば、非特許文献１参照。）。それは画像の対象の位置を確認するためのモデルに基づいた機能を提供する。モデル化への柔軟なアプローチは、目標の対象の広いクラスに適用可能で使用される。手順はトレーニングと探索段階の両者からなる。トレーニング間では、実例画像のセットはグラウンドトルース特徴位置を示す一連の制御ポイントで手動で注釈を付けられる。これらの特徴位置は、制御ポイントの妥当性のある相関位置の型のモデルを開発ために分析される。さらに、各制御ポイント周辺の肌合いのモデルが生成される。一度それらのモデルが産出されると、続く探索で使用するために記憶される。探索において、一連の局所的な探索は、その特徴における肌合いのモデルと最も整合する位置を見つけるために各特徴ポイントにて実行される。次いで、グローバルな型モデルは局所的な探索の結果を抑制するために使用される。この工程は安定した結果に集束するまで繰り返す。
【０００５】
Ｃｏｏｔｅｓのシステムにおいて、探索操作はユーザによって提供されるべき適切な開始位置を必要とする。このユーザの介在は、簡素で迅速な方法を備え、好ましくは２つの目である、特定の特徴を見つける自動過程と置き換えることができるかもしれない。
【０００６】
デジタル画像で人の目を検出する当該技術において幾つかの方法が周知である。デジタル画像で人の目の位置を検出する閾値化方法の使用である（例えば、特許文献１参照。）この方法において、走査窓はラスター走査方法を用いて全体画像を横切って走査する。画像を横切って走査するので、ヒストグラム抽出器は窓から強度ヒストグラムを抽出する。各強度ヒストグラムは、肌、目の白さ、瞳の黒さを表現するヒストグラムで３つのピークを検出するピーク検出器によって検査される。３つのピークを有するヒストグラムは目の位置を潜在的に確定する画像の位置を識別する。目の位置は、各潜在的な位置と関連するヒストグラム下のエリアを計算することによって、及び大きなエリアを備えるヒストグラムと関連する位置を選択することによって潜在的な位置から決定される。
【０００７】
このアプローチの一つの問題は、全体の画像をピクセルごとに基づいて走査しなければならないことである。したがって、探索窓は画像の各ピクセルに位置しなければならず、ヒストグラムは各ピクセル位置でアセンブルするべきである。さらに、各ヒストグラム下のエリアは計算され、記憶されなければならない。この方法は大量の計算力を消耗し、画像が処理できる割合を縮小することを認識するだろう。さらにこの方法は高率の肯定的な誤りを起こす。
【０００８】
さらに、異常に高い赤い内容物を有する人の目を検出するための方法が周知である。かかる異常に高い赤い内容は、一般的に赤目として周知の写真現象と関連している。赤目は瞳によって反射される光のフラッシュによって一般的に引き起こされる。例えば、赤目を示唆する高い赤い内容を有するピクセルにおける画像で探索することが知られている（例えば、特許文献２参照。）。同様に、赤目の色の特徴を有する画像のピクセルを検出するためのユーザの相互作用の方法がある（例えば、特許文献３参照。）。そのような方法は赤い目が存在する場合のみ検出することを認識するだろう。
【０００９】
Ｃｏｏｔｅｓのシステムにおいて、探索工程はグラウンドトルース型空間内の最も同様の型を選択しない、型モデル係数を抑制する方法を使用することを注意する。さらに、Ｃｏｏｔｅｓのシステムは、システムが到達できる最終的な結果の正確さを制限する、一定の大きさの肌合いのモデル探索窓を使用する。Ｃｏｏｔｅｓのシステムは対象の大きさが固定されていることを仮定する。これは、異なるサイズの対象を描写する画像が前処理段階で計られることを必要とする。この縮尺係数は、対象のサイズの初期の評価に基づくことができた。固定された大きさの仮定は、探索する場合に繰り返し肌合いの窓を計ることではなく前処理ステップの間に画像が一度計られることを可能にすることにより、性能を改善する潜在性を有している。しかしながら、固定された大きさの利用は、アルゴリズムの適応性を限定し、規模の初期の評価が正しくない場合、正確さに悪影響を及ぼす。
【００１０】
【特許文献１】
ＵＳ６０７２８９２
【特許文献２】
ＵＳ６２９２５７４
【特許文献３】
ＵＳ５４３２８６３
【特許文献４】
ＵＳＳＮ０９／７４０５６２
【特許文献５】
ＵＳＳＮ０９／７４０４２２
【非特許文献１】
Ｃｏｏｔｅｓ，Ｔ．Ｆ．， Ｔａｙｌｏｒ，Ｃ．Ｊ．， Ｃｏｏｐｅｒ，Ｄ．Ｈ．著「Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌｓ−Ｔｈｅｉｒ Ｔｒａｉｎｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎ」Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ 第６１巻、Ｎｏ．１、１９９５年、ｐｐ．３８−５９
【非特許文献２】
Ｊｏｈｎ Ｃ． Ｈａｒｔ 著「Ｄｉｓｔａｎｃｅ ｔｏ ａｎ Ｅｌｌｉｐｓｏｉｄ」 Ｇｒａｐｈｉｃ Ｇｅｒｍｓ ＩＶ， Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ出版、ｐｐ． １１３−１１９
【発明が解決しようとする課題】
したがって、目の検出機能の使用によりユーザ介在のない開始点探索ロケーションを自動的に決定する性能を有するシステムを構築する必要がある。さらにシステムがグラウンドトルース型空間の最良の型モデルを選択する性能を有し、肌合いのモデルのスケールを変えて、窓を探索する必要がある。
【００１１】
【課題を解決するための手段】
本発明は前述に記載した一つ以上の問題を克服するために導かれる。簡単に要約すると、本発明の一つの態様にしたがい、本発明はデジタル画像で顔の特徴を検出するための方法に帰する。本方法は、画像で虹彩ピクセルを検出する段階、虹彩ピクセルをクラスタにする段階、及び目の位置を識別するために、虹彩ピクセルクラスタを使用して目の位置を検出するために幾何学的な推論を適用すること；目の位置を検出するために虹彩ピクセルクラスタを使用して、２乗された差を合計する方法を適用すること；及び画像のピクセルから目の位置を検出するために虹彩ピクセルクラスタを使用して、２乗された差を合計する方法を適用すること、の方法から少なくとも一つを選択する段階を含む。目の位置を識別するために適用される方法は虹彩ピクセルクラスタの数を基本にして選択され、顔の特徴は識別された目の位置を用いて位置が確認される。
【００１２】
本発明の別の態様によると、本発明はまたデジタル画像で顔の特徴を検出するためのコンピュータープログラム製品に帰する。コンピュータープログラム製品は、画像で虹彩ピクセルを検出する段階、虹彩ピクセルをクラスタにする段階、及び目の位置を識別するために、虹彩ピクセルクラスタを使用して目の位置を検出するために幾何学的な推論を適用すること；目の位置を検出するために虹彩ピクセルクラスタを使用して、２乗された差を合計する方法を適用すること；及び画像のピクセルから目の位置を検出するために虹彩ピクセルクラスタを使用して、２乗された差を合計する方法を適用すること、の方法から少なくとも一つを選択する段階を実行するために記憶されるコンピュータープログラムを有するコンピューター読取り可能記憶媒体を含む。目の位置を識別するために適用される方法は虹彩ピクセルクラスタの数を基本にして選択され、顔の特徴は識別された目の位置を用いて位置が確認される。
【００１３】
本発明の態様、目的、特徴及び利点は、下記に記載のより好ましい実施態様及び付随の特許請求の範囲、並びに添付図を参照することで、より明確に理解され認識されるだろう。
【００１４】
【発明の実施の形態】
図１は、本発明の実行に有用な画像処理システムを示している。このシステムは、フィルムスキャナー、デジタルカメラ、若しくはデジタル画像記憶装置（ピクチャーＣＤを備えるコンパクトディスクドライブなど）のようなカラーデジタル画像源１０を含んでいる。カラーデジタル画像源１０からのデジタル画像は、プログラム化されたパーソナルコンピューター若しくはＳｕｎ Ｓｐａｒｃ２０ワークステーションなどのデジタル画像処理ワークステーションのような画像プロセッサー１２に提供される。画像プロセッサー１２は、ＣＲＴディスプレイ１４並びにキーボード１６及びマウス１８などのオペレーターインターフェイスに接続されている。画像プロセッサー１２はまた、コンピューター読取り可能記憶媒体１７に接続されている。画像プロセッサー１２は、処理されたデジタル画像を出力装置１９に転送する。出力装置１９は、ハードコピープリンター、長期画像記憶装置、別のプロセッサー若しくはインターネットなどへ接続される画像テレコミュニケーション装置への接続を含んでいる。
【００１５】
下記の詳細において、本発明の好ましい実施態様は方法として記載されるだろう。しかしながら、別の好ましい実施態様において、本発明は、記載される方法と一致するデジタル画像で顔の特徴を検出するためのコンピュータープログラム製品を含む。本発明の記載において、本発明のコンピュータープログラムは、図１に示されるタイプのパーソナルコンピューターなどの周知のコンピューターシステムによって活用可能であることが明かである。しかしながら、多くの別のタイプのコンピューターシステムは本発明のコンピュータープログラムを実行するために使用可能である。結果として、コンピューターシステムは、ここではさらに詳細には記載されない。
【００１６】
本発明のコンピュータープログラム製品は、画像操作アルゴリズムと周知のプロセスを活用するかもしれないことが理解されるだろう。したがって、本記載は、本発明の方法の一部を形成するか、若しくはより直接的に協働するアルゴリズム及びプロセスに特に導かれるだろう。このように、本発明のコンピュータープログラム製品の実施態様は、実行するために有用であるここで特に示されていないか記載されていないアルゴリズム及びプロセスが具体化されるかもしれないことが理解されるだろう。かかるアルゴリズム及びプロセスは、かかる技術分野の従来で元来の技術の範囲内である。
【００１７】
かかるアルゴリズム及びシステムの追加的な態様、並びに画像を生成するため及び処理するための若しくは本発明のコンピュータープログラム製品と協働するハードウェア及び／若しくはソフトウェアはここでは特に示されていないか若しくは記載されておらず、当該技術で周知のかかるアルゴリズム、システム、ハードウェア、構成部品及び要素から選択されるかもしれない。
【００１８】
本発明の方法を実行するためのコンピュータープログラムはコンピューター読取り可能な記憶媒体に記憶されるかもしれない。例えば、この媒体は、磁気ディスク（ハードドライブ若しくはフレキシブルディスクなど）若しくは磁気テープなどの磁気記憶媒体；光ディスク、光テープなどの光記憶媒体若しくは機械が読取り可能なバーコード；ランダムアクセスメモリ（ＲＡＭ）などの固体状の電子記憶装置若しくは読取り専用メモリ（ＲＯＭ）；又はコンピュータープログラムを記憶するために使用される別の物理的な装置若しくは媒体を含むかもしれない。本発明の方法を実行するためのコンピュータープログラムは、インターネット若しくは別の通信媒体の手法で画像プロセッサーと接続されているコンピューター読取り可能記憶媒体に記憶されるかもしれない。かかるコンピュータープログラム製品の相当物もハードウェアに構築されるかもしれないことが当業者は認識するであろう。
【００１９】
図２を参照するに、本発明の方法はより詳細に記載されるだろう。図２は、本発明の目の検出方法の一つの実施態様を例証するフローチャートである。図２は、処理されるデジタルカラー画像が虹彩色ピクセル検出段階２００にまず最初に入力されることを示している。示されている実施態様において、虹彩色ピクセル検出は画像の肌の色の領域の第一検出によって達成され、次いで肌の色の領域内からの赤の強度レベルを測定することによって虹彩色ピクセルを識別する。
【００２０】
肌の色の検出における第一段階は、段階２０１として図２に示されているカラーヒストグラムの均一化である。カラーヒストグラムの均一化段階２０１は処理されるべき画像を受取り、画像が肌の色の検出を可能にする形態であることを保証する。光の状態、フラッシュの設定及びフィルム特性のために人の肌が多くの数の色を取るためにこの段階は必要である。このような画像の肌を自動的に検出することは困難である。カラーヒストグラム均一化段階２０１において、各画像の統計的な分析は実行される。統計的な分析が、画像が光の状態によって外観が修飾される肌の領域を含むかもしれないことを提示する場合、次いでこのような画像は、肌の着色された領域が検出できるために修飾される。
【００２１】
カラーヒストグラム均一化段階後、画像は肌の色を検出する段階２０２で肌の色の領域において探索する。多くの方法でデジタル画像の肌の検出が可能である一方で、デジタル画像で肌を検出するための好ましい方法は、画像の大きく釣合の取れている集団から集められた一連の可能な肌の色を含んでいるワーキング色空間の確定により、画像中の他のピクセルから肌の色ピクセルを分離することである。次いで、ピクセルは、ピクセルがワーキング色空間内である色を有する場合に、肌の色のピクセルとして識別される。
【００２２】
肌の色の検出段階２０２は、画像における肌の色のピクセルの領域を識別する。この領域は多くの手法で確定される。一つの実施態様において、肌の色の領域は、肌の色を有する画像でピクセルを識別するピクセルの位置のセットにより確定される。別の実施態様において、修正された画像は肌の色のピクセルのみを含むことを生成される。さらなる別の実施態様において、肌の色の検出段階２０２は、画像において肌の色の領域を境界する、境界線を確定する。一つ以上の肌の色の領域が画像で識別できることが認識されるだろう。
【００２３】
楕円形の領域抽出段階２０４は、顔を示す肌の色の領域を定める肌の色の検出段階２０２によって検出された肌の色の領域を検査する。人の顔が大まかに楕円形状を有するために、肌の色の領域は楕円状の肌の色の領域を定めるために試験される。楕円形状の肌の色の領域が発見された場合、楕円形の領域抽出段階２０４は楕円形状の肌の色の領域の幾何学的特徴を測定する。楕円形の領域抽出段階２０４は、画像内の顔の大きさ及び顔の位置を記載するパラメーターを確定するための測定を使用する。
【００２４】
図３は画像内で楕円形状の肌の色の領域を確定するために使用される幾何学的パラメーター間の関係の例示である。図３に示されているように、それらのパラメーターは楕円形の上部３００、楕円形の底部３０２、楕円形の左３０４、楕円形の右３０６、楕円形の中心列３０８、及び楕円形の中心カラム３１０を含んでいる。これらのパラメーターは、目の検出工程の効率を増加させる本方法の後の段階において使用される。本発明の方法が、楕円形以外の形状を有し、そのような形状でその他の幾何学的なパラメーターを確定することができる肌の色の検出領域を使用して、実行することができる。画像において楕円形若しくは他の形状のエリアを検出することが必要でないことが認識されるだろう。このような場合において、肌の色の領域は虹彩色ピクセルを検出するために試験される。さらにこの場合において、肌の色の領域を記載している他のパラメーターは目の検出の工程において使用されるために確定される。
【００２５】
楕円の領域抽出が実行された後、楕円形状の肌の色の領域は虹彩色ピクセルにおいて探索される。この段階は虹彩色ピクセル検出段階２０６によって実行される。虹彩色ピクセルの捜索を、楕円形状の肌の色の領域内のピクセルに限定することは、虹彩色ピクセル検出の効率を増加させることを認識するだろう。虹彩と関連するピクセルを検出する虹彩ピクセル検出段階２００において多くの方法があることが認識されるだろう。かかるピクセルは、簡素な色閾値化方法、モデルマッピング、及び当該技術で周知の他の方法によって識別できる。
【００２６】
一つの好ましい実施態様において、虹彩ピクセルは同時係属で一般公開されている“Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ Ｐｒｏｃｅｓｓｉｎｇ Ｍｅｔｈｏｄａｎｄ Ｃｏｍｐｕｔｅｒ Ｐｒｏｇｒａｍ Ｐｒｏｄｕｃｔ ｆｏｒ Ｄｅｔｅｃｔｉｎｇ Ｈｕｍａｎ Ｉｒｉｓｅｓ ｉｎ ａｎ Ｉｍａｇｅ”という題名の２０００年１２月１９日に出願された米国特許出願番号０９／７４０４２２を用いて検出される。この実施態様において、虹彩ピクセル検出段階２０６はピクセルがピクセルの赤の強度を測定することによるピクセルであるかどうかを決定する。これは、比較的高い赤い強度を有している、人の肌と比較して、人の虹彩が低い赤い強度を有することが観察されるためになされる。しかしながら、この実施態様において、虹彩色ピクセルは簡素な閾値化方法に基づき肌の色の閾値とは分離される。代わって、楕円形状の肌の色の領域でのピクセルの赤の強度は、各ピクセルが虹彩であるという確率を決定し、かつ各ピクセルが虹彩ではないという確率を決定するために使用される。次いで、ピクセルが虹彩であるという確率とピクセルが虹彩ではないという確率との関係は、ピクセルが虹彩ピクセルであるかどうかを決定することで分析される。
【００２７】
与えられた赤い強度を有しているピクセルが虹彩ピクセルであるという確率は虹彩統計模型に基づいて決定される。同様に、非虹彩統計模型は与えられたピクセルが、ピクセルの赤い強度水準に基づいた虹彩ピクセルではないという確率を確定するために使用される。与えられたピクセルが特定の赤い強度Ｉの機能としての虹彩ピクセルである条件付確率４０２を表わす統計模型の例を示し、及び与えられたピクセルが特定の赤い強度Ｉの機能としての非虹彩ピクセルである条件付確率４０４を表す統計モデルの実施例を例証する図４の例の手法で示されるように、これらのモデルの関係は非線形である。
【００２８】
確率分析は多くの形式をとることができる。例えば、確率は様々な方法で、虹彩として、あるいはこれらの確率の関係に基づいてではなく分類されているピクセルと結合することができる。しかしながら、好ましい実施態様において、ベイズ（Ｂａｙｅｓ）モデルとして周知の数式は、与えられた赤い強度を有するピクセルが虹彩に属する条件付確率を生産する確率を組み合わせるために使用される。
【００２９】
この実施態様において、ベイズモデルは下記のように適用される：
【００３０】
【数１】
ここでＰ（虹彩｜Ｉ）は与えられたピクセル強度が虹彩の属する条件付確率であり、Ｐ（Ｉ｜虹彩）は与えられた虹彩ピクセルが特定の強度Ｉを有する条件付確率であり、Ｐ（虹彩）は顔の楕円領域の虹彩の発生の確率であり、Ｐ（Ｉ｜非虹彩）は与えられた非虹彩ピクセルが特定の強度Ｉを有する条件付確率であり、及びＰ（非虹彩）は顔の楕円領域の非虹彩の発生の確率である。さらに、ベイズモデルは、顔の楕円領域の虹彩の発生の確率及び顔の楕円領域の非虹彩ピクセルの発生の確率に適用する。ベイズモデルに基づく確率分析を使用して、与えられた赤い強度を有するピクセルが虹彩に属する条件付確率が、例えば０．０５よりも大きい場合にピクセルは虹彩として分類される。
【００３１】
前述に記載の実施態様において、楕円の上部３００、楕円の底部３０２、楕円の左３０４、及び楕円の右３０６によって確定される楕円形状の肌の色の領域のそれらのピクセルだけが試験される。楕円形状の肌の色領域で検査されるピクセルの制限は、検査されるピクセルの数を縮小し、虹彩でないピクセルがかかるものとして分類されるという確率を減少させる。本発明の他の実施例に記述されるように、肌の色の領域で検査されるピクセルの制限は、同様の利点を有することが理解されるだろう。肌の色の領域を検出することは必要ではなく、また、画像において各ピクセルの赤い強度を測定しピクセルが上に記述した確率分析に基づいた虹彩かどうか決めることにより、本発明を実行することができることは理解されるであろう。
【００３２】
図５は、ピクセルが虹彩ピクセルであるかどうかを決定するために使用される統計モデル及びピクセルが非虹彩ピクセルであるかどうかを決定するために使用される統計モデルを確定するために使用される虹彩の色のベイズモデルトレーニング段階２２６を例証するフローチャートを示す。段階２２６の方法は、虹彩を検出するために本発明の虹彩が使用されることを検出する方法の前に実行される。示されるように、図５において、前面の顔の画像の大きなサンプルは集められ検査される。次いで、顔の領域のすべての虹彩ピクセル及び非虹彩ピクセルは手動で５０２及び５０４を識別される。次いで、与えられた虹彩ピクセルが特異的な赤の強度Ｉを有する条件付確率、Ｐ（Ｉ｜虹彩）は計算され、顔の楕円領域での虹彩の発生の可能性Ｐ（虹彩）５０６は計算され、次いで、与えられた非虹彩ピクセルが特定の赤の強度Ｉを有する条件付確率、Ｐ（Ｉ｜非虹彩）は計算され、最後に顔の楕円領域の非虹彩ピクセルの発生の確率、Ｐ（非虹彩）５０８が計算される。与えられたピクセル強度が虹彩Ｐ（虹彩｜Ｉ）５１０に属するという条件付きの確率を生成するために、虹彩及び非虹彩の計算された統計模型は、ベイズモデルで使用される。ある実施態様において、ベイズモデルは虹彩の色のピクセル検出段階２０６で使用される検査テーブルを生成するために使用される。
【００３３】
虹彩の色のピクセル検出段階２０６が画像での虹彩ピクセルの位置を識別した後に、虹彩の色のピクセルはクラスタにアサインされる。これは、虹彩のピクセルをクラスタにする段階２０８によってなされる。クラスタは、クラスタ内のどのピクセルもさらにクラスタの別のピクセルへのあらかじめ定められた距離内にある特性を備えた虹彩の色のピクセルの空でない集合である。好ましい距離の一つの実施例は、デジタル画像の高さの３０分の１である。図２の虹彩のピクセルをクラスタする段階２０８は、クラスタのこの定義に基づいたクラスタへ虹彩の色のピクセルをグループ化する。しかしながら、ピクセルは他の判定規準に基づいてクラスタに分けられるかもしれないことが理解されるであろう。
【００３４】
ある特定の環境下において、虹彩色ピクセルの定義が無効のクラスタを含むことは十分に広いかもしれない。かかる環境において、図２に示されているように、クラスタを有効にする段階は、段階２０９として含まれている。例えば、あまりにも多い虹彩色ピクセルを含んでいるので、若しくはクラスタ中のピクセルの幾何学的な関係がクラスタは虹彩を示さないと示唆するので、クラスタは無効かもしれない。例えば、クラスタの高さとその幅の比率が決定される場合、及び比率が２を越えるものである場合、このクラスタは無効である。無効の虹彩ピクセルクラスタは一層の考察から取り除かれる。したがって、続く記載の部分では、有効な虹彩ピクセルクラスタは単に虹彩ピクセルクラスタと呼ばれるだろう。
【００３５】
虹彩ピクセルクラスタの数“ｎ”は、段階２１０で数えられる。虹彩ピクセルクラスタの数“ｎ”は、画像の目の発見のために２つの経路の中から選択する決定ステップ２１０によって使用される。虹彩ピクセルの数“ｎ”が２よりも小さい場合、処理は後に記載される段階２２４に枝分かれされる。虹彩ピクセルの数“ｎ”が少なくとも２である場合、処理はクラスタの中心を発見するために段階２１２に枝分かれする。クラスタの中心はクラスタの質量の中心として決定される。クラスタの中心位置は画像座標系の原点に関して計算される。この測定の目的において、画像座標系の原点は画像境界の上左角である。
【００３６】
虹彩ピクセルクラスタの各々の中心が見つけられた後、幾何学的な推論は、虹彩ピクセルクラスタの幾何学的な関係に基づいた目を検出することを試みるために適用される。図６に示されるように、一つが左半分６０４で一つが右半分６０６で２つのクラスタのみがある場合、二つのクラスタの中心間の水平距離が楕円の右３０６と楕円の左３０４との間の距離の０．４倍よりも小さい場合、及び二つのクラスタの中心間の垂直距離が楕円上部３００と楕円株の３０２との間の距離の１０分の１よりも小さい場合、それら２つのクラスターの中心位置は目の位置として扱われる。
【００３７】
この分析が非常に迅速に完結することが認識されるであろう。この分析が成功した場合、目の位置を検出するためのさらなる行動は必要としない。したがって、検出結果点検は目の位置が検出されるかどうか確かめるために段階２１６でなされる。目の位置が検出される場合、目の検出処理は終了する。目の位置が検出されない場合は、処理は段階２１８に進む。
【００３８】
段階２１８において、２乗された差を合計する方法は目の位置を求めて画像を探索するために使用される。一般的に、２乗された差を合計する方法は、目のテンプレート、及びテンプレートと同じサイズを有する画像のパッチ中の対応するピクセルの強度値の２乗された差分の合計を計算することを含んでいる。この方法において、ピクセルのパッチでの各ピクセルはテンプレートでの対応するピクセルを有する。各対応するピクセルの強度レベル間の差は計算される。次いで、各差は２乗される。その後、セット中のピクセルの各々のための２乗された差分の各々の合計は計算される。２乗された差分のこの合計は、測定されたピクセルセット及びテンプレートの各々間の一致の程度の相対的測度を提供する。目の位置が検出されない場合２２０、その後、処理は２２４へ進む。
【００３９】
本発明に適用されるように、２乗された差分値の合計は、各半分領域の各窓での各ピクセルのために計算される。これらの値は比較され、及び２乗された差分値の最下の相対的な合計があるクラスタは、それぞれの領域の半分における目の位置であると確認されて選択されている。この工程は、下に記述された方法で、画像の左及び右半分領域上で別々に実行される。
【００４０】
本発明が、平均的な目のテンプレートと、ピクセルのパッチの各々の間の最良の相関性を識別するために２乗された差を合計する方法を使用することが記載される一方、平均二乗誤差方法を含む他の方法はこの目的のために使用することができることを注意する。
【００４１】
本発明の方法の一つの実施態様において、楕円領域検出段階２０４で計算されるパラメーターは、２乗された差分の合計が計算されるに違いない画像中の位置の数の縮小により、２乗された差を合計する方法の使用の効率を増加させるために使用される。図６に示されるように、この実施態様において、楕円中心カラム３１０は楕円領域を左半分領域６０４と右半分領域６０６に分割するように使用される。さらに図６で示されるように、虹彩ピクセルクラスター６００と虹彩ピクセルクラスター６００の中心位置６０２は楕円中心カラム３１０によって分割される右半分領域６０４若しくは左半分領域６０６の何れかに位置する。
【００４２】
段階２１８は、２乗された差を合計する方法及び左半分領域６０４に位置するピクセルクラスタ６００を使用して、左の目の位置探索を行なう。段階２１８はまた、２乗された差を合計する方法及び右半分領域６０６に位置する虹彩ピクセルクラスター６００を使用して、右の目の位置探索を行なう。
【００４３】
図７及び８を参照するに、半分領域でのクラスタから一つのクラスタを選択するための工程が記載される。目の位置を探索する工程は、それぞれの半分の領域で各クラスター８０２の中心に窓８００を集中させること７０によって開始される。窓８００のデフォルトサイズは画像８０４のサイズの２０分の１である。その後、２乗された差分７２の合計を計算する操作は、各窓８００のピクセルの各々で実行される。各窓８００に２乗された差分値の最下の合計を有するピクセルの位置が記録される７６。２乗された差分値の合計が、領域の半分７８のすべての窓のすべてのピクセルにおいて計算された場合、２乗された差分値の最下の合計があるピクセルの位置が記録される７９。これは半分の領域での予測される目の位置である。この工程は残りの半分の領域において繰り返される。二つの目がこの工程によって検出される場合、この方法は終了する。
【００４４】
段階２１８の２乗された差を合計する方法は楕円形状の肌の色抽出を使用しないで実行できることが認識されるだろう。かかる実施態様において、肌の色領域は左半分領域と右半分領域に分割できる。次いで、虹彩ピクセルクラスタはクラスタの左半分領域と右半分領域に分割できる。２乗された差を合計する方法は前述に記載のように適用できる。
【００４５】
しかしながら、目が段階２１８の実行の後に検出されなければ２２０、若しくは２つ以下の虹彩ピクセルクラスタが段階２０９で検出される場合、その後、目の検出工程は段階２２４に進む。段階２２４は、段階２１８と同様の手法で操作する。しかしながら、図９に示されているように、全体の画像９００は分割され、２乗された差の合計は画像９０４の左半分領域９０８及び右半分領域９１０のそれぞれの各ピクセルにおいて計算される。
【００４６】
他の方法は、画像及び目のテンプレートのパッチ間の相対的な相関性を決定するために、２乗された差を合計する方法の代わりに使用することができることが認識されるであろう。一つの例は平均二乗誤差方法である。この方法は当該技術において周知である。
【００４７】
本発明が画像において目を検出するための３つの個別の方法は、幾何学的な推論２１２及び２１４、虹彩ピクセルクラスタ２１８を用いる２乗差の合計及び画像ピクセル２２４を用いる２乗差の合計であることが認識されるであろう。幾何学的な推論がこれらの方法において最も簡素で最も効率的であることが理解されるだろう。これは幾何学的な推論が最も効率的な処理方法を提供するからであり、及び幾何学的な推論が虹彩ピクセルクラスタにのみ適用されるためである。画像中のピクセルの数と比較された場合、これらのクラスタは数において比較的小さい。
【００４８】
対照的に、画像中のピクセルの各々に段階２２４で要求されるように、２乗された差を合計する方法を適用することは、画像中の単一のピクセルが目の位置かどうか決めることを多くの処理段階及び計算に要求する、計算上激しい段階である。さらに、段階２２４の方法は画像のすべての非虹彩ピクセルに適用すべきである。現行の共通のフォーマットにおいて、デジタル画像は２．１メガピクセルカメラによって獲得されている。さらに、１６ものメガピクセルを有するカメラが実証された。このように、画像において目の位置を検出するための段階２２４の使用は文字通りに、単一の画像を処理することを何億もの操作に要求するだろうことが明かである。これは時間とコンピューター集約的な工程である。
【００４９】
中間のアプローチとして、段階２１８は２乗された差分法の計算上重い合計を適用するが、虹彩ピクセルクラスタに関して確定された窓のピクセルに対するこの方法の応用を限定する。これは、２乗された差を合計する方法が適用されるに違いないし、したがって２乗された差分法２２０の合計の応用を、ステップ２２４の２乗された差分の合計より集中的なより少ないコンピューターにするピクセルの数を実質上縮小する。
【００５０】
図２の顔の特徴に見られる段階１０００は図１０で詳細にされる。“ポーズした”画像データベースは、グラウンドトルース画像１０１０として最初に選択された。このデータベースは、対象の前面の概観を描く肖像スタイル絵を含む。データベースの顔の大きさは、８３ピクセルの典型的な平均の相互の目の距離で同様に合わせられる。
【００５１】
活発な型のモデル技術は、接続している特徴ポイントの１つ以上のグループを備えた対象型を表わす。これらの特徴ポイントは、局所的な探索が実行される位置を決定する。ポイント間の関係は、探索方向及び肌合いの窓配位を確定するために使用される境界平値を決定する。特徴ポイントは特定の“目標”が位置する一連の応用を示し、典型的には対象の境界に沿って置かれる。ポイント間の関係は通常は対象のエッジを明示する。これらは対象の形の立体感を出す場合、判断されるに違いない多くのエンジニアリング決定である。それらの決定の最も重要なことは、どこに特徴ポイントを置くか決めることである。これらのポイントは、周囲のエリアから容易に同一化が可能な、一貫してユニークな肌合いに置かれるべきである。対象のエッジ及び角は、通常は良好な目標ポイントである。複数ポイントが与えられたエッジに沿って置かれている場合、型モデルへ不必要な変わりやすさを導入することを回避するために、固定された中間期で分配されるべきである。
【００５２】
多くの追加のポイントを備えた与えられた応用によって要求されるポイントを補足することは時々有用である。これらの追加のポイントは補足サポートの提供によりオリジナルの顔立の正確さを増加させるために使用することができる。追加のポイントが、始点との強い位置の相関性を持っている、容易に同一化可能な位置に置かれる場合、これは可能である。
【００５３】
特徴ポイントの量は別の重要な決定である。ポイントの数を増加させることは、結果の正確さを改善し、対象形のよりよい記載を提供することができる。
【００５４】
特徴ポイントの相対密度はまた重要である。各ポイントは対象の結果となる型において等価の影響を有する。したがって、特徴ポイントの高密度を備えたエリアは、ポイントの希薄な分配を備えた領域より高い精度を持つ傾向がある。
【００５５】
最後に、特徴ポイントに通常の配位が考慮されるに違いない。平値は優勢な探索指示を決定し、正確なポイントが見つかるという確率に影響を及ぼす。平値は、さらに内容の窓の主要な軸の配列をコントロールする。これは、モデルが顕著な組織上の特質を捕らえるという能力に影響する。
【００５６】
８２ポイントから成る典型的な形モデルは顔の顔立の位置を表示するために選択された。このモデルは、眉、目、鼻、口及び顔の領域のアウトラインを示す。ポイントはまた、瞳孔の中心及び鼻の先端に置かれる。特徴ポイントの位置は実例画像の各々において示唆されるべきである。この工程は一般的に手動で行なわれる。図１１ａは顔の特徴モデルを例示し、実例画像１１１０の注釈された特徴位置１１２０を描写する。特徴ポイントの正確な位置付けはしばしば曖昧である。髪の毛若しくは眼鏡のような対象が所望の特徴を塞ぐ場合、これは存在することができる。決定は、選択した一貫した位置若しくは一貫した構造上の特徴（エッジ）のいずれかへなされるに違いない。適切な選択は適用に依存する。
【００５７】
肌合いのモデルは、図１１ｂの中で例証されるような関連する特徴ポイント上で集中させられる長方形の肌合いの窓１１４０を最初に確定することにより作成される。この窓は、モデルによって記述される画像の領域を明白にする。ユーザは、窓の範囲及び解像度を明白にすることができる。１５分の１のピクセルの解像度の例はこの発明で使用された。窓の主要軸は形境界への平値と提携する。肌合いの窓は型の大きさに基づいて自動的に計られる。縮尺係数は、中間の形で例を整列させる、最適のユークリッドの変形から決定される。これは、各画像の窓が対象の一貫した部分をカバーすることを保証する。
【００５８】
トレーニングアルゴリズムはグラウンドトルースデータを分析するために使用される。このアルゴリズムは後の探索の間に使用されるモデルを学習する。トレーニング工程はユーザー相互作用を必要としない。モデルの型と肌合いが生成される。型モデルは、特徴ポイントの予期された相関位置について記述する。これらのモデルを一度だけ生成する必要があり、後の使用に備えて蓄えられる。
【００５９】
型モデルは、許容できる特徴位置の“空間”について記述する。このモデルは妥当性のある形の領域へのありそうもない探索結果を抑制するために使用される。型モデルは、平均の型、型変化の主要なモード、及びモードの各々のための関連する範囲からなる。
【００６０】
型モデル１０１２の学習における初期の段階は共通の座標系へグラウンドトルースからの特徴位置を整列させることである。これは、グローバル変形の結果であるモデルから変化を除去する。
【００６１】
段階は下記のようである：
１．平均型の初期の評価として１例を選択する。
【００６２】
２．平均のスケール及び配位を標準化する。
【００６３】
３．平均の現在の評価ですべての型を整列。最適のユークリッドの変形（移動、スケール、回転）は最小の正方形適合によって決定される。
【００６４】
４．提携した型からの平均を再度評価
５．平均の評価がまとまるまで、ステップ２乃至４を繰り返す。
型を２Ｐ次元の空間のポイントと見なすことができ、ここでＰは２次元特徴ポイントの数である。提携したグラウンドトルースは、立体感が過度な楕円の境界によって出ることができる範囲を備えたこの空間のポイントの雲を成形する。この境界のコンパクトな表現は主要な構成部分分析（ＰＣＡ）から引き出す。
【００６５】
ＰＣＡは、その顕著な特徴を保持する一方で、型空間の次元数を縮小する方法を提供する。これは、例の型のポイント雲における最も重要な変化の指示と提携する１セットの直交軸の計算により遂行される。これらの軸は、形における変化の最多の同相を示す。軸は、パラメーターの最少数を備えた有効な型を表わすために使用することができる、最適の基礎を成形する。
【００６６】
各例の型の提携した特徴対等の物は長さ２Ｎのベクトルｘｉへ整列することができる。共分散マトリックスは下記の式からなる：
【００６７】
【数２】
ここでＮはグラウンドトルース例の数である。主要な軸の順序づけられたリストは、
【００６８】
【数３】
のようなユニット固有ベクトルｖｋ（ｋ＝１、…、２Ｎ）によって与えられ、
ここでλｋはｋｔｈ固有値であり、及びλｋ ＞λｋ＋１。最大の固有値に相当する固有ベクトルは、型における変化の最多の同相を示す。
【００６９】
図１２は顔の型モデルの３つの最も重要な軸を例示している。描写された形は与えられた固有ベクトルに沿った平均の型を変える結果である。顔型における意味論的に意味のある変化と多くの主要な軸が強く関係があることに注目することは興味深い。例えば、第一軸１２１０はヘアーラインの位置に関し、第二軸１２１２は頭の前方の傾斜に関係しており、第三軸１２１４は顔の幅に関連する。
【００７０】
大多数の型空間はしばしば比較的主要な軸の少数で表わすことができる。保持する軸の数は固有値から決定することができる。固有値は、対応する固有ベクトルによって明白にされた軸に沿ったグラウンドトルースの変化と等しい。軸の適切な数は、変化の合計の与えられた分画ｆをカプセルに入れる量の選択により決定することができる（例えば、０．９８）。これは、
【００７１】
【数４】
のような第一Ｍ固有ベクトルの選択により達成される。
任意の型は、
【００７２】
【数５】
を使用して、平均の型、及びこれらの軸に沿った摂動の線形結合から接近することができ、ここでＶ＝（Ｖ１Ｖ２…ＶＭ）は第一Ｍ固有ベクトルのマトリックスであり、ｂ＝（ｂ１ｂ２…ｂＭ）Ｔは質量ベクトルである。質量ベクトルは、型モデルのパラメーターを成形し、逆の式から特徴位置の与えられたセットから計算することができる。
【００７３】
【数６】
どんな型も、質量ベクトルを決定しこれらの値の範囲に制限を設けることにより、グラウンドトルースの例に似るためになることができる。適切な範囲は、各軸に沿ったグラウンドトルースの変化を明白にする固有値に由来することができる。１つの可能性は重量を、各軸に沿った一連の３つの標準偏差に限定することである。これは、
【００７４】
【数７】
であるように質量をクリッピングすることによって達成できる。
【００７５】
段階１０１４において、肌合いの窓によってカバーされた画像の領域は各特徴ポイントですべての解像度のために抽出されグラウンドトルースの各例のためにコード化される。次に、肌合いのモデルはコード化された肌合いを使用して計算される。
【００７６】
肌合いをコード化する様々な方法がある。最良の結果は下記方法を使用して、現在達成されている。肌合いは、ｓＲＧＢ色空間において色ＲＧＢ画像として本来表される。強度勾配大略は各色通路のために計算される。これは、正常な方向に沿って近隣のピクセル値の差分を計算することにより遂行される。その後、勾配のプロファイルは平均強度によって標準化され、単一のベクトルｔへ組み合わせられる。この表現は、肌合いの窓内の色端の配位及び相対的な位置に関する情報を保持し、絶対的な強度及び端の強度を標準化する。これは、画像内の明るさとコントラストの変更の影響を最小限にする一方で、十分に肌合いの外観について記述する利点を有している。
【００７７】
各例からのコード化された肌合いは最終の肌合いモデルを計算するために使用される。このモデルは平均のコード化された肌合い
【００７８】
【数８】
と共分散マトリックスＳｔからなる。このマトリックスはわずかに異なる変数名でにもかかわらず式１のように、計算される。個々のピクセルがどのように共同に変化するのと同様に、共分散マトリックスは、肌合いに各ピクセルの変異の幅について記述する役目をする。我々が単峰ガウス分布を仮定すれば、これは、例の肌合いの分配の完全な統計表現を提供する。
【００７９】
肌合いモデルは、肌合い候補の適合度を決定する根拠を提供する。マハラノビス（Ｍａｈａｌａｎｏｂｉｓ）距離メトリックは、整合の質を決定することができる。このメトリックは、
【００８０】
【数９】
によって与えられ、ここでｆ（ｔ）は平均値からの候補の増量された距離を明白にする。この値は、直線的に、候補が例分配から来るという確率の対数と関係がある。
【００８１】
トレーニングの間に、個別の肌合いのモデルを各特徴ポイントですべて解像度において作成する必要がある。様々なレベルのモデルはすべて特徴ポイントに関して集中させられ、同数のピクセルを使用してコード化される。粗い肌合いは、典型的には各々より素晴らしい肌合いの範囲の２倍を連続的にカバーする。
【００８２】
図１３は、顔の特徴の発見のための典型的な画像１３００を表示する。段階１０１２から得られる平均型１３１０は、３段階：段階２１６、段階２２０若しくは段階２２４の一つから得られる目の位置において段階１０１５で開始される。平均型１３１０の助けによって、画像内の特徴ポイント１１２０の位置は段階１０１６での一連の局地的な探索の実行によって決定される。評価された目の位置によって決定された初期の位置での平均の型モデル１３１０の特徴位置の現在の評価は探索位置を初期化するために使用される。肌合いの窓１１４０の数は型モデル１３１０の各ポイントの周囲のエリアから抽出される。これらの窓の内容物は、特徴の予期された外観と最も良く一致する位置を決定するために段階１０１４で開発されていた肌合いモデルと比較される。
【００８３】
探索方向は平値に沿って型境界に適応する。ユーザは、探索位置の面間隔及び量を明白にすることができる。この発明において、３ Ｘ ７セットの位置の典型的な範囲が調査される。探索中間期は顔の一貫した領域がカバーされることを保証するためにダイナミックに計られる。
【００８４】
各探索位置では、段階１０１４で議論されるように、肌合いの窓１１４０は抽出されコード化される。肌合いのモデルへの肌合いの窓の類似性は、式７に記述されたマハラノビス距離によって測定される。最小の距離を備えた位置は新しい特徴位置として選択されている。この工程は各特徴ポイントにおいて繰り返される。
【００８５】
段階と一致する局所的な肌合いによって識別された特徴位置１１２０は、誤差の傾向がある。この誤差は一部特徴の可変外観及び周囲の領域とのそれらの類似点による。正確さも、特徴の正確な位置を集中するのに必要な肌合いの窓１１４０の小規模によって制限されている。探索結果の品質は形モデルによって記述される、妥当な型の範囲に対する特徴ポイントの限定により著しく改善することができる。
【００８６】
特徴ポイント１１２０は下記の工程の使用によって有効な型に抑制することができる。第一に、現行の型はトレーニング工程１０１２の間に計算された、平均型と提携する。２つの形を整列させるユークリッドの変換式は最小の正方形適合から決定される。提携した特徴対等の物は、式５を使用して、ＰＣＡ型空間へ映される。その後、形係数は合理的な範囲に制限されている。有効な形の典型的な９９．９７５％を含んでいる範囲は、この発明の中で使用された。制限のある形係数に相当する特徴位置１１２０は式４を使用して計算される。最後に、ユークリッドの変形は提携した形を後ろに画像対等の物に変換するために逆さまである。
【００８７】
型係数を抑制する多くの方法がある。このアプローチは図１４に例証されている。最も簡素な方法は、各軸に沿ったグラウンドトルース１４１０の標準偏差の与えられた数を超過しないように、単に各係数をクリップすることである。この制限は式６に記載されている。これは、図１４の中で例証されるような範囲のために多次元の箱１４５０を使用することに相当する。箱の角で型１４２６にグラウンドトルース空間１４１０の外側の評価された型１４１６を抑制することができるかもしれない。このアプローチに関する問題は、箱の角に存在する型１４２６に明白にされた閾値より発生の著しく低い確率があるということである。
【００８８】
よりよいアプローチは係数の範囲を限定するために過度の楕円の境界１４５２を使用することである。これは、
【００８９】
【数１０】
であるようにすべての係数を一様に計ることにより遂行することができ、ここで制限ｌはｘ２分配を用いて選択される。このアプローチは図１４の中間の図に例示されている。グラウンドトルース空間１４１０の外側の評価された型１４１６において、抑制された形は楕円境界１４５２の交点ポイント１４３６及び評価された形ポイント１４１６と楕円の中心１４６０間のラインになるだろう。ポイント１４６０はポイント１４１６への楕円境界上の最も接近しているポイントを必要としない。
【００９０】
本発明において、よりよい形は開始型１４１６に最も近い過度の楕円の境界上のポイント１４４６を選択することにより見つけることができる。このアプローチは図１４の下の図に描写されている。楕円の強制方法によって誤って選択されるポイント１４４８は、楕円の境界を備えた点線の交点によって与えられる。
【００９１】
過度な楕円の境界上で最も接近しているポイントを見つけることは、高度の多項式の解決策を要求する。この多項式は分析的に解決することができない。しかしながら、ハート（Ｈａｒｔ， Ｊ．Ｃ．， “Ｄｉｓｔａｎｃｅ ｔｏ ａｎＥｌｌｉｐｓｏｉｄ，” Ｇｒａｐｈｉｃｓ Ｇｅｍｓ ＩＶ， Ｐａｕｌ Ｓ． Ｈｅｃｋｂｅｒｔ Ｅｄｉｔｏｒ， Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ， Ｂｏｓｔｏｎ， ＭＡ， ｐｐ．１１３−１１９， １９９４を参照）によって作成されたアルゴリズムの拡張を数的に使用して解決することができる。ハートはそこで境界の既知のセット内に多項式の正確な根が位置する表現を産出するためにその問題の知的なパラメーター化を使用するアプローチを発展した。この根は、ひとまとめに扱うことと二分を使用して容易に見つけることができる。ハートは、３−次元の楕円の場合におけるアルゴリズムについて記述する。このアプローチは任意の数の大きさまで及ぶことは比較的簡単である。
【００９２】
段階１０２０において、局所的な肌合いを見つける工程は一致し、次いで、型が安定した結果で集中するまで、グローバル型の抑制は繰り返される。型が各反復上で変更する量を測定し、変更が与えられた閾値以下に落ちる場合、工程を中止することは可能である。しかしながら、型が非常に急速に集中するので、これは必要ではない。代わりに、好結果は、反復の定数の工程を単に繰り返すことにより達成された。
【００９３】
本発明において、活発な型モデルアルゴリズムは、段階１０２２を備えた複数の解像度フレームワークで実施することができる。これは、特徴が正確に識別することができる範囲を効率的に拡張する。アルゴリズムの複数の解像度バージョンは最初に、大規模な粗い肌合いのモデル及び広い肌合いの探索エリアを使用して、画像を探索する。その後、近似の特徴位置は、連続的により小さくより精密な肌合いのモデル及びより狭い探索エリアを使用して精錬されている。
【００９４】
探索する場合に検討される位置は、肌合いの窓と同様に計られる。これらの位置は、特徴位置の現在の評価に関して集中させられ、及び、同数のポイントは各解像度で調査される。粗い肌合いのモデルと共に使用される探索位置間の面間隔は、一般に各々の連続的に精巧な肌合いのモデルで使用される際の二倍である。
【００９５】
探索するアルゴリズムは最初に最も粗い肌合いのモデル及び最も広く間隔を置かれた探索位置を使用する。型が集中するまで、局所的に肌合いと整合する工程及びグローバル型を抑制することが繰り返される。この工程はより精巧な肌合いのモデル及びより厳密に間隔を置かれた探索中間期を使用して、各解像度において繰り返される。４つの解像度が、大きな探索中間期及び特徴位置の精巧な位置確認の両者を供給する動作において使用された。
【００９６】
本発明の方法は、これらの目を検出する方法の間で自動的に選択し、画像の目を検出する最も効率的な方法を選択するために虹彩ピクセルクラスタの数を使用する手法でこれらの方法を組み合わせるための方法を提供することがまた理解されるであろう。
【００９７】
本発明の主題は、デジタル画像をデジタル処理する認識するべき技術を意味しそれによって人間の理解し得る対象、特質若しくは条件に有用な意味を帰し、次いで、デジタル画像の一層の処理の中で得られた結果を利用するために考えられるデジタル画像理解技術に関係がある。
【図面の簡単な説明】
【図１】本発明の実行に有用な画像処理システムの概略図である。
【図２】本発明の目の検出方法を例示するフローチャートである。
【図３】画像での幾何学的パラメーターと楕円状の肌の色の領域との関係を例示する。
【図４】与えられたピクセルが特定の赤い強度の機能として明示された虹彩ピクセルである条件付確率及び与えられたピクセルが特定の赤い強度の機能として明示された非虹彩ピクセルである条件付確率を示すことを例示する
【図５】与えられたピクセルが特定の赤い強度レベルの機能としての虹彩ピクセルである条件付確率を表現する統計モデル及び与えられたピクセルが特定の赤い強度レベルの機能としての非虹彩ピクセルである条件付確率を表現する統計モデルを開発する工程を表現するフローチャートである。
【図６】虹彩の色のピクセルクラスタを示していることを例示する。
【図７】虹彩ピクセルクラスタを用いて目の位置を検出するために２乗された差分法を合計する方法を適用する工程を例示するフローチャートである。
【図８】目のテンプレート及び虹彩ピクセルクラスタの中心に集中する探索窓を示す。
【図９】目のテンプレート及び画像ピクセルを使用して目の位置を検出するために２乗された差分法を合計する方法を適用する工程で使用される画像を示す。
【図１０】顔の特徴モデルをトレーニングする工程及び顔の特徴を探索する工程を例示しているフローチャートである。
【図１１】ａは手動でマークされた特徴ポイントの実施例を示し、ｂは特徴ポイントでの肌合いの窓の実施例を示す。
【図１２】顔のモデルのサンプルを示す。
【図１３】画像での平均の型の開始位置を示す。
【図１４】型モデル係数を抑制する異なるスキームを使用することを例示する。
【符号の説明】
１０ デジタル画像源
１２ 画像プロセッサー
１４ 表示
１６ キーボード
１７ コンピューター読取り可能記憶媒体
１８ マウス
１９ 出力装置
７０ 窓を中心に置く段階
７２ ２乗された差分の合計電卓
７４ チェックする段階
７６ 位置を記録する段階
７８ チェックする段階
７９ 位置を記録する段階
２００ ピクセル検出
２０１ カラーヒストグラム均一化段階
２０２ 肌の検出段階
２０４ 楕円領域抽出段階
２０６ 虹彩色ピクセル検出段階
２０８ 虹彩ピクセルをクラスタにする段階
２０９ ピクセル確認段階
２１０ 検出されたピクセルの数を決定する段階
２１２ 虹彩色ピクセルクラスタの中心を見つける
２１４ 幾何学的な推論に基づく目の位置の検出
２１６ 検出された目の決定段階
２１８ 虹彩ピクセルクラスタを使用して２乗された差の合計に基づく目の位置を検出
２２０ 検出された目の決定段階
２２４ 画像ピクセルを使用して２乗された差分の合計方法を用いる目の位置の検出
２２６ 虹彩色ベイズモデルトレーニング
３００ 楕円上部
３０２ 楕円底部
３０４ 楕円左
３０６ 楕円右
３０８ 楕円中央列
３１０ 楕円中央カラム
４０２ ピクセルが虹彩である際の確率の統計モデル
４０４ ピクセルが虹彩でない際の確率の統計モデル
５０２ 統計モデルにおいて虹彩ピクセルを手動で識別する
５０４ 統計モデルにおいて非虹彩ピクセルを手動で識別する
５０６ 確率を計算する段階
５０８ 確率を計算する段階
５１０ ベイズモデルの適用
６００ クラスタの中心
６０２ 虹彩色ピクセル
６０４ 左半分領域
６０６ 右半分領域
８００ 窓
８０２ 窓で移動する平均の目のテンプレート
８０４ 画像
８０６ 平均の目のテンプレート
９０２ 画像で移動する平均の目のテンプレート
９０４ 画像
９０６ 平均の目のテンプレート
９０８ 画像の左半分
９１０ 右半分
１０００ 顔の特徴を位置確認する段階
１０１０ グラウンドトルースを収集する段階
１０１２ 型モデルを学習する段階
１０１４ 複数の解像度の肌合いのモデルを学習する段階
１０１５ 初期化段階
１０１６ 局在の肌合いを整合する段階
１０１８ 型を抑制する段階
１０２０ 集束をチェックする段階
１０２２ 解像度をチェックする段階
１１１０ 画像
１１２０ 特徴ポイント
１１４０ 肌合いの窓
１２１０ サンプル型
１２１２ サンプル型
１２１４ サンプル型
１３００ 画像
１３１０ 平均の型
１４１０ グラウンドトルース
１４１６ サンプル型
１４２６ 型のポイント
１４３６ 型のポイント
１４４６ 型のポイント
１４４８ 型のポイント
１４５０ 境界
１４５２ 境界
１４５４ 境界
１４６０ 平均の型のポイント
１４６２ 平均の型のポイント
【発明の属する技術分野】
本発明は、デジタル画像理解方法に関し、より詳細には人の顔の特徴を検出するための方法に関する。
【０００２】
【従来の技術】
顔の特徴の位置を検出する性能は様々な応用に役立つ。それらの適用は、自動的に顔を変形すること及びゆがめること、表現認識、髪の毛の区分化、顔の認識及び分類、赤目検出、並びに顔の画像圧縮を含んでいる。さらに、顔の特徴の位置を見つけるために使用される技術の多くは、様々な他の一般的な画像特徴検出タスクに役立つ。これらは医学的な画像で器官を識別し産業上の視覚的な応用で回路ボード構成部分の位置を確認することを含むことができる。
【０００３】
顔の特徴の検出は多くの研究者によって研究されている。顔の特徴を検出するアルゴリズムの主に４つの分野がある。それらは、テンプレート整合、エッジ検出、型モデル、及び全体的な整合である。型モデルを使用する技術は最も有望であるように思われる。それらの方法は、妥当性のある結果への探索を抑制するために特徴形のモデルを使用する。これは、特徴がユニークに識別することができる特徴ファインダーの精度及び範囲の両者を増加させる。変形可能なテンプレート及び活発な型モデルは２つの最も一般的なアプローチである。変形可能なテンプレートは特徴型の明示的にパラメター化されたモデルを必要とする。これは、技術の適用可能性を、容易にパラメター化され、型モデルのパラメーターに厳密に一致しない型における結果の正確さを縮小した型に限定する。一方で、活発な型モデルは一連のグラウンドトルース例に基づいた特徴形のモデルを学習する。これは方法を特徴型のはるかに広いクラスに適用可能にする。
【０００４】
活発な型のモデルはＣｏｏｔｅｓ等によって発展された。（例えば、非特許文献１参照。）。それは画像の対象の位置を確認するためのモデルに基づいた機能を提供する。モデル化への柔軟なアプローチは、目標の対象の広いクラスに適用可能で使用される。手順はトレーニングと探索段階の両者からなる。トレーニング間では、実例画像のセットはグラウンドトルース特徴位置を示す一連の制御ポイントで手動で注釈を付けられる。これらの特徴位置は、制御ポイントの妥当性のある相関位置の型のモデルを開発ために分析される。さらに、各制御ポイント周辺の肌合いのモデルが生成される。一度それらのモデルが産出されると、続く探索で使用するために記憶される。探索において、一連の局所的な探索は、その特徴における肌合いのモデルと最も整合する位置を見つけるために各特徴ポイントにて実行される。次いで、グローバルな型モデルは局所的な探索の結果を抑制するために使用される。この工程は安定した結果に集束するまで繰り返す。
【０００５】
Ｃｏｏｔｅｓのシステムにおいて、探索操作はユーザによって提供されるべき適切な開始位置を必要とする。このユーザの介在は、簡素で迅速な方法を備え、好ましくは２つの目である、特定の特徴を見つける自動過程と置き換えることができるかもしれない。
【０００６】
デジタル画像で人の目を検出する当該技術において幾つかの方法が周知である。デジタル画像で人の目の位置を検出する閾値化方法の使用である（例えば、特許文献１参照。）この方法において、走査窓はラスター走査方法を用いて全体画像を横切って走査する。画像を横切って走査するので、ヒストグラム抽出器は窓から強度ヒストグラムを抽出する。各強度ヒストグラムは、肌、目の白さ、瞳の黒さを表現するヒストグラムで３つのピークを検出するピーク検出器によって検査される。３つのピークを有するヒストグラムは目の位置を潜在的に確定する画像の位置を識別する。目の位置は、各潜在的な位置と関連するヒストグラム下のエリアを計算することによって、及び大きなエリアを備えるヒストグラムと関連する位置を選択することによって潜在的な位置から決定される。
【０００７】
このアプローチの一つの問題は、全体の画像をピクセルごとに基づいて走査しなければならないことである。したがって、探索窓は画像の各ピクセルに位置しなければならず、ヒストグラムは各ピクセル位置でアセンブルするべきである。さらに、各ヒストグラム下のエリアは計算され、記憶されなければならない。この方法は大量の計算力を消耗し、画像が処理できる割合を縮小することを認識するだろう。さらにこの方法は高率の肯定的な誤りを起こす。
【０００８】
さらに、異常に高い赤い内容物を有する人の目を検出するための方法が周知である。かかる異常に高い赤い内容は、一般的に赤目として周知の写真現象と関連している。赤目は瞳によって反射される光のフラッシュによって一般的に引き起こされる。例えば、赤目を示唆する高い赤い内容を有するピクセルにおける画像で探索することが知られている（例えば、特許文献２参照。）。同様に、赤目の色の特徴を有する画像のピクセルを検出するためのユーザの相互作用の方法がある（例えば、特許文献３参照。）。そのような方法は赤い目が存在する場合のみ検出することを認識するだろう。
【０００９】
Ｃｏｏｔｅｓのシステムにおいて、探索工程はグラウンドトルース型空間内の最も同様の型を選択しない、型モデル係数を抑制する方法を使用することを注意する。さらに、Ｃｏｏｔｅｓのシステムは、システムが到達できる最終的な結果の正確さを制限する、一定の大きさの肌合いのモデル探索窓を使用する。Ｃｏｏｔｅｓのシステムは対象の大きさが固定されていることを仮定する。これは、異なるサイズの対象を描写する画像が前処理段階で計られることを必要とする。この縮尺係数は、対象のサイズの初期の評価に基づくことができた。固定された大きさの仮定は、探索する場合に繰り返し肌合いの窓を計ることではなく前処理ステップの間に画像が一度計られることを可能にすることにより、性能を改善する潜在性を有している。しかしながら、固定された大きさの利用は、アルゴリズムの適応性を限定し、規模の初期の評価が正しくない場合、正確さに悪影響を及ぼす。
【００１０】
【特許文献１】
ＵＳ６０７２８９２
【特許文献２】
ＵＳ６２９２５７４
【特許文献３】
ＵＳ５４３２８６３
【特許文献４】
ＵＳＳＮ０９／７４０５６２
【特許文献５】
ＵＳＳＮ０９／７４０４２２
【非特許文献１】
Ｃｏｏｔｅｓ，Ｔ．Ｆ．， Ｔａｙｌｏｒ，Ｃ．Ｊ．， Ｃｏｏｐｅｒ，Ｄ．Ｈ．著「Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌｓ−Ｔｈｅｉｒ Ｔｒａｉｎｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎ」Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ 第６１巻、Ｎｏ．１、１９９５年、ｐｐ．３８−５９
【非特許文献２】
Ｊｏｈｎ Ｃ． Ｈａｒｔ 著「Ｄｉｓｔａｎｃｅ ｔｏ ａｎ Ｅｌｌｉｐｓｏｉｄ」 Ｇｒａｐｈｉｃ Ｇｅｒｍｓ ＩＶ， Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ出版、ｐｐ． １１３−１１９
【発明が解決しようとする課題】
したがって、目の検出機能の使用によりユーザ介在のない開始点探索ロケーションを自動的に決定する性能を有するシステムを構築する必要がある。さらにシステムがグラウンドトルース型空間の最良の型モデルを選択する性能を有し、肌合いのモデルのスケールを変えて、窓を探索する必要がある。
【００１１】
【課題を解決するための手段】
本発明は前述に記載した一つ以上の問題を克服するために導かれる。簡単に要約すると、本発明の一つの態様にしたがい、本発明はデジタル画像で顔の特徴を検出するための方法に帰する。本方法は、画像で虹彩ピクセルを検出する段階、虹彩ピクセルをクラスタにする段階、及び目の位置を識別するために、虹彩ピクセルクラスタを使用して目の位置を検出するために幾何学的な推論を適用すること；目の位置を検出するために虹彩ピクセルクラスタを使用して、２乗された差を合計する方法を適用すること；及び画像のピクセルから目の位置を検出するために虹彩ピクセルクラスタを使用して、２乗された差を合計する方法を適用すること、の方法から少なくとも一つを選択する段階を含む。目の位置を識別するために適用される方法は虹彩ピクセルクラスタの数を基本にして選択され、顔の特徴は識別された目の位置を用いて位置が確認される。
【００１２】
本発明の別の態様によると、本発明はまたデジタル画像で顔の特徴を検出するためのコンピュータープログラム製品に帰する。コンピュータープログラム製品は、画像で虹彩ピクセルを検出する段階、虹彩ピクセルをクラスタにする段階、及び目の位置を識別するために、虹彩ピクセルクラスタを使用して目の位置を検出するために幾何学的な推論を適用すること；目の位置を検出するために虹彩ピクセルクラスタを使用して、２乗された差を合計する方法を適用すること；及び画像のピクセルから目の位置を検出するために虹彩ピクセルクラスタを使用して、２乗された差を合計する方法を適用すること、の方法から少なくとも一つを選択する段階を実行するために記憶されるコンピュータープログラムを有するコンピューター読取り可能記憶媒体を含む。目の位置を識別するために適用される方法は虹彩ピクセルクラスタの数を基本にして選択され、顔の特徴は識別された目の位置を用いて位置が確認される。
【００１３】
本発明の態様、目的、特徴及び利点は、下記に記載のより好ましい実施態様及び付随の特許請求の範囲、並びに添付図を参照することで、より明確に理解され認識されるだろう。
【００１４】
【発明の実施の形態】
図１は、本発明の実行に有用な画像処理システムを示している。このシステムは、フィルムスキャナー、デジタルカメラ、若しくはデジタル画像記憶装置（ピクチャーＣＤを備えるコンパクトディスクドライブなど）のようなカラーデジタル画像源１０を含んでいる。カラーデジタル画像源１０からのデジタル画像は、プログラム化されたパーソナルコンピューター若しくはＳｕｎ Ｓｐａｒｃ２０ワークステーションなどのデジタル画像処理ワークステーションのような画像プロセッサー１２に提供される。画像プロセッサー１２は、ＣＲＴディスプレイ１４並びにキーボード１６及びマウス１８などのオペレーターインターフェイスに接続されている。画像プロセッサー１２はまた、コンピューター読取り可能記憶媒体１７に接続されている。画像プロセッサー１２は、処理されたデジタル画像を出力装置１９に転送する。出力装置１９は、ハードコピープリンター、長期画像記憶装置、別のプロセッサー若しくはインターネットなどへ接続される画像テレコミュニケーション装置への接続を含んでいる。
【００１５】
下記の詳細において、本発明の好ましい実施態様は方法として記載されるだろう。しかしながら、別の好ましい実施態様において、本発明は、記載される方法と一致するデジタル画像で顔の特徴を検出するためのコンピュータープログラム製品を含む。本発明の記載において、本発明のコンピュータープログラムは、図１に示されるタイプのパーソナルコンピューターなどの周知のコンピューターシステムによって活用可能であることが明かである。しかしながら、多くの別のタイプのコンピューターシステムは本発明のコンピュータープログラムを実行するために使用可能である。結果として、コンピューターシステムは、ここではさらに詳細には記載されない。
【００１６】
本発明のコンピュータープログラム製品は、画像操作アルゴリズムと周知のプロセスを活用するかもしれないことが理解されるだろう。したがって、本記載は、本発明の方法の一部を形成するか、若しくはより直接的に協働するアルゴリズム及びプロセスに特に導かれるだろう。このように、本発明のコンピュータープログラム製品の実施態様は、実行するために有用であるここで特に示されていないか記載されていないアルゴリズム及びプロセスが具体化されるかもしれないことが理解されるだろう。かかるアルゴリズム及びプロセスは、かかる技術分野の従来で元来の技術の範囲内である。
【００１７】
かかるアルゴリズム及びシステムの追加的な態様、並びに画像を生成するため及び処理するための若しくは本発明のコンピュータープログラム製品と協働するハードウェア及び／若しくはソフトウェアはここでは特に示されていないか若しくは記載されておらず、当該技術で周知のかかるアルゴリズム、システム、ハードウェア、構成部品及び要素から選択されるかもしれない。
【００１８】
本発明の方法を実行するためのコンピュータープログラムはコンピューター読取り可能な記憶媒体に記憶されるかもしれない。例えば、この媒体は、磁気ディスク（ハードドライブ若しくはフレキシブルディスクなど）若しくは磁気テープなどの磁気記憶媒体；光ディスク、光テープなどの光記憶媒体若しくは機械が読取り可能なバーコード；ランダムアクセスメモリ（ＲＡＭ）などの固体状の電子記憶装置若しくは読取り専用メモリ（ＲＯＭ）；又はコンピュータープログラムを記憶するために使用される別の物理的な装置若しくは媒体を含むかもしれない。本発明の方法を実行するためのコンピュータープログラムは、インターネット若しくは別の通信媒体の手法で画像プロセッサーと接続されているコンピューター読取り可能記憶媒体に記憶されるかもしれない。かかるコンピュータープログラム製品の相当物もハードウェアに構築されるかもしれないことが当業者は認識するであろう。
【００１９】
図２を参照するに、本発明の方法はより詳細に記載されるだろう。図２は、本発明の目の検出方法の一つの実施態様を例証するフローチャートである。図２は、処理されるデジタルカラー画像が虹彩色ピクセル検出段階２００にまず最初に入力されることを示している。示されている実施態様において、虹彩色ピクセル検出は画像の肌の色の領域の第一検出によって達成され、次いで肌の色の領域内からの赤の強度レベルを測定することによって虹彩色ピクセルを識別する。
【００２０】
肌の色の検出における第一段階は、段階２０１として図２に示されているカラーヒストグラムの均一化である。カラーヒストグラムの均一化段階２０１は処理されるべき画像を受取り、画像が肌の色の検出を可能にする形態であることを保証する。光の状態、フラッシュの設定及びフィルム特性のために人の肌が多くの数の色を取るためにこの段階は必要である。このような画像の肌を自動的に検出することは困難である。カラーヒストグラム均一化段階２０１において、各画像の統計的な分析は実行される。統計的な分析が、画像が光の状態によって外観が修飾される肌の領域を含むかもしれないことを提示する場合、次いでこのような画像は、肌の着色された領域が検出できるために修飾される。
【００２１】
カラーヒストグラム均一化段階後、画像は肌の色を検出する段階２０２で肌の色の領域において探索する。多くの方法でデジタル画像の肌の検出が可能である一方で、デジタル画像で肌を検出するための好ましい方法は、画像の大きく釣合の取れている集団から集められた一連の可能な肌の色を含んでいるワーキング色空間の確定により、画像中の他のピクセルから肌の色ピクセルを分離することである。次いで、ピクセルは、ピクセルがワーキング色空間内である色を有する場合に、肌の色のピクセルとして識別される。
【００２２】
肌の色の検出段階２０２は、画像における肌の色のピクセルの領域を識別する。この領域は多くの手法で確定される。一つの実施態様において、肌の色の領域は、肌の色を有する画像でピクセルを識別するピクセルの位置のセットにより確定される。別の実施態様において、修正された画像は肌の色のピクセルのみを含むことを生成される。さらなる別の実施態様において、肌の色の検出段階２０２は、画像において肌の色の領域を境界する、境界線を確定する。一つ以上の肌の色の領域が画像で識別できることが認識されるだろう。
【００２３】
楕円形の領域抽出段階２０４は、顔を示す肌の色の領域を定める肌の色の検出段階２０２によって検出された肌の色の領域を検査する。人の顔が大まかに楕円形状を有するために、肌の色の領域は楕円状の肌の色の領域を定めるために試験される。楕円形状の肌の色の領域が発見された場合、楕円形の領域抽出段階２０４は楕円形状の肌の色の領域の幾何学的特徴を測定する。楕円形の領域抽出段階２０４は、画像内の顔の大きさ及び顔の位置を記載するパラメーターを確定するための測定を使用する。
【００２４】
図３は画像内で楕円形状の肌の色の領域を確定するために使用される幾何学的パラメーター間の関係の例示である。図３に示されているように、それらのパラメーターは楕円形の上部３００、楕円形の底部３０２、楕円形の左３０４、楕円形の右３０６、楕円形の中心列３０８、及び楕円形の中心カラム３１０を含んでいる。これらのパラメーターは、目の検出工程の効率を増加させる本方法の後の段階において使用される。本発明の方法が、楕円形以外の形状を有し、そのような形状でその他の幾何学的なパラメーターを確定することができる肌の色の検出領域を使用して、実行することができる。画像において楕円形若しくは他の形状のエリアを検出することが必要でないことが認識されるだろう。このような場合において、肌の色の領域は虹彩色ピクセルを検出するために試験される。さらにこの場合において、肌の色の領域を記載している他のパラメーターは目の検出の工程において使用されるために確定される。
【００２５】
楕円の領域抽出が実行された後、楕円形状の肌の色の領域は虹彩色ピクセルにおいて探索される。この段階は虹彩色ピクセル検出段階２０６によって実行される。虹彩色ピクセルの捜索を、楕円形状の肌の色の領域内のピクセルに限定することは、虹彩色ピクセル検出の効率を増加させることを認識するだろう。虹彩と関連するピクセルを検出する虹彩ピクセル検出段階２００において多くの方法があることが認識されるだろう。かかるピクセルは、簡素な色閾値化方法、モデルマッピング、及び当該技術で周知の他の方法によって識別できる。
【００２６】
一つの好ましい実施態様において、虹彩ピクセルは同時係属で一般公開されている“Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ Ｐｒｏｃｅｓｓｉｎｇ Ｍｅｔｈｏｄａｎｄ Ｃｏｍｐｕｔｅｒ Ｐｒｏｇｒａｍ Ｐｒｏｄｕｃｔ ｆｏｒ Ｄｅｔｅｃｔｉｎｇ Ｈｕｍａｎ Ｉｒｉｓｅｓ ｉｎ ａｎ Ｉｍａｇｅ”という題名の２０００年１２月１９日に出願された米国特許出願番号０９／７４０４２２を用いて検出される。この実施態様において、虹彩ピクセル検出段階２０６はピクセルがピクセルの赤の強度を測定することによるピクセルであるかどうかを決定する。これは、比較的高い赤い強度を有している、人の肌と比較して、人の虹彩が低い赤い強度を有することが観察されるためになされる。しかしながら、この実施態様において、虹彩色ピクセルは簡素な閾値化方法に基づき肌の色の閾値とは分離される。代わって、楕円形状の肌の色の領域でのピクセルの赤の強度は、各ピクセルが虹彩であるという確率を決定し、かつ各ピクセルが虹彩ではないという確率を決定するために使用される。次いで、ピクセルが虹彩であるという確率とピクセルが虹彩ではないという確率との関係は、ピクセルが虹彩ピクセルであるかどうかを決定することで分析される。
【００２７】
与えられた赤い強度を有しているピクセルが虹彩ピクセルであるという確率は虹彩統計模型に基づいて決定される。同様に、非虹彩統計模型は与えられたピクセルが、ピクセルの赤い強度水準に基づいた虹彩ピクセルではないという確率を確定するために使用される。与えられたピクセルが特定の赤い強度Ｉの機能としての虹彩ピクセルである条件付確率４０２を表わす統計模型の例を示し、及び与えられたピクセルが特定の赤い強度Ｉの機能としての非虹彩ピクセルである条件付確率４０４を表す統計モデルの実施例を例証する図４の例の手法で示されるように、これらのモデルの関係は非線形である。
【００２８】
確率分析は多くの形式をとることができる。例えば、確率は様々な方法で、虹彩として、あるいはこれらの確率の関係に基づいてではなく分類されているピクセルと結合することができる。しかしながら、好ましい実施態様において、ベイズ（Ｂａｙｅｓ）モデルとして周知の数式は、与えられた赤い強度を有するピクセルが虹彩に属する条件付確率を生産する確率を組み合わせるために使用される。
【００２９】
この実施態様において、ベイズモデルは下記のように適用される：
【００３０】
【数１】
【００３１】
前述に記載の実施態様において、楕円の上部３００、楕円の底部３０２、楕円の左３０４、及び楕円の右３０６によって確定される楕円形状の肌の色の領域のそれらのピクセルだけが試験される。楕円形状の肌の色領域で検査されるピクセルの制限は、検査されるピクセルの数を縮小し、虹彩でないピクセルがかかるものとして分類されるという確率を減少させる。本発明の他の実施例に記述されるように、肌の色の領域で検査されるピクセルの制限は、同様の利点を有することが理解されるだろう。肌の色の領域を検出することは必要ではなく、また、画像において各ピクセルの赤い強度を測定しピクセルが上に記述した確率分析に基づいた虹彩かどうか決めることにより、本発明を実行することができることは理解されるであろう。
【００３２】
図５は、ピクセルが虹彩ピクセルであるかどうかを決定するために使用される統計モデル及びピクセルが非虹彩ピクセルであるかどうかを決定するために使用される統計モデルを確定するために使用される虹彩の色のベイズモデルトレーニング段階２２６を例証するフローチャートを示す。段階２２６の方法は、虹彩を検出するために本発明の虹彩が使用されることを検出する方法の前に実行される。示されるように、図５において、前面の顔の画像の大きなサンプルは集められ検査される。次いで、顔の領域のすべての虹彩ピクセル及び非虹彩ピクセルは手動で５０２及び５０４を識別される。次いで、与えられた虹彩ピクセルが特異的な赤の強度Ｉを有する条件付確率、Ｐ（Ｉ｜虹彩）は計算され、顔の楕円領域での虹彩の発生の可能性Ｐ（虹彩）５０６は計算され、次いで、与えられた非虹彩ピクセルが特定の赤の強度Ｉを有する条件付確率、Ｐ（Ｉ｜非虹彩）は計算され、最後に顔の楕円領域の非虹彩ピクセルの発生の確率、Ｐ（非虹彩）５０８が計算される。与えられたピクセル強度が虹彩Ｐ（虹彩｜Ｉ）５１０に属するという条件付きの確率を生成するために、虹彩及び非虹彩の計算された統計模型は、ベイズモデルで使用される。ある実施態様において、ベイズモデルは虹彩の色のピクセル検出段階２０６で使用される検査テーブルを生成するために使用される。
【００３３】
虹彩の色のピクセル検出段階２０６が画像での虹彩ピクセルの位置を識別した後に、虹彩の色のピクセルはクラスタにアサインされる。これは、虹彩のピクセルをクラスタにする段階２０８によってなされる。クラスタは、クラスタ内のどのピクセルもさらにクラスタの別のピクセルへのあらかじめ定められた距離内にある特性を備えた虹彩の色のピクセルの空でない集合である。好ましい距離の一つの実施例は、デジタル画像の高さの３０分の１である。図２の虹彩のピクセルをクラスタする段階２０８は、クラスタのこの定義に基づいたクラスタへ虹彩の色のピクセルをグループ化する。しかしながら、ピクセルは他の判定規準に基づいてクラスタに分けられるかもしれないことが理解されるであろう。
【００３４】
ある特定の環境下において、虹彩色ピクセルの定義が無効のクラスタを含むことは十分に広いかもしれない。かかる環境において、図２に示されているように、クラスタを有効にする段階は、段階２０９として含まれている。例えば、あまりにも多い虹彩色ピクセルを含んでいるので、若しくはクラスタ中のピクセルの幾何学的な関係がクラスタは虹彩を示さないと示唆するので、クラスタは無効かもしれない。例えば、クラスタの高さとその幅の比率が決定される場合、及び比率が２を越えるものである場合、このクラスタは無効である。無効の虹彩ピクセルクラスタは一層の考察から取り除かれる。したがって、続く記載の部分では、有効な虹彩ピクセルクラスタは単に虹彩ピクセルクラスタと呼ばれるだろう。
【００３５】
虹彩ピクセルクラスタの数“ｎ”は、段階２１０で数えられる。虹彩ピクセルクラスタの数“ｎ”は、画像の目の発見のために２つの経路の中から選択する決定ステップ２１０によって使用される。虹彩ピクセルの数“ｎ”が２よりも小さい場合、処理は後に記載される段階２２４に枝分かれされる。虹彩ピクセルの数“ｎ”が少なくとも２である場合、処理はクラスタの中心を発見するために段階２１２に枝分かれする。クラスタの中心はクラスタの質量の中心として決定される。クラスタの中心位置は画像座標系の原点に関して計算される。この測定の目的において、画像座標系の原点は画像境界の上左角である。
【００３６】
虹彩ピクセルクラスタの各々の中心が見つけられた後、幾何学的な推論は、虹彩ピクセルクラスタの幾何学的な関係に基づいた目を検出することを試みるために適用される。図６に示されるように、一つが左半分６０４で一つが右半分６０６で２つのクラスタのみがある場合、二つのクラスタの中心間の水平距離が楕円の右３０６と楕円の左３０４との間の距離の０．４倍よりも小さい場合、及び二つのクラスタの中心間の垂直距離が楕円上部３００と楕円株の３０２との間の距離の１０分の１よりも小さい場合、それら２つのクラスターの中心位置は目の位置として扱われる。
【００３７】
この分析が非常に迅速に完結することが認識されるであろう。この分析が成功した場合、目の位置を検出するためのさらなる行動は必要としない。したがって、検出結果点検は目の位置が検出されるかどうか確かめるために段階２１６でなされる。目の位置が検出される場合、目の検出処理は終了する。目の位置が検出されない場合は、処理は段階２１８に進む。
【００３８】
段階２１８において、２乗された差を合計する方法は目の位置を求めて画像を探索するために使用される。一般的に、２乗された差を合計する方法は、目のテンプレート、及びテンプレートと同じサイズを有する画像のパッチ中の対応するピクセルの強度値の２乗された差分の合計を計算することを含んでいる。この方法において、ピクセルのパッチでの各ピクセルはテンプレートでの対応するピクセルを有する。各対応するピクセルの強度レベル間の差は計算される。次いで、各差は２乗される。その後、セット中のピクセルの各々のための２乗された差分の各々の合計は計算される。２乗された差分のこの合計は、測定されたピクセルセット及びテンプレートの各々間の一致の程度の相対的測度を提供する。目の位置が検出されない場合２２０、その後、処理は２２４へ進む。
【００３９】
本発明に適用されるように、２乗された差分値の合計は、各半分領域の各窓での各ピクセルのために計算される。これらの値は比較され、及び２乗された差分値の最下の相対的な合計があるクラスタは、それぞれの領域の半分における目の位置であると確認されて選択されている。この工程は、下に記述された方法で、画像の左及び右半分領域上で別々に実行される。
【００４０】
本発明が、平均的な目のテンプレートと、ピクセルのパッチの各々の間の最良の相関性を識別するために２乗された差を合計する方法を使用することが記載される一方、平均二乗誤差方法を含む他の方法はこの目的のために使用することができることを注意する。
【００４１】
本発明の方法の一つの実施態様において、楕円領域検出段階２０４で計算されるパラメーターは、２乗された差分の合計が計算されるに違いない画像中の位置の数の縮小により、２乗された差を合計する方法の使用の効率を増加させるために使用される。図６に示されるように、この実施態様において、楕円中心カラム３１０は楕円領域を左半分領域６０４と右半分領域６０６に分割するように使用される。さらに図６で示されるように、虹彩ピクセルクラスター６００と虹彩ピクセルクラスター６００の中心位置６０２は楕円中心カラム３１０によって分割される右半分領域６０４若しくは左半分領域６０６の何れかに位置する。
【００４２】
段階２１８は、２乗された差を合計する方法及び左半分領域６０４に位置するピクセルクラスタ６００を使用して、左の目の位置探索を行なう。段階２１８はまた、２乗された差を合計する方法及び右半分領域６０６に位置する虹彩ピクセルクラスター６００を使用して、右の目の位置探索を行なう。
【００４３】
図７及び８を参照するに、半分領域でのクラスタから一つのクラスタを選択するための工程が記載される。目の位置を探索する工程は、それぞれの半分の領域で各クラスター８０２の中心に窓８００を集中させること７０によって開始される。窓８００のデフォルトサイズは画像８０４のサイズの２０分の１である。その後、２乗された差分７２の合計を計算する操作は、各窓８００のピクセルの各々で実行される。各窓８００に２乗された差分値の最下の合計を有するピクセルの位置が記録される７６。２乗された差分値の合計が、領域の半分７８のすべての窓のすべてのピクセルにおいて計算された場合、２乗された差分値の最下の合計があるピクセルの位置が記録される７９。これは半分の領域での予測される目の位置である。この工程は残りの半分の領域において繰り返される。二つの目がこの工程によって検出される場合、この方法は終了する。
【００４４】
段階２１８の２乗された差を合計する方法は楕円形状の肌の色抽出を使用しないで実行できることが認識されるだろう。かかる実施態様において、肌の色領域は左半分領域と右半分領域に分割できる。次いで、虹彩ピクセルクラスタはクラスタの左半分領域と右半分領域に分割できる。２乗された差を合計する方法は前述に記載のように適用できる。
【００４５】
しかしながら、目が段階２１８の実行の後に検出されなければ２２０、若しくは２つ以下の虹彩ピクセルクラスタが段階２０９で検出される場合、その後、目の検出工程は段階２２４に進む。段階２２４は、段階２１８と同様の手法で操作する。しかしながら、図９に示されているように、全体の画像９００は分割され、２乗された差の合計は画像９０４の左半分領域９０８及び右半分領域９１０のそれぞれの各ピクセルにおいて計算される。
【００４６】
他の方法は、画像及び目のテンプレートのパッチ間の相対的な相関性を決定するために、２乗された差を合計する方法の代わりに使用することができることが認識されるであろう。一つの例は平均二乗誤差方法である。この方法は当該技術において周知である。
【００４７】
本発明が画像において目を検出するための３つの個別の方法は、幾何学的な推論２１２及び２１４、虹彩ピクセルクラスタ２１８を用いる２乗差の合計及び画像ピクセル２２４を用いる２乗差の合計であることが認識されるであろう。幾何学的な推論がこれらの方法において最も簡素で最も効率的であることが理解されるだろう。これは幾何学的な推論が最も効率的な処理方法を提供するからであり、及び幾何学的な推論が虹彩ピクセルクラスタにのみ適用されるためである。画像中のピクセルの数と比較された場合、これらのクラスタは数において比較的小さい。
【００４８】
対照的に、画像中のピクセルの各々に段階２２４で要求されるように、２乗された差を合計する方法を適用することは、画像中の単一のピクセルが目の位置かどうか決めることを多くの処理段階及び計算に要求する、計算上激しい段階である。さらに、段階２２４の方法は画像のすべての非虹彩ピクセルに適用すべきである。現行の共通のフォーマットにおいて、デジタル画像は２．１メガピクセルカメラによって獲得されている。さらに、１６ものメガピクセルを有するカメラが実証された。このように、画像において目の位置を検出するための段階２２４の使用は文字通りに、単一の画像を処理することを何億もの操作に要求するだろうことが明かである。これは時間とコンピューター集約的な工程である。
【００４９】
中間のアプローチとして、段階２１８は２乗された差分法の計算上重い合計を適用するが、虹彩ピクセルクラスタに関して確定された窓のピクセルに対するこの方法の応用を限定する。これは、２乗された差を合計する方法が適用されるに違いないし、したがって２乗された差分法２２０の合計の応用を、ステップ２２４の２乗された差分の合計より集中的なより少ないコンピューターにするピクセルの数を実質上縮小する。
【００５０】
図２の顔の特徴に見られる段階１０００は図１０で詳細にされる。“ポーズした”画像データベースは、グラウンドトルース画像１０１０として最初に選択された。このデータベースは、対象の前面の概観を描く肖像スタイル絵を含む。データベースの顔の大きさは、８３ピクセルの典型的な平均の相互の目の距離で同様に合わせられる。
【００５１】
活発な型のモデル技術は、接続している特徴ポイントの１つ以上のグループを備えた対象型を表わす。これらの特徴ポイントは、局所的な探索が実行される位置を決定する。ポイント間の関係は、探索方向及び肌合いの窓配位を確定するために使用される境界平値を決定する。特徴ポイントは特定の“目標”が位置する一連の応用を示し、典型的には対象の境界に沿って置かれる。ポイント間の関係は通常は対象のエッジを明示する。これらは対象の形の立体感を出す場合、判断されるに違いない多くのエンジニアリング決定である。それらの決定の最も重要なことは、どこに特徴ポイントを置くか決めることである。これらのポイントは、周囲のエリアから容易に同一化が可能な、一貫してユニークな肌合いに置かれるべきである。対象のエッジ及び角は、通常は良好な目標ポイントである。複数ポイントが与えられたエッジに沿って置かれている場合、型モデルへ不必要な変わりやすさを導入することを回避するために、固定された中間期で分配されるべきである。
【００５２】
多くの追加のポイントを備えた与えられた応用によって要求されるポイントを補足することは時々有用である。これらの追加のポイントは補足サポートの提供によりオリジナルの顔立の正確さを増加させるために使用することができる。追加のポイントが、始点との強い位置の相関性を持っている、容易に同一化可能な位置に置かれる場合、これは可能である。
【００５３】
特徴ポイントの量は別の重要な決定である。ポイントの数を増加させることは、結果の正確さを改善し、対象形のよりよい記載を提供することができる。
【００５４】
特徴ポイントの相対密度はまた重要である。各ポイントは対象の結果となる型において等価の影響を有する。したがって、特徴ポイントの高密度を備えたエリアは、ポイントの希薄な分配を備えた領域より高い精度を持つ傾向がある。
【００５５】
最後に、特徴ポイントに通常の配位が考慮されるに違いない。平値は優勢な探索指示を決定し、正確なポイントが見つかるという確率に影響を及ぼす。平値は、さらに内容の窓の主要な軸の配列をコントロールする。これは、モデルが顕著な組織上の特質を捕らえるという能力に影響する。
【００５６】
８２ポイントから成る典型的な形モデルは顔の顔立の位置を表示するために選択された。このモデルは、眉、目、鼻、口及び顔の領域のアウトラインを示す。ポイントはまた、瞳孔の中心及び鼻の先端に置かれる。特徴ポイントの位置は実例画像の各々において示唆されるべきである。この工程は一般的に手動で行なわれる。図１１ａは顔の特徴モデルを例示し、実例画像１１１０の注釈された特徴位置１１２０を描写する。特徴ポイントの正確な位置付けはしばしば曖昧である。髪の毛若しくは眼鏡のような対象が所望の特徴を塞ぐ場合、これは存在することができる。決定は、選択した一貫した位置若しくは一貫した構造上の特徴（エッジ）のいずれかへなされるに違いない。適切な選択は適用に依存する。
【００５７】
肌合いのモデルは、図１１ｂの中で例証されるような関連する特徴ポイント上で集中させられる長方形の肌合いの窓１１４０を最初に確定することにより作成される。この窓は、モデルによって記述される画像の領域を明白にする。ユーザは、窓の範囲及び解像度を明白にすることができる。１５分の１のピクセルの解像度の例はこの発明で使用された。窓の主要軸は形境界への平値と提携する。肌合いの窓は型の大きさに基づいて自動的に計られる。縮尺係数は、中間の形で例を整列させる、最適のユークリッドの変形から決定される。これは、各画像の窓が対象の一貫した部分をカバーすることを保証する。
【００５８】
トレーニングアルゴリズムはグラウンドトルースデータを分析するために使用される。このアルゴリズムは後の探索の間に使用されるモデルを学習する。トレーニング工程はユーザー相互作用を必要としない。モデルの型と肌合いが生成される。型モデルは、特徴ポイントの予期された相関位置について記述する。これらのモデルを一度だけ生成する必要があり、後の使用に備えて蓄えられる。
【００５９】
型モデルは、許容できる特徴位置の“空間”について記述する。このモデルは妥当性のある形の領域へのありそうもない探索結果を抑制するために使用される。型モデルは、平均の型、型変化の主要なモード、及びモードの各々のための関連する範囲からなる。
【００６０】
型モデル１０１２の学習における初期の段階は共通の座標系へグラウンドトルースからの特徴位置を整列させることである。これは、グローバル変形の結果であるモデルから変化を除去する。
【００６１】
段階は下記のようである：
１．平均型の初期の評価として１例を選択する。
【００６２】
２．平均のスケール及び配位を標準化する。
【００６３】
３．平均の現在の評価ですべての型を整列。最適のユークリッドの変形（移動、スケール、回転）は最小の正方形適合によって決定される。
【００６４】
４．提携した型からの平均を再度評価
５．平均の評価がまとまるまで、ステップ２乃至４を繰り返す。
型を２Ｐ次元の空間のポイントと見なすことができ、ここでＰは２次元特徴ポイントの数である。提携したグラウンドトルースは、立体感が過度な楕円の境界によって出ることができる範囲を備えたこの空間のポイントの雲を成形する。この境界のコンパクトな表現は主要な構成部分分析（ＰＣＡ）から引き出す。
【００６５】
ＰＣＡは、その顕著な特徴を保持する一方で、型空間の次元数を縮小する方法を提供する。これは、例の型のポイント雲における最も重要な変化の指示と提携する１セットの直交軸の計算により遂行される。これらの軸は、形における変化の最多の同相を示す。軸は、パラメーターの最少数を備えた有効な型を表わすために使用することができる、最適の基礎を成形する。
【００６６】
各例の型の提携した特徴対等の物は長さ２Ｎのベクトルｘｉへ整列することができる。共分散マトリックスは下記の式からなる：
【００６７】
【数２】
【００６８】
【数３】
ここでλｋはｋｔｈ固有値であり、及びλｋ ＞λｋ＋１。最大の固有値に相当する固有ベクトルは、型における変化の最多の同相を示す。
【００６９】
図１２は顔の型モデルの３つの最も重要な軸を例示している。描写された形は与えられた固有ベクトルに沿った平均の型を変える結果である。顔型における意味論的に意味のある変化と多くの主要な軸が強く関係があることに注目することは興味深い。例えば、第一軸１２１０はヘアーラインの位置に関し、第二軸１２１２は頭の前方の傾斜に関係しており、第三軸１２１４は顔の幅に関連する。
【００７０】
大多数の型空間はしばしば比較的主要な軸の少数で表わすことができる。保持する軸の数は固有値から決定することができる。固有値は、対応する固有ベクトルによって明白にされた軸に沿ったグラウンドトルースの変化と等しい。軸の適切な数は、変化の合計の与えられた分画ｆをカプセルに入れる量の選択により決定することができる（例えば、０．９８）。これは、
【００７１】
【数４】
任意の型は、
【００７２】
【数５】
【００７３】
【数６】
【００７４】
【数７】
【００７５】
段階１０１４において、肌合いの窓によってカバーされた画像の領域は各特徴ポイントですべての解像度のために抽出されグラウンドトルースの各例のためにコード化される。次に、肌合いのモデルはコード化された肌合いを使用して計算される。
【００７６】
肌合いをコード化する様々な方法がある。最良の結果は下記方法を使用して、現在達成されている。肌合いは、ｓＲＧＢ色空間において色ＲＧＢ画像として本来表される。強度勾配大略は各色通路のために計算される。これは、正常な方向に沿って近隣のピクセル値の差分を計算することにより遂行される。その後、勾配のプロファイルは平均強度によって標準化され、単一のベクトルｔへ組み合わせられる。この表現は、肌合いの窓内の色端の配位及び相対的な位置に関する情報を保持し、絶対的な強度及び端の強度を標準化する。これは、画像内の明るさとコントラストの変更の影響を最小限にする一方で、十分に肌合いの外観について記述する利点を有している。
【００７７】
各例からのコード化された肌合いは最終の肌合いモデルを計算するために使用される。このモデルは平均のコード化された肌合い
【００７８】
【数８】
【００７９】
肌合いモデルは、肌合い候補の適合度を決定する根拠を提供する。マハラノビス（Ｍａｈａｌａｎｏｂｉｓ）距離メトリックは、整合の質を決定することができる。このメトリックは、
【００８０】
【数９】
【００８１】
トレーニングの間に、個別の肌合いのモデルを各特徴ポイントですべて解像度において作成する必要がある。様々なレベルのモデルはすべて特徴ポイントに関して集中させられ、同数のピクセルを使用してコード化される。粗い肌合いは、典型的には各々より素晴らしい肌合いの範囲の２倍を連続的にカバーする。
【００８２】
図１３は、顔の特徴の発見のための典型的な画像１３００を表示する。段階１０１２から得られる平均型１３１０は、３段階：段階２１６、段階２２０若しくは段階２２４の一つから得られる目の位置において段階１０１５で開始される。平均型１３１０の助けによって、画像内の特徴ポイント１１２０の位置は段階１０１６での一連の局地的な探索の実行によって決定される。評価された目の位置によって決定された初期の位置での平均の型モデル１３１０の特徴位置の現在の評価は探索位置を初期化するために使用される。肌合いの窓１１４０の数は型モデル１３１０の各ポイントの周囲のエリアから抽出される。これらの窓の内容物は、特徴の予期された外観と最も良く一致する位置を決定するために段階１０１４で開発されていた肌合いモデルと比較される。
【００８３】
探索方向は平値に沿って型境界に適応する。ユーザは、探索位置の面間隔及び量を明白にすることができる。この発明において、３ Ｘ ７セットの位置の典型的な範囲が調査される。探索中間期は顔の一貫した領域がカバーされることを保証するためにダイナミックに計られる。
【００８４】
各探索位置では、段階１０１４で議論されるように、肌合いの窓１１４０は抽出されコード化される。肌合いのモデルへの肌合いの窓の類似性は、式７に記述されたマハラノビス距離によって測定される。最小の距離を備えた位置は新しい特徴位置として選択されている。この工程は各特徴ポイントにおいて繰り返される。
【００８５】
段階と一致する局所的な肌合いによって識別された特徴位置１１２０は、誤差の傾向がある。この誤差は一部特徴の可変外観及び周囲の領域とのそれらの類似点による。正確さも、特徴の正確な位置を集中するのに必要な肌合いの窓１１４０の小規模によって制限されている。探索結果の品質は形モデルによって記述される、妥当な型の範囲に対する特徴ポイントの限定により著しく改善することができる。
【００８６】
特徴ポイント１１２０は下記の工程の使用によって有効な型に抑制することができる。第一に、現行の型はトレーニング工程１０１２の間に計算された、平均型と提携する。２つの形を整列させるユークリッドの変換式は最小の正方形適合から決定される。提携した特徴対等の物は、式５を使用して、ＰＣＡ型空間へ映される。その後、形係数は合理的な範囲に制限されている。有効な形の典型的な９９．９７５％を含んでいる範囲は、この発明の中で使用された。制限のある形係数に相当する特徴位置１１２０は式４を使用して計算される。最後に、ユークリッドの変形は提携した形を後ろに画像対等の物に変換するために逆さまである。
【００８７】
型係数を抑制する多くの方法がある。このアプローチは図１４に例証されている。最も簡素な方法は、各軸に沿ったグラウンドトルース１４１０の標準偏差の与えられた数を超過しないように、単に各係数をクリップすることである。この制限は式６に記載されている。これは、図１４の中で例証されるような範囲のために多次元の箱１４５０を使用することに相当する。箱の角で型１４２６にグラウンドトルース空間１４１０の外側の評価された型１４１６を抑制することができるかもしれない。このアプローチに関する問題は、箱の角に存在する型１４２６に明白にされた閾値より発生の著しく低い確率があるということである。
【００８８】
よりよいアプローチは係数の範囲を限定するために過度の楕円の境界１４５２を使用することである。これは、
【００８９】
【数１０】
【００９０】
本発明において、よりよい形は開始型１４１６に最も近い過度の楕円の境界上のポイント１４４６を選択することにより見つけることができる。このアプローチは図１４の下の図に描写されている。楕円の強制方法によって誤って選択されるポイント１４４８は、楕円の境界を備えた点線の交点によって与えられる。
【００９１】
過度な楕円の境界上で最も接近しているポイントを見つけることは、高度の多項式の解決策を要求する。この多項式は分析的に解決することができない。しかしながら、ハート（Ｈａｒｔ， Ｊ．Ｃ．， “Ｄｉｓｔａｎｃｅ ｔｏ ａｎＥｌｌｉｐｓｏｉｄ，” Ｇｒａｐｈｉｃｓ Ｇｅｍｓ ＩＶ， Ｐａｕｌ Ｓ． Ｈｅｃｋｂｅｒｔ Ｅｄｉｔｏｒ， Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ， Ｂｏｓｔｏｎ， ＭＡ， ｐｐ．１１３−１１９， １９９４を参照）によって作成されたアルゴリズムの拡張を数的に使用して解決することができる。ハートはそこで境界の既知のセット内に多項式の正確な根が位置する表現を産出するためにその問題の知的なパラメーター化を使用するアプローチを発展した。この根は、ひとまとめに扱うことと二分を使用して容易に見つけることができる。ハートは、３−次元の楕円の場合におけるアルゴリズムについて記述する。このアプローチは任意の数の大きさまで及ぶことは比較的簡単である。
【００９２】
段階１０２０において、局所的な肌合いを見つける工程は一致し、次いで、型が安定した結果で集中するまで、グローバル型の抑制は繰り返される。型が各反復上で変更する量を測定し、変更が与えられた閾値以下に落ちる場合、工程を中止することは可能である。しかしながら、型が非常に急速に集中するので、これは必要ではない。代わりに、好結果は、反復の定数の工程を単に繰り返すことにより達成された。
【００９３】
本発明において、活発な型モデルアルゴリズムは、段階１０２２を備えた複数の解像度フレームワークで実施することができる。これは、特徴が正確に識別することができる範囲を効率的に拡張する。アルゴリズムの複数の解像度バージョンは最初に、大規模な粗い肌合いのモデル及び広い肌合いの探索エリアを使用して、画像を探索する。その後、近似の特徴位置は、連続的により小さくより精密な肌合いのモデル及びより狭い探索エリアを使用して精錬されている。
【００９４】
探索する場合に検討される位置は、肌合いの窓と同様に計られる。これらの位置は、特徴位置の現在の評価に関して集中させられ、及び、同数のポイントは各解像度で調査される。粗い肌合いのモデルと共に使用される探索位置間の面間隔は、一般に各々の連続的に精巧な肌合いのモデルで使用される際の二倍である。
【００９５】
探索するアルゴリズムは最初に最も粗い肌合いのモデル及び最も広く間隔を置かれた探索位置を使用する。型が集中するまで、局所的に肌合いと整合する工程及びグローバル型を抑制することが繰り返される。この工程はより精巧な肌合いのモデル及びより厳密に間隔を置かれた探索中間期を使用して、各解像度において繰り返される。４つの解像度が、大きな探索中間期及び特徴位置の精巧な位置確認の両者を供給する動作において使用された。
【００９６】
本発明の方法は、これらの目を検出する方法の間で自動的に選択し、画像の目を検出する最も効率的な方法を選択するために虹彩ピクセルクラスタの数を使用する手法でこれらの方法を組み合わせるための方法を提供することがまた理解されるであろう。
【００９７】
本発明の主題は、デジタル画像をデジタル処理する認識するべき技術を意味しそれによって人間の理解し得る対象、特質若しくは条件に有用な意味を帰し、次いで、デジタル画像の一層の処理の中で得られた結果を利用するために考えられるデジタル画像理解技術に関係がある。
【図面の簡単な説明】
【図１】本発明の実行に有用な画像処理システムの概略図である。
【図２】本発明の目の検出方法を例示するフローチャートである。
【図３】画像での幾何学的パラメーターと楕円状の肌の色の領域との関係を例示する。
【図４】与えられたピクセルが特定の赤い強度の機能として明示された虹彩ピクセルである条件付確率及び与えられたピクセルが特定の赤い強度の機能として明示された非虹彩ピクセルである条件付確率を示すことを例示する
【図５】与えられたピクセルが特定の赤い強度レベルの機能としての虹彩ピクセルである条件付確率を表現する統計モデル及び与えられたピクセルが特定の赤い強度レベルの機能としての非虹彩ピクセルである条件付確率を表現する統計モデルを開発する工程を表現するフローチャートである。
【図６】虹彩の色のピクセルクラスタを示していることを例示する。
【図７】虹彩ピクセルクラスタを用いて目の位置を検出するために２乗された差分法を合計する方法を適用する工程を例示するフローチャートである。
【図８】目のテンプレート及び虹彩ピクセルクラスタの中心に集中する探索窓を示す。
【図９】目のテンプレート及び画像ピクセルを使用して目の位置を検出するために２乗された差分法を合計する方法を適用する工程で使用される画像を示す。
【図１０】顔の特徴モデルをトレーニングする工程及び顔の特徴を探索する工程を例示しているフローチャートである。
【図１１】ａは手動でマークされた特徴ポイントの実施例を示し、ｂは特徴ポイントでの肌合いの窓の実施例を示す。
【図１２】顔のモデルのサンプルを示す。
【図１３】画像での平均の型の開始位置を示す。
【図１４】型モデル係数を抑制する異なるスキームを使用することを例示する。
【符号の説明】
１０ デジタル画像源
１２ 画像プロセッサー
１４ 表示
１６ キーボード
１７ コンピューター読取り可能記憶媒体
１８ マウス
１９ 出力装置
７０ 窓を中心に置く段階
７２ ２乗された差分の合計電卓
７４ チェックする段階
７６ 位置を記録する段階
７８ チェックする段階
７９ 位置を記録する段階
２００ ピクセル検出
２０１ カラーヒストグラム均一化段階
２０２ 肌の検出段階
２０４ 楕円領域抽出段階
２０６ 虹彩色ピクセル検出段階
２０８ 虹彩ピクセルをクラスタにする段階
２０９ ピクセル確認段階
２１０ 検出されたピクセルの数を決定する段階
２１２ 虹彩色ピクセルクラスタの中心を見つける
２１４ 幾何学的な推論に基づく目の位置の検出
２１６ 検出された目の決定段階
２１８ 虹彩ピクセルクラスタを使用して２乗された差の合計に基づく目の位置を検出
２２０ 検出された目の決定段階
２２４ 画像ピクセルを使用して２乗された差分の合計方法を用いる目の位置の検出
２２６ 虹彩色ベイズモデルトレーニング
３００ 楕円上部
３０２ 楕円底部
３０４ 楕円左
３０６ 楕円右
３０８ 楕円中央列
３１０ 楕円中央カラム
４０２ ピクセルが虹彩である際の確率の統計モデル
４０４ ピクセルが虹彩でない際の確率の統計モデル
５０２ 統計モデルにおいて虹彩ピクセルを手動で識別する
５０４ 統計モデルにおいて非虹彩ピクセルを手動で識別する
５０６ 確率を計算する段階
５０８ 確率を計算する段階
５１０ ベイズモデルの適用
６００ クラスタの中心
６０２ 虹彩色ピクセル
６０４ 左半分領域
６０６ 右半分領域
８００ 窓
８０２ 窓で移動する平均の目のテンプレート
８０４ 画像
８０６ 平均の目のテンプレート
９０２ 画像で移動する平均の目のテンプレート
９０４ 画像
９０６ 平均の目のテンプレート
９０８ 画像の左半分
９１０ 右半分
１０００ 顔の特徴を位置確認する段階
１０１０ グラウンドトルースを収集する段階
１０１２ 型モデルを学習する段階
１０１４ 複数の解像度の肌合いのモデルを学習する段階
１０１５ 初期化段階
１０１６ 局在の肌合いを整合する段階
１０１８ 型を抑制する段階
１０２０ 集束をチェックする段階
１０２２ 解像度をチェックする段階
１１１０ 画像
１１２０ 特徴ポイント
１１４０ 肌合いの窓
１２１０ サンプル型
１２１２ サンプル型
１２１４ サンプル型
１３００ 画像
１３１０ 平均の型
１４１０ グラウンドトルース
１４１６ サンプル型
１４２６ 型のポイント
１４３６ 型のポイント
１４４６ 型のポイント
１４４８ 型のポイント
１４５０ 境界
１４５２ 境界
１４５４ 境界
１４６０ 平均の型のポイント
１４６２ 平均の型のポイント
Claims (5)
- デジタル画像で顔の特徴を検出するためのデジタル画像処理方法であって、
虹彩ピクセルを検出する段階；
前記虹彩ピクセルをクラスタにする段階；
画像において目の位置を検出する方法であって、ｉ）前記虹彩ピクセルクラスタを使用して目の位置を検出するために幾何学的な推論を適用することと、ｉｉ）前記虹彩ピクセルクラスタに基づき目の位置を検出するために、２乗された差分の合計を適用することと、ｉｉｉ）前記画像においてピクセルごとに基づいて目の位置を検出するために、２乗された差分の合計を適用することとを含む検出方法から、前記虹彩ピクセルクラスタの数に基づき少なくとも一つを選択する段階；及び
検出された目の位置を用いて顔の特徴位置を確認する段階；
を含む、方法。 - ２よりも少ない虹彩ピクセルクラスタが検出される場合に、前記検出方法ｉｉｉ）が、目の位置を検出するために適用されることを特徴とする請求項１に記載の方法。
- 少なくとも２つの虹彩ピクセルクラスタが検出される場合に、前記検出方法ｉ）が、目の位置を検出するために適用されることを特徴とする請求項１に記載の方法。
- 前記検出方法ｉ）が目の位置を検出しない場合に、前記検出方法ｉｉ）が目の位置を検出するために適用されることを特徴とする請求項３に記載の方法。
- 前記検出方法ｉｉ）が目の位置を検出しない場合に、前記検出方法ｉｉｉ）が目の位置を検出するために適用されることを特徴とする請求項４に記載の方法。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US32357901P | 2001-09-20 | 2001-09-20 | |
| US323579 | 2001-09-20 | ||
| US09/994,096 US7058209B2 (en) | 2001-09-20 | 2001-11-26 | Method and computer program product for locating facial features |
| US994096 | 2001-11-26 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003108981A JP2003108981A (ja) | 2003-04-11 |
| JP4234381B2 true JP4234381B2 (ja) | 2009-03-04 |
Family
ID=26984034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002269994A Expired - Fee Related JP4234381B2 (ja) | 2001-09-20 | 2002-09-17 | 顔の特徴を位置確認するための方法及びコンピュータープログラム製品 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US7058209B2 (ja) |
| EP (1) | EP1296279B1 (ja) |
| JP (1) | JP4234381B2 (ja) |
| DE (1) | DE60215743T2 (ja) |
Families Citing this family (152)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8735773B2 (en) | 2007-02-14 | 2014-05-27 | Conformis, Inc. | Implant device and method for manufacture |
| US9603711B2 (en) | 2001-05-25 | 2017-03-28 | Conformis, Inc. | Patient-adapted and improved articular implants, designs and related guide tools |
| US8556983B2 (en) | 2001-05-25 | 2013-10-15 | Conformis, Inc. | Patient-adapted and improved orthopedic implants, designs and related tools |
| US8771365B2 (en) | 2009-02-25 | 2014-07-08 | Conformis, Inc. | Patient-adapted and improved orthopedic implants, designs, and related tools |
| US8480754B2 (en) | 2001-05-25 | 2013-07-09 | Conformis, Inc. | Patient-adapted and improved articular implants, designs and related guide tools |
| US8882847B2 (en) | 2001-05-25 | 2014-11-11 | Conformis, Inc. | Patient selectable knee joint arthroplasty devices |
| US8545569B2 (en) | 2001-05-25 | 2013-10-01 | Conformis, Inc. | Patient selectable knee arthroplasty devices |
| US7239908B1 (en) | 1998-09-14 | 2007-07-03 | The Board Of Trustees Of The Leland Stanford Junior University | Assessing the condition of a joint and devising treatment |
| AU772012B2 (en) | 1998-09-14 | 2004-04-08 | Board Of Trustees Of The Leland Stanford Junior University | Assessing the condition of a joint and preventing damage |
| ATE413135T1 (de) | 2000-09-14 | 2008-11-15 | Univ Leland Stanford Junior | Beurteilung des zustandes eines gelenkes und des verlustes von knorpelgewebe |
| DE60138116D1 (de) | 2000-09-14 | 2009-05-07 | Univ R | Beurteilung des zustandes eines gelenkes und planung einer behandlung |
| US9308091B2 (en) | 2001-05-25 | 2016-04-12 | Conformis, Inc. | Devices and methods for treatment of facet and other joints |
| EP1389980B1 (en) | 2001-05-25 | 2011-04-06 | Conformis, Inc. | Methods and compositions for articular resurfacing |
| AUPS140502A0 (en) * | 2002-03-27 | 2002-05-09 | Seeing Machines Pty Ltd | Method for automatic detection of facial features |
| EP1555962B1 (en) * | 2002-10-07 | 2011-02-09 | Conformis, Inc. | Minimally invasive joint implant with 3-dimensional geometry matching the articular surfaces |
| AU2003290757A1 (en) * | 2002-11-07 | 2004-06-03 | Conformis, Inc. | Methods for determing meniscal size and shape and for devising treatment |
| US7039222B2 (en) * | 2003-02-28 | 2006-05-02 | Eastman Kodak Company | Method and system for enhancing portrait images that are processed in a batch mode |
| US7324693B2 (en) * | 2003-04-23 | 2008-01-29 | Eastman Kodak Company | Method of human figure contour outlining in images |
| US20040223649A1 (en) * | 2003-05-07 | 2004-11-11 | Eastman Kodak Company | Composite imaging method and system |
| US7224850B2 (en) * | 2003-05-13 | 2007-05-29 | Microsoft Corporation | Modification of red-eye-effect in digital image |
| JP4789408B2 (ja) * | 2003-06-30 | 2011-10-12 | 株式会社 資生堂 | 目の形態分類方法及び形態分類マップ並びに目の化粧方法 |
| JP4307301B2 (ja) * | 2003-07-31 | 2009-08-05 | キヤノン株式会社 | 画像処理装置およびその方法 |
| US7333653B2 (en) * | 2003-08-29 | 2008-02-19 | Hewlett-Packard Development Company, L.P. | Detecting and correcting redeye in an image |
| US7761453B2 (en) * | 2005-01-26 | 2010-07-20 | Honeywell International Inc. | Method and system for indexing and searching an iris image database |
| US7593550B2 (en) * | 2005-01-26 | 2009-09-22 | Honeywell International Inc. | Distance iris recognition |
| US8705808B2 (en) | 2003-09-05 | 2014-04-22 | Honeywell International Inc. | Combined face and iris recognition system |
| US8090157B2 (en) * | 2005-01-26 | 2012-01-03 | Honeywell International Inc. | Approaches and apparatus for eye detection in a digital image |
| US8064647B2 (en) | 2006-03-03 | 2011-11-22 | Honeywell International Inc. | System for iris detection tracking and recognition at a distance |
| US8098901B2 (en) * | 2005-01-26 | 2012-01-17 | Honeywell International Inc. | Standoff iris recognition system |
| US8049812B2 (en) | 2006-03-03 | 2011-11-01 | Honeywell International Inc. | Camera with auto focus capability |
| US8442276B2 (en) * | 2006-03-03 | 2013-05-14 | Honeywell International Inc. | Invariant radial iris segmentation |
| US7184837B2 (en) * | 2003-09-15 | 2007-02-27 | Medtronic, Inc. | Selection of neurostimulator parameter configurations using bayesian networks |
| US7239926B2 (en) * | 2003-09-15 | 2007-07-03 | Medtronic, Inc. | Selection of neurostimulator parameter configurations using genetic algorithms |
| US7617002B2 (en) * | 2003-09-15 | 2009-11-10 | Medtronic, Inc. | Selection of neurostimulator parameter configurations using decision trees |
| US7252090B2 (en) * | 2003-09-15 | 2007-08-07 | Medtronic, Inc. | Selection of neurostimulator parameter configurations using neural network |
| US7295686B2 (en) * | 2003-09-29 | 2007-11-13 | Primax Electronics Ltd. | Method of processing red eye in digital images |
| TWI220234B (en) * | 2003-10-21 | 2004-08-11 | Ind Tech Res Inst | A method to simulate animated images for an object |
| JP4431949B2 (ja) * | 2003-10-27 | 2010-03-17 | ノーリツ鋼機株式会社 | 赤目補正方法及びこの方法を実施する装置 |
| KR100601933B1 (ko) * | 2003-11-18 | 2006-07-14 | 삼성전자주식회사 | 사람검출방법 및 장치와 이를 이용한 사생활 보호방법 및 시스템 |
| GB2414616A (en) * | 2004-05-28 | 2005-11-30 | Sony Uk Ltd | Comparing test image with a set of reference images |
| JP2005293555A (ja) * | 2004-03-10 | 2005-10-20 | Seiko Epson Corp | 画像における肌領域の特定 |
| US7660482B2 (en) * | 2004-06-23 | 2010-02-09 | Seiko Epson Corporation | Method and apparatus for converting a photo to a caricature image |
| US7627148B2 (en) * | 2004-07-06 | 2009-12-01 | Fujifilm Corporation | Image data processing apparatus and method, and image data processing program |
| US7444017B2 (en) * | 2004-11-10 | 2008-10-28 | Eastman Kodak Company | Detecting irises and pupils in images of humans |
| US20060148323A1 (en) * | 2004-12-03 | 2006-07-06 | Ulrich Canzler | Facial feature analysis system |
| US7689010B2 (en) * | 2004-12-03 | 2010-03-30 | Invacare International Sarl | Facial feature analysis system |
| US7809171B2 (en) * | 2005-01-10 | 2010-10-05 | Battelle Memorial Institute | Facial feature evaluation based on eye location |
| US7548637B2 (en) * | 2005-04-07 | 2009-06-16 | The Board Of Trustees Of The University Of Illinois | Method for detecting objects in an image using pair-wise pixel discriminative features |
| US7747050B2 (en) * | 2005-11-23 | 2010-06-29 | General Electric Company | System and method for linking current and previous images based on anatomy |
| US7627149B2 (en) * | 2005-11-25 | 2009-12-01 | Quantum Signal, Llc | Dot templates for object detection in images |
| US7643659B2 (en) * | 2005-12-31 | 2010-01-05 | Arcsoft, Inc. | Facial feature detection on mobile devices |
| US7646894B2 (en) * | 2006-02-14 | 2010-01-12 | Microsoft Corporation | Bayesian competitive model integrated with a generative classifier for unspecific person verification |
| JP4620607B2 (ja) * | 2006-02-24 | 2011-01-26 | 株式会社モルフォ | 画像処理装置 |
| JP2007233871A (ja) * | 2006-03-02 | 2007-09-13 | Fuji Xerox Co Ltd | 画像処理装置、コンピュータの制御方法及びプログラム |
| GB2450024B (en) | 2006-03-03 | 2011-07-27 | Honeywell Int Inc | Modular biometrics collection system architecture |
| GB2448653B (en) * | 2006-03-03 | 2011-03-23 | Honeywell Int Inc | Single lens splitter camera |
| JP4738488B2 (ja) * | 2006-03-03 | 2011-08-03 | ハネウェル・インターナショナル・インコーポレーテッド | 画像品質メトリックを有する虹彩認識システム |
| KR101299074B1 (ko) | 2006-03-03 | 2013-08-30 | 허니웰 인터내셔널 인코포레이티드 | 홍채 인코딩 시스템 |
| US7787664B2 (en) * | 2006-03-29 | 2010-08-31 | Eastman Kodak Company | Recomposing photographs from multiple frames |
| US8380300B2 (en) * | 2006-04-28 | 2013-02-19 | Medtronic, Inc. | Efficacy visualization |
| US7715920B2 (en) | 2006-04-28 | 2010-05-11 | Medtronic, Inc. | Tree-based electrical stimulator programming |
| US8306624B2 (en) | 2006-04-28 | 2012-11-06 | Medtronic, Inc. | Patient-individualized efficacy rating |
| US8103061B2 (en) * | 2006-10-02 | 2012-01-24 | Johnson & Johnson Consumer Companies, Inc. | Method and apparatus for identifying facial regions |
| KR100778116B1 (ko) * | 2006-10-02 | 2007-11-21 | 삼성전자주식회사 | 움직임벡터 보정장치 및 보정방법 |
| US7764303B2 (en) | 2006-10-02 | 2010-07-27 | Johnson & Johnson Consumer Companies, Inc. | Imaging apparatus and methods for capturing and analyzing digital images of the skin |
| EP2114312B1 (en) | 2007-02-14 | 2014-01-08 | ConforMIS, Inc. | Method for manufacture of an implant device |
| JP4175425B2 (ja) * | 2007-03-15 | 2008-11-05 | オムロン株式会社 | 瞳色補正装置およびプログラム |
| JP4307496B2 (ja) * | 2007-03-19 | 2009-08-05 | 株式会社豊田中央研究所 | 顔部位検出装置及びプログラム |
| US8063889B2 (en) * | 2007-04-25 | 2011-11-22 | Honeywell International Inc. | Biometric data collection system |
| US8038615B2 (en) * | 2007-05-22 | 2011-10-18 | Eastman Kodak Company | Inferring wellness from physiological conditions data |
| US20080294018A1 (en) * | 2007-05-22 | 2008-11-27 | Kurtz Andrew F | Privacy management for well-being monitoring |
| US7972266B2 (en) * | 2007-05-22 | 2011-07-05 | Eastman Kodak Company | Image data normalization for a monitoring system |
| US8038614B2 (en) * | 2007-05-22 | 2011-10-18 | Eastman Kodak Company | Establishing baseline data for physiological monitoring system |
| US20080294012A1 (en) * | 2007-05-22 | 2008-11-27 | Kurtz Andrew F | Monitoring physiological conditions |
| US8831299B2 (en) | 2007-05-22 | 2014-09-09 | Intellectual Ventures Fund 83 Llc | Capturing data for individual physiological monitoring |
| US8437514B2 (en) | 2007-10-02 | 2013-05-07 | Microsoft Corporation | Cartoon face generation |
| US9639740B2 (en) | 2007-12-31 | 2017-05-02 | Applied Recognition Inc. | Face detection and recognition |
| CN104866553A (zh) | 2007-12-31 | 2015-08-26 | 应用识别公司 | 利用脸部签名来标识和共享数字图像的方法、系统和计算机程序 |
| US9721148B2 (en) | 2007-12-31 | 2017-08-01 | Applied Recognition Inc. | Face detection and recognition |
| JP5290585B2 (ja) * | 2008-01-17 | 2013-09-18 | 株式会社 資生堂 | 肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体 |
| US8218862B2 (en) * | 2008-02-01 | 2012-07-10 | Canfield Scientific, Incorporated | Automatic mask design and registration and feature detection for computer-aided skin analysis |
| US20090214114A1 (en) * | 2008-02-19 | 2009-08-27 | Diascan Ab | Pixel classification in image analysis |
| US8682052B2 (en) | 2008-03-05 | 2014-03-25 | Conformis, Inc. | Implants for altering wear patterns of articular surfaces |
| EP2901969B1 (en) * | 2008-03-05 | 2018-07-04 | ConforMIS, Inc. | Method of making an edge-matched articular implant |
| JP2009223580A (ja) * | 2008-03-14 | 2009-10-01 | Omron Corp | 優先対象決定装置、電子機器、優先対象決定方法、プログラム、および記録媒体 |
| US8165354B1 (en) | 2008-03-18 | 2012-04-24 | Google Inc. | Face recognition with discriminative face alignment |
| JP4541427B2 (ja) * | 2008-03-25 | 2010-09-08 | 富士通株式会社 | 生体認証装置、生体情報登録装置および生体認証方法 |
| US8027521B1 (en) | 2008-03-25 | 2011-09-27 | Videomining Corporation | Method and system for robust human gender recognition using facial feature localization |
| US8831379B2 (en) * | 2008-04-04 | 2014-09-09 | Microsoft Corporation | Cartoon personalization |
| US8436907B2 (en) | 2008-05-09 | 2013-05-07 | Honeywell International Inc. | Heterogeneous video capturing system |
| US8213782B2 (en) | 2008-08-07 | 2012-07-03 | Honeywell International Inc. | Predictive autofocusing system |
| US8090246B2 (en) * | 2008-08-08 | 2012-01-03 | Honeywell International Inc. | Image acquisition system |
| US8280119B2 (en) | 2008-12-05 | 2012-10-02 | Honeywell International Inc. | Iris recognition system using quality metrics |
| US7912252B2 (en) * | 2009-02-06 | 2011-03-22 | Robert Bosch Gmbh | Time-of-flight sensor-assisted iris capture system and method |
| EP2405865B1 (en) | 2009-02-24 | 2019-04-17 | ConforMIS, Inc. | Automated systems for manufacturing patient-specific orthopedic implants and instrumentation |
| US8121358B2 (en) * | 2009-03-06 | 2012-02-21 | Cyberlink Corp. | Method of grouping images by face |
| US8531478B2 (en) * | 2009-03-19 | 2013-09-10 | Cyberlink Corp. | Method of browsing photos based on people |
| US8472681B2 (en) | 2009-06-15 | 2013-06-25 | Honeywell International Inc. | Iris and ocular recognition system using trace transforms |
| US8630464B2 (en) | 2009-06-15 | 2014-01-14 | Honeywell International Inc. | Adaptive iris matching using database indexing |
| KR101590868B1 (ko) * | 2009-07-17 | 2016-02-02 | 삼성전자주식회사 | 피부색을 보정하는 영상 처리 방법, 장치, 디지털 촬영 장치, 및 컴퓨터 판독가능 저장매체 |
| WO2011049550A1 (en) * | 2009-10-19 | 2011-04-28 | Hewlett-Packard Development Company, L.P. | Red eye detection aided by face detection |
| CA2782137A1 (en) | 2009-12-11 | 2011-06-16 | Conformis, Inc. | Patient-specific and patient-engineered orthopedic implants |
| IT1397571B1 (it) | 2009-12-18 | 2013-01-16 | St Microelectronics Srl | Metodo ed apparato di filtraggio di artefatti da occhi rossi e/o gialli. |
| US9465993B2 (en) | 2010-03-01 | 2016-10-11 | Microsoft Technology Licensing, Llc | Ranking clusters based on facial image analysis |
| US8983210B2 (en) * | 2010-03-01 | 2015-03-17 | Microsoft Corporation | Social network system and method for identifying cluster image matches |
| US10108852B2 (en) * | 2010-06-07 | 2018-10-23 | Affectiva, Inc. | Facial analysis to detect asymmetric expressions |
| TW201205344A (en) * | 2010-07-30 | 2012-02-01 | Hon Hai Prec Ind Co Ltd | Adjusting system and method for screen, advertisement board including the same |
| US8742887B2 (en) | 2010-09-03 | 2014-06-03 | Honeywell International Inc. | Biometric visitor check system |
| EP2754419B1 (en) | 2011-02-15 | 2024-02-07 | ConforMIS, Inc. | Patient-adapted and improved orthopedic implants |
| JP5746550B2 (ja) * | 2011-04-25 | 2015-07-08 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| CN102184404B (zh) * | 2011-04-29 | 2012-11-28 | 汉王科技股份有限公司 | 掌纹图像中手掌区域的获取方法及装置 |
| US8571271B2 (en) | 2011-05-26 | 2013-10-29 | Microsoft Corporation | Dual-phase red eye correction |
| US9552376B2 (en) | 2011-06-09 | 2017-01-24 | MemoryWeb, LLC | Method and apparatus for managing digital files |
| CN102184418B (zh) * | 2011-06-10 | 2013-01-09 | 上海应用技术学院 | 基于三角面积表示直方图的图像配准方法 |
| US8548207B2 (en) | 2011-08-15 | 2013-10-01 | Daon Holdings Limited | Method of host-directed illumination and system for conducting host-directed illumination |
| US10089327B2 (en) | 2011-08-18 | 2018-10-02 | Qualcomm Incorporated | Smart camera for sharing pictures automatically |
| US9202105B1 (en) | 2012-01-13 | 2015-12-01 | Amazon Technologies, Inc. | Image analysis for user authentication |
| US9141196B2 (en) | 2012-04-16 | 2015-09-22 | Qualcomm Incorporated | Robust and efficient learning object tracker |
| US9270822B2 (en) | 2012-08-14 | 2016-02-23 | Avaya Inc. | Protecting privacy of a customer and an agent using face recognition in a video contact center environment |
| US20140079319A1 (en) * | 2012-09-20 | 2014-03-20 | Htc Corporation | Methods for enhancing images and apparatuses using the same |
| US9202138B2 (en) | 2012-10-04 | 2015-12-01 | Adobe Systems Incorporated | Adjusting a contour by a shape model |
| US9158963B2 (en) | 2012-10-04 | 2015-10-13 | Adobe Systems Incorporated | Fitting contours to features |
| US9269014B2 (en) | 2013-09-24 | 2016-02-23 | Corning Incorporated | Hyperspectral detector systems and methods using context-image fusion |
| US9514364B2 (en) | 2014-05-29 | 2016-12-06 | Qualcomm Incorporated | Efficient forest sensing based eye tracking |
| CN104063700B (zh) * | 2014-07-04 | 2017-08-18 | 武汉工程大学 | 自然光照正面人脸图像中的眼睛中心点定位的方法 |
| US9355315B2 (en) | 2014-07-24 | 2016-05-31 | Microsoft Technology Licensing, Llc | Pupil detection |
| KR20160025316A (ko) * | 2014-08-27 | 2016-03-08 | 현대자동차주식회사 | 동공 검출 시스템 및 그 방법 |
| US10698995B2 (en) | 2014-08-28 | 2020-06-30 | Facetec, Inc. | Method to verify identity using a previously collected biometric image/data |
| US10915618B2 (en) | 2014-08-28 | 2021-02-09 | Facetec, Inc. | Method to add remotely collected biometric images / templates to a database record of personal information |
| CA3186147A1 (en) | 2014-08-28 | 2016-02-28 | Kevin Alan Tussy | Facial recognition authentication system including path parameters |
| US11256792B2 (en) | 2014-08-28 | 2022-02-22 | Facetec, Inc. | Method and apparatus for creation and use of digital identification |
| US10614204B2 (en) | 2014-08-28 | 2020-04-07 | Facetec, Inc. | Facial recognition authentication system including path parameters |
| US10803160B2 (en) | 2014-08-28 | 2020-10-13 | Facetec, Inc. | Method to verify and identify blockchain with user question data |
| GB201511334D0 (en) * | 2015-06-29 | 2015-08-12 | Nokia Technologies Oy | A method, apparatus, computer and system for image analysis |
| AU2016354889B2 (en) * | 2015-11-18 | 2021-07-01 | Koninklijke Philips N.V. | Method and device for estimating absolute size dimensions of a test object |
| KR102433384B1 (ko) * | 2016-01-05 | 2022-08-18 | 한국전자통신연구원 | 텍스처 이미지 처리 장치 및 방법 |
| USD987653S1 (en) | 2016-04-26 | 2023-05-30 | Facetec, Inc. | Display screen or portion thereof with graphical user interface |
| JP6872742B2 (ja) * | 2016-06-30 | 2021-05-19 | 学校法人明治大学 | 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム |
| CN106846348B (zh) * | 2017-02-16 | 2019-07-12 | 河北大学 | 人脸图像中自动去除眼镜的方法 |
| CN108694353A (zh) * | 2017-04-10 | 2018-10-23 | 上海聚虹光电科技有限公司 | 一种人脸识别和虹膜识别的多模态身份识别方法 |
| CN108960265B (zh) * | 2017-05-22 | 2022-06-17 | 阿里巴巴集团控股有限公司 | 图像分类过程的优化方法、图像分类方法、装置及系统 |
| US10430644B2 (en) | 2017-06-06 | 2019-10-01 | Global Bionic Optics Ltd. | Blended iris and facial biometric system |
| CN107256404A (zh) * | 2017-06-09 | 2017-10-17 | 王翔宇 | 一种涉案枪支枪号识别方法 |
| CN107423685A (zh) * | 2017-06-13 | 2017-12-01 | 重庆大学 | 表情情绪识别方法 |
| CN107742273A (zh) * | 2017-10-13 | 2018-02-27 | 广州帕克西软件开发有限公司 | 一种2d发型虚拟试戴方法及装置 |
| CN110895699B (zh) | 2018-09-12 | 2022-09-13 | 北京字节跳动网络技术有限公司 | 用于处理图像的特征点的方法和装置 |
| CN109327681B (zh) * | 2018-09-26 | 2020-11-17 | 华润置地控股有限公司 | 一种特定人员识别告警系统及其方法 |
| US10936178B2 (en) | 2019-01-07 | 2021-03-02 | MemoryWeb, LLC | Systems and methods for analyzing and organizing digital photos and videos |
| CN109857254B (zh) * | 2019-01-31 | 2020-06-05 | 京东方科技集团股份有限公司 | 瞳孔定位方法和装置、vr/ar设备以及计算机可读介质 |
| CN109829500B (zh) * | 2019-01-31 | 2023-05-02 | 华南理工大学 | 一种职位构图和自动聚类方法 |
| CN110472495B (zh) * | 2019-07-08 | 2023-03-14 | 南京邮电大学盐城大数据研究院有限公司 | 一种基于图形推理全局特征的深度学习人脸识别方法 |
| KR102244270B1 (ko) * | 2019-11-07 | 2021-04-26 | 주식회사 엠투아이코퍼레이션 | 홍채 인식률 및 인증속도를 높인 hmi 장치 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5432863A (en) * | 1993-07-19 | 1995-07-11 | Eastman Kodak Company | Automated detection and correction of eye color defects due to flash illumination |
| JP3350296B2 (ja) * | 1995-07-28 | 2002-11-25 | 三菱電機株式会社 | 顔画像処理装置 |
| AU1127197A (en) | 1995-12-04 | 1997-06-27 | David Sarnoff Research Center, Inc. | Wide field of view/narrow field of view recognition system and method |
| US6108446A (en) * | 1997-02-18 | 2000-08-22 | Hoshen; Joseph | Method and apparatus for extracting cluster shape features from digital images |
| KR19990016896A (ko) * | 1997-08-20 | 1999-03-15 | 전주범 | 얼굴영상에서 눈영역 검출방법 |
| US6292574B1 (en) * | 1997-08-29 | 2001-09-18 | Eastman Kodak Company | Computer program product for redeye detection |
| US6151403A (en) | 1997-08-29 | 2000-11-21 | Eastman Kodak Company | Method for automatic detection of human eyes in digital images |
| TW445434B (en) * | 1999-08-04 | 2001-07-11 | Cyberlink Corp | System and method for automatically extracting facial features |
| US6920237B2 (en) * | 2000-12-19 | 2005-07-19 | Eastman Kodak Company | Digital image processing method and computer program product for detecting human irises in an image |
| US6792134B2 (en) * | 2000-12-19 | 2004-09-14 | Eastman Kodak Company | Multi-mode digital image processing method for detecting eyes |
| US7092554B2 (en) * | 2001-05-01 | 2006-08-15 | Eastman Kodak Company | Method for detecting eye and mouth positions in a digital image |
-
2001
- 2001-11-26 US US09/994,096 patent/US7058209B2/en not_active Expired - Lifetime
-
2002
- 2002-09-09 DE DE60215743T patent/DE60215743T2/de not_active Expired - Lifetime
- 2002-09-09 EP EP02078689A patent/EP1296279B1/en not_active Expired - Fee Related
- 2002-09-17 JP JP2002269994A patent/JP4234381B2/ja not_active Expired - Fee Related
-
2005
- 2005-01-25 US US11/042,503 patent/US7254256B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP1296279A2 (en) | 2003-03-26 |
| EP1296279B1 (en) | 2006-11-02 |
| US7058209B2 (en) | 2006-06-06 |
| DE60215743T2 (de) | 2007-09-06 |
| US20050129288A1 (en) | 2005-06-16 |
| DE60215743D1 (de) | 2006-12-14 |
| US7254256B2 (en) | 2007-08-07 |
| EP1296279A3 (en) | 2004-01-14 |
| US20030053663A1 (en) | 2003-03-20 |
| JP2003108981A (ja) | 2003-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4234381B2 (ja) | 顔の特徴を位置確認するための方法及びコンピュータープログラム製品 | |
| JP4903854B2 (ja) | デジタル画像におけるオブジェクト検出方法 | |
| JP3999964B2 (ja) | 目を検出するマルチモードデジタル画像処理方法 | |
| US7092554B2 (en) | Method for detecting eye and mouth positions in a digital image | |
| US6895103B2 (en) | Method for automatically locating eyes in an image | |
| JP4482796B2 (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
| US6920237B2 (en) | Digital image processing method and computer program product for detecting human irises in an image | |
| JP5709410B2 (ja) | パターン処理装置及びその方法、プログラム | |
| KR101304374B1 (ko) | 객체 특징을 위치결정하는 방법 | |
| US6184926B1 (en) | System and method for detecting a human face in uncontrolled environments | |
| EP0899680B1 (en) | Method for automatic detection of human eyes in digital images | |
| US7711156B2 (en) | Apparatus and method for generating shape model of object and apparatus and method for automatically searching for feature points of object employing the same | |
| JP4414401B2 (ja) | 顔特徴点検出方法および装置並びにプログラム | |
| US7672482B2 (en) | Shape detection using coherent appearance modeling | |
| JP2006520055A (ja) | ２次元画像からの３次元オブジェクトの不変視点検出および識別 | |
| JP2000048184A (ja) | 画像処理方法及び顔領域抽出方法とその装置 | |
| US7218760B2 (en) | Stereo-coupled face shape registration | |
| US20090190811A1 (en) | Method and system for left ventricle endocardium surface segmentation using constrained optimal mesh smoothing | |
| CN112734911A (zh) | 基于卷积神经网络的单幅图像三维人脸重建方法及系统 | |
| WO2018100668A1 (en) | Image processing device, image processing method, and image processing program | |
| De Smet et al. | A generalized EM approach for 3D model based face recognition under occlusions | |
| Hassan et al. | Salient object detection based on CNN fusion of two types of saliency models | |
| CN114387308A (zh) | 一种机器视觉特征跟踪系统 | |
| Asthana et al. | Learning based automatic face annotation for arbitrary poses and expressions from frontal images only | |
| Bolin et al. | An automatic facial feature finding system for portrait images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050913 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071030 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080123 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080128 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080718 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080724 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080821 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080826 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080911 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080917 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081014 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081111 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081211 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4234381 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131219 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |