JP6697555B2 - 露光管理の効果的使用による顔認識で使用される画像の取り込み方法 - Google Patents

Description

＜関連出願の相互参照＞ 本出願は、２０１５年１２月３日に出願された米国特許出願第１４／９５８，２９５号明細書の利益を主張し、その全内容が参照により本明細書に盛り込まれる。

本開示は、顔認識システムで使用される画像を取り込むためのシステムおよび方法に関する。特に、本開示は、肌の色調および／または利用可能な光のバリエーションにもかかわらず、１つまたは複数の使用可能な画像を生成するために、所定のプロファイルに従い、異なる露光時間を使用して、一連の画像を取り込むシステムおよび方法に関する。

バイオメトリック技術は、法医学、入国管理、支払いシステム、アクセス制御など、様々な分野で個人を識別し、認証するために現在広く使用されている。使用において成長している１つのバイオメトリック技術は、顔認識である。顔認識システムでは、個人の顔のプローブ画像が取り込まれ、次いで、識別または認証の目的のためにギャラリーデータベース内の１つまたは複数の以前に取得されたギャラリー画像と比較される。顔認識システムは、プローブ画像内の顔を識別し、目（虹彩を含む）の位置、鼻、耳、口、顎および頭などの重要な顔の特徴を識別し、顔のテンプレートを生成する。このテンプレートは、各ギャラリー画像のテンプレートと比較され、潜在的な一致を示す類似性スコアを生成する。

顔認識システムの有効性は、とりわけ、個人の顔の高品質画像の取り込みに依存する。残念なことに、プローブ画像およびギャラリー画像は、通常、照明、陰影、カメラ特性、個人の動きおよび／または向き、ならびに個人の年齢または民族性を含む多くの変数を有する無制御の環境で取得される。例えば、個人の顔における自然または人工の照明の量は、時刻、気象状態および人工光源の機能に応じて大きく異なる可能性がある。このような照明のバリエーション（ばらつき）は、画質に影響を及ぼす。低いレベルの照明および高いレベルの照明（画像彩度）の両方が、識別および認証に使用される顔の特徴を不明瞭にする。顔認識の理想的な照明レベルは、約６００ルクス〜約１０００ルクスである。暗い夜には、照度は１ルクスの何分の一と同じくらい低くなる可能性がある。晴れた日には、明るい日差しが１０万ルクス程度の照度をもたらす可能性がある。光量が一定である場合でも、肌の色調のバリエーションが画質に影響を及ぼす可能性がある。脂性肌または青白い肌の色調は、浅黒い肌の色調に対して異なる画像を生成するので、したがって光量が変化しない場合でも、すべての個人に対して高品質画像を保証することは困難である。品質の悪いプローブまたはギャラリー画像は、偽陽性（すなわち、プローブ画像とギャラリー画像との間に一致が存在する）または偽陰性（すなわち、プローブ画像と任意のギャラリー画像との間に一致が存在しない）をもたらす可能性があり、したがって顔認識システムを信頼性のないものにする可能性がある。

いくつかの顔認識システムは、特定の環境変数を考慮するために、アルゴリズムを修正することによって画質に対処しようと試みる。しかしながら、このアプローチは、異なる専用の顔検出アルゴリズムを採用するシステムには一般的には適用できない。他の顔認識システムは、例えば、短いビデオクリップを処理し、最良の品質を有する画像を識別することにより、より多数の画像を撮影することによって画質に対処しようとする。このプロセスは、いくつかの環境変数（例えば、個人の動き）に対処することができるが、しかし個人の顔上の光量または個人の肌の色調など、一定期間に亘って実質的に一定に維持され得る多くの他の変数に対処することができない。

本明細書の発明者は、上記の欠点のうち１以上を低減または排除する、並びに／若しくは改善された性能を提供する、顔認識システム内で使用される画像を取り込むためのシステムおよび方法が必要であることを認識した。

本開示は、顔認識システムで使用される画像を取り込むためのシステムおよび方法に関する。特に、本開示は、肌の色調および／または利用可能な光のバリエーションにもかかわらず、１つまたは複数の使用可能な画像を生成するために、所定のプロファイルにしたがって異なる露光時間を使用して一連の画像を取り込むシステムおよび方法に関する。本開示はさらに、開示された方法を実施し、開示されたシステム内で使用され得るコード化されたコンピュータプログラムを有するコンピュータ記憶媒体の形態の製品に関する。

一実施形態による顔認識システムで使用するための画像を取り込むためのシステムは、個人の顔のプローブ画像の対応する連続的セット(sequential set)をカメラに取り込ませるように構成された、制御信号の連続的セットを生成するように構成されるコントローラを含む。制御信号の連続的セット内の各制御信号は、異なる露光時間を使用して、プローブ画像の連続的セットのなかの１つのプローブ画像をカメラに取り込ませるように構成される。制御信号の連続的セットに関連する異なる露光時間（different exposure times）は、個人の顔の光量および肌の色調の少なくとも一方におけるバリエーションにもかかわらず、プローブ画像の連続的セットから使用可能な画像の取込みを可能にするように構成された所定のプロファイルを共に形成(together form)する。

一実施形態による顔認識システムで使用するための画像を取り込むための方法は、個人の顔の対応する連続的プローブ画像をカメラに取り込ませるように構成された制御信号の連続的セットを生成するための命令を含む、コントローラ内の複数のプログラム命令を実行するステップを含む。制御信号の連続的セット内の各制御信号は、異なる露光時間を使用して、プローブ画像の連続的セットのなかの１つのプローブ画像をカメラに取り込ませるように構成される。制御信号の連続的セットに関連する異なる露光時間は、個人の顔の光量および肌の色調の少なくとも一方におけるバリエーションにもかかわらず、プローブ画像の連続的セットから使用可能な画像の取込みを可能にするように構成された所定のプロファイルを共に形成する。

一実施形態による製品は、コントローラによって実行されるときに顔認識システムで使用するための画像を取り込むために使用されるコード化されたコンピュータプログラムを有する非一過性コンピュータ記憶媒体を含む。コンピュータプログラムは、個人の顔の対応するプローブ画像の連続的セットをカメラに取り込ませるように構成された制御信号の連続的セットを生成するコード(code)を含む。制御信号の連続的セット内の各制御信号は、異なる露光時間を使用して、プローブ画像の連続的セットのなかの１つのプローブ画像をカメラに取り込ませるように構成される。制御信号の連続的セットに関連する異なる露光時間は、個人の顔の光量および肌の色調の少なくとも一方におけるバリエーションにもかかわらず、プローブ画像の連続的セットから使用可能な画像の取込みを可能にするように構成された所定のプロファイルを共に形成する。

本発明による顔認識システムで使用される画像を取り込むためのシステムおよび方法は、従来のシステムおよび方法と比較すると改善を示している。本発明のシステムおよび方法は、照明および肌の色調のバリエーションにもかかわらず、使用可能な画像の取込みを可能にする。その結果、本発明のシステムおよび方法は、顔認識システムの信頼性および有効性を改善する。

本発明の前述および他の態様、特徴、詳細、有用性および利点は、以下の説明および特許請求の範囲を読み、添付の図面を検討することから明らかになるであろう。

本発明の教示の一実施形態による、顔認識システムで使用するための画像を取り込むためのシステムを含む顔認識システムの概略図である。 本発明の教示の一実施形態による、顔認識システムで使用するための画像を取り込むための方法を示す流れ図である。 異なる画像露光時間と共に、光量および肌の色調のバリエーションに基づいて画像の容認性を示す表である。 図１のシステムで制御信号を生成する際に使用される様々な画像露光時間からなる一連のプロファイルを示すグラフである。

ここで、様々な図の中で同一の構成要素を識別するために、同様の参照番号が使用されている図面を参照すると、図１は顔認識システム１０を示す。システム１０は、個人１４の顔１２に関連する特性に基づいて個人の識別および／または認証に使用するために提供され、法医学、入国管理、支払いシステムおよびアクセス制御システムを含む多種多様なアプリケーションでの使用を見出すことができる。システム１０は、個人１４の顔１２の画像を取り込むためのカメラ１６などの手段と、顔１２を照らす光量を制御するための光源１８などの手段とを含むことができる。システム１０は、顔１２上の自然光および／または人工光の量の表示を提供するための照度センサ２０などの手段をさらに含むことができる。システム１０は、カメラ１６によって取り込まれた画像および／またはそれらの画像から抽出された情報、ならびに以前に取得された画像および／またはそれらの画像から抽出された情報を記憶するための装置２２と、カメラ１６を設定するために使用される情報を記憶するための装置２４とを含む、複数の電子メモリまたは記憶装置をさらに含むことができる。システム１０は、カメラ１６を制御し、カメラ１６によって取り込まれた画像を、個人１４の識別または認証に使用するために以前に取得された画像と比較するためのコントローラ２６などの手段をさらに含むことができる。

カメラ１６は、個人１４の顔１２の画像を取り込むための手段を提供する。カメラ１６は、例えば、カラー画像、近赤外線画像または赤外線画像を取り込むことができ、顔１２またはビデオの静止画像を取り込むように構成され得るデジタルカメラ、あるいは１つまたは複数の画像が抽出され得るビデオを含むことができる。カメラ１６は、様々な高さの個人の顔の画像を取り込むことができる広角レンズを含むことができる。１つまたは複数のフィルタ２８が、カメラ１６のレンズの前に配置され、カメラ１６のレンズに当たる光量または光のタイプを制限するために使用され得る。カメラ１６および任意のフィルタ２８は、キャビネットまたはハウジング内に支持され得る。本発明の教示の一態様によれば、カメラ１６は、画像取込み中の個人１４の顔１２上の光量および個人１４の肌の色調の少なくとも一方における潜在的バリエーションにもかかわらず、顔１２の使用可能な画像を生成しようとする中で、異なる露光時間を使用して、個人１４の顔１２の複数のプローブ画像を生成するようにコントローラ２６によって構成される。

光源１８は、顔１２を照らす光量を制御するための手段を提供する。光源１８は、自然光が利用できないか、または制限されている屋内環境または屋外環境において、個人の顔を照らすための人工光を提供することができる。光源１８は、例えば、本質的に可視または赤外線であり得る光を生成する白熱灯または蛍光灯または発光ダイオード（ＬＥＤ）を含むことができる。光源１８は、個人１４の顔１２上の眼鏡または他の反射面から、光源１８によって生成された光の反射を最小にするように配置され得る。光源１８は、コントローラ２６によって生成される制御信号に応答して、光源１８によって生成される光のタイプおよび光量を用いて、コントローラ２６の制御下で作動され得る。

照度センサ２０は、個人１４の顔１２を照らす光量を表示する手段を提供する。センサ２０は、例えば、光電池または光抵抗器、光起電力センサ、フォトダイオードまたは電荷結合装置（ＣＣＤ）を含むことができる。センサ２０は、個人１４が配置されている場所または環境における光量、したがって、顔１２を照らす光量を示す信号を生成する。この情報は、カメラ１６および光源１８を含むシステム１０の１つまたは複数の構成要素を制御するためにコントローラ２６によって使用され得る。本発明の教示によるシステムおよび方法は、顔１２を照らす光量のバリエーションを説明することができるので、本発明のシステムの様々な実施形態は、光源１８および／または照度センサ２０を含まなくてもよい。それにもかかわらず、光源１８およびセンサ２０は、以下に説明される発明的なシステムおよび方法の様々な実施形態における使用をやはり見出すことができる。

電子記憶装置２２、２４は、個人の顔の画像および／またはそれらの画像から抽出された情報を記憶するための手段と、カメラ１６およびシステム１０の他の要素をそれぞれ設定するために使用される情報を記憶する手段とを提供する。装置２２、２４は、半導体メモリ、光メモリまたは磁気メモリ、またはこれらの組み合わせを含むことができ、揮発性および不揮発性メモリの両方を含むことができる。装置２２、２４は、コントローラ２６の静的または動的コンタクト構造を提供する１つまたは複数のデータベースまたは他のデータ構造を定義することができ、コントローラ２６がプログラムまたは命令を実行している間に中間情報、およびデータの長期記憶の両方を提供するために使用され得る。オープンソースシステムＭｙＳＱＬなどのリレーショナルデータベース管理システム（ＲＤＢＭＳ）、またはＯｒａｃｌｅ Ｃｏｒｐ．からのＯｒａｃｌｅなどの商用システム、またはＭｉｃｒｏｓｏｆｔ Ｃｏｒｐ．からのＳＱＬ Ｓｅｒｖｅｒが、データベースを管理するためにコントローラ２６によって採用され得る。コントローラ２６は、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、仮想プライベートネットワーク、または公衆インターネットを含む有線または無線通信ネットワークに亘って装置２２、２４にアクセスすることができ、装置２２、２４は、コントローラ２６に対して局所的または遠隔的に配置され得ることを理解されたい。

装置２２は、個人１４の顔１２を含む様々な個人の顔の複数のギャラリー画像を含むギャラリーデータベースを定義することができる。ギャラリー画像は、様々な方法でギャラリーデータベース内に編成され得る。例えば、ギャラリー画像は、顔が画像内に取り込まれた個人によって１つのレベルでグループ化され、次に画像の品質を示す値に基づいてサブレベルでさらにグループ化され得る。画像の品質値は、個人の位置、個人の顔の表情、邪魔な物体（例えば、帽子、眼鏡など）の有無、鮮明度および／または画像の解像度などを含む様々な要因を考慮に入れることができる。本発明の教示の一態様によれば、品質値は、画像内の照明のレベルをさらに考慮に入れることができる。照明レベルは、画像取込み時（例えば、センサ２０による）の直接測定によって決定可能であり、または画像内の画素の照度値から間接的に決定され得る。装置２２は、目（虹彩を含む）、鼻、耳、口、顎および頭のような様々な顔の特徴、ならびにそのような特徴の相対的な位置に関する情報を含む各顔のテンプレートを有する各画像に対応し、各画像から抽出された顔のテンプレートをさらに記憶することができる。

装置２４は、例えば、個人１４の顔１２の画像が取り込まれる期間と、その期間に亘るカメラ１６のフレームレートとを含む、システム１０を設定するための情報を含むことができる。以下に詳細に考察される開示されたシステムおよび方法の一態様によれば、装置２４は、画像取込み中にカメラ１６についての変化する露光時間のシーケンス(a sequence of varying exposure times)をそれぞれ規定する複数の所定のプロファイルを記憶することもできる。装置２４は、以下に説明される方法を実施するための命令を含む、コントローラ１６のための実行可能な命令（すなわち、ソフトウェア）をさらに記憶することができる。

コントローラ２６は、カメラ１６を制御するための手段を提供する。コントローラ２６は、カメラ１６によって取り込まれた画像を、個人１４の識別または認証に使用するために以前に取得された画像と比較する手段をさらに提供することができる。コントローラ２６は、プログラム可能なマイクロプロセッサまたはマイクロコントローラを含むことができ、あるいは特定用途向け集積回路（ＡＳＩＣ）を含むことができる。コントローラ２６は、コントローラ２６がカメラ１６、光センサ２０および記憶装置２２、２４によって生成された信号を含む複数の入力信号を受信することができる中央処理装置（ＣＰＵ）および入力／出力（Ｉ／Ｏ）インタフェースを含むことができ、カメラ１６および光源１８を制御するために使用される信号を含む複数の出力信号を生成し、装置２２、２４上に情報を記憶することができる。コントローラ２６は、本明細書では単一のユニットとして説明され図示されているが、カメラ１６の制御および画像の比較を含む本明細書に説明される様々な処理を実行するために、別個のコントローラが使用され得ることを理解されたい。

一実施形態によれば、コントローラ２６は、システム１０などの顔認識システムを使用するために画像を取り込むための方法において複数のステップを実行するための適切なプログラミング命令またはコード（すなわち、ソフトウェア）を有して構成される。コンピュータプログラムは、メモリ装置２４内に記憶されてもよく、コンピュータプログラムがコード化された従来の非一過性コンピュータ記憶媒体からメモリ装置２４にアップロードされることが可能である。ここで図２を参照すると、この方法は、カメラ１６を設定するステップ３０から開始することができる。コントローラ２６は、カメラ１６が個人１４の顔１２の画像およびその期間に亘るカメラ１６のためのフレームレートを取り込む期間を含む、カメラ１６の様々な作動特性に関して、装置２４から設定データを検索するように構成されてもよい。

この方法は、個人１４の顔１２のカメラ１６によって取り込まれる画像の初期数を示す値Ｎに画像反復カウンタを設定するステップ３２を続行することができる。カウンタは、装置２４内のメモリ内の位置として具体化されることができ、コントローラ２６は、装置２４内に記憶するために値Ｎを装置２４に送信することができる。値Ｎは、予めプログラムされた値であってもよく、ステップ３０における設定データから導かれてもよく、または従来の入力／出力装置を使用して入力されてもよい。

この方法は、カメラ１６に、個人１４の顔１２の対応するプローブ画像の連続的セットを取り込ませるように構成された制御信号の連続的セットを生成するステップ３４を続行することができる。本発明の教示の一態様によれば、各制御信号は、異なる露光時間を使用して、対応するプローブ画像をカメラ１６に取り込ませるように構成されている。制御信号の連続的セットに関連する異なる露光時間は、その集合が、個人１４の顔１２の光量および肌の色調の少なくとも一方におけるバリエーションにもかかわらず、プローブ画像の連続的セットから使用可能な画像の取込みを可能にするように構成された所定のプロファイルを形成する。図３を参照すると、各行が、コントローラ２６によって連続的に送出される制御信号に応答して一定期間に亘って取られた２０個の画像またはフレームのシーケンスの１つの画像に対応する、例示的な表が提供される。表中の第２列は、カメラ１６の例示的な露光時間を示す。各画像の露光時間は異なり、図示の実施形態では非線形に増加する。第３列および第４列は、比較的多量の自然および／または人工光がある場合（例えば、屋外環境で日が差す日中の午後）の状態を反映する。第５列および第６列は、比較的少量の自然および／または人工光がある場合（例えば、屋外環境で夜間）の状態を反映する。第３列および第５列は、個人１４の顔１２が青白い色調および／または脂性の肌を有する状態をさらに反映する。第４列および第６列は、個人１４の顔１２が浅黒い肌の色調を有するか、または影になっている状態をさらに反映する。第３列〜第６列に示すように、画像のセット内の各画像に対して異なる露光時間を用いることにより、光量と顔１２の肌の色調の一方または両方におけるバリエーションにもかかわらず、システム１０について１つまたは複数の使用可能な画像を取得することができる。３列目および４列目を５列目とおよび６列目と比較することによって示されるように、顔１２上の光量が比較的多い場合、カメラ１６によってより少ない光が取り込まれる、より短い露光時間で取り込まれた画像が、使用可能な画像であることができるが、それに反して、顔１２上の光量が比較的少ない場合、より多くの光がカメラ１６によって取り込まれる、より長い露光時間で取り込まれた画像が、使用可能な画像であることができる。同様に、３列目および５列目を４列目および６列目を比較して示されるように、顔１２の肌の色調が比較的青白いか、または脂性である場合、カメラ１６によってより少ない光が取り込まれる、短い露光時間で取り込まれた画像が、使用可能な画像であることができるが、ところが、顔１２の肌の色調が相対的に陰になって暗い場合、カメラ１６によってより多くの光が取り込まれる、より長い露光時間で取り込まれた画像が、使用可能な画像であることができる。図３に示すように、肌の色調のバリエーションにもかかわらず、いくつかの画像が容認可能であるように、一定の光量が顔１２上に存在する場合、顔１２の肌の色調にもかかわらず、いくつかの画像は容認可能である可能性がある。同様に、いくつかの画像は、一定の肌の色調を有する様々な光の状態下で容認可能である可能性がある。図３の画像の値および容認可能な範囲は、例示的なものに過ぎず、必ずしも構成された実施形態を反映するものではなく、あるいは本発明の教示の範囲を限定するものではないことを理解されたい。

図４を参照すると、制御信号に関連する異なる露光時間が、共に、所定のプロファイル３６を形成する。プロファイル３６は、個人１４の顔１２の光量および肌の色調の少なくとも一方におけるバリエーションにもかかわらず、取り込まれた画像についての露光時間を変化させる（異ならせる）ことによって、プローブ画像の連続的セットから使用可能な画像を取り込むことができるように特に構成される。図４に示す実施形態（および図３に示す実施形態）では、プロファイル３６は、プローブ画像の連続的セットにおける各先行する画像についての露光時間よりも、プローブ画像の連続的セットにおける各後続の画像についての露光時間が長くなるに従って、露光時間が連続的に増加するように構成されている。さらに、図４に示す実施形態（および図３に示す実施形態）では、プロファイル３６は、露光時間が非直線的に増加し、プローブ画像の連続的セットの第１の画像と、第１の画像の直後にあるプローブ画像の連続的セットの第２の画像との間の露光時間の差が、プローブ画像の連続的セットの第２の画像と、第２の画像の直後にあるプローブ画像の連続的セットの第３の画像との間の露光時間の差とは異なるように構成される。別法として、露光時間プロファイルは、露光時間が非直線的に増加し、プローブ画像の連続的セットの第１の画像と、第１の画像の直後にあるプローブ画像の連続的セットの第２の画像との間の露光時間の差が、プローブ画像の連続的セットの第２の画像と、第２の画像の直後にあるプローブ画像の連続的セットの第３の画像との間の露光時間の差に等しくなるように構成され得る。図４（および図３）に示されたプロファイルは例示的なものに過ぎず、例えば、プロファイルによって、カメラ１６が画像のセット内の各画像についての異なる露光時間を採用するように、制御信号が構成されることが可能になる限り、プロファイルはより長い露光時間からより短い露光時間に移動することができ、または別の形態を取ることができることを理解されたい。その振幅および形状／形態を含むプロファイルの正確な構成は、光量または肌の色調を予測する複数の要因に応答して変化され得る。例えば、異なるプロファイルは、人工光がカメラ１６の近傍に存在するかどうか、または人工光の種類にかかわらず、かつカメラ１６が使用される時間帯にかかわらず、カメラ１６の位置（例えば、カメラ１６が、屋内または屋外の環境にあるかどうか、およびカメラ１６が、曝された領域または陰影のある領域に位置するかどうか）に基づいて発生させることが可能である。異なるプロファイルは、個人１４の地域個体群の特性に基づいて（例えば、カメラ１６が、典型的により青白いまたはより浅黒い肌の色調である世界の領域内に位置する場合）発生させることもまた可能である。

図２を再び参照すると、さまざまな状態(varying conditions)は、使用可能な画像の取込みを可能にする際に異なるプロファイルを最適にすることができるので、ステップ３４は、露光時間の異なるシーケンス(different sequences of exposure times)を有する複数の所定のプロファイルの中から所定のプロファイルを選択するサブステップ３８を含むことができる。さまざまなプロファイルを、電子記憶装置２４内に記憶させることができ、コントローラ２６によって装置２４から読み出すことができる。コントローラ２６は、予めプログラムされた命令に基づいて、および／またはさまざまな状態を示すコントローラ２６への入力に応答して、プロファイルの１つを選択するように構成され得る。例えば、コントローラ２６は、システム１０内のタイマまたはクロック（図示せず）によって示される時刻、照度センサ２０によって示される利用可能な光量、あるいは他の検出された状態に部分的に基づいて、プロファイルを選択することができる。

ステップ３２は、選択されたプロファイルに基づいてカメラ１６のための制御信号を形成するサブステップ４０をさらに含むことができる。一旦プロファイルが選択されると、コントローラ２６は、プロファイルに応答してカメラ１６を制御するため、特にカメラ１６についての露光時間および結果として生じる画像を制御するために使用される制御信号を形成する。開示される実施形態の一態様によれば、制御信号は、画像の連続的セットが生成されるにつれて、一定の開口および一定の感光度をカメラ１６に維持させるようにさらに構成されてもよい。

この方法は、プローブ画像の連続的セットのなかのいずれかが使用可能な画像を含むかどうかを判定するステップ４２を続行することができる。使用可能な画像は、顔認識システムによる識別および／または認証の目的で使用され得る画像であり、したがって、少なくとも一定の最低限の品質要求を満たす。使用可能な画像は、例えば、顔認識システムが画像内の顔を検出できるようにする必要がある。使用可能な画像はまた、顔認識システムが画像内の重要な顔の特徴を識別することを可能にする必要がある。顔の特徴の識別および数は、顔認識システムによって使用される顔認識アルゴリズムに応じて異なることを理解されたい。

一実施形態では、プローブ画像の連続的セットのいずれかが使用可能な画像を含むかどうかを判定するステップは、プローブ画像のセット全体が取得された後に初めて実行される。この実施形態では、各制御信号が形成された後に、画像反復カウンタが１だけ減少される。一旦画像がカメラ１６によって取り込まれると、コントローラ２６は別の制御信号を形成し、画像反復カウンタがゼロに等しくなり、プローブ画像の連続的セット全体が取得されてしまうまでサイクルが繰り返される。この時点で、コントローラ２６は、プローブ画像の連続的セット内の取り込まれた画像を評価し始めて、いずれの画像が使用可能な画像を含むかどうかを判定する。この実施形態では、コントローラ２６は、使用可能な画像が識別されるまで、プローブ画像の連続的セット内の画像を所定の順番で評価することができ、あるいはプローブ画像の連続的セット内のすべての画像を評価して、使用可能な複数の画像の中から使用可能なすべての画像、または最高品質の使用可能な画像を識別することができる。

図２を参照すると、別の実施形態では、本発明の教示の一態様によれば、プローブ画像の連続的セットのなかのいずれかが使用可能な画像を含むかどうかを判定するステップ４２が、反復的に、ステップ３４と実質的に同時に実行され得る。特に、コントローラ２６は、取り込まれたプローブ画像が使用可能な画像であるかどうかを判定するために、取込み直後に、かつ別の制御信号の生成前およびプローブ画像の連続的セット内の次の後続のプローブ画像の取込み前に、プローブ画像の連続的セットの各１つを評価するように構成され得る。コントローラ２６は、ステップ３４、および取り込まれたプローブ画像が使用可能な画像を含む場合、制御信号の連続的セットの継続される生成を終了するようにさらに構成可能である。本発明の教示のこの態様によれば、システム１０の速度および効率を向上させることができる。

ステップ４２は、いくつかのサブステップ４４、４６、４８、５０、５２を含むことができる。サブステップ４４において、コントローラ２６は、カメラ１６からプローブ画像の連続的セットのなかの１つのプローブ画像を受信する。ビデオカメラの場合、従来のフレーム取込みプログラムを使用して、ビデオから個人の画像が抽出され得る。サブステップ４６、４８において、コントローラ２６は、従来の顔認識アルゴリズムを使用することができて、顔がプローブ画像内に存在するかどうかを判定し、もしそうであれば、要求される顔の特徴、ならびに現在および他の顔の品質基準が満たされているかどうかを判定する。本発明の教示の一態様によれば、品質基準は、プローブ画像が適切なレベルの照明を有するかどうかを含むことができる。

顔がプローブ画像内に存在し、プローブ画像が使用可能な画像であるように顔の品質基準が満たされている場合、プロセスの多くは終了し、コントローラ２６または別個のコントローラは、様々な方法でプローブ画像を使用することへ進むことができる。例えば、コントローラ２６は、使用可能なプローブ画像を、装置２２上に記憶されたギャラリーデータベース内の１つまたは複数のギャラリー画像と比較し、識別および認証に使用するために、プローブ画像とギャラリー画像との間の類似性スコアまたは類似性の他の表示を生成することができる。本発明の教示の別の態様によれば、コントローラ２６は、識別および認証において将来に使用するために、使用可能なプローブ画像をギャラリーデータベースに追加することによって、ギャラリーデータベースを管理するように構成され得る。コントローラ２６は、ギャラリーデータベース内の画像の品質を改善するために、ギャラリーデータベース内の既存の画像を、図２の方法を使用して、取得された使用可能なプローブ画像と交換するようにさらに構成され得る。この場合、コントローラ２６は、様々な要因（例えば、画像内の照明レベルを含む）に基づいて、取り込まれた、使用可能なプローブ画像を、ギャラリーデータベース内の画像と比較し、この比較に基づいて、ギャラリー画像および／またはプローブ画像を維持するか、または破棄するかどうかを決定するように構成され得る。

サブステップ４６において、プローブ画像内で顔が検出されなかった場合、または要求された顔の特徴がプローブ画像内に見つからない場合、またはサブステップ４８において他の品質基準が満たされていない場合、コントローラ２６は、プローブ画像のすべての連続的セットが取り込まれ、評価されたかどうかを判定するように構成され得る。したがって、ステップ４２は、画像反復カウンタが所定の値に対して所定の状態を満たすかどうかを判定するサブステップ５０を続行することができる。例えば、コントローラ２６は、画像反復カウンタがゼロよりも大きいかどうかを判定することができる。画像反復カウンタがゼロより大きい場合、ステップ４２はサブステップ５２を続行することができ、コントローラ２６は画像反復カウンタを１だけ減らす。カウンタが減らされた後、方法はステップ４０に戻って、制御信号の連続的セット内の次の制御信号を生成することができる。

画像反復カウンタがゼロ以下であり、したがって、プローブ画像の連続的セット内のプローブ画像のすべてが取り込まれ、再調査され、使用可能な画像が取得されていないことを示す場合、コントローラ２６は、ステップ３４、４２を繰り返し、それによって、連続的制御信号の第２のセットおよび個人１２の顔１４の対応するプローブ画像の第２の連続的セット（および、必要であれば制御信号およびプローブ画像の追加のセット）を生成するように構成されてもよい。制御信号のこの第２の連続的セット内の各制御信号は、異なる露光時間を使用して、プローブ画像の第２の連続的セットのなかの１つのプローブ画像をカメラ１６に取り込ませるように再び構成される。

再び図４を参照すると、制御信号の第２の連続的セットに関連する異なる露光時間は、共に、個人１２の顔１４の光量および肌の色調の少なくとも一方におけるバリエーションにもかかわらず、プローブ画像の第２の連続的セットから使用可能な画像の取込みを可能にするように構成された第２の所定のプロファイル５４を形成する。開示された実施形態の一態様によれば、第２の所定のプロファイル５４は、プローブ画像の第１の連続的セットを生成する際に使用される第１の所定のプロファイル３６と異なっている可能性がある。第１の所定のプロファイルを使用して、使用可能な画像が取得されなかったので、第２の所定のプロファイルは、カメラ１６がプローブ画像を取り込む方法を異ならせる制御信号の第２の連続的セットをコントローラ２６に生成させるように構成され得る。特に、第２のプロファイル５４は、コントローラ２６によって生成された結果として生じる制御信号が、第１のプロファイル３６を使用して、取り込まれたプローブ画像についての露光時間に対して１つまたは複数の異なる露光時間を用いて、カメラ１６にプローブ画像を生成させるように構成されてもよい。

図示の実施形態では、第１の所定のプロファイル３６および第２の所定のプロファイル５４は、プロファイル３６を使用して、コントローラ２６によって生成される制御信号の数が、プロファイル５４を使用して、コントローラ２６によって生成される制御信号の数に等しく、したがってプローブ画像の第１の連続的セット内のプローブ画像の数が、プローブ画像の第２の連続的セット内のプローブ画像の数に等しくなるように構成される。しかしながら、プロファイル３６、５４は、プローブ画像の第２の連続的セット内の１つまたは複数の画像について露光時間が、プローブ画像の第１の連続的セット内の１つまたは複数の対応する画像についての露光時間と異なるように、さらに構成される。しかしながら、プロファイル５４は、プローブ画像の第２の連続的セット内の各画像の露光時間が、プローブ画像の第１の連続的セット内の１つの対応する画像についての露光時間と異なるように、さらに構成され得る。プロファイル５４は、プローブ画像の第２の連続的セット内の各プローブ画像についての露光時間が、プローブ画像の第１の連続的セット内の１つの対応するプローブ画像についての露光時間よりも長く、またはプローブ画像の第１の連続的セット内の１つの対応するプローブ画像についての露光時間よりも短くなるように、さらに構成され得る。

図示された実施形態では、プロファイル５４は、プローブ画像の第２の連続的セット内の各後続の画像について連続的に増加する露光時間を再びもたらし、その増加は非線形である。プロファイル５４は、プローブ画像の第２の連続的セットのプローブ画像（例えば、最終的な画像）の少なくとも１つについての露光時間が、プローブ画像の第１の連続的セットの各プローブ画像についての露光時間よりも長くなるように、さらに構成され得る。プロファイル５４は、プローブ画像の第２の連続的セットのプローブ画像の少なくとも別の１つについての露光時間が、プローブ画像の第１の連続的セットの任意のプローブ画像についての最短の露光時間よりも長いが、しかしプローブ画像の第１の連続的セットの任意のプローブ画像についての最長の露光時間よりも短くなるように、さらに構成されてもよい。

プローブ画像の第２の連続的セットについての露光時間が、プローブ画像の第１の連続的セットについての露光時間と異なる（例えば、減少した露光時間またはそれらの何らかの組み合わせとは反対に、増加した露光時間）方法は、コントローラ２６によって所定のプロファイルの中からプロファイルの選択を支配する１つまたは複数の状態に応じて異ならせることができる。例えば、いくつかの実施形態によれば、第２の所定のプロファイルは、プローブ画像の最初の連続的セットからの使用可能な画像がないことに基づいて、予めプログラムされた選択であってもよい。他の実施形態では、第２の所定のプロファイルは、光量など、プローブ画像の第１の連続的セット内の画像取込みに影響を及ぼす検出された条件に基づいて、選択され得る。これらの検出された状態は、照度センサ２０のような外部センサによって、またはプローブ画像の第１の連続的セットのピクセルにおける照度値を分析する際に、コントローラ２６によって取り込まれた画像自体から判定され得る。

本発明によるシステムおよび方法は、複数のシステムおよび方法と比較して改善を表す。特に、本発明のシステムおよび方法は、照明および肌の色調のバリエーションにもかかわらず、使用可能な画像の取込みを可能にする。その結果、本発明のシステムおよび方法は、顔認識システムの信頼性および有効性を改善する。

本発明は、その１つまたは複数の特定の実施形態を参照して示され、説明されてきたが、本発明の精神および範囲から逸脱することなく、様々な変形および修正が可能であることが当業者によって理解されるであろう。

Claims (19)

1. コントローラによって実行されたときに顔認識システムで使用するための画像を取り込むために使用されるコード化されたコンピュータプログラムを有する非一過性コンピュータ記憶媒体を備える製品であって、
   前記コンピュータプログラムが、個人の顔の対応するプローブ画像の第１の連続的セットをカメラに取り込ませるように構成された制御信号の第１の連続的セットを生成するためのコードを含み、
   前記制御信号の第１の連続的セット内の各制御信号が、露光時間を使用して、前記プローブ画像の第１の連続的セットのなかの１つのプローブ画像を前記カメラに取り込ませるように構成され、前記制御信号の第１の連続的セットに関連する前記異なる露光時間が、前記個人の前記顔の光量および肌の色調の少なくとも一方におけるバリエーションにもかかわらず、前記プローブ画像の第１の連続的セットから使用可能な画像の取込みを可能にするように構成された第１の所定のプロファイルを共に形成し、
   前記制御信号の第１の連続的セットを生成するための前記コードが、複数の所定のプロファイルの中から前記第１の所定のプロファイルを選択するためのコードを含み、前記複数の所定のプロファイルの各々が、露光時間の異なるシーケンスを有する、製品。
2. 前記第１の所定のプロファイルを選択するための前記コードが、時間に応答して前記第１の所定のプロファイルを選択するためのコードを含む、請求項１に記載の製品。
3. 前記プローブ画像の第１の連続的セット内の各後続の画像についての前記露光時間が、前記プローブ画像の第１の連続的セット内の各先行する画像についての前記露光時間よりも長い、請求項１に記載の製品。
4. 前記プローブ画像の第１の連続的セットの第１の画像と、前記第１の画像の直後に続く前記プローブ画像の第１の連続的セットの第２の画像と、の間の露光時間の差が、前記第２の画像と、前記第２の画像の直後に続く前記プローブ画像の第１の連続的セットの第３の画像と、の間の露光時間の差に等しい、請求項１に記載の製品。
5. 前記プローブ画像の第１の連続的セットの第１の画像と、前記第１の画像の直後に続く前記プローブ画像の第１の連続的セットの第２の画像と、の間の露光時間の差が、前記第２の画像と、前記第２の画像の直後に続く前記プローブ画像の第１の連続的セットの第３の画像と、の間の露光時間の差とは異なる、請求項１に記載の製品。
6. 前記コンピュータプログラムが、前記プローブ画像の第１の連続的セットのなかのいずれかが前記使用可能な画像を含むかどうかを判定するためのコードをさらに含む、請求項１に記載の製品。
7. 前記プローブ画像の第１の連続的セットのなかのいずれかが前記使用可能な画像を含むかどうかを判定するためのコードが、
   前記プローブ画像の第１の連続的セットの各１つのプローブ画像を評価するステップと、
   前記１つのプローブ画像が前記使用可能な画像である場合、前記制御信号の第１の連続的セットの生成を終了するステップと、を含み、
   前記評価するステップを、前記１つのプローブ画像が前記使用可能な画像であるかどうかを判定するために、前記１つのプローブ画像の取込み後、および前記１つのプローブ画像の直後に続く前記プローブ画像の第１の連続的セット内の後続のプローブ画像の取込み前に実施する、請求項６に記載の製品。
8. 前記コンピュータプログラムが、
   前記使用可能な画像がないときに、前記個人の前記顔の対応するプローブ画像の第２の連続的セットをカメラに取り込ませるように構成された制御信号の第２の連続的セットを生成するためのコードをさらに含み、
   前記制御信号の第２の連続的セット内の各制御信号が、異なる露光時間を使用して、前記プローブ画像の第２の連続的セットのなかの１つのプローブ画像を前記カメラに取り込ませるように構成され、前記制御信号の第２の連続的セットに関連する前記異なる露光時間が、前記個人の前記顔の前記光量および前記肌の色調の少なくとも一方におけるバリエーションにもかかわらず、前記プローブ画像の第２の連続的セットから前記使用可能な画像の取込みを可能にするように構成された第２の所定のプロファイルを共に形成する、請求項７に記載の製品。
9. 前記プローブ画像の第１の連続的セット内のプローブ画像の第１の数が、前記プローブ画像の第２の連続的セット内のプローブ画像の第２の数に等しく、前記プローブ画像の第１の連続的セット内の各プローブ画像についての前記露光時間が、前記画像の第２の連続的セット内の各対応するプローブ画像についての前記露光時間とは異なる、請求項８に記載の製品。
10. 前記プローブ画像の第２の連続的セット内の各プローブ画像についての前記露光時間が、前記プローブ画像の第１の連続的セット内の対応するプローブ画像についての前記露光時間よりも長い、請求項９に記載の製品。
11. 前記プローブ画像の第２の連続的セットのなかのプローブ画像の少なくとも１つについての前記露光時間が、前記プローブ画像の第１の連続的セットのなかの各プローブ画像についての前記露光時間よりも長い、請求項９に記載の製品。
12. 前記制御信号の第１の連続的セット内の各制御信号が、一定の開口および一定の感光度を前記カメラに維持させるようにさらに構成される、請求項１に記載の製品。
13. 顔認識システムで使用するための画像を取り込むためのシステムであって、
    個人の顔の対応するプローブ画像の第１の連続的セットをカメラに取り込ませるように構成された制御信号の第１の連続的セットを生成するように構成されたコントローラを備え、
    前記制御信号の第１の連続的セット内の各制御信号が、異なる露光時間を使用して、前記プローブ画像の第１の連続的セットのなかの１つのプローブ画像を前記カメラに取り込ませるように構成され、前記制御信号の第１の連続的セットに関連する前記異なる露光時間が、前記個人の前記顔の光量および肌の色調の少なくとも一方におけるバリエーションにもかかわらず、前記プローブ画像の第１の連続的セットから使用可能な画像の取込みを可能にするように構成された第１の所定のプロファイルを共に形成し、
    前記コントローラが、複数の所定のプロファイルの中から前記第１の所定のプロファイルを選択するようさらに構成され、前記複数の所定のプロファイルの各々が、露光時間の異なるシーケンスを有する、システム。
14. 前記プローブ画像の第１の連続的セットのなかの第１の画像と、前記第１の画像の直後にある前記プローブ画像の第１の連続的セットのなかの第２の画像と、の間の露光時間の差が、前記第２の画像と、前記第２の画像の直後にある前記プローブ画像の第１の連続的セットのなかの第３の画像と、の間の露光時間の差とは異なる、請求項１３に記載のシステム。
15. 前記コントローラが、前記プローブ画像の第１の連続的セットのなかのいずれかが前記使用可能な画像を含むかどうかを判定するようにさらに構成される、請求項１３に記載のシステム。
16. 前記プローブ画像の第１の連続的セットのなかのいずれかが前記使用可能な画像を含むかどうかを判定するときに、前記コントローラが、
    前記プローブ画像の第１の連続的セットのなかの各１つのプローブ画像を、前記１つのプローブ画像の取込み後、および前記１つのプローブ画像の直後にある前記プローブ画像の第１の連続的セット内の後続のプローブ画像の取込み前に、前記１つのプローブ画像が前記使用可能な画像であるかどうかを判定するために、評価し、
    前記１つのプローブ画像が前記使用可能な画像である場合、前記制御信号の第１の連続的セットの生成を終了するように、さらに構成される、請求項１５に記載のシステム。
17. 前記コントローラが、
    前記使用可能な画像がない場合、前記個人の前記顔の対応するプローブ画像の第２の連続的セットを前記カメラに取り込ませるように構成された制御信号の第２の連続的セットを生成するようにさらに構成され、
    前記制御信号の第２の連続的セット内の各制御信号が、異なる露光時間を使用して、前記プローブ画像の第２の連続的セットのなかの１つのプローブ画像を前記カメラに取り込ませるように構成され、前記制御信号の第２の連続的セットに関連する前記異なる露光時間が、前記個人の前記顔の前記光量および前記肌の色調の少なくとも一方におけるバリエーションにもかかわらず、前記プローブ画像の第２の連続的セットから前記使用可能な画像の取込みを可能にするように構成された第２の所定のプロファイルを共に形成する、請求項１５に記載のシステム。
18. 前記プローブ画像の第１の連続的セット内のプローブ画像の第１の数が、前記プローブ画像の第２の連続的セット内のプローブ画像の第２の数に等しく、前記プローブ画像の第１の連続的セット内の各プローブ画像についての前記露光時間が、前記画像の第２の連続的セット内の各対応するプローブ画像についての前記露光時間とは異なる、請求項１７に記載のシステム。
19. 顔認識システムで使用するための画像を取り込むための方法であって、
    個人の顔の対応するプローブ画像の第１の連続的セットをカメラに取り込ませるように構成された制御信号の第１の連続的セットを生成するための命令を含む、コントローラ内の複数のプログラム命令を実行するステップを含み、
    前記制御信号の第１の連続的セット内の各制御信号が、異なる露光時間を使用して、前記プローブ画像の第１の連続的セットのなかの１つのプローブ画像を前記カメラに取り込ませるように構成され、前記制御信号の第１の連続的セットに関連する前記異なる露光時間が、前記個人の前記顔の光量および肌の色調の少なくとも一方におけるバリエーションにもかかわらず、前記プローブ画像の第１の連続的セットから使用可能な画像の取込みを可能にするように構成された第１の所定のプロファイルを共に形成し、
    前記第１の所定のプロファイルが、複数の所定のプロファイルの中からを選択され、前記複数の所定のプロファイルの各々が、露光時間の異なるシーケンスを有する、方法。

Images