JP7197485B2 - 検出システム、検出装置およびその方法 - Google Patents

Description

本発明は、概して、画像処理システムに関する。より具体的には、本発明は、顧客または乗客等の個人を検出するためのシステム、機器、方法またはコンピュータプログラム、または職員によって使用される装置に関する。より詳細には、本発明は、警備員、航空会社職員、または鉄道駅あるいはバス停留所のような空港または他の輸送ハブにおける他の職員によって使用され得る乗客を検出するためのシステムに関する。

顔認識および顔照合は、認証プロセス時の人による評価の必要性を低減する、広範に使用されている生体認証システムである。網膜や指紋スキャン等の他の生体認証システムと比較して、顔認識はシンプルで使いやすく、便利である。しかしながら、このような既知の顔認識システムは、人がシステムを騙して別の顔を認識させる「スプーフィング（なりすまし）」攻撃によって騙される可能性がある。これは、例えば、印刷された画像またはマスクを使用して別の顔を示すことによって達成され得る。これに対抗するため、顔照合および顔認識システムは、通常、顔の動き、テクスチャ、および生命徴候等の指標を使用して、適合した顔が「生体である」か「非生体である」かを評価する生体検知手段を使用する。しかしながら、このようなシステムは、以下で説明するような多くの欠点を有する。

１つの生体検知手段として、顔の特定の特徴が互いにどのように移動するかを評価する動作解析が挙げられる。３Ｄの顔を２Ｄにレンダリングする場合、鼻等の顔の中心の特徴は、遠近法により顔の外側の特徴よりもはるかに動く。対照的に、２Ｄの顔の特徴の間には相対的な動きはない。しかしながら、相対的な顔の動きに依存するシステムでは、弱い周囲光の影響を受ける可能性があり、かつユーザが静止したままでは機能しない高品質のビデオカメラが必要である。別の生体検知手段として、正確な結果をもたらすために大量かつ多様なデータセットを必要とするテクスチャ分析が挙げられるが、これは、多くの場合、赤外線カメラ等の追加のハードウェアを必要とし、テクスチャ情報が殆どない写真を使用したスプーフィングが可能である。最後に、まばたき等の生命徴候の分析を含む生体検知手段には追加のハードウェアが必要であり、特定の時間に特定のジェスチャまたは特定の動作を実行することをユーザに要求するため、使用が煩わしい場合がある。

また、既存のシステムには、誤報率が高く、ＣＰＵ負荷の高いアルゴリズムを使用し、または高価なハードウェアを必要とするという問題がある。

本発明の実施形態は、ユーザを特徴付ける１つ以上の特徴に関連する第１のゾーンであって、第１のサンプル値セットに関連する第１のゾーンを、ユーザに関連する画像から決定し、第２のサンプル値セットに関連する第２のゾーンであって、第２のサンプル値セットの少なくとも一部の位置が、第１のサンプル値セットの位置とは異なる第２のゾーンを、ユーザに関連する画像または更なる画像から決定し、第２のゾーンまたは第２のサンプル値セットから特性値を決定するように構成された処理手段を備える、画像処理装置を提供することによって上記の問題に対処する。好ましくは、特性値は、サンプル値または第２のゾーンに関連するサンプル値に基づいて決定される。本発明の実施形態は、ユーザを特徴付ける１つ以上の特徴に関連する第１のゾーンを、ユーザに関連する画像から決定し、第１のゾーンに近接する第２の検出ゾーンを、ユーザに関連する画像または更なる画像から決定し、第２の検出ゾーンから特性値を決定することができる。通常、第２のゾーンは、第１のゾーンとは異なる。

本発明の実施形態は、ユーザを認証するための装置を提供することができ、この装置は、ユーザに関連する画像から、ユーザを特徴付ける１つ以上の特徴に隣接するゾーン（７０１）を決定し、ゾーン（７０１）から特性値を決定し、決定された特性値に基づいてユーザを認証するように構成された処理手段を備える。処理手段は、ユーザに関連する画像から背景画像を減算するように更に構成されることが好ましい。

通常、ユーザを特徴付ける特徴は、ユーザの目、鼻、口、耳、髪の毛等のうちの任意の１つ以上のような、ユーザの身体、頭部、または顔部を定義する特徴を含む。

処理手段を更に比較して、決定された特性値に基づいて、ユーザに関連する画像が本物か否かを決定することが好ましい。第２の検出ゾーン距離は、いくつかのピクセルだけ第１のゾーンから離間している。２つのゾーンは、互いに隣接するかまたは付近に配置され得る。通常、第１のゾーンは、ユーザを特徴付ける１つ以上の特徴を包含する。

従って、本発明の実施形態は、一連の画像を分析して、ユーザに関連する画像が本物であるか否か、またはユーザに関連する画像が欺瞞、欺詐または偽物であるか否かを判定することができる。これは、ユーザに関連する２次元画像とユーザに関連する３次元画像とを区別することによって実行することができる。

更に、本発明の実施形態は、一連の画像を分析して、ユーザに関連する画像が「生体」であるか否か、または、実際には画像が「スプーフィング」を試みているか否かを判定することができる。

従って、本発明の実施形態は、印刷された顔または画面に表示された顔を使用するスプーフィング技術に対する効果的な解決策を提供することが理解されよう。

更に、本発明の実施形態は、応答時間が非常に速く、誤報率が非常に低く、かつ、様々な照明条件の下で非常に良好に機能するという利点を有する。更に、本発明の実施形態は、ユーザインタラクションを必要とせず、かつ比較的安価なハードウェアが使用可能であるという利点を有する。

次に、本発明の実施形態を、単なる例示として、添付の図面を参照して説明する。

本発明を実施する主要な機能コンポーネントの概略図である。 一連の単純化された画像と、本発明の実施形態によるこれらの画像の処理方法とを示す説明図である。 ユーザが存在しない背景を示す一組の画像である。 本物のユーザおよび不正なユーザに対する、一組のユーザ画像と対応する顔の位置とを示す説明図である。 ユーザ画像と、ホワイトバランスおよび輝度を背景画像に一致させるようにこの画像を調整する方法とを示す説明図である。 背景の減算から得られる前景マスク画像である。 顔ゾーン、検出ゾーン、および各ゾーンの特徴が識別されたユーザ画像である。 顔ゾーンおよび検出ゾーンが識別された前景マスク画像である。 画像が本物か不正かを確認するためのブール計算を表現する説明図である。 スプーフィングを試みるプロセスおよび結果を示す一連の画像である。 本発明の一実施形態によって実行されるステップを示すフロー図である。

以下の説明は、航空産業で使用するシステムに関するものであるが、これは例示的であり、本発明の他の用途についても検討する。例えば、システムは、顔認識技術を実装することができる如何なる環境でも使用することができる。従って、本発明の実施形態は、一般にセキュリティ産業、並びに、例えば、一般に鉄道、コーチ、自動車、および国境管理等の他の旅行産業に適用されてもよい。

更に、説明される以下の実施形態は、例えばＯｐｅｎＣＶライブラリを使用するＣ＋＋プログラミング言語を使用して実装されてもよい。しかしながら、これは例示的なものであり、ＪＡＶＡや．ｘｍｌ等の、当業者に公知の他のプログラミング言語を使用することもできる。

図１を参照すると、システムは、ビデオ記録ユニットまたはビデオカメラ等の画像取得ユニット１０３と、画像処理ユニット１０１とのうちの任意の１つ以上を備えることができる。

画像取得ユニット１０３は、画像または一連の画像を取得するように構成されてもよい。一例では、デジタルカメラ等のカメラを使用して、画像または一連の画像を取得してもよい。従って、画像取得ユニット１０３は、一連の画像を動画として取得するように構成されてもよい。

好ましい実施形態では、画像取得ユニット１０３は、ビデオカメラおよびプロセッサを備え、顔認識手順および生体検知手順中に使用するためにユーザのライブ画像を取得するように動作可能である。しかしながら、システムは、以前に保存された画像を使用して動作することも可能であり、この場合、画像取得ユニット１０３は、画像を保存するためのメモリを更に備えることが理解されよう。画像取得ユニット１０３は、画像処理ユニット１０１に通信可能に連結されており、画像を分析のために画像処理ユニット１０１に送信することができる。従って、このシステムは、ライブ画像分析と以前に保存された画像の分析との両方に適用可能である。

システムは、更に、走査ユニット１０９と、ユーザ検証ユニット等の追加のバックエンドシステム１０７とを備えてもよい。画像処理ユニット１０１、走査ユニット１０９、およびバックエンドシステム１０７は、ネットワーク接続１１１によって接続されてもよい。

画像処理ユニット１０１は、当業者には公知の有線または無線送信手段を介して、図面の図１に示される任意の１つ以上の異なる機能コンポーネントに通信可能に連結されてもよい。

画像取得ユニット１０３および画像処理ユニット１０１は、独立して動作するか、または、指紋スキャナ、スマートカードリーダ、バーコードリーダおよびプリンタ等を更に含み得る適用境界制御ゲート（ａｐｐｌｉｅｄ ｂｏｒｄｅｒ ｃｏｎｔｒｏｌ ｇａｔｅ）（ＡＢＣゲート）の一部を形成してもよい。

画像処理ユニット１０１は、プロセッサと、通常は、ユーザインタフェース、メモリ、およびディスプレイのうちの任意の１つ以上とを含む。画像処理ユニット１０１は、画像取得ユニット１０３によって取得された画像を受信し、以下で更に説明する格納されたアルゴリズムを使用して画像を分析し、ユーザに関連する画像が本物か不正かを判定する。分析の結果をディスプレイに表示してもよく、あるいは、結果を別個のバックエンドシステム１０７と通信させてもよい。

いくつかの実施形態では、システムは、パスポートリーダ、プロセッサ、およびメモリを含む走査ユニット１０９を含んでもよい。走査ユニット１０９は、ユーザの旅行書類または生体認証等のユーザの詳細を記録するように動作可能である。走査ユニット１０９は、顔認証が生体検知と同時に分析されるシステムに含まれてもよい。

いくつかの実施形態では、システムは、データベース、プロセッサ、メモリ、ディスプレイ、およびユーザインタフェースを備え得るバックエンドシステム１０７を含んでもよい。バックエンドシステム１０７は、インターネット接続を介して、フライト出発システム、荷物取り扱いシステム、およびシステムに追加機能を提供する顔認証システムへのアクセスを提供することができる。

以下の説明では、「スプーフィング」という用語は、例えば別のユーザの画像の後ろに自分の顔を隠すことによって、個人が別の個人になりすまし、または自分の身元を隠すプロセスを指し得る。

「ユーザ画像」という用語は、ユーザが画像取得ユニット１０３の前にいる間に、ビデオストリームから選択されたユーザの画像を指すために使用され得る。

ユーザがビデオカメラの視野の前に移動する数秒前に、１つ以上の背景画像をメモリに記録し、またはバッファに保存することができる。背景画像の目的は、ユーザ画像の背景にある移動しない特徴を推定することである。背景画像およびユーザ画像は互いに続けざまに取得される故に、ユーザ画像においてユーザの後ろに現れる背景の特徴は、背景画像の特徴と実質的に同じである。

「前景マスク画像」という用語は、背景が背景減算を使用してユーザ画像から除去されている、ユーザ画像の修正バージョンを指すために使用され得る。前景マスクは、ユーザ画像における前景物体の推定を示してもよい。

「顔ゾーン」という用語は、ユーザの顔を含む、画像処理ユニットによって識別されるユーザ画像または前景マスクの領域を指すために使用され得る。

「ＰｒｏｃｅｎｔＦａｃｅ」という用語は、顔ゾーンから検出ゾーンのサイズを計算するために使用されるパラメータを指すために使用され得る。

「顔距離」という用語は、顔ゾーンに対する検出ゾーンの変位または位置を計算するために使用されるパラメータを指すために使用され得る。

「決定しきい値」という用語は、スコアと決定しきい値との比較に基づいて、システムが返す決定（即ち、生体またはなりすまし）を計算するために使用されるパラメータを指すために使用され得る。

例えば、第１のしきい値は、写真によるスプーフィングの試みを検出するための第１のパラメータセットに関連付けられてもよい。

例えば、第２のしきい値は、画面によるスプーフィングの試みを検出するための第２のパラメータセットに関連付けられてもよい。

一例では、第１のしきい値および第２のしきい値のうちの任意の１つ以上を超える場合、アルゴリズムは、画像が本物ではなく、スプーフィングの試みに関連していると判断する。

「適合されたユーザ画像」とは、任意の照明変動に従って、ユーザ画像全体のホワイトバランスおよび／または輝度が適合または調整された画像を指し得る。これは、画像の小さなサブセクション、ひいては背景全体が背景画像の照明条件に一致するように実行することができる。

システム運用
図２は、本物のユーザまたはスプーフィングの試みを検出するために本発明の実施形態によって使用され得る例示的な画像の簡略化された概略図である。画像２０１および２０２は背景画像を表し、画像２０３および２０４はユーザ画像を表し、画像２０５および２０６は前景マスク画像を表す。

画像２０１、２０３、２０５は、本物のユーザを分析する際にシステムによって使用される画像を表現している一方、画像２０２、２０４、２０６は、スプーフィングの試みを分析する際にシステムによって使用される画像を表現している。好ましい実施形態では、分析時に８ビット画像が使用される。

スプーフィングと「生体」とのどちらの場合にも、背景画像２０１、２０２およびユーザ画像２０３、２０４が取得される。背景画像およびユーザ画像は画像処理ユニット１０１に送信され、画像処理ユニット１０１により、画像が、ユーザの顔等のユーザを特徴付ける１つ以上の特徴を含むか否かを判断する。更に、画像処理アルゴリズムにより、ステップ１１０１にて、画像内のユーザの顔の位置を特定し、ユーザ画像に関連する、またはユーザ画像上に位置する顔ゾーン２１３、２１４を識別することができる。

次に、画像処理アルゴリズムにより、ユーザ画像２０３、２０４から背景画像２０１、２０２を減算することにより、前景マスク２０５、２０６を決定する。続いて、画像処理アルゴリズムにより、識別された顔ゾーン２１３、２１４を前景マスクにマッピングする。次に、アルゴリズムは、ステップ１１０３にて、顔ゾーン位置から検出ゾーン２１５、２１６を外挿する。特定の検出ゾーン２１５、２１６の詳細な選択については、以下で更に詳細に説明する。

次に、画像処理ユニットは、検出ゾーン内のピクセルを分析して、検出ゾーン内の平均ピクセル値を評価する。検出ゾーンの平均ピクセル値を評価することにより、アルゴリズムは、ユーザが顔認識システムをスプーフィングしようとしているか否かを評価することができる。画像処理ユニットは、通常、ステップ１１０５にて、決定された検出ゾーンに関連する、または決定された検出ゾーン内のピクセルのピクセル輝度値を合計し、合計を検出ゾーンに関連する、または検出ゾーン内のピクセル数で除算することにより、平均輝度を決定する。

次に、本発明の更なる実施形態について、図面の図３～図１０を参照して説明する。図３～図７はカラー画像でもよいが、明白化するために、これらの図では線画として示している。例えば、デジタル画像を公知のＪＰＥＧ形式に従って定義することもできるが、任意の画像形式を使用することができる。例えば、画像は、ＲＧＢカラーモデル、または、ルマ値（Ｙ）と、各クロマ値がＣｂおよびＣｒ成分を有するクロマ値とを有するＹＣｂＣｒモデルによるサンプル値またはピクセルを含むことができる。

この実施形態では、背景画像は、ユーザがユーザ処理領域に入る前に画像取得ユニット１０３によって取得される。

図３は、背景画像３０１の例を示している。図示されている背景画像３０１では、ユーザはまだカメラの視野内に完全には現れていない。一旦取得されると、画像は画像取得ユニット１０３から画像処理ユニット１０１に転送される。３つの異なる画像３０１ａ、３０１ｂ、および３０１ｃを使用して、背景のモデル画像を計算することができる。モデル画像は背景画像として使用することができる。あるいは、画像３０１ａ、３０１ｂ、および３０１ｃのいずれか１つを背景画像として選択してもよい。

システムは、トリガー機構またはトリガー装置を使用して背景画像３０１を取得してもよい。トリガー装置は、画像処理手段および／または画像取得ユニットに通信可能に連結されてもよい。従って、画像処理アルゴリズムは、トリガー機構を使用したユーザの検知に応じて実行されてもよい。

トリガー機構の例には、自身のパスポートをスキャンしているユーザを検出し、またはユーザ処理領域を離れた最後のユーザを検出する赤外線検出器を含むことができる。これらの各トリガーイベントは、ユーザがカメラの視野に現れる前に発生する。従って、カメラは、ユーザが存在しなくとも背景の特徴を記録することができる。あるいは、ビデオカメラが連続ビデオストリームを取得してもよく、この場合、画像処理ユニット１０１により、分析されるべきビデオストリームの関連部分を識別する。システムによって使用される画像は、任意の形式でよい。いくつかの実施形態では、ビデオカメラによって取得される画像はＪＰＥＧ形式である。

前景推定を示す前景マスクは、ユーザを実質的に表しており、背景の特徴を含まないことが重要である。通常、背景画像の背景特徴とユーザ画像との間には殆ど違いがない。そうでない場合は、アルゴリズムがスプーフィングの試みを誤って検知して、誤報率の増加に繋がる可能性が高まる。

背景において移動している物体を排除することにより、誤報率を低減することができる。多くの場合、せわしない環境では、背景のビデオ録画には、通り過ぎる人や車両等の動く物体が含まれる。しかしながら、建物インフラストラクチャ、家具、植物等の静的な背景特徴は移動せず、これらもまたユーザ画像の背景に存在する。

従って、背景に多くの移動する物体が含まれる一部の実施形態では、画像処理ユニット１０１により、背景特徴の推定を作成するために、ビデオ録画を分析して移動する特徴をデジタル的に除去することができる。あるいは、ビデオ録画の複数のフレームから識別された静的な背景特徴を単一の背景画像に照合することができる。

背景に移動する物体が殆どないことが知られている代替的な実施形態では、画像処理ユニット１０１は、ビデオストリームから１つ以上のフレームを選択して背景特徴を決定することができる。これは、ビデオストリーム全体を分析するよりも少ない計算で済むという利点を有する。

背景画像３０１を使用して背景が推定されると、画像取得ユニット１０３はユーザ画像を取得する。ユーザ画像の例を図４に示す。

第１の例では、「生体の」ユーザがユーザ処理領域に入り、前景にユーザがいる画像４０１が記録またはバッファリングされる。第２の例では、顔認識システムをスプーフィングしようと試みるユーザの画像４０２が記録またはバッファリングされる。

ユーザがビデオカメラを使用して記録される場合、分析に最適なフレームをアルゴリズムによって選択することができる。例えば、ユーザがまばたきをしていない、またはカメラから顔を背けていないフレームが分析に適している。顔照合アルゴリズムがユーザのアイデンティティを確認してから、フレームを選択することも可能である。

画像取得ユニット１０３によって取得されたユーザ画像４０１、４０２は、画像処理ユニット１０１に送信され、画像処理ユニット１０１により、ユーザ画像を分析して、画像内のユーザの顔の位置を検出および／または位置を特定する。顔の位置特定は、目や鼻等の顔の特徴を検出することができる顔の位置特定アルゴリズムのような既知の顔の位置特定技術を使用して実行することができる。顔の位置が特定されると、画像処理ユニットは、ステップ１１０１にて、ユーザ画像４０１上の顔ゾーン４０３を識別する。これは、ＯｐｅｎＣＶおよびオープンソースアルゴリズムを使用して実施することができる。

好ましい実施形態では、画像内のＨａａｒ－ｌｉｋｅ特徴を認識するように訓練された分類器を使用するＨａａｒ Ｃａｓｃａｄｅ法を使用して顔検出が実行される。Ｈａａｒ Ｃａｓｃａｄｅアルゴリズムの特定の一例として、ｃｖ２．ＣａｓｃａｄｅＣｌａｓｓｉｆｉｅｒ（‘ｈａａｒｃａｓｃａｄｅ＿ｆｒｏｎｔａｌｆａｃｅ＿ｄｅｆａｕｌｔ．ｘｍｌ’）が挙げられる。このアルゴリズムは、ｈｔｔｐ：／／ｄｏｃｓ．ｏｐｅｎｃｖ．ｏｒｇ／ｔｒｕｎｋ／ｄ７／ｄ８ｂ／ｔｕｔｏｒｉａｌ＿ｐｙ＿ｆａｃｅ＿ｄｅｔｅｃｔｉｏｎ．ｈｔｍｌにて見つけることができる。Ｈａａｒ－ｌｉｋｅ特徴には、エッジ特徴、線特徴、対角線特徴、および中心特徴が含まれる。

分類器は、多数の、認識される物体を示すポジティブサンプルと、物体を含まない任意の画像を示すネガティブサンプルとを使用して、例えば顔等の特定の物体を識別するように訓練される。

続く画像の分析中に、分類器は、各段階において、画像に存在する各Ｈａａｒ－ｌｉｋｅ特徴を識別する。第１の段階では、画像の特定の領域をポジティブ（即ち第１のＨａａｒ－ｌｉｋｅ特徴を含む）またはネガティブのいずれかとしてラベル付けする。画像の領域にポジティブなラベルが付けられている場合、その領域は次の段階でカスケード方式にて更に分析される。領域が各段階でポジティブなラベルを付けられると、分類器によりその領域は物体を含むものとして識別される。

ピクセル座標系は通常、画像または画面の左上隅を原点とするデカルト座標系として定義される。特定のピクセル位置（ｘ、ｙ）は、原点からの位置を、原点の右にｘピクセルとして、また原点より下にｙピクセルとして定義する。

他のピクセル座標系では、画像または画面の左下隅に原点が配置されてもよい。その場合、特定のピクセル位置（ｘ、ｙ）は、原点からの位置を、原点の右にｘピクセルとして、また原点より上にｙピクセルとして定義する。

通常、検出された特徴は、幅および高さによって定義される、顔ゾーンと呼ばれる長方形のゾーンで囲まれる。従って、アルゴリズムは、ユーザに関連する画像から第１のゾーンを決定し、通常、第１のゾーン（４０３）は、アルゴリズムによって識別された１つ以上の特徴を包含する。

一実施形態では、アルゴリズムは、図７に示すゾーン４０３の左上隅および右下隅の座標を返すことにより長方形ゾーンを定義する。他の実施形態では、アルゴリズムは、ゾーンの高さおよびゾーンの幅とともにゾーンの左上隅の座標を返すことにより長方形ゾーンを定義する。通常、第１のゾーンの幅は、検出ゾーンの幅に対応するか、または一致する。

認識された特徴のセットを含むゾーンも識別する顔検出の他の方法も利用可能である。例えば、代替的な実施形態では、ソフトウェア開発キットＮｅｘａＦａｃｅ（商標）Ｆａｃｉａｌ Ｒｅｃｏｇｎｉｔｉｏｎ Ｓｏｆｔｗａｒｅを使用して、顔の特徴のセットを含むゾーンを識別することができる。

一実施形態では、顔検出アルゴリズムは、顔の特徴を含む領域の左上隅および右下隅に対応する座標を返すことにより、ゾーンの位置を識別する。ゾーンは、アルゴリズムによって返される座標によって定義される長方形によって表される。他の実施形態では、ゾーンは、ゾーンの特定の隅のピクセル座標、ゾーン幅に対応するいくつかのピクセル、およびゾーン高さに対応するいくつかのピクセルによって定義される長方形によって表される。

本発明の実施形態では、ゾーンを使用して、ユーザの顔ゾーン４０３および検出ゾーン７０１を画定し、かつ、以下で更に説明するように、長方形の境界のパラメータにより顔高さパラメータを定義する。

図５は、背景画像の特徴に一致させるための、ユーザ画像の特徴の適合方法を示す概略図である。

これは、カメラが背景画像３０１とユーザ画像４０１とを記録する間にゲインコントロールまたはホワイトバランスを自動的に調整する場合がある故に、ユーザ画像４０１の背景が背景画像３０１と一致しない可能性があるため、必要となり得る。この問題に対処するため、画像処理ユニット１０１は、ユーザ画像の特徴を適合させて、ユーザ画像４０１と背景画像３０１との間の何らかの照明変動を補正する。

適合されたユーザ画像を使用することにより、前景物体を正確に表現する前景マスクの生成を可能にする。これは、システムの誤報率が減少することを意味する。

図５に示すように、画像処理ユニット１０１は、背景画像の小さなサブセクション５１１を分析することにより、背景画像３０１の照明条件を決定する。背景画像サブセクション５１１の位置は、通常はユーザが含まれないように選択すべきである。従って、背景サブセクションもユーザ画像５１２で識別可能である必要がある。適切な例として、図５に示す画像の右上隅の小さな長方形の領域５１１、５１２、５１３が挙げられる。

次に、画像処理ユニット１０１は、背景サブセクション５１１とユーザ画像サブセクション５１２との間の照明条件を比較し、画像間の相対的な照明変動を計算する。何らかの差異がある場合、画像処理ユニット１０１は、小さなサブセクション５１３が、ひいては背景全体が背景画像３０１の照明条件に一致するように、照明の相違に応じて、ユーザ画像４０１全体の輝度を調整することにより、適合されたユーザ画像５０１を作成する。

従って、画像処理アルゴリズムは、ボックス５１１およびボックス５１３の同様の位置または同じ場所に対応するピクセルのピクセル輝度値を比較し、これらのピクセルに関連する輝度値の間の差を決定することができることが理解されよう。アルゴリズムは、決定された差に基づいて画像５０１内の全ピクセルのピクセル輝度値を更に修正して、それらが一致するか、または実質的に等しい値を有するようにすることができる。

同様に、オプションの自動ホワイトバランス補正操作を任意の画像に実行することができる。ホワイトバランス操作は画像全体に対して実行することができ、通常は他の画像と相関しない。従って、２つの写真または画像に対して同じホワイトバランスアルゴリズムを実行してもよい。これは、画像に対して自動ホワイトバランス補正アルゴリズムが実行された後、２つの異なる画像に関連するホワイトバランスが、一方の画像が取得された後だが続く画像が取得される前に、画像を取得したカメラがホワイトバランス設定を変更されたとしても、実質的に一致または近いはずである。

適合したユーザ画像５０１を生成することにより、システムが様々な照明条件の範囲内で確実かつ正確に動作することが可能となり、ビデオカメラが動作中に実行し得る何らかのオートゲインコントロールまたはホワイトバランスを打ち消すという利点を有する。従って、適合されたユーザ画像４０１に関連する１つ以上の値またはパラメータは、背景画像３０１に関連する値またはパラメータと実質的に一致してもよい。

図６は、前景マスク画像６０１の一例を示している。背景減算アルゴリズムを使用して、選択されたフレーム画像と背景画像または背景モデル画像との間でピクセルごとの減算を実行することにより、白黒画像としてのユーザ画像前景の推定を生成することができる。

いくつかの実施形態では、背景減算を実行するためのアルゴリズムは、当業者にとっては公知のガウス混合ベースの背景／前景セグメンテーションアルゴリズムを含み得る。例えば、ｃｖ：：ＢａｃｋｇｒｏｕｎｄＳｕｂｔｒａｃｔｏｒＭＯＧ２のようなアルゴリズムを使用することができる。このアルゴリズムは、ｈｔｔｐ：／／ｄｏｃｓ．ｏｐｅｎｃｖ．ｏｒｇ／ｔｒｕｎｋ／ｄ７／ｄ７ｂ／ｃｌａｓｓｃｖ＿１＿１ＢａｃｋｇｒｏｕｎｄＳｕｂｔｒａｃｔｏｒＭＯＧ２．ｈｔｍｌにて見つけることができる。アルゴリズムは、背景およびユーザ画像に関連するセグメントまたはピクセルのガウス加重混合（Ｇａｕｓｓｉａｎ ｗｅｉｇｈｔｅｄ ｍｉｘｔｕｒｅ）に基づいて背景減算を実行してもよい。これにより、背景画像（または背景モデル画像）およびユーザ画像を使用して前景マスク画像が生成される。

ユーザ画像内の特定のピクセルが背景画像によって十分に説明されているとアルゴリズムが判断した場合、続いて、アルゴリズムは、前景マスク画像内の対応するピクセルを値０の黒ピクセルとしてマークする。特定のピクセルが背景画像によって十分に説明されていないとアルゴリズムが判断した場合、続いて、前景マスク画像内の対応するピクセルをゼロ以外の固定値を有する白ピクセルとしてマークする。

従って、前景マスク画像６０１は、通常、関連する強度値０を有する黒ピクセルを有する白黒画像である。黒ピクセルは、減算された背景を表すかまたは減算された背景に関連付けられ、白ピクセルは、画像前景における特徴を表すかまたは画像前景における特徴に関連付けられ得る。白ピクセルは、ゼロ以外の関連する値を有し得る。例えば、一実施形態では、白ピクセルの値は２５５である。あるいは、白ピクセルは値１で表されてもよい。

前景マスク６０１のピクセル値を分析することの利点には、ユーザが顔認識ソフトウェアをスプーフィングしようと試みているか否かを判定する効果的な方法を提供する点が挙げられる。

再び図２を参照すると、モバイル装置の写真またはパスポート写真を使用するスプーフィングの試みには、通常、撮影された顔の端縁と背景との間に境界線がある。前景マスク２０５、２０６が作成されるとき、生体のユーザとスプーフィングを試みた場合とでは、スプーフィング画像内の境界の存在により異なる前景推定を作成する。以下で更に説明するように、ユーザの顔の端縁と前景マスク２０５、２０６の背景との間に存在する前景境界の量の計算は、顔ゾーン２１３、２１４に近接した検出ゾーン２１５、２１６を使用して実行され得る。

次に、図７を参照すると、画像処理ユニット１０１は、ステップ１１０３にて、既知の顔ゾーン４０３の位置から検出ゾーン７０１の位置を外挿する。以前に決定された顔ゾーン４０３の位置は、図７に示すように、適合されたユーザ画像５０１または前景マスク６０１上のいずれかにマッピングされる。ユーザ画像４０１上に位置する顔ゾーン４０３は、任意のピクセル座標系を使用して、前景マスクの対応するピクセルに直接的にマッピングすることができる。

図７は、顔ゾーン４０３および検出ゾーン７０１、並びに特定の例示的なアルゴリズムによって使用される検出ゾーン高さおよび検出ゾーン距離を示す。このアルゴリズムでは、顔ゾーン４０３から検出ゾーン７０１までの距離は、検出ゾーン距離＝顔高さ＊顔距離によって計算され、検出ゾーンのサイズは、検出ゾーン高さ＝顔高さ＊ＰｒｏｃｅｎｔＦａｃｅによって計算される。顔距離およびＰｒｏｃｅｎｔＦａｃｅは、顔ゾーンから検出ゾーンまでの距離と検出ゾーン高さをそれぞれ決定する調整可能なパラメータである。通常、検出ゾーンの幅は顔ゾーンの幅に対応する。

顔高さ７０２は、顔ゾーン高さとしてピクセルで定義される。５ＭＰカメラを使用する実施形態では、顔ゾーン高さは、サイズが３００～４００ピクセルであり得る。検出ゾーン距離７０３は、顔ゾーンの上部から検出ゾーンの下部までの距離として定義される。検出ゾーン距離７０３は、顔ゾーン高さ、即ち顔高さ７０２に顔距離パラメータを掛けることによって計算される。顔距離の値がゼロの場合、検出ゾーンの下部と顔ゾーンの上部との間は分離していない。顔距離の値がゼロ以外の場合、図７に示すように、検出ゾーンは顔高さの倍数だけ分離している。正の顔距離の値を使用することで、アルゴリズムはユーザの頭上の帽子やその他の物体を無視することができる。

図７には示されていないが、顔距離は負の値を持つ場合もあり、その場合、検出ゾーンおよび顔ゾーンは重複する。顔検出アルゴリズムによって返される顔ゾーンが非常に大きい実施形態では、顔距離が負の値であることが好ましい。

顔距離パラメータの値は、－０．２～２の範囲であることが好ましい。この範囲を下回るパラメータ値は、顔ゾーンと検出ゾーンとの間の重複が大き過ぎる結果となり得る。この場合、検出ゾーンにユーザの顔の一部が含まれる場合があり、結果的に誤報率が高まる。上記の範囲よりも大きいパラメータ値を使用することで、検出ゾーンがユーザ画像から離れ過ぎる結果となる。これにより、検出ゾーンが適合したユーザ画像５０１内にもはや収まらなくなる結果となり得る。これもまた、より高い誤報率をもたらし得る。

検出ゾーン高さ７０４は、検出ゾーンの高さとしてピクセルで定義される。検出ゾーン高さ７０４は、顔ゾーン高さ、即ち顔高さ７０２にＰｒｏｃｅｎｔＦａｃｅパラメータを掛けることによって計算される。従って、検出ゾーン高さ７０４は、顔高さ７０２に正比例する。

検出ゾーンが存在するには、ＰｒｏｃｅｎｔＦａｃｅパラメータがゼロ以外の正の値を有する必要がある。好ましくは、ＰｒｏｃｅｎｔＦａｃｅの値は２未満である。

パラメータ値は、生体、即ちスプーフィングでないユーザが使用している間に、多くの異なるパラメータ値の誤報率を計算することにより評価される。許容可能な結果をもたらす最適なパラメータ値のセットを選択することにより、許容可能な精度でスプーフィングの試みをうまく検知するパラメータのワーキングセットを評価することができる。

以下の表１は、特定のデータセットに対するパラメータ値の例示的なセットと、それに対応する誤報率および検出率を示す。表１は、しきい値の調整がシステムの誤報率および検出率に及ぼす影響を示す。また、表１は、異なるスプーフィング手法が異なる最適なパラメータ値に関連付けられていることも示している。一実施形態では、アルゴリズムは、並列計算において両方のパラメータ値を使用して、いずれかのパラメータセットが検出されたスプーフィングの試みをもたらすか否かを判定する。

表１：２つの異なるパラメータ設定に対する、関連するしきい値、誤報率および検出率と顔距離パラメータおよびＰｒｏｃｅｎｔＦａｃｅパラメータとの例示的な値。

表に示される特定の値は、実稼働環境にて許容可能な検出率を提供しながら、誤報率を最小限に抑える。

通常、顔距離およびＰｒｏｃｅｎｔＦａｃｅの値またはパラメータは、固定パラメータである。通常、顔高さパラメータは、前述の顔検出アルゴリズムによって決定される。

上記の説明では、システムの誤報率を最小化し、かつ検出率を最大化することにより、ゾーンパラメータおよびアルゴリズムのしきい値を最適化することができる。続いて、パラメータおよびしきい値は、顔の大きなデータセットに対して実行された多数の計算を使用して試験することができる。

パラメータおよびしきい値の設定は、検出ゾーンの形状および検出ゾーン内の変化に対する感度をそれぞれ定義する。

画面またはパスポート画像を使用したスプーフィング手法では、誤報率を十分に低く維持しつつ正しい検出率を確保するために、異なる最適なゾーンパラメータおよびしきい値設定が必要となり得る。例えば、画面によるスプーフィングの試みに対する検出率および誤報率は、検出ゾーンが顔ゾーンに近接している場合に最適となる。対照的に、パスポートによるスプーフィングの試みに対する検出率および誤報率は、検出ゾーンが顔ゾーンからより離れているが感度が高い場合に最適となる。

従って、１度のスプーフィングの試みに対して、画像処理ユニットは、画面によるスプーフィングを検出するための最適な設定と、パスポートによるスプーフィングに対する最適な設定とを使用して、前景マスクを２度分析する。これらの計算は並行して実行可能であり、上述した方法でいずれかの計算に対してスプーフィングが検出された場合、画像処理ユニットはスプーフィングが試みられたと判断する。

各スプーフィング手法に対するテストの組み合わせを使用することで、パスポート写真を使用したスプーフィングの試みに対する検出率が９０％、かつ、画面上の画像を使用したスプーフィングの試みに対する検出率が８０％でありながら、１％の誤報率を達成することができる。

他のアルゴリズムを使用して検出ゾーンを外挿することもでき、また、システムを頭の向きに対して不変とし、かつユーザの頭上に位置する髪の毛や帽子等のアイテムの位置を特定可能とする測定値を含むことができる。

従って、検出ゾーン７０１は通常、顔ゾーンに近接して配置されるべきであり、顔ゾーンのすぐ上に位置することが好ましい。しかしながら、検出ゾーン７０１が頭部のいずれかの側面に近接して位置された場合、特許請求される本発明の方法は等しく実行可能であるだろう。

図８は、前景マスク８０１にマッピングされた顔ゾーン４０３を示す。画像処理ユニット１０１は、画像８０２に顔ゾーン４０３から検出ゾーン７０１を外挿し、検出ゾーン７０１内のピクセルにわたって生体評価を実行する。

ステップ１１０５において、検出ゾーン７０１から特性値を計算してスコアを生成することにより、ユーザ画像が本物か否かの生体評価または生体判定を実行することができる。図８では、前景マスクの分析後のスコアは０である。好ましい実施形態では、特性値は平均ピクセル値である。従って、黒ピクセルの値が０であり、かつ白ピクセルの値が２５５である場合、平均ピクセル値は０～２５５となる。この特性値はグレースケールで表示され、以下で更に説明するようにしきい値と比較される。

特性値は、検出ゾーン７０１内のピクセルの平均ピクセル輝度であってもよい。別の代替案では、特性値は、白色である検出ゾーン７０１内のピクセルの割合である。前景物体を示すピクセルの普及を示す他の特性値も使用可能である。画像処理ユニット１０１は、スコアをしきい値と比較し、その比較に基づいて、検出された顔が生体であるか否かを評価する。

上記のように、前景マスクの背景は実質的に黒ピクセルで表され、前景物体の存在は実質的に白ピクセルで表される。検出された顔の外側および近位の検出ゾーン内の前景物体の存在は、境界領域を強く示唆しており、それ故に検出された顔が生体ではないことが強く示唆される。換言すると、より高いスコアは、検出ゾーン７０１内の前景物体の存在に起因する、より多くの白ピクセルを示している。スプーフィング時には、撮影された顔の端縁と背景との間の境界線のかなりの部分が検出され、高いスコアにつながる。しきい値はエラーのマージンとして機能し、スコアがしきい値以上の場合、システムはスプーフィングの試みを登録する。

計算されたスコアのブール評価によりシステム応答が決定される上記のプロセスを図９に示す。空港の入国管理用途の場合、乗客が「生体である」と判断することにより、システムは乗客を処理エリアから解放する。しかしながら、システムがスプーフィングの試みを検出した場合、ユーザを処理エリアに留めつつ、監視している入国審査官に警告が送信される。可動ゲートを使用して、画像処理ユニットによるユーザ画像が本物か否かの判断に基づいて、特定の領域内にユーザを選択的に留めることができる。

図１０は、異なる顔の印刷された画像を使用してシステムをスプーフィングしようと試みるユーザをシステムが検出する一例を示す。

上記の説明に従って、背景画像１００１およびユーザ画像１００３は、画像取得ユニット１０３によって取得され、画像処理ユニット１０１に送信される。画像処理ユニット１０１は、ユーザ画像１００７上の顔ゾーンを識別する。画像処理ユニット１０１は、ユーザ画像１００３に対して照明適合および背景減算を実行して、前景マスク１００５を生成する。顔ゾーン１００７は、画像処理ユニット１０１によって前景マスク１００５にマッピングされ、検出ゾーン１０１１の位置は、上述したように、マッピングされた顔ゾーン１００９から外挿される。

図１０に示す例では、印刷された画像には顔と背景との間に境界領域が含まれる。境界領域の大部分と、ユーザの部分的に隠された頭部等の他の前景特徴とが、検出ゾーン１００９に含まれる。検出ゾーンにおける前景特徴の存在は、２４４の高い計算スコア１０１３につながる。このスコアが所定のしきい値を超えると、システムはスプーフィングの試みを登録する。

図１１のフローチャートは、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の例示的な実装の動作を示している。フローチャートまたはブロック図の各ブロックは、ブロックで指定された論理機能を実装するための、１つ以上の実行可能なコンピュータ命令、または命令の一部を含むモジュールを表している。図中のブロックの順序は、単なる例示を目的としている。代替的な実施形態では、特定のブロックに示されている論理機能は、図に示されている以外の順序で発生してもよい。例えば、互いに隣接するように図示された２つのブロックは、同時に実行されてもよく、または機能に応じて逆の順序で実行されてもよい。フローチャートの各ブロックは、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアとの組み合わせで実行することができる。

本発明の実施形態は、ユーザの頭部が不正確に向けられている画像、またはユーザの身長が低く、かつ背景の特徴が変化する画像も処理することができる。

例えば、ユーザが下を向いている場合、ユーザの頭部の向きが不正確であることにより、検出ゾーンにユーザの頭部または髪の毛の一部が現れる結果となり得る。これにより、顔の向きが正しい場合よりも非常に高い生体評価スコアが得られ、誤警報につながり得る。この状況では、ユーザの頭の回転に関する知識に基づいて、検出ゾーンを別の場所に外挿することができる。ユーザの頭の回転は、顔のピッチ、ヨーおよびロールを確立する顔位置アルゴリズムによって計算することができる。頭部の回転を検出すると、検出ゾーンは、例えばユーザの頭部の側面に配置され得る。

ユーザの背が低過ぎる場合、例えば他の待機しているユーザ等のユーザの背後の背景の動きを検出するように検出ゾーンが配置されることで、誤警報に繋がり得る。この状況では、第２のビデオカメラを第１のカメラの下に配置することで、記録された画像の遠近感を変更することができる。更に、広角カメラを使用することにより、背の高いユーザと背の低いユーザとを正確に検出することができる。例えば、広角カメラにより、高さが１．４ｍ～２．１ｍのユーザを正確に検出することができる。

最後に、背景における一部の特徴は変更し得る。例えば、背景の広告パネルが散発的に点灯する場合があり、これはシステムの有効性に影響し得る。これが発生する場合、除外ゾーンを検出ゾーン内に確立することができ、これにより、背景における変化がアルゴリズムによって実行される計算に影響を与えるのを防ぐことができる。

上記の発明の特徴は、空港識別システムの一部として実装されてもよい。こうしたシステムには、セルフサービスチェックインキオスクまたは入国審査ゲートが含まれ得る。

上記から、画像処理装置は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、携帯情報端末、携帯電話、スマートフォン等のコンピューティングデバイスを含み得ることが理解されよう。

装置は、クライアント装置と通信するための１つ以上のサーバプロセスを実行するコンピュータプロセッサを備えてもよい。サーバプロセスは、本発明の動作を実行するためのコンピュータ可読プログラム命令を含む。コンピュータ可読プログラム命令は、Ｃ等の手続き型プログラミング言語や、Ｃ＃、Ｃ＋＋、Ｊａｖａ、スクリプト言語、アセンブリ言語、マシンコード命令、命令セットアーキテクチャ（ＩＳＡ）命令、および状態設定データ等のオブジェクト指向プログラミング言語を含む適切なプログラミング言語、またはそれらの任意の組み合わせで書かれたソースコードまたはオブジェクトコードであり得る。

上述の有線または無線の通信ネットワークは、パブリック、プライベート、有線または無線のネットワークであり得る。通信ネットワークは、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット、携帯電話通信システム、または衛星通信システムのうちの１つ以上を含み得る。通信ネットワークは、銅ケーブル、光ケーブルまたは光ファイバ、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、およびエッジサーバ等を含む、任意の適切なインフラストラクチャを含み得る。

上述のシステムは、グラフィカルユーザインタフェースを備えてもよい。本発明の実施形態は、画面上のグラフィカルユーザインタフェースを含むことができる。ユーザインタフェースは、例えば、ウェブサイトに埋め込まれたウィジェットの形態で、装置のアプリケーションとして、または専用のランディングウェブページに提供されてもよい。グラフィカルユーザインタフェースを実装するためのコンピュータ可読プログラム命令は、例えば、インターネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）および／または無線ネットワークを介したコンピュータ可読記憶媒体からクライアント装置にダウンロードすることができる。命令は、クライアント装置内のコンピュータ可読記憶媒体に保存されてもよい。

当業者によって理解されるように、本明細書に記載される本発明は、方法、データ処理システム、またはコンピュータ可読命令を含むコンピュータプログラム製品として全体的または部分的に具体化され得る。従って、本発明は、完全にハードウェアの実施形態、またはソフトウェア、ハードウェアおよび任意の他の適切な手法または機器を組み合わせた実施形態の形態をとることができる。

コンピュータ可読プログラム命令は、非一時的な有形のコンピュータ可読媒体に保存されてもよい。コンピュータ可読記憶媒体は、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリースティック、フロッピーディスクのうちの１つ以上を含み得る。

本発明の例示的な実施形態は、ＣＰＵ、バス、ＲＡＭ、フラッシュメモリ、プリンタ、ディスプレイ、キーパッド、センサおよびカメラ等の接続されたＩ／Ｏ装置の動作のための１つ以上のポート、ＲＯＭ、モデム等の通信サブシステム、および通信メディアを含み得る回路基板として実装され得る。

Claims (15)

1. ｉ．ユーザを特徴付ける１つ以上の特徴に関連する第１のゾーンであって、第１のサンプル値セットに関連する第１のゾーン（４０３）をユーザに関連する画像から決定し、
   ｉｉ．第２のサンプル値セットに関連する第２のゾーンであって、前記第２のサンプル値セットの少なくとも一部の位置が、前記第１のサンプル値セットの位置とは異なる第２のゾーン（７０１）をユーザに関連する前記画像または更なる画像から決定し、
   ｉｉｉ．前記第２のゾーンから特性値を決定し、前記特性値は、前記第２のサンプル値セットの平均であり、
   ｉｖ．前記決定した特性値が所定のしきい値未満である場合にのみ、前記ユーザが本物であると判定する
   ように構成された処理手段を備える、画像処理装置。
2. 前記ユーザ画像から前景画像を決定することを更に含む、または、
   背景画像に関連するサンプル値をユーザ画像に関連する対応するサンプル値と比較すること、および、前記サンプル値が前記背景画像に関連するサンプル値と一致するように前記ユーザ画像のサンプル値を調整することを更に含み、または、
   前記画像に関連するホワイトバランスおよび／または輝度値を補正することを更に含む請求項１に記載の画像処理装置。
3. 前記前景画像は、前記背景画像と前記ユーザ画像とのガウス加重混合に基づいて決定される前景マスク画像である、または、
   前記装置は、更に、ピクセル座標のマッピングに基づいて、前記第１のゾーン（４０３）を前記ユーザ画像に関連付けるように構成されている、または、
   前記装置は、更に、ピクセル座標のマッピングに基づいて、前記第２のゾーン（７０１）を前記ユーザ画像に関連付けるように構成されている、請求項２に記載の装置。
4. 前記装置は、更に、前記ユーザに関連する特徴の高さを定義するパラメータに基づいて、検出ゾーン距離を決定するように構成されている、または、
   前記検出ゾーン距離と、前記ユーザに関連する特徴の高さを定義する前記パラメータとの比が、－０．２～０．９の範囲であり、またはゼロ以上であり、または０．３～０．９の範囲内にある、または、
   前記第２のゾーンは、検出ゾーン高さパラメータ（７０４）によって画定される、
   または、
   前記検出ゾーン高さパラメータは、前記ユーザに関連する特徴の高さを定義する更なるパラメータに基づいて決定され、または、前記検出ゾーン高さと、前記ユーザに関連する特徴の高さを定義する前記パラメータとの比が、０．６～１．９の範囲内にある、または、
   前記第１のゾーンおよび前記第２のゾーンは、それぞれ、ほぼ長方形状である、請求項１～３のいずれか一項に記載の装置。
5. 前記処理手段は、背景画像と前記ユーザ画像とのガウス加重混合に基づいて、前記第２のゾーンから前景マスク画像を決定するように更に構成されている、または、
   前記処理手段は、前記決定された特性値をしきい値と比較するように更に構成されている、または、
   前記処理手段は、前記決定された特性値が２つの異なるしきい値未満である場合にのみ、前記ユーザを本物であると判定するように更に構成されている、または、
   前記処理手段は、前記ユーザに関連する画像から前記ユーザを特徴付ける１つ以上の特徴、または、前記画像内の前記特徴の位置を判定するように更に構成されている、
   請求項１～４のいずれか一項に記載の装置。
6. ユーザを特徴付ける１つ以上の特徴に関連する第１のゾーンであって、第１のサンプル値セットに関連する第１のゾーン（４０３）を、ユーザに関連する画像から決定するステップ（１１０１）と、
   第２のサンプル値セットに関連する第２のゾーンであって、前記第２のサンプル値セットの少なくとも一部の位置が前記第１のサンプル値セットの位置とは異なる第２のゾーン（７０１）を、ユーザに関連する前記画像または更なる画像から決定するステップ（１１０３）と、
   前記第２のゾーンから特性値を決定するステップ（１１０５）であって、前記特性値は、前記第２のサンプル値セットの平均であるステップと、
   前記決定した特性値が所定のしきい値未満である場合にのみ、前記ユーザが本物であると判定するステップと、を含む、画像処理方法。
7. 前記装置は、前記決定された特性値に基づいて、前記ユーザが本物か否かを決定するように構成されている、または、
   前記第２のゾーンは前記第１のゾーンの近位にあり、前記第２のゾーンは前記ユーザを特徴付ける１つ以上の特徴を含まない、または、
   前記第２のゾーンは、前記第１のゾーンに隣接している、または、
   前記第１のサンプル値セットの位置が、前記第２のサンプル値セットの位置とは異なる、または、
   前記第１のゾーンは、前記ユーザを特徴付ける１つ以上の特徴のうち少なくとも１つを包含している、請求項１に記載の画像処理装置または請求項６に記載の画像処理方法。
8. 前記ユーザ画像から前景画像を決定するステップを更に含む、または、
   前記第２のゾーンは前記第１のゾーンの近位にあり、前記第２のゾーンは、前記ユーザを特徴付ける１つ以上の特徴を含まない、または、
   前記ユーザ画像から前景画像を決定するステップを更に含む、または、
   背景画像に関連するサンプル値をユーザ画像に関連する対応するサンプル値と比較するステップ、または、前記サンプル値が前記背景画像に関連するサンプル値に一致するように前記ユーザ画像のサンプル値を調整するステップを更に含む、または、
   前記画像に関連するホワイトバランスおよび／または輝度値を補正するステップを更に含む、請求項６または７に記載の画像処理方法。
9. 前記前景画像は、前記背景画像と前記ユーザ画像とのガウス加重混合に基づいて決定される前景マスク画像である、または、
   前記決定された特性値に基づいて、前記ユーザが本物か否かを決定するステップを更に含む、または、
   ピクセル座標のマッピングに基づいて、前記第１のゾーン（４０３）を前記ユーザ画像に関連付けるステップを更に含む、または、
   ピクセル座標のマッピングに基づいて、第２のゾーン（７０１）を前記ユーザ画像に関連付けるステップを更に含む、請求項８に記載の方法。
10. 前記第１のゾーンは、前記第２のゾーンから検出ゾーン距離（７０３）だけ離間しており、前記検出ゾーン距離は、前記第１のゾーンから離れた所定数の水平ピクセルまたは垂直ピクセルとして定義される、請求項１～３のいずれか一項に記載の画像処理装置または請求項６～９のいずれか一項に記載の方法。
11. 前記ユーザに関連する特徴の高さを定義するパラメータに基づいて、検出ゾーン距離を決定するステップを更に含む、または、
    前記検出ゾーン距離と、前記ユーザに関連する特徴の高さを定義する前記パラメータとの比が、－０．２～０．９の範囲内にあり、または、ゼロ以上であり、または、０．３～０．９の範囲内にある、または、
    前記第２のゾーンは、検出ゾーン高さパラメータ（７０４）によって画定される、
    または、
    前記検出ゾーン高さパラメータは、前記ユーザに関連する特徴の高さを定義する更なるパラメータに基づいて決定され、または、前記検出ゾーン高さと、前記ユーザに関連する特徴の高さを定義する前記パラメータとの比が、０．６～１．９の範囲にある、または、
    前記第１のゾーンおよび前記第２のゾーンは、それぞれ、ほぼ長方形状である、請求項６～１０のいずれか一項に記載の方法。
12. 背景画像と前記ユーザ画像とのガウス加重混合に基づいて、前記第２のゾーンから前景マスク画像を決定するステップを更に含む、または、
    前記決定された特性値をしきい値と比較するステップを更に含む、または、
    前記決定された特性値が２つの異なるしきい値未満である場合にのみ、ユーザを本物と判定するステップを更に含む、または、
    前記ユーザに関連する画像から前記ユーザを特徴付ける１つ以上の特徴、または、前記画像内の特徴の位置を決定するステップを更に含む、請求項６～１１のいずれか一項に記載の方法。
13. ユーザを認証するための装置であって、
    ｉ．前記ユーザに関連する画像から、前記ユーザを特徴付ける１つ以上の特徴に隣接するゾーン（７０１）を決定し、
    ｉｉ．前記ゾーン（７０１）から特性値を決定し、
    ｉｉｉ．前記決定された特性値に基づいて前記ユーザを認証し、前記特性値は、前記第２のサンプル値セットの平均であり、
    ｉｖ．前記決定した特性値が所定のしきい値未満である場合にのみ、前記ユーザが本物であると判定するように構成された処理手段を含む、装置。
14. ユーザを認証するための方法であって、
    ｉ．前記ユーザに関連する画像から、前記ユーザを特徴付ける１つ以上の特徴に隣接するゾーン（７０１）を決定するステップと、
    ｉｉ．前記ゾーン（７０１）から特性値を決定するステップと、
    ｉｉｉ．前記決定された特性値に基づいて前記ユーザを認証するステップであって、前記特性値は、前記第２のサンプル値セットの平均であるステップと、
    前記決定した特性値が所定のしきい値未満である場合にのみ、前記ユーザが本物であると判定するステップと、を含む、方法。
15. 前記ユーザに関連する画像から背景画像を減算するステップを更に含む、請求項１３に記載の装置または請求項１４に記載の方法。

Images