JP7286208B2 - 生体顔検出方法、生体顔検出装置、電子機器、及びコンピュータプログラム - Google Patents

Description

本願は、人工知能の分野に関し、特に生体顔検出に関する。
本願は、２０２０年１月１７日に中国国家知識産権局に提出された、出願番号が第２０２０１００５５３４３．３号で、出願の名称が「生体顔検出方法、関連装置、機器及び記憶媒体」である中国特許出願の優先権を主張するものであり、その全ての内容は、参照により本願に組み込まれるものとする。

生体顔検出の主な目的は、現在の顔が実際に生きている人であるか否かを判断して、偽の顔による攻撃を防ぐことである。生体顔検出は、顔認識を行う前の重要なステップである。顔認識が顔認証決済及び顔認証ドアアクセス制御などの多くの重要な分野に応用されるに伴い、偽造された顔によって攻撃を行うという顔認識における問題は日増しに深刻になっており、生体顔検出は、顔攻撃を防ぐための主要な技術的ルートである。

現在は、主に、複数枚の顔画像を生体顔検出の根拠としており、例えば、顔画像における顔がまばたき、又は口を開くなどの動作の特徴を満たすと、該画像における顔が生体の顔であると判定する。

本願の実施例に係る生体顔検出方法及び関連装置は、異なる方向の入射光を利用して顔に照射し、顔画像の法線マップ及び反射率マップを算出することができる。同時に、顔画像の三次元幾何学的情報及び表面材質情報が考慮されるため、顔画像の真実性を識別し、異なる生体顔攻撃の方法を効果的に防御することができる。

一態様では、本願の実施例に係る生体顔検出方法は、
初期顔画像及びＮ個の光照射方向に対応する顔画像集合を取得するステップであって、顔画像集合はＮ個の顔画像を含み、かつ各顔画像は１つの光照射方向に対応し、Ｎ個の光照射方向は互いに異なる光照射方向であり、かつＮ個の光照射方向はＮ個の光源位置に対応し、Ｎ個の光源位置は同一の直線上に位置せず、Ｎは３以上の整数である、ステップと、
初期顔画像及び顔画像集合に基づいて、Ｎ個の差分画像を取得するステップと、
Ｎ個の差分画像及びＮ個の光照射方向に基づいて、法線マップ及び反射率マップを生成するステップであって、法線マップは、各画素点に対応する法線に基づいて構成された画像であり、反射率マップは、各画素点に対応する反射率に基づいて構成された画像である、ステップと、
Ｎ個の差分画像、法線マップ及び反射率マップに基づいて、生体顔検出結果を決定するステップと、を含む。

別の態様では、本願の実施例に係る生体顔検出装置は、
初期顔画像及びＮ個の光照射方向に対応する顔画像集合を取得するために用いられる取得モジュールであって、顔画像集合はＮ個の顔画像を含み、かつ各顔画像は１つの光照射方向に対応し、Ｎ個の光照射方向は互いに異なる光照射方向であり、かつＮ個の光照射方向はＮ個の光源位置に対応し、Ｎ個の光源位置は同一の直線上に位置せず、Ｎは３以上の整数であり、
取得モジュールがさらに、初期顔画像及び顔画像集合に基づいて、Ｎ個の差分画像を取得するために用いられ、Ｎ個の差分画像のうちの各差分画像は、初期顔画像及び顔画像に基づいて取得されたものである、取得モジュールと、
取得モジュールにより取得されたＮ個の差分画像に基づいて、法線マップ及び反射率マップを生成するために用いられる生成モジュールであって、法線マップは、各画素点に対応する法線が異なるチャネルを表す画像であり、反射率マップは、各画素点に対応する反射率が異なるチャネルを表す画像である、生成モジュールと、
取得モジュールにより取得されたＮ個の差分画像、生成モジュールにより生成された法線マップ及び反射率マップに基づいて、生体顔検出結果を決定するために用いられる決定モジュールと、を含む。

別の態様では、本願の実施例に係る電子機器は、メモリ、送受信機、プロセッサ及びバスシステムを含み、
メモリは、プログラムを記憶するために用いられ、
プロセッサは、メモリにおけるプログラムを実行することにより、上記各態様の方法を実現するために用いられ、
バスシステムは、メモリ及びプロセッサを接続することにより、メモリ及びプロセッサに通信させるために用いられる。

別の態様では、本願の実施例に係る記憶媒体は、上記各態様の方法を実行するために用いられるコンピュータプログラムを記憶するために用いられる。

別の態様では、本願の実施例に係る命令を含むコンピュータプログラム製品は、コンピュータ上で実行されると、前記コンピュータに上記各態様の方法を実行させる。

以上の技術的解決手段から分かるように、本願の実施例は、以下の利点を有する。

本願の実施例に係る生体顔検出方法は、まず初期顔画像及びＮ個の光照射方向に対応する顔画像集合を取得し、次に初期顔画像及び顔画像集合に基づいて、Ｎ個の差分画像を取得し、さらにＮ個の差分画像及び上記Ｎ個の光照射方向に基づいて、法線マップ及び反射率マップを生成し、最後にＮ個の差分画像、法線マップ及び反射率マップに基づいて、生体顔検出結果を決定することができる。上記方式により、異なる方向の入射光を利用して顔に照射し、顔画像の法線マップ及び反射率マップを算出することができ、法線マップには認識対象の顔の三次元幾何学的情報が含まれ、反射率マップには認識対象の顔の表面材質情報が含まれ、同時に顔画像の三次元幾何学的情報及び表面材質情報が考慮されるため、顔画像の真実性を識別し、異なる生体顔攻撃の方法を効果的に防御することができる。

本願の実施例における生体顔検出システムの１つのアーキテクチャ概略図である。 本願の実施例における生体顔検出システムの別のアーキテクチャ概略図である。 本願の実施例における生体顔検出方法の１つの概略図である。 本願の実施例における光源位置の１つの配列概略図である。 本願の実施例における端末機器が画像収集提示メッセージを表示する１つのインタフェース概略図である。 本願の実施例における顔画像集合の収集方式の１つの概略図である。 本願の実施例の画面領域の１つの概略図である。 本願の実施例における顔画像集合の収集方式の１つの概略図である。 本願の実施例のＬＥＤ配列方式の１つの概略図である。 本願の実施例における顔キーポイント集合の１つの概略図である。 本願の実施例における端末機器が再収集提示メッセージを表示する１つのインタフェース概略図である。 本願の実施例における法線マップ及び反射率マップの１つの概略図である。 本願の実施例における生体検出モデルの１つの構造概略図である。 本願の実施例における生体顔検出フローの１つの概略図である。 本願の実施例におけるウェイクワード検出装置の１つの実施例の概略図である。 本願の実施例に係る端末機器に関連する携帯電話の部分構造のブロック図である。

本願の実施例に係る生体顔検出方法、関連装置、機器及び記憶媒体は、異なる方向の入射光を利用して顔に照射し、顔画像の法線マップ及び反射率マップを算出することができる。同時に、顔画像の三次元幾何学的情報及び表面材質情報が考慮されるため、顔画像の真実性を識別し、異なる生体顔攻撃の方法を効果的に防御することができる。

本願の明細書、特許請求の範囲及び上記図面における用語「第１」、「第２」、「第３」、「第４」など（存在する場合）は、類似した対象を区別するためのものであり、必ずしも特定の順序又は優先順位を説明するものではない。ここで説明した本願の実施例が、例えばここでの図示又は説明以外の順序でも実施できるように、このように使用されたデータは、適宜入れ替えてもよいことを理解されたい。また、用語「含む」及び「に対応する」並びにそれらのいかなる変形は、非排他的な包含をカバーすることを意図し、例えば、一連のステップ又はユニットを含む過程、方法、システム、製品又は機器は、明確に挙げられたステップ又はユニットに限定されず、明確に挙げられていないか又はこれらの過程、方法、システム、製品又は機器に固有の、他のステップ又はユニットを含んでもよい。

理解すべきものとして、本願に係る生体顔検出方法は、顔認識シーンに応用でき、具体的には、複数の異なる分野、例えばセキュリティ、金融及び勤怠管理などの分野に応用できる。実際の応用では、姿勢の変換、メガネの反射、光線の強弱及び表情の変化などの多くの干渉要因が普遍的に存在するため、顔認識の効果に影響を与えやすく、３Ｄのシリコン樹脂による顔、及び３Ｄ印刷された顔などの方式を利用して顔認識に対して攻撃を行う状況もますます深刻になっている。顔に対する生体検出は、後続の顔認識の基礎であるだけでなく、金融、セキュリティ及び勤怠管理などの分野にも広範な応用価値を有する。

本願に係る生体顔検出方法は、図１に示される環境に応用できる。図１に参照されるように、図１は、本願の実施例における生体顔検出システムの１つのアーキテクチャ概略図である。図に示すように、本願に係る方法は、タブレットコンピュータ、スマートフォン、パーソナルコンピュータ又はドアアクセス制御システムなどの端末機器に応用できる。例えば、金融分野において、生体顔検出に対する需要が存在する。ユーザーは、スマートフォンにより振替、決済又は口座情報の修正などの身分認証を行う必要がある操作を行うことができる。具体的には、スマートフォンにより第１のユーザーの複数の顔画像を収集する場合、該スマートフォンは、本願に係る生体顔検出方法を用いて、第１のユーザーの身分を認識することにより、今回の操作が第１のユーザー本人により開始されるか否かを判定することができる。また例えば、セキュリティ分野においては、セルフサービスの通関機器を利用して通関検査を行うことができる。具体的には、第２のユーザーは、セルフサービス通関機器により通関検査を行い、該セルフサービス通関機器は、本願に係る生体顔検出方法を用いて、収集された第２のユーザーの顔画像に対して生体検出を行うことにより、身分を詐称するか否かを認識することができる。また例えば、勤怠管理分野において、顔認証タイムレコーダー又は顔認証ドアアクセス制御システムに応用することができる。具体的には、第３のユーザーは、タイムカードを打刻するか又はドアアクセス制御を解除するときに当該ユーザーに対して生体顔検出を行うことにより、他人がタイムカードを打刻するか又は無関係者が身分を詐称することを防止する。ここでは、全ての応用シーンを列挙しない。

上記様々なシーンにおいて生体顔検出を行うことにより顔画像の真実性を識別するために、本願は生体顔検出方法を提供し、該方法は図２のシステムアーキテクチャに応用できる。図２に参照されるように、図２は、本願の実施例における生体顔検出システムの別のアーキテクチャ概略図である。図に示すように、本願に係る生体顔検出方法はさらにサーバに応用できる。例えば、金融分野において、生体顔検出に対する需要が存在する。第１のユーザーがスマートフォンにより振替を行うことを仮定し、スマートフォンが第１のユーザーの複数の顔画像を収集する場合、これらの顔画像をサーバに送信することができる。該サーバは、本願に係る生体顔検出方法を用いて、第１のユーザーの身分を認識することにより、今回の操作が第１のユーザーにより開始されるか否かを判定し、かつ判定結果を端末機器にフィードバックすることにより、生体顔検出を完了する。ここでは、全ての応用シーンを列挙しない。

実際の応用において、システムアーキテクチャの選択は、実際に処理しようとするデータ量などの要因に依存し得る。例えば、ドアアクセス制御システムに対して、該ドアアクセス制御システムを使用して記憶されたユーザーのデータ量が小さければ、本願の方法をドアアクセス制御機器にローカルに配置することができる。すなわちドアアクセス制御機器は、生体顔検出結果が生体顔であると決定したときに、収集された顔とドアアクセス制御機器のローカルに記憶された顔画像とを照合することにより、身分情報を決定することができる。また例えば、ネットワークバンク決済又は公安システムにとって、常に大量のユーザーデータを記憶する必要があるため、サーバにより生体顔検出結果を生成し、かつ生体顔検出結果が生体顔であると決定したときに、収集された顔とドアアクセス制御機器のローカルに記憶された顔画像とを照合することにより、身分情報を決定することができる。

ここで、図２におけるサーバは、生体顔検出を行うために用いられるサーバであり、１台のサーバ又は複数台のサーバで構成されたサーバクラスタ又はクラウドコンピューティングセンターなどであってよく、具体的には、ここではいずれも限定しない。端末機器は、図１又は図２に示されるタブレットコンピュータ、スマートフォン、パーソナルコンピュータ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ、ＰＣ）及びドアアクセス制御機器であってもよく、監視機器又は顔認識機器などであってもよく、ここでは限定しない。一部の実施形態において、生体顔検出装置が配置されたクライアントは、いずれもウェブページクライアントとして表現されてもよく、アプリケーション類のクライアントとして表現されてもよく、前述の端末機器に配置される。

端末機器とサーバとの間は、無線ネットワーク、有線ネットワーク又はリムーバブル記憶媒体を介して通信することができる。ここで、上記無線ネットワークは、標準的な通信技術及び／又はプロトコルを使用する。無線ネットワークは、一般的に、インターネットであるが、いかなるネットワークであってもよく、ブルートゥース（登録商標）、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）、メトロポリタンエリアネットワーク（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＭＡＮ）、ワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮ）、移動、専用ネットワーク又は仮想専用ネットワークの任意の組み合わせを含むが、これらに限定されない。いくつかの実施例において、カスタマイズ又は専用のデータ通信技術を使用して上記データ通信技術を置換するか又は補充することができる。リムーバブル記憶媒体は、ユニバーサルシリアルバス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ、ＵＳＢ）フラッシュディスク、リムーバブルハードディスク又は他のリムーバブル記憶媒体などであってもよい。

図２は、４つの端末機器及び１つのサーバのみを示すが、理解すべきものとして、図２における例は、本解決手段を理解するために用いられるものであり、具体的な端末機器及びサーバの数は、いずれも実際の状況に合わせて柔軟に決定されるべきである。

本願の実施例に係る人工知能に基づく生体顔検出方法は、人工知能の分野に基づくコンピュータビジョン技術（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、ＣＶ）を用いることができる。本願に係る方法を説明する前に、まず人工知能の分野のいくつかの基礎概念を説明する。人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）は、デジタルコンピュータ又はデジタルコンピュータにより制御された機械を利用して、人の知能をシミュレーションし、広く展開させ、環境を感知し、知識を取得し、かつ知識を使用して最適な結果を取得する理論、方法、技術及び応用システムである。換言すれば、人工知能は、コンピュータ科学の１つの総合的な技術であり、知能の実質を把握し、かつ人間の知能に類似する方式で反応できる新たな知能機器を製造することを意図する。人工知能とは、様々な知能機器の設計原理及び実現方法を研究することにより、機器が知覚、推論及び意思決定の機能を有するようにすることである。人工知能技術は、総合的な学科であり、幅広い分野に関し、ハードウェア面の技術もソフトウェア面の技術もある。人工知能の基礎技術は、一般的にセンサ、専用人工知能チップ、クラウド計算、分散型記憶、ビッグデータ処理技術、操作／対話システム、電気機械一体化などの技術を含む。人工知能のソフトウェア技術は、主にコンピュータビジョン技術、音声処理技術、自然言語処理技術及び機器学習／深度学習等の幾つかの方向を含む。

ここで、コンピュータビジョン技術は、どのように機器に「見せる」かを研究する科学であり、さらに言えば、人の目の代わりにカメラ及びコンピュータを用いてターゲットに対して認識、追跡及び測定などの機械ビジョンを行い、さらにグラフィック処理を行い、コンピュータに人の目による観察又は機器による検出のための転送に適する画像に処理することを指す。一つの科学の学科として、コンピュータビジョンでは、関連する理論及び技術を研究し、画像又は多次元データから情報を取得することができる人工知能システムを確立しようとする。コンピュータビジョン技術は、一般的に画像処理、画像認識、画像意味理解、画像検索、光学文字認識（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ、ＯＣＲ）、ビデオ処理、ビデオ意味理解、ビデオコンテンツ／行為認識、三次元物体再構成、３Ｄ技術、仮想現実、拡張現実、同期測位及び地図構築などの技術を含み、さらに一般的な顔認識、指紋認識などの生物特徴認識技術を含む。

人工知能技術の研究及び進歩に伴い、人工知能技術は、多くの分野において研究及び応用を展開している。例えば一般的なスマートホーム、スマートウェアラブルデバイス、仮想アシスタント、スマートスピーカー、スマートマーケティング、無人運転、自動運転、無人航空機、ロボット、スマートワンヘルス、スマートカスタマーサービスなどであり、技術の発展に伴って、人工知能技術は、より多くの分野において応用され、かつますます重要な価値を発揮している。

上記説明と組み合わせて、以下、本願における生体顔検出方法を説明する。図３に参照されるように、本願の実施例における生体顔検出方法の１つの実施例は、以下のステップ１０１～１０４を含む。

ステップ１０１では、初期顔画像及びＮ個の光照射方向に対応する顔画像集合を取得し、顔画像集合はＮ個の顔画像を含み、かつ各顔画像は１つの光照射方向に対応し、Ｎ個の光照射方向は互いに異なる光照射方向であり、かつＮ個の光照射方向はＮ個の光源位置に対応し、Ｎ個の光源位置は同一の直線上に位置せず、Ｎは３以上の整数である。

本実施例において、生体顔検出装置は、初期顔画像及びＮ個の光照射方向に対応する顔画像集合を取得する。初期顔画像は、自然光の場合に撮影された顔画像であり、Ｎ個の顔画像に含まれる顔の表情及び位置は、変化しないように維持されるか又は変化幅が小さい。自然光が非常に弱い場合、例えば暗い環境では、画像収集装置は、明瞭な顔画像を撮影しにくく、このような場合には、初期顔画像は、複数の光源又は全ての光源が同時に起動される場合に撮影されてもよい。

ここで、Ｎ個の光源は、同一の直線上にあるべきではない。理解を容易にするために図４に参照されるように、図４は、本願の実施例における光源位置の１つの配列概略図である。図に示すように、Ｎが３である場合、光源の位置が２つずつ接続された後に、図４に示すような三角形を構成することができる。理解すべきこととして、図４に示される光源の数及び位置は、例示的なものに過ぎず、他の実施例において、光源の数は３つより大きくてもよく、光源の位置は他の図形を構成してもよく、例えば、４つの光源に対応する位置は、矩形、平行四辺形又は他の四角形などを構成することができ、５つの光源に対応する位置は、五角形又は他の形状などを構成することができるが、ここではいずれも限定しない。

説明すべきこととして、生体顔検出装置をサーバに配置してもよく、端末機器に配置してもよい。説明を容易にするために、本願は、生体顔検出装置を端末機器に配置することを例として説明するが、これは、本願を限定するものと理解すべきではない。

１０２では、初期顔画像及び顔画像集合に基づいて、Ｎ個の差分画像を取得する。

本実施例において、生体顔検出装置は、初期顔画像及び顔画像集合に基づいて、Ｎ個の差分画像を取得することができる。各顔画像が異なる光照射方向に対応するため、差分画像は、ある方向の光照射条件で取得された顔画像と自然光の条件下で取得された初期顔画像との間の差異であると理解することができる。差分画像は、顔画像から初期顔画像を減算することで取得することができ、具体的には、顔画像上の各画素値から初期顔画像上の対応する位置の画素値をそれぞれ減算すれば、差分画像を取得することができる。

１０３では、Ｎ個の差分画像及びＮ個の光照射方向に基づいて、法線マップ及び反射率マップを生成し、法線マップは、各画素点に対応する法線に基づいて構成された画像であり、反射率マップは、各画素点に対応する反射率に基づいて構成された画像である。

本実施例において、生体顔検出装置は、Ｎ個の差分画像及びＮ個の光照射方向に基づいて、法線マップ（Ｎｏｒｍａｌ Ｍａｐ）及び反射率マップ（Ａｌｂｅｄｏ Ｍａｐ）を生成する。ここで、法線マップは、各画素点に対応する法線に基づいて構成された画像であり、反射率マップは、各画素点に対応する反射率に基づいて構成された画像である。異なるチャネルは、赤緑青（ｒｅｄ ｇｒｅｅｎ ｂｌｕｅ、ＲＧＢ）チャネルであってもよく、ＹＵＶチャネル又はＨＳＶチャネルであってもよく、ここでは限定しない。法線マップは、三次元幾何学的情報を含み、顔画像における凹凸表面を表示するために用いられ、異なるチャネルの値を利用して各画素点の法線方向を記録する。反射率マップは、表面材質情報を含み、黒色及び白色を使用して画像の反射強度レベルを指示することができ、例えば、黒色の画素点は該位置の反射率が０％であることを指示し、白色の画素点は該位置の反射率が１００％であることを指示する。

１０４では、Ｎ個の差分画像、法線マップ及び反射率マップに基づいて、生体顔検出結果を決定する。

本実施例において、生体顔検出装置は、Ｎ個の差分画像、法線マップ及び反射率マップに基づいて、生体顔検出結果を決定する。生体顔検出結果は、１つの確率値として表示されてもよく、該確率値に基づいて、生体顔に属する可能性を決定することができる。好ましくは、生体顔検出結果は、判定結果、例えば、検出された顔が生体顔に属するか又は非生体顔に属すると表示されてもよい。生体顔検出結果が非生体顔であれば、端末機器は、警告情報を表示するか、又はショートメッセージ及びメールボックスなどの方式により関連する作業者に通知することができる。例えば、税関で、第１のユーザーの生体顔検出結果が非生体顔であれば、通関ゲートをロックし、かつ税関職員に手動検査を行うように通知することができる。第２のユーザーの生体顔検出結果が生体顔であれば、通関ゲートを通過して後続の操作を行うことができる。また例えば、顔認証決済において、第２のユーザーの生体顔検出結果が生体顔であれば、後続の認証又は決済操作を継続することができる。

本願の実施例に係る生体顔検出方法は、まず初期顔画像及びＮ個の光照射方向に対応する顔画像集合を取得し、次に初期顔画像及び顔画像集合に基づいて、Ｎ個の差分画像を取得し、さらにＮ個の差分画像に基づいて、法線マップ及び反射率マップを生成し、最後にＮ個の差分画像、法線マップ及び反射率マップに基づいて、生体顔検出結果を決定することができる。上記方式により、異なる方向の入射光を利用して顔に照射し、顔画像の法線マップ及び反射率マップを算出することができる。法線マップには三次元幾何学的情報が含まれ、反射率マップには表面材質情報が含まれ、同時に顔画像の三次元幾何学的情報及び表面材質情報が考慮されるため、顔画像の真実性を識別し、異なる生体顔攻撃の方法を効果的に防御することができる。

好ましくは、上記図３に対応する各実施例を基にした、本願の実施例に係る生体顔検出方法の１つの選択可能な実施例において、顔画像集合は、少なくとも第１の顔画像、第２の顔画像及び第３の顔画像を含む。ステップ１０１では、初期顔画像及びＮ個の光照射方向に対応する顔画像集合を取得することは、
初期顔画像を取得するステップと、
目標時間内の第１の時刻に、第１の顔画像を取得するステップと、
目標時間内の第２の時刻に、第２の顔画像を取得するステップであって、ここで、第２の時刻は第１の時刻とは異なる時刻である、ステップと、
目標時間内の第３の時刻に、第３の顔画像を取得するステップであって、ここで、第３の時刻は第１の時刻とは異なる時刻であり、かつ第３の時刻は第２の時刻とは異なる時刻である、ステップと、を含んでよい。

本実施例においては、目標時間内に初期顔画像及びＮ個の人顔画像を取得する方式が説明される。生体顔検出装置は、目標時間内に顔画像集合を取得することができる。理解すべきこととしては、各光照射方向が一般的に一定であるため、顔の姿勢が変化しない状況では、顔のある部分に対して、各光照射方向の光線入射角は一定である。各顔画像における顔と光源との相対位置が変化すれば、同じ位置の入射角が変化してしまう。例えば、第１の光照射方向及び第２の光照射方向で、鼻先の所在する位置の入射角はそれぞれλ１及びλ２であり、第２の光照射方向に対応する顔画像において、鼻先の位置が変化すれば、入射角の実際値がλ３に変化する可能性がある。そして法線マップ及び反射率マップを計算するときに、顔画像をできるだけ初期顔画像とアラインメントする必要があり、計算に用いられる入射角の値は依然としてλ１及びλ２を用いるため、λ２とλ３との間の差異が大きれば、計算結果の正確性が影響を受け、一定の誤差が生じる。その結果、差分画像に基づいて計算して取得された法線マップ及び反射率マップの正確性が低下する。説明すべきこととして、顔画像を収集する過程において、顔の姿勢及び顔の筋肉が変化しないことをできるだけ確実にすべきであり、ここで、頭部の回動又は頭部の移動は、いずれも姿勢の変化を引き起こす可能性がある。

初期顔画像及びＮ個の人顔画像における顔の姿勢及び顔の筋肉ができるだけ一定となることを確実にするために、目標時間内に上記顔画像を取得すべきである。目標時間は、予め設定された一定の時間、例えば１秒であってよく、人為的に動的に調節されてもよい。例えば、周囲環境が暗い状況で、目標時間を延長することにより、より長い露光時間を顔画像に供し、画像の解像度を向上させることができる。周囲環境の光線が良好である状況においては目標時間を短縮することにより、ユーザーが画像を取得する過程において、顔の姿勢が変化したり顔の筋肉が震える、又は画像収集装置が揺れるために、画像の収集が失敗するという可能性を低減することができる。

理解できるように、顔画像の収集が失敗するか、又は顔画像を収集する前に、さらに関連する提示を表示してもよい。説明を容易にするために、図５に参照されるように、図５は、本願の実施例における端末機器が画像収集提示メッセージを表示する１つのインタフェース概略図である。図に示すように、ユーザーは、携帯電話を使用して顔認証決済を行う過程において、顔画像を収集して撮影する前に、画面に「携帯電話を揺らさず、表情を一定に維持してください」という文字提示（又は音声提示）を表示することにより、ユーザーに協力して操作するように提示することができる。上記目的のために、生体顔検出装置は、顔画像を取得する過程において端末機器が揺れるか否かを検出することができる。例えば、端末機器のジャイロスコープ及び／又は重力センサーに基づいて、該端末機器が目標時間内に揺れるか否かを判断し、揺れが発生すれば、今回の顔画像取得操作を終了し、かつ顔画像を再収集することができる。

本願の実施例において、目標時間内に初期顔画像及びＮ個の人顔画像を取得する方法が提供される。上記方式により、短時間で複数枚の顔画像を連続して収集し、顔画像における顔の位置及び表情が変化しないか又は類似するようになることを確実にすることができ、差分画像を計算することに役立つことにより、生体顔検出の精度を向上させることに役立つ。

好ましくは、上記図３に対応する各実施例を基にした、本願の実施例に係る生体顔検出の方法の１つの選択可能な実施例において、顔画像集合は、少なくとも第１の顔画像、第２の顔画像及び第３の顔画像を含む。Ｎ個の光照射方向は、少なくとも第１の光照射方向、第２の光照射方向及び第３の光照射方向を含み、かつ第１の光照射方向、第２の光照射方向及び第３の光照射方向は、異なる方向における光照射である。

ステップ１０１では、初期顔画像及びＮ個の光照射方向に対応する顔画像集合を取得することは、
初期顔画像を取得するステップと、
第１の光照射方向で第１の顔画像を取得するステップと、
第２の光照射方向で第２の顔画像を取得するステップと、
第３の光照射方向で第３の顔画像を取得するステップと、を含んでよい。

本実施例において、異なる方向における顔画像を取得する方式が説明されており、生体顔検出装置は、画像収集装置により初期顔画像及び各光照射方向における顔画像を撮影する。画像収集装置は、端末機器の内蔵カメラ又は外付けカメラであってよい。理解すべきこととして、異なる方向からの光源が顔に照射することにより、異なる光照射での顔画像が取得される。光照射方向と顔画像との間には対応関係を有する。すなわち、第１の光照射方向で第１の顔画像を取得し、第２の光照射方向で第２の顔画像を取得し、第３の光照射方向で第３の顔画像を取得し、かつ第１の光照射方向、第２の光照射方向及び第３の光照射方向が異なる方向における光照射である。

理解を容易にするために、以下、例と合わせて説明すると、第１のユーザーが携帯電話により銀行口座情報を修正する場合、生体顔認識を行う必要がある。まず、携帯電話の内蔵カメラにより自然光の条件下で初期顔画像を撮影することができる。次に、携帯電話の画面を点灯させることにより異なる光照射方向を提供し、内蔵カメラが、対応する顔画像Ａ、顔画像Ｂ及び顔画像Ｃを順に撮影する。顔画像を取得する過程において、携帯電話は、提示情報を表示することにより、ユーザーが携帯電話の安定をできるだけ維持し、かつ顔の姿勢及び顔の筋肉を変化させないように維持することを指導することができる。初期顔画像、顔画像Ａ、顔画像Ｂ及び顔画像Ｃを取得した後に、携帯電話が差分画像Ａ、差分画像Ｂ及び差分画像Ｃを計算し、さらに法線マップ及び反射率マップを取得し、最後に差分画像Ａ、差分画像Ｂ及び差分画像Ｃ、並びに法線マップ及び反射率マップにより、生体顔検出結果を生成することができる。携帯電話は結果に応じて後続の操作を行い、すなわち、第１のユーザーが警告情報を修正するか又は表示することを許可する。

顔画像における顔の位置及び表情ができるだけ一定となることを確実にするために、画像収集装置は、上記方式に従って目標時間の異なる時刻で各顔画像を撮影することができる。具体的な方式は上記と一致しているため、ここでは説明を省略する。

理解すべきこととして、本実施例において生体顔検出装置を例とするが、上記過程は、サーバと生体顔検出装置との対話により行われてもよい。例えば、生体顔検出装置は、取得された顔画像及び関連情報をサーバにアップロードし、サーバによって生体顔検出結果を計算し、かつ携帯電話に返信してもよい。

理解すべきこととして、本実施例における光照射方向及び対応する顔画像の数は、例示的なものに過ぎず、本願を限定するものと理解すべきではない。他の実施例において、実際の状況に応じてより多くの光照射方向を提供してより多くの対応する顔画像を撮影することができる。

本願の実施例において、異なる方向の顔画像を取得する方法が提供される。上記方式により、画像収集装置を用いて初期顔画像及び少なくとも３つの光照射方向の顔画像を取得し、法線マップ及び反射率マップの計算に、合理的なデータ基礎を提供し、計算の失敗を回避することにより計算の信頼性を向上させることができる。

好ましくは、上記図３に対応する各実施例を基にした、本願の実施例に係る生体顔検出の方法の１つの選択可能な実施例において、Ｎ個の光源位置は、少なくとも第１の光源位置、第２の光源位置及び第３の光源位置を含み、かつ第１の光源位置、第２の光源位置及び第３の光源位置は、同一の直線上に位置しない。

第１の光照射方向で第１の顔画像を取得するステップは、
端末機器の第１の画面領域が点灯するときに、第１の光照射方向で第１の顔画像を収集するステップを含んでよく、ここで、第１の画面領域は、第１の光源位置に位置し、第１の光照射方向は、第１の画面領域が点灯するときに認識対象の顔を照射する対応する方向であり、
第２の光照射方向で第２の顔画像を取得するステップは、
端末機器の第２の画面領域が点灯するときに、第２の光照射方向で第２の顔画像を収集するステップを含んでよく、ここで、第２の画面領域は、第２の光源位置に位置し、第２の光照射方向は、第２の画面領域が点灯するときに認識対象の顔を照射する対応する方向であり、
第３の光照射方向で第３の顔画像を取得するステップは、
端末機器の第３の画面領域が点灯するときに、第３の光照射方向で第３の顔画像を収集するステップを含んでよく、ここで、第３の画面領域は、第３の光源位置に位置し、第３の光照射方向は、第３の画面領域が点灯するときに認識対象の顔を照射する対応する方向である。

本実施例において、生体顔検出装置の画面領域が点灯するモードに基づいて顔画像を取得する方法が説明される。端末機器は、第１の画面領域を点灯させて認識対象の顔に照射し、第１の画面領域の所在する位置は、第１の光源位置であり、第１の光源位置で顔に照射する方向は、第１の照射方向であり、次に画像収集装置は、顔を撮影して第１の顔画像を取得し、その後に該端末機器は第１の画面領域を消灯させる。同様に、端末機器は、第２の画面領域を点灯させて認識対象の顔に照射し、第２の画面領域の所在する位置は、第２の光源位置であり、第２の光源位置で顔に照射する方向は、第２の照射方向であり、次に画像収集装置は、顔を撮影して第２の顔画像を取得し、その後に端末機器は、第２の画面領域を消灯させる。同様に、端末機器は、第３の画面領域を点灯させて認識対象の顔に照射し、第３の画面領域の所在する位置は、第３の光源位置であり、第３の光源位置で顔に照射する方向は、第３の照射方向であり、次に画像収集装置は、顔を撮影して第３の顔画像を取得し、その後に端末機器は、第３の画面領域を消灯させる。このように、他の実施例において、より多くの画面領域がさらに存在し、上記と類似する方式を用いて対応する顔画像を取得することを類推し得るが、ここでは１つずつ列挙しない。

理解を容易にするために、図６に参照されるように、図６は、本願の実施例における顔画像集合の収集方式の１つの概略図である。生体顔検出装置が端末機器であることを例として、該端末機器が携帯電話であると仮定する。具体的には、図６（ａ）に示すように、携帯電話により顔画像集合を収集するときに、携帯電話は、画面領域Ａを点灯させ、点灯した画面領域Ａは、第１の光照射方向からの光源を提供するために用いられる。このように携帯電話は、第１のユーザーの第１の光照射方向における第１の顔画像を撮影し、その後に携帯電話は、画面領域Ａを消灯させる。同様に、図６（ｂ）に示すように、携帯電話は、画面領域Ｂを点灯させ、点灯した画面領域Ｂは、第２の光照射方向からの光源を提供するために用いられる。このように携帯電話は、第１のユーザーの第２の光照射方向における第２の顔画像を撮影し、その後に携帯電話は、画面領域Ｂを消灯させる。最後に、図６（ｃ）に示すように、携帯電話は、画面領域Ｃを点灯させ、点灯した画面領域Ｃは、第３の光照射方向からの光源を提供するために用いられる。このように携帯電話は、第１のユーザーの第３の光照射方向における第３の顔画像を撮影し、その後に携帯電話は、画面領域Ｃを消灯させる。

理解を容易にするために、端末機器の画面を複数の領域に区画し、各領域は、異なる光照射方向からの光源を提供するために用いられる。図７に参照されるように、図７は、本願の実施例の画面領域の１つの概略図である。図に示すように、画面は、９つの領域に区画され、領域Ａが第１の画面領域であり、領域Ｂが第２の画面領域であり、領域Ｃが第３の画面領域であると仮定する。携帯電話が領域Ａを点灯させるときに、領域Ａの画面を画面点灯状態に設定し、領域Ａではない他の領域を画面消灯状態に設定することができる。図７において、使用されない領域は、候補領域であってよく、より多くの領域を光源とする必要がある場合に、点灯して使用することができる。理解すべきこととして、図７における区画方式は、一例に過ぎず、実際の応用において、任意の方式を用いて任意の形状、例えば円形の領域を区画することができる。領域の数及び点灯順序は、実際の需要に応じて決定されてもよく、ここでは限定されない。

理解できるように、画面点灯状態にある光源色は、白色光、赤色光及び紫色光などを含むが、これらに限定されず、ここでは限定されない。また、点灯した画面は、自然光をシミュレーションすることができる。

注意すべきこととして、顔画像集合を取得する過程において、複数の光源位置に対応する光源を同時に点灯させることではなく、毎回１つの光源位置に対応する光源のみを点灯させる。

本願の実施例において、端末機器の画面領域が点灯するモードに基づいて顔画像を取得する方法が提供される。上記方式により、画面を複数の領域に区画し、これらの領域を光源として利用して顔画像集合の取得を行うことにより、追加の光源を必要とせずに画面を利用して異なる光照射方向を取得し、画像取得の利便性を向上させ、ハードウェアコストを削減し、そして端末機器の体積をより小さくすることができる。

好ましくは、上記図３に対応する各実施例を基にした、本願の実施例に係る生体顔検出の方法の１つの選択可能な実施例において、Ｎ個の光源位置は、少なくとも第１の光源位置、第２の光源位置及び第３の光源位置を含み、かつ第１の光源位置、第２の光源位置及び第３の光源位置は、同一の直線上に位置しない。

第１の光照射方向で第１の顔画像を取得するステップは、
第１の発光ダイオードの発光領域が点灯するときに、第１の光照射方向で第１の顔画像を収集するステップを含み、ここで、第１の発光領域は、第１の光源位置に位置し、第１の光照射方向は、第１の発光領域が点灯するときに認識対象の顔を照射する対応する方向であり、
第２の光照射方向で第２の顔画像を取得するステップは、
第２の発光領域が点灯するときに、第２の光照射方向で第２の顔画像を収集するステップを含み、ここで、第２の発光領域は、第２の光源位置に位置し、第２の光照射方向は、第２の発光領域が点灯するときに認識対象の顔を照射する対応する方向であり、
第３の光照射方向で第３の顔画像を取得するステップは、
第３の発光領域が点灯するときに、第３の光照射方向で第３の顔画像を収集するステップを含み、ここで、第３の発光領域は、第３の光源位置に位置し、第３の光照射方向は、第３の発光領域が点灯するときに認識対象の顔を照射する対応する方向である。

本実施例において、発光領域が点灯するモードに基づいて顔画像を取得する方法が説明されている。ここで、発光領域は、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ，ＬＥＤ）、コンパクト蛍光灯又は他の照明機器であってよく、本実施例においては、ＬＥＤを例とする。生体顔検出装置は、第１のＬＥＤを点灯させて認識対象の顔に照射し、第１のＬＥＤの所在する位置は、第１の光源位置であり、第１のＬＥＤが顔に照射する方向は、第１の光照射方向であり、次に画像収集装置は、顔を撮影して第１の顔画像を取得し、その後に生体顔検出装置は、第１のＬＥＤを消灯させる。同様に、生体顔検出装置は、第２のＬＥＤを点灯させて認識対象の顔に照射し、第２のＬＥＤの所在する位置は、第２の光源位置であり、第２のＬＥＤが顔に照射する方向は、第２の光照射方向であり、次に画像収集装置は、顔を撮影して第２の顔画像を取得し、その後に生体顔検出装置は、第２のＬＥＤを消灯させる。生体顔検出装置は、第３のＬＥＤを点灯させて認識対象の顔に照射し、第３のＬＥＤの所在する位置は、第３の光源位置であり、第３のＬＥＤが顔に照射する方向は、第３の光照射方向であり、次に画像収集装置は、顔を撮影して第３の顔画像を取得し、その後に生体顔検出装置は、第３のＬＥＤを消灯させる。他の実施例において、より多く（少なくとも３つ）のＬＥＤがさらに存在し、上記と類似する方式を用いて対応する顔画像を取得し得るが、ここでは１つずつ列挙しない。

理解を容易にするために、図８に参照されるように、図８は、本願の実施例における顔画像集合の収集方式の１つの概略図である。生体顔検出装置が端末機器であることを例とすると、該端末機器はＬＥＤの点灯又は消灯を制御することができる。具体的には、図８（ａ）に示すように、顔画像集合を収集するときに、まず、端末機器は、ＬＥＤ Ａが点灯するように制御し、点灯したＬＥＤ Ａは、第１の光照射方向からの光源を提供するために用いられる。このように携帯電話は、第１のユーザーの第１の光照射方向における第１の顔画像を撮影し、その後に端末機器は、ＬＥＤ Ａが消灯するように制御する。同様に、図８（ｂ）に示すように、端末機器は、ＬＥＤ Ｂが点灯するように制御し、点灯したＬＥＤ Ｂは、第２の光照射方向からの光源を提供するために用いられる。このように携帯電話は、第１のユーザーの第２の光照射方向における第２の顔画像を撮影し、その後に端末機器は、ＬＥＤ Ｂが消灯するように制御する。図８（ｃ）に示すように、端末機器は、ＬＥＤ Ｃが点灯するように制御し、点灯したＬＥＤ Ｃは、第３の光照射方向からの光源を提供するために用いられる。このように携帯電話は、第１のユーザーの第３の光照射方向における第３の顔画像を撮影し、その後に端末機器は、ＬＥＤ Ｃが消灯するように制御する。また、より多くの顔画像を撮影することもでき、図８（ｄ）に示すように、端末機器は、ＬＥＤ Ｄが点灯するように制御し、点灯したＬＥＤ Ｄは、第４の光照射方向からの光源を提供するために用いられる。このように携帯電話は、第１のユーザーの第４の光照射方向における第４の顔画像を撮影し、その後に端末機器は、ＬＥＤ Ｄが消灯するように制御する。

説明すべきこととして、光源は、複数のＬＥＤを含み、各ＬＥＤは、異なる照射方向を提供するために用いられる。理解を容易にするために、図９に参照されるように、図９は、本願の実施例のＬＥＤ配列方式の１つの概略図である。図に示すように、ＬＥＤは、円形の円周に分布してよい。理解すべきこととして、図９におけるＬＥＤの分布方式は、１つの例示的なものに過ぎず、実際の応用において、ＬＥＤは、任意の形状、例えば長方形又は楕円形に分布してよく、ＬＥＤの数及び点灯順序は、実際の需要に応じて決定されてよく、ここでは限定されない。

初期顔画像及び顔画像集合に基づいて、Ｎ個の差分画像を取得するステップは、
初期顔画像に対して顔キーポイント検出を行って、初期顔キーポイント集合を取得するステップであって、ここで、初期顔キーポイント集合は複数の初期顔キーポイントを含む、ステップと、
第１の顔画像に対して顔キーポイント検出を行って、第１の顔キーポイント集合を取得するステップであって、ここで、第１の顔キーポイント集合は複数の第１の顔キーポイントを含む、ステップと、
第２の顔画像に対して顔キーポイント検出を行って、第２の顔キーポイント集合を取得するステップであって、ここで、第２の顔キーポイント集合は複数の第２の顔キーポイントを含む、ステップと、
第３の顔画像に対して顔キーポイント検出を行って、第３の顔キーポイント集合を取得するステップであって、ここで、第３の顔キーポイント集合は複数の第３の顔キーポイントを含む、ステップと、
初期顔キーポイント集合及び第１の顔キーポイント集合に基づいて、第１の差分画像を生成するステップであって、ここで、第１の差分画像はＮ個の差分画像のうちの１つの差分画像である、ステップと、
初期顔キーポイント集合及び第２の顔キーポイント集合に基づいて、第２の差分画像を生成するステップであって、ここで、第２の差分画像はＮ個の差分画像のうちの、第１の差分画像とは異なる１つの差分画像である、ステップと、
初期顔キーポイント集合及び第３の顔キーポイント集合に基づいて、第３の差分画像を生成するステップであって、ここで、第３の差分画像はＮ個の差分画像のうちの、第１の差分画像及び第２の差分画像とは異なる１つの差分画像である、ステップと、を含んでよい。

注意すべきこととして、顔画像集合を取得する過程において、複数の光源位置に対応する光源を同時に点灯させることではなく、毎回１つの光源位置に対応する光源のみを点灯させる。

本願の実施例において、ＬＥＤが点灯するモードに基づいて顔画像を取得する方法が提供される。上記方式により、ＬＥＤを光源として利用して顔画像集合を取得することにより、より良好な光照射効果を提供し、顔画像と初期顔画像との間の相違度及び顔図形の解像度を向上させ、計算の正確性を向上させることに役立たせることができる。

好ましくは、上記図３に対応する各実施例を基にした、本願の実施例に係る生体顔検出方法の１つの選択可能な実施例において、顔画像集合は、少なくとも第１の顔画像、第２の顔画像及び第３の顔画像を含む。

初期顔画像及び顔画像集合に基づいて、Ｎ個の差分画像を取得するステップは、
初期顔画像に対して顔キーポイント検出を行って、初期顔キーポイント集合を取得するステップであって、ここで、初期顔キーポイント集合は複数の初期顔キーポイントを含む、ステップと、
第１の顔画像に対して顔キーポイント検出を行って、第１の顔キーポイント集合を取得するステップであって、ここで、初期顔キーポイント集合は複数の第１の顔キーポイントを含む、ステップと、
第２の顔画像に対して顔キーポイント検出を行って、第２の顔キーポイント集合を取得するステップであって、ここで、初期顔キーポイント集合は複数の第２の顔キーポイントを含む、ステップと、
第３の顔画像に対して顔キーポイント検出を行って、第３の顔キーポイント集合を取得するステップであって、ここで、初期顔キーポイント集合は複数の第３の顔キーポイントを含む、ステップと、
初期顔キーポイント集合及び第１の顔キーポイント集合に基づいて、第１の差分画像を生成するステップであって、ここで、第１の差分画像はＮ個の差分画像のうちの１つの差分画像である、ステップと、
初期顔キーポイント集合及び第２の顔キーポイント集合に基づいて、第２の差分画像を生成するステップであって、ここで、第２の差分画像はＮ個の差分画像のうちの、第１の差分画像とは異なる１つの差分画像である、ステップと、
初期顔キーポイント集合及び第３の顔キーポイント集合に基づいて、第３の差分画像を生成するステップであって、ここで、第３の差分画像はＮ個の差分画像のうちの、第１の差分画像及び第２の差分画像とは異なる１つの差分画像である、ステップと、を含んでよい。

本実施例において、顔キーポイントに基づいて差分画像を生成する方法が説明される。生体顔検出装置は、初期顔画像に対して顔キーポイント検出を行って、複数のキーポイントを含む初期顔キーポイント集合を取得する。同様に、さらに第１の顔画像に対して顔キーポイント検出を行って、複数の第１の顔キーポイントを含む第１の顔キーポイント集合を取得する必要がある。第２の顔画像に対して顔キーポイント検出を行って、複数の第２の顔キーポイントを含む第２の顔キーポイント集合を取得する。第３の顔画像に対して顔キーポイント検出を行って、複数の第３の顔キーポイントを含む第３の顔キーポイント集合を取得し、ここで、上記キーポイントは、例えば目、鼻先、口角点、眉又は顔の各部分の輪郭点などの顔の特徴の標識とするために用いられ、初期顔キーポイント集合、第１の顔キーポイント集合、第２の顔キーポイント集合及び第３の顔キーポイント集合において標識とされた特徴は同じである。生体顔検出装置は、初期顔キーポイント集合及び第１の顔キーポイント集合に基づいて、第１の差分画像を生成する。同様に、初期顔キーポイント集合及び第２の顔キーポイント集合に基づいて、第２の差分画像を生成する。同様に、初期顔キーポイント集合及び第３の顔キーポイント集合に基づいて、第３の差分画像を生成する。１つの実施例において、第１の差分画像を生成する過程において、生体顔検出装置は、まず第１の顔キーポイント集合及び初期顔キーポイント集合に基づいて、第１の顔画像及び初期顔画像に対して顔を位置合わせ、次にアラインメント後の画像に基づいて、第１の差分画像を生成する。第２の差分画像及び第３の差分画像の生成は、第１の差分画像と類似しているため、ここでは説明を省略する。

説明を容易にするために、図１０に参照されるように、図１０は、本願の実施例における顔キーポイント集合の１つの概略図である。図に示すように、図１０には初期顔画像Ｐ０、第１の顔画像Ｐ１、第２の顔画像Ｐ２及び第３の顔画像Ｐ３が含まれ、生体顔検出装置は、初期顔画像Ｐ０に対して顔キーポイント検出を行って、顔キーポイント集合Ｓ０を取得し、顔キーポイント集合Ｓ０を初期顔画像Ｐ０上の対応する位置にマークして、図１０におけるキーポイントがマークされた初期顔画像Ｐ０を取得することができる。同様に、生体顔検出装置は、図１０における顔画像Ｐ１、顔画像Ｐ２及び顔画像Ｐ３に対して顔キーポイント検出を行って、顔画像Ｐ１の顔キーポイント集合Ｓ１、顔画像Ｐ２の顔キーポイント集合Ｓ２及び顔画像Ｐ３の顔キーポイント集合Ｓ３を取得する。

初期顔画像Ｐ０上の顔キーポイント集合Ｓ０と顔画像Ｐ１上の顔キーポイント集合Ｓ１とをアラインメントした後、対応する差分画像Ｄ１を生成することができる。同様に、初期顔画像Ｐ０上の顔キーポイント集合Ｓ０と顔画像Ｐ２上の顔キーポイント集合Ｓ２とをアラインメントした後、対応する差分画像Ｄ２を生成することができる。初期顔画像Ｐ０上の顔キーポイント集合Ｓ０と顔画像Ｐ３上の顔キーポイント集合Ｓ３とをアラインメントした後、対応する差分画像Ｄ３を生成することができる。位置合わせ方式は、平行移動、回転又は変倍を含むが、これらに限定されない。

理解すべきこととして、複数の顔画像のキーポイント検出にはタイミング要求がなく、かつ差分画像の生成にもタイミング要求がない。例えば、まず第１の顔画像に対して顔キーポイント検出を行って、第１のキーポイント集合を取得した後、第１の差分画像を生成し、次に第２の顔画像に対して顔キーポイント検出を行ってよい。まず第１の顔画像及び第２の顔画像に対してキーポイント検出を行い、次にそれぞれ対応する差分画像を生成してもよい。さらに第１の顔画像に対して顔キーポイント検出を行い、そして第２の顔画像に対して顔キーポイント検出を行ってもよい。

本願の実施例において、顔キーポイントに基づいて差分画像を生成する方法が提供される。上記方式により、解決手段の実現に具体的な根拠を提供することにより、解決手段の実現可能性を向上させることに役立つ。

好ましくは、上記図３に対応する各実施例を基にした、本願の実施例に係る生体顔検出の方法の１つの選択可能な実施例において、該方法は、
初期顔キーポイント集合及び第１の顔キーポイント集合に基づいて、第１のキーポイントオフセット量を計算して取得するステップと、
初期顔キーポイント集合及び第２の顔キーポイント集合に基づいて、第２のキーポイントオフセット量を計算して取得するステップと、
初期顔キーポイント集合及び第３の顔キーポイント集合に基づいて、第３のキーポイントオフセット量を計算して取得するステップと、
第１のキーポイントオフセット量、第２のキーポイントオフセット量及び第３のキーポイントオフセット量のうちの少なくとも１つがオフセット閾値以上であれば、再収集という提示メッセージを表示するステップと、
第１のキーポイントオフセット量、第２のキーポイントオフセット量及び第３のキーポイントオフセット量がいずれもオフセット閾値より小さければ、初期顔キーポイント集合及び第１の顔キーポイント集合に基づいて、初期顔キーポイント集合及び第２の顔キーポイント集合に基づいて、第２の差分画像を生成し、初期顔キーポイント集合及び第３の顔キーポイント集合に基づいて、第３の差分画像を生成するステップを実行するステップと、をさらに含んでよい。

本実施例において、顔キーポイント集合のオフセット量に基づいて画像収集が成功するか否かを判定する方法が説明される。生体顔検出装置は、初期顔キーポイント集合と、第１の顔キーポイント集合、第２の顔キーポイント集合及び第３の顔キーポイント集合とに基づいて、第１のキーポイントオフセット量、第２のキーポイントオフセット量及び第３のキーポイントオフセット量をそれぞれ計算して取得し、第１のキーポイントオフセット量、第２のキーポイントオフセット量又は第３のキーポイントオフセット量のうちの少なくとも１つのオフセット量がオフセット閾値以上であれば、収集された顔画像の間の位置及び表情の差異が大きく、生体顔検出結果の正確性に影響を与えることを表すために、ユーザーに再収集提示メッセージを表示してユーザーに顔画像を再収集する必要があると提示する必要がある。第１のキーポイントオフセット量、第２のキーポイントオフセット量又は第３のキーポイントオフセット量がいずれもオフセット閾値より小さければ、収集された顔画像により生体顔検出結果を正確に算出できることを表すために、生体顔検出装置は、収集された顔画像に基づいて、対応する差分画像をさらに生成することができる。

以下、キーポイントオフセット量の決定方式は、以下の３種類の方式を用いることができることを説明する。

方式１：キーポイント集合における任意の一対の対応するキーポイントのオフセット量を取得してもよい。初期顔キーポイントが鼻先キーポイントであり、第１の顔キーポイントも鼻先キーポイントであると仮定すると、第１のキーポイントオフセット量を計算するときに、該初期顔キーポイントと該第１の顔キーポイントとの間の画素点の最小距離を計算することができる。ここで、該最小距離は、第１のキーポイントオフセット量である。

説明すべきこととして、第２のキーポイントオフセット量は、第３のキーポイントオフセット量の計算方式と類似しており、ここでは１つずつ列挙しない。

方式２：キーポイント集合の間の最大のオフセット量をキーポイントオフセット量として取得してもよい。１００個の初期顔キーポイント及び１００個の第１の顔キーポイントが存在すると仮定すると、各初期顔キーポイント及び対応する第１の顔キーポイントを計算して、１００個のキーポイント距離を取得し、さらにそのうちからキーポイント距離の最大値を第１のキーポイントオフセット量として選択する。

説明すべきこととして、第２のキーポイントオフセット量は、第３のキーポイントオフセット量の計算方式と類似しており、ここでは１つずつ列挙しない。

方式３：キーポイント集合の間のオフセット量の平均値をキーポイントオフセット量として取得してもよい。１００個の初期顔キーポイント及び１００個の第１の顔キーポイントが存在すると仮定すると、各初期顔キーポイント及び対応する第１の顔キーポイントを計算して、１００個のキーポイント距離を取得する。その後にこの１００個のキーポイント距離の平均値を計算すれば、キーポイント平均距離を取得することができ、該キーポイント平均距離を第１のキーポイントオフセット量とする。

説明すべきこととして、第２のキーポイントオフセット量は、第３のキーポイントオフセット量の計算方式と類似し、ここでは１つずつ列挙しない。

以下、オフセット閾値の決定方式を説明する。オフセット閾値は、固定閾値又は動的閾値であってよい。固定閾値は、複数の候補閾値を有してよい。生体顔検出装置は、その実際の状況に応じて固定閾値の実際値を決定する。例えば、候補閾値は、携帯電話に適用される候補閾値、タブレットコンピュータに適用される候補閾値及び現金自動預払機に適用される候補閾値を含んでよく、生体顔検出装置が携帯電話である場合、携帯電話に適用される候補閾値を固定閾値として使用することができる。

動的閾値は、収集された顔画像の数と所定の閾値とに基づいて計算して取得することができ、動的閾値の計算式は、以下のとおりである。

ここで、Ｔは、動的閾値を表し、Ｎは、生体顔検出装置が収集した顔画像の数を表し、Ｓは、デフォルトの顔画像の数を表す。一般的にはＳを３に設定することができ、Ｐは、デフォルトのオフセット量閾値を表し、αは、スケール因子である。

理解を容易にするために、図１１に参照されるように、図１１は、本願の実施例における生体顔検出装置が再収集提示メッセージを表示する１つのインタフェース概略図である。図に示すように、生体顔検出装置が固定閾値Ｍを用い、かつＭ＝１０であると仮定する。初期顔キーポイント集合における鼻先キーポイントと第１の顔キーポイント集合における鼻先キーポイントとの間の距離がＤであり、かつＤ＝３０であれば、Ｄ＞Ｍであるため、図１１に示すように、生体顔検出装置は、端末機器の画面により、ユーザーに「画像揺れが大きすぎるため、再撮影してください」という提示メッセージを提示する。

本願の実施例において、顔キーポイント集合のオフセット量に基づいて画像収集が成功するか否かを判定する方法が提供される。上記方式により、収集された顔画像の差異が大きすぎる場合に再収集することができ、収集画像の差異により生体顔検出の結果に影響を与えることを回避し、生体顔検出結果をより確実にする。

好ましくは、上記図３に対応する各実施例を基にした、本願の実施例に係る生体顔検出の方法の１つの選択可能な実施例において、初期顔キーポイント集合及び第１の顔キーポイント集合に基づいて、第１の差分画像を生成するステップは、
初期顔キーポイント集合及び第１の顔キーポイント集合に基づいて、第１の変換行列を決定するステップと、
第１の変換行列及び初期顔画像に基づいて、第１の顔画像をアラインメントし、アラインメント後の第１の顔画像を取得するステップと、
アラインメント後の第１の顔画像と初期顔画像とに基づいて、第１の差分画像を生成するステップと、を含んでよく、
初期顔キーポイント集合及び第２の顔キーポイント集合に基づいて、第２の差分画像を生成するステップは、
初期顔キーポイント集合及び第２の顔キーポイント集合に基づいて、第２の変換行列を決定するステップと、
第２の変換行列及び初期顔画像に基づいて、第２の顔画像をアラインメントし、アラインメント後の第２の顔画像を取得するステップと、
アラインメント後の第２の顔画像と初期顔画像とに基づいて、第２の差分画像を生成するステップと、を含んでよく、
初期顔キーポイント集合及び第３の顔キーポイント集合に基づいて、第３の差分画像を生成するステップは、
初期顔キーポイント集合及び第３の顔キーポイント集合に基づいて、第３の変換行列を決定するステップと、
第３の変換行列及び初期顔画像に基づいて、第３の顔画像をアラインメントし、アラインメント後の第３の顔画像を取得するステップと、
アラインメント後の第３の顔画像と初期顔画像とに基づいて、第３の差分画像を生成するステップと、を含んでよい。

本実施例において、変換行列に基づいて差分画像を生成する方法が説明される。初期顔キーポイント集合と、第１の顔キーポイント集合、第２の顔キーポイント集合及び第３の顔キーポイント集合とに対して、生体顔検出装置は、対応する第１の変換行列、第２の変換行列及び第３の変換行列をそれぞれ決定し、かつ取得された第１の変換行列、第２の変換行列及び第３の変換行列に基づいて、対応する顔画像と初期顔画像とをアラインメントし、その後にアラインメント後の顔画像と初期顔画像とに基づいて、差分画像を生成する。

変換行列の１種の計算式は以下のとおりである。

ここで、Ｋ_０は初期顔キーポイント集合を表し、Ｋ_ｉはｉ番目の顔画像に対応する顔キーポイント集合を表し、３×Ｔの行列として表すことができ、Ｔはキーポイントの数量であり、Ｍ_ｉはｉ番目の顔画像から初期顔画像までの変換行列を表し、２×３の行列として表すことができ、は［数３］はＬ２のノルムを表す。

説明を容易にするために、以下、第１の差分画像を生成することを例として説明する。理解できるように、他の差分画像の生成方式は類似しており、ここでは説明を省略する。第１の差分画像に１００個の第１の顔キーポイントがあり、初期顔画像にも対応する１００個の初期顔キーポイントがあると仮定すると、第１の顔キーポイントから６つの第１の顔キーポイントを取り出し、かつ初期顔キーポイントから該６つの第１の顔キーポイントに対応する６つの初期顔キーポイントを取り出し、６対の顔キーポイントに基づいて第１の変換行列を算出すると仮定する。次に計算して取得された第１の変換行列に基づいて、第１の顔画像における残りの９４個の第１の顔キーポイントと、初期顔画像における残りの９４個の初期顔キーポイントをアラインメントして、アラインメント後の第１の顔画像を取得する。最後に、アラインメント後の第１の顔画像から初期顔画像を減算すれば、第１の差分画像を生成することができる。説明すべきこととして、アラインメント操作は、アフィン変換を含むが、それに限定されず、具体的には伸縮、回転及び平行移動などを含む。

本願の実施例において、変換行列に基づいて差分画像を生成する方法が提供される。上記方式により、顔画像及び初期顔画像における一部のキーポイントを利用して変換行列を生成し、その後に変換行列を利用して顔画像及び初期顔画像上の他の画素をアラインメントすることにより、画像のアラインメントを実現することができる。

好ましくは、上記図３に対応する各実施例を基にした、本願の実施例に係る生体顔検出の方法の１つの選択可能な実施例において、Ｎ個の差分画像に基づいて、法線マップ及び反射率マップを生成するステップは、
第１の差分画像、第２の差分画像及び第３の差分画像に基づいて、法線及び反射率を計算して取得するステップと、
法線に基づいて法線マップを生成するステップと、
反射率に基づいて反射率マップを生成するステップと、を含んでよい。

本実施例において、Ｎ個の差分画像に基づいて法線マップ及び反射率マップを生成する方法が説明される。生体顔検出装置は、第１の差分画像の各画素値、第２の差分画像の各画素値及び第３の差分画像の各画素値に基づいて、方程式を連立させることにより、法線マップ上の各画素点の法線及び反射率マップ上の各画素点の反射率を算出し、かつ取得された各画素点の法線に基づいて、法線マップを生成し、取得された各画素点の反射率に基づいて、反射率マップを生成する。説明を容易にするために、図１２に参照されるように、図１２は、本願の実施例における法線マップ及び反射率マップの１つの概略図であり、ここで、左側の図は法線マップであり、右側の図は反射率マップである。法線マップにおいて各画素点に対応する法線は、３つの方向の成分を有する。

本願の実施例において、Ｎ個の差分画像に基づいて法線マップ及び反射率マップを生成する方法が提供される。上記方式により、光線入射角及び画素値に基づいて、差分画像の法線マップ及び反射率マップを計算し、本解決手段の実行可能性をさらに向上させることができる。

好ましくは、上記図３に対応する各実施例を基にした、本願の実施例に係る生体顔検出の方法の１つの選択可能な実施例において、第１の差分画像、第２の差分画像及び第３の差分画像に基づいて、法線及び反射率を計算して取得するステップは、
第１の差分画像における目標画素点に基づいて、第１の方程式を決定するステップと、
第２の差分画像における目標画素点に基づいて、第２の方程式を決定するステップと、
第３の差分画像における目標画素点に基づいて、第３の方程式を決定するステップであって、ここで、第１の差分画像における目標画素点、第２の差分画像における目標画素点及び第３の差分画像における目標画素点はいずれも同じ画素点位置に対応する、ステップと、
第１の方程式、第２の方程式、第３の方程式及び第４の方程式に基づいて、目標画素点の法線及び目標画素点の反射率を計算して取得するステップであって、ここで、第４の方程式は法線に対応する３つの方向分類の関係を表す、ステップと、を含んでよく、
法線に基づいて法線マップを生成するステップは、
目標画素点の法線に基づいて、目標画素点に対応する法線マップを生成するステップを含んでよく、
反射率に基づいて反射率マップを生成するステップは、
目標画素点の反射率に基づいて、目標画素点に対応する反射率マップを生成するステップを含んでよい。

本実施例において、生体顔検出装置は、Ｎ個の差分画像における同じ位置での画素点に対して、対応する方程式を決定し、少なくとも３つの差分画像が存在するため、少なくとも３つの方程式を取得することができ、法線の３つの成分の二乗和が１である第４の方程式と組み合わせて、該画素点の法線及び反射率を計算して取得することができる。差分画像における各画素点に対して上記操作を行えば、各画素点の法線（すなわち３つの法線成分を含む）及び反射率を取得し、すなわち法線マップ及び反射率マップを計算して取得することができる。

第１の差分画像、第２の差分画像及び第３の差分画像における目標画素点を例とすると、該目標画素点の所在する位置がいずれも（１，１）である。すなわち目標画素点の第１の差分画像における位置が（１，１）であり、目標画素点の第２の差分画像における位置も（１，１）であり、かつ目標画素点の第３の差分画像における位置も（１，１）であることを表すが、各目標画素点が異なる差分画像において異なる画素値を有する。すなわち目標画素点の第１の差分画像における画素値が［数４］であり、目標画素点の第２の差分画像における画素値が［数５］であり、目標画素点の第３の差分画像における画素値が［数６］であると仮定し、これに基づいて、以下の方程式［数７］を連立させることができる。

ここで、第１の方程式は［数８］であり、第２の方程式は［数９］であり、第３の方程式は［数１０］であり、第４の方程式は［数１１］である。ここで、α^１１は目標画素点の反射率を表し、ｎ^１１は目標画素点の法線を表し、ｎ_ｘ、ｎ_ｙ及びｎ_ｚはそれぞれ法線ｎ^１１の３つの成分を表す。λ_１は第１の差分画像に対応する第１の光照射方向を表し、λ_２は第２の差分画像に対応する第２の光照射方向を表し、λ_３は第３の差分画像に対応する第３の光照射方向を表す。［数１２］は目標画素点の第１の差分画像上の画素値を表し、［数１３］は目標画素点の第２の差分画像上の画素値を表し、［数１４］は目標画素点の第３の差分画像上の画素値を表す。

説明すべきこととして、上付き文字１１は目標画素点の位置が（１，１）であることを表す。このように類推すると、各画素点について、いずれも上付き文字の方式を用いて具体的な位置をマークすることができる。

差分画像における各画素点をいずれも上記のように計算することで、法線マップ及び反射率マップを得る。

実際の応用においては、差分画像の数は、３つに限定されないため、以下の方式を用いて計算することができる。

ここで、α^ｘｙは（ｘ，ｙ）位置での画素点反射率を表し、ｎ^ｘｙは（ｘ，ｙ）位置での画素点反射率法線を表し、ｎ_ｘ、ｎ_ｙ及びｎ_ｚはそれぞれ法線ｎ^ｘｙの３つの成分を表し、λ_ｉはｉ番目の顔画像の光照射方向を表し、［数１６］はｉ番目の顔画像の（ｘ，ｙ）位置での画素値を表し、ここで、ｉは１以上であり、かつＮ以下の整数である。

本願の実施例において、画像における各画素点に対して法線マップ及び反射率マップを計算する方法が提供される。上記方式により、各画素点に対して対応する結果を正確に算出することにより、解決手段の実現可能性及び操作可能性を向上させることができる。

好ましくは、上記図３に対応する各実施例を基にした、本願の実施例に係る生体顔検出の方法の１つの選択可能な実施例において、Ｎ個の差分画像、法線マップ及び反射率マップに基づいて生体顔検出結果を決定するステップは、
Ｎ個の差分画像、法線マップ及び反射率マップに基づいて、生体検出モデルにより認識対象の顔に対応する生体確率を取得するステップであって、ここで、認識対象の顔は初期顔画像及び顔画像集合に含まれる、ステップと、
認識対象の顔に対応する生体確率に基づいて、認識対象の顔に対応する生体顔検出結果を決定するステップと、を含んでよい。

本実施例において、端末機器で生体検出モデルを利用して生体顔確率を決定する方法が説明される。生体顔検出装置は、計算して取得されたＮ個の差分画像、法線マップ及び反射率マップを生体検出モデルに入力し、生体検出モデルは、入力されたデータに基づいて［０，１］の間の浮動小数点数を出力し、該浮動小数点数は、該顔が生体顔に属する確率を表す。

生体検出モデルは、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、ＣＮＮ）、例えば残余ニューラルネットワーク－５０（Ｒｅｓｉｄｕａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ－５０、ＲｅｓＮｅｔ－５０）ネットワークを用いることができる。生体顔検出装置は、端末機器に配置され、かつ該端末機器には、トレーニングされた生体検出モデルがさらに配置されている。該生体検出モデルのトレーニングは、サーバ又は他の計算能力の強い端末機器で行うことができる。生体検出モデルをトレーニングするときに、まず生体顔サンプル画像を収集し、かつ生体顔サンプル画像のラベルを１に設定し、非生体顔サンプル画像を収集し、かつ非生体顔サンプル画像のラベルを０に設定する。そして生体顔サンプル画像に対応するＮ枚の差分画像、法線マップ及び反射率マップ、並びに非生体顔サンプル画像に対応するＮ枚の差分画像、法線マップ及び反射率マップを収集し、Ｎ枚の差分画像、法線マップ及び反射率マップを一体に接合して、解像度がＷ＊Ｈであり、チャネル数が（３＊Ｎ＋３＋１）であるデータをトレーニング対象の生体検出モデルの入力として形成する。マークされた真ラベルと実際に出力された予測ラベルとの間の損失値を教師として該生体検出モデルをトレーニングし、生体検出モデルの損失値が収束するまで継続すれば、生体検出モデルのトレーニングが完了することを表す。

説明を容易にするために、図１３に参照されるように、図１３は、本願の実施例における生体検出モデルの１つの構造概略図である。図に示すように、Ｎ個の差分画像、法線マップ及び反射率マップを入力データとして生体検出モデルに入力し、生体検出モデルは、畳み込み層、プーリング層及び全接続（ｆｕｌｌ ｃｏｎｎｅｃｔｉｏｎ、ＦＣ）層を含んでよい。入力データが畳み込み層、プーリング層及び全接続層を経て、１つの［０，１］の間の浮動小数点数が出力され、該浮動小数点数は、入力データが生体顔に属する確率を表すために用いられ、出力された確率値に基づいて、生体顔検出結果を決定することができる。

説明すべきこととして、図において１つの畳み込み層及び１つのプーリング層のみが含まれるが、これは例示的なものに過ぎず、本願を限定するものと理解すべきではない。実際の応用において、生体検出モデルは、複数の畳み込み層及び複数のプーリング層を含んでよく、具体的な数は、実際の状況に依存して決定することができる。

本実施例において、端末機器で生体検出モデルを利用して生体顔確率を決定する方法が提供される。上記方式により、ネットワークと接続する必要がない場合に、端末機器を利用して生体顔の確率を判断することにより、検出の柔軟性を向上させることができる。

好ましくは、上記図３に対応する各実施例を基にした、本願の実施例に係る生体顔検出の方法の１つの選択可能な実施例において、Ｎ個の差分画像、法線マップ及び反射率マップに基づいて生体顔検出結果を決定するステップは、
サーバにＮ個の差分画像、法線マップ及び反射率マップを送信することにより、サーバが、Ｎ個の差分画像、法線マップ及び反射率マップに基づいて、生体検出モデルにより認識対象の顔に対応する生体確率を取得し、かつ認識対象の顔に対応する生体確率に基づいて、認識対象の顔に対応する生体顔検出結果を決定するステップであって、ここで、認識対象の顔は初期顔画像及び顔画像集合に含まれる、ステップと、
サーバから送信される生体顔検出結果を受信するステップと、を含んでよい。

本実施例において、サーバで生体検出モデルを利用して生体顔確率を決定する方法が説明される。トレーニングされた生体検出モデルは、サーバに配置され、生体顔検出装置は、計算して取得されたＮ個の差分画像、法線マップ及び反射率マップをサーバに送信する。サーバは、受信されたデータを生体検出モデルに入力する。生体検出モデルは、入力されたデータに基づいて［０，１］の間の浮動小数点数を出力する。該浮動小数点数は、該顔が実際の人のものである確率を表し、サーバは、最後に浮動小数点数に基づいて決定された生体顔検出結果を生体顔検出装置に送信する。

理解すべきこととして、本実施例における生体検出モデルのトレーニング方式は、上記実施例に係るトレーニング方式と類似し、ここでは説明を省略する。

本実施例において、サーバで生体検出モデルを利用して生体顔確率を決定する方法が提供される。上記方式により、サーバが、生体検出モデルを利用して顔が生体である確率を決定することにより、端末機器に対するハードウェア需要を低減し、端末機器のハードウェアコストを削減することができ、かつサーバの計算能力が高くなり、計算速度が速くなり、本願の方法の効率を向上させることができる。

以下に実際の応用と組み合わせて本願の実施例の実行過程を説明する。図１４に参照されるように、図１４は、本願の実施例における生体顔検出フローの１つの概略図である。図に示すように、端末機器で顔認証決済を行うことを例とすると、ユーザーが端末機器を使用して顔認証決済を行うときに、生体顔検出をトリガするこがあり、具体的には、以下のとおりである。

ステップＳ１では、端末機器は、まず自然光の状況で初期顔画像Ｐ０を取得し、次に端末機器上のＮ個の領域を光源として順に点灯させてＮ個の異なる方向における光照射を提供する。１つの光源を起動するたびに１枚の顔画像を収集することができ、Ｎが３であると仮定すれば、第１の顔画像Ｐ１、第２の顔画像Ｐ２及び第３の顔画像Ｐ３を収集することができる。

ステップＳ２では、端末機器は、第１の顔画像Ｐ１から初期顔画像Ｐ０を減算して、第１の差分画像Ｄ１を取得する。同様に、第２の顔画像Ｐ２から初期顔画像Ｐ０を減算して、第２の差分画像Ｄ２を取得する。第３の顔画像Ｐ３から初期顔画像Ｐを減算して、第３の差分画像Ｄ３を取得する。

ステップＳ３では、第１の差分画像Ｄ１、第２の差分画像Ｄ２及び第３の差分画像Ｄ３並びにＮ個の異なる方向に基づいて、端末機器は、法線マップ及び反射率マップを計算して取得する。

ステップＳ４では、端末機器は、第１の差分画像Ｄ１、第２の差分画像Ｄ２及び第３の差分画像Ｄ３、並びに法線マップ及び反射率マップを生体検出モデルに入力し、該生体検出モデルによって生体顔検出結果を出力する。該生体顔検出結果は、収集されたものが生体顔であるか又は収集されたものが非生体顔であることであってよく、端末機器によって、生成された生体顔検出結果を表示する。

以下、本願における生体顔検出装置を詳細に説明する。図１５に参照されるように、図１５は、本願の実施例における生体顔検出装置の１つの実施例の概略図であり、生体顔検出装置２０は、
初期顔画像及びＮ個の光照射方向に対応する顔画像集合を取得するために用いられる取得モジュール２０１であって、ここで、顔画像集合はＮ個の顔画像を含み、かつ各顔画像は１つの光照射方向に対応し、Ｎ個の光照射方向は互いに異なる光照射方向であり、かつＮ個の光照射方向はＮ個の光源位置に対応し、Ｎ個の光源位置は同一の直線上に位置せず、Ｎは３以上の整数であり、
取得モジュール２０１がさらに、初期顔画像及び顔画像集合に基づいて、Ｎ個の差分画像を取得するために用いられる、取得モジュール２０１と、
Ｎ個の差分画像及びＮ個の光照射方向に基づいて、法線マップ及び反射率マップを生成するために用いられる生成モジュール２０２であって、ここで、法線マップは、各画素点に対応する法線に基づいて構成された画像であり、反射率マップは、各画素点に対応する反射率に基づいて構成された画像である、生成モジュール２０２と、
取得モジュールにより取得されたＮ個の差分画像、生成モジュールにより生成された法線マップ及び反射率マップに基づいて、生体顔検出結果を決定するために用いられる決定モジュール２０３と、を含む。

好ましくは、上記図１５に対応する各実施例を基にした、本願の実施例に係る生体顔検出装置２０の別の実施例において、顔画像集合は、少なくとも第１の顔画像、第２の顔画像及び第３の顔画像を含み、
取得モジュール２０１は、具体的に、初期顔画像を取得するステップと、
目標時間内の第１の時刻に、第１の顔画像を取得するステップと、
目標時間内の第２の時刻に、第２の顔画像を取得するステップであって、ここで、第２の時刻は第１の時刻とは異なる時刻である、ステップと、
目標時間内の第３の時刻に、第３の顔画像を取得するステップであって、ここで、第３の時刻は第１の時刻とは異なる時刻であり、かつ第３の時刻は第２の時刻とは異なる時刻である、ステップと、を実行するために用いられる。

好ましくは、上記図１５に対応する各実施例を基にした、本願の実施例に係る生体顔検出装置２０の別の実施例において、顔画像集合は、少なくとも第１の顔画像、第２の顔画像及び第３の顔画像を含み、
Ｎ個の光照射方向は、少なくとも第１の光照射方向、第２の光照射方向及び第３の光照射方向を含み、かつ第１の光照射方向、第２の光照射方向及び第３の光照射方向は、異なる方向における光照射であり、
取得モジュール２０１は、具体的に、初期顔画像を取得するステップと、
第１の光照射方向で第１の顔画像を取得するステップと、
第２の光照射方向で第２の顔画像を取得するステップと、
第３の光照射方向で第３の顔画像を取得するステップと、を実行するために用いられる。

好ましくは、上記図１５に対応する各実施例を基にした、本願の実施例に係る生体顔検出装置２０の別の実施例において、Ｎ個の光源位置は、少なくとも第１の光源位置、第２の光源位置及び第３の光源位置を含み、かつ第１の光源位置、第２の光源位置及び第３の光源位置は、同一の直線上に位置しない。

取得モジュール２０１は、具体的に、端末機器の第１の画面領域が点灯するときに、第１の光照射方向で第１の顔画像を収集するステップであって、ここで、第１の画面領域は、第１の光源位置に位置し、第１の光照射方向は、第１の画面領域が点灯するときに認識対象の顔を照射する対応する方向である、ステップと、
端末機器の第２の画面領域が点灯するときに、第２の光照射方向で第２の顔画像を収集するステップであって、ここで、第２の画面領域は、第２の光源位置に位置し、第２の光照射方向は、第２の画面領域が点灯するときに認識対象の顔を照射する対応する方向である、ステップと、
端末機器の第３の画面領域が点灯するときに、第３の光照射方向で第３の顔画像を収集するステップであって、ここで、第３の画面領域は、第３の光源位置に位置し、第３の光照射方向は、第３の画面領域が点灯するときに認識対象の顔を照射する対応する方向である、ステップと、を実行するために用いられる。

好ましくは、上記図１５に対応する各実施例を基にした、本願の実施例に係る生体顔検出装置２０の別の実施例において、Ｎ個の光源位置は、少なくとも第１の光源位置、第２の光源位置及び第３の光源位置を含み、かつ第１の光源位置、第２の光源位置及び第３の光源位置は、同一の直線上に位置しない。

取得モジュール２０１は、具体的に、第１の発光ダイオードの発光領域が点灯するときに、第１の光照射方向で第１の顔画像を収集するステップであって、ここで、第１の発光領域は、第１の光源位置に位置し、第１の光照射方向は、第１の発光領域が点灯するときに認識対象の顔を照射する対応する方向である、ステップと、
第２の発光領域が点灯するときに、第２の光照射方向で第２の顔画像を収集するステップであって、ここで、第２の発光領域は、第２の光源位置に位置し、第２の光照射方向は、第２の発光領域が点灯するときに認識対象の顔を照射する対応する方向である、ステップと、
第３の発光領域が点灯するときに、第３の光照射方向で第３の顔画像を収集するステップであって、ここで、第３の発光領域は、第３の光源位置に位置し、第３の光照射方向は、第３の発光領域が点灯するときに認識対象の顔を照射する対応する方向である、ステップと、を実行するために用いられる。

好ましくは、上記図１５に対応する各実施例を基にした、本願の実施例に係る生体顔検出装置２０の別の実施例において、顔画像集合は、少なくとも第１の顔画像、第２の顔画像及び第３の顔画像を含み、
取得モジュール２０１は、具体的に、初期顔画像に対して顔キーポイント検出を行って、初期顔キーポイント集合を取得するステップであって、ここで、初期顔キーポイント集合は複数の初期顔キーポイントを含む、ステップと、
第１の顔画像に対して顔キーポイント検出を行って、第１の顔キーポイント集合を取得するステップであって、ここで、初期顔キーポイント集合は複数の第１の顔キーポイントを含む、ステップと、
第２の顔画像に対して顔キーポイント検出を行って、第２の顔キーポイント集合を取得するステップであって、ここで、初期顔キーポイント集合は複数の第２の顔キーポイントを含む、ステップと、
第３の顔画像に対して顔キーポイント検出を行って、第３の顔キーポイント集合を取得するステップであって、ここで、初期顔キーポイント集合は複数の第３の顔キーポイントを含む、ステップと、
初期顔キーポイント集合及び第１の顔キーポイント集合に基づいて、第１の差分画像を生成するステップであって、ここで、第１の差分画像はＮ個の差分画像のうちの１つの差分画像である、ステップと、
初期顔キーポイント集合及び第２の顔キーポイント集合に基づいて、第２の差分画像を生成するステップであって、ここで、第２の差分画像はＮ個の差分画像のうちの、第１の差分画像とは異なる１つの差分画像である、ステップと、
初期顔キーポイント集合及び第３の顔キーポイント集合に基づいて、第３の差分画像を生成するステップであって、ここで、第３の差分画像はＮ個の差分画像のうちの、第１の差分画像及び第２の差分画像とは異なる１つの差分画像である、ステップと、を実行するために用いられる。

好ましくは、上記図１５に対応する実施例を基にした、本願の実施例に係る生体顔検出装置２０の他の実施例において、生体顔検出装置２０は、計算モジュール２０４、表示モジュール２０５及び実行モジュール２０６をさらに含み、
計算モジュール２０４は、初期顔キーポイント集合及び第１の顔キーポイント集合に基づいて、第１のキーポイントオフセット量を計算して取得するために用いられ、
計算モジュール２０４は、さらに、初期顔キーポイント集合及び第２の顔キーポイント集合に基づいて、第２のキーポイントオフセット量を計算して取得するために用いられ、
計算モジュール２０４は、さらに、初期顔キーポイント集合及び第３の顔キーポイント集合に基づいて、第３のキーポイントオフセット量を計算して取得するために用いられ、
表示モジュール２０５は、第１のキーポイントオフセット量、第２のキーポイントオフセット量及び第３のキーポイントオフセット量のうちの少なくとも１つがオフセット閾値以上であれば、再収集という提示メッセージを表示するために用いられ、
実行モジュール２０６は、第１のキーポイントオフセット量、第２のキーポイントオフセット量及び第３のキーポイントオフセット量がいずれもオフセット閾値より小さければ、初期顔キーポイント集合及び第１の顔キーポイント集合に基づいて、初期顔キーポイント集合及び第２の顔キーポイント集合に基づいて、第２の差分画像を生成し、初期顔キーポイント集合及び第３の顔キーポイント集合に基づいて、第３の差分画像を生成するステップを実行するために用いられる。

好ましくは、上記図１５に対応する実施例を基にした、本願の実施例に係る生体顔検出装置２０の別の実施例において、
取得モジュール２０１は、具体的に、初期顔キーポイント集合及び第１の顔キーポイント集合に基づいて、第１の変換行列を決定し、
第１の変換行列及び初期顔画像に基づいて、第１の顔画像をアラインメントし、アラインメント後の第１の顔画像を取得し、
アラインメント後の第１の顔画像と初期顔画像とに基づいて、第１の差分画像を生成するために用いられ、
取得モジュール２０１は、具体的に、初期顔キーポイント集合及び第２の顔キーポイント集合に基づいて、第２の変換行列を決定し、
第２の変換行列及び初期顔画像に基づいて、第２の顔画像をアラインメントし、アラインメント後の第２の顔画像を取得し、
アラインメント後の第２の顔画像と初期顔画像とに基づいて、第２の差分画像を生成するために用いられ、
取得モジュール２０１は、具体的に、初期顔キーポイント集合及び第３の顔キーポイント集合に基づいて、第３の変換行列を決定し、
第３の変換行列及び初期顔画像に基づいて、第３の顔画像をアラインメントし、アラインメント後の第３の顔画像を取得し、
アラインメント後の第３の顔画像と初期顔画像とに基づいて、第３の差分画像を生成するために用いられる。

好ましくは、上記図１５に対応する実施例を基にした、本願の実施例に係る生体顔検出装置２０の別の実施例において、生成モジュール２０２は、具体的に、第１の差分画像、第２の差分画像及び第３の差分画像に基づいて、法線及び反射率を計算して取得し、
法線に基づいて法線マップを生成し、
反射率に基づいて反射率マップを生成するために用いられる。

好ましくは、上記図１５に対応する実施例を基にした、本願の実施例に係る生体顔検出装置２０の別の実施例において、生成モジュール２０２は、具体的に、第１の差分画像における目標画素点に基づいて、第１の方程式を決定するステップと、
第２の差分画像における目標画素点に基づいて、第２の方程式を決定するステップと、
第３の差分画像における目標画素点に基づいて、第３の方程式を決定するステップであって、ここで、第１の差分画像における目標画素点、第２の差分画像における目標画素点及び第３の差分画像における目標画素点はいずれも同じ画素点位置に対応する、ステップと、
第１の方程式、第２の方程式、第３の方程式及び第４の方程式に基づいて、目標画素点の法線及び目標画素点の反射率を計算して取得するステップであって、ここで、第４の方程式は法線に対応する３つの方向分類の関係を表す、ステップと、を実行するために用いられ、
生成モジュール２０２は、具体的に、目標画素点の法線に基づいて、目標画素点に対応する法線マップを生成するために用いられ、
生成モジュール２０２は、具体的に、目標画素点の反射率に基づいて、目標画素点に対応する反射率マップを生成するために用いられる。

好ましくは、上記図１５に対応する実施例を基にした、本願の実施例に係る生体顔検出装置２０の他の実施例において、決定モジュール２０３は、具体的に、Ｎ個の差分画像、法線マップ及び反射率マップに基づいて、生体検出モデルにより認識対象の顔に対応する生体確率を取得するステップであって、ここで、認識対象の顔は初期顔画像及び顔画像集合に含まれる、ステップと、
認識対象の顔に対応する生体確率に基づいて、認識対象の顔に対応する生体顔検出結果を決定するステップと、を実行するために用いられる。

好ましくは、上記図１５に対応する実施例を基にした、本願の実施例に係る生体顔検出装置２０の他の実施例において、決定モジュール２０３は、具体的に、サーバにＮ個の差分画像、法線マップ及び反射率マップを送信することにより、サーバが、Ｎ個の差分画像、法線マップ及び反射率マップに基づいて、生体検出モデルにより認識対象の顔に対応する生体確率を取得し、かつ認識対象の顔に対応する生体確率に基づいて、認識対象の顔に対応する生体顔検出結果を決定するステップであって、ここで、認識対象の顔は初期顔画像及び顔画像集合に含まれる、ステップと、
サーバから送信される生体顔検出結果を受信するステップと、を実行するために用いられる。

本願の実施例は、生体顔検出装置をさらに提供する。該生体顔検出装置は、電子機器に配置されてよく、該電子機器が端末機器であることを例とすると、すなわち端末機器に、上記図１５に対応する実施例において提供された生体顔検出装置を配置して、図３に記載されるステップを実行するために用いられる。図１６に示すように、説明を容易にするために、本願の実施例に関連する部分のみを示しており、具体的な技術的詳細が開示されていないため、本願の実施例の方法の部分を参照されたい。該端末機器は、携帯電話、タブレットコンピュータ、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、販売端末機器（Ｐｏｉｎｔ ｏｆ Ｓａｌｅｓ、ＰＯＳ）、車載コンピュータなどの任意の端末機器を含でんよく、端末機器が携帯電話であることを例とする。

図１６は、本願の実施例に係る端末機器に関連する携帯電話の部分構造のブロック図を示す。図１６に参照されるように、携帯電話は、無線周波数（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦ）回路３１０、メモリ３２０、入力ユニット３３０、表示ユニット３４０、センサー３５０、オーディオ回路３６０、ワイヤレスフィディリティ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ、ＷｉＦｉ）モジュール３７０、プロセッサ３８０及び電源３９０などの部品を含む。当業者であれば理解できるように、図１６に示される携帯電話の構造は、携帯電話を限定するものではなく、図示より多く又はより少ない部品を含むか、又はいくつかの部品を組み合わせるか、又は異なる部品の配置を有してよい。

以下、図１６と組み合わせて携帯電話の各構成部品を具体的に説明する。

ＲＦ回路３１０は、情報を送受信するか、又は通話過程において信号を送受信し、特に、基地局の下り情報を受信した後、プロセッサ３８０に送信して処理させ、また、上りに関連するデータを基地局に送信するために用いられる。一般的に、ＲＦ回路３１０は、アンテナ、少なくとも１つの増幅器、送受信機、カプラ、低雑音増幅器（Ｌｏｗ Ｎｏｉｓｅ Ａｍｐｌｆｉｅｒ、ＬＮＡ）、デュプレクサなどを含むが、これらに限定されない。また、ＲＦ回路３１０は、さらに無線通信によりネットワーク及び他の装置と通信することができる。上記無線通信は、任意の通信規格又はプロトコルを使用することができ、グローバル移動通信システム（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｏｆ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＧＳＭ）、汎用パケット無線サービス（Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅ、ＧＰＲＳ）、符号分割多元接続（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ、ＣＤＭＡ）、広帯域符号分割多元接続（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ、ＷＣＤＭＡ）、ロングタームエボリューション（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ、ＬＴＥ）、電子メール、ショートメッセージサービス（Ｓｈｏｒｔ Ｍｅｓｓａｇｉｎｇ Ｓｅｒｖｉｃｅ、ＳＭＳ）などを含むが、これらに限定されない。

メモリ３２０は、ソフトウェアプログラム及びモジュールを記憶してよく、プロセッサ３８０は、メモリ３２０に記憶されているソフトウェアプログラム及びモジュールを実行することにより、携帯電話の様々な機能アプリケーション及びデータ処理を実行する。メモリ３２０は、主に、プログラム記憶領域及びデータ記憶領域を含んでよく、ここで、プログラム記憶領域は、オペレーティングシステム、少なくとも１つの機能（例えば、音声再生機能、画像再生機能など）に必要なアプリケーションプログラムなどを記憶することができ、データ記憶領域は、携帯電話の使用に応じて作成されたデータ（例えば、オーディオデータ、電話帳など）などを記憶することができる。また、メモリ３２０は、高速ランダムアクセスメモリを含んでよく、不揮発性メモリ、例えば少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の揮発性固体記憶デバイスをさらに含んでよい。

入力ユニット３３０は、入力された数字又は文字情報を受信し、そして携帯電話のユーザー設定及び機能制御に関連するキー信号入力を生成するために用いられてよい。具体的には、入力ユニット３３０は、タッチパネル３３１及び他の入力装置３３２を含んでよい。タッチパネル３３１は、タッチスクリーンとも呼ばれ、その上又はその近くでのユーザーのタッチ操作（例えば、ユーザーが指、スタイラスなどの任意の適切な物体又は付属品を用いて行われるタッチパネル３３１上又はタッチパネル３３１の近くでの操作）を収集し、かつ所定のプログラムに従って対応する接続装置を駆動することができる。好ましくは、タッチパネル３３１は、タッチ検出装置及びタッチコントローラの２つの部品を含んでよい。ここで、タッチ検出装置は、ユーザーのタッチ方位を検出し、かつタッチ操作による信号を検出し、信号をタッチコントローラに伝送する。タッチコントローラは、タッチ検出装置からタッチ情報を受信し、タッチポイント座標に変換し、さらにプロセッサ３８０に送信し、かつプロセッサ３８０から送信された命令を受信して、実行することができる。また、抵抗式、容量式、赤外線式及び表面弾性波式などの複数のタイプを用いてタッチパネル３３１を実現することができる。タッチパネル３３１に加えて、入力ユニット３３０は、他の入力装置３３２をさらに含んでよい。具体的には、他の入力装置３３２は、物理キーボード、機能キー（例えば、ボリューム調節キー、スイッチキーなど）、トラックボール、マウス及び操作レバーのうちの１種以上を含んでよいが、これらに限定されない。

表示ユニット３４０は、ユーザーによって入力された情報又はユーザーに提供する情報及び携帯電話の様々なメニューを表示するために用いられてよい。表示ユニット３４０は、表示パネル３４１を含んでよく、好ましくは、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）、有機発光ダイオード（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、ＯＬＥＤ）などの形式を用いて表示パネル３４１を配置してよい。さらに、タッチパネル３３１は、表示パネル３４１をカバーすることができ、タッチパネル３３１がその上又は近くでのタッチ操作を検出した後、プロセッサ３８０に送信してタッチイベントのタイプを決定し、その後にプロセッサ３８０は、タッチイベントのタイプに応じて対応する視覚的出力を表示パネル３４１に提供する。図１６において、タッチパネル３３１及び表示パネル３４１は、２つの独立した部品として携帯電話の入出力機能を実現するが、いくつかの実施例において、タッチパネル３３１と表示パネル３４１とを集積して携帯電話の入出力機能を実現することができる。

携帯電話は、光センサー、動きセンサー及び他のセンサーなどの少なくとも１種のセンサー３５０をさらに含んでよい。具体的には、光センサーは、環境光センサー及び近接センサーを含んでよく、ここで、環境光センサーは、環境光線の明るさに応じて表示パネル３４１の輝度を調節することができ、近接センサーは、携帯電話が耳元に移動するときに、表示パネル３４１及び／又はバックライトをオフにすることができる。動きセンサーの１種として、加速センサーは、各方向（一般的に３軸）の加速度の大きさを検出することができ、静止時に重力の大きさ及び方向を検出することができ、携帯電話の姿勢の応用（例えば、縦向き／横向きの切替、ゲーム関連、磁力計の姿勢較正）の認識、振動認識に関連する機能（例えば、歩数計、タッピング）などに用いられてよく、携帯電話に、ジャイロスコープ、気圧計、湿度計、温度計、赤外線センサーなどの他のセンサーがさらに配置されてよく、ここでは説明を省略する。

オーディオ回路３６０、スピーカ３６１及びマイクロホン３６２は、ユーザーと携帯電話との間のオーディオインタフェースを提供することができる。オーディオ回路３６０は、受信されたオーディオデータを変換した後の電気信号を、スピーカ３６１に伝送し、スピーカ３６１によって音声信号に変換して出力する一方、マイクロホン３６２は、収集された音声信号を電気信号に変換し、オーディオ回路３６０によって受信した後にオーディオデータに変換し、さらにオーディオデータをプロセッサ３８０に出力して処理した後、ＲＦ回路３１０により例えば別の携帯電話に送信するか、又はオーディオデータをメモリ３２０に出力してさらに処理する。

ＷｉＦｉは、短距離無線伝送技術に属し、携帯電話は、ＷｉＦｉモジュール３７０により、ユーザーが電子メールを送受信し、ウェブページを閲覧し、ストリーミングメディアを閲覧するなどに役立つことができ、ユーザーに無線のブロードバンドインターネットアクセスを提供する。図１６にＷｉＦｉモジュール３７０が示されるが、理解できるように、ＷｉＦｉモジュール３７０は、携帯電話の必須構成に属さず、必要に応じて発明の本質を変更しない範囲内で完全に省略されてよい。

プロセッサ３８０は、携帯電話の制御センターであり、様々なインタフェース及び回線を介して、携帯電話全体の各部分に接続され、メモリ３２０に記憶されているソフトウェアプログラム及び／又はモジュールを動作させるか又は実行し、そしてメモリ３２０に記憶されたデータを呼び出すことにより、携帯電話の様々な機能及びデータ処理を実行して、携帯電話全体を監視する。好ましくは、プロセッサ３８０は、１つ以上の処理ユニットを含んでよく、好ましくは、プロセッサ３８０には、アプリケーションプロセッサ及びモデムプロセッサが集積されてよく、ここで、アプリケーションプロセッサは、主にオペレーティングシステム、ユーザーインタフェース及びアプリケーションプログラムなどを処理し、モデムプロセッサは、主に無線通信を処理する。理解できるように、上記モデムプロセッサは、プロセッサ３８０に集積されなくてよい。

携帯電話は、各部品に給電する電源３９０（例えば、電池）をさらに含み、好ましくは、電源は、電源管理システムによりプロセッサ３８０と論理的に接続されて、電源管理システムにより充電、放電及び消費電力の管理などの機能を実現することができる。

図示しないが、携帯電話は、カメラ、ブルートゥースモジュールなどをさらに含んでよく、ここでは説明を省略する。

本願の実施例において、該端末機器に含まれるプロセッサ３８０は、
メモリ内のプログラムを実行することにより、前述の図３～図１３に示される実施例に説明された生体顔検出方法を実現する機能をさらに有する。

本願の実施例において、コンピュータで実行されると、コンピュータに、前述の図３～図１３に示される実施例に記載される方法における端末機器が実行するステップを実行させるか、又はコンピュータに、前述の図１５に示される実施例に記載される方法における端末機器が実行するステップを実行させるコンピュータプログラムが記憶されているコンピュータ可読記憶媒体がさらに提供される。

本願の実施例において、コンピュータで実行されると、コンピュータに、前述の図３～図１３に示される実施例に記載される方法における端末機器が実行するステップを実行させるか、又はコンピュータに、前述の図１５に示される実施例に記載される方法における端末機器が実行するステップを実行させるプログラムを含むコンピュータプログラム製品がさらに提供される。

当業者であれば明確に把握できるように、便利かつ簡潔で説明するために、上記説明したシステム、装置及びユニットの具体的な作業過程については、前述の方法の実施例における対応する過程を参照することができ、ここでは説明を省略する。

本願に係るいくつかの実施例において、開示されたシステム、装置及び方法は、他の方式で実現されてもよいことを理解されたい。例えば、以上説明した装置の実施例は、例示的なものに過ぎず、例えば、上記ユニットの区分は、論理上の機能の区分に過ぎず、実際に実現する場合に他の区分方式も可能である。例えば、複数のユニット又はコンポーネントは組み合わせられてもよく、又は別のシステムに集積されてもよく、又はいくつかの特徴を無視してもよく、遂行しなくてもよい。また、表示されるか又は議論される相互カップリング、直接カップリング又は通信結合は、いくつかのインタフェースにより実現されてよく、装置又はユニット間の間接カップリング又は通信結合は、電気的、機械的、又は他の形式であってよい。

別個の部品として説明した上記ユニットは、物理的に別個であってもなくてもよく、ユニットとして表示される部品は、物理的ユニットであってもなくてもよい。すなわち、１つの箇所に位置してもよく、複数のネットワークユニットに分散されてもよい。実際の需要に応じて、その中の一部又は全部のユニットを選択して本実施例の技術案の目的を達成することができる。

また、本願の各実施例における各機能ユニットが１つの処理ユニットに集積されてもよく、各ユニットが単独で物理的に存在してもよく、２つ以上のユニットが１つのユニットに集積されてもよい。上記集積されたユニットは、ハードウェアの形式を採用して実現されてもよく、ソフトウェア機能ユニットの形式を採用して実現されてもよい。

上記集積されたユニットは、ソフトウェア機能ユニットの形式で実現され、かつ独立した製品として販売又は使用される場合、１つのコンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づいて、本願の技術手段の本質的な又は従来技術に貢献する部分、又は該技術手段の全て又は一部は、ソフトウェア製品の形式で実現することができる。該コンピュータソフトウェア製品は、１台のコンピュータ設備（パーソナルコンピュータ、サーバ、又はネットワーク設備などであってよい）に本願の各実施例に記載の方法の全て又は一部のステップを遂行させるいくつかの命令を含む記憶媒体に記憶されている。前述の記憶媒体は、ＵＳＢフラッシュメモリ、リムーバブルハードディスク、読み出し専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスクなどの、プログラムコードを記憶可能な様々な媒体を含む。

上述したように、以上の実施例は、本願の技術手段を説明するために用いられるものに過ぎず、限定するものではない。前述した実施例を参照して本願を詳細に説明したが、当業者が理解すべきこととして、依然として、前述の各実施例において記載される技術手段をに変更を加えるか、又はその技術的特徴の一部に同等置換を行うことができる。これらの変更又は置換によって、対応する技術手段の本質は、本願の各実施例の技術手段の精神及び範囲から逸脱することがない。

２０ 生体顔検出装置
２０１ 取得モジュール
２０２ 生成モジュール
２０３ 決定モジュール
２０４ 計算モジュール
２０５ 表示モジュール
２０６ 実行モジュール
３１０ ＲＦ回路
３２０ メモリ
３３０ 入力ユニット
３３１ タッチパネル
３３２ 入力装置
３４０ 表示ユニット
３４１ 表示パネル
３５０ センサー
３６０ オーディオ回路
３６１ スピーカ
３６２ マイクロホン
３７０ ＷｉＦｉモジュール
３８０ プロセッサ
３９０ 電源

Claims (15)

1. 端末機器又はサーバにより実行される生体顔検出方法であって、
   初期顔画像及びＮ個の光照射方向に対応する顔画像集合を取得するステップであって、前記顔画像集合はＮ個の顔画像を含み、かつ各顔画像は１つの光照射方向に対応し、Ｎ個の前記光照射方向は互いに異なる光照射方向であり、かつＮ個の前記光照射方向はＮ個の光源位置に対応し、Ｎ個の前記光源位置は同一の直線上に位置せず、Ｎは３以上の整数である、ステップと、
   前記初期顔画像及び前記顔画像集合に基づいて、Ｎ個の差分画像を取得するステップと、
   Ｎ個の前記差分画像及びＮ個の前記光照射方向に基づいて、法線マップ及び反射率マップを生成するステップであって、前記法線マップは、各画素点に対応する法線に基づいて構成された画像であり、前記反射率マップは、各画素点に対応する反射率に基づいて構成された画像である、ステップと、
   Ｎ個の前記差分画像、前記法線マップ及び前記反射率マップに基づいて、生体顔検出結果を決定するステップと、を含む方法。
2. 前記顔画像集合は、少なくとも第１の顔画像、第２の顔画像及び第３の顔画像を含み、初期顔画像及びＮ個の光照射方向に対応する顔画像集合を取得する前記ステップは、
   前記初期顔画像を取得するステップと、
   目標時間内の第１の時刻に、前記第１の顔画像を取得するステップと、
   前記目標時間内の第２の時刻に、前記第２の顔画像を取得するステップであって、前記第２の時刻は前記第１の時刻とは異なる時刻である、ステップと、
   前記目標時間内の第３の時刻に、前記第３の顔画像を取得するステップであって、前記第３の時刻は前記第１の時刻とは異なる時刻であり、かつ前記第３の時刻は前記第２の時刻とは異なる時刻である、ステップと、を含む請求項１に記載の方法。
3. 前記顔画像集合は、少なくとも第１の顔画像、第２の顔画像及び第３の顔画像を含み、
   Ｎ個の前記光照射方向は、少なくとも第１の光照射方向、第２の光照射方向及び第３の光照射方向を含み、かつ前記第１の光照射方向、前記第２の光照射方向及び前記第３の光照射方向は、異なる方向における光照射であり、
   初期顔画像及びＮ個の光照射方向に対応する顔画像集合を取得する前記ステップは、
   前記初期顔画像を取得するステップと、
   前記第１の光照射方向で前記第１の顔画像を取得するステップと、
   前記第２の光照射方向で前記第２の顔画像を取得するステップと、
   前記第３の光照射方向で前記第３の顔画像を取得するステップと、を含む請求項１に記載の方法。
4. Ｎ個の前記光源位置は、少なくとも第１の光源位置、第２の光源位置及び第３の光源位置を含み、かつ前記第１の光源位置、前記第２の光源位置及び前記第３の光源位置は、同一の直線上に位置せず、
   第１の光照射方向で前記第１の顔画像を取得する前記ステップは、
   端末機器の第１の画面領域が点灯するときに、前記第１の光照射方向で前記第１の顔画像を収集するステップを含み、前記第１の画面領域は、前記第１の光源位置に位置し、前記第１の光照射方向は、前記第１の画面領域が点灯するときに認識対象の顔を照射する対応する方向であり、
   第２の光照射方向で前記第２の顔画像を取得する前記ステップは、
   前記端末機器の第２の画面領域が点灯するときに、前記第２の光照射方向で前記第２の顔画像を収集するステップを含み、前記第２の画面領域は、前記第２の光源位置に位置し、前記第２の光照射方向は、前記第２の画面領域が点灯するときに前記認識対象の顔を照射する対応する方向であり、
   第３の光照射方向で前記第３の顔画像を取得する前記ステップは、
   前記端末機器の第３の画面領域が点灯するときに、前記第３の光照射方向で前記第３の顔画像を収集するステップを含み、前記第３の画面領域は、前記第３の光源位置に位置し、前記第３の光照射方向は、前記第３の画面領域が点灯するときに前記認識対象の顔を照射する対応する方向である、請求項３に記載の方法。
5. Ｎ個の前記光源位置は、少なくとも第１の光源位置、第２の光源位置及び第３の光源位置を含み、かつ前記第１の光源位置、前記第２の光源位置及び前記第３の光源位置は、同一の直線上に位置せず、
   第１の光照射方向で前記第１の顔画像を取得する前記ステップは、
   第１の発光領域が点灯するときに、前記第１の光照射方向で前記第１の顔画像を収集するステップを含み、前記第１の発光領域は、前記第１の光源位置に位置し、前記第１の光照射方向は、前記第１の発光領域が点灯するときに認識対象の顔を照射する対応する方向であり、
   第２の光照射方向で前記第２の顔画像を取得する前記ステップは、
   第２の発光領域が点灯するときに、前記第２の光照射方向で前記第２の顔画像を収集するステップを含み、前記第２の発光領域は、前記第２の光源位置に位置し、前記第２の光照射方向は、前記第２の発光領域が点灯するときに前記認識対象の顔を照射する対応する方向であり、
   第３の光照射方向で前記第３の顔画像を取得する前記ステップは、
   第３の発光領域が点灯するときに、前記第３の光照射方向で前記第３の顔画像を収集するステップを含み、前記第３の発光領域は、前記第３の光源位置に位置し、前記第３の光照射方向は、前記第３の発光領域が点灯するときに前記認識対象の顔を照射する対応する方向である、請求項３に記載の方法。
6. 前記顔画像集合は、少なくとも第１の顔画像、第２の顔画像及び第３の顔画像を含み、
   初期顔画像及び前記顔画像集合に基づいて、Ｎ個の差分画像を取得する前記ステップは、
   前記初期顔画像に対して顔キーポイント検出を行って、初期顔キーポイント集合を取得するステップであって、前記初期顔キーポイント集合は複数の初期顔キーポイントを含む、ステップと、
   前記第１の顔画像に対して顔キーポイント検出を行って、第１の顔キーポイント集合を取得するステップであって、前記第１の顔キーポイント集合は複数の第１の顔キーポイントを含む、ステップと、
   前記第２の顔画像に対して顔キーポイント検出を行って、第２の顔キーポイント集合を取得するステップであって、前記第２の顔キーポイント集合は複数の第２の顔キーポイントを含む、ステップと、
   前記第３の顔画像に対して顔キーポイント検出を行って、第３の顔キーポイント集合を取得するステップであって、前記第３の顔キーポイント集合は複数の第３の顔キーポイントを含む、ステップと、
   前記初期顔キーポイント集合及び前記第１の顔キーポイント集合に基づいて、第１の差分画像を生成するステップであって、前記第１の差分画像はＮ個の前記差分画像のうちの１つの差分画像である、ステップと、
   前記初期顔キーポイント集合及び前記第２の顔キーポイント集合に基づいて、第２の差分画像を生成するステップであって、前記第２の差分画像はＮ個の前記差分画像のうちの、前記第１の差分画像とは異なる１つの差分画像である、ステップと、
   前記初期顔キーポイント集合及び前記第３の顔キーポイント集合に基づいて、第３の差分画像を生成するステップであって、前記第３の差分画像はＮ個の前記差分画像のうちの、前記第１の差分画像及び前記第２の差分画像とは異なる１つの差分画像であるステップと、を含む請求項１に記載の方法。
7. 前記初期顔キーポイント集合及び前記第１の顔キーポイント集合に基づいて、第１のキーポイントオフセット量を計算して取得するステップと、
   前記初期顔キーポイント集合及び前記第２の顔キーポイント集合に基づいて、第２のキーポイントオフセット量を計算して取得するステップと、
   前記初期顔キーポイント集合及び前記第３の顔キーポイント集合に基づいて、第３のキーポイントオフセット量を計算して取得するステップと、
   前記第１のキーポイントオフセット量、前記第２のキーポイントオフセット量及び前記第３のキーポイントオフセット量のうちの少なくとも１つがオフセット閾値以上であれば、再収集という提示メッセージを表示するステップと、
   前記第１のキーポイントオフセット量、前記第２のキーポイントオフセット量及び前記第３のキーポイントオフセット量がいずれも前記オフセット閾値より小さければ、前記初期顔キーポイント集合及び前記第１の顔キーポイント集合に基づいて、第１の差分画像を生成し、前記初期顔キーポイント集合及び前記第２の顔キーポイント集合に基づいて、第２の差分画像を生成し、前記初期顔キーポイント集合及び前記第３の顔キーポイント集合に基づいて、第３の差分画像を生成するステップを実行するステップと、をさらに含む請求項６に記載の方法。
8. 初期顔キーポイント集合及び前記第１の顔キーポイント集合に基づいて、第１の差分画像を生成する前記ステップは、
   前記初期顔キーポイント集合及び前記第１の顔キーポイント集合に基づいて、第１の変換行列を決定するステップと、
   前記第１の変換行列及び前記初期顔画像に基づいて、前記第１の顔画像を位置合わせして、アラインメント後の第１の顔画像を取得するステップと、
   前記アラインメント後の第１の顔画像と前記初期顔画像とに基づいて、前記第１の差分画像を生成するステップと、を含み、
   初期顔キーポイント集合及び前記第２の顔キーポイント集合に基づいて、第２の差分画像を生成する前記ステップは、
   前記初期顔キーポイント集合及び前記第２の顔キーポイント集合に基づいて、第２の変換行列を決定するステップと、
   前記第２の変換行列及び前記初期顔画像に基づいて、前記第２の顔画像を位置合わせして、アラインメント後の第２の顔画像を取得するステップと、
   前記アラインメント後の第２の顔画像と前記初期顔画像とに基づいて、前記第２の差分画像を生成するステップと、を含み、
   前記初期顔キーポイント集合及び前記第３の顔キーポイント集合に基づいて、第３の差分画像を生成するステップは、
   前記初期顔キーポイント集合及び前記第３の顔キーポイント集合に基づいて、第３の変換行列を決定するステップと、
   前記第３の変換行列及び前記初期顔画像に基づいて、前記第３の顔画像を位置合わせして、アラインメント後の第３の顔画像を取得するステップと、
   前記アラインメント後の第３の顔画像と前記初期顔画像とに基づいて、前記第３の差分画像を生成するステップと、を含む請求項６に記載の方法。
9. Ｎ個の前記差分画像に基づいて、法線マップ及び反射率マップを生成する前記ステップは、
   前記第１の差分画像、前記第２の差分画像及び前記第３の差分画像に基づいて、法線及び反射率を計算して取得するステップと、
   前記法線に基づいて、前記法線マップを生成するステップと、
   前記反射率に基づいて、前記反射率マップを生成するステップと、を含む請求項６に記載の方法。
10. 前記第１の差分画像、前記第２の差分画像及び前記第３の差分画像に基づいて、法線及び反射率を計算して取得する前記ステップは、
    前記第１の差分画像における目標画素点に基づいて、第１の方程式を決定するステップと、
    前記第２の差分画像における目標画素点に基づいて、第２の方程式を決定するステップと、
    前記第３の差分画像における目標画素点に基づいて、第３の方程式を決定するステップであって、前記第１の差分画像における目標画素点、前記第２の差分画像における目標画素点及び前記第３の差分画像における目標画素点はいずれも同じ画素点位置に対応する、ステップと、
    前記第１の方程式、前記第２の方程式、前記第３の方程式及び第４の方程式に基づいて、前記目標画素点の法線及び前記目標画素点の反射率を計算して取得するステップであって、前記第４の方程式は前記法線に対応する３つの方向分類の関係を表す、ステップと、を含み、
    前記法線に基づいて、前記法線マップを生成する前記ステップは、
    前記目標画素点の法線に基づいて、前記目標画素点に対応する法線マップを生成するステップを含み、
    前記反射率に基づいて、前記反射率マップを生成する前記ステップは、
    前記目標画素点の反射率に基づいて、前記目標画素点に対応する反射率マップを生成するステップを含む請求項９に記載の方法。
11. Ｎ個の前記差分画像、前記法線マップ及び前記反射率マップに基づいて、生体顔検出結果を決定するステップは、
    Ｎ個の前記差分画像、前記法線マップ及び前記反射率マップに基づいて、生体検出モデルにより認識対象の顔に対応する生体確率を取得するステップであって、前記認識対象の顔は前記初期顔画像及び前記顔画像集合に含まれる、ステップと、
    前記認識対象の顔に対応する生体確率に基づいて、前記認識対象の顔に対応する前記生体顔検出結果を決定するステップと、を含む請求項１～１０のいずれか一項に記載の方法。
12. Ｎ個の前記差分画像、前記法線マップ及び前記反射率マップに基づいて、生体顔検出結果を決定するステップは、
    サーバにＮ個の前記差分画像、前記法線マップ及び前記反射率マップを送信することにより、前記サーバが、Ｎ個の前記差分画像、前記法線マップ及び前記反射率マップに基づいて、生体検出モデルにより認識対象の顔に対応する生体確率を取得し、かつ前記認識対象の顔に対応する生体確率に基づいて、前記認識対象の顔に対応する前記生体顔検出結果を決定するステップであって、前記認識対象の顔は前記初期顔画像及び前記顔画像集合に含まれる、ステップと、
    前記サーバから送信される前記生体顔検出結果を受信するステップと、を含む請求項１～１０のいずれか一項に記載の方法。
13. 生体顔検出装置であって、
    初期顔画像及びＮ個の光照射方向に対応する顔画像集合を取得するために用いられる取得モジュールであって、前記顔画像集合はＮ個の顔画像を含み、かつ各顔画像は１つの光照射方向に対応し、Ｎ個の前記光照射方向は互いに異なる光照射方向であり、かつＮ個の前記光照射方向はＮ個の光源位置に対応し、Ｎ個の前記光源位置は同一の直線上に位置せず、Ｎは３以上の整数であり、
    前記取得モジュールがさらに、前記初期顔画像及び前記顔画像集合に基づいて、Ｎ個の差分画像を取得するために用いられる、取得モジュールと、
    Ｎ個の前記差分画像及びＮ個の前記光照射方向に基づいて、法線マップ及び反射率マップを生成するために用いられる生成モジュールであって、前記法線マップは各画素点に対応する法線に基づいて構成された画像であり、前記反射率マップは各画素点に対応する反射率に基づいて構成された画像である、生成モジュールと、
    前記取得モジュールにより取得されたＮ個の前記差分画像、前記生成モジュールにより生成された前記法線マップ及び前記反射率マップに基づいて、生体顔検出結果を決定するために用いられる決定モジュールと、を含む生体顔検出装置。
14. メモリ、送受信機、プロセッサ及びバスシステムを含み、
    前記メモリは、プログラムを記憶するために用いられ、
    前記プロセッサは、前記メモリにおけるプログラムを実行することにより、上記請求項１～１２のいずれか一項に記載の方法を実現するために用いられ、
    前記バスシステムは、前記メモリ及び前記プロセッサを接続することにより、前記メモリ及び前記プロセッサに通信させるために用いられる、電子機器。
15. コンピュータ上で実行されると、前記コンピュータに請求項１～１２のいずれか一項に記載の方法を実行させる、命令を含むコンピュータプログラム。

Images