JP7026225B2 - 生体検出方法、装置及びシステム、電子機器並びに記憶媒体 - Google Patents

Description

（関連出願の相互参照）
本願は、２０１８年７月２７日に中国特許局に提出された、出願番号２０１８１０８４６５８７．６、出願の名称「生体検出方法、装置及びシステム、電子機器並びに記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。

本願は、コンピュータビジョン技術に関し、特に生体検出方法、装置及びシステム、電子機器並びに記憶媒体に関する。

現在、顔認識技術は、顔によるロック解除、顔による支払、無人スーパー及びビデオ監視などのシーンに広く用いられている。しかしながら、顔認識技術には、顔の実体写真、顔の電子写真又は顔が含まれるビデオなどの形式の非生体顔に攻撃されやすいリスクが存在する。従って、生体検出は顔認識における不可欠な一環である。

これに鑑みて、本願は生体検出技術手段を提供する。

本願の一態様によれば、深度センサにより収集された第１の深度マップと画像センサにより収集された第１の目標画像を取得することと、前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得ることと、前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定することと、を含む生体検出方法を提供する。

可能な一実現形態では、前記深度センサは飛行時間（ＴＯＦ）センサ又は構造光センサである。

可能な一実現形態では、前記画像センサはＲＧＢセンサ又は近赤外線センサである。

可能な一実現形態では、前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得ることは、前記第１の深度マップ中の前記目標対象の対応領域の少なくとも１つの失効位置を決定することと、前記目標対象の対応領域の少なくとも１つの失効位置に基づいて、前記第１の深度マップの品質検出結果を得ることと、を含む。

可能な一実現形態では、前記目標対象の対応領域の少なくとも１つの失効位置に基づいて、前記第１の深度マップの品質検出結果を得ることは、前記目標対象の対応領域の少なくとも１つの失効位置が前記目標対象の対応領域中で占める割合に基づいて、前記第１の深度マップの品質検出結果を得ることを含む。

可能な一実現形態では、前記目標対象の対応領域の少なくとも１つの失効位置に基づいて、前記第１の深度マップの品質検出結果を得ることは、前記目標対象の対応領域の少なくとも１つの失効位置及び前記少なくとも１つの失効位置に対応する重みに基づいて、前記第１の深度マップの品質検出結果を得ることを含む。

可能な一実現形態では、前記第１の深度マップ中の前記目標対象の対応領域の少なくとも１つの失効位置を決定することは、前記目標対象の対応領域中の深度値がゼロとなる位置を前記失効位置として決定することを含む。

可能な一実現形態では、前記方法は、前記第１の目標画像に対してキーポイント検出を行い、前記目標対象のキーポイント情報を得ることと、前記目標対象のキーポイント情報に基づいて、前記第１の深度マップから前記目標対象の対応領域を決定することと、を更に含む。

可能な一実現形態では、前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得ることは、前記第１の深度マップを第１のニューラルネットワークに入力して処理し、前記第１の深度マップに対応する品質信頼度を得ることと、第１の深度マップに対応する品質信頼度に基づいて、前記第１の深度マップの品質検出結果を得ることと、を含む。

可能な一実現形態では、前記の第１の深度マップに対応する品質信頼度に基づいて、前記第１の深度マップの品質検出結果を得ることは、前記第１の深度マップに対応する品質信頼度が第１の閾値より大きいことに応答して、前記第１の深度マップの品質検出結果を品質合格と決定すること、及び／又は前記第１の深度マップに対応する品質信頼度が前記第１の閾値以下であることに応答して、前記第１の深度マップの品質検出結果を品質不合格と決定することを含む。

可能な一実現形態では、前記第１の目標画像に対してキーポイント検出を行うことの前に、前記方法は、前記深度センサのパラメータと前記画像センサのパラメータにより、前記第１の深度マップと前記第１の目標画像をアライメントすることを更に含む。

可能な一実現形態では、前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定することは、前記第１の深度マップの品質検出結果が品質合格であることに応答して、前記第１の深度マップと前記第１の目標画像に基づいて、前記目標対象の生体検出結果を得ることを含む。

可能な一実現形態では、前記第１の深度マップと前記第１の目標画像に基づいて、前記目標対象の生体検出結果を得ることは、前記第１の深度マップ及び前記第１の目標画像に含まれる前記目標対象のキーポイント情報に基づいて、前記目標対象の生体検出結果を得ることを含む。

可能な一実現形態では、前記第１の深度マップ及び前記第１の目標画像に含まれる前記目標対象のキーポイント情報に基づいて、前記目標対象の生体検出結果を得ることは、前記第１の深度マップ及び前記目標対象のキーポイント情報に基づいて、第１の特徴情報を得ることと、前記目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることと、前記第１の特徴情報及び前記第２の特徴情報に基づいて、前記目標対象の生体検出結果を決定することと、を含む。

可能な一実現形態では、前記第１の深度マップ及び前記目標対象のキーポイント情報に基づいて、第１の特徴情報を得ることは、前記第１の深度マップ及び前記目標対象のキーポイント情報を第２のニューラルネットワークに入力して処理し、第１の特徴情報を得ることを含み、前記目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることは、前記第１の目標画像及び前記目標対象のキーポイント情報を第３のニューラルネットワークに入力して処理し、第２の特徴情報を得ることを含む。

可能な一実現形態では、前記第１の深度マップ及び前記目標対象のキーポイント情報に基づいて、第１の特徴情報を得ることは、前記第１の深度マップ及び前記目標対象のキーポイント情報に対して畳み込み処理を行い、第１の畳み込み結果を得ることと、前記第１の畳み込み結果に対してダウンサンプリング処理を行い、第１のダウンサンプリング結果を得ることと、前記第１のダウンサンプリング結果に基づいて、第１の特徴情報を得ることと、を含む。

可能な一実現形態では、前記目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることは、前記第１の目標画像及び前記目標対象のキーポイント情報に対して畳み込み処理を行い、第２の畳み込み結果を得ることと、前記第２の畳み込み結果に対してダウンサンプリング処理を行い、第２のダウンサンプリング結果を得ることと、前記第２のダウンサンプリング結果に基づいて、第２の特徴情報を得ることと、を含む。

可能な一実現形態では、前記第１の特徴情報及び前記第２の特徴情報に基づいて、前記目標対象の生体検出結果を決定することは、前記第１の特徴情報及び前記第２の特徴情報に対して全結合処理を行い、第３の特徴情報を得ることと、前記第３の特徴情報により、前記目標対象の生体検出結果を決定することと、を含む。

可能な一実現形態では、前記第３の特徴情報により、生体検出結果を決定することは、前記第３の特徴情報に基づいて、前記目標対象が生体である確率を得ることと、前記目標対象が生体である確率により、前記目標対象の生体検出結果を決定することと、を含む。

可能な一実現形態では、前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定することは、前記第１の深度マップの品質検出結果が品質不合格であることに応答して、前記第１の深度マップを利用せずに前記目標対象に対して生体検出を行い、前記目標対象の生体検出結果を得ることを含む。

可能な一実現形態では、前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定することは、前記第１の深度マップの品質検出結果が品質不合格であり且つ前記第１の目標画像の所属するビデオシーケンスについての品質検出再試行回数が第２の閾値に達したことに応答して、前記第１の深度マップを利用せずに前記目標対象に対して生体検出を行い、前記目標対象の生体検出結果を得ることを含む。

本願の一態様によれば、深度センサにより収集された第１の深度マップと画像センサにより収集された第１の目標画像を取得するための取得モジュールと、前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得るための品質検出モジュールと、前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定するための第１の決定モジュールと、を含む生体検出装置を提供する。

本願の一態様によれば、プロセッサと、プロセッサ実行可能コマンドを記憶するためのメモリと、を含み、前記プロセッサは上記生体検出方法を実行するように構成される電子機器を提供する。

本願の一態様によれば、コンピュータプログラムコマンドが記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行される時に上記生体検出方法を実現するコンピュータ可読記憶媒体を提供する。

本願の一態様によれば、前記電子機器、前記深度センサ及び前記画像センサを含む生体検出システムを提供する。

本願の一態様によれば、前記コンピュータ可読記憶媒体、前記深度センサ及び前記画像センサを含む生体検出システムを提供する。

本願の一態様によれば、目標対象の第１の深度マップを検出するための深度センサと、前記目標対象を含む第１の目標画像を収集するための画像センサと、前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得、前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定するためのプロセッサと、を含む電子機器を提供する。

可能な一実現形態では、前記深度センサは飛行時間（ＴＯＦ）センサ又は構造光センサである。

可能な一実現形態では、前記画像センサはＲＧＢセンサ又は近赤外線センサである。

可能な一実現形態では、前記プロセッサは、前記第１の深度マップ中の前記目標対象の対応領域の少なくとも１つの失効位置を決定することと、前記目標対象の対応領域の少なくとも１つの失効位置に基づいて、前記第１の深度マップの品質検出結果を得ることとに用いられる。

可能な一実現形態では、前記プロセッサは、前記目標対象の対応領域の少なくとも１つの失効位置が前記目標対象の対応領域中で占める割合に基づいて、前記第１の深度マップの品質検出結果を得るために用いられる。

可能な一実現形態では、前記プロセッサは、前記目標対象の対応領域の少なくとも１つの失効位置及び前記少なくとも１つの失効位置に対応する重みに基づいて、前記第１の深度マップの品質検出結果を得るために用いられる。

可能な一実現形態では、前記プロセッサは、前記目標対象の対応領域中の深度値がゼロとなる位置を前記失効位置として決定するために用いられる。

可能な一実現形態では、前記プロセッサは、更に、前記第１の目標画像に対してキーポイント検出を行い、前記目標対象のキーポイント情報を得ることと、前記目標対象のキーポイント情報に基づいて、前記第１の深度マップから前記目標対象の対応領域を決定することとに用いられる。

可能な一実現形態では、前記プロセッサは、前記第１の深度マップを第１のニューラルネットワークに入力して処理し、前記第１の深度マップに対応する品質信頼度を得ることと、第１の深度マップに対応する品質信頼度に基づいて、前記第１の深度マップの品質検出結果を得ることとに用いられる。

可能な一実現形態では、前記プロセッサは、前記第１の深度マップに対応する品質信頼度が第１の閾値より大きいことに応答して、前記第１の深度マップの品質検出結果を品質合格と決定すること、及び／又は前記第１の深度マップに対応する品質信頼度が前記第１の閾値以下であることに応答して、前記第１の深度マップの品質検出結果を品質不合格と決定するために用いられる。

可能な一実現形態では、前記プロセッサは、更に、前記深度センサのパラメータと前記画像センサのパラメータにより、前記第１の深度マップと前記第１の目標画像をアライメントするために用いられる。

可能な一実現形態では、前記プロセッサは、前記第１の深度マップの品質検出結果が品質合格であることに応答して、前記第１の深度マップと前記第１の目標画像に基づいて、前記目標対象の生体検出結果を得るために用いられる。

可能な一実現形態では、前記プロセッサは、前記第１の深度マップ及び前記第１の目標画像に含まれる前記目標対象のキーポイント情報に基づいて、前記目標対象の生体検出結果を得るために用いられる。

可能な一実現形態では、前記プロセッサは、前記第１の深度マップ及び前記目標対象のキーポイント情報に基づいて、第１の特徴情報を得ることと、前記目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることと、前記第１の特徴情報及び前記第２の特徴情報に基づいて、前記目標対象の生体検出結果を決定することとに用いられる。

可能な一実現形態では、前記プロセッサは、前記第１の深度マップ及び前記目標対象のキーポイント情報を第２のニューラルネットワークに入力して処理し、第１の特徴情報を得るために用いられ、前記目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることは、前記第１の目標画像及び前記目標対象のキーポイント情報を第３のニューラルネットワークに入力して処理し、第２の特徴情報を得ることを含む。

可能な一実現形態では、前記プロセッサは、前記第１の深度マップ及び前記目標対象のキーポイント情報に対して畳み込み処理を行い、第１の畳み込み結果を得ることと、前記第１の畳み込み結果に対してダウンサンプリング処理を行い、第１のダウンサンプリング結果を得ることと、前記第１のダウンサンプリング結果に基づいて、第１の特徴情報を得ることとに用いられる。

可能な一実現形態では、前記プロセッサは、前記第１の目標画像及び前記目標対象のキーポイント情報に対して畳み込み処理を行い、第２の畳み込み結果を得ることと、前記第２の畳み込み結果に対してダウンサンプリング処理を行い、第２のダウンサンプリング結果を得ることと、前記第２のダウンサンプリング結果に基づいて、第２の特徴情報を得ることとに用いられる。

可能な一実現形態では、前記プロセッサは、前記第１の特徴情報及び前記第２の特徴情報に対して全結合処理を行い、第３の特徴情報を得ることと、前記第３の特徴情報により、前記目標対象の生体検出結果を決定することとに用いられる。

可能な一実現形態では、前記プロセッサは、前記第３の特徴情報に基づいて、前記目標対象が生体である確率を得ることと、前記目標対象が生体である確率により、前記目標対象の生体検出結果を決定することとに用いられる。

可能な一実現形態では、前記プロセッサは、前記第１の深度マップの品質検出結果が品質不合格であることに応答して、前記第１の深度マップを利用せずに前記目標対象に対して生体検出を行い、前記目標対象の生体検出結果を得るために用いられる。

可能な一実現形態では、前記プロセッサは、前記第１の深度マップの品質検出結果が品質不合格であり且つ前記第１の目標画像の所属するビデオシーケンスについての品質検出再試行回数が第２の閾値に達したことに応答して、前記目標対象の生体検出結果が非生体であると決定し、又は前記第１の深度マップを利用せずに前記目標対象に対して生体検出を行い、前記目標対象の生体検出結果を得るために用いられる。

本願の生体検出方法は、深度センサにより収集された第１の深度マップと画像センサにより収集された第１の目標画像を取得し、第１の深度マップに対して品質検出を行い、第１の深度マップの品質検出結果を得、第１の深度マップの品質検出結果に基づいて第１の目標画像中の目標対象の生体検出結果を決定することにより、生体検出の正確性を高めることができる。

以下の図面と関連付けられた例示的な実施例に対する詳細な説明によれば、本開示の他の特徴および態様は明確になる。

以下、明細書に含まれ且つ明細書の一部を構成する図面は明細書と共に本願の例示的な実施例、特徴及び態様を示し、更に本願の原理を解釈するために用いられる。
本願の実施例に係る生体検出方法のフローチャートを示す。 本願の実施例に係る生体検出方法中で第１の深度マップに対して品質検出を行う例示的なフローチャートを示す。 本願の実施例に係る生体検出方法中で第１の深度マップに対して品質検出を行う別の例示的なフローチャートを示す。 本願の実施例に係る生体検出方法中で第１の深度マップ及び第１の目標画像に基づいて目標対象の生体検出結果を得る例示的なフローチャートを示す。 本願の実施例に係る生体検出方法中で第１の深度マップ及び目標対象のキーポイント情報に基づいて第１の特徴情報を得る例示的なフローチャートを示す。 本願の実施例に係る生体検出方法中で目標対象のキーポイント情報に基づいて第２の特徴情報を得る例示的なフローチャートを示す。 本願の実施例に係る生体検出方法中で第１の特徴情報及び第２の特徴情報に基づいて目標対象の生体検出結果を決定する例示的なフローチャートを示す。 本願の実施例に係る生体検出方法中で第３の特徴情報により目標対象の生体検出結果を決定する例示的なフローチャートを示す。 本願の実施例に係る生体検出装置のブロック図を示す。 本願の実施例に係る生体検出装置の例示的なブロック図を示す。 本願の実施例に係る電子機器の例示的なブロック図を示す。 本願の実施例に係る電子機器の別の例示的なブロック図を示す。

以下に図面を参照しながら本開示の様々な例示的実施例、特徴および態様を詳細に説明する。図面における同じ符号は同じまたは類似する機能の要素を表す。図面において実施例の様々な態様を示したが、特に断らない限り、比例に従って図面を作る必要がない。

ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明したいかなる実施例も他の実施例より優れたものと理解すべきではない。

また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的詳細を示す。当業者であれば、何らかの具体的詳細がなくなるにも関わらず、本開示は同様に実施できるということを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するよう、当業者に既知の方法、手段、要素および回路に対する詳細な説明を省略する。

図１は本願の実施例に係る生体検出方法のフローチャートを示す。該方法は携帯電話、タブレット型コンピュータ、ディジタルカメラ又は出入管理装置などの顔認識機能を有する端末装置に用いることができる。該方法は、オンラインアカウント登録、出入管理システム、顔によるロック解除、顔による支払、運転支援、無人スーパー、ビデオ監視、ＡＴＭ（Ａｕｔｏｍａｔｉｃ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ、現金自動預入支払機）、駅改札機、空港改札機又はインテリジェントビルなどに用いることができる。いくつかの可能な実現形態では、該生体検出方法はプロセッサによりメモリに記憶されたコンピュータ可読コマンドを呼び出すことで実現することができる。

図１に示すように、該方法はステップＳ１１～ステップＳ１３を含む。

ステップＳ１１において、深度センサにより収集された第１の深度マップと画像センサにより収集された第１の目標画像を取得する。

本願の実施例では、目標画像は目標対象を含み、ここで、目標画像は静止画像又はビデオフレーム画像であってよく、例えば、目標画像はビデオシーケンスから選択された画像であってよく、様々な方式によりビデオシーケンスから画像を選択可能であり、具体的な一例において、目標画像はビデオシーケンスから選択された所定の品質条件を満たした画像であり、該所定の品質条件は、目標対象を含むか否か、目標対象が画像の中心領域に位置するか否か、目標対象が完全に画像に含まれるか否か、目標対象が画像中で占める割合、目標対象の状態又は姿勢、画像鮮鋭度、画像露光度などの一項又はそれらの任意の組合せを含んでよく、本願の実施例はこれについて制限を加えない。

目標対象は人物の顔、人体、動物又は他の生体対象の少なくとも一部であってよく、本願の実施例はこれについて制限を加えない。可能な一実現形態では、目標対象は人物の顔である。

第１の深度マップと第１の目標画像とが対応し、例えば、第１の深度マップと第１の目標画像はそれぞれ深度センサと画像センサにより同一なシーンについて収集されたものであり、又は、第１の深度マップと第１の目標画像は深度センサと画像センサにより同一な時刻に同一な目標領域について収集されたものであるが、本願の実施例はこれについて制限を加えない。

本願の実施例では、深度センサは深度情報を収集するために用いられ、画像センサは２次元画像を収集するために用いられる。

いくつかの実施例では、深度センサは３次元センサである。例えば、深度センサはＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ、飛行時間）センサ又は構造光センサであってよい。ここで、構造光センサは符号化構造光センサ又はスペックル構造光センサであってよい。３次元センサにより目標対象の深度マップを取得することで、高精度の深度マップを得ることができる。本願の実施例は目標対象を含む深度マップを用いて生体検出を行って、目標対象の深度情報を十分に掘りおこして、生体検出の正確性を高めることができる。例えば、目標対象が顔である時に、本願の実施例は顔を含む深度マップを用いて生体検出を行って、顔データの深度情報を十分に掘りおこして、生体顔検出の正確性を高めることができる。

いくつかの実施例では、画像センサはＲＧＢ（Ｒｅｄ赤、Ｇｒｅｅｎ緑、Ｂｌｕｅ青）センサ又は近赤外線センサである。画像センサがＲＧＢセンサであれば、画像センサに収集された目標画像がＲＧＢ画像である。画像センサが近赤外線センサであれば、画像センサに収集された目標画像が近赤外線画像である。ここで、近赤外線画像はスポットが付いた近赤外線画像であってもよく、スポットが付いていない近赤外線画像であってもよい。

ＴＯＦセンサ及び構造光センサを例として深度センサを説明し、ＲＧＢセンサ及び近赤外線センサを例として画像センサを説明したが、当業者であれば、本願の実施例がこれに限定されるものではないのを理解できることを説明する必要がある。当業者が実際の使用要求に応じて深度センサ及び画像センサの種類を選択でき、それぞれ深度マップと画像の収集を実現できればよい。

ステップＳ１２において、第１の深度マップに対して品質検出を行い、第１の深度マップの品質検出結果を得る。

ここで、いくつかの実現形態では、第１の深度マップの品質検出結果は品質合格又は品質不合格である。

ある特定のシーン（例えば、室外強光シーン）では、深度センサ（例えば、ＴＯＦセンサ又は構造光センサ）は深度マップが大面積で失効し又は完全に失効する状況が発生しやすい。なお、正常な光照射下で、眼鏡の光反射、黒い髪の毛又は黒い眼鏡枠などの要因によりも深度マップの局所的な失効をランダムに引き起こすことがある。ある特別な紙のため、プリントされた顔写真に類似的な深度マップの大面積失効又は局所的な失効の効果が発生する。なお、深度センサの能動光源を遮蔽することにより深度マップの失効を引き起こしたが、非生体の画像センサでの結像が正常であることもある。従って、目標対象の深度マップが失効した場合に、生体と非生体を区別するために目標対象の深度マップが不十分であり、更に逆効果になることがある。従って、本願の実施例では、第１の深度マップに対して品質検出を行い、品質検出結果が不合格である場合に適宜な処理を行うことにより、第１の深度マップが生体検出中で逆効果になることを回避する。

ステップＳ１３において、第１の深度マップの品質検出結果に基づいて、第１の目標画像中の目標対象の生体検出結果を決定する。

ここで、いくつかの実現形態では、目標対象の生体検出結果としは目標対象が生体であってよく又は目標対象が非生体であってよい。

いくつかの実施例では、第１の深度マップの品質検出結果に基づいて、第１の目標画像中の目標対象の生体検出結果を決定することは、第１の深度マップの品質検出結果が品質合格であることに応答して、第１の深度マップ及び第１の目標画像に基づいて、目標対象の生体検出結果を得ることを含む。

いくつかの実施例では、第１の深度マップ及び第１の目標画像に基づいて、目標対象の生体検出結果を得ることは、第１の深度マップ及び第１の目標画像に含まれる目標対象のキーポイント情報に基づいて、目標対象の生体検出結果を得ることを含む。具体的な一例において、第１の目標画像に含まれる目標対象のキーポイント情報を取得し、第１の深度マップ及び第１の目標画像に含まれる目標対象のキーポイント情報に基づいて、目標対象の生体検出結果を得てよい。

該実現形態では、第１の深度マップの品質検出結果が品質合格であれば、第１の深度マップ及び第１の目標画像に含まれる目標対象のキーポイント情報を基礎として生体検出を行う。生体検出中に深度マップを増加することにより、高精細無痕跡画像類の攻撃（単眼生体検出技術がこのような攻撃に撃破されやすい）を効果的に防御して、生体検出の正確性を高めることができる。

別のいくつかの実施例では、第１の深度マップの品質検出結果に基づいて、第１の目標画像中の目標対象の生体検出結果を決定することは、第１の深度マップの品質検出結果が品質不合格であることに応答して、目標対象の生体検出結果が非生体であると決定することを含む。例えば、ある適用シーンに室外強光シーンを考慮しなくてもよい時に、又は深度マップの品質の不合格確率が所定の確率より大幅に低い時に、第１の深度マップの品質検出結果が品質不合格であれば、直接目標対象の生体検出結果として目標対象が非生体であると決定してよい。ここで、所定の確率は予め設定された、生体を非生体と誤判定する最大確率を表す。

別のいくつかの実施例では、第１の深度マップの品質検出結果に基づいて、第１の目標画像中の目標対象の生体検出結果を決定することは、第１の深度マップの品質検出結果が品質不合格であることに応答して、第１の深度マップを利用せずに目標対象に対して生体検出を行い、目標対象の生体検出結果を得、つまり、第１の目標画像の処理結果に基づいて目標対象の生体検出結果を得ることを含む。該実現形態では、第１の深度マップの品質検出結果が品質不合格であれば、単眼生体検出技術に基づいて目標対象の生体検出結果を得てよい。本願の実施例では目標画像の処理結果に基づいて目標対象の生体検出結果を得る実現形態について制限を加えない。例えば、ある適用シーンに室外強光シーンを考慮する必要がある時に、室外強光下で、深度マップは品質が不合格である確率が高い。このような場合に、単眼生体検出技術により生体検出を行って、生体を非生体と誤判定するのをできるだけ回避することができる。

別のいくつかの実施例では、第１の目標画像はビデオフレーム画像、例えばビデオシーケンスから選択された画像であってよく、この時に、ビデオシーケンスから選択されたある画像に対応する深度マップに対して品質検出を行ってよく、品質検出結果が品質不合格であれば、再試行回数が最大再試行回数に達し又は品質に合格した深度マップが検出され又はある品質に合格した深度マップに基づいて目標対象の生体検出結果が生体であると決定されるまで、ビデオシーケンスから選択された他の画像に対応する深度マップに対して品質検出を行い、且つ再試行回数に１をプラスしてよく、本願の実施例はこれについて制限を加えない。

具体的な一例において、第１の深度マップの品質検出結果に基づいて、第１の目標画像中の目標対象の生体検出結果を決定することは、第１の深度マップの品質検出結果が品質不合格であり且つ第１の目標画像の所属するビデオシーケンスについての品質検出再試行回数が第２の閾値に達したことに応答して、目標対象の生体検出結果が非生体であると決定し、又は第１の深度マップを利用せずに目標対象に対して生体検出を行い、目標対象の生体検出結果を得ることを含む。該実現形態では、第１の深度マップの品質検出結果が品質不合格であり且つ第１の目標画像の所属するビデオシーケンスについての品質検出再試行回数が第２の閾値に達した場合に、直接目標対象の生体検出結果が非生体であると決定し、又は単眼生体検出技術に基づいて目標対象の生体検出結果を得てよい。

別のいくつかの実施例では、第１の深度マップの品質検出結果に基づいて、第１の目標画像中の目標対象の生体検出結果を決定することは、第１の深度マップの品質検出結果が品質不合格であり且つ第１の目標画像の所属するビデオシーケンスについての品質検出再試行回数が第２の閾値に達していないことに応答して、目標画像の所属するビデオシーケンス中の第２の目標画像に対応する第２の深度マップに対して品質検出を行い、第２の深度マップの品質検出結果を得ることと、第２の深度マップの品質検出結果に基づいて、目標対象の生体検出結果を得ることと、を含む。具体的な一例において、第２の深度マップの品質検出結果が品質合格であれば、第２の深度マップ及び第２の目標画像に基づいて目標対象の生体検出結果を得てよい。別の具体的な一例では、第２の深度マップの品質検出結果が品質不合格であれば、現在の品質検出再試行回数が第２の閾値に達したか否かを決定してよく、第２の閾値に達した場合に、目標対象が生体ではないと決定し又は第２の目標画像の処理結果に基づいて目標対象の生体検出結果を決定し、本願の実施例ではこれについて制限を加えない。

本願の実施例では、深度センサにより収集された第１の深度マップと画像センサにより収集された第１の目標画像を取得し、第１の深度マップに対して品質検出を行い、第１の深度マップの品質検出結果を得、第１の深度マップの品質検出結果に基づいて第１の目標画像中の目標対象の生体検出結果を決定することにより、生体検出の正確性を高めることができる。

図２は本願の実施例に係る生体検出方法におけるステップＳ１２の例示的なフローチャートを示す。図２に示すように、ステップＳ１２はステップＳ１２１～ステップＳ１２２を含んでよい。

ステップＳ１２１において、第１の深度マップ中の目標対象の対応領域の少なくとも１つの失効位置を決定する。

いくつかの実施例では、第１の深度マップ中の少なくとも１つの画素点のうちのそれぞれの画素点の深度値、又は目標対象の対応領域に含まれる少なくとも１つの画素点のうちのそれぞれの画素点の深度値に基づいて、目標対象の対応領域の失効位置を決定してよい。

具体的な一例において、深度センサは失効位置の深度値を０にデフォルト設定し、この時に、目標対象の対応領域中の深度値がゼロとなる位置を失効位置として決定してよい。

別の具体的な一例では、深度センサは失効位置の深度値を１つ又は複数の所定の数値又は所定の範囲に設定し、そのように目標対象の対応領域中の深度値が所定の数値となり又は所定の範囲に属する位置を失効位置として決定してよい。

本願の実施例は他の統計方式に基づいて目標対象の対応領域中の失効位置を決定してもよく、本願の実施例はこれについて制限を加えない。

ステップにＳ１２２おいて、目標対象の対応領域の少なくとも１つの失効位置に基づいて、第１の深度マップの品質検出結果を得る。

いくつかの実施例では、目標対象の対応領域の少なくとも１つの失効位置に基づいて、第１の深度マップの品質検出結果を得ることは、目標対象の対応領域の少なくとも１つの失効位置が目標対象の対応領域で占める割合に基づいて、第１の深度マップの品質検出結果を得ることを含む。

選択可能に、失効位置又は失効画素点の数量が目標対象の対応領域に含まれる位置の総数又は画素点の総数で占める割合に基づいて、第１の深度マップ又は目標対象の対応領域の品質検出結果を得てよい。

一例として、第１の深度マップ中の目標対象の対応領域の少なくとも１つの失効位置に含まれる画素点数量を決定し、第１の深度マップ中の目標対象の対応領域に含まれる画素点総数を決定し、この少なくとも１つの失効位置に含まれる画素点の数量と目標対象の対応領域に含まれる画素点の総数との割合を計算し、且つ該割合を目標対象の対応領域の少なくとも１つの失効位置が目標対象の対応領域で占める割合としてよい。

一例として、得られた上記割合を所定の数値（例えば、第３の閾値）と比較して第１の深度マップの品質検出結果を決定してよい。例えば、目標対象の対応領域の少なくとも１つの失効位置が目標対象の対応領域で占める割合が第３の閾値以下である場合に、第１の深度マップの品質検出結果が品質合格であると決定する。更に例えば、目標対象の対応領域の少なくとも１つの失効位置が目標対象の対応領域で占める割合が第３の閾値より大きい場合に、第１の深度マップの品質検出結果が品質不合格であると決定する。

該実現形態では、目標対象の対応領域の少なくとも１つの失効位置が目標対象の対応領域で占める割合が第３の閾値より大きい時に、生体と非生体を区別するために残りの深度マップが不十分であり、この時に第１の深度マップの品質検出結果が品質不合格であると決定してよい。

該実現形態は第１の深度マップ中の目標対象の対応領域の少なくとも１つの失効位置が目標対象の対応領域で占める割合に基づいて、第１の深度マップの品質検出結果を得、それにより統計量の方法を用いて第１の深度マップに対して品質判断を行い、直感的で簡単である。

本願の実施例では、目標対象の対応領域の少なくとも１つの失効位置が目標対象の対応領域で占める割合と第３の閾値の差が大きい（例えば、目標対象の対応領域の少なくとも１つの失効位置が目標対象の対応領域で占める割合が第３の閾値より大幅に大きく、又は目標対象の対応領域の少なくとも１つの失効位置が目標対象の対応領域で占める割合が第３の閾値より大幅に小さい）時に、目標対象の対応領域の少なくとも１つの失効位置が目標対象の対応領域で占める割合を第３の閾値と比較することで、精確な品質検出結果を得ることができる。

上記実現形態では、目標対象の対応領域中のそれぞれの位置が同等なものと見なされる。別のいくつかの実施例では、目標対象の対応領域中の異なる位置に異なる重みを割り当て、目標対象の対応領域中の失効位置及び失効位置の重みに基づいて、深度マップの品質検出結果を決定してよい。この時に、目標対象の対応領域の少なくとも１つの失効位置に基づいて、第１の深度マップの品質検出結果を得ることは、目標対象の対応領域の少なくとも１つの失効位置及び少なくとも１つの失効位置に対応する重みに基づいて、第１の深度マップの品質検出結果を得ることを含む。

例えば、深度失効画素点の数量が同様である場合に、顔部縁部又は頬などの非要部に存在すれば、生体検出への影響が大きくなく、目、鼻などの要部に存在すれば、生体検出に大きい干渉を与える。従って、異なる位置の深度失効画素が深度マップの品質に与える影響の程度が異なる、従って、異なる位置に異なる重みを付け、目標対象の対応領域の少なくとも１つの失効位置及び少なくとも１つの失効位置に対応する重みに基づいて、第１の深度マップの品質検出結果を得ることにより、より精確な品質検出結果を得ることができる。

一例として、目標対象の対応領域の少なくとも１つの失効位置及び少なくとも１つの失効位置に対応する重みに基づいて、第１の深度マップの品質検出結果を得ることは、目標対象の対応領域の少なくとも１つの失効位置及び少なくとも１つの失効位置に対応する重みに基づいて、第１の深度マップに対応する品質信頼度を得ることと、第１の深度マップに対応する品質信頼度に基づいて、第１の深度マップの品質検出結果を得ることと、を含む。

本願の実施例では、品質信頼度は様々な方式により決定できる。例えば、少なくとも１つの失効位置をニューラルネットワークに入力して処理し、深度マップに対応する品質信頼度を得てよく、この時に、失効位置に対応する重みはニューラルネットワークのトレーニングにより得られる。又は、該重みは予め設定されてよく、この時に、少なくとも１つの失効位置及びそれに対応する重みをニューラルネットワークに入力して処理し、深度マップに対応する品質信頼度を得てよく、本願の実施例はこれについて制限を加えない。

選択可能に、品質信頼度と所定の数値を比較することにより、第１の深度マップの品質検出結果を決定してよく、例えば、品質信頼度が第４の閾値以上である場合に、第１の深度マップ品質が合格であると決定し、本願の実施例はこれについて制限を加えない。

本願の実施例では、例えば、目、鼻などの要部に高い重みを付け、他の非要部に低い重みを付け、異なる位置の重み及び失効画素数に基づいて、第１の深度マップの品質信頼度を得てよい。ここで、要部の重みが非要部の重みより大きいが、異なる位置の重みは実際の状況に応じて割り当てよく、本願の実施例はこれについて制限を加えない。

図３は本願の実施例に係る生体検出方法におけるステップＳ１２の別の例示的なフローチャートを示す。図３に示すように、ステップＳ１２はステップＳ１２３～ステップＳ１２４を含んでよい。

ステップＳ１２３において、第１の深度マップを第１のニューラルネットワークに入力して処理し、第１の深度マップに対応する品質信頼度を得る。

この例では、第１の深度マップがニューラルネットワークに入力され、又は、第１の深度マップ中の目標対象の対応領域をニューラルネットワークに入力してもよく、本願の実施例はこれについて制限を加えない。

いくつかの実施例では、第１のニューラルネットワークは第１の深度マップ又は目標対象の対応領域を処理し、目標対象の対応領域中の少なくとも１つの失効位置を得てよい。次に、ニューラルネットワーク又は他の方式により、この少なくとも１つの失効位置に基づいて、深度マップの品質検出結果を決定してよい。

一例において、第１のニューラルネットワークは目標対象の対応領域の異なる失効位置に異なる重みを付けることができる。

いくつかの実施例では、深度マップのトレーニングデータを手動で合格深度マップ及び不合格深度マップに分け、更に合格深度マップ及び不合格深度マップという２種類の画像を用いて第１のニューラルネットワークをトレーニングしてよい。

ステップＳ１２４において、第１の深度マップに対応する品質信頼度に基づいて、第１の深度マップの品質検出結果を得る。

いくつかの実施例では、第１の深度マップに対応する品質信頼度に基づいて、第１の深度マップの品質検出結果を得ることは、第１の深度マップに対応する品質信頼度が第１の閾値より大きいことに応答して、第１の深度マップの品質検出結果が品質合格であると決定すること、及び／又は第１の深度マップに対応する品質信頼度が第１の閾値が以下であることに応答して、第１の深度マップの品質検出結果が品質不合格であると決定することを含む。

本願の実施例では、第１の深度マップから目標対象の対応領域を決定してよい。いくつかの実施例では、該方法は、第１の目標画像に対してキーポイント検出を行い、目標対象のキーポイント情報を得ることと、目標対象のキーポイント情報に基づいて、第１の深度マップから目標対象の対応領域を決定することと、を更に含む。

ここで、目標対象のキーポイント情報は目標対象のキーポイントの位置情報を含んでよい。

本願の実施例では、目標対象が顔であれば、目標対象のキーポイントは目キーポイント、眉キーポイント、鼻キーポイント、口キーポイント及び顔輪郭キーポイントなどの１つまたは複数を含んでよい。ここで、目キーポイントは目輪郭キーポイント、眼角キーポイント及び瞳キーポイントなどの１つまたは複数を含んでよい。

いくつかの実施例では、目標対象のキーポイント情報に基づいて、第１の深度マップから目標対象の対応領域を決定することは、目標対象の輪郭キーポイントに基づいて、第１の深度マップから目標対象の対応領域を決定することを含む。例えば、目標対象が顔であれば、顔輪郭キーポイントにより、第１の深度マップから顔対応領域を決定してよい。

選択可能に、目標対象のキーポイント情報に基づいて、目標対象の輪郭を決定し、且つ目標対象の輪郭の所在する領域を目標対象の対応領域として決定し、又は目標対象の輪郭の所在する領域を所定の倍数拡大した後得られた領域を目標対象の対応領域として決定してよく、例えば、目標対象のキーポイント情報に基づいて決定された楕円形領域を目標対象の対応領域として決定してよく、又は該楕円形領域の最小外接矩形領域を目標対象の対応領域として決定してよく、本願の実施例はこれについて制限を加えない。

いくつかの実施例では、第１の目標画像に対してキーポイント検出を行うことの前に、該方法は、深度センサのパラメータ及び画像センサのパラメータにより、第１の深度マップと第１の目標画像をアライメントすることを更に含む。

一例として、第１の深度マップに対して変換処理を行って、変換処理後の第１の深度マップと第１の目標画像をアライメントしてよい。例えば、深度センサのパラメータ行列及び画像センサのパラメータ行列により、深度センサのパラメータ行列から画像センサのパラメータ行列への変換行列を決定し、該変換行列により、第１の深度マップを変換してよい。

別の例として、第１の目標画像に対して変換処理を行って、変換処理後の第１の目標画像と第１の深度マップをアライメントしてよい。例えば、深度センサのパラメータ行列及び画像センサのパラメータ行列により、画像センサのパラメータ行列から深度センサへのパラメータ行列の変換行列を決定し、該変換行列により、第１の目標画像を変換してよい。

本願の実施例では、深度センサのパラメータは深度センサの内パラメータ及び／又は外パラメータを含んでよく、画像センサのパラメータは画像センサの内パラメータ及び／又は外パラメータを含んでよい。

本願の実施例では、第１の深度マップと第１の目標画像をアライメントすることにより、第１の深度マップと第１の目標画像中の対応部分の２つの画像での位置を同様にすることができる。

図４は本願の実施例に係る生体検出方法におけるステップＳ１３の例示的なフローチャートを示す。図４に示すように、ステップＳ１３はステップＳ１３１～ステップＳ１３３を含んでよい。

ステップＳ１３１において、第１の深度マップ及び目標対象のキーポイント情報に基づいて、第１の特徴情報を得る。

いくつかの実施例では、第１の深度マップ及び目標対象のキーポイント情報に基づいて、第１の特徴情報を得ることは、第１の深度マップ及び目標対象のキーポイント情報を第２のニューラルネットワークに入力して処理し、第１の特徴情報を得ることを含む。

一例として、第２のニューラルネットワークは畳み込み層、ダウンサンプリング層及び全結合層を含んでよい。

例えば、第２のニューラルネットワークは一段畳み込み層、一段ダウンサンプリング層及び一段全結合層を含んでよい。ここで、該一段の畳み込み層は１つ又は複数の畳み込み層を含んでよく、該一段のダウンサンプリング層は１つ又は複数のダウンサンプリング層を含んでよく、該一段の全結合層は１つ又は複数の全結合層を含んでよい。

また、例えば、第２のニューラルネットワークは多段畳み込み層、多段ダウンサンプリング層及び一段全結合層を含んでよい。ここで、各段の畳み込み層は１つ又は複数の畳み込み層を含んでよく、各段のダウンサンプリング層は１つ又は複数のダウンサンプリング層を含んでよく、該一段の全結合層は１つ又は複数の全結合層を含んでよい。ここで、ｉ段目の畳み込み層の後にｉ段目のダウンサンプリング層がカスケードされ、ｉ段目のダウンサンプリング層の後にｉ＋１段目の畳み込み層がカスケードされ、ｎ段目のダウンサンプリング層の後に全結合層がカスケードされ、ただし、ｉ及びｎはいずれも正整数であり、１≦ｉ≦ｎ、ｎは第２のニューラルネットワーク中の畳み込み層及びダウンサンプリング層の段数を表す。

別の例として、第２のニューラルネットワークは畳み込み層、ダウンサンプリング層、正規化層及び全結合層を含んでよい。

例えば、第２のニューラルネットワークは一段畳み込み層、１つの正規化層、一段ダウンサンプリング層及び一段全結合層を含んでよい。ここで、該一段の畳み込み層は１つ又は複数の畳み込み層を含んでよく、該一段のダウンサンプリング層は１つ又は複数のダウンサンプリング層を含んでよく、該一段の全結合層は１つ又は複数の全結合層を含んでよい。

また、例えば、第２のニューラルネットワークは多段畳み込み層、複数の正規化層及び多段ダウンサンプリング層及び一段全結合層を含んでよい。ここで、各段の畳み込み層は１つ又は複数の畳み込み層を含んでよく、各段のダウンサンプリング層は１つ又は複数のダウンサンプリング層を含んでよく、該一段の全結合層は１つ又は複数の全結合層を含んでよい。ここで、ｉ段目の畳み込み層の後にｉ番目の正規化層がカスケードされ、ｉ番目の正規化層の後にｉ段目のダウンサンプリング層がカスケードされ、ｉ段目のダウンサンプリング層の後にｉ＋１段目の畳み込み層がカスケードされ、ｎ段目のダウンサンプリング層の後に全結合層がカスケードされ、ただし、ｉ及びｎはいずれも正整数であり、１≦ｉ≦ｎ、ｎは第２のニューラルネットワーク中の畳み込み層、ダウンサンプリング層の段数及び正規化層の個数を表す。

ステップＳ１３２において、目標対象のキーポイント情報に基づいて、第２の特徴情報を得る。

いくつかの実施例では、目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることは、第１の目標画像及び目標対象のキーポイント情報を第３のニューラルネットワークに入力して処理し、第２の特徴情報を得ることを含む。

一例として、第３のニューラルネットワークは畳み込み層、ダウンサンプリング層及び全結合層を含んでよい。

例えば、第３のニューラルネットワークは一段畳み込み層、一段ダウンサンプリング層及び一段全結合層を含んでよい。ここで、該一段の畳み込み層は１つ又は複数の畳み込み層を含んでよく、該一段のダウンサンプリング層は１つ又は複数のダウンサンプリング層を含んでよく、該一段の全結合層は１つ又は複数の全結合層を含んでよい。

また、例えば、第３のニューラルネットワークは多段畳み込み層、多段ダウンサンプリング層及び一段全結合層を含んでよい。ここで、各段の畳み込み層は１つ又は複数の畳み込み層を含んでよく、各段のダウンサンプリング層は１つ又は複数のダウンサンプリング層を含んでよく、該一段の全結合層は１つ又は複数の全結合層を含んでよい。ここで、ｊ段目の畳み込み層の後にｊ段目のダウンサンプリング層がカスケードされ、ｊ段目のダウンサンプリング層の後にｊ＋１段目の畳み込み層がカスケードされ、ｍ段目のダウンサンプリング層の後に全結合層がカスケードされ、ただし、ｊ及びｍはいずれも正整数であり、１≦ｊ≦ｍ、ｍは第３のニューラルネットワーク中の畳み込み層及びダウンサンプリング層の段数を表す。

別の例として、第３のニューラルネットワークは畳み込み層、ダウンサンプリング層、正規化層及び全結合層を含んでよい。

例えば、第３のニューラルネットワークは一段畳み込み層、１つの正規化層、一段ダウンサンプリング層及び一段全結合層を含んでよい。ここで、該一段の畳み込み層は１つ又は複数の畳み込み層を含んでよく、該一段のダウンサンプリング層は１つ又は複数のダウンサンプリング層を含んでよく、該一段の全結合層は１つ又は複数の全結合層を含んでよい。

また、例えば、第３のニューラルネットワークは多段畳み込み層、複数の正規化層、多段ダウンサンプリング層及び一段全結合層を含んでよい。ここで、各段の畳み込み層は１つ又は複数の畳み込み層を含んでよく、各段のダウンサンプリング層は１つ又は複数のダウンサンプリング層を含んでよく、該一段の全結合層は１つ又は複数の全結合層を含んでよい。ここで、ｊ段目の畳み込み層の後にｊ番目の正規化層がカスケードされ、ｊ番目の正規化層の後にｊ段目のダウンサンプリング層がカスケードされ、ｊ段目のダウンサンプリング層の後にｊ＋１段目の畳み込み層がカスケードされ、ｍ段目のダウンサンプリング層の後に全結合層がカスケードされ、ただし、ｊ及びｍはいずれも正整数であり、１≦ｊ≦ｍ、ｍは第３のニューラルネットワーク中の畳み込み層、ダウンサンプリング層の段数及び正規化層の個数を表す。

いくつかの実施例では、第２のニューラルネットワークと第３のニューラルネットワークは同一なネットワーク構成を有する。

ステップＳ１３３において、第１の特徴情報及び第２の特徴情報に基づいて、目標対象の生体検出結果を決定する。

本願の実施例はステップＳ１３１及びステップＳ１３２の実行順序の先後を限定せず、ステップＳ１３１及びステップＳ１３２をステップＳ１３３の前に実行すればよいことを説明する必要がある。例えば、ステップＳ１３１を実行してからステップＳ１３２を実行してもよく、又は、ステップＳ１３２を実行してからステップＳ１３１を実行してもよく、又は、ステップＳ１３１とステップＳ１３２を同時に実行してもよい。

図５は本願の実施例に係る生体検出方法中で第１の深度マップ及び目標対象のキーポイント情報に基づいて第１の特徴情報を得る例示的なフローチャートを示す。図５に示すように、第１の深度マップ及び目標対象のキーポイント情報に基づいて、第１の特徴情報を得ることは、ステップＳ１３１１～ステップＳ１３１３を含んでよい。

ステップＳ１３１１において、第１の深度マップ及び目標対象のキーポイント情報に対して畳み込み処理を行い、第１の畳み込み結果を得る。

ステップＳ１３１２において、第１の畳み込み結果に対してダウンサンプリング処理を行い、第１のダウンサンプリング結果を得る。

いくつかの実施例では、一段畳み込み層及び一段ダウンサンプリング層により第１の深度マップ及び目標対象のキーポイント情報に対して畳み込み処理及びダウンサンプリング処理を行ってよい。ここで、該一段の畳み込み層は１つ又は複数の畳み込み層を含んでよく、該一段のダウンサンプリング層は１つ又は複数のダウンサンプリング層を含んでよい。

別のいくつかの実施例では、多段畳み込み層及び多段ダウンサンプリング層により第１の深度マップ及び目標対象のキーポイント情報に対して畳み込み処理及びダウンサンプリング処理を行ってよい。ここで、各段の畳み込み層は１つ又は複数の畳み込み層を含んでよく、各段のダウンサンプリング層は１つ又は複数のダウンサンプリング層を含んでよい。

いくつかの実施例では、第１の畳み込み結果に対してダウンサンプリング処理を行い、第１のダウンサンプリング結果を得ることは、第１の畳み込み結果に対して正規化処理を行い、第１の正規化結果を得ることと、第１の正規化結果に対してダウンサンプリング処理を行い、第１のダウンサンプリング結果を得ることと、を含んでよい。

ステップＳ１３１３において、第１のダウンサンプリング結果に基づいて、第１の特徴情報を得る。

いくつかの実施例では、第１のダウンサンプリング結果を全結合層に入力し、全結合層により第１のダウンサンプリング結果に対して全結合処理を行い、第１の特徴情報を得てよい。

図６は本願の実施例に係る生体検出方法中で目標対象のキーポイント情報に基づいて第２の特徴情報を得る例示的なフローチャートを示す。図６に示すように、目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることは、ステップＳ１３２１～ステップＳ１３２３を含んでよい。

ステップＳ１３２１において、第１の目標画像及び目標対象のキーポイント情報に対して畳み込み処理を行い、第２の畳み込み結果を得る。

ステップＳ１３２２において、第２の畳み込み結果に対してダウンサンプリング処理を行い、第２のダウンサンプリング結果を得る。

いくつかの実施例では、一段畳み込み層及び一段ダウンサンプリング層により第１の目標画像及び目標対象のキーポイント情報に対して畳み込み処理及びダウンサンプリング処理を行ってよい。ここで、該一段の畳み込み層は１つ又は複数の畳み込み層を含んでよく、該一段のダウンサンプリング層は１つ又は複数のダウンサンプリング層を含んでよい。

別のいくつかの実施例では、多段畳み込み層及び多段ダウンサンプリング層により第１の目標画像及び目標対象のキーポイント情報に対して畳み込み処理及びダウンサンプリング処理を行ってよい。ここで、各段の畳み込み層は１つ又は複数の畳み込み層を含んでよく、各段のダウンサンプリング層は１つ又は複数のダウンサンプリング層を含んでよく。

いくつかの実施例では、第２の畳み込み結果に対してダウンサンプリング処理を行い、第２のダウンサンプリング結果を得ることは、第２の畳み込み結果に対して正規化処理を行い、第２の正規化結果を得ることと、第２の正規化結果に対してダウンサンプリング処理を行い、第２のダウンサンプリング結果を得ることと、を含んでよい。

ステップＳ１３２３において、第２のダウンサンプリング結果に基づいて、第２の特徴情報を得る。

いくつかの実施例では、第２のダウンサンプリング結果を全結合層に入力し、全結合層により第２のダウンサンプリング結果に対して全結合処理を行い、第２の特徴情報を得てよい。

図７は本願の実施例に係る生体検出方法中で第１の特徴情報及び第２の特徴情報に基づいて目標対象の生体検出結果を決定する例示的なフローチャートを示す。図７に示すように、第１の特徴情報及び第２の特徴情報に基づいて、目標対象の生体検出結果を決定することは、ステップＳ１３３１及びステップＳ１３３２を含んでよい。

ステップＳ１３３１において、第１の特徴情報及び第２の特徴情報に対して全結合処理を行い、第３の特徴情報を得る。

いくつかの実施例では、全結合層により第１の特徴情報及び第２の特徴情報に対して全結合処理を行い、第３の特徴情報を得てよい。

ステップＳ１３３２において、第３の特徴情報により、目標対象の生体検出結果を決定する。

図８は本願の実施例に係る生体検出方法中で第３の特徴情報により目標対象の生体検出結果を決定する例示的なフローチャートを示す。図８に示すように、第３の特徴情報により、目標対象の生体検出結果を決定することは、ステップＳ１３３２１及びステップＳ１３３２２を含んでよい。

ステップＳ１３３２１において、第３の特徴情報に基づいて、目標対象が生体である確率を得る。

いくつかの実施例では、第３の特徴情報をＳｏｆｔｍａｘ層に入力して、Ｓｏｆｔｍａｘ層により目標対象が生体である確率を得てよい。

一例として、Ｓｏｆｔｍａｘ層は、一方が、目標対象が生体である確率を表し、他方が、目標対象が非生体である確率を表す２つのニューロンを含んでよい。

ステップＳ１３３２２において、目標対象が生体である確率により、目標対象の生体検出結果を決定する。

いくつかの実施例では、目標対象が生体である確率により、目標対象の生体検出結果を決定することは、目標対象が生体である確率が第４の閾値より大きい場合に、目標対象の生体検出結果として目標対象が生体であると決定することと、目標対象が生体である確率が第４の閾値以下である場合に、目標対象の生体検出結果として目標対象が非生体であると決定することと、を含む。

図８に示すフローによりステップＳ１３３２の以上のような実現形態が説明されたが、当業者であれば、本願がこれに限定されるものではないのを理解できることを説明する必要がある。別のいくつかの実施例では、第３の特徴情報に基づいて、目標対象が非生体である確率を得、目標対象が非生体である確率により、目標対象の生体検出結果を決定してよい。該実現形態では、目標対象が非生体である確率が第５の閾値より大きい場合に、目標対象の生体検出結果として目標対象が非生体であると決定し、目標対象が非生体である確率が第５の閾値以下である場合に、目標対象の生体検出結果として目標対象が生体であると決定する。

本願の実施例は深度マップ失効類の非生体攻撃を根本的に防御し、生体検出の正確性を高めることができ、安全性や信頼性がより高くなる。

本願で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて、組合せ後の実施例を形成することができることが理解され、紙数に限りがあるので、本願では詳細な説明を省略する。

また、本願は生体検出装置、生体検出システム、電子機器、コンピュータ可読記憶媒体、プログラムを更に提供し、それらはいずれも本願で提供されるいずれか１種の生体検出方法を実現するために利用可能であり、それに対応する技術手段、説明及び参照方法部分に対応する記載をここで省略する。

図９は本願の実施例に係る生体検出装置のブロック図である。図９に示すように、該装置は、深度センサにより収集された第１の深度マップと画像センサにより収集された第１の目標画像を取得するための取得モジュール２１と、第１の深度マップに対して品質検出を行い、第１の深度マップの品質検出結果を得るための品質検出モジュール２２と、第１の深度マップの品質検出結果に基づいて、第１の目標画像中の目標対象の生体検出結果を決定するための第１の決定モジュール２３と、を含む。

いくつかの実施例では、深度センサは飛行時間（ＴＯＦ）センサ又は構造光センサである。

いくつかの実施例では、画像センサはＲＧＢセンサ又は近赤外線センサである。

図１０は本願の実施例に係る生体検出装置の例示的なブロック図を示す。

図１０に示すように、いくつかの実施例では、品質検出モジュール２２は、第１の深度マップ中の目標対象の対応領域の少なくとも１つの失効位置を決定するための第１の決定サブモジュール２２１と、目標対象の対応領域の少なくとも１つの失効位置に基づいて、第１の深度マップの品質検出結果を得るための第２の決定サブモジュール２２２と、を含む。

いくつかの実施例では、第２の決定サブモジュール２２２は、目標対象の対応領域の少なくとも１つの失効位置が目標対象の対応領域で占める割合に基づいて、第１の深度マップの品質検出結果を得るために用いられる。

いくつかの実施例では、第２の決定サブモジュール２２２は、目標対象の対応領域の少なくとも１つの失効位置及び少なくとも１つの失効位置に対応する重みに基づいて、第１の深度マップの品質検出結果を得るために用いられる。

いくつかの実施例では、第１の決定サブモジュール２２１は、目標対象の対応領域中の深度値がゼロとなる位置を失効位置として決定するために用いられる。

いくつかの実施例では、該装置は、第１の目標画像に対してキーポイント検出を行い、目標対象のキーポイント情報を得るためのキーポイント検出モジュール２４と、目標対象のキーポイント情報に基づいて、第１の深度マップから目標対象の対応領域を決定するための第２の決定モジュール２５と、を更に含む。

いくつかの実施例では、品質検出モジュール２２は、第１の深度マップを第１のニューラルネットワークに入力して処理し、第１の深度マップに対応する品質信頼度を得るための処理サブモジュール２２３と、第１の深度マップに対応する品質信頼度に基づいて、第１の深度マップの品質検出結果を得るための第３の決定サブモジュール２２４と、を含む。

いくつかの実施例では、第３の決定サブモジュール２２４は、第１の深度マップに対応する品質信頼度が第１の閾値より大きいことに応答して、第１の深度マップの品質検出結果が品質合格であると決定すること、及び／又は第１の深度マップに対応する品質信頼度が第１の閾値以下であることに応答して、第１の深度マップの品質検出結果が品質不合格であると決定するために用いられる。

いくつかの実施例では、該装置は、深度センサのパラメータ及び画像センサのパラメータにより、第１の深度マップと第１の目標画像をアライメントするためのアライメントモジュール２６を更に含む。

いくつかの実施例では、第１の決定モジュール２３は、第１の深度マップの品質検出結果が品質合格であることに応答して、第１の深度マップ及び第１の目標画像に基づいて、目標対象の生体検出結果を得るために用いられる。

いくつかの実施例では、第１の決定モジュール２３は、第１の深度マップ及び第１の目標画像に含まれる目標対象のキーポイント情報に基づいて、目標対象の生体検出結果を得るために用いられる。

いくつかの実施例では、第１の決定モジュール２３は、第１の深度マップ及び目標対象のキーポイント情報に基づいて、第１の特徴情報を得るための第４の決定サブモジュール２３１と、目標対象のキーポイント情報に基づいて、第２の特徴情報を得るための第５の決定サブモジュール２３２と、第１の特徴情報及び第２の特徴情報に基づいて、目標対象の生体検出結果を決定するための第６の決定サブモジュール２３３と、を含む。

いくつかの実施例では、第４の決定サブモジュール２３１は、第１の深度マップ及び目標対象のキーポイント情報を第２のニューラルネットワークに入力して処理し、第１の特徴情報を得るために用いられ、第５の決定サブモジュール２３２は、第１の目標画像及び目標対象のキーポイント情報を第３のニューラルネットワークに入力して処理し、第２の特徴情報を得るために用いられる。

いくつかの実施例では、第４の決定サブモジュール２３１は、第１の深度マップ及び目標対象のキーポイント情報に対して畳み込み処理を行い、第１の畳み込み結果を得ることと、第１の畳み込み結果に対してダウンサンプリング処理を行い、第１のダウンサンプリング結果を得ることと、第１のダウンサンプリング結果に基づいて、第１の特徴情報を得ることとに用いられる。

いくつかの実施例では、第５の決定サブモジュール２３２は、第１の目標画像及び目標対象のキーポイント情報に対して畳み込み処理を行い、第２の畳み込み結果を得ることと、第２の畳み込み結果に対してダウンサンプリング処理を行い、第２のダウンサンプリング結果を得ることと、第２のダウンサンプリング結果に基づいて、第２の特徴情報を得ることとに用いられる。

いくつかの実施例では、第６の決定サブモジュール２３３は、第１の特徴情報及び第２の特徴情報に対して全結合処理を行い、第３の特徴情報を得ることと、第３の特徴情報により、目標対象の生体検出結果を決定することとに用いられる。

いくつかの実施例では、第６の決定サブモジュール２３３は、第３の特徴情報に基づいて、目標対象が生体である確率を得ることと、目標対象が生体である確率により、目標対象の生体検出結果を決定することとに用いられる。

いくつかの実施例では、第１の決定モジュール２３は、第１の深度マップの品質検出結果が品質不合格であることに応答して、第１の深度マップを利用せずに目標対象に対して生体検出を行い、目標対象の生体検出結果を得るために用いられる。

いくつかの実施例では、第１の決定モジュール２３は、第１の深度マップの品質検出結果が品質不合格であり且つ第１の目標画像の所属するビデオシーケンスについての品質検出再試行回数が第２の閾値に達したことに応答して、目標対象の生体検出結果が非生体であると決定し、又は第１の深度マップを利用せずに目標対象に対して生体検出を行い、目標対象の生体検出結果を得るために用いられる。

いくつかの実施例では、第１の決定モジュール２３は、第１の深度マップの品質検出結果が品質不合格であり且つ第１の目標画像の所属するビデオシーケンスについての品質検出再試行回数が第２の閾値に達していないことに応答して、目標画像の所属するビデオシーケンス中の第２の目標画像に対応する第２の深度マップに対して品質検出を行い、第２の深度マップの品質検出結果を得るための品質検出サブモジュール２３４と、第２の深度マップの品質検出結果に基づいて、目標対象の生体検出結果を得るための第７の決定サブモジュール２３５と、を含む。

本願の実施例は深度センサにより収集された第１の深度マップと画像センサにより収集された第１の目標画像を取得し、第１の深度マップに対して品質検出を行い、第１の深度マップの品質検出結果を得、第１の深度マップの品質検出結果に基づいて第１の目標画像中の目標対象の生体検出結果を決定することにより、生体検出の正確性を高めることができる。

いくつかの例において、該装置は上述した各種の可能な方法を実行するために用いられ、それに対して、該装置は上述した方法中の各種の可能なステップ又はフローを実現するためのユニット又はモジュールを含み、簡単化するために、ここで繰り返して説明しない。

本願の実施例は、プロセッサと、プロセッサ実行可能コマンドを記憶するためのメモリとを含み、該プロセッサが上記方法を実行するように構成される電子機器を更に提供する。

本願の実施例は、コンピュータプログラムコマンドが記憶されたコンピュータ可読記憶媒体であって、コンピュータプログラムコマンドがプロセッサにより実行される時に上記方法を実現するコンピュータ可読記憶媒体を更に提供する。コンピュータ可読記憶媒体は不揮発性コンピュータ可読記憶媒体であってよい。

本願の実施例は、上記電子機器、深度センサ及び画像センサを含む生体検出システムを更に提供する。

本願の実施例は、上記コンピュータ可読記憶媒体、深度センサ及び画像センサを含む生体検出システムを更に提供する。

図１１は本願の実施例に係る電子機器の例示的なブロック図を示す。図１１に示すように、該電子機器は、目標対象の深度マップを検出するための深度センサ３１と、目標対象を含む目標画像を収集するための画像センサ３２と、第１の深度マップに対して品質検出を行い、第１の深度マップの品質検出結果を得、第１の深度マップの品質検出結果に基づいて、第１の目標画像中の目標対象の生体検出結果を決定するためのプロセッサ３３と、を含む。

いくつかの実施例では、深度センサは飛行時間（ＴＯＦ）センサ又は構造光センサである。

いくつかの実施例では、画像センサはＲＧＢセンサ又は近赤外線センサである。

いくつかの実施例では、該プロセッサ３３は、更に、第１の深度マップ中の目標対象の対応領域の少なくとも１つの失効位置を決定することと、目標対象の対応領域の少なくとも１つの失効位置に基づいて、第１の深度マップの品質検出結果を得ることとに用いられる。

いくつかの実施例では、該プロセッサ３３は、目標対象の対応領域の少なくとも１つの失効位置が目標対象の対応領域で占める割合に基づいて、第１の深度マップの品質検出結果を得るために用いられる。

いくつかの実施例では、該プロセッサ３３は、目標対象の対応領域の少なくとも１つの失効位置及び少なくとも１つの失効位置に対応する重みに基づいて、第１の深度マップの品質検出結果を得るために用いられる。

いくつかの実施例では、該プロセッサ３３は、目標対象の対応領域中の深度値がゼロとなる位置を失効位置として決定するために用いられる。

いくつかの実施例では、該プロセッサ３３は、更に、第１の目標画像に対してキーポイント検出を行い、目標対象のキーポイント情報を得ることと、目標対象のキーポイント情報に基づいて、第１の深度マップから目標対象の対応領域を決定することとに用いられる。

いくつかの実施例では、該プロセッサ３３は、第１の深度マップを第１のニューラルネットワークに入力して処理し、第１の深度マップに対応する品質信頼度を得ることと、第１の深度マップに対応する品質信頼度に基づいて、第１の深度マップの品質検出結果を得ることとに用いられる。

いくつかの実施例では、該プロセッサ３３は、第１の深度マップに対応する品質信頼度が第１の閾値より大きいことに応答して、第１の深度マップの品質検出結果が品質合格であると決定すること、及び／又は第１の深度マップに対応する品質信頼度が第１の閾値以下であることに応答して、第１の深度マップの品質検出結果が品質不合格であると決定するために用いられる。

いくつかの実施例では、該プロセッサ３３は、更に、に深度センサのパラメータ及び画像センサのパラメータより、第１の深度マップと第１の目標画像をアライメントするために用いられる。

いくつかの実施例では、該プロセッサ３３は、第１の深度マップの品質検出結果が品質合格であることに応答して、第１の深度マップ及び第１の目標画像に含まれる目標対象のキーポイント情報に基づいて、目標対象の生体検出結果を得るために用いられる。

いくつかの実施例では、該プロセッサ３３は、第１の深度マップ及び目標対象のキーポイント情報に基づいて、第１の特徴情報を得ることと、目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることと、第１の特徴情報及び第２の特徴情報に基づいて、目標対象の生体検出結果を決定することとに用いられる。

いくつかの実施例では、該プロセッサ３３は、第１の深度マップ及び目標対象のキーポイント情報を第２のニューラルネットワークに入力して処理し、第１の特徴情報を得るために用いられ、目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることは、第１の目標画像及び目標対象のキーポイント情報を第３のニューラルネットワークに入力して処理し、第２の特徴情報を得ることを含む。

いくつかの実施例では、該プロセッサ３３は、第１の深度マップ及び目標対象のキーポイント情報に対して畳み込み処理を行い、第１の畳み込み結果を得ることと、第１の畳み込み結果に対してダウンサンプリング処理を行い、第１のダウンサンプリング結果を得ることと、第１のダウンサンプリング結果に基づいて、第１の特徴情報を得ることとに用いられる。

いくつかの実施例では、該プロセッサ３３は、第１の目標画像及び目標対象のキーポイント情報に対して畳み込み処理を行い、第２の畳み込み結果を得ることと、第２の畳み込み結果に対してダウンサンプリング処理を行い、第２のダウンサンプリング結果を得ることと、第２のダウンサンプリング結果に基づいて、第２の特徴情報を得ることとに用いられる。

いくつかの実施例では、該プロセッサ３３は、第１の特徴情報及び第２の特徴情報に対して全結合処理を行い、第３の特徴情報を得ることと、第３の特徴情報により、目標対象の生体検出結果を決定することとに用いられる。

いくつかの実施例では、該プロセッサ３３は、第３の特徴情報に基づいて、目標対象が生体である確率を得ることと、目標対象が生体である確率により、目標対象の生体検出結果を決定することとに用いられる。

いくつかの実施例では、該プロセッサ３３は、第１の深度マップの品質検出結果が品質不合格であることに応答して、第１の深度マップを利用せずに目標対象に対して生体検出を行い、目標対象の生体検出結果を得るために用いられる。

いくつかの実施例では、該プロセッサ３３は、第１の深度マップの品質検出結果が品質不合格であり且つ第１の目標画像の所属するビデオシーケンスについての品質検出再試行回数が第２の閾値に達したことに応答して、第１の深度マップを利用せずに目標対象に対して生体検出を行い、目標対象の生体検出結果を得るために用いられる。

いくつかの実施例では、該プロセッサ３３は、第１の深度マップの品質検出結果が品質不合格であり且つ第１の目標画像の所属するビデオシーケンスについての品質検出再試行回数が第２の閾値に達していないことに応答して、目標対象の生体検出結果が非生体であると決定し、又は目標画像の所属するビデオシーケンス中の第２の目標画像に対応する第２の深度マップに対して品質検出を行い、第２の深度マップの品質検出結果を得ることと、第２の深度マップの品質検出結果に基づいて、目標対象の生体検出結果を得ることとに用いられる。

電子機器は端末、サーバ又は他の形態の機器として提供されてよい。

図１２は本願の実施例に係る電子機器の別の例示的なブロック図を示す。例えば、電子機器８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット装置、医療機器、フィットネス器具、パーソナル・デジタル・アシスタントなどの端末であってよい。

図１２を参照すると、電子機器８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）のインタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６の一つ以上を含むことができる。

処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを完了するために、一つ以上のプロセッサ８２０を含んで命令を実行することができる。また、処理コンポーネント８０２は、他のコンポーネントとの対話のために、一つ以上のモジュールを含むことができる。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８との対話のために、マルチメディアモジュールを含むことができる。

メモリ８０４は電子機器８００での動作をサポートするために様々なタイプのデータを記憶するように構成される。これらのデータの例は電子機器８００において運用するためのあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または非揮発性記憶機器またはそれらの組み合わせによって実現できる。

電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含むことができる。

マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供する画面を含む。いくつかの実施例では、画面は液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含むことができる。画面がタッチパネルを含む場合、ユーザからの入力信号を受信するために、タッチ画面として実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出することもできる。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または後面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信することができる。各前面カメラおよび後面カメラは固定された光学レンズ系または焦点距離および光学ズーム能力を有するものであってもよい。

オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成されたマイク（ＭＩＣ）を含む。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。

Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含むことができるが、これらに限定されない。

センサコンポーネント８１４は電子機器８００に各面での状態評価を提供するための一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、コンポーネントの相対的位置決め、例えば前記コンポーネントが電子機器８００の表示装置およびキーパッドであることを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するために用いられるように構成された近接センサを含む。センサコンポーネント８１４はさらに、ＣＭＯＳ又はＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含むことができる。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含むことができる。

通信コンポーネント８１６は電子機器８００と他の機器との間の有線または無線通信を実現するように配置される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルによって外部の放送管理システムの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールでは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。

例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現し、上記方法を実行するために用いることができる。

例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は電子機器８００のプロセッサ８２０によって実行して上記方法を完了することができる。

本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の各態様を実現させるためのコンピュータ読み取り可能プログラム命令がロードされているコンピュータ読み取り可能記憶媒体を含むことができる。

コンピュータ読み取り可能記憶媒体は命令実行機器により使用される命令を保存および記憶可能な有形機器であってもよい。コンピュータ読み取り可能記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能記憶媒体のさらに具体的な例（非包括的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、機械的符号化装置、例えば命令が記憶されているせん孔カードまたはスロット内突起構造、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。

ここで記述したコンピュータ読み取り可能プログラム命令はコンピュータ読み取り可能記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークによって外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含むことができる。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ読み取り可能プログラム命令を受信し、該コンピュータ読み取り可能プログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能記憶媒体に記憶する。

本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズすることで、該電子回路はコンピュータ読み取り可能プログラム命令を実行し、それにより本開示の各態様を実現できるようになる。

なお、ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明しが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能プログラム命令によって実現できることを理解すべきである。

これらのコンピュータ読み取り可能プログラム命令は、機械を製造するために、共通コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されてもよく、それにより、これらの命令はコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行され、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する手段を創出する。また、これらのコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能記憶媒体に記憶し、それによってコンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよく、それにより、中に保存された命令を有するコンピュータ読み取り可能記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各態様を実現する命令を含む製品を備える。

コンピュータ読み取り可能プログラムはコンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードすることにより、コンピュータ実施プロセスを生成するように、コンピュータ、他のプログラマブルデータ処理装置または他の機器において一連の動作ステップを実行させるようにしてもよく、それにより、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令はフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。

図面のうちフローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの置換としての実現形態では、ブロックに表記される機能は図面に付したものと異なる順序で実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、それらは逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。

以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。

Claims (20)

1. 深度センサにより収集された第１の深度マップと画像センサにより収集された第１の目標画像を取得することと、
   前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得ることと、
   前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定することと、を含み、
   前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得ることは、
   前記第１の深度マップを第１のニューラルネットワークに入力して処理し、前記第１の深度マップに対応する品質信頼度を得ることと、
   第１の深度マップに対応する品質信頼度に基づいて、前記第１の深度マップの品質検出結果を得ることと、を含むことを特徴とする生体検出方法。
2. 前記深度センサは飛行時間（ＴＯＦ）センサ又は構造光センサであり、
   又は、前記画像センサはＲＧＢセンサ又は近赤外線センサであることを特徴とする請求項１に記載の方法。
3. 前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得ることは、
   前記第１の深度マップ中の前記目標対象の対応領域の少なくとも１つの失効位置を決定することと、
   前記目標対象の対応領域の少なくとも１つの失効位置に基づいて、前記第１の深度マップの品質検出結果を得ることと、をさらに含むことを特徴とする請求項１又は２に記載の方法。
4. 前記目標対象の対応領域の少なくとも１つの失効位置に基づいて、前記第１の深度マップの品質検出結果を得ることは、
   前記目標対象の対応領域の少なくとも１つの失効位置が前記目標対象の対応領域中で占める割合に基づいて、前記第１の深度マップの品質検出結果を得ることを含むこと、又は、
   前記目標対象の対応領域の少なくとも１つの失効位置及び前記少なくとも１つの失効位置に対応する重みに基づいて、前記第１の深度マップの品質検出結果を得ることを含むことを特徴とする請求項３に記載の方法。
5. 前記第１の深度マップ中の前記目標対象の対応領域の少なくとも１つの失効位置を決定することは、
   前記目標対象の対応領域中の深度値がゼロとなる位置を前記失効位置として決定することを含むことを特徴とする請求項３又は４に記載の方法。
6. 前記第１の目標画像に対してキーポイント検出を行い、前記目標対象のキーポイント情報を得ることと、
   前記目標対象のキーポイント情報に基づいて、前記第１の深度マップから前記目標対象の対応領域を決定することを更に含むことを特徴とする請求項３～５のいずれか一項に記載の方法。
7. 前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定することは、
   前記第１の深度マップの品質検出結果が品質合格であることに応答して、前記第１の深度マップと前記第１の目標画像に基づいて、前記目標対象の生体検出結果を得ることを含むことを特徴とする請求項１～６のいずれか一項に記載の方法。
8. 前記第１の深度マップと前記第１の目標画像に基づいて、前記目標対象の生体検出結果を得ることは、
   前記第１の深度マップ及び前記第１の目標画像に含まれる前記目標対象のキーポイント情報に基づいて、前記目標対象の生体検出結果を得ることを含むことを特徴とする請求項７に記載の方法。
9. 前記第１の深度マップ及び前記第１の目標画像に含まれる前記目標対象のキーポイント情報に基づいて、前記目標対象の生体検出結果を得ることは、
   前記第１の深度マップ及び前記目標対象のキーポイント情報に基づいて、第１の特徴情報を得ることと、
   前記目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることと、
   前記第１の特徴情報及び前記第２の特徴情報に基づいて、前記目標対象の生体検出結果を決定することと、を含むことを特徴とする請求項８に記載の方法。
10. 前記第１の深度マップ及び前記目標対象のキーポイント情報に基づいて、第１の特徴情報を得ることは、
    前記第１の深度マップ及び前記目標対象のキーポイント情報を第２のニューラルネットワークに入力して処理し、第１の特徴情報を得ることを含み、
    前記目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることは、
    前記第１の目標画像及び前記目標対象のキーポイント情報を第３のニューラルネットワークに入力して処理し、第２の特徴情報を得ることを含むことを特徴とする請求項９に記載の方法。
11. 前記第１の深度マップ及び前記目標対象のキーポイント情報に基づいて、第１の特徴情報を得ることは、
    前記第１の深度マップ及び前記目標対象のキーポイント情報に対して畳み込み処理を行い、第１の畳み込み結果を得ることと、
    前記第１の畳み込み結果に対してダウンサンプリング処理を行い、第１のダウンサンプリング結果を得ることと、
    前記第１のダウンサンプリング結果に基づいて、第１の特徴情報を得ることと、を含むことを特徴とする請求項９又は１０に記載の方法。
12. 前記第１の特徴情報及び前記第２の特徴情報に基づいて、前記目標対象の生体検出結果を決定することは、
    前記第１の特徴情報及び前記第２の特徴情報に対して全結合処理を行い、第３の特徴情報を得ることと、
    前記第３の特徴情報により、前記目標対象の生体検出結果を決定することと、を含むことを特徴とする請求項９～１１のいずれか一項に記載の方法。
13. 前記第３の特徴情報により、生体検出結果を決定することは、
    前記第３の特徴情報に基づいて、前記目標対象が生体である確率を得ることと、
    前記目標対象が生体である確率により、前記目標対象の生体検出結果を決定することと、を含むことを特徴とする請求項１２に記載の方法。
14. 前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定することは、
    前記第１の深度マップの品質検出結果が品質不合格であることに応答して、前記第１の深度マップを利用せずに前記目標対象に対して生体検出を行い、前記目標対象の生体検出結果を得ることを含むことを特徴とする請求項１～１３のいずれか一項に記載の方法。
15. 前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定することは、
    前記第１の深度マップの品質検出結果が品質不合格であり且つ前記第１の目標画像の所属するビデオシーケンスについての品質検出再試行回数が第２の閾値に達したことに応答して、前記目標対象の生体検出結果が非生体であると決定し、又は前記第１の深度マップを利用せずに前記目標対象に対して生体検出を行い、前記目標対象の生体検出結果を得ることを含むことを特徴とする請求項１～１４のいずれか一項に記載の方法。
16. 深度センサにより収集された第１の深度マップと画像センサにより収集された第１の目標画像を取得するための取得モジュールと、
    前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得るための品質検出モジュールと、
    前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定するための第１の決定モジュールと、を含み、
    前記品質検出モジュールは、前記第１の深度マップを第１のニューラルネットワークに入力して処理し、前記第１の深度マップに対応する品質信頼度を得るための処理サブモジュールと、前記第１の深度マップに対応する品質信頼度に基づいて、前記第１の深度マップの品質検出結果を得るための第３の決定サブモジュールと、を含むことを特徴とする生体検出装置。
17. プロセッサと、
    プロセッサ実行可能コマンドを記憶するためのメモリとを含み、
    前記プロセッサは前記メモリに記憶された前記コマンドを呼び出して、請求項１～１５のいずれか一項に記載の方法を実行するように構成されることを特徴とする電子機器。
18. コンピュータプログラムコマンドが記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行される時に請求項１～１５のいずれか一項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。
19. 請求項１７に記載の電子機器、前記深度センサ及び前記画像センサを含むことを特徴とする生体検出システム。
20. プロセッサにより実行される時に請求項１～１５のいずれか一項に記載の方法を実現することを特徴とするコンピュータプログラム。

Images