JP6975848B2 - 生体検出方法及び装置、電子機器、並びにコンピュータ可読記憶媒体 - Google Patents

Description

本願は、２０１８年９月７日に出願された、出願番号２０１８１１０４６１７７．Ｘ、発明の名称「生体検出方法及び装置、電子機器、並びにコンピュータ可読記憶媒体」の中国特許出願の優先権を主張し、該中国特許出願の全ての内容が参照によって本願に組み込まれる。

本開示は、コンピュータビジョンの分野に関し、特に生体検出方法及び装置、電子機器、並びにコンピュータ可読記憶媒体に関する。

人工知能技術の急速な発展と普及に伴い、セキュリティ問題はますます社会全般的に注目されている。顔認識技術がさまざまな身元認証に使用される応用シーンでは、顔検出偽造防止が不可欠な部分である。顔検出偽造防止は生体検出とも呼ばれ、カメラの前にいる人間の顔が生体からのものであるか、それとも紙の写真／スクリーン写真／マスクなどのダミーからのものであるかを区別するための技術である。

本開示の実施例は、生体検出の技術的手段を提供する。

本開示の実施例の一態様によれば、収集された画像に対して特徴抽出を実行して、画像特徴情報を取得することと、前記画像特徴情報に基づいて、前記画像のモーダル分類結果を決定することであって、前記モーダル分類結果は、前記画像が少なくとも１つのモーダルにおける目標モーダルに対応することを指示することと、前記画像のモーダル分類結果に基づいて、前記画像中の目標対象が生体であるか否かを決定することとを含む、生体検出方法を提供する。

いくつかの選択可能な実施例では、前記画像特徴情報に基づいて前記画像のモーダル分類結果を決定することは、前記画像特徴情報に基づいて分類処理を実行して、前記画像が少なくとも１つのモーダルにおける各モーダルに属する分類確率を取得することと、前記少なくとも１つのモーダルにおける各モーダルの分類確率に基づいて、前記画像の属する目標モーダルを決定することとを含む。

いくつかの選択可能な実施例では、前記画像のモーダル分類結果に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、前記画像のモーダル分類結果および前記画像特徴情報に基づいて、前記画像中の目標対象が生体であるか否かを決定することを含む。

いくつかの選択可能な実施例では、前記画像のモーダル分類結果および前記画像特徴情報に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、前記画像特徴情報と前記画像のモーダル分類結果を合併して、合併結果を取得することと、前記合併結果に基づいて、前記画像中の目標対象が生体であるか否かを決定することとを含む。

いくつかの選択可能な実施例では、前記画像のモーダル分類結果および前記画像特徴情報に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、前記画像特徴情報に基づいて前記少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率を取得することと、前記モーダル分類結果および前記少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することとを含む。

いくつかの選択可能な実施例では、前記モーダル分類結果は、前記画像が前記少なくとも１つのモーダルにおける各モーダルに属する分類確率を含み、前記モーダル分類結果および前記少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、前記少なくとも１つのモーダルにおける各モーダルの分類確率を前記各モーダルに対応する重み値として、前記少なくとも１つのモーダルにおける各モーダルの真偽予測確率に対して加重加算を実行して、目標真偽予測確率を取得することと、前記目標真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することとを含む。

いくつかの選択可能な実施例では、前記モーダル分類結果および前記少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、前記モーダル分類結果に含まれる少なくとも１つのモーダルにおける各モーダルに対応する分類確率に基づいて、前記少なくとも１つの真偽予測確率から目標真偽予測確率を決定することと、前記目標真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することとを含む。

いくつかの選択可能な実施例では、前記モーダル分類結果に含まれる少なくとも１つのモーダルにおける各モーダルに対応する分類確率に基づいて、前記少なくとも１つの真偽予測確率から目標真偽予測確率を決定することは、前記モーダル分類結果に含まれる少なくとも１つの分類確率にプリセット確率より大きいか等しい分類確率が存在することに応じて、前記プリセット確率より大きいか等しい分類確率に対応するモーダルを目標モーダルとして決定し、前記目標モーダルの真偽予測確率を前記目標真偽予測確率として決定することを含む。

いくつかの選択可能な実施例では、前記の収集された画像に対して特徴抽出を実行して、画像特徴情報を取得する前に、デュアルチャネルカメラによって目標の画像を収集して、前記画像を取得することを更に含む。

いくつかの選択可能な実施例では、前記少なくとも１つのモーダルは、デュアルチャネルモーダルおよびＲＧＢモーダルを含む。

いくつかの選択可能な実施例では、前記方法は、生体検出ネットワークを使用して実現され、前記収集された画像に対して特徴抽出を実行して、画像特徴情報を取得する前に、前記方法は、サンプルデータセットに基づいて初期生体検出ネットワークをトレーニングして、前記生体検出ネットワークを取得することであって、前記サンプルデータセットは、少なくとも２つのモーダルのサンプル画像を含むことを更に含む。

本開示の実施例の別の態様によれば、第１のモーダル画像を取得ことと、生体検出ネットワークによって前記画像に対して生体検出を実行して、前記画像中の目標対象が生体であるか否かを決定することであって、前記生体検出ネットワークは、サンプル画像セットに基づいて初期生体検出ネットワークをトレーニングすることにより取得され、前記サンプル画像セットは、前記第１のモーダルサンプル画像および第２のモーダルサンプル画像が含まれることとを含む、生体検出方法を提供する。

いくつかの選択可能な実施例では、前記生体検出ネットワークによって前記画像に対して生体検出を実行して、前記画像中の目標対象が生体であるか否かを決定することは、生体検出ネットワークによって前記画像に対して特徴抽出を実行して、画像特徴情報を取得することと、前記画像特徴情報に基づいて、生体検出ネットワークによって前記画像中の目標対象が生体であるか否かを決定することとを含む。

いくつかの選択可能な実施例では、前記方法は、前記サンプル画像セット中のサンプル画像に対して特徴抽出を実行して、サンプル特徴情報を取得することと、前記サンプル特徴情報に基づいて、前記サンプル画像のサンプルモーダル分類結果を決定することと、前記サンプルモーダル分類結果に基づいて、前記サンプル画像の予測真偽結果を決定することであって、前記サンプルモーダル分類結果は、前記サンプル画像が少なくとも１つのモーダル中のサンプルモーダルに対応することを指示することと、前記サンプルモーダル分類結果に基づいて、前記サンプル画像の予測真偽結果を決定することと、前記予測真偽結果および前記サンプル画像のタグ付きの真偽情報に基づいて、前記初期生体検出ネットワークのネットワークパラメータを調整してトレーニングすることとを更に含む。

いくつかの選択可能な実施例では、前記サンプル特徴情報に基づいて、前記サンプル画像のサンプルモーダル分類結果を決定することは、前記サンプル特徴情報に基づいて、前記サンプル画像が前記第１のモーダルに属する分類確率および前記サンプル画像が前記第２のモーダルに属する分類確率を決定することと、前記サンプル画像が前記第１のモーダルに属する分類確率および前記サンプル画像が前記第２のモーダルに属する分類確率に基づいて、前記サンプル画像の属するサンプルモーダルを決定することとを含む。

いくつかの選択可能な実施例では、前記サンプルモーダル分類結果に基づいて、前記サンプル画像の予測真偽結果を決定することは、前記サンプルモーダル分類結果および前記サンプル特徴情報に基づいて、前記サンプル画像の予測真偽結果を決定することを含む。

いくつかの選択可能な実施例では、前記サンプルモーダル分類結果および前記サンプル特徴情報に基づいて、前記サンプル画像の予測真偽結果を決定することは、前記サンプル特徴情報と前記サンプル画像のサンプルモーダル分類結果を合併して、サンプル合併結果を取得することと、前記サンプル合併結果に基づいて、前記サンプル画像の予測真偽結果を決定することとを含む。

いくつかの選択可能な実施例では、前記第１のモーダルは、近赤外線モーダルであり、前記第２のモーダルは、ＲＧＢモーダルである。

本開示の実施例の別の態様によれば、収集された画像に対して特徴抽出を実行して、画像特徴情報を取得するように構成される特徴抽出ユニットと、前記画像特徴情報に基づいて、前記画像のモーダル分類結果を決定するように構成されるモーダル分類ユニットであって、前記モーダル分類結果は、前記画像が少なくとも１つのモーダル中の目標モーダルに対応することを指示するモーダル分類ユニットと、前記画像のモーダル分類結果に基づいて、前記画像中の目標対象が生体であるか否かを決定するように構成される生体検出ユニットとを含む、生体検出装置を提供する。

いくつかの選択可能な実施例では、前記モーダル分類ユニットは、前記画像特徴情報に基づいて分類処理を実行して、前記画像が少なくとも１つのモーダルにおける各モーダルに属する分類確率を取得し、前記少なくとも１つのモーダルにおける各モーダルの分類確率に基づいて、前記画像の属する目標モーダルを決定するように構成される。

いくつかの選択可能な実施例では、前記生体検出ユニットは、前記画像のモーダル分類結果および前記画像特徴情報に基づいて、前記画像中の目標対象が生体であるか否かを決定するように構成される。

いくつかの選択可能な実施例では、前記生体検出ユニットは、前記画像特徴情報と前記画像のモーダル分類結果を合併して、合併結果を取得し、前記合併結果に基づいて、前記画像中の目標対象が生体であるか否かを決定するように構成される。

いくつかの選択可能な実施例では、前記生体検出ユニットは、前記画像特徴情報に基づいて前記少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率を取得するように構成される真偽予測確率モジュールと、前記モーダル分類結果および前記少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定するように構成される結果決定モジュールとを含む。

いくつかの選択可能な実施例では、前記モーダル分類結果は、前記画像が前記少なくとも１つのモーダルにおける各モーダルに属する分類確率を含み、前記結果決定モジュールは、前記少なくとも１つのモーダルにおける各モーダルの分類確率を前記各モーダルに対応する重み値として、前記少なくとも１つのモーダルにおける各モーダルの真偽予測確率に対して加重加算を実行して、目標真偽予測確率を取得し、前記目標真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定するように構成される。

いくつかの選択可能な実施例では、前記結果決定モジュールは、前記モーダル分類結果および前記少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定する場合、前記結果決定モジュールは、前記モーダル分類結果に含まれる少なくとも１つのモーダルにおける各モーダルに対応する分類確率に基づいて、前記少なくとも１つの真偽予測確率から目標真偽予測確率を決定し、前記結果決定モジュールは、前記目標真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定するように構成される。

いくつかの選択可能な実施例では、前記結果決定モジュールは、前記モーダル分類結果に含まれる少なくとも１つのモーダルにおける各モーダルに対応する分類確率に基づいて、前記少なくとも１つの真偽予測確率から目標真偽予測確率を決定する場合、前記モーダル分類結果に含まれる少なくとも１つの分類確率にプリセット確率より大きいか等しい分類確率が存在することに応じて、前記結果決定モジュールは、前記のプリセット確率より大きいか等しい分類確率に対応するモーダルを目標モーダルとして決定し、前記目標モーダルの真偽予測確率を前記目標真偽予測確率として決定するように構成される。

いくつかの選択可能な実施例では、前記装置は、デュアルチャネルカメラによって画像を収集して、前記画像を取得するように構成される画像収集ユニットを更に含む。

いくつかの選択可能な実施例では、前記少なくとも１つのモーダルは、デュアルチャネルモーダルおよびＲＧＢモーダルを含む。

いくつかの選択可能な実施例では、前記装置は、生体検出ネットワークによって実現され、前記装置は、サンプルデータセットに基づいて初期生体検出ネットワークをトレーニングして、前記生体検出ネットワークを取得するように構成されるネットワークトレーニングユニットであって、前記サンプルデータセットは、少なくとも２つのモーダルのサンプル画像を含むネットワークトレーニングユニットを更に含む。

本開示の実施例の別の態様によれば、第１のモーダル画像を取得するように構成される画像取得ユニットと、生体検出ネットワークによって前記画像に対して生体検出を実行して、前記画像中の目標対象が生体であるか否かを決定するように構成される目標検出ユニットであって、前記生体検出ネットワークは、サンプル画像セットに基づいて初期生体検出ネットワークをトレーニングすることにより取得され、前記サンプル画像セットは、前記第１のモーダルサンプル画像および第２のモーダルサンプル画像が含まれる目標検出ユニットとを含む、生体検出装置を提供する。

いくつかの選択可能な実施例では、前記目標検出ユニットは、生体検出ネットワークによって前記画像に対して特徴抽出を実行して、画像特徴情報を取得し、前記画像特徴情報に基づいて、生体検出ネットワークによって前記画像中の目標対象が生体であるか否かを決定するように構成される。

いくつかの選択可能な実施例では、前記装置は、前記サンプル画像セット中のサンプル画像に対して特徴抽出を実行して、サンプル特徴情報を取得し、前記サンプル特徴情報に基づいて、前記サンプル画像のサンプルモーダル分類結果を決定し、前記サンプルモーダル分類結果は、前記サンプル画像が少なくとも１つのモーダルにおけるサンプルモーダルに対応することを指示し、前記サンプルモーダル分類結果に基づいて、前記サンプル画像の予測真偽結果を決定し、前記予測真偽結果および前記サンプル画像のタグ付きの真偽情報に基づいて、前記初期生体検出ネットワークのネットワークパラメータを調整するように構成される検出ネットワークトレーニングユニットを更に含む。

いくつかの選択可能な実施例では、前記検出ネットワークトレーニングユニットは、前記サンプル特徴情報に基づいて前記サンプル画像のサンプルモーダル分類結果を決定する場合、前記サンプル特徴情報に基づいて、前記サンプル画像が前記第１のモーダルに属する分類確率および前記サンプル画像が前記第２のモーダルに属する分類確率を決定し、前記サンプル画像が前記第１のモーダルに属する分類確率および前記サンプル画像が前記第２のモーダルに属する分類確率に基づいて、前記サンプル画像の属するサンプルモーダルを決定するように構成される。

いくつかの選択可能な実施例では、前記検出ネットワークトレーニングユニットは、前記サンプルモーダル分類結果に基づいて、前記サンプル画像の予測真偽結果を決定する場合、前記サンプルモーダル分類結果および前記サンプル特徴情報に基づいて、前記サンプル画像の予測真偽結果を決定するように構成される。

いくつかの選択可能な実施例では、前記検出ネットワークトレーニングユニットは、前記サンプルモーダル分類結果および前記サンプル特徴情報に基づいて、前記サンプル画像の予測真偽結果を決定する場合、前記サンプル特徴情報と前記サンプル画像のサンプルモーダル分類結果を合併して、サンプル合併結果を取得し、前記サンプル合併結果に基づいて、前記サンプル画像の予測真偽結果を決定するように構成される。

いくつかの選択可能な実施例では、前記第１のモーダルは、近赤外線モーダルであり、前記第２のモーダルは、ＲＧＢモーダルである。

本開示の実施例の別の態様によれば、前記いずれか１項に記載の生体検出装置を備えるプロセッサを含む、電子機器を提供する。

本開示の実施例の別の態様によれば、実行可能命令を記憶するように構成されるメモリと、前記メモリと通信して、前記実行可能命令を実行することによって、前記いずれか１項に記載の生体検出方法の動作を実現するように構成されるプロセッサとを含む、電子機器を提供する。

本開示の実施例の別の態様によれば、コンピュータ可読命令を記憶するように構成されるコンピュータ可読記憶媒体であって、前記命令が実行される時に、前記いずれか１項に記載の生体検出方法の動作を実現する、コンピュータ可読記憶媒体を提供する。

本開示の実施例の別の態様によれば、コンピュータ可読コードを含むコンピュータプログラム製品であって、前記コンピュータ可読コードがデバイス上で実行される時に、前記デバイス中のプロセッサは、前記いずれか１項に記載の生体検出方法を実現するための命令を実行する、コンピュータプログラム製品を提供する。

本開示の実施例の更に別の態様によれば、コンピュータ可読命令を記憶するためのコンピュータプログラム製品であって、前記命令が実行される時に、コンピュータに前記いずれか１つの可能な実施形態に記載の生体検出方法の動作を実行させる、別のコンピュータプログラム製品を提供する。

１つの選択可能な実施形態では、前記コンピュータプログラム製品は、具体的にコンピュータ記憶媒体であり、別の選択可能な実施形態では、前記コンピュータプログラム製品は、具体的にはソフトウェア製品、例えばＳＤＫなどである。

本開示の実施例によれば、収集された画像に対して特徴抽出を実行して、画像特徴情報を取得し、画像特徴情報に基づいて、画像のモーダル分類結果を決定し、モーダル分類結果は、画像が少なくとも１つのモーダル中の目標モーダルに対応することを指示し、画像のモーダル分類結果に基づいて、画像中の目標対象が生体であるか否かを決定する、別の生体検出方法及び装置、電子機器、コンピュータ記憶媒体、並びにコンピュータプログラム製品をさらに提供する。
例えば、本願は以下の項目を提供する。
（項目１）
生体検出方法であって、
収集された画像に対して特徴抽出を実行して、画像特徴情報を取得することと、
前記画像特徴情報に基づいて、前記画像のモーダル分類結果を決定することであって、前記モーダル分類結果は、前記画像が少なくとも１つのモーダルにおける目標モーダルに対応することを指示することと、
前記画像のモーダル分類結果に基づいて、前記画像中の目標対象が生体であるか否かを決定することと、を含むことを特徴とする、前記生体検出方法。
（項目２）
前記画像特徴情報に基づいて、前記画像のモーダル分類結果を決定することは、
前記画像特徴情報に基づいて分類処理を実行して、前記画像が少なくとも１つのモーダルにおける各モーダルに属する分類確率を取得することと、
前記少なくとも１つのモーダルにおける各モーダルの分類確率に基づいて、前記画像の属する目標モーダルを決定することと、を含むことを特徴とする、
項目１に記載の方法。
（項目３）
前記画像のモーダル分類結果に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、
前記画像のモーダル分類結果および前記画像特徴情報に基づいて、前記画像中の目標対象が生体であるか否かを決定することを含むことを特徴とする、
項目１または２に記載の方法。
（項目４）
前記画像のモーダル分類結果および前記画像特徴情報に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、
前記画像特徴情報と前記画像のモーダル分類結果を合併して、合併結果を取得することと、
前記合併結果に基づいて、前記画像中の目標対象が生体であるか否かを決定することと、を含むことを特徴とする、
項目３に記載の方法。
（項目５）
前記画像のモーダル分類結果および前記画像特徴情報に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、
前記画像特徴情報に基づいて、前記少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率を取得することと、
前記モーダル分類結果および前記少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することと、を含むことを特徴とする、
項目３に記載の方法。
（項目６）
前記モーダル分類結果は、前記画像が前記少なくとも１つのモーダルにおける各モーダルに属する分類確率を含み、
前記モーダル分類結果および前記少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、
前記少なくとも１つのモーダルにおける各モーダルの分類確率を前記各モーダルに対応する重み値として、前記少なくとも１つのモーダルにおける各モーダルの真偽予測確率に対して加重加算を実行して、目標真偽予測確率を取得することと、
前記目標真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することと、を含むことを特徴とする、
項目５に記載の方法。
（項目７）
前記モーダル分類結果および前記少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、
前記モーダル分類結果に含まれる少なくとも１つのモーダルにおける各モーダルに対応する分類確率に基づいて、前記少なくとも１つの真偽予測確率から目標真偽予測確率を決定することと、
前記目標真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することと、を含むことを特徴とする、
項目５に記載の方法。
（項目８）
前記モーダル分類結果に含まれる少なくとも１つのモーダルにおける各モーダルに対応する分類確率に基づいて、前記少なくとも１つの真偽予測確率から目標真偽予測確率を決定することは、
前記モーダル分類結果に含まれる少なくとも１つの分類確率にプリセット確率より大きいか等しい分類確率が存在することに応じて、前記のプリセット確率より大きいか等しい分類確率に対応するモーダルを目標モーダルとして決定し、前記目標モーダルの真偽予測確率を前記目標真偽予測確率として決定することを含むことを特徴とする、
項目７に記載の方法。
（項目９）
前記収集された画像に対して特徴抽出を実行して、画像特徴情報を取得する前に、
デュアルチャネルカメラによって画像を収集して、前記画像を取得することを更に含むことを特徴とする、
項目１〜８のいずれか１項に記載の方法。
（項目１０）
前記少なくとも１つのモーダルは、デュアルチャネルモーダルおよびＲＧＢモーダルを含むことを特徴とする、
項目９に記載の方法。
（項目１１）
前記方法は、生体検出ネットワークを使用して実現され、
前記収集された画像に対して特徴抽出を実行して、画像特徴情報を取得する前に、
サンプルデータセットに基づいて初期生体検出ネットワークをトレーニングして、前記生体検出ネットワークを取得することであって、前記サンプルデータセットは、少なくとも２つのモーダルのサンプル画像を含むことを更に含むことを特徴とする、
項目１〜１０のいずれか１項に記載の方法。
（項目１２）
生体検出方法であって、
第１のモーダル画像を取得することと、
生体検出ネットワークによって前記画像に対して生体検出を実行して、前記画像中の目標対象が生体であるか否かを決定することであって、前記生体検出ネットワークは、サンプル画像セットに基づいて初期生体検出ネットワークをトレーニングすることにより取得され、前記サンプル画像セットは、前記第１のモーダルサンプル画像および第２のモーダルサンプル画像が含まれることと、を含むことを特徴とする、前記生体検出方法。
（項目１３）
前記生体検出ネットワークによって前記画像に対して生体検出を実行して、前記画像中の目標対象が生体であるか否かを決定することは、
生体検出ネットワークによって前記画像に対して特徴抽出を実行して、画像特徴情報を取得することと、
前記画像特徴情報に基づいて、前記生体検出ネットワークによって前記画像中の目標対象が生体であるか否かを決定することと、を含むことを特徴とする、
項目１２に記載の方法。
（項目１４）
前記サンプル画像セット中のサンプル画像に対して特徴抽出を実行して、サンプル特徴情報を取得することと、
前記サンプル特徴情報に基づいて、前記サンプル画像のサンプルモーダル分類結果を決定することであって、前記サンプルモーダル分類結果は、前記サンプル画像が少なくとも１つのモーダル中のサンプルモーダルに対応することを指示することと、
前記サンプルモーダル分類結果に基づいて、前記サンプル画像の予測真偽結果を決定することと、
前記予測真偽結果および前記サンプル画像のタグ付きの真偽情報に基づいて、前記初期生体検出ネットワークのネットワークパラメータを調整することと、を更に含むことを特徴とする、
項目１２または１３に記載の方法。
（項目１５）
前記サンプル特徴情報に基づいて、前記サンプル画像のサンプルモーダル分類結果を決定することは、
前記サンプル特徴情報に基づいて、前記サンプル画像が前記第１のモーダルに属する分類確率および前記サンプル画像が前記第２のモーダルに属する分類確率を決定することと、
前記サンプル画像が前記第１のモーダルに属する分類確率および前記サンプル画像が前記第２のモーダルに属する分類確率に基づいて、前記サンプル画像の属するサンプルモーダルを決定することと、を含むことを特徴とする、
項目１４に記載の方法。
（項目１６）
前記サンプルモーダル分類結果に基づいて、前記サンプル画像の予測真偽結果を決定することは、
前記サンプルモーダル分類結果および前記サンプル特徴情報に基づいて、前記サンプル画像の予測真偽結果を決定することを含むことを特徴とする、
項目１４または１５に記載の方法。
（項目１７）
前記サンプルモーダル分類結果および前記サンプル特徴情報に基づいて、前記サンプル画像の予測真偽結果を決定することは、
前記サンプル特徴情報と前記サンプル画像のサンプルモーダル分類結果を合併して、サンプル合併結果を取得することと、
前記サンプル合併結果に基づいて、前記サンプル画像の予測真偽結果を決定することと、を含むことを特徴とする、
項目１６に記載の方法。
（項目１８）
前記第１のモーダルは、近赤外線モーダルであり、前記第２のモーダルは、ＲＧＢモーダルであることを特徴とする、
項目１２〜１７のいずれか１項に記載の方法。
（項目１９）
生体検出装置であって、
収集された画像に対して特徴抽出を実行して、画像特徴情報を取得するように構成される特徴抽出ユニットと、
前記画像特徴情報に基づいて、前記画像のモーダル分類結果を決定するように構成されるモーダル分類ユニットであって、前記モーダル分類結果は、前記画像が少なくとも１つのモーダル中の目標モーダルに対応することを指示するモーダル分類ユニットと、
前記画像のモーダル分類結果に基づいて、前記画像中の目標対象が生体であるか否かを決定するように構成される生体検出ユニットと、を含むことを特徴とする、前記生体検出装置。
（項目２０）
前記モーダル分類ユニットは、
前記画像特徴情報に基づいて分類処理を実行して、前記画像が少なくとも１つのモーダルにおける各モーダルに属する分類確率を取得し、
前記少なくとも１つのモーダルにおける各モーダルの分類確率に基づいて、前記画像の属する目標モーダルを決定するように構成されることを特徴とする、
項目１９に記載の装置。
（項目２１）
前記生体検出ユニットは、前記画像のモーダル分類結果および前記画像特徴情報に基づいて、前記画像中の目標対象が生体であるか否かを決定するように構成されることを特徴とする、
項目１９または２０に記載の装置。
（項目２２）
前記生体検出ユニットは、
前記画像特徴情報と前記画像のモーダル分類結果を合併して、合併結果を取得し、
前記合併結果に基づいて、前記画像中の目標対象が生体であるか否かを決定するように構成されることを特徴とする、
項目２１に記載の装置。
（項目２３）
前記生体検出ユニットは、
前記画像特徴情報に基づいて前記少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率を取得するように構成される真偽予測確率モジュールと、
前記モーダル分類結果および前記少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定するように構成される結果決定モジュールと、を含むことを特徴とする、
項目２１に記載の装置。
（項目２４）
前記モーダル分類結果は、前記画像が前記少なくとも１つのモーダルにおける各モーダルに属する分類確率を含み、
前記結果決定モジュールは、前記少なくとも１つのモーダルにおける各モーダルの分類確率を前記各モーダルに対応する重み値として、前記少なくとも１つのモーダルにおける各モーダルの真偽予測確率に対して加重加算を実行して、目標真偽予測確率を取得し、前記目標真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定するように構成されることを特徴とする、
項目２３に記載の装置。
（項目２５）
前記結果決定モジュールは、前記モーダル分類結果および前記少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定するように構成され、具体的には、
前記結果決定モジュールは、前記モーダル分類結果に含まれる少なくとも１つのモーダルにおける各モーダルに対応する分類確率に基づいて、前記少なくとも１つの真偽予測確率から目標真偽予測確率を決定し、
前記目標真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定するように構成されることを特徴とする、
項目２３に記載の装置。
（項目２６）
前記結果決定モジュールは、前記モーダル分類結果に含まれる少なくとも１つのモーダルにおける各モーダルに対応する分類確率に基づいて、前記少なくとも１つの真偽予測確率から目標真偽予測確率を決定するように構成され、具体的には、
前記モーダル分類結果に含まれる少なくとも１つの分類確率にプリセット確率より大きいか等しい分類確率が存在することに応じて、前記結果決定モジュールは、前記プリセット確率より大きいか等しい分類確率に対応するモーダルを目標モーダルとして決定し、前記目標モーダルの真偽予測確率を前記目標真偽予測確率として決定するように構成されることを特徴とする、
項目２５に記載の装置。
（項目２７）
デュアルチャネルカメラによって画像を収集して、前記画像を取得するように構成される画像収集ユニットを更に含むことを特徴とする、
項目１９〜２６のいずれか１項に記載の装置。
（項目２８）
前記少なくとも１つのモーダルは、デュアルチャネルモーダルおよびＲＧＢモーダルを含むことを特徴とする、
項目２７に記載の装置。
（項目２９）
前記装置は、生体検出ネットワークを使用して実現され、
サンプルデータセットに基づいて初期生体検出ネットワークをトレーニングして、前記生体検出ネットワークを取得するように構成されるネットワークトレーニングユニットであって、前記サンプルデータセットは、少なくとも２つのモーダルのサンプル画像を含むネットワークトレーニングユニットを更に含むことを特徴とする、
項目１９〜２８のいずれか１項に記載の装置。
（項目３０）
生体検出装置であって、
第１のモーダル画像を取得するように構成される画像取得ユニットと、
生体検出ネットワークによって前記画像に対して生体検出を実行して、前記画像中の目標対象が生体であるか否かを決定するように構成される目標検出ユニットであって、前記生体検出ネットワークは、サンプル画像セットに基づいて初期生体検出ネットワークをトレーニングすることにより取得され、前記サンプル画像セットは、前記第１のモーダルサンプル画像および第２のモーダルサンプル画像が含まれる目標検出ユニットと、を含むことを特徴とする、前記生体検出装置。
（項目３１）
前記目標検出ユニットは、生体検出ネットワークによって前記画像に対して特徴抽出を実行して、画像特徴情報を取得し、前記画像特徴情報に基づいて、生体検出ネットワークによって前記画像中の目標対象が生体であるか否かを決定するように構成されることを特徴とする、
項目３０に記載の装置。
（項目３２）
前記サンプル画像セット中のサンプル画像に対して特徴抽出を実行して、サンプル特徴情報を取得し、前記サンプル特徴情報に基づいて、前記サンプル画像のサンプルモーダル分類結果を決定し、前記サンプルモーダル分類結果は、前記サンプル画像が少なくとも１つのモーダル中のサンプルモーダルに対応することを指示し、前記サンプルモーダル分類結果に基づいて、前記サンプル画像の予測真偽結果を決定し、前記予測真偽結果および前記サンプル画像のタグ付きの真偽情報に基づいて、前記初期生体検出ネットワークのネットワークパラメータを調整するように構成される検出ネットワークトレーニングユニットを更に含むことを特徴とする、
項目３０または３１に記載の装置。
（項目３３）
前記検出ネットワークトレーニングユニットは、前記サンプル特徴情報に基づいて前記サンプル画像のサンプルモーダル分類結果を決定する場合、前記サンプル特徴情報に基づいて、前記サンプル画像が前記第１のモーダルに属する分類確率および前記サンプル画像が前記第２のモーダルに属する分類確率を決定し、前記サンプル画像が前記第１のモーダルに属する分類確率および前記サンプル画像が前記第２のモーダルに属する分類確率に基づいて、前記サンプル画像の属するサンプルモーダルを決定するように構成されることを特徴とする、
項目３２に記載の装置。
（項目３４）
前記検出ネットワークトレーニングユニットは、前記サンプルモーダル分類結果に基づいて、前記サンプル画像の予測真偽結果を決定する場合、前記サンプルモーダル分類結果および前記サンプル特徴情報に基づいて、前記サンプル画像の予測真偽結果を決定するように構成されることを特徴とする、
項目３１または３２に記載の装置。
（項目３５）
前記検出ネットワークトレーニングユニットは、前記サンプルモーダル分類結果および前記サンプル特徴情報に基づいて、前記サンプル画像の予測真偽結果を決定する場合、前記サンプル特徴情報と前記サンプル画像のサンプルモーダル分類結果を合併して、サンプル合併結果を取得し、前記サンプル合併結果に基づいて、前記サンプル画像の予測真偽結果を決定するように構成されることを特徴とする、
項目３４に記載の装置。
（項目３６）
前記第１のモーダルは、近赤外線モーダルであり、前記第２のモーダルは、ＲＧＢモーダルであることを特徴とする、
項目３０〜３５のいずれか１項に記載の装置。
（項目３７）
電子機器であって、
項目１９〜２９のいずれか１項に記載の生体検出装置または項目３０〜３６のいずれか１項に記載の生体検出装置を備えるプロセッサを含むことを特徴とする、前記電子機器。
（項目３８）
電子機器であって、
実行可能命令を記憶するように構成されるメモリと、
前記メモリと通信して、前記実行可能命令を実行することによって、項目１〜１１のいずれか１項に記載の生体検出方法または項目１２〜１８のいずれか１項に記載の生体検出方法の動作を実現するように構成されるプロセッサと、を含むことを特徴とする、前記電子機器。
（項目３９）
コンピュータ可読命令を記憶するように構成されるコンピュータ可読記憶媒体であって、
前記命令が実行される時に、項目１〜１１のいずれか１項に記載の生体検出方法または項目１２〜１８のいずれか１項に記載の生体検出方法の動作を実行することを特徴とする、前記コンピュータ可読記憶媒体。
（項目４０）
コンピュータ可読コードを含むコンピュータプログラム製品であって、
前記コンピュータ可読コードがデバイス上で実行される時に、前記デバイス中のプロセッサは、項目１〜１１のいずれか１項に記載の生体検出方法または項目１２〜１８のいずれか１項に記載の生体検出方法を実現するための命令を実行することを特徴とする、前記コンピュータプログラム製品。

本開示の前記実施例によって提供される生体検出方法及び装置、電子機器、並びにコンピュータ可読記憶媒体によれば、収集された画像に対して特徴抽出を実行して、画像特徴情報を取得し、画像特徴情報に基づいて、画像のモーダル分類結果を決定し、モーダル分類結果は、画像が少なくとも１つのモーダル中の目標モーダルに対応することを指示し、画像のモーダル分類結果に基づいて、画像中の目標対象が生体であるか否かを決定し、画像のモーダルを予測し、モーダル分類結果を参照して目標対象が生体であるか否かを判断することによって、異なるモーダルへの生体検出の互換性が向上し、検出結果がより正確になる。

以下、図面及び実施例を通じて本開示の技術的手段をさらに詳しく説明する。

明細書の一部を構成する図面は、本開示の実施例を説明し、その説明と共に本開示の原理を解釈することに用いられる。図面を参照し、以下の詳細な説明により本開示をより明確に理解することができる。
本開示の実施例によって提供される生体検出方法のフローチャートである。 本開示の実施例によって提供される生体検出ネットワークのトレーニング過程の概略フローチャートである。 本開示の実施例によって提供される生体検出ネットワークの概略構造図である。 本開示の実施例の生体検出装置の概略構造図である。 本開示の生体検出方法の一例の概略フローチャートである。 本開示の実施例の別の生体検出装置の概略構造図である。 本開示の実施例の技術的手段を実現するための電子機器の一例の概略構造図である。

ここで、図面を参照しながら本開示の様々な例示的な実施例を詳細に説明する。なお、特に断らない限り、これらの実施例で記述した部材及びステップの相対的配置、数式及び値は、本開示の範囲を限定するものではないことに注意すべきである。同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。

以下の少なくとも１つの例示的な実施例に対する説明は、実際には、説明的なものに過ぎず、本開示及びその適用または使用へのなんらの制限にもならない。関連分野の当業者に既知の技術、方法及び機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法及び機器は明細書の一部と見なすべきである。

なお、類似する符号及び英文字は以下の図面において類似項目を表し、従って、ある一項が１つの図面において定義されれば、後続の図面においてそれをさらに説明する必要がないことに注意すべきである。

関連技術では、センサの観点から区別されると、カメラには主に単眼カメラと双眼カメラが含まれる。

単眼カメラには、ＲＧＢカメラ、近赤外線カメラ、及び可視光帯域と近赤外線帯域の光を同時に通して画像を重ねあわせることが可能なデュアルチャネルカメラが含まれるが、これらに限定されない。以下、近赤外線カメラとデュアルチャネルカメラを含むすべての非ＲＧＢカメラをまとめて新規な単眼カメラと呼ぶ。近赤外線カメラとデュアルチャネルカメラの両方ともアクティブ光源が装備され、暗い光の下でアクティブに照明することで鮮明な画像を得ることができ、通常のＲＧＢカメラでは暗い光の下でのイメージング不良の問題を解決した。しかしながら、両者には、次のような重要な相違もあり、即ち、近赤外線カメラは、使用するたびにアクティブな光を発する必要があり、これに対し、デュアルチャネルカメラは、必要に応じてアクティブ光源をオンにするかどうかを制御することができ、アクティブ光源がオフ状態にあるデュアルチャネル画像とＲＧＢ画像が顕著な相違が無く、通常、電力節約の理由から、デュアルチャネルカメラは、暗い光の条件下（例えば外部照度が照度閾値を下回るなど）でのみアクティブ光源をオンにする。

ハードウェアイメージングの原理が異なるため、近赤外線画像でも、アクティブ光源をオンにしたデュアルチャネル画像でも、ＲＧＢ画像とは大きく異なっている。本開示は、異なるイメージング原理に基づいて得られた画像を異なる「モーダル」（ｍｏｄａｌ）による画像と称する。

本開示の実施例は、デュアルチャネルカメラによって収集された画像に応用でき、デュアルチャネルカメラによって取得された画像は２種類のモーダル、即ちデュアルチャネルモーダルおよびＲＧＢモーダルに対応し、デュアルチャネルカメラのアクティブ光源がオンした時に収集された画像はデュアルチャネルモーダルに属し、アクティブ光源がオフした時に収集された画像はＲＧＢモーダルに属する。または、本開示の実施例は、他のタイプの新規な単眼カメラによって収集された画像にも応用され得、本開示の実施例はこれに限定されない。

図１は、本開示の実施例によって提供される生体検出方法のフローチャートである。

ステップ１１０では、収集された画像に対して特徴抽出を実行して、画像特徴情報を取得する。

いくつかの選択可能な実施例では、デュアルチャネルカメラまたは他のタイプの新規な単眼カメラによって画像収集を行い、目標対象を含む画像を取得し、該目標対象が生体であるか否かを検出し、例えば該目標対象が本物の人間の顔であるかを検出し、顔検出偽造を防止することができる。

選択可能に、画像に対する特徴抽出は深層ニューラルネットワークまたは他のタイプの機械学習アルゴリズムによって実現され得、特徴抽出の具体的な実現は本開示の実施例では限定されない。

特徴抽出により得られた画像特徴情報は、特徴マップまたは特徴テンソルまたは少なくとも１つのチャンネルにおける各チャンネルに対応する特徴行列などであり得、本開示の実施例では限定されない。

ステップ１２０では、画像特徴情報に基づいて、画像のモーダル分類結果を決定する。

そのうち、モーダル分類結果は、画像が少なくとも１つのモーダルにおける目標モーダルに対応することを指示する。いくつかの選択可能な実施例では、該少なくとも１つのモーダルは、予め設定された複数のモーダルであり得、モーダル分類結果は画像が該複数のモーダル中のどのモーダルに属するかを示す。

ステップ１２０では、様々な方法で画像のモーダル分類結果を決定することができる。いくつかの選択可能な実施例では、画像特徴情報に基づいて分類処理を実行して、画像が少なくとも１つのモーダルにおける各モーダルに属する分類確率を取得し、少なくとも１つのモーダルにおける各モーダルの分類確率に基づいて、画像の属する目標モーダルを決定する。

具体的には、画像特徴情報に基づいて各モーダルの分類確率を取得することができ、そのうち、モーダル分類確率は、該画像が該モーダルに属する確率を示し、例えば、少なくとも１つのモーダルが２つのモーダル、即ちモーダル１およびモーダル２を指し得、画像特徴情報に基づいて２つの分類確率を取得し、そのうち、モーダル１の分類確率が０．９であり、モーダル２の分類確率が０．５であり、この時、モーダル１の分類確率およびモーダル２の分類確率に基づいて画像の属するモーダルを決定することができる。一例では、閾値を予め設定し、該閾値に達した分類確率に対応するモーダルを画像の属するモーダルとして決定し、例えば、閾値を０．８に設定し、この時、モーダル１の分類確率０．９が閾値よりも大きく、モーダル２の分類確率が閾値よりも小さい場合、モーダル１を画像の属するモーダル、即ち目標モーダルとすることができる。別の例では、例えば２つの分類確率中の最大の数値に対応するモーダルを画像の属するモーダルとして決定することができる。本開示の実施例では、少なくとも１つの分類確率における各分類確率に基づいて目標モーダルを決定する具体的な実現を限定しない。

他の選択可能な実施例では、この２つの分類確率を直接モーダル分類結果としてもよく、即ちモーダル分類結果には少なくとも１つのモーダルにおける各モーダルに対応する分類確率が含まれる。この時、選択可能に、モーダル分類結果における各モーダルに対応する分類確率に基づいて、画像中の目標対象の生体検出結果を決定することができ、例えば、各モーダルに対応する分類確率を該モーダルの重み値として、生体検出結果を取得しても良いが、本開示の実施例では限定されない。

選択可能に、本開示の実施例は、画像特徴情報に基づいてモーダル分類器を使用して、画像に対して分類処理を実行して、正確なモーダル分類結果を取得することができ、モーダル分類器は分類ネットワークであり得、該分類ネットワークは画像の特徴情報を入力として、少なくとも１つのモーダルにおける各モーダルの分類確率または画像のモーダル分類結果を出力してもよく、本開示の実施例では限定されない。

ステップ１３０では、画像のモーダル分類結果に基づいて、画像中の目標対象が生体であるか否かを決定する。

本開示の実施例では、画像の属するモーダルに基づいて画像の生体検出結果を決定することにより、異なるモーダル画像に対するより適切な検出に寄与し、生体検出の正確度が向上する。

本開示の実施例によって提供される生体検出方法によれば、収集された画像に対して特徴抽出を実行して、画像特徴情報を取得し、画像特徴情報に基づいて、画像のモーダル分類結果を決定し、モーダル分類結果は、画像が少なくとも１つのモーダルにおける目標モーダルに対応することを指示し、画像のモーダル分類結果に基づいて、画像中の目標対象が生体であるか否かを決定し、画像のモーダルを予測し、モーダル分類結果を参照して目標対象が生体であるか否かを判断することによって、生体検出の異なるモーダルへの互換性が向上し、検出結果がより正確になる。

いくつかの選択可能な実施例では、ステップ１３０は、
画像のモーダル分類結果および画像特徴情報に基づいて、画像中の目標対象が生体であるか否かを決定することを含む。

この時、目標対象が生体であるか否かを決定する場合、モーダル分類結果に基づくだけでなく、画像特徴情報も参照して決定し、モーダル分類結果は画像特徴情報に基づいて取得された現在の画像がどのモーダルに属するかを示す結果であり、画像特徴情報は画像の特徴を表し、画像特徴情報とモーダル分類結果の組み合わせにより得られた生体検出結果がより正確になる。

選択可能に、画像のモーダル分類結果および画像特徴情報に基づいて、画像中の目標対象が生体であるか否かを決定することは、画像特徴情報と画像のモーダル分類結果を合併して、合併結果を取得することと、合併結果に基づいて、画像中の目標対象が生体であるか否かを決定することとを含む。

選択可能に、合併は、モーダル分類結果と画像特徴情報とを融合または接続して行われ得、例えば、モーダル分類結果と画像特徴情報とを次元で重ね合わせることであってもよく、または画像特徴情報とモーダル分類結果とを要素ごとに加算し、または他の形式の合併であってもよいが、本開示の実施例では限定されない。

選択可能に、合併結果を真偽分類器に入力してよく、そのうち、選択可能に、真偽分類器は、合併結果に基づいて分類確率ベクトルを取得し、分類確率ベクトルは２つの値を含み、一方の値は目標が生体である確率を示し、他方の値は目標が生体ではない確率を示し、これらの２つの値に基づいて生体検出結果を決定する。一例では、これらの２つの値を比較することで生体検出結果を決定し、例えば、生体である確率が生体ではない確率よりも大きい場合には、該目標対象が生体であると決定することができ、また、例えば、生体ではない確率が生体である確率よりも大きい場合には、該目標対象が生体ではないと決定することができる。別の例では、確率とプリセット閾値を比較することで目標対象が生体であるか否かを決定することができ、例えば、生体である確率がプリセット閾値よりも大きい場合には、目標対象が生体であると決定することなどができるが、本開示の実施例では限定されない。

いくつかの選択可能な実施例では、モーダル分類結果は目標モーダルの識別情報を含み、それに対応して、画像のモーダル分類結果および画像特徴情報に基づいて、画像中の目標対象が生体であるか否かを決定することは、
目標モーダルに基づいて画像特徴情報に対して処理を行い、目標モーダルに対応する真偽予測確率を取得することと、
目標モーダルに対応する真偽予測確率に基づいて、画像中の目標対象が生体であるか否かを決定することと、を含む。

この時、目標モーダルの違いに基づいて画像特徴情報に対して異なる処理を行うことができ、例えば、異なる真偽分類器を使用して異なるモーダルの画像特徴情報に対して処理を行い、ここで、異なる真偽分類器が異なるネットワークパラメータに対応し、または異なる真偽分類アルゴリズムや異なるアルゴリズムパラメータを使用して異なるモーダルの画像特徴情報に対して処理を行い、真偽分類確率を取得してもよいが、本開示の実施例では限定されない。

他のいくつかの選択可能な実施例では、画像のモーダル分類結果および画像特徴情報に基づいて、画像中の目標対象が生体であるかを決定することは、
画像特徴情報に基づいて少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率を取得することと、
モーダル分類結果および少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、画像中の目標対象が生体であるか否かを決定することと、を含む。

本開示の実施例では、各モーダルに対応する真偽予測確率をそれぞれ取得して、異なるモーダルに対応する真偽予測確率およびモーダル分類結果に基づいて、該画像中の目標対象が生体であるか否かを決定するので、生体検出の精度が向上する。

選択可能に、真偽分類器により画像特徴情報を処理して真偽予測確率を取得することができる。いくつかの選択可能な実施例では、真偽分類器には異なるモーダルをそれぞれ処理する少なくとも１つのサブ分類器が含まれ、選択可能に、真偽分類器中の少なくとも１つのサブ分類器によって画像特徴情報に対して分類処理を実行して、少なくとも１つの真偽予測確率を取得することができる。そして、モーダル分類器によって得られたモーダル分類結果および真偽分類器によって得られた真偽予測確率に基づいて、目標対象が生体であるか否かを決定する。

他のいくつかの選択可能な実施例では、モーダル分類結果には画像が少なくとも１つのモーダルにおける各モーダルに属する分類確率が含まれ、
それに応じて、モーダル分類結果および少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、画像中の目標対象が生体であるか否かを決定することは、
少なくとも１つのモーダルにおける各モーダルの分類確率を該各モーダルに対応する重み値として、少なくとも１つのモーダルにおける各モーダルの真偽予測確率を加重加算して、目標真偽予測確率を取得することと、
目標真偽予測確率に基づいて、画像中の目標対象が生体であるか否かを決定することと、を含む。

本開示の実施例は、各モーダルに対応する分類確率を重み値として使用して、各モーダルに対応する真偽予測確率をソフトに重み付け（即ち加重加算）、ソフト重み付けの結果を目標対象が生体であるか否かの確率ベクトルとし、選択可能に、出力した確率ベクトル中の２つの値の合計が１になるようにソフトに重み付けの結果を正規化することもできるが、本開示の実施例はこれに限定されない。

他のいくつかの選択可能な実施例では、モーダル分類結果および少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、画像中の目標対象が生体であるか否かを決定することは、
モーダル分類結果に含まれる少なくとも１つのモーダルにおける各モーダルに対応する分類確率に基づいて、少なくとも１つの真偽予測確率から目標真偽予測確率を決定し、目標真偽予測確率に基づいて、画像中の目標対象が生体であるか否かを決定することを含む。

選択可能に、モーダル分類結果に含まれる少なくとも１つの分類確率に基づいて、少なくとも１つのモーダルから目標モーダルを決定し、目標モーダルの真偽予測確率を目標真偽予測確率として決定することができる。例えば、少なくとも１つの分類確率にプリセット確率より大きいか等しい分類確率が存在することに応じて、プリセット確率より大きいか等しい分類確率に対応するモーダルを目標モーダルとして決定することができるが、本開示の実施例はこれに限定されない。

画像に対応するモーダルを決定するために、少なくとも１つの分類確率をそれぞれプリセット確率と比較し、プリセット確率より大きいか等しい分類確率に対応するモーダルを目標モーダルとして決定してもよく、または少なくとも１つの分類確率を大きさで順序付けて、最大の分類確率を目標モーダルとして決定してもよいが、本開示の実施例では具体的な目標モーダル決定方式を限定しない。

本開示の実施例は、少なくとも１つのモーダル分類確率に基づいて少なくとも１つのモーダルに対応する真偽予測確率から１つの真偽予測確率を画像に対応する目標真偽予測確率として決定し、ここで、少なくとも１つのモーダル分類確率から決定された１つのモーダルは該画像のモーダルであり、該モーダルに基づいてその対応の真偽予測確率を取得することができ、このような方式はソフト重み付けの特別な形式として、１つのモーダルのみの単眼カメラによって取得された画像に対して処理することができ、複数のモーダルを含む単眼カメラによって取得された画像に対して処理することもできる。

いくつかの選択可能な実施例では、本開示の実施例方法は生体検出ネットワークによって実現される。選択可能に、生体検出ネットワークによって収集された画像に対して生体検出を実行して、画像の生体検出結果を取得する。例えば、収集された画像を直接生体検出ネットワークに入力し生体検出を実行して、または収集された画像を予備処理した後、生体検出ネットワークに入力して生体検出を行うことができるが、本開示の実施例では限定されない。

ステップ１１０の前に、前記方法は、サンプルデータセットに基づいて初期生体検出ネットワークをトレーニングして、前記生体検出ネットワークを取得することを更に含む。ここで、サンプルデータセットは少なくとも２つのモーダルサンプル画像を含み、サンプル画像がサンプル画像中の目標対象が生体であるか否かを示すタグ付きの真偽情報を有する。

より良い生体検出を実現するために、生体検出ネットワークをトレーニングする必要があり、また異なるモーダルの分類が必要とされるため、サンプルデータセットには、ネットワーク中のモーダル分類器をトレーニングするように、少なくとも２つのモーダルのサンプル画像が含まれる。

選択可能に、生体検出ネットワークには深層ニューラルネットワーク、モーダル分類器および真偽分類器が含まれ、
サンプルデータセットに基づいて初期生体検出ネットワークをトレーニングして、前記生体検出ネットワークを取得するステップは、
深層ニューラルネットワークに基づいてサンプルデータセット中の各サンプル画像に対して特徴抽出を実行して、少なくとも２つのサンプル特徴情報を取得することと、
モーダル分類器に基づいて少なくとも２つのサンプル特徴情報に対してそれぞれ処理し、少なくとも２つのサンプルモーダル分類結果を取得することと、
真偽分類器を使用して、少なくとも２つのサンプルモーダル分類結果および少なくとも２つのサンプル特徴情報に基づいて、サンプルデータセット中の各サンプル画像の予測真偽結果をそれぞれ取得することと、
予測真偽結果およびタグ付きの真偽情報に基づいて初期生体検出ネットワークをトレーニングして、前記生体検出ネットワークを取得することと、を含む。

本開示の実施例では、パラメータ共有の深層ニューラルネットワークによってすべてのサンプル画像に対して特徴抽出を実行して、モーダル分類器を使用して特徴に基づいて異なるモーダル分類結果を取得し、真偽分類器を使用してサンプル画像の真偽結果を予測することによって、深層ニューラルネットワーク、モーダル分類器及び真偽分類器のトレーニングを実現する。

図２は、本開示の実施例によって提供される生体検出ネットワークのトレーニング過程の概略フローチャートである。図２に示すように、該生体検出ネットワークは、深層ニューラルネットワーク、モーダル分類器及び真偽分類器を含み、モーダル１データをデュアルチャネルカメラによって取得されたデュアルチャネルモーダル画像とし、モーダル２データをデュアルチャネルカメラによって取得されたＲＧＢモーダル画像とする。モーダル１データおよびモーダル２データをトレーニングされた重み値を共有する深層ニューラルネットワークによって処理した後、それぞれの特徴ベクトルを取得する。２つの特徴ベクトルには、類似の偽の手掛かり情報が含まれ、これに加えて、それぞれのモーダルの固有情報も暗黙的に含まれる。例えば、デュアルチャネルモーダル画像はかなり赤みがかったものになる。モーダル１データおよびモーダル２データの特徴ベクトルを使用して、モーダル分類器によってサンプルモーダル分類結果を取得して、サンプルモーダル分類結果および特徴ベクトルを真偽分類器に入力し、真偽分類器によって予測真偽結果（即ちサンプル画像が偽の特徴を含むかどうかを判断）を取得し、予測真偽結果およびタグ付きの真偽情報に基づいて損失を決定することができ、決定された損失に基づいて真偽分類器、モーダル分類器および重み値共有の深層ニューラルネットワークのトレーニングを実現する。

図３は、本開示の実施例によって提供される生体検出ネットワークの概略構造図である。図３に示すように、本開示の実施例では、トレーニングされた生体検出ネットワークの適用時に、生体検出ネットワークは重み値共有の深層ニューラルネットワーク、モーダル分類器及び真偽分類器を含み、画像を重み値共有の深層ニューラルネットワークに入力し、画像に対応する画像特徴情報を取得し、画像特徴情報をモーダル分類器に入力してモーダル分類結果を取得し、モーダル分類結果および画像特徴情報に基づいて真偽分類器の処理を介して目標対象が生体であるか否かの判別結果を取得することができる。

デュアルチャネルカメラは外部光源のオン／オフの時に２つのモーダル画像を取得し、アルゴリズムの使用中に２つのモーダルの両方が現われ得る。

前記実施例によって提供される生体検出方法によればマルチモーダルによる顔偽造防止方法を実現でき、該方法の使用中により高い精度を得るためにモーダル分類器の出力を融合することができる。言い換えれば、マルチモーダルによる顔偽造防止方法の真偽分類器の入力には複数の真偽予測確率のうちの特定の１つの真偽予測確率（ベクトルとして表すことができる）およびその対応のモーダル分類結果が含まれ、真偽分類器の出力データは偽の特徴を含む確率であり、偽の特徴を含む確率に基づいて収集された顔が生体であるか否かを決定することができる。具体的な実施形態は、１．モーダルデータに対応する真偽予測確率と予測のモーダル分類結果を合併して新しい特徴ベクトルとすることと、２．モーダルデータに対応する真偽予測確率を種々の可能なモーダルに従ってそれぞれ確率予測し、予測のモーダル分類結果を利用して確率をソフトに重み付けることと、３．モーダルデータに対応する真偽予測確率を種々の可能なモーダルに従ってそれぞれ確率予測し、予測のモーダル分類結果を利用して確率をハード重み付けること（即ち、予測のモーダル番号に対応する確率を直接最終の判定として選択し、モーダルデータには偽の情報が含まれるかを判断することに用いられる）と、を含むが、これらに限定されない。

本開示の実施例は、デュアルチャネル単眼カメラが外部光源のオン／オフ時のイメージングの差異が大きいという特性について、アルゴリズムが使用される時に２つの異なるモーダルデータ間に大きな差があり、統一の閾値を使用できないという問題を解決するためのモーダル分類器を提供する。本開示は、複数の真偽分類器の実施形態を提供し、モーダル分類器の出力情報を十分に利用する。関連技術における真偽分類器は、単に特徴を入力として受け取り、モーダル関連情報を考慮しない。

重み値共有の深層ニューラルネットワークを使用することによって、異なるモーダルのデータを十分に利用し一般化能力がより高いアルゴリズムを得ることができる。

モーダル分類器を利用することによって、データのモーダルを予測し、真偽分類器の追加入力とすることができ、真偽分類器の２つのモーダルデータの互換性問題を解決した。

具体的な応用において、本開示のマルチモーダル方法をデュアルチャネル単眼カメラを有する携帯電話の顔認証によるロック解除製品に使用することができる。本開示のマルチモーダルによる顔偽造防止方法を、顔偽造防止のためにデュアルチャネルカメラまたは他のマルチモーダル単眼カメラを有するカスタマイズされたデバイスに使用することができる。本開示のモーダル分類器は外部光源がオンになっているかどうかを予測するために用いることもでき、このような情報は外部に提供でき、カメラ機能と外部光源の同期が十分にできていないハードウェアにさらに役立てる。

当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完成できることを理解でき、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ可読記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含むステップを実行する。

図４は、本開示の実施例の生体検出装置の概略構造図である。いくつかの実施例では、該装置は本開示の各方法実施例を実現するように構成される。図４に示すように、該装置は以下のユニットを含む。

特徴抽出ユニット４１は、収集された画像に対して特徴抽出を実行して、画像特徴情報を取得するように構成される。

いくつかの選択可能な実施例では、デュアルチャネルカメラまたは他のタイプの新規な単眼カメラによって画像収集を実行して、画像を取得することができ、ここで、該画像には目標対象が含まれ、該目標対象が生体であるか否かを検出でき、例えば該目標対象が真の顔であるかを検出でき、偽の顔の誤認を防止することができる。

モーダル分類ユニット４２は、画像特徴情報に基づいて、画像のモーダル分類結果を決定するように構成される。

ここで、モーダル分類結果は画像が少なくとも１つのモーダルにおける目標モーダルに対応することを示す。いくつかの選択可能な実施例では、該少なくとも１つのモーダルは予め設定された複数のモーダルであり得、モーダル分類結果は画像が該複数のモーダル中のどのモーダルに属するかを示す。

生体検出ユニット４３は、画像のモーダル分類結果に基づいて、画像中の目標対象が生体であるか否かを決定するように構成される。

本開示の前記実施例によって提供される生体検出装置によれば、収集された画像に対して特徴抽出を実行して、画像特徴情報を取得し、画像特徴情報に基づいて、画像のモーダル分類結果を決定し、モーダル分類結果は、画像が少なくとも１つのモーダルにおける目標モーダルに対応することを指示し、画像のモーダル分類結果に基づいて、画像中の目標対象が生体であるか否かを決定し、画像のモーダルを予測し、モーダル分類結果を参照して判断目標対象が生体であるか否かを決定することによって、生体検出の異なるモーダルへの互換性が向上し、検出結果がより正確になる。

いくつかの選択可能な実施例では、モーダル分類ユニット４２は、画像特徴情報に基づいて分類処理を実行して、画像が少なくとも１つのモーダルにおける各モーダルに属する分類確率を取得し、少なくとも１つのモーダルにおける各モーダルの分類確率に基づいて、画像の属する目標モーダルを決定するように構成される。

いくつかの選択可能な実施例では、画像特徴情報に基づいて各モーダルの分類確率を取得することができ、ここで、モーダル分類確率は該画像が該モーダルに属する確率を示し、例えば、少なくとも１つのモーダルが２つのモーダル、即ちモーダル１およびモーダル２を指し得、画像特徴情報に基づいて２つの分類確率を取得し、そのうち、モーダル１の分類確率が０．９であり、モーダル２の分類確率が０．５であり、この時、モーダル１の分類確率及びモーダル２の分類確率に基づいて画像の属するモーダルを決定することができる。一例では、閾値を予め設定し、該閾値に達した分類確率に対応するモーダルを画像の属するモーダルとして決定し、例えば、設定閾値が０．８であり、この時、モーダル１の分類確率０．９が閾値よりも大きく、モーダル２の分類確率が閾値よりも小さい場合、モーダル１を画像の属するモーダル、即ち目標モーダルとすることができる。別の例では、２つの分類確率中の最大の数値に対応するモーダルを画像の属するモーダルとして決定することができる。本開示の実施例は、少なくとも１つの分類確率における各分類確率に基づいて目標モーダルを決定する具体的な方式を限定しない。

他の選択可能な実施例では、これらの２つの分類確率を直接モーダル分類結果とし、即ちモーダル分類結果には少なくとも１つのモーダルにおける各モーダルに対応する分類確率が含まれる。この時、選択可能に、モーダル分類結果における各モーダルに対応する分類確率に基づいて、画像中の目標対象の生体検出結果を決定することができ、例えば、各モーダルに対応する分類確率を該モーダルの重み値として、生体検出結果を取得しても良いが、本開示の実施例では限定されない。

いくつかの選択可能な実施例では、生体検出ユニット４３は、画像のモーダル分類結果および画像特徴情報に基づいて、画像中の目標対象が生体であるか否かを決定するように構成される。

この時、目標対象が生体であるか否かを決定する時に、モーダル分類結果に基づくだけでなく、画像特徴情報も参照して決定し、モーダル分類結果は画像特徴情報に基づいて取得された現在の画像がどのモーダルに属するかを示す結果であり、画像特徴情報は画像の特徴を表し、画像特徴情報とモーダル分類結果の組み合わせにより得られた生体検出結果がより正確になる。

選択可能に、１つの選択可能な実施例では、生体検出ユニット４３は、画像特徴情報と画像のモーダル分類結果を合併して、合併結果を取得し、合併結果に基づいて、画像中の目標対象が生体であるか否かを決定するように構成される。

選択可能に、別の選択可能な実施例では、生体検出ユニット４３は以下のモジュールを含む。

真偽予測確率モジュールは、画像特徴情報に基づいて少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率を取得するように構成される。

結果決定モジュールは、モーダル分類結果および少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、画像中の目標対象が生体であるか否かを決定するように構成される。

選択可能に、モーダル分類結果には画像が少なくとも１つのモーダルにおける各モーダルに属する分類確率が含まれる。

結果決定モジュールは、少なくとも１つのモーダルにおける各モーダルの分類確率を各モーダルに対応する重み値として、少なくとも１つのモーダルにおける各モーダルの真偽予測確率を加重加算し、目標真偽予測確率を取得して、目標真偽予測確率に基づいて、画像中の目標対象が生体であるか否かを決定するように構成される。

選択可能に、結果決定モジュールは、モーダル分類結果および少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、画像中の目標対象が生体であるか否かを決定する時に、モーダル分類結果に含まれる少なくとも１つのモーダルにおける各モーダルに対応する分類確率に基づいて、少なくとも１つの真偽予測確率から目標真偽予測確率を決定するように構成られ、結果決定モジュールは目標真偽予測確率に基づいて、画像中の目標対象が生体であるか否かを決定する。

選択可能に、結果決定モジュールは、モーダル分類結果に含まれる少なくとも１つのモーダルにおける各モーダルに対応する分類確率に基づいて、少なくとも１つの真偽予測確率から目標真偽予測確率を決定するように構成られ、具体的には、モーダル分類結果に含まれる少なくとも１つの分類確率にプリセット確率より大きいか等しい分類確率が存在することに応じて、プリセット確率より大きいか等しい分類確率に対応するモーダルを目標モーダルとして決定し、目標モーダルの真偽予測確率を目標真偽予測確率として決定するように構成される。

選択可能に、本開示の実施例装置は、
デュアルチャネルカメラによって画像を収集して、画像を取得するための画像収集ユニットを更に含む。

選択可能に、少なくとも１つのモーダルにはデュアルチャネルモーダル及びＲＧＢモーダルが含まれる。

いくつかの選択可能な実施例では、本開示の実施例装置は生体検出ネットワークによって実現される。

本開示の実施例装置は、サンプルデータセットに基づいて初期生体検出ネットワークをトレーニングして、前記生体検出ネットワークを取得するように構成されるネットワークトレーニングユニットを更に含む。ここで、サンプルデータセットは少なくとも２つのモーダルサンプル画像を含み、サンプル画像はタグ付きの真偽情報を有し、タグ付きの真偽情報はサンプル画像中の目標対象が生体であるか否かを示す。

より良い生体検出を実現するために、生体検出ネットワークをトレーニングする必要があり、また異なるモーダルの分類が必要とされるため、サンプルデータセットには、ネットワーク中のモーダル分類器をトレーニングするように、少なくとも２つのモーダルのサンプル画像が含まれる。

図５は、本開示の生体検出方法の一例の概略フローチャートである。

ステップ５１０では、第１のモーダル画像を取得する。

選択可能に、近赤外線カメラまたは他のタイプの新規な単眼カメラ（即ち非ＲＧＢカメラ）によって目標対象の画像を収集する。この時、従来のＲＧＢカメラの暗い光の下でのイメージング品質が悪いという問題を解決したが、近赤外線カメラなどの新規な単眼カメラによって収集された画像はＲＧＢカメラによって収集された画像よりも入手し難い。新規な単眼カメラによって収集された画像データ（例えば近赤外線データ）はオンラインリソースがほとんどなく、新規な単眼カメラによって収集されたデータは量と多様性の点でＲＧＢデータよりもはるかに少ない。現在実用されている生体技術はいずれも深層学習によって実現され、データの量と多様性はアルゴリズムの一般化能力に重要な影響を及ぼす。したがって、本開示の実施例は生体検出のためのニューラルネットワークをトレーニングするとき、ＲＧＢデータを組み合わせて該ニューラルニューラルネットワークをクロスモーダルトレーニングすることによって、トレーニングデータの不足によるモデル性能の低下という問題を回避することができる。

ステップ５２０では、生体検出ネットワークによって前記画像に対して生体検出を実行して、画像中の目標対象が生体であるか否かを決定する。

ここで、生体検出ネットワークは、サンプル画像セットに基づいて初期生体検出ネットワークをトレーニングすることにより取得され、サンプル画像セットには第１のモーダルサンプル画像および第２のモーダルサンプル画像が含まれる。

本開示の実施例では、生体検出ネットワークは第１のモーダル画像に含まれる目標対象が生体であるか否かを検出するように構成られ、該生体検出ネットワークのトレーニングサンプルセットには第１のモーダルサンプル画像および第１のモーダルと異なる第２のモーダルサンプル画像が含まれ、ここで、選択可能に、該第２のモーダルサンプル画像の数は第１のモーダルサンプル画像の数以上であり得、クロスモーダルトレーニングを介したニューラルネットワークによって第１のモーダル画像の生体検出を実現する。

本開示の実施例では、生体検出ネットワークは様々な方法によって第１のモーダル画像の生体検出を実現することができる。いくつかの選択可能な実施例では、生体検出ネットワークは画像の特徴を抽出し、画像特徴情報を取得して、画像特徴情報に基づいて、画像中の目標対象が生体であるか否かを決定する。

いくつかの選択可能な実施例では、新規な単眼カメラによって収集された画像は第１のモーダル（近赤外線モーダル）に属し、例えば近赤外線カメラによって収集された画像は第１のモーダルに属し、第２のモーダルはＲＧＢモーダルであり、即ち、ＲＧＢカメラによって収集された画像は第２のモーダルに属する。トレーニングの過程で、赤外線カメラによって収集された画像を第１のモーダルデータとし、ＲＧＢデータを第２のモーダルデータとして、第１のモーダルデータと第２のモーダルデータとは視覚的に相違が大きいが、その内に含まれるいくつかの偽の生体の手掛かりが類似性を有する。例えば、紙の写真は画像において顕著なエッジが露出し、スクリーン写真は反射により局所の高輝度領域が発生するなどである。パラメータ共有の深層学習ネットワークおよび異なるモーダルデータの学習タスクによって、異なるモーダル間の類似な手掛かりを学習できる。ここで、第１のモーダルデータは第１のモーダルの固有の偽の手掛かりを提供し、第２のモーダルデータは多様の汎用の偽の手掛かりを提供する。異なるモーダルデータの協働作用によって最終的に深層学習ネットワークは第１のモーダルの固有の偽の情報を学習できるだけでなく、多様の汎用の偽の手掛かりを見ることもできるので、過剰適合によるアルゴリズムの一般化能力の低下には至らない。

本開示の実施例では、第２のモーダル画像を組み合わせて生体検出ネットワークをトレーニングすることによって、第１のモーダル画像の数が過度に少ないことによるトレーニング過程の過剰適合現象を防止し、トレーニングされた生体検出ネットワークはより正確に第１のモーダル画像の目標対象が生体であるか否かを判断することができる。

いくつかの選択可能な実施例では、サンプル画像セットに基づいて初期生体検出ネットワークをトレーニングするステップは、
サンプル画像に対して特徴抽出を実行して、サンプル特徴情報を取得することと、サンプル特徴情報に基づいて、サンプル画像が少なくとも１つのモーダルにおけるサンプルモーダルに対応することを示すサンプル画像のサンプルモーダル分類結果を決定することと、サンプルモーダル分類結果に基づいて、サンプル画像の予測真偽結果を決定することと、予測真偽結果およびサンプル画像のタグ付きの真偽情報に基づいて、前記初期生体検出ネットワークのネットワークパラメータを調整することと、を含む。

本開示の実施例では、生体検出ネットワークは初期生体検出ネットワークをトレーニングすることによって得られたものであり、トレーニング過程で、テンプレート画像は２つのモーダルを含むので、サンプルモーダル分類結果を組み合わせてサンプル画像の予測真偽結果を決定する必要があり、トレーニングを完了した後、初期生体検出ネットワーク中のモーダル分類の部分（例えばモーダル分類器）を除去して、本開示の生体検出のための生体検出ネットワークを得る。

選択可能に、サンプル特徴情報に基づいて、サンプル画像のサンプルモーダル分類結果を決定することは、
サンプル特徴情報に基づいて、サンプル画像が第１のモーダルに属する分類確率およびサンプル画像が第２のモーダルに属する分類確率を決定することと、サンプル画像が第１のモーダルに属する分類確率およびサンプル画像が第２のモーダルに属する分類確率に基づいて、サンプル画像の属するサンプルモーダルを決定することと、を含む。

具体的には、サンプル特徴情報に基づいて各モーダルの分類確率を取得することができ、ここで、モーダルの分類確率は該サンプル画像が該モーダルに属する確率を示し、例えば、少なくとも１つのモーダルは２つのモーダル、即ち第１のモーダルおよび第２のモーダルであり得、サンプル特徴情報に基づいて２つの分類確率を取得し、そのうち、第１のモーダル分類確率が０．９であり、第２のモーダル分類確率が０．５であり、この時、第１のモーダル分類確率および第２のモーダル分類確率に基づいてサンプル画像の属するモーダルを決定することができる。一例では、閾値を予め設定し、該閾値に達した分類確率に対応するモーダルをサンプル画像の属するモーダルとして決定し、例えば、閾値を０．８に設定し、この時に、第１のモーダル分類確率が閾値よりも大きい０．９であり、第２のモーダル分類確率が閾値よりも小さい場合には、第１のモーダルをサンプル画像の属するモーダル、即ち目標モーダルとすることができる。別の例では、２つの分類確率中の最大の数値に対応するモーダルをサンプル画像の属するモーダルとして決定することなどができる。本開示の実施例では少なくとも１つの分類確率における各分類確率に基づいて目標モーダルを決定する具体的な方式を限定しない。

他の選択可能な実施例では、これらの２つの分類確率を直接サンプルモーダル分類結果とし、即ちサンプルモーダル分類結果には少なくとも１つのモーダルにおける各モーダルに対応する分類確率が含まれる。この時、選択可能に、サンプルモーダル分類結果における各モーダルに対応する分類確率に基づいて、サンプル画像中の目標対象の予測真偽結果を決定することができ、例えば、各モーダルに対応する分類確率を該モーダルの重み値として、予測真偽結果を取得することができるが、本開示の実施例では限定されない。

選択可能に、本開示の実施例は、画像特徴情報に基づいてモーダル分類器を使用して画像に対して分類処理を実行して、正確なモーダル分類結果を取得することができ、モーダル分類器は分類ネットワークであり得、該分類ネットワークはサンプル特徴情報を入力とし、少なくとも１つのモーダルにおける各モーダルの分類確率またはサンプル画像のサンプルモーダル分類結果を出力することができるが、本開示の実施例では限定されない。

選択可能に、サンプルモーダル分類結果に基づいて、サンプル画像の予測真偽結果を決定することは、
サンプルモーダル分類結果およびサンプル特徴情報に基づいて、サンプル画像の予測真偽結果を決定することを含む。

本開示の実施例では、サンプル画像中の目標対象が生体であるか否かを決定する時に、サンプルモーダル分類結果に基づくだけでなく、サンプル特徴情報も参照して決定し、サンプルモーダル分類結果はサンプル特徴情報に基づいて取得された現在のサンプル画像がどのモーダルに属するかを示す結果であり、サンプル特徴情報はサンプル画像の特徴を表し、サンプル特徴情報とサンプルモーダル分類結果の組み合わせにより得られた予測真偽結果がより正確になることが記載されている。

選択可能に、サンプルモーダル分類結果およびサンプル特徴情報に基づいて、サンプル画像の予測真偽結果を決定することは、
サンプル特徴情報とサンプル画像のサンプルモーダル分類結果を合併して、サンプル合併結果を取得することと、
サンプル合併結果に基づいて、サンプル画像の予測真偽結果を決定することと、を含む。

選択可能に、合併はサンプルモーダル分類結果とサンプル特徴情報とを融合または接続して行われ得、例えば、サンプルモーダル分類結果とサンプル特徴情報とを次元で重ね合わせ、またはサンプル特徴情報とサンプルモーダル分類結果を要素ごとに加算し、または他の形式の合併であり得るが、本開示の実施例では限定されない。

選択可能に、サンプル合併結果を真偽分類器に入力することができ、ここで、選択可能に、真偽分類器はサンプル合併結果に基づいて分類確率ベクトルを取得し、分類確率ベクトルには２つの値が含まれ、一方の値は目標が生体である確率を示し、他方の値は目標が生体ではない確率を示し、これらの２つの値に基づいて予測真偽結果を決定する。一例では、これらの２つの値を比較することによって予測真偽結果を決定し、例えば、生体である確率が生体ではない確率よりも大きい場合、該目標対象が生体であると予測することができ、また、例えば、生体ではない確率が生体である確率よりも大きい場合、該目標対象が生体ではないと予測することができる。別の一例では、確率とプリセット閾値を比較することによって目標対象が生体であるか否かを決定し、例えば、生体である確率がプリセット閾値よりも大きい場合、目標対象が生体であると予測することなどができるが、本開示の実施例では限定されない。

本開示の実施例の１つの選択可能な例では、第１のモーダルデータを取得する方法が単一であるため、得られた顔データは、量と多様性において深層学習アルゴリズムの要件を満たすことができない場合が多い。第１のモーダルデータのみを使用してアルゴリズムを学習すると、過剰適合が発生し易くなる。一方第２のモーダルデータを取得する方法は多様であり、自ら収集するか、または学界の標準データセットから取得するか、またはネットワークからクロールすることなどができ、最終的に得たデータの量と多様性はいずれも第１のモーダルデータをはるかに超える。

具体的な応用において、本開示のクロスモーダル方法を近赤外線単眼カメラを有する携帯電話の顔認識によるロック解除製品に使用することができる。さらに、本開示のクロスモーダルによる顔偽造防止方法を、顔偽造防止のために近赤外線カメラを有するカスタマイズデバイスに使用することもできる。

当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完成できることを理解でき、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ可読記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含むステップを実行する。

図６は本開示の実施例の別の生体検出装置の概略構造図である。いくつかの実施例では、該装置は本開示の前記各方法実施例を実現するように構成されるが、本開示の実施例はこれに限定されない。図６に示すように、該装置は、
第１のモーダル画像を取得するための画像取得ユニット６１と、
生体検出ネットワークによって画像に対して生体検出を実行して、画像中の目標対象が生体であるか否かを決定するための目標検出ユニット６２と、を含む。ここで、生体検出ネットワークは、サンプル画像セットに基づいて初期生体検出ネットワークをトレーニングすることにより取得され、サンプル画像セットには第１のモーダルサンプル画像および第２のモーダルサンプル画像が含まれる。

いくつかの選択可能な実施例では、新規な単眼カメラによって収集された画像は第１のモーダルに属し、例えば近赤外線カメラによって収集された画像は第１のモーダルに属し、第２のモーダルはＲＧＢモーダルであり、即ち、ＲＧＢカメラによって収集された画像は第２のモーダルに属する。トレーニング過程中、赤外線カメラによって収集された画像を第１のモーダルデータとし、ＲＧＢデータを第２のモーダルデータとすることができ、第１のモーダルデータと第２のモーダルデータとは視覚的に相違が大きいが、その内に含まれるいくつかの偽の生体の手掛かりが類似性を有する。例えば、紙の写真は画像において顕著なエッジが露出し、スクリーン写真は反射により局所の高輝度領域が発生するなど。パラメータ共有の深層学習ネットワークおよび異なるモーダルデータの学習タスクによって、異なるモーダル間の類似手掛かりを学習できる。ここで、第１のモーダルデータは第１のモーダルの固有の偽の手掛かりを提供し、第２のモーダルデータは多様の汎用の偽の手掛かりを提供する。異なるモーダルデータの協働作用によって最終的に深層学習ネットワークは第１のモーダルの固有の偽の情報を学習できるだけでなく、多様の汎用の偽の手掛かりを見ることもできるので、過剰適合によるアルゴリズムの一般化能力の低下には至らない。

本開示の実施例では、第２のモーダル画像を組み合わせて生体検出ネットワークをトレーニングすることによって、第１のモーダル画像の数が過度に少ないことによるトレーニング過程の過剰適合現象を防止し、トレーニングされた生体検出ネットワークはより正確に第１のモーダル画像の目標対象が生体であるか否かを判断することができる。

選択可能に、目標検出ユニット６２は、生体検出ネットワークによって画像の特徴を抽出し、画像特徴情報を取得し、画像特徴情報に基づいて、生体検出ネットワークによって画像中の目標対象が生体であるか否かを決定するように構成される。

いくつかの選択可能な実施例では、本開示の実施例装置は、
サンプル画像セット中のサンプル画像に対して特徴抽出を実行して、サンプル特徴情報を取得すること、サンプル特徴情報に基づいて、サンプル画像が少なくとも１つのモーダルにおけるサンプルモーダルに対応することを示すサンプル画像のサンプルモーダル分類結果を決定すること、サンプルモーダル分類結果に基づいて、サンプル画像の予測真偽結果を決定すること、および予測真偽結果およびサンプル画像のタグ付きの真偽情報に基づいて、前記初期生体検出ネットワークのネットワークパラメータを調整することに用いられる検出ネットワークトレーニングユニットを、さらに含む。

本開示の実施例では、生体検出ネットワークは初期生体検出ネットワークをトレーニングすることによって得られたものであり、トレーニング過程中、テンプレート画像は２つのモーダルを含むので、サンプルモーダル分類結果を組み合わせてサンプル画像の予測真偽結果を決定する必要があり、トレーニングを完了した後、初期生体検出ネットワーク中のモーダル分類の部分（例えばモーダル分類器）を除去して、本開示の生体検出のための生体検出ネットワークを得る。

選択可能に、検出ネットワークトレーニングユニットは、サンプル特徴情報に基づいてサンプル画像のサンプルモーダル分類結果を決定する時に、サンプル特徴情報に基づいて分類処理を実行して、サンプル画像が第１のモーダルに属する分類確率および第２のモーダルに属する分類確率を取得し、第１のモーダルに属する分類確率および第２のモーダルに属する分類確率に基づいて、サンプル画像のサンプルモーダル分類結果を決定するように構成される。

選択可能に、検出ネットワークトレーニングユニットは、サンプルモーダル分類結果に基づいて、サンプル画像の予測真偽結果を決定する時に、サンプルモーダル分類結果およびサンプル特徴情報に基づいて、サンプル画像の予測真偽結果を決定するように構成される。

選択可能に、検出ネットワークトレーニングユニットは、サンプルモーダル分類結果およびサンプル特徴情報に基づいて、サンプル画像の予測真偽結果を決定する時に、サンプル特徴情報とサンプル画像のサンプルモーダル分類結果を合併して、サンプル合併結果を取得し、サンプル合併結果に基づいて、サンプル画像の予測真偽結果を決定するように構成される。

いくつかの選択可能な実施例では、前記第１のモーダルは近赤外線モーダルであり、前記第２のモーダルはＲＧＢモーダルである。

本開示の実施例の別の態様によれば、前記のいずれか１つの実施例の生体検出装置を有するプロセッサを含む電子機器を提供する。

本開示の実施例の別の態様によれば、実行可能命令を記憶するためのメモリと、メモリと通信し実行可能命令を実行することによって前記いずれか１つの実施例の生体検出方法の操作を実現するためのプロセッサとを含む電子機器を提供する。

本開示の実施例の別の態様によれば、コンピュータ可読命令を記憶するためのコンピュータ可読記憶媒体であって、命令が実行された時に前記のいずれか１つの実施例の生体検出方法の操作を実行するコンピュータ可読記憶媒体を提供する。

本開示の実施例の別の態様によれば、コンピュータ可読コードを含むコンピュータプログラム製品であって、コンピュータ可読コードがデバイス上で実行された時に、デバイス中のプロセッサは前記いずれか１つの実施例の生体検出方法を実現するための命令を実行するコンピュータプログラム製品を提供する。

本開示の実施例の更に別の態様によれば、コンピュータ可読命令を記憶するためのコンピュータプログラム製品であって、命令が実行された時にコンピュータに前記いずれか１つの実施形態の生体検出方法の操作を実行させる別のコンピュータプログラム製品を提供する。

１つまたは複数の選択可能な実施形態では、本開示の実施例は、コンピュータ可読命令を記憶するためのコンピュータプログラムプログラム製品であって、命令が実行された時にコンピュータに前記いずれの可能な実施形態の生体検出方法の操作を実行させるコンピュータプログラムプログラム製品を更に提供する。

該コンピュータプログラム製品は具体的にはハードウェア、ソフトウェア又はそれらの組合せにより実現可能である。選択可能な一例において、前記コンピュータプログラム製品は具体的にはコンピュータ記憶媒体として実現され、別の選択可能な一例において、コンピュータプログラム製品は具体的には、例えばソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ）などのソフトウェア製品として実現される。

本開示の実施例では、収集された画像に対して特徴抽出を実行して、画像特徴情報を取得し、画像特徴情報に基づいて、画像が少なくとも１つのモーダルにおける目標モーダルに対応することを示す画像のモーダル分類結果を決定し、画像のモーダル分類結果に基づいて、画像中の目標対象が生体であるか否かを決定する生体検出方法及び装置、電子機器、コンピュータ記憶媒体、並びにコンピュータプログラム製品を更に提供する。

いくつかの実施例では、該画像処理は具体的に命令を呼び出すことを指し、第１の装置は呼び出し方式によって第２の装置に画像処理を実行させ、それに対応して、呼び出し命令を受信したことに応じて、第２の装置は前記画像処理方法中のいずれか１つの実施例中のステップおよび／またはフローを実行することができる。

本開示の実施例における「第１の」、「第２の」などの用語は区別するためのものに過ぎず、本開示の実施例に対する限定と理解してはならないことを理解すべきである。更に、本開示では、「複数の」は２つ又は２つ以上を指してよく、「少なくとも１つの」は１つ、２つ又は２つ以上を指してよいことを理解すべきである。更に、本開示で言及された任意の部材、データ又は構造は、明確に限定され又は明細書の前後で反対的に示唆された場合でなければ、一般的には１つ又は複数と理解してよいことを理解すべきである。更に、本開示ではそれぞれの実施例についての説明はそれぞれの実施例の相違点を重点として強調し、その同一又は類似的な点について相互に参照してよく、簡単化するために、ここで１つずつに繰り返して説明しないことを理解すべきである。

本開示の実施例は、例えば、携帯端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、サーバなどであってよい電子機器を更に提供する。図７は本開示の実施例の技術的手段を実現するための電子機器の一例の概略構造図である。図７に示すように、電子機器７００は１つ又は複数のプロセッサ、通信部などを含み、前記１つ又は複数のプロセッサは、例えば、１つ又は複数の中央処理ユニット（ＣＰＵ）７０１、及び／又は１つ又は複数の画像プロセッサ（ＧＰＵ）７１３などであり、プロセッサは、読み取り専用メモリ（ＲＯＭ）７０２に記憶された実行可能命令又は記憶部７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされた実行可能命令によって各種の適切な動作及び処理を実現することができる。通信ユニット７１２はネットワークカードを含んでよいが、それに限定されなく、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含んでよいが、それに限定されない。

プロセッサは読み取り専用メモリ７０２及び／又はランダムアクセスメモリ７０３と通信して実行可能命令を実行し、通信バス７０４を介して通信ユニット７１２に接続され、通信ユニット７１２を介して他のターゲットデバイスと通信してよく、それにより本開示の実施例で提供されるいずれか１項の方法に対応する操作を完成し、例えば、収集された画像に対して特徴抽出を実行して、画像特徴情報を取得し、画像特徴情報に基づいて、画像が少なくとも１つのモーダルにおける目標モーダルに対応することを示す画像のモーダル分類結果を決定し、画像のモーダル分類結果に基づいて、画像中の目標対象が生体であるか否かを決定する。

また、ＲＡＭ７０３には、装置の動作に必要な各種のプログラムやデータが格納されていてもよい。ＣＰＵ７０１、ＲＯＭ７０２及びＲＡＭ７０３は、通信バス７０４を介して相互に接続される。ＲＡＭ７０３を有する場合に、ＲＯＭ７０２は選択可能なモジュールである。ＲＡＭ７０３は実行可能命令を格納するか、または動作時に実行可能命令をＲＯＭ７０２に書き込み、実行可能命令によってプロセッサ７０１に上記通信方法に対応する操作を実行させる。入力／出力（Ｉ／Ｏ）インタフェース７０５も通信バス７０４に接続される。通信ユニット７１２は、統合的に設置されてもよく、複数のサブモジュール（例えば複数のＩＢネットワークカード）を有し、通信バスのリンク上にあるように設置されてもよい。

キーボード、マウスなどを含む入力部７０６と、陰極線管（ＣＲＴ）、液晶ディスプレイー（ＬＣＤ）など及びスピーカなどを含む出力部７０７と、ハードディスクなどを含む記憶部７０８と、ＬＡＮカード、モデムなどのネットワークインタフェースカードを含む通信部７０９などがＩ／Ｏインタフェース７０５に接続されている。通信部７０９は例えばインターネットのようなネットワークを介して通信処理を行う。ドライブ７１０も必要に応じてＩ／Ｏインタフェース７０５に接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体７１１は、必要に応じてドライブ７１０上に装着され、そこから読み出されたコンピュータプログラムを必要に応じて記憶部７０８にインストールする。

なお、図７に示す構造は選択可能な一実施形態に過ぎず、具体的な実践過程では、実際の必要に応じて上記図７の部品の数及び種類を選択、削除、追加、または置換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えばＧＰＵ７１３とＣＰＵ７０１は分離設置するかまたはＧＰＵ７１３をＣＰＵ７０１に統合するようにしてよく、通信素子は分離設置するか、またはＣＰＵ７０１やＧＰＵ７１３に統合設置することなども可能であることを説明する必要がある。これらの置換可能な実施形態はいずれも本開示の保護範囲に属する。

特に、本開示の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本開示の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本開示の実施例により提供される方法のステップを対応して実行する対応の命令を含んでよく、例えば、収集された画像に対して特徴抽出を実行して、画像特徴情報を取得し、画像特徴情報に基づいて、画像が少なくとも１つのモーダルにおける目標モーダルに対応することを示す画像のモーダル分類結果を決定し、画像のモーダル分類結果に基づいて、画像中の目標対象が生体であるか否かを決定する。このような実施例では、該コンピュータプログラムは通信部７０９によってネットワークからダウンロード及びインストールされ、及び／又はリムーバブル媒体７１１からインストールされ得る。中央処理ユニット（ＣＰＵ）７０１によって該コンピュータプログラムを実行する時に、本開示の方法で限定された上記機能の操作を実行する。

本開示の方法及び装置は、様々な形態で実現され得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組合わせによって本開示の方法及び装置を実現することができる。前記方法のステップのための上記順序は説明することのみを目的とし、本開示の方法のステップは、特に断らない限り、以上で具体的に説明した順序に限定されない。また、いくつかの実施例では、本開示は記録媒体に記憶されたプログラムとしてもよく、これらのプログラムは本開示の方法を実現するための機械可読命令を含む。従って、本開示は本開示の方法を実行するためのプログラムが記憶された記録媒体も含む。

本開示の説明は、例示及び説明のために提示されたものであり、網羅的なものでありもしくは開示された形式に本開示を限定するというわけでない。当業者にとっては多くの修正及び変形を加えることができるのは明らかであろう。実施例は本開示の原理及び実際応用をより明瞭に説明するため、かつ当業者が本開示を理解して特定用途に適した各種の修正を加えた各種の実施例を設計可能にするように選択され説明されたものである。

Claims (23)

1. 生体検出方法であって、
   収集された画像に対して特徴抽出を実行して、画像特徴情報を取得することと、
   前記画像特徴情報に基づいて、前記画像のモーダル分類結果を決定することであって、前記モーダル分類結果は、前記画像が少なくとも１つのモーダルにおける目標モーダルに対応することを指示する、ことと、
   前記画像のモーダル分類結果に基づいて、前記画像中の目標対象が生体であるか否かを決定することと
   を含む、生体検出方法。
2. 前記画像特徴情報に基づいて、前記画像のモーダル分類結果を決定することは、
   前記画像特徴情報に基づいて分類処理を実行して、前記画像が少なくとも１つのモーダルにおける各モーダルに属する分類確率を取得することと、
   前記少なくとも１つのモーダルにおける各モーダルの分類確率に基づいて、前記画像の属する目標モーダルを決定することと
   を含む、請求項１に記載の方法。
3. 前記画像のモーダル分類結果に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、
   前記画像のモーダル分類結果および前記画像特徴情報に基づいて、前記画像中の目標対象が生体であるか否かを決定することを含む、請求項１または請求項２に記載の方法。
4. 前記画像のモーダル分類結果および前記画像特徴情報に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、
   前記画像特徴情報と前記画像のモーダル分類結果を合併して、合併結果を取得することと、
   前記合併結果に基づいて、前記画像中の目標対象が生体であるか否かを決定することと
   を含む、請求項３に記載の方法。
5. 前記画像のモーダル分類結果および前記画像特徴情報に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、
   前記画像特徴情報に基づいて、前記少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率を取得することと、
   前記モーダル分類結果および前記少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することと
   を含む、請求項３に記載の方法。
6. 前記モーダル分類結果は、前記画像が前記少なくとも１つのモーダルにおける各モーダルに属する分類確率を含み、
   前記モーダル分類結果および前記少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、
   前記少なくとも１つのモーダルにおける各モーダルの分類確率を前記各モーダルに対応する重み値として、前記少なくとも１つのモーダルにおける各モーダルの真偽予測確率に対して加重加算を実行して、目標真偽予測確率を取得することと、
   前記目標真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することと
   を含む、請求項５に記載の方法。
7. 前記モーダル分類結果および前記少なくとも１つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、
   前記モーダル分類結果に含まれる少なくとも１つのモーダルにおける各モーダルに対応する分類確率に基づいて、前記少なくとも１つの真偽予測確率から目標真偽予測確率を決定することと、
   前記目標真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することと
   を含む、請求項５に記載の方法。
8. 前記モーダル分類結果に含まれる少なくとも１つのモーダルにおける各モーダルに対応する分類確率に基づいて、前記少なくとも１つの真偽予測確率から目標真偽予測確率を決定することは、
   前記モーダル分類結果に含まれる少なくとも１つの分類確率にプリセット確率より大きいか等しい分類確率が存在することに応じて、前記のプリセット確率より大きいか等しい分類確率に対応するモーダルを目標モーダルとして決定し、前記目標モーダルの真偽予測確率を前記目標真偽予測確率として決定することを含む、請求項７に記載の方法。
9. 前記方法は、前記収集された画像に対して特徴抽出を実行して、画像特徴情報を取得する前に、デュアルチャネルカメラによって画像を収集して、前記画像を取得することを更に含む、請求項１〜８のいずれか１項に記載の方法。
10. 前記少なくとも１つのモーダルは、デュアルチャネルモーダルおよびＲＧＢモーダルを含む、請求項９に記載の方法。
11. 前記方法は、生体検出ネットワークを使用して実現され、
    前記方法は、前記収集された画像に対して特徴抽出を実行して、画像特徴情報を取得する前に、サンプルデータセットに基づいて初期生体検出ネットワークをトレーニングして、前記生体検出ネットワークを取得することをさらに含み、前記サンプルデータセットは、少なくとも２つのモーダルのサンプル画像を含む、請求項１〜１０のいずれか１項に記載の方法。
12. 生体検出方法であって、
    第１のモーダル画像を取得することと、
    生体検出ネットワークによって前記画像に対して生体検出を実行して、前記画像中の目標対象が生体であるか否かを決定することであって、前記生体検出ネットワークは、サンプル画像セットに基づいて初期生体検出ネットワークをトレーニングすることにより取得され、前記サンプル画像セットは、前記第１のモーダルサンプル画像および第２のモーダルサンプル画像が含まれる、ことと、
    前記サンプル画像セット中のサンプル画像に対して特徴抽出を実行して、サンプル特徴情報を取得することと、
    前記サンプル特徴情報に基づいて、前記サンプル画像のサンプルモーダル分類結果を決定することであって、前記サンプルモーダル分類結果は、前記サンプル画像が少なくとも１つのモーダル中のサンプルモーダルに対応することを指示することと、
    前記サンプルモーダル分類結果に基づいて、前記サンプル画像の予測真偽結果を決定することと、
    前記予測真偽結果および前記サンプル画像のタグ付きの真偽情報に基づいて、前記初期生体検出ネットワークのネットワークパラメータを調整することと
    を含む、生体検出方法。
13. 前記生体検出ネットワークによって前記画像に対して生体検出を実行して、前記画像中の目標対象が生体であるか否かを決定することは、
    前記生体検出ネットワークによって前記画像に対して特徴抽出を実行して、画像特徴情報を取得することと、
    前記画像特徴情報に基づいて、前記生体検出ネットワークによって前記画像中の目標対象が生体であるか否かを決定することと
    を含む、請求項１２に記載の方法。
14. 前記サンプル特徴情報に基づいて、前記サンプル画像のサンプルモーダル分類結果を決定することは、
    前記サンプル特徴情報に基づいて、前記サンプル画像が前記第１のモーダルに属する分類確率および前記サンプル画像が前記第２のモーダルに属する分類確率を決定することと、
    前記サンプル画像が前記第１のモーダルに属する分類確率および前記サンプル画像が前記第２のモーダルに属する分類確率に基づいて、前記サンプル画像の属するサンプルモーダルを決定することと
    を含む、請求項１２に記載の方法。
15. 前記サンプルモーダル分類結果に基づいて、前記サンプル画像の予測真偽結果を決定することは、
    前記サンプルモーダル分類結果および前記サンプル特徴情報に基づいて、前記サンプル画像の予測真偽結果を決定することを含む、請求項１２または請求項１４に記載の方法。
16. 前記サンプルモーダル分類結果および前記サンプル特徴情報に基づいて、前記サンプル画像の予測真偽結果を決定することは、
    前記サンプル特徴情報と前記サンプル画像のサンプルモーダル分類結果を合併して、サンプル合併結果を取得することと、
    前記サンプル合併結果に基づいて、前記サンプル画像の予測真偽結果を決定することと
    を含む、請求項１５に記載の方法。
17. 前記第１のモーダルは、近赤外線モーダルであり、前記第２のモーダルは、ＲＧＢモーダルである、請求項１２〜１６のいずれか１項に記載の方法。
18. 生体検出装置であって、
    収集された画像に対して特徴抽出を実行して、画像特徴情報を取得するように構成されている特徴抽出ユニットと、
    前記画像特徴情報に基づいて、前記画像のモーダル分類結果を決定するように構成されているモーダル分類ユニットであって、前記モーダル分類結果は、前記画像が少なくとも１つのモーダル中の目標モーダルに対応することを指示する、モーダル分類ユニットと、
    前記画像のモーダル分類結果に基づいて、前記画像中の目標対象が生体であるか否かを決定するように構成されている生体検出ユニットと
    を含む、生体検出装置。
19. 生体検出装置であって、
    第１のモーダル画像を取得するように構成されている画像取得ユニットと、
    生体検出ネットワークによって前記画像に対して生体検出を実行して、前記画像中の目標対象が生体であるか否かを決定するように構成されている目標検出ユニットであって、前記生体検出ネットワークは、サンプル画像セットに基づいて初期生体検出ネットワークをトレーニングすることにより取得され、前記サンプル画像セットは、前記第１のモーダルサンプル画像および第２のモーダルサンプル画像が含まれる、目標検出ユニットと、
    前記サンプル画像セット中のサンプル画像に対して特徴抽出を実行して、サンプル特徴情報を取得し、前記サンプル特徴情報に基づいて、前記サンプル画像のサンプルモーダル分類結果を決定するように構成されている検出ネットワークトレーニングユニットであって、前記サンプルモーダル分類結果は、前記サンプル画像が少なくとも１つのモーダル中のサンプルモーダルに対応することを指示し、前記検出ネットワークトレーニングユニットは、前記サンプルモーダル分類結果に基づいて、前記サンプル画像の予測真偽結果を決定し、前記予測真偽結果および前記サンプル画像のタグ付きの真偽情報に基づいて、前記初期生体検出ネットワークのネットワークパラメータを調整するように構成されている、検出ネットワークトレーニングユニットと
    を含む、生体検出装置。
20. 電子機器であって、
    前記電子機器は、請求項１８または請求項１９に記載の生体検出装置を備えるプロセッサを含む、電子機器。
21. 電子機器であって、
    実行可能な命令を記憶するように構成されているメモリと、
    前記メモリと通信して、前記実行可能な命令を実行することによって、請求項１〜１１のいずれか１項に記載の生体検出方法または請求項１２〜１７のいずれか１項に記載の生体検出方法の動作を実現するように構成されているプロセッサと
    を含む、電子機器。
22. コンピュータ読み取り可能な命令を記憶するように構成されているコンピュータ読み取り可能な記憶媒体であって、
    前記命令が実行される時に、請求項１〜１１のいずれか１項に記載の生体検出方法または請求項１２〜１７のいずれか１項に記載の生体検出方法の動作を実行する、コンピュータ読み取り可能な記憶媒体。
23. コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、
    前記コンピュータ読み取り可能なコードがデバイス上で実行される時に、前記デバイス中のプロセッサは、請求項１〜１１のいずれか１項に記載の生体検出方法または請求項１２〜１７のいずれか１項に記載の生体検出方法を実現するための命令を実行する、コンピュータプログラム。

Images