JP7262884B2 - 生体顔検出方法、装置、設備及びコンピュータプログラム - Google Patents

生体顔検出方法、装置、設備及びコンピュータプログラム Download PDF

Info

Publication number
JP7262884B2
JP7262884B2 JP2022515568A JP2022515568A JP7262884B2 JP 7262884 B2 JP7262884 B2 JP 7262884B2 JP 2022515568 A JP2022515568 A JP 2022515568A JP 2022515568 A JP2022515568 A JP 2022515568A JP 7262884 B2 JP7262884 B2 JP 7262884B2
Authority
JP
Japan
Prior art keywords
image
face
detection
light irradiation
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022515568A
Other languages
English (en)
Other versions
JP2022547183A (ja
Inventor
健 章
嘉 孟
太平 姚
▲穎▼ ▲タイ▼
守▲鴻▼ 丁
季▲リン▼ 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2022547183A publication Critical patent/JP2022547183A/ja
Application granted granted Critical
Publication of JP7262884B2 publication Critical patent/JP7262884B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Description

本願は、２０１９年１０月１８日に中国国家知識産権局に提出された、出願番号が２０１９１０９９６０５５．５で、出願の名称が「生体顔検出方法、装置、設備及び記憶媒体」である中国特許出願の優先権を主張するものであり、その全ての内容は、参照により本願に組み込まれるものとする。
本願は、身分認証の技術分野に関し、特に生体顔検出に関する。
生体顔検出は、顔認識フローにおける重要なステップであり、ユーザの身分検証の安全性の問題に直接関係する。生体顔検出技術の継続的な発展及び実際の応用に伴い、ますます多くの生体顔認証に対する攻撃が継続的に現れており、平面タイプの攻撃（スクリーン、紙による攻撃等）を防御するだけでは生体顔検出の高い安全性のニーズを満たすことができない。
しかしながら、現在、業界で一般的に使用される生体顔検出技術は、ユーザの顔面の深度情報に基づく生体検出アルゴリズムであり、該アルゴリズムは、入力されたピクチャの深度画像を推定することにより、現在のユーザが生身の人間であるか又は紙、写真、証明書といった平面複製による攻撃であるかを判断する。該アルゴリズムの大きな欠点として、３次元（ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎａｌ、３Ｄ）攻撃（例えば、生身の人間がマスクを着用すること、３Ｄモデル等）には抵抗できないことが理論的に証明されており、現在の支払い、ドアアクセス制御等の応用シーンの高い安全性要求にとっては、往々にして受け入れられにくい。
これに基づいて、平面タイプの攻撃及び３Ｄ攻撃を防御できるように生体顔検出技術をどのように提供するかは、身分認証の分野における、早急に解決する必要がある大きな難題である。
本願の実施例に係る生体顔検出方法は、光反射原理に基づいて異なる光照射条件での顔画像からテクスチャ情報及び深度情報を分離して、生体顔検出に用いられ、このように、３Ｄ攻撃及び平面タイプの攻撃を効果的に防御することができる。本願の実施例は、生体顔検出装置、設備、コンピュータ可読記憶媒体及びコンピュータプログラム製品をさらに提供する。
本願の第１の態様に係る、画像処理機能を有する処理設備により実行される生体顔検出方法は、
目標検出対象の第１の光照射条件での第１の顔画像と、前記目標検出対象の第２の光照射条件での第２の顔画像とを取得するステップと、
前記第１の顔画像及び前記第２の顔画像に基づいて差分画像を決定するステップと、
前記差分画像から特徴マップを抽出し、前記特徴マップから、前記目標検出対象に対応する物体反射率と、前記目標検出対象に対応する物体法線ベクトルとを分離するステップであって、前記物体反射率は、テクスチャ情報を特徴付けるために用いられ、前記物体法線ベクトルは、深度情報を特徴付けるために用いられる、ステップと、
前記物体反射率及び前記物体法線ベクトルに基づいて、前記目標検出対象が生体であるか否かを決定するステップと、を含む。
本願の第２の態様に係る、画像処理機能を有する処理設備により実行される生体顔検出モデルのトレーニング方法は、
トレーニングデータセットを取得するステップであって、前記トレーニングデータセットにおける各グループのトレーニングデータは、サンプル差分画像、前記サンプル差分画像のマーキングラベル、並びに、前記サンプル差分画像に対応する深度マップ、及びマテリアルマップとを含み、前記サンプル差分画像は、異なる光照射条件で収集されたサンプル検出対象の顔画像に対して画像差分を行って得られたものであり、前記サンプル差分画像のマーキングラベルは、前記サンプル差分画像の属するサンプル検出対象が生体であるか否かを識別するために用いられ、前記深度マップは、前記サンプル差分画像における各画素位置の深度情報を識別するために用いられ、前記マテリアルマップは、前記サンプル差分画像における各画素位置のマテリアルタイプを識別するために用いられ、前記マテリアルタイプは、画素位置のテクスチャ情報に基づいて決定される、ステップと、
前記トレーニングデータセットに基づいて、予め構築された第１のニューラルネットワークモデルをトレーニングして、収束状態にある第１のニューラルネットワークモデルを取得するステップであって、前記第１のニューラルネットワークモデルは、畳み込み層及び２つの逆畳み込み層、グローバルプーリング層、及び全結合分類層を含む、ステップと、
前記収束状態にある第１のニューラルネットワークモデルに対してトリミングを行って生体顔検出モデルを得るステップであって、前記生体顔検出モデルは、前記畳み込み層、前記グローバルプーリング層、及び前記全結合分類層を含む、ステップと、を含む。
本願の第３の態様に係る、画像処理機能を有する処理設備に配備された生体顔検出装置は、
目標検出対象の第１の光照射条件での第１の顔画像と、前記目標検出対象の第２の光照射条件での第２の顔画像とを取得するために用いられる顔画像取得モジュールと、
前記第１の顔画像及び前記第２の顔画像に基づいて差分画像を決定するために用いられる差分画像決定モジュールと、
前記差分画像から特徴マップを抽出し、前記特徴マップから、前記目標検出対象に対応する物体反射率と、前記目標検出対象に対応する物体法線ベクトルとを分離するために用いられる特徴抽出モジュールであって、前記物体反射率は、テクスチャ情報を特徴付けるために用いられ、前記物体法線ベクトルは、深度情報を特徴付けるために用いられる、特徴抽出モジュールと、
前記物体反射率及び前記物体法線ベクトルに基づいて、前記目標検出対象が生体であるか否かを決定するために用いられる生体検出モジュールと、を含む。
本願の第４の態様に係る、画像処理機能を有する処理設備に配備された生体顔検出モデルモデルのトレーニング装置は、
トレーニングデータセットを取得するために用いられるサンプルセット取得モジュールであって、前記トレーニングデータセットにおける各グループのトレーニングデータは、サンプル差分画像、前記サンプル差分画像のマーキングラベル、並びに前記サンプル差分画像に対応する深度マップ、及びマテリアルマップとを含み、前記サンプル差分画像は、異なる光照射条件で収集されたサンプル検出対象の顔画像に対して画像差分を行って得られたものであり、前記サンプル差分画像のマーキングラベルは、前記サンプル差分画像の属するサンプル検出対象が生体であるか否かを識別するために用いられ、前記深度マップは、前記サンプル差分画像における各画素位置の深度情報を識別するために用いられ、前記マテリアルマップは、前記サンプル差分画像における各画素位置のマテリアルタイプを識別するために用いられ、前記マテリアルタイプは、画素位置のテクスチャ情報に基づいて決定される、サンプルセット取得モジュールと、
前記トレーニングデータセットに基づいて、予め構築された第１のニューラルネットワークモデルをトレーニングして、収束状態にある第１のニューラルネットワークモデルを取得するために用いられるトレーニングモジュールであって、前記第１のニューラルネットワークモデルは、畳み込み層、２つの逆畳み込み層、グローバルプーリング層、及び全結合分類層を含む、トレーニングモジュールと、
前記収束状態にある第１のニューラルネットワークモデルに対してトリミングを行って生体顔検出モデルを得るために用いられるトリミングモジュールであって、前記生体顔検出モデルは、前記畳み込み層、前記グローバルプーリング層、及び前記全結合分類層を含む、トリミングモジュールと、を含む。
本願の第５の態様に係る処理設備は、
プロセッサと、メモリとを含み、
前記メモリは、コンピュータプログラムを記憶するために用いられ、
前記プロセッサは、前記コンピュータプログラムに基づいて、上記第１の態様に記載の生体顔検出方法又は第２の態様に記載の生体顔検出モデルのトレーニング方法のステップを実行するために用いられる。
本願の第６の態様に係るコンピュータ可読記憶媒体は、上記第１の態様に記載の生体顔検出方法又は第２の態様に記載の生体顔検出モデルのトレーニング方法を実行するために用いられるコンピュータプログラムを記憶するために用いられる。
本願の第７の態様に係る、命令を含むコンピュータプログラム製品は、コンピュータで実行される場合、前記コンピュータに上記第１の態様に記載の生体顔検出方法又は第２の態様に記載の生体顔検出モデルのトレーニング方法を実行させる。
以上の技術手段から分かるように、本願の実施例は、以下の利点を有する。
生体顔検出を行う場合、まず、目標検出対象の異なる光照射条件での顔画像を取得する。次に、上記異なる光照射条件での顔画像により形成された差分画像から特徴マップを抽出し、特徴マップから、テクスチャ情報を特徴付ける物体反射率と、深度情報を特徴付ける物体法線ベクトルとを分離し、二種類の独立した次元の情報に基づいて生体顔検出を行うことにより、検出精度を向上させることができる。このような検出手段を具体的な生体顔検出サービスシーンに応用すれば、検出対象が生身の人間であるか、又は平面タイプの攻撃又は３Ｄ攻撃に属するかをより正確に認識することができる。従来の検出に比べて、該方法は、テクスチャ情報及び深度情報を総合して目標検出対象が生体であるか否かを決定し、高いロバスト性を有し、かつ該方法は、異なる光照射条件でユーザの顔面に投射された光線の反射により形成された画像を利用して生体顔検出を行い、主流端末設備自体のハードウェアにより実現することができ、追加のハードウェアコストを必要とせず、ユーザが追加の指定動作を完了する必要もなく、検出効率及びユーザ体験を向上させる。かつ、異なる光照射条件での色及び強度の照明シーケンスは、一種のアクティブコードと見なすことができ、攻撃者は、コード方式を知らない場合、対応する光線での入力を意図的に提供することができず、攻撃される可能性をさらに低減し、検出の信頼性を向上させる。
本願の実施例における生体顔検出方法のシステムアーキテクチャー図である。 本願の実施例における生体顔検出方法のフローチャートである。 本願の実施例における、異なる光照射条件で顔画像を形成する概略図である。 本願の実施例における顔中心領域画像の概略図である。 本願の実施例における生体顔検出モデルの構造概略図である。 本願の実施例における生体顔検出モデルのトレーニング方法のフローチャートである。 本願の実施例における第１のニューラルネットワークモデルの構造概略図である。 本願の実施例における生体顔検出方法の応用シーンの概略図である。 本願の実施例における生体顔検出装置の１つの構造図である。 本願の実施例における生体顔検出モデルのトレーニング装置の１つの構造概略図である。 本願の実施例におけるサーバの１つの構造概略図である。
当業者が本願の解決手段をよりよく理解するために、以下、本願の実施例における図面と組み合わせて、本願の実施例における技術手段を明確かつ完全的に説明する。明らかなように、説明される実施例は、本願の実施例の一部に過ぎず、全てではない。本願における実施例に基づいて、当業者が創造的な労働をしない前提で得られる他の全ての他の実施例は、いずれも本願の保護範囲に属するものである。
本願の明細書、特許請求の範囲及び上記図面における用語「第１」、「第２」、「第３」、「第４」等（存在する場合）は、類似した対象を区別するためのものであり、必ずしも特定の順序又は優先順位を説明するものではない。ここで説明した本願の実施例が、例えばここでの図示又は説明以外の順序でも実施できるように、このように使用されたデータは、適宜入れ替えてもよいことを理解されたい。また、用語「含む」及び「有する」並びにそれらの任意の変形は、非排他的な包含をカバーすることを意図し、例えば、一連のステップ又はユニットを含む過程、方法、システム、製品又は設備は、明確に示されたステップ又はユニットに限定されず、明確に示されていないか又はこれらの過程、方法、製品又は設備に固有の、他のステップ又はユニットを含んでよい。
人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）は、デジタルコンピュータ又はデジタルコンピュータにより制御された機器を利用して、人間の知能を模倣し、拡張し、拡大し、環境を知覚し、知識を取得し、かつ知識を使用して最適な結果を取得する理論、方法、技術及び応用システムである。換言すれば、人工知能は、コンピュータ科学の１つの総合的な技術であり、知能の実質を把握し、かつ人間の知能に類似する方式で反応できる新たな知能機器を製造することを意図する。人工知能とは、様々な知能機器の設計原理及び実現方法を研究することにより、機器が知覚、推論及び意思決定の機能を有するようにすることである。
人工知能技術は、総合的な学科であり、幅広い分野に関し、ハードウェア面の技術もソフトウェア面の技術もある。人工知能の基礎技術は、一般的にセンサ、専用人工知能チップ、クラウド計算、分散型記憶、ビッグデータ処理技術、操作／対話システム、機電一体化等の技術を含む。人工知能のソフトウェア技術は、主にコンピュータビジョン技術、音声処理技術、自然言語処理技術及び機器学習／深度学習等の幾つかの方向を含む。
コンピュータビジョン（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、ＣＶ）技術は、どのように機器に「見せる」かを研究する科学であり、さらに言えば、人の目の代わりにカメラ及びパソコンを用いて目標に対して認識、追跡及び測定等の機器ビジョンを行い、さらにグラフィック処理を行い、パソコンにより、人の目による観察又は機器による検出のための転送に適する画像に処理することを指す。科学学科として、コンピュータビジョンは、関連する理論及び技術を研究し、画像又は多次元データから情報を取得することができる人工知能システムを確立しようとする。コンピュータビジョン技術は、一般的に画像処理、画像認識、画像意味理解、画像検索、光学文字認識（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ、ＯＣＲ）、ビデオ処理、ビデオ意味理解、ビデオコンテンツ／行為認識、三次元物体再構成、３Ｄ技術、仮想現実、拡張現実、同期測位及び地図構築等の技術を含み、さらに一般的な顔認識、指紋認識等の生物特徴認識技術を含む。本願は、主にコンピュータビジョン技術における画像認識技術を利用して顔認識を行うものであり、主に顔が生身の人間であるか又は攻撃タイプであるかを認識するために用いられる。
従来の生体顔検出技術における、平面タイプの攻撃及び３Ｄ攻撃を同時に防御することができないという問題に対して、本願は、光反射原理に基づいて生体顔検出方法を提供する。異なる光照射条件でユーザの顔に投射された光線が、反射されて異なる顔画像を形成し、異なる顔画像により形成された差分画像から特徴マップを抽出し、特徴マップからテクスチャ情報及び深度情報を分離して、生体顔検出に用いることにより、平面タイプの攻撃及び３Ｄ攻撃を効果的に認識し、生体顔検出の精度及び安全性を向上させることができる。
理解できるように、本願に係る生体顔検出方法は、画像処理機能を有する任意の処理設備に応用することができ、該処理設備は、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）及び／又はグラフィック処理装置（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵ）を含む端末又はサーバであってよい。ここで、端末は、例えばドアアクセス制御システム、支払いシステム又はデスクトップコンピュータ等の固定式端末設備であってもよく、ノートパソコン、タブレットパソコン又はスマートフォン等の携帯式端末設備であってもよく、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）端末設備及び仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、ＶＲ）端末設備等であってもよい。サーバは、具体的には、生体顔検出サービスを提供する計算設備であってよく、独立サーバであってもよく、複数のサーバにより形成された計算クラスタであってもよい。理解を容易にするために、以下、主に処理設備をサーバとして例示的に説明する。
実際に応用する場合、上記生体顔検出方法は、コンピュータプログラムの形式で処理設備に記憶することができる。処理設備は、コンピュータプログラムを実行することにより本願の生体顔検出方法を実現する。ここで、コンピュータプログラムは、独立してもよく、他のコンピュータプログラムに集積された機能モジュール、プラグイン又はウィジェット等であってもよく、本実施例はこれを限定しない。
理解できるように、本願に係る生体顔検出方法は、図１に示すような応用環境への応用を含むが、これに限定されない。
図１に示すように、端末１０１に生体顔検出システムが配備され、該生体顔検出システムにより、目標検出対象の異なる光照射条件での顔画像を収集することができ、例えば、目標検出対象の第１の光照射条件での第１の顔画像と、目標検出対象の第２の光照射条件での第２の顔画像であってよい。サーバ１０２は、端末１０１から該第１の顔画像及び第２の顔画像を取得することにより、差分画像を決定する。次に、差分画像から特徴マップを抽出し、特徴マップから、目標検出対象に対応する物体反射率及び物体法線ベクトルを分離し、かつ物体反射率及び物体法線ベクトルに基づいて、目標検出対象が生体であるか否かを決定し、サーバ１０２はさらに、ユーザに提示するように、生体顔検出結果を端末１０１に返信することができる。
本願の技術手段をより明確で、理解しやすくするために、次に、サーバの角度から、本願の実施例に係る生体顔検出方法の各ステップを詳細に説明する。
図２に示す生体顔検出方法のフローチャートに参照されるように、該方法は、Ｓ２０１と、Ｓ２０２と、Ｓ２０３とを含む。
Ｓ２０１において、目標検出対象の第１の光照射条件での第１の顔画像と、目標検出対象の第２の光照射条件での第２の顔画像とを取得する。
ドアアクセス制御システム、支払いアプリケーション、ソーシャルアプリケーション等の多くのシーンにおいて、常にユーザの身分を検証する必要があるため、サーバは、顔画像に基づいてユーザの身分を検証してよい。犯罪者が穴抜き紙片、穴抜きマスク、シリカゲルマスク、３Ｄ人頭モデル等の方式で生身の人間を模倣して攻撃を行う可能性があることを考慮し、サーバは、反射原理に基づいて、異なる光照射条件での顔画像を取得して生体顔検出を行うことにより、平面タイプの攻撃又は３Ｄ攻撃に抵抗してよい。
ここで、反射原理とは、Ｌａｍｂｅｒｔ光照射モデルに基づいて、立体構造が複雑で、かつ表面テクスチャが細かい幾つかの表面に対して、光照射条件が変化する場合、得られた拡散反射光も大きく変化し、このように、反射光により形成された画像にも大きな差異が存在することを指す。これに基づいて、異なる光照射条件で、同一の顔を撮影しても、異なる顔画像を取得することができる。
ここで、光照射条件とは、光線照射状況を指してよく、光源の色、光照射強度及び光照射角度等の光照射パラメータのうちの少なくとも一種を含んでよい。一例として、異なる光照射条件は、色の異なる光源であってよく、図３に参照されるように、赤色光、緑色光及び青色光がそれぞれ顔に照射すると、異なる顔画像を形成することができ、該顔画像は、光反射結像ピクチャシーケンスを構成する。なお、異なる光照射条件は、光照射有り及び光照射無しの二種類の条件であってもよい。
実際に応用する場合、端末は、目標検出対象の第１の光照射条件での第１の顔画像と、第２の光照射条件での第２の顔画像とを収集することができ、サーバは、端末から上記第１の顔画像及び第２の顔画像を取得して、生体顔検出に用いることができる。
なお、上記第１の光照射条件及び第２の光照射条件は、天然に形成されてもよく、人工で創造されてもよい。例えば、ユーザは、発光素子が表示する色、輝度又は傾斜角度のうちの少なくとも一種を人為的に調整することにより、光源の色、光照射強度及び／又は光照射角度を調整して、第１の光照射条件及び第２の光照射条件を形成することができる。ここで、発光素子は、表示画面又はウェブカムの付属品に位置してよく、発光素子は、例えば発光ダイオード等であってよい。
一種の可能な実現方式において、ユーザは、端末が生体検出要求を生成するように生体検出操作をトリガする場合、サーバは、生体検出要求に応答して、光照射指令を生成してよく、該光照射指令は例えば、第１の光照射条件に対応する第１の光照射パラメータと、第２の光照射条件に対応する第２の光照射パラメータとを含んでよい。次に、サーバは、光照射指令に基づいて、発光素子が光線を発射するように制御し、かつ目標検出対象の顔面反射光線を収集して、第１の顔画像と、第２の顔画像とを順に形成してよい。
光照射パラメータが光源色を含んでよく、異なる光源色を色標識により具現化することができるため、幾つかの可能な実現方式において、サーバは、生体検出要求に応答して、二種類の異なる色標識をランダムに選択して、上記二種類の異なる色標識を持つ光照射指令を生成してよい。このように、発光素子が上記異なる色標識を持つ照明指令に応じて色の異なる光線を発射するように制御することにより、異なる光照射条件を形成することができる。
当然のことながら、上記過程は、端末により独立して実現してもよい。例えば、ユーザは、端末が生体検出要求を生成するように端末により生体検出操作をトリガする場合、端末は、生体検出要求に応答して、光照射指令を生成する。次に、光照射指令に応じて光線を発射して、対応する光照射条件を形成する。当然のことながら、サーバ又は端末は、光照射指令を生成する場合、二種類の異なる光照射強度をランダムに選択するか、又は二種類の異なる光照射角度をランダムに選択するか、又は異なる光源色、光照射強度及び／又は光照射角度の組み合わせをランダムに選択して、異なる光照射強度を持つ光照射指令を生成するか、又は異なる光照射角度を持つ光照射指令を生成するか、又は他の異なる光照射パラメータの組み合わせを持つ光照射指令を生成してもよい。このように、コードの情報エントロピーを増加させて、該顔検出方法の安全性をさらに向上させることができる。
顔面反射光線を収集して顔画像を形成する場合、顔領域がファインダー内にあれば、顔面反射光線を直接収集して上記第１の顔画像及び第２の顔画像を形成することができる。顔と収集設備との間に角度差が存在するため、顔領域がファインダーにないか又は一部がファインダーにない場合、検出精度を向上させるために、生体検出要求に応答して、顔の画像収集領域（例えば、ファインダー）に対する角度を決定する。次に、光照射指令及び角度に基づいて、発光素子が第１の光照射パラメータ及び第２の光照射パラメータに基づいて該角度の光線を順に発射するように制御してもよい。このように、目標検出対象の顔面反射光線を収集して、第１の顔画像と、第２の顔画像とを順に形成することができる。
Ｓ２０２において、第１の顔画像及び第２の顔画像に基づいて差分画像を決定する。
実現する場合、サーバは、第１の顔画像と第２の顔画像とを全体として画像処理を行って差分画像を取得することができる。例えば、サーバは、第１の顔画像と第２の顔画像との画素シーケンスをそれぞれ取得する。次に、上記画素シーケンスに基づいて、対応するチャネルに応じて減算演算を行って、差分画素シーケンスを取得することができ、該差分画素シーケンスに基づいて、差分画像を取得することができる。
顔中心領域の顔検出に対する影響が大きいことを考慮して、サーバは、顔中心領域のみに対して差分画像を決定してもよい。例えば、サーバは、第１の顔画像の顔中心領域をトリミングして第１の顔中心領域画像を取得し、第２の顔画像の顔中心領域をトリミングして第２の顔中心領域画像を取得する。次に、第１の顔中心領域画像と第２の顔中心領域画像とに対して画像差分処理を行って顔中心領域の差分画像を取得してよく、このように、後続の予測の場合に、顔中心領域の深度情報及びテクスチャ情報を重点的に注目するようにし、予測精度を向上させることができる。
顔中心領域をトリミングする場合、サーバは、まず、顔認識モデルにより顔領域を認識し、次に顔領域をトリミングしてよい。図４に参照されるように、サーバは、光反射により形成された顔画像を取得した後、顔認識結果に基づいてデータ前処理を行い、顔中心領域画像をトリミングし、図４において、ａ）領域は、１フレームの完全なピクチャを表し、ｂ）領域は、高精度の顔認識モデルの顔認識結果、即ち顔領域であり、ｃ）領域は、ｂ）領域を基に内部へそれぞれＮ個の画素点で引き込んだものであり、ｃ）領域に応じてトリミングして得られた画像は、顔中心領域画像である。ここで、Ｎは、実際の必要に応じて設置されてよく、例えば、１５に設置されてよい。顔中心領域画像により形成された差分画像を生体顔検出モデルの入力としてトレーニング及びテストを行う場合、生体顔検出モデルが顔中心領域の深度情報及びテクスチャ情報により注目するようにすることができ、このように、生体顔検出モデルの正確性を向上させることができる。
顔ローカル領域、例えば目、鼻、口等の五官も顔検出を実現することができることを考慮して、サーバは、顔ローカル器官領域に対して差分画像を決定してもよい。例えば、サーバは、第１の顔画像の顔ローカル器官領域をトリミングして第１の顔ローカル器官領域画像を取得し、第２の顔画像の顔ローカル器官領域をトリミングして第２の顔ローカル器官領域画像を取得する。次に、第１の顔ローカル器官領域画像と第２の顔ローカル器官領域画像とに対して画像差分処理を行って、顔ローカル器官領域の差分画像を取得してよい。このように、後続の予測において最も価値のあるローカル領域のみに注目するようにし、予測精度を保証するだけでなく、予測効率を向上させることができる。
鼻領域の立体感が最も強く、その対応する差分画像の情報量が最も大きいことを考慮して、サーバは、それぞれ第１の顔画像と第２の顔画像とから鼻領域をトリミングして、対応する第１の顔ローカル器官領域画像と第２の顔ローカル器官領域画像とを取得することにより、差分画像を決定してよく、該差分画像を生体顔検出に用いて、検出精度を向上させる。
幾つかの可能な実現方式において、サーバは、グローバルと、ローカルとの２つの次元から差分画像を決定してよい。例えば、それぞれ第１の顔画像と第２の顔画像とから顔中心領域をトリミングして、対応する第１の顔中心領域画像と第２の顔中心領域画像とを取得して、それぞれ第１の顔画像と第２の顔画像とから顔ローカル器官領域をトリミングして、対応する第１の顔ローカル器官領域画像と第２の顔ローカル器官領域画像とを取得する。次に、第１の顔中心領域画像と第２の顔中心領域画像とに対して画像差分処理を行って、顔中心領域の差分画像を第１の差分画像として取得して、第１の顔ローカル器官領域画像と第２の顔ローカル器官領域画像とに対して画像差分処理を行って、顔ローカル器官領域の差分画像を第２の差分画像として取得する。上記２つの次元の差分画像に基づいて二重検出を行うことにより、検出結果の信頼性をさらに向上させることができる。
Ｓ２０３において、差分画像から特徴マップを抽出し、上記特徴マップから、上記目標検出対象に対応する物体反射率と、上記目標検出対象に対応する物体法線ベクトルとを分離し、かつ物体反射率及び物体法線ベクトルに基づいて、上記目標検出対象が生体であるか否かを決定する。
Ｌａｍｂｅｒｔ光照射モデルから分かるように、同一の物体の異なる光照射条件での２枚の画像の差分画像は、物体反射率と、物体法線ベクトルとの２つの情報を含む。ここで、マテリアルの異なる（又はテクスチャの異なる）物体に対応する反射率が異なり、異なる位置に対応する法線ベクトルの指向が異なるため、物体反射率は、物体のテクスチャ情報を特徴付けることができ、物体法線ベクトルは、物体の深度情報を特徴付けることができる。即ち、異なる光照射条件での顔画像に基づいて形成された差分画像は、顔のテクスチャ情報と、深度情報とを含み、サーバは、上記差分画像から特徴マップを抽出する。次に、特徴マップから、テクスチャ情報を特徴付ける物体反射率と、深度情報を特徴付ける物体法線ベクトルとを分離してよく、これらを生体検出に用いることにより、テクスチャ情報と深度情報との混合の生体顔検出精度に対する影響を回避することができる。
ここで、差分画像から特徴マップを抽出し、特徴マップから、目標検出対象に対応する物体反射率及び物体法線ベクトルを分離するステップは、予めトレーニングされた生体顔検出モデルにより実現することができ、目標検出対象に対応する物体反射率及び物体法線ベクトルに基づいて、目標検出対象が生体であるか否かを決定するステップも、上記生体顔検出モデルにより実現することができる。
理解できるように、上記生体顔検出モデルは、目標検出対象の差分画像を入力とし、目標検出対象が生体であるか否かに対する予測結果を出力とする。生体顔検出モデルには、畳み込み層、グローバルプーリング層、及び全結合分類層を含む。実現する場合、サーバは、差分画像を予めトレーニングされた生体顔検出モデルに入力し、該生体顔検出モデルにおける畳み込み層により、画像特徴を抽出して特徴マップを取得して、かつ特徴マップから、目標検出対象に対応する物体反射率と、目標検出対象に対応する物体法線ベクトルとを分離する。次に、生体顔検出モデルにおけるグローバルプーリング層及び全結合分類層により、物体反射率及び物体法線ベクトルに基づいて、目標検出対象が生体であるか否かを決定してよい。
生体顔検出モデルは、ニューラルネットワークをトレーニングして取得することができる。一例において、ニューラルネットワークは、畳み込み層、グローバルプーリング層、及び全結合分類層を含み、トレーニングデータにおけるサンプル差分画像を生体顔検出モデルに入力する。生体顔検出モデルは、畳み込み層によりテクスチャ情報及び深度情報を分離し、グローバルプーリング層及び全結合分類層により、テクスチャ情報及び深度情報に基づいてサンプル差分画像に対応する生体顔検出スコアを決定する。該生体顔検出スコアに基づいて予測結果を決定し、予測結果と、サンプルデータにおけるサンプル差分画像に対応するマーキングラベルとに基づいてパラメータ更新を行うことができる。更新後のモデルがトレーニング終了条件を満たす場合、トレーニングを停止し、かつ条件を満たすモデルを生体顔検出に用いる。ここで、以下、トレーニング過程を詳細に説明する。
理解しやすくするために、本願はさらに、生体顔検出モデルの構造と組み合わせて、目標検出対象に対して生体顔検出を行う実現方式を説明する。図５に参照されるように、ユーザ側の表示画面を介して顔面に色の異なる光線を発射し、光線が反射して第１の顔画像（即ち、緑色光照射で得られた画像Ａ）及び第２の顔画像（即ち、紫色光照射で得られた画像Ｂ）を形成し、画像Ａと画像Ｂとに対して差分処理を行って、差分画像をネットワーク入力として取得する。そのサイズは２５６×２５６×３であり、差分画像を生体顔検出モデルに入力する。該生体顔検出モデルは、入力層、深度畳み込み層、グローバルプーリング層、及び全結合分類層を含み、差分画像をモデルに入力した後、深度畳み込み層により特徴抽出を行って特徴マップを取得することができ、そのサイズは８×８×５１２である。次に、グローバルプーリング層により５１２次元特徴を取得することができ、さらに、全結合分類層により、ｓｏｆｔｍａｘ関数を利用して分類して生体顔検出スコアを取得することができる。該生体顔検出スコアが所定の判定閾値ｔより高ければ、生体顔検出モデルは、入力を生身の人間と判断する。即ち、目標検出対象が生体であり、そうでなければ、入力を攻撃、即ち、目標検出対象が生体ではなく、写真又は３Ｄモデル等の手段により偽造されたものであると判断する。
上記例において、サーバは、生体顔検出スコアを取得した後、さらに正規化を行う。次に、正規化された生体顔検出スコアを対応する閾値と比較することにより、生体顔検出を実現することができる。
なお、所定の判定閾値は、実際の必要に応じて設置することができる。サーバは、所定の判定閾値を調整することにより、生身の人間としての通過率と攻撃の拒否率とをいずれも比較的に高いレベルに維持することができる。
幾つかの可能な実現方式において、生体顔検出モデルは、深度マップ回帰と、マテリアルマップ回帰との２つの分岐をさらに含んでよい。このように、目標検出対象が攻撃であると決定した場合、サーバはさらに、深度マップ回帰結果及びマテリアルマップ回帰結果に基づいて攻撃タイプを決定することができる。
幾つかの応用シーンが生体検出の安全性能に対してより高い需要を有することを考慮して、サーバは、取得された第１の顔画像及び第２の顔画像に基づいて、元の光照射条件を推定してもよい。推定して得られた元の光照射条件がバックグラウンドから伝送された照明シーケンスコードとマッチングしなければ、フロントエンド設備ポートが他の技術にハッキングされたと考えられ、この期間における入力はいずれも攻撃と考えられる。
以上から分かるように、本願の実施例に係る生体顔検出方法において、深度情報及びテクスチャ情報を教師あり情報として担持するサンプルデータに基づいて、１つの生体顔検出モデルを予めトレーニングする。該生体顔検出モデルは、深度情報及びテクスチャ情報を分離できる。さらに、深度情報及びテクスチャ情報に基づいて生体顔検出を実現すれば、２Ｄ及び３Ｄ攻撃を正確に認識することができる。安全性能において、光反射原理に基づいてモデリングし、異なる光照射条件での光反射結像ピクチャから深度及びマテリアル情報を分離するため、深度情報を単一で利用する生体検出方法に比べて、よりロバストである。かつ該方法は、３Ｄ攻撃の誤通過率を大幅に低減することができ、他の攻撃タイプに対する認識に影響を与えない。ユーザ体験において、該方法は、任意の形式のユーザ対話を必要とせず、姿勢を一時的に保持するだけで、顔認識による検証を完了することができる。プラットフォーム及び機種の汎用性において、該方法は、ハードウェアをカスタマイズする必要がなく、現在の市場における主流のモバイル設備への使用をサポートし、普及しやすい。
理解できるように、本願に係る生体顔検出方法は、生体顔検出モデルにより実現される。本願の技術手段を理解しやすくするために、以下、具体的な実施例と組み合わせて、サーバの角度から本願に係る生体顔検出モデルのトレーニング方法を詳細に説明する。
図６に示す生体顔検出モデルのトレーニング方法のフローチャートに参照されるように、該方法は、Ｓ６０１と、Ｓ６０２と、Ｓ６０３とを含む。
Ｓ６０１において、トレーニングデータセットを取得する。
ここで、トレーニングデータセットにおいて複数グループのトレーニングデータが含まれる。各グループのトレーニングデータは、サンプル差分画像、サンプル差分画像のマーキングラベル、並びにサンプル差分画像に対応する深度マップ、及びマテリアルマップとを含む。サンプル差分画像は、異なる光照射条件で収集されたサンプル検出対象の顔画像に対して画像差分処理を行って得られたものである。サンプル差分画像のマーキングラベルは、上記サンプル差分画像の属するサンプル検出が生体であるか否かを識別するために用いられる。マテリアルマップは、サンプル差分画像における各画素位置のマテリアルタイプを識別するために用いられる。マテリアルタイプは、画素位置のテクスチャ情報に基づいて決定されるものである。深度マップは、サンプル差分画像における各画素位置の深度情報を識別するために用いられる。深度情報は、画素の存在する空間位置が結像平面から離れる距離に基づいて決定されるものであってよい。
ここで、サンプル検出対象は、生身の人間（生体）と、攻撃サンプル（非生体）とを含む。サンプル検出対象が生身の人間のトレーニングデータは、正サンプルと呼ばれ、サンプル検出対象が攻撃サンプルのトレーニングデータは、負サンプルと呼ばれ、実際に応用する場合、第１の所定の比率に応じて正サンプル及び負サンプルを配置してトレーニングデータセットを形成してよい。ここで、第１の所定の比率は、実際の必要に応じて設置してよく、例えば、８：２に設置してよい。
サンプルの多様性を考慮して、サーバは、第２の所定の比率に応じて、異なるタイプの負サンプルを配置してトレーニングデータセットを形成してもよい。例えば、負サンプルは、平面紙による攻撃と、平面スクリーンによる攻撃と、３Ｄモデルによる攻撃とを含み、第２の所定の比率は、１：１：２であってよく、このように、サーバは、該比率に応じて負サンプルを配置して、トレーニングデータセットを形成することができる。
トレーニングデータを生成する場合、サーバは、まず、サンプル差分画像を取得する。次に、生身の人間、紙、スクリーン、３Ｄモデル、環境に応じて、それぞれ異なるラベル、例えばラベル１～５を与えることにより、サンプル差分画像に対応するマーキングラベルを取得して、さらに、サンプル差分画像の各画素位置のテクスチャ情報に基づいて、各画素位置のマテリアルタイプを決定することができる。画素ごとにサンプル差分画像にマテリアルタイプ用ラベルを与えることにより、サンプル差分画像のマテリアルマップを生成することができる。また、３Ｄモデリングツールに基づいて、サンプル差分画像のために深度マップを生成する。ここで、平面攻撃の深度マップは、全ゼログレースケールマップであり、最後に、サーバは、上記サンプル差分画像、マーキングラベル、マテリアルマップ及び深度マップに基づいてトレーニングデータを生成することができる。ここで、マーキングラベル、マテリアルマップ及び深度マップは、トレーニングデータの教師あり情報とする。
Ｓ６０２において、上記トレーニングデータセットに基づいて、予め構築された第１のニューラルネットワークモデルをトレーニングして、収束状態にある第１のニューラルネットワークモデルを取得する。
実現する場合、第１のニューラルネットワークモデルは、畳み込み層及び２つの逆畳み込み層、グローバルプーリング層、並びに全結合分類層を含む。畳み込み層は、差分画像から特徴マップを抽出し、特徴マップから、サンプル検出対象のマテリアル情報を特徴付ける物体反射率と、サンプル検出対象の深度情報を特徴付ける物体法線ベクトルとを分離するために用いられる。２つの逆畳み込み層は、それぞれ、物体反射率及び物体法線ベクトルに基づいてピクチャを復元することにより、深度回帰及び材質回帰を実現するために用いられる。即ち、１つの逆畳み込み層は、物体反射率に基づいて回帰してマテリアルマップを取得して、もう１つの逆畳み込み層は、物体法線ベクトルに基づいて回帰して深度マップを取得して、グローバルプーリング層は、プーリング処理を行うために用いられ、全結合分類層は、プーリング処理後の特徴に対して分類を行って、分類結果に基づいて、サンプル検出対象が生体であるか否かを予測するために用いられる。
実際に応用する場合、深度情報及びマテリアル情報を抽出するために用いられる畳み込み層は、業界に既存の深度畳み込み層であってもよく、例えば、ＶＧＧＮｅｔ、ＲｅｓＮｅｔ、ＤｅｎｓｅＮｅｔ等のネットワーク構造における畳み込み層であってもよく、当然のことながら、解決手段の需要に応じてネットワーク構造を自ら設計しても修正してもよい。回帰タスクの困難性を考慮して、ピクチャを復元するために用いられる逆畳み込み層は、層間結合構造付きのアップサンプリングモデル、例えば、ＵＮｅｔ、Ｄｅｃｏｎｖｏｌｕｔｉｏｎ ｗｉｔｈ ｓｋｉｐ－ｃｏｎｎｅｃｔｉｏｎ等のネットワーク構造における逆畳み込み層を採用してよい。また、例えばグローバルプーリング層、全結合分類層等は、業界の汎用構造を採用してよく、ここでは説明を省略する。
上記第１のニューラルネットワークモデルをトレーニングする場合、実際の必要に応じて対応するトレーニング方式を選択してよい。幾つかの可能な実現形態において、予め構築された第１のニューラルネットワークモデルに対して、サーバは、エンドツーエンドのトレーニング方式により、トレーニングデータセットに基づいて、収束状態にある第１のニューラルネットワークモデルを取得するまで第１のニューラルネットワークモデルのネットワークパラメータをトレーニングしてよく、このように、比較的に高い性能を取得することができる。
当然のことながら、他の可能な実現形態において、サーバは、クロストレーニング方式を採用して第１のニューラルネットワークモデルをトレーニングしてもよい。例えば、予め構築された第１のニューラルネットワークモデルに対して、第１の段階では、予め構築された第１のニューラルネットワークモデルにおけるグローバルプーリング層及び全結合分類層を固定し、トレーニングデータセットに基づいて、畳み込み層及び２つの逆畳み込み層をトレーニングし、第２の段階では、第１のニューラルネットワークモデルにおける畳み込み層及び２つの逆畳み込み層を固定し、トレーニングデータセットに基づいて、グローバルプーリング層及び全結合分類層をトレーニングする。次に、第１の段階でトレーニングされた畳み込み層及び逆畳み込み層、第２の段階でトレーニングされたググローバルプーリング及び全結合分類層に基づいて、第１の段階及び第２の段階でクロストレーニングされた、収束状態にある第１のニューラルネットワークモデルを取得する。このように、トレーニングの難易度を低減し、トレーニング効率を向上させることができる。
以下、トレーニングデータセットに基づいて、第１のニューラルネットワークモデルをトレーニングする過程を詳細に説明する。
サーバは、トレーニングデータセットにおける各グループのトレーニングデータに含まれるサンプル差分画像を、予め構築された第１のニューラルネットワークモデルに入力し、第１のニューラルネットワークモデルにおける畳み込み層により、サンプル差分画像に対して特徴抽出を行って１グループの特徴マップを取得する。次に、このグループの特徴マップを第１のサブグループの特徴マップと第２のサブグループの特徴マップとに分離する。ここで、第１のサブグループの特徴マップは、サンプル検出対象の物体法線ベクトルを特徴付け、第２のサブグループの特徴マップは、サンプル検出対象の物体反射率を特徴付ける。第１のサブグループの特徴マップにおける物体法線ベクトルは、回帰して深度情報を特徴付ける深度マップを取得するために用いることができ、第２のサブグループの特徴マップにおける物体反射率は、回帰してマテリアル情報を特徴付けるマテリアルマップを取得するために用いられる。
次に、第１のニューラルネットワークモデルにおける畳み込み層により、第１のサブグループの特徴マップを第１のニューラルネットワークモデルにおける第１の逆畳み込み層に入力し、かつ第２のサブグループの特徴マップを第１のニューラルネットワークモデルにおける第２の逆畳み込み層に入力する。そして、該グループの特徴マップを第１のニューラルネットワークモデルにおけるグローバルプーリング層に入力し、グローバルプーリング層により処理した後に全結合分類層に入力する。
ここで、第１の逆畳み込み層が出力する予測特徴マップは実質的に、第１の逆畳み込み層が第１のサブグループの特徴マップに基づいて回帰した深度マップであり、説明しやすくするために、予測深度マップと表記する。該予測深度マップを予めマーキングされたサンプル画像に対応する深度マップと対照して、深度マップの損失を決定することができる。同様に、第２の逆畳み込みから出力可能な予測特徴マップは実質的に、第２の畳み込み層が第２のサブグループの特徴マップに基づいて回帰したマテリアルマップであり、説明しやすくするために、予測マテリアルマップと表記する。該予測マテリアルマップを予めマーキングされたサンプル画像に対応するマテリアルマップと対照して、マテリアルマップの損失を決定することができる。また、サーバは、上記全結合分類層が出力する予測ラベルと、サンプル差分画像に対応するマーキングラベルとに基づいて分類の損失を決定し、毎回の反復更新周期における、決定された深度マップの損失、マテリアルマップの損失及び分類の損失に基づいてモデルの損失を決定し、モデルの損失に基づいて第１のニューラルネットワークモデルのパラメータを更新し、第１のニューラルネットワークモデルが収束状態になるまで反復更新してもよい。
理解しやすくするために、本願はさらに、一例を提供して生体顔検出モデルのトレーニング過程を説明する。
図７に示すように、第１のニューラルネットワークモデルは、深度畳み込み層及び２つの逆畳み込み層、グローバルプーリング層、並びに全結合分類層を含み、異なる光照射条件での顔画像により形成されたサンプル差分画像を上記第１のニューラルネットワークモデルに入力し、深度畳み込み層により特徴抽出を行って、特徴マップを取得することができ、特徴マップに対して分離を行うことにより、それぞれ深度情報及びマテリアル情報を含む特徴マップを取得することができる。次に、モデルを３つの分岐路に分け、ここで、１つの分岐路は、深度情報を含む特徴マップに基づいて、逆畳み込み層によりピクチャを復元した後に深度回帰を行い、もう１つの分岐路は、マテリアル情報を含む特徴マップに基づいて、逆畳み込み層によりピクチャを復元した後にマテリアル回帰を行い、さらにもう１つの分岐路は、深度情報及びマテリアル情報を含む特徴マップに基づいて、グローバルプーリング層及び全結合分類層により分類を行って、該サンプル検出対象が生身の人間であるか又は攻撃タイプであると予測する。
上記例において、第１のニューラルネットワークモデルの各分岐のいずれにも、対応する損失関数、即ち、図におけるｌｏｓｓ１～ｌｏｓｓ３が設置され、サーバは、各グループのトレーニングデータ（ｍｉｎｉｂａｔｃｈ）に対して、フォワード計算を行ってｌｏｓｓ値を取得する。次に、該ｌｏｓｓ値に基づいて、確率的勾配降下（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ、ＳＧＤ）又は他の最適化アルゴリズムを利用してモデルパラメータを更新し、継続的な反復更新により第１のニューラルネットワークモデルを最適化することができる。更新後の第１のニューラルネットワークモデルが収束状態にある場合、サーバは、トレーニングを停止することができる。なお、トレーニング過程において、サーバは、検証セットに基づいてモデル選別を行い、そして他の技術手段により模倣の過剰適合を防止することができる。
Ｓ６０３において、上記収束状態にある第１のニューラルネットワークモデルに対してトリミングを行って生体顔検出モデルを取得する。
生体顔検出モデルは主に目標検出対象が生身の人間であるか又は攻撃であるかを検出するために用いられることを考慮すると、実際に応用する場合、サーバは、第１のニューラルネットワークモデルにおける、深度回帰及びマテリアル回帰に用いられる２つの分岐を除去して、畳み込み層、グローバルプーリング層、及び全結合分類層を含む生体顔検出モデルを取得してよい。
当然のことながら、攻撃タイプを決定する需要がある場合、サーバは、深度情報及びマテリアル情報に基づいて攻撃タイプを決定するように、上記深度回帰及びマテリアル回帰用の２つの分岐を保留してもよい。
以上から分かるように、本願の実施例に係る生体顔検出モデルのトレーニング方法において、まず、トレーニングデータセットを取得する。トレーニングデータセットの各グループのトレーニングデータには、マーキングラベルに加えて、深度マップ及びマテリアルマップがサンプル差分画像の教師あり情報として追加される。ここで、マテリアルマップは、モデルがマテリアル情報を抽出する性能に対して教師あり学習を行うために用いられ、深度マップは、モデルが深度情報を抽出する性能に対して教師あり学習を行うために用いられる。このように、トレーニングされたモデルは、深度情報及びマテリアル情報を正確に抽出する機能を有し、生体顔検出モデルの予測精度を向上させる。
図６に示す実施例において、サーバは、トレーニングデータセットを取得する場合、異なる光照射条件での顔画像をさらに処理してサンプル差分画像を取得し、さらにトレーニングデータを取得してもよい。
幾つかの可能な実現方式において、サーバは、異なる光照射条件での顔画像に対して顔認識を行い、次に、顔認識結果に基づいて、トリミングを行って顔中心領域画像を取得する。次に、顔中心領域画像に対して画像差分処理を行って顔中心領域の差分画像をサンプル差分画像として取得してよく、このように、後続の予測において顔中心領域の深度及びマテリアル情報をより注目するようにし、予測精度を向上させることができる。
他の幾つかの可能な実現方式において、サーバは、異なる光照射条件での顔画像に対して顔認識を行い、次に、顔認識結果に基づいて、顔ローカル器官領域をトリミングして顔ローカル器官領域画像を取得する。次に、顔ローカル器官領域画像に対して画像差分処理を行って顔ローカル器官領域の差分画像をサンプル差分画像として取得してよく、このように、後続の予測において価値のある顔ローカル器官領域のみに注目するようにし、予測精度を保証するだけでなく、予測効率を向上させることができる。
当然のことながら、サーバは、顔中心領域の差分画像及び顔ローカル器官領域の差分画像に基づいて、二重検出を行ってもよい。対応するように、サーバは、顔中心領域に基づいて予測を行うために用いられるモデルと、顔器官ローカル領域、例えば鼻領域に基づいて予測を行うために用いられるモデルとの２つのモデルをトレーニングすることにより、検出精度を向上させることができる。
例えば、サーバは、第１のトレーニングデータセット及び第２のトレーニングデータセットを取得する。ここで、第１のトレーニングデータセットにおける各グループのトレーニングデータに含まれるサンプル差分画像は、サンプル検出対象の異なる光照射条件での対応する２枚の画像の顔中心領域に対して画像差分処理を行って得られたものであり、第２のトレーニングデータセットにおける各グループのトレーニングデータに含まれるサンプル差分画像は、サンプル検出対象の異なる光照射条件での対応する２枚の画像の顔ローカル器官領域に対して画像差分処理を行って得られたものである。次に、第１のトレーニングデータセット及び第２のトレーニングデータセットに基づいて、予め構築された第１のニューラルネットワークモデルを並列トレーニングして、収束状態にある２つの第１のニューラルネットワークモデルを取得する。
このように、サーバは、上記収束状態にある２つの第１のニューラルネットワークモデルに対してトリミングを行い、トリミングされた２つの第１のニューラルネットワークモデルを生体顔検出モデルとする。
なお、図２に示す実施例及び図６に示す実施例におけるサーバは、同一であっても異なってもよい。即ち、トレーニング過程におけるサーバと予測過程におけるサーバとは、同一であっても異なってもよく、実際の必要に応じて設置されてもよい。
本願の技術手段をより明確にするために、以下、モバイル支払いにおける身分検証の応用シーンと組み合わせて、本願に係る生体顔検出方法を説明する。
図８に示す生体顔検出方法のシーン概略図に参照されるように、該シーンにおいて、端末８１０と、トレーニングサーバ８２０と、支払いサーバ８３０とを含む。ここで、端末８１０に支払いアプリケーションがインストールされ、ユーザは、端末８１０における支払いアプリケーションにより支払い操作を開始する。端末８１０は、該支払い操作に応答して、支払いサーバ８３０に支払い要求を送信することができ、支払いサーバ８３０は、トレーニングサーバ８２０によりトレーニングされた生体顔検出モデルに基づいて、まず、ユーザに対して身分検証を行う。検証を通過した後、さらに支払い要求に応じて口座引き落としを行い、かつ端末８１０に引き落とし通知メッセージを返信することにより、ユーザに支払いが成功したか否かを提示する。
ここで、支払いサーバ８３０が生体顔検出モデルに基づいて身分検証を行う過程は、以下のステップを含む。
まず、端末８１０は、支払い要求を生成すると同時に、生体顔検出要求を生成するようにトリガする。次に、端末８１０は、支払いサーバ８３０に生体顔検出要求を送信し、支払いサーバ８３０は、該生体顔検出要求に応答して、二種類の異なる色標識、例えば赤色及び緑色をランダムに選択して、二種類の異なる色標識を持つ光照射指令を生成し、端末８１０に上記光照射指令を送信する。
端末８１０は、該光照射指令の指示で、順に二種類の異なる色標識に応じて表示画面が対応する色の光線を発射するように制御し、かつユーザの顔面反射光線を収集して第１の顔画像と第２の顔画像とを順に形成し、次に、該第１の顔画像及び第２の顔画像を支払いサーバ８３０に送信する。
支払いサーバ８３０は、上記第１の顔画像と第２の顔画像とのそれぞれに対して顔認識を行い、次に、顔認識結果に基づいて、顔中心領域を収集して第１の顔中心領域画像及び第２の顔中心領域画像を取得して、第１の顔中心領域画像と第２の顔中心領域画像とに対して画像差分処理を行って顔中心領域の差分画像を取得する。
支払いサーバ８３０は、上記差分画像を、トレーニングサーバ８２０から取得された生体顔検出モデルに入力し、生体顔検出モデルにより、差分画像から特徴マップを抽出し、特徴マップから、テクスチャ情報を特徴付ける物体反射率と、深度情報を特徴付ける物体法線ベクトルとを分離し、かつ物体反射率及び物体法線ベクトルに基づいて、差分画像に対応する生体顔検出スコアを決定し、該生体顔検出スコアと所定の判定閾値とを比較する。生体顔検出スコアが所定の判定閾値より高ければ、生体顔検出結果が生身の人間であると決定し、ユーザの身分検証を通過し、支払いサーバ８３０は、口座引き落とし操作を実行し続けることができる。引き落としが成功した後、端末８１０に引き落とし成功通知メッセージを送信し、ユーザに支払いが成功したと提示し、そうでなければ、生体顔検出結果が攻撃であると決定し、口座引き落とし操作の実行を中止し、端末８１０に引き落とし失敗通知メッセージを送信し、ユーザに支払いが失敗したと提示する。
以上は、本願の実施例に係る生体顔検出方法及び生体顔検出モデルのトレーニング方法の幾つかの実現方式であり、これに基づいて、本願は、対応する装置をさらに提供する。以下、機能モジュール化の角度から、本願の実施例に係る上記装置を説明する。
図９に示す生体顔検出装置９００の構造概略図に参照されるように、該装置９００は、
目標検出対象の第１の光照射条件での第１の顔画像と、上記目標検出対象の第２の光照射条件での第２の顔画像とを取得するために用いられる顔画像取得モジュール９１０と、
上記第１の顔画像及び上記第２の顔画像に基づいて差分画像を決定するために用いられる差分画像決定モジュール９２０と、
上記差分画像から特徴マップを抽出し、上記特徴マップから、上記目標検出対象に対応する物体反射率と、上記目標検出対象に対応する物体法線ベクトルとを分離するために用いられる特徴抽出モジュール９３０であって、ここで、上記物体反射率は、テクスチャ情報を特徴付けるために用いられ、上記物体法線ベクトルは、深度情報を特徴付けるために用いられる、特徴抽出モジュール９３０と、
上記物体反射率及び上記物体法線ベクトルに基づいて、上記目標検出対象が生体であるか否かを決定するために用いられる生体検出モジュール９４０と、を含む。
選択可能に、上記差分画像決定モジュール９２０は、具体的に、
上記第１の顔画像の顔中心領域をトリミングして第１の顔中心領域画像を取得し、上記第２の顔画像の顔中心領域をトリミングして第２の顔中心領域画像を取得するステップと、
上記第１の顔中心領域画像と上記第２の顔中心領域画像とに対して画像差分処理を行って顔中心領域の差分画像を取得するステップと、を実行するために用いられる。
選択可能に、上記差分画像決定モジュール９２０は、具体的に、
上記第１の顔画像における顔ローカル器官領域をトリミングして第１の顔ローカル領域画像を取得し、上記第２の顔画像における顔ローカル器官領域をトリミングして第２の顔ローカル領域画像を取得するステップと、
上記第１の顔ローカル領域画像と上記第２の顔ローカル領域画像とに対して画像差分処理を行って、顔ローカル領域の差分画像を取得するステップと、を実行するために用いられる。
選択可能に、上記差分画像決定モジュール９２０は、具体的に、
上記第１の顔画像の顔中心領域をトリミングして第１の顔中心領域画像を取得し、上記第２の顔画像の顔中心領域をトリミングして第２の顔中心領域画像を取得するステップと、
上記第１の顔中心領域画像と上記第２の顔中心領域画像とに対して画像差分処理を行って顔中心領域の差分画像を取得するステップと、
上記第１の顔画像における顔ローカル器官領域をトリミングして第１の顔ローカル領域画像を取得し、上記第２の顔画像における顔ローカル器官領域をトリミングして第２の顔ローカル領域画像を取得するステップと、
上記第１の顔ローカル領域画像と上記第２の顔ローカル領域画像とに対して画像差分処理を行って、顔ローカル領域の差分画像を取得するステップと、を実行するために用いられる。
選択可能に、上記特徴抽出モジュール９３０は、具体的に、
予めトレーニングされた生体顔検出モデルにより、上記差分画像から特徴マップを抽出し、上記特徴マップから、上記目標検出対象に対応する物体反射率と、上記目標検出対象に対応する物体法線ベクトルとを分離するステップを実行するために用いられ、
上記生体検出モジュール９４０は、具体的に、
上記生体顔検出モデルにより、かつ上記物体反射率及び上記物体法線ベクトルに基づいて、目標検出対象が生体であるか否かを決定するステップを実行するために用いられる。
選択可能に、上記特徴抽出モジュール９３０は、具体的に、
上記差分画像を予めトレーニングされた生体顔検出モデルに入力し、上記生体顔検出モデルにおける畳み込み層により、画像特徴を抽出して特徴マップを取得して、かつ上記特徴マップから、上記目標検出対象に対応する物体反射率と、上記目標検出対象に対応する物体法線ベクトルとを分離するステップを実行するために用いられ、
上記生体検出モジュール９４０は、具体的に、
上記生体顔検出モデルにおけるグローバルプーリング層及び全結合分類層により、上記物体反射率及び上記物体法線ベクトルに基づいて、上記目標検出対象が生体であるか否かを決定するステップを実行するために用いられる。
選択可能に、上記顔画像取得モジュール９１０は、具体的に、
生体検出要求に応答して、光照射指令を生成するステップであって、上記光照射指令は、第１の光照射条件に対応する第１の光照射パラメータと、第２の光照射条件に対応する第２の光照射パラメータとを含む、ステップと、
上記光照射指令に基づいて、発光素子が光線を発射するように制御し、かつ上記目標検出対象の顔面反射光線を収集して、上記第１の顔画像と、上記第２の顔画像とを順に形成するステップと、を実行するために用いられる。
選択可能に、上記顔画像取得モジュール９１０は、光照射指令を生成する場合、具体的に、
生体検出要求に応答して、二種類の異なる色標識をランダムに選択して、上記二種類の異なる色標識を持つ光照射指令を生成するステップを実行するために用いられる。
選択可能に、上記顔画像取得モジュール９１０は、発光素子が光線を発射するように制御し、かつ目標検出対象の顔面反射光線を収集して、第１の顔画像と、第２の顔画像とを順に形成する場合、具体的に、
生体検出要求に応答して、顔の画像収集領域に対する角度を決定するステップと、
上記光照射指令及び上記角度に基づいて、上記発光素子が上記第１の光照射パラメータ及び上記第２の光照射パラメータに基づいて上記角度の光線を順に発射するように制御するステップと、を実行するために用いられる。
次に、図１０に示す生体顔検出モデルのトレーニング装置１０００の構造概略図に参照されるように、該装置１０００は、
トレーニングデータセットを取得するために用いられるサンプルセット取得モジュール１０１０であって、上記トレーニングデータセットにおける各グループのトレーニングデータは、サンプル差分画像、上記サンプル差分画像のマーキングラベル、並びに上記サンプル差分画像に対応する深度マップ、及びマテリアルマップとを含み、上記サンプル差分画像は、異なる光照射条件で収集されたサンプル検出対象の顔画像に対して画像差分を行って得られたものであり、上記サンプル差分画像のマーキングラベルは、上記サンプル差分画像の属するサンプル検出対象が生体であるか否かを識別するために用いられ、上記深度マップは、上記サンプル差分画像における各画素位置の深度情報を識別するために用いられ、上記マテリアルマップは、上記サンプル差分画像における各画素位置のマテリアルタイプを識別するために用いられ、上記マテリアルタイプは、画素位置のテクスチャ情報に基づいて決定される、サンプルセット取得モジュール１０１０と、
上記トレーニングデータセットに基づいて、予め構築された第１のニューラルネットワークモデルをトレーニングして、収束状態にある第１のニューラルネットワークモデルを取得するために用いられるトレーニングモジュール１０２０であって、上記第１のニューラルネットワークモデルは、畳み込み層及び２つの逆畳み込み層、グローバルプーリング層、並びに全結合分類層を含む、トレーニングモジュール１０２０と、
上記収束状態にある第１のニューラルネットワークモデルに対してトリミングを行って生体顔検出モデルを取得するために用いられるトリミングモジュール１０３０であって、上記生体顔検出モデルは、上記畳み込み層、上記グローバルプーリング層、及び上記全結合分類層を含む、トリミングモジュール１０３０と、を含む。
選択可能に、上記トレーニングモジュール１０２０は、具体的に、
上記トレーニングデータセットにおける各グループのトレーニングデータに含まれるサンプル差分画像を、上記予め構築された第１のニューラルネットワークモデルに入力するステップと、
上記第１のニューラルネットワークモデルにおける畳み込み層により、上記サンプル差分画像に対して特徴抽出を行って１グループの特徴マップを取得して、上記１グループの特徴マップを第１のサブグループの特徴マップと第２のサブグループの特徴マップとに分離するステップであって、上記第１のサブグループの特徴マップは、上記サンプル検出対象の物体法線ベクトルを特徴付け、上記第２のサブグループの特徴マップは、上記サンプル検出対象の物体反射率を特徴付ける、ステップと、
上記第１のニューラルネットワークモデルにおける上記畳み込み層により、上記第１のサブグループの特徴マップを上記第１のニューラルネットワークモデルにおける第１の逆畳み込み層に入力し、かつ上記第２のサブグループの特徴マップを上記第１のニューラルネットワークモデルにおける第２の逆畳み込み層に入力し、上記１グループの特徴マップを上記第１のニューラルネットワークモデルにおけるグローバルプーリング層に入力し、上記グローバルプーリング層により処理した後に全結合分類層に入力するステップと、
上記第１の逆畳み込み層が出力する予測特徴マップと、上記サンプル差分画像に対応する深度マップとに基づいて深度マップの損失を決定し、かつ上記第２の逆畳み込み層が出力する予測特徴マップと、上記サンプル差分画像に対応するマテリアルマップとに基づいてマテリアルマップの損失を決定し、上記全結合分類層が出力する予測ラベルと、上記サンプル差分画像に対応するマーキングラベルとに基づいて分類の損失を決定するステップと、
毎回の反復更新周期における、決定された上記深度マップの損失、上記マテリアルマップの損失及び上記分類の損失に基づいてモデルの損失を決定し、上記モデルの損失に基づいて第１のニューラルネットワークモデルのパラメータを更新し、上記第１のニューラルネットワークモデルが収束状態になるまで反復更新するステップと、を実行するために用いられる。
選択可能に、上記サンプルセット取得モジュール１０１０は、具体的に、
第１のトレーニングデータセットを取得するステップであって、上記第１のトレーニングデータセットにおける各グループのトレーニングデータに含まれる上記サンプル差分画像は、上記サンプル検出対象の異なる光照射条件での対応する２枚の画像の顔中心領域に対して画像差分処理を行って得られたものである、ステップと、
第２のトレーニングデータセットを取得するステップであって、上記第２のトレーニングデータセットにおける各グループのトレーニングデータに含まれる上記サンプル差分画像は、上記サンプル検出対象の異なる光照射条件での対応する２枚の画像の顔ローカル器官領域に対して画像差分処理を行って得られたものである、ステップと、を実行するために用いられ、
上記トレーニングモジュール１０２０は、具体的に、
上記第１のトレーニングデータセット及び上記第２のトレーニングデータセットに基づいて、予め構築された第１のニューラルネットワークモデルを並列トレーニングして、収束状態にある２つの第１のニューラルネットワークモデルを取得するステップを実行するために用いられる。
選択可能に、上記トレーニングモジュール１０２０は、具体的に、
予め構築された第１のニューラルネットワークモデルに対して、エンドツーエンドのトレーニング方式により、上記トレーニングデータセットに基づいて、収束状態にある第１のニューラルネットワークモデルを取得するまで第１のニューラルネットワークモデルのネットワークパラメータをトレーニングするステップを実行するために用いられる。
選択可能に、上記トレーニングモジュール１０２０は、具体的に、
予め構築された第１のニューラルネットワークモデルに対して、第１の段階では、上記予め構築された第１のニューラルネットワークモデルにおけるグローバルプーリング層及び全結合分類層を固定し、上記トレーニングデータセットに基づいて、上記畳み込み層及び上記２つの逆畳み込み層をトレーニングするステップと、
第２の段階では、上記第１のニューラルネットワークモデルにおける上記畳み込み層及び上記２つの逆畳み込み層を固定し、上記トレーニングデータセットに基づいて、上記グローバルプーリング層及び上記全結合分類層をトレーニングするステップと、
上記第１の段階及び上記第２の段階でクロストレーニングされた、収束状態にある第１のニューラルネットワークモデルを取得するステップと、を実行するために用いられる。
選択可能に、上記畳み込み層のネットワーク構造は、ＶＧＧＮｅｔ、ＲｅｓＮｅｔ又はＤｅｎｓｅＮｅｔを採用し、そして、上記逆畳み込み層のネットワーク構造は、ＵＮｅｔ又はＤｅｃｏｎｖｏｌｕｔｉｏｎ ｗｉｔｈ ｓｋｉｐ－ｃｏｎｎｅｃｔｉｏｎを採用する。
本願の実施例に係る上記方法及び装置の実現方式に基づいて、本願は、生体顔検出を実現するために用いられる設備と、生体顔検出モデルのトレーニングを実現するために用いられる設備とをさらに提供する。以下、ハードウェアの実体化の角度から本願の実施例に係る設備を説明する。
図１１は、本願の実施例に係る設備の構造概略図である。該設備は、サーバであってよく、該サーバ１１００は、配置又は性能が異なるため、比較的に大きな差異が生じる可能性があり、１つ以上の中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ、ＣＰＵ）１１２２（例えば、１つ以上のプロセッサ）と、メモリ１１３２と、アプリケーションプログラム１１４２又はデータ１１４４を記憶する１つ以上の記憶媒体１１３０（例えば、１つ以上の大容量記憶設備）とを含んでよい。ここで、メモリ１１３２及び記憶媒体１１３０は、一時的に記憶しても永続的に記憶しでもよい。記憶媒体１１３０に記憶されたプログラムは、それぞれがサーバに対する一連の命令操作を含み得る１つ以上のモジュール（図示せず）を含んでよい。さらに、中央処理装置１１２２は、記憶媒体１１３０と通信して、記憶媒体１１３０における一連の命令操作をサーバ１１００上で実行するように設置されてよい。
サーバ１１００は、１つ以上の電源１１２６、１つ以上の有線又は無線ネットワークインタフェース１１５０、１つ以上の入出力インタフェース１１５８、及び／又は１つ以上の操作システム１１４１、例えば、Ｗｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、Ｌｉｎｕｘ（登録商標）、ＦｒｅｅＢＳＤＴＭ等をさらに含んでよい。
上記実施例における、サーバにより実行されるステップは、該図１１に示すサーバ構造に基づくものであってよい。
ここで、上記設備が生体顔検出を実現するために用いられる場合、ＣＰＵ１１２２は、
目標検出対象の第１の光照射条件での第１の顔画像と、上記目標検出対象の第２の光照射条件での第２の顔画像とを取得するステップと、
上記第１の顔画像及び上記第２の顔画像に基づいて差分画像を決定するステップと、
上記差分画像から特徴マップを抽出し、上記特徴マップから、上記目標検出対象に対応する物体反射率と、上記目標検出対象に対応する物体法線ベクトルとを分離するステップであって、ここで、上記物体反射率は、テクスチャ情報を特徴付けるために用いられ、上記物体法線ベクトルは、深度情報を特徴付けるために用いられる、ステップと、
上記物体反射率及び上記物体法線ベクトルに基づいて、上記目標検出対象が生体であるか否かを決定するステップと、を実行するために用いられる。
選択可能に、上記ＣＰＵ１１２２はさらに、本願の実施例に係る生体顔検出方法のいずれか１つの実現方式のステップを実行するために用いられる。
当然のことながら、上記設備が生体顔検出モデルのトレーニングを実現するために用いられる場合、ＣＰＵ１１２２は、
トレーニングデータセットを取得するステップであって、上記トレーニングデータセットにおける各グループのトレーニングデータは、サンプル差分画像、上記サンプル差分画像のマーキングラベル、並びに上記サンプル差分画像に対応する深度マップ、及びマテリアルマップと含み、上記サンプル差分画像は、異なる光照射条件で収集されたサンプル検出対象の顔画像に対して画像差分を行って得られたものであり、上記サンプル差分画像のマーキングラベルは、上記サンプル差分画像の属するサンプル検出対象が生体であるか否かを識別するために用いられ、上記深度マップは、上記サンプル差分画像における各画素位置の深度情報を識別するために用いられ、上記マテリアルマップは、上記サンプル差分画像における各画素位置のマテリアルタイプを識別するために用いられ、上記マテリアルタイプは、画素位置のテクスチャ情報に基づいて決定される、ステップと、
上記トレーニングデータセットに基づいて、予め構築された第１のニューラルネットワークモデルをトレーニングして、収束状態にある第１のニューラルネットワークモデルを取得するステップであって、上記第１のニューラルネットワークモデルは、畳み込み層及び２つの逆畳み込み層、グローバルプーリング層、並びに全結合分類層を含む、ステップと、
上記収束状態にある第１のニューラルネットワークモデルに対してトリミングを行って生体顔検出モデルを取得するステップであって、上記生体顔検出モデルは、上記畳み込み層、上記グローバルプーリング層、及び上記全結合分類層を含む、ステップと、を実行するために用いられる。
選択可能に、上記ＣＰＵ１１２２はさらに、本願の実施例に係る生体顔検出モデルのトレーニング方法のいずれか１つの実現方式のステップを実行するために用いられる。
本願の実施例に係るコンピュータ可読記憶媒体は、前述の各実施例に記載の生体顔検出方法又は生体顔検出モデルのトレーニング方法のいずれか１つの実施方式を実行するために用いられるコンピュータプログラムを記憶するために用いられる。
本願の実施例に係る、命令を含むコンピュータプログラム製品は、コンピュータで実行される場合、上記コンピュータに上記生体顔検出方法又は生体顔検出モデルのトレーニング方法を実行させる。
当業者であれば明確に把握できるように、便利にかつ簡潔に説明するために、上記説明したシステム、装置及びユニットの具体的な作業過程については、前述の方法の実施例における対応する過程を参照することができ、ここでは説明を省略する。
本願に係る幾つかの実施例において、開示されたシステム、装置及び方法は、他の方式で実現されてもよいことを理解されたい。例えば、以上説明した装置の実施例は、例示的なものに過ぎない。例えば、上記ユニットの区分は、論理上の機能の区分に過ぎず、実際に実現する場合に他の区分方式も可能である。例えば、複数のユニット又はコンポーネントは組み合わせられてもよく、又は別のシステムに集積されてもよく、又は幾つかの特徴を無視してもよく、実行しなくてもよい。また、表示されるか又は議論される相互カップリング、直接カップリング又は通信結合は、幾つかのインタフェースにより実現されてよく、装置又はユニット間の間接カップリング又は通信結合は、電気的、機械的、又は他の形式であってよい。
別個の部品として説明した上記ユニットは、物理的に別個であってもなくてもよく、ユニットとして表示される部品は、物理的ユニットであってもなくてもよい。即ち、１つの箇所に位置してもよく、複数のネットワークユニットに分散されてもよい。実際の需要に応じて、それらのユニットの一部又は全てを選択して本実施例の技術手段の目的を実現することができる。
また、本願の各実施例における各機能ユニットが１つの処理ユニットに集積されてもよく、各ユニットが単独で物理的に存在してもよく、２つ以上のユニットが１つのユニットに集積されてもよい。上記集積されたユニットは、ハードウェアの形式を採用して実現されてもよく、ソフトウェア機能ユニットの形式を採用して実現されてもよい。
上記集積されたユニットは、ソフトウェア機能ユニットの形式で実現され、かつ独立した製品として販売又は使用されると、１つのコンピュータ可読記憶媒体に記憶されてよい。このような理解に基づいて、本願の技術手段の本質的な又は従来技術に貢献する部分、又は該技術手段の全て又は一部は、ソフトウェア製品の形式で実現することができる。該コンピュータソフトウェア製品は、１台のコンピュータ設備（パーソナルコンピュータ、サーバ、又はネットワーク設備等であってよい）に本願の各実施例に記載の方法の全て又は一部のステップを実行させる幾つかの命令を含む記憶媒体に記憶されている。前述の記憶媒体は、Ｕメモリ、モバイルハードディスク、読出し専用メモリ（英語フルネーム：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、英語略称：ＲＯＭ）、ランダムアクセスメモリ（英語フルネーム：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、英語略称：ＲＡＭ）、磁気ディスク又は光ディスク等の、プログラムコードを記憶できる様々な媒体を含む。
以上のように、上記の実施例は、本願の技術手段を説明するためのものに過ぎず、限定するものではない。上記した各実施例を参照して本願を詳細に説明したが、当業者が理解すべきこととして、上記の各実施例において記載される技術手段を修正するか、又はその技術的特徴の一部に同等置換を行うことは依然として可能である。これらの修正又は置換によって、対応する技術手段の本質は、本願の各実施例の技術手段の精神及び範囲から逸脱することはない。
１０１ 端末
１０２ サーバ
８１０ 端末
８２０ トレーニングサーバ
８３０ サーバ
９００ 生体顔検出装置
９１０ 顔画像取得モジュール
９２０ 差分画像決定モジュール
９３０ 特徴抽出モジュール
９４０ 生体検出モジュール
１０００ トレーニング装置
１０１０ サンプルセット取得モジュール
１０２０ トレーニングモジュール
１０３０ トリミングモジュール
１１００ サーバ
１１２２ 中央処理装置
１１２６ 電源
１１３０ 記憶媒体
１１３２ メモリ
１１４１ 操作システム
１１４２ アプリケーションプログラム
１１４４ データ
１１５０ 無線ネットワークインタフェース
１１５８ 入出力インタフェース

Claims (15)

  1. 画像処理機能を有する処理設備により実行される生体顔検出方法であって、
    目標検出対象の第１の光照射条件での第１の顔画像と、前記目標検出対象の第２の光照射条件での第２の顔画像とを取得するステップと、
    前記第１の顔画像及び前記第２の顔画像に基づいて差分画像を決定するステップと、
    前記差分画像から特徴マップを抽出し、前記特徴マップから、前記目標検出対象に対応する物体反射率と、前記目標検出対象に対応する物体法線ベクトルとを分離するステップであって、前記物体反射率は、テクスチャ情報を特徴付けるために用いられ、前記物体法線ベクトルは、深度情報を特徴付けるために用いられる、ステップと、
    前記物体反射率及び前記物体法線ベクトルに基づいて、前記目標検出対象が生体であるか否かを決定するステップと、を含む、生体顔検出方法。
  2. 前記第１の顔画像及び前記第２の顔画像に基づいて差分画像を決定するステップは、
    前記第１の顔画像の顔中心領域をトリミングして第１の顔中心領域画像を取得し、前記第２の顔画像の顔中心領域をトリミングして第２の顔中心領域画像を取得するステップと、
    前記第１の顔中心領域画像と前記第２の顔中心領域画像とに対して画像差分処理を行って顔中心領域の差分画像を取得するステップと、を含む、請求項１に記載の方法。
  3. 前記第１の顔画像及び前記第２の顔画像に基づいて差分画像を決定するステップは、
    前記第１の顔画像における顔ローカル器官領域をトリミングして第１の顔ローカル器官領域画像を取得し、前記第２の顔画像における顔ローカル器官領域をトリミングして第２の顔ローカル器官領域画像を取得するステップと、
    前記第１の顔ローカル器官領域画像と前記第２の顔ローカル器官領域画像とに対して画像差分処理を行って、顔ローカル器官領域の差分画像を取得するステップと、を含む、請求項１に記載の方法。
  4. 前記第１の顔画像及び前記第２の顔画像に基づいて差分画像を決定するステップは、
    前記第１の顔画像の顔中心領域をトリミングして第１の顔中心領域画像を取得し、前記第２の顔画像の顔中心領域をトリミングして第２の顔中心領域画像を取得するステップと、
    前記第１の顔中心領域画像と前記第２の顔中心領域画像とに対して画像差分処理を行って顔中心領域の差分画像を取得するステップと、
    前記第１の顔画像における顔ローカル器官領域をトリミングして第１の顔ローカル器官領域画像を取得し、前記第２の顔画像における顔ローカル器官領域をトリミングして第２の顔ローカル器官領域画像を取得するステップと、
    前記第１の顔ローカル器官領域画像と前記第２の顔ローカル器官領域画像とに対して画像差分処理を行って、顔ローカル器官領域の差分画像を取得するステップと、を含む、請求項１に記載の方法。
  5. 前記差分画像から特徴マップを抽出し、前記特徴マップから、前記目標検出対象に対応する物体反射率と、前記目標検出対象に対応する物体法線ベクトルとを分離するステップと、前記目標検出対象に対応する前記物体反射率及び前記物体法線ベクトルに基づいて、前記目標検出対象が生体であるか否かを決定するステップとは、
    予めトレーニングされた生体顔検出モデルにより、前記差分画像から特徴マップを抽出し、前記特徴マップから、前記目標検出対象に対応する物体反射率と、前記目標検出対象に対応する物体法線ベクトルとを分離するステップと、前記生体顔検出モデルにより、前記物体反射率及び前記物体法線ベクトルに基づいて、前記目標検出対象が生体であるか否かを決定するステップと、を含む、請求項１～４のいずれか１項に記載の方法。
  6. 予めトレーニングされた生体顔検出モデルにより、前記差分画像から特徴マップを抽出し、前記特徴マップから、前記目標検出対象に対応する物体反射率と、前記目標検出対象に対応する物体法線ベクトルとを分離するステップと、前記生体顔検出モデルにより、前記物体反射率及び前記物体法線ベクトルに基づいて、前記目標検出対象が生体であるか否かを決定するステップとは、
    前記差分画像を前記生体顔検出モデルに入力し、前記生体顔検出モデルにおける畳み込み層により、画像特徴を抽出して特徴マップを取得して、かつ前記特徴マップから、前記目標検出対象に対応する物体反射率と、前記目標検出対象に対応する物体法線ベクトルとを分離し、前記生体顔検出モデルにおけるグローバルプーリング層及び全結合分類層により、前記物体反射率及び前記物体法線ベクトルに基づいて、前記目標検出対象が生体であるか否かを決定するステップを含む、請求項５に記載の方法。
  7. 目標検出対象の第１の光照射条件での第１の顔画像と、前記目標検出対象の第２の光照射条件での第２の顔画像とを取得するステップは、
    生体検出要求に応答して、光照射指令を生成するステップであって、前記光照射指令は、第１の光照射条件に対応する第１の光照射パラメータと、第２の光照射条件に対応する第２の光照射パラメータとを含む、ステップと、
    前記光照射指令に基づいて、発光素子が光線を発射するように制御し、かつ前記目標検出対象の顔面反射光線を収集して、前記第１の顔画像と、前記第２の顔画像とを順に形成するステップと、を含む、請求項１～４のいずれか一項に記載の方法。
  8. 前記生体検出要求に応答して、光照射指令を生成するステップは、
    生体検出要求に応答して、二種類の異なる色標識をランダムに選択して、前記二種類の異なる色標識を持つ光照射指令を生成するステップを含む、請求項７に記載の方法。
  9. 前記光照射指令に基づいて、発光素子が光線を発射するように制御し、かつ前記目標検出対象の顔面反射光線を収集して、前記第１の顔画像と、前記第２の顔画像とを順に形成するステップは、
    生体検出要求に応答して、顔の画像収集領域に対する角度を決定するステップと、
    前記光照射指令及び前記角度に基づいて、前記発光素子が前記第１の光照射パラメータ及び前記第２の光照射パラメータに基づいて前記角度の光線を順に発射するように制御するステップと、
    前記目標検出対象の顔面反射光線を収集して、前記第１の顔画像と、前記第２の顔画像とを順に形成するステップと、を含む、請求項７に記載の方法。
  10. 画像処理機能を有する処理設備により実行される生体顔検出モデルのトレーニング方法であって、
    トレーニングデータセットを取得するステップであって、前記トレーニングデータセットにおける各グループのトレーニングデータは、サンプル差分画像と、前記サンプル差分画像のマーキングラベルと、前記サンプル差分画像に対応する深度マップ及びマテリアルマップと、を含み、前記サンプル差分画像は、異なる光照射条件で収集されたサンプル検出対象の顔画像に対して画像差分を行って得られたものであり、前記サンプル差分画像のマーキングラベルは、前記サンプル差分画像の属するサンプル検出対象が生体であるか否かを識別するために用いられ、前記深度マップは、前記サンプル差分画像における各画素位置の深度情報を識別するために用いられ、前記マテリアルマップは、前記サンプル差分画像における各画素位置のマテリアルタイプを識別するために用いられ、前記マテリアルタイプは、画素位置のテクスチャ情報に基づいて決定される、ステップと、
    前記トレーニングデータセットに基づいて、予め構築された第１のニューラルネットワークモデルをトレーニングして、収束状態にある第１のニューラルネットワークモデルを取得するステップであって、前記第１のニューラルネットワークモデルは、畳み込み層及び２つの逆畳み込み層、グローバルプーリング層、並びに全結合分類層を含む、ステップと、
    前記収束状態にある第１のニューラルネットワークモデルに対してトリミングを行って生体顔検出モデルを取得するステップであって、前記生体顔検出モデルは、前記畳み込み層、前記グローバルプーリング層、及び前記全結合分類層を含む、ステップと、を含む、生体顔検出モデルのトレーニング方法。
  11. 前記トレーニングデータセットに基づいて、予め構築された第１のニューラルネットワークモデルをトレーニングして、収束状態にある第１のニューラルネットワークモデルを取得するステップは、
    前記トレーニングデータセットにおける各グループのトレーニングデータに含まれるサンプル差分画像を、前記予め構築された第１のニューラルネットワークモデルに入力するステップと、
    前記第１のニューラルネットワークモデルにおける畳み込み層により、前記サンプル差分画像に対して特徴抽出を行って１グループの特徴マップを取得して、前記１グループの特徴マップを第１のサブグループの特徴マップと第２のサブグループの特徴マップとに分離するステップであって、前記第１のサブグループの特徴マップは、前記サンプル検出対象の物体法線ベクトルを特徴付け、前記第２のサブグループの特徴マップは、前記サンプル検出対象の物体反射率を特徴付ける、ステップと、
    前記第１のニューラルネットワークモデルにおける前記畳み込み層により、前記第１のサブグループの特徴マップを前記第１のニューラルネットワークモデルにおける第１の逆畳み込み層に入力し、かつ前記第２のサブグループの特徴マップを前記第１のニューラルネットワークモデルにおける第２の逆畳み込み層に入力し、前記１グループの特徴マップを前記第１のニューラルネットワークモデルにおけるグローバルプーリング層に入力し、前記グローバルプーリング層により処理した後に全結合分類層に入力するステップと、
    前記第１の逆畳み込み層が出力する予測特徴マップと、前記サンプル差分画像に対応する深度マップとに基づいて深度マップの損失を決定し、かつ前記第２の逆畳み込み層が出力する予測特徴マップと、前記サンプル差分画像に対応するマテリアルマップとに基づいてマテリアルマップの損失を決定し、前記全結合分類層が出力する予測ラベルと、前記サンプル差分画像に対応するマーキングラベルとに基づいて分類の損失を決定するステップと、
    毎回の反復更新周期における、決定された前記深度マップの損失、前記マテリアルマップの損失及び前記分類の損失に基づいてモデルの損失を決定し、前記モデルの損失に基づいて第１のニューラルネットワークモデルのパラメータを更新し、前記第１のニューラルネットワークモデルが収束状態になるまで反復更新するステップと、を含む、請求項１０に記載の方法。
  12. 画像処理機能を有する処理設備に配備された生体顔検出装置であって、
    目標検出対象の第１の光照射条件での第１の顔画像と、前記目標検出対象の第２の光照射条件での第２の顔画像とを取得するために用いられる顔画像取得モジュールと、
    前記第１の顔画像及び前記第２の顔画像に基づいて差分画像を決定するために用いられる差分画像決定モジュールと、
    前記差分画像から特徴マップを抽出し、前記特徴マップから、前記目標検出対象に対応する物体反射率と、前記目標検出対象に対応する物体法線ベクトルとを分離するために用いられる特徴抽出モジュールであって、前記物体反射率は、テクスチャ情報を特徴付けるために用いられ、前記物体法線ベクトルは、深度情報を特徴付けるために用いられる、特徴抽出モジュールと、
    前記物体反射率及び前記物体法線ベクトルに基づいて、前記目標検出対象が生体であるか否かを決定するために用いられる生体検出モジュールと、を含む、生体顔検出装置。
  13. 画像処理機能を有する処理設備に配備された生体顔検出モデルのトレーニング装置であって、
    トレーニングデータセットを取得するために用いられるサンプルセット取得モジュールであって、前記トレーニングデータセットにおける各グループのトレーニングデータは、サンプル差分画像、前記サンプル差分画像のマーキングラベル、並びに前記サンプル差分画像に対応する深度マップ、及びマテリアルマップと含み、前記サンプル差分画像は、異なる光照射条件で収集されたサンプル検出対象の顔画像に対して画像差分を行って得られたものであり、前記サンプル差分画像のマーキングラベルは、前記サンプル差分画像の属するサンプル検出対象が生体であるか否かを識別するために用いられ、前記深度マップは、前記サンプル差分画像における各画素位置の深度情報を識別するために用いられ、前記マテリアルマップは、前記サンプル差分画像における各画素位置のマテリアルタイプを識別するために用いられ、前記マテリアルタイプは、画素位置のテクスチャ情報に基づいて決定される、サンプルセット取得モジュールと、
    前記トレーニングデータセットに基づいて、予め構築された第１のニューラルネットワークモデルをトレーニングして、収束状態にある第１のニューラルネットワークモデルを取得するために用いられるトレーニングモジュールであって、前記第１のニューラルネットワークモデルは、畳み込み層及び２つの逆畳み込み層、グローバルプーリング層、並びに全結合分類層を含む、トレーニングモジュールと、
    前記収束状態にある第１のニューラルネットワークモデルに対してトリミングを行って生体顔検出モデルを取得するために用いられるトリミングモジュールであって、前記生体顔検出モデルは、前記畳み込み層、前記グローバルプーリング層、及び前記全結合分類層を含む、トリミングモジュールと、を含む生体顔検出モデルのトレーニング装置。
  14. プロセッサと、メモリとを含み、
    前記メモリは、コンピュータプログラムを記憶するために用いられ、
    前記プロセッサは、前記コンピュータプログラムに基づいて請求項１～１１のいずれか１項に記載の方法を実行するために用いられる、処理設備。
  15. 実行されると、請求項１～１１のいずれか１項に記載の方法を実施するように構成された、コンピュータプログラム。
JP2022515568A 2019-10-18 2020-09-21 生体顔検出方法、装置、設備及びコンピュータプログラム Active JP7262884B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910996055.5A CN110765923A (zh) 2019-10-18 2019-10-18 一种人脸活体检测方法、装置、设备及存储介质
CN201910996055.5 2019-10-18
PCT/CN2020/116507 WO2021073364A1 (zh) 2019-10-18 2020-09-21 一种人脸活体检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
JP2022547183A JP2022547183A (ja) 2022-11-10
JP7262884B2 true JP7262884B2 (ja) 2023-04-24

Family

ID=69332390

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022515568A Active JP7262884B2 (ja) 2019-10-18 2020-09-21 生体顔検出方法、装置、設備及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US11972638B2 (ja)
EP (1) EP3995989A4 (ja)
JP (1) JP7262884B2 (ja)
CN (1) CN110765923A (ja)
WO (1) WO2021073364A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765923A (zh) 2019-10-18 2020-02-07 腾讯科技（深圳）有限公司 一种人脸活体检测方法、装置、设备及存储介质
KR20210108082A (ko) * 2020-02-25 2021-09-02 삼성전자주식회사 위상 차를 이용하는 라이브니스 검출 방법 및 장치
CN111523438B (zh) * 2020-04-20 2024-02-23 支付宝实验室(新加坡)有限公司 一种活体识别方法、终端设备和电子设备
CN113591517A (zh) * 2020-04-30 2021-11-02 华为技术有限公司 一种活体检测方法及相关设备
CN111597938B (zh) * 2020-05-07 2022-02-22 马上消费金融股份有限公司 活体检测、模型训练方法及装置
CN111582381B (zh) * 2020-05-09 2024-03-26 北京市商汤科技开发有限公司 确定性能参数的方法及装置、电子设备和存储介质
EP3939011A1 (en) * 2020-05-20 2022-01-19 Google LLC Learning illumination from diverse portraits
CN111683273A (zh) * 2020-06-02 2020-09-18 中国联合网络通信集团有限公司 视频卡顿信息的确定方法及装置
CN113761983B (zh) * 2020-06-05 2023-08-22 杭州海康威视数字技术股份有限公司 更新人脸活体检测模型的方法、装置及图像采集设备
CN112085701A (zh) * 2020-08-05 2020-12-15 深圳市优必选科技股份有限公司 一种人脸模糊度检测方法、装置、终端设备及存储介质
CN111914775B (zh) * 2020-08-06 2023-07-28 平安科技（深圳）有限公司 活体检测方法、装置、电子设备及存储介质
CN112149578A (zh) * 2020-09-24 2020-12-29 四川川大智胜软件股份有限公司 基于人脸三维模型的人脸皮肤材质计算方法、装置及设备
CN112232152B (zh) * 2020-09-30 2021-12-03 墨奇科技（北京）有限公司 非接触式指纹识别方法、装置、终端和存储介质
CN112036386A (zh) * 2020-11-05 2020-12-04 中科创达软件股份有限公司 Tee环境下使用相机相近帧进行活体检测的方法及装置
CN112465717A (zh) * 2020-11-25 2021-03-09 北京字跳网络技术有限公司 脸部图像处理模型训练方法、装置、电子设备和介质
CN112580454B (zh) * 2020-12-08 2024-03-26 上海明略人工智能(集团)有限公司 基于图片材质分割标记的人脸防伪方法及系统
CN112966562A (zh) * 2021-02-04 2021-06-15 深圳市街角电子商务有限公司 人脸活体检测方法、系统及存储介质
US11663775B2 (en) * 2021-04-19 2023-05-30 Adobe, Inc. Generating physically-based material maps
CN113239743A (zh) * 2021-04-23 2021-08-10 普联国际有限公司 一种人群密度检测方法、装置、设备及存储介质
CN113221766A (zh) * 2021-05-18 2021-08-06 北京百度网讯科技有限公司 训练活体人脸识别模型、识别活体人脸的方法及相关装置
CN113361349B (zh) * 2021-05-25 2023-08-04 北京百度网讯科技有限公司 人脸活体检测方法、装置、电子设备和存储介质
CN113409056B (zh) * 2021-06-30 2022-11-08 深圳市商汤科技有限公司 支付方法、装置、本地识别设备、人脸支付系统及设备
CN115690918A (zh) * 2021-07-22 2023-02-03 京东科技控股股份有限公司 构建活体识别模型和活体识别的方法、装置、设备及介质
CN113642428B (zh) * 2021-07-29 2022-09-27 北京百度网讯科技有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN113422982B (zh) * 2021-08-23 2021-12-14 腾讯科技（深圳）有限公司 数据处理方法、装置、设备及存储介质
US20230091381A1 (en) * 2021-09-17 2023-03-23 Jumio Corporation Spoof detection using eye boundary analysis
CN114333078A (zh) * 2021-12-01 2022-04-12 马上消费金融股份有限公司 活体检测方法、装置、电子设备及存储介质
WO2023221996A1 (zh) * 2022-05-16 2023-11-23 北京旷视科技有限公司 一种活体检测方法、电子设备、存储介质及程序产品
CN115147705B (zh) * 2022-09-06 2023-02-03 平安银行股份有限公司 人脸翻拍检测方法、装置、电子设备及存储介质
CN115601818B (zh) * 2022-11-29 2023-04-07 海豚乐智科技(成都)有限责任公司 一种轻量化可见光活体检测方法及装置
CN116994343B (zh) * 2023-09-27 2023-12-15 睿云联(厦门)网络通讯技术有限公司 基于标签平滑的扩散标签深度学习模型训练方法及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018200640A (ja) 2017-05-29 2018-12-20 キヤノン株式会社 画像処理装置および画像処理方法
US10360464B1 (en) 2016-03-04 2019-07-23 Jpmorgan Chase Bank, N.A. Systems and methods for biometric authentication with liveness detection

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
WO2017000116A1 (zh) * 2015-06-29 2017-01-05 北京旷视科技有限公司 活体检测方法、活体检测系统以及计算机程序产品
CN105320947B (zh) * 2015-11-04 2019-03-01 博宏信息技术有限公司 一种基于光照成分的人脸活体检测方法
CN105574509B (zh) * 2015-12-16 2019-01-15 天津科技大学 一种基于光照的人脸识别系统回放攻击检测方法及应用
CN107169405B (zh) * 2017-03-17 2020-07-03 上海云从企业发展有限公司 基于双目摄像机活体识别的方法及装置
JP7346401B2 (ja) * 2017-11-10 2023-09-19 エヌビディア コーポレーション 安全で信頼できる自動運転車両のためのシステム及び方法
CN110765923A (zh) * 2019-10-18 2020-02-07 腾讯科技（深圳）有限公司 一种人脸活体检测方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10360464B1 (en) 2016-03-04 2019-07-23 Jpmorgan Chase Bank, N.A. Systems and methods for biometric authentication with liveness detection
JP2018200640A (ja) 2017-05-29 2018-12-20 キヤノン株式会社 画像処理装置および画像処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Patrick P. K. Chan et al.，Face Liveness Detection Using a Flash Against 2D Spoofing Attack，IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY, VOL. 13, NO. 2，2017年10月02日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8055588，IEL Online(IEEE Xplore)
海老原 章記 外２名，フラッシュ反射光を利用した単眼可視光カメラによるなりすまし検知，映像情報メディア学会技術報告 情報センシング Ｖｏｌ．４２ Ｎｏ．１４，2018年05月17日

Also Published As

Publication number Publication date
EP3995989A4 (en) 2022-09-14
JP2022547183A (ja) 2022-11-10
WO2021073364A1 (zh) 2021-04-22
US20220083795A1 (en) 2022-03-17
CN110765923A (zh) 2020-02-07
US11972638B2 (en) 2024-04-30
EP3995989A1 (en) 2022-05-11

Similar Documents

Publication Publication Date Title
JP7262884B2 (ja) 生体顔検出方法、装置、設備及びコンピュータプログラム
US20180012411A1 (en) Augmented Reality Methods and Devices
CN105518744B (zh) 行人再识别方法及设备
CN103383723B (zh) 用于生物特征验证的电子欺骗检测的方法和系统
CN108427871A (zh) 3d人脸快速身份认证方法与装置
CN111274928B (zh) 一种活体检测方法、装置、电子设备和存储介质
Viraktamath et al. Face detection and tracking using OpenCV
Medioni et al. Identifying noncooperative subjects at a distance using face images and inferred three-dimensional face models
WO2019176235A1 (ja) 画像生成方法、画像生成装置及び画像生成システム
CN112639846A (zh) 一种训练深度学习模型的方法和装置
CN112232155B (zh) 非接触指纹识别的方法、装置、终端及存储介质
CN109214366A (zh) 局部目标重识别方法、装置及系统
CN110059579B (zh) 用于活体检验的方法和装置，电子设备和存储介质
WO2020079741A1 (ja) 虹彩認証装置、虹彩認証方法および記録媒体
CN110909634A (zh) 可见光与双红外线相结合的快速活体检测方法
CN112016525A (zh) 非接触式指纹采集方法和装置
CN112232163A (zh) 指纹采集方法及装置、指纹比对方法及装置、设备
CN108846343B (zh) 基于三维视频的多任务协同分析方法
Roth et al. Deep end-to-end 3d person detection from camera and lidar
WO2023279799A1 (zh) 对象识别方法、装置和电子系统
KR102639187B1 (ko) 얼굴 합성 서비스를 제공하는 방법 및 이를 위한 장치
Wang et al. Digital twin: Acquiring high-fidelity 3D avatar from a single image
Satapathy et al. A lite convolutional neural network built on permuted Xceptio-inception and Xceptio-reduction modules for texture based facial liveness recognition
Liu et al. Attack-Agnostic Deep Face Anti-Spoofing
CN108596019B (zh) 一种基于对角之势的摄像头监控方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230406

R150 Certificate of patent or registration of utility model

Ref document number: 7262884

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150