JP7414901B2 - 生体検出モデルのトレーニング方法及び装置、生体検出の方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム - Google Patents

生体検出モデルのトレーニング方法及び装置、生体検出の方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム Download PDF

Info

Publication number
JP7414901B2
JP7414901B2 JP2022119731A JP2022119731A JP7414901B2 JP 7414901 B2 JP7414901 B2 JP 7414901B2 JP 2022119731 A JP2022119731 A JP 2022119731A JP 2022119731 A JP2022119731 A JP 2022119731A JP 7414901 B2 JP7414901 B2 JP 7414901B2
Authority
JP
Japan
Prior art keywords
image
feature
living body
body detection
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022119731A
Other languages
English (en)
Other versions
JP2022141931A (ja
Inventor
国生 ▲張▼
浩城 ▲馮▼
▲海▼▲瀟▼ 岳
珂▲尭▼ 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2022141931A publication Critical patent/JP2022141931A/ja
Application granted granted Critical
Publication of JP7414901B2 publication Critical patent/JP7414901B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Description

本開示は、人工知能の技術分野に関し、具体的に、コンピュータ視覚及びディープラーニングの技術分野に関し、顔識別などのシーンに適用することができる。
コンピュータ技術及びネットワーク技術の発展に伴い、ディープラーニング技術が多くの分野で広く応用されている。例えば、ディープラーニング技術を用いて生体検出を行うことで、検出精度を効果的に向上させることができる。しかし、コンピュータ技術の発展に伴い、偽造生体を生成する技術が続出してきた。関連技術において生体を検出するディープラーニング技術は、一般的に汎化能力が劣り、様々な技術で生成された偽造生体を効果的に識別することを保証し難い。
これに鑑みて、本開示は、汎化能力及び検出精度を向上させる生体検出モデルのトレーニング方法及び装置、生体検出モデルを用いて生体検出を行う方法及び装置、電子機器、記録媒体、並びにコンピュータプログラムを提供している。
本開示の1つの局面によれば、生体検出モデルのトレーニング方法であって、生体検出モデルは、特徴抽出ネットワークと分類ネットワークとを含み、このトレーニング方法は、オブジェクト対象を含む複数のサンプル画像を特徴抽出ネットワークに入力して、複数のサンプル画像のうち各サンプル画像の第1の画像特徴を得ており、前記各サンプル画像は、オブジェクト対象が本物種別である実際確率を示すラベルを有することと、第1の画像特徴を分類ネットワークに入力して、各サンプル画像におけるオブジェクト対象が本物種別である第1の予測確率を得ることと、第1の画像特徴と、所定特徴シーケンスにおける各特徴との間の類似度に基づいて、各サンプル画像におけるオブジェクト対象が非本物種別である第2の予測確率を特定し、前記各特徴は、ラベルが示す実際確率がゼロである第1のサンプル画像の第2の画像特徴であることと、第1の予測確率と、第2の予測確率と、実際確率とに基づいて、生体検出モデルをトレーニングすることと、を含む生体検出モデルのトレーニング方法を提供している。
本開示の別の局面によれば、生体検出モデルを用いて生体検出を行う方法であって、生体検出モデルは、特徴抽出ネットワークと分類ネットワークとを含み、この方法は、オブジェクト対象を含む検出すべき画像を特徴抽出ネットワークに入力して、検出すべき画像の第3の画像特徴を得ることと、第3の画像特徴を分類ネットワークに入力して、検出すべき画像におけるオブジェクト対象が本物種別である確率を得ることと、を含み、ここで、生体検出モデルは、前文で説明した生体検出モデルのトレーニング方法を用いてトレーニングされたものである生体検出方法を提供している。
本開示の別の局面によれば、生体検出モデルのトレーニング装置であって、この生体検出モデルは、特徴抽出ネットワークと分類ネットワークとを含み、このトレーニング装置は、オブジェクト対象を含む複数のサンプル画像を特徴抽出ネットワークに入力して、複数のサンプル画像のうちの各サンプル画像の第1の画像特徴を得るためのものであって、前記各サンプル画像は、オブジェクト対象が本物種別である実際確率を示すラベルを有するの第1の特徴取得モジュールと、第1の画像特徴を分類ネットワークに入力して、各サンプル画像におけるオブジェクト対象が本物種別である第1の予測確率を得るための第1の予測モジュールと、第1の画像特徴と所定特徴シーケンスにおける各特徴との間の類似度に基づいて、各サンプル画像におけるオブジェクト対象が非本物種別である第2の予測確率を得るためのものであって、前記各特徴は、ラベルが示す実際確率がゼロである第1のサンプル画像の第2の画像特徴である第2の予測モジュールと、第1の予測確率と、第2の予測確率と、実際確率とに基づいて、生体検出モデルをトレーニングするためのモデルトレーニングモジュールと、を含む、生体検出モデルのトレーニング装置を提供している。
本開示の別の局面によれば、生体検出モデルを用いて生体検出を行う装置であって、生体検出モデルは、特徴抽出ネットワークと分類ネットワークとを含み、この装置は、オブジェクト対象を含む検出すべき画像を特徴抽出ネットワークに入力して、検出すべき画像の第3の画像特徴を得るための第2の特徴取得モジュールと、第3の画像特徴を分類ネットワークに入力して、検出すべき画像におけるオブジェクト対象が本物種別である確率を得るための確率取得モジュールと、を含み、ここで、生体検出モデルは、前文で説明した生体検出モデルのトレーニング装置を用いてトレーニングされたものである、生体検出装置を提供している。
本開示の別の局面によれば、少なくとも1つのプロセッサと、少なくとも1つのプロセッサと通信接続するメモリとを有する電子機器であって、メモリに、少なくとも1つのプロセッサによって実行され得るコマンドが記憶されており、コマンドが少なくとも1つのプロセッサによって実行されることで、少なくとも1つのプロセッサが本開示が提供した生体検出モデルのトレーニング方法及び/又は生体検出モデルを用いて生体検出を行う方法を実行することができる、電子機器を提供している。
本開示の別の局面によれば、コンピュータに本開示が提供した生体検出モデルのトレーニング方法及び/又は生体検出モデルを用いて生体検出を行う方法を実行させるためのコンピュータコマンドを記憶している、非一時的なコンピュータ読取可能な記憶媒体を提供している。
本開示の別の局面によれば、プロセッサにより実行される場合に、本開示が提供した生体検出モデルのトレーニング方法及び/又は生体検出モデルを用いて生体検出を行う方法を実現するコンピュータプログラムを提供している。
理解されるべきこととして、本部分に記載された内容は、本開示の実施例のキーポイント又は重要な特徴を示すことを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明により容易に理解される。
ここで、図面は、本技術案をよりよく理解するために用いられ、本開示を限定するものではない。
図1は、本開示の実施例による生体検出モデルのトレーニング方法及び生体検出の方法、装置の適用シーン模式図である。 図2は、本開示の実施例による生体検出モデルのトレーニング方法のフロー模式図である。 図3は、本開示の実施例による生体検出モデルのトレーニング方法の原理模式図である。 図4は、本開示の実施例による生体検出モデルの構成模式図である。 図5は、本開示の実施例による生体検出モデルを用いて生体検出を行う方法のフロー模式図である。 図6は、本開示の実施例による生体検出モデルのトレーニング装置の構成ブロック図である。 図7は、本開示の実施例による生体検出モデルを用いて生体検出を行う装置の構成ブロック図である。 図8は、本開示の実施例の生体検出モデルのトレーニング方法及び/又は生体検出モデルを用いて生体検出を行う方法を実施するための電子機器のブロック図である。
以下、図面を参照して本開示の例示的な実施例を説明する。ここで、より理解しやすいために本開示の実施例の様々な詳細は含まれ、それらが例示的なものであると考えられるべきである。したがって、当業者であれば、ここで記載される実施例に対して様々な変更・修正を行うことができ、本開示の範囲及び精神から逸脱することはないと分るべきである。同様に、明確かつ簡潔に説明するために、以下の記載において周知の機能や構成に対する説明を省略する。
一般的に、生体検出モデルは特徴二項分類の方法に基づいて構築されてもよく、異常検出の方法に基づいて構築されてもよい。特徴二項分類の方法に基づいて構築された生体検出モデルは、まず画像に対して特徴抽出を行い、次に抽出された特徴を二項分類してもよい。従来の方法又はディープニューラルネットワークに基づく方法を用いて特徴抽出を行ってよく、サポートベクターマシン又は全接続ネットワークを用いて特徴を二項分類してもよい。ここで、特徴を抽出する従来の方法は、ローカルバイナリパターン(Local Binary Pattern、LBP)を用いる方法、方向勾配ヒストグラム(Histogram of Oriented Gradients、HOG)を用いる方法などを含んでよく、ディープニューラルネットワークに基づく方法は、畳み込みニューラルネットワーク又は長・短期記憶ネットワークなどを用いて特徴を抽出してもよい。異常検出に基づく方法はオブジェクト対象が本物種別である(即ち、オブジェクト対象が本物生体の種別である)画像を正常な種別と見なし、オブジェクト対象が非本物種別である(即ち、オブジェクト対象が偽造生体の種別である)画像を異常な種別と見なしてもよい。トレーニング過程において、この異常検出に基づく方法は、正常な種別の画像におけるオブジェクト対象の特徴を学習することで、本物種別のオブジェクト対象の特徴が特徴中心に集中し、非本物種別のオブジェクト対象の特徴が特徴中心から離れるようにすることができる。
以上の二項分類の方法に基づいて本物生体と偽造生体とを2つの種別と見なす方法は実際のシーンに合致しない。これは、異なる偽造方法によって得られた偽造生体の差異が一般的に大きく、すべての偽造生体を一類に分類することは、生体検出モデルの学習に不利であり、生体検出モデルにより学習された偽造生体の特徴がトレーニングセットの分布にオーバーフィッティングすることを引き起こしやすく、それにより生体検出モデルの汎化効果が劣るためである。トレーニング過程において、異常検出に基づく方法は本物生体のみに対して特徴学習を行い、偽造生体の特徴に基づく監視を欠いているため、検出性能が限られているという技術的問題が存在する。
これに鑑みて、本開示は生体検出モデルのトレーニング方法を提供しており、特徴取得段階と、第1の予測段階と、第2の予測段階と、モデルトレーニング段階とを含む。ここで、生体検出モデルは、特徴抽出ネットワーク及び分類ネットワークを含む。特徴取得段階において、オブジェクト対象を含む複数のサンプル画像を特徴抽出ネットワークに入力して、複数のサンプル画像のうちの各サンプル画像の第1の画像特徴を取得し、この各サンプル画像は、オブジェクト対象が本物種別である実際確率を示すラベルを有する。第1の予測段階において、第1の画像特徴を分類ネットワークに入力して、各サンプル画像におけるオブジェクト対象が本物種別である第1の予測確率を得る。第2の予測段階において、第1の画像特徴と所定特徴シーケンスにおける各特徴との間の類似度に基づいて、各サンプル画像におけるオブジェクト対象が非本物種別である第2の予測確率を特定し、ここで、各特徴はラベルが示す実際確率がゼロである第1のサンプル画像の第2の画像特徴である。モデルトレーニング段階において、第1の予測確率と、第2の予測確率と、実際確率とに基づいて、生体検出モデルをトレーニングする。トレーニングされた生体検出モデルは通常の方法で構築された生体検出モデルに存在する問題を克服できることが期待される。
以下、図1を参照して本開示が提供した方法及び装置の適用シーンを説明する。
図1は、本開示の実施例による生体検出モデルのトレーニング方法及び生体検出の方法、装置の適用シーン模式図である。
図1に示すように、この実施例の適用シーン100は、居住者110、建物120、画像収集装置130及び電子機器140を含んでもよい。この画像収集装置130は、ネットワーク又は近距離通信プロトコルなどを通じて電子機器140と通信接続することができる。
この建物120の玄関ドアは、例えば、スマートドアである。電子機器140は、例えば、この玄関ドアの開閉を制御することができる。画像収集装置130は、例えば、この玄関ドアへ行く居住者110の顔画像を収集し、この顔画像を電子機器140に送信することで、電子機器140によってこの顔画像に対して生体検出及び顔識別を行うために用いられる。顔画像中の顔が所定ユーザの本物顔であると検出された場合、玄関ドアに開きコマンドを送信して、玄関ドアのスマート開きを実現する。
1つの実施例において、電子機器140は、例えば、建物120内に設置されており、ディスプレイパネルを有する端末機器であってもよく、遠隔制御サーバなどであってもよい。
1つの実施例において、電子機器140は、例えば、生体検出モデルを用いて顔画像中の顔が本物顔であるか否かを検出してもよい。この生体検出モデルは、電子機器140と通信接続するサーバによってトレーニングされたものであってもよい。又は、この電子機器140によって予めトレーニングされたものであってもよい。
なお、本開示が提供した生体検出モデルのトレーニング方法は、一般的に、電子機器140によって実行されてもよく、或いは、電子機器140と通信接続するサーバによって実行されてもよい。それに応じて、本開示が提供した生体検出モデルのトレーニング装置は、電子機器140に設置されてもよく、或いは、電子機器140と通信接続するサーバに設置されてもよい。本開示が提供した生体検出モデルを用いて生体検出を行う方法は、電子機器140によって実行されてもよい。それに応じて、本開示が提供した生体検出モデルを用いて生体検出を行う装置は、電子機器140に設置されてもよい。
理解されるべきこととして、図1における画像収集装置、建物及び電子機器の数、タイプ、及び居住者の数は、単に例示的なものに過ぎない。実現の必要に応じて、任意の数及びタイプの画像収集装置、建物及び電子機器を有してもよく、任意の数の居住者を有してもよい。
理解されるべきこととして、本開示を理解することに役立つように、図1における適用シーンは単に例示であり、このシーンにおいてオブジェクト対象が顔である。本開示が提供した方法は、オブジェクト分類、オブジェクト検出、オブジェクト識別、オブジェクト分割及びオブジェクト予測などの様々なシーンに適用されてもよい。他のシーンにおいて、オブジェクト対象は、本物の生理的特徴を有する各種の対象、例えば、目、動物の顔などであってもよい。本開示が用いるサンプル画像は、いずれも公開データセットに由来し、トレーニングされた生体検出モデルは、ある特定のユーザに対するモデルではなく、このモデルを用いることで、ある特定のユーザの個人情報を得ることもできない。
以下、図1を参照して、以下の図2~図4を通じて本開示が提供した生体検出モデルのトレーニング方法を詳細に説明する。
図2は、本開示の実施例による生体検出モデルのトレーニング方法のフロー模式図である。
図2に示すように、この実施例の生体検出モデルのトレーニング方法200は、操作S210~操作S240を含む。ここで、この生体検出モデルは、特徴抽出ネットワークと分類ネットワークとを含んでもよい。
操作S210において、オブジェクト対象を含む複数のサンプル画像を特徴抽出ネットワークに入力して、複数のサンプル画像のうちの各サンプル画像の第1の画像特徴を得る。
本開示の実施例によれば、公開データセットからオブジェクト対象を含む複数の画像データを取得して、所定の判定結果に応じてこの複数の画像データにラベルを付加し、付加されたラベルは画像データにおけるオブジェクト対象の実際種別を示す情報であってよく、例えば、実際種別が本物種別である場合、この画像データにラベル「1」を付加し、そうでなければ、この画像データにラベル「0」を付加する。このラベルは、同時に画像データにおけるオブジェクト対象が本物種別である実際確率を示すことができる。例えば、ラベルが「1」である場合、実際確率が1であり、ラベルが「0」である場合、実際確率が0である。理解されるべきこととして、本開示を理解することに役立つように、付加されたラベルは単に例示であり、本開示はこれを限定しない。
ラベルが付加された複数の画像データをサンプル画像としてもよい。例えば、サンプル画像を複数のグループに分けてよく、各グループのサンプル画像は、所定数のサンプル画像を含む。この各グループのサンプル画像を一バッチのトレーニングデータとし、同時に特徴抽出ネットワークに入力することで、この各グループサンプル画像のうちの各サンプル画像の画像特徴を得る。ここで、所定数は実際のニーズに応じて設定されてよく、本開示はこれを限定しない。
例示的に、特徴抽出ネットワークは、畳み込みニューラルネットワークを用いてよく、例えば、残差ニューラルネットワーク(Residual Neural Network,ResNet)、移動側及び埋込式側のディープラーニングアプリケーションのために設計されたネットワーク(例えば、Mobile Net)などを用いてよく、本開示はこれを限定しない。
1つの実施例において、各サンプル画像のサイズをH×Wとし、各サンプル画像のチャンネル数をGとし、一バッチのトレーニングデータにおけるサンプル画像の数をNとすると、特徴抽出ネットワークに入力されたデータは、サイズがH×W×G×Nであるデータであってもよい。特徴抽出ネットワークによって処理された後、各サンプル画像毎に1つの特徴ベクトルが得られる。このN個のサンプル画像に対して、特徴抽出ネットワークが出力した特徴データは、例えば、N×Dの特徴行列であってもよい。この特徴行列における各行のデータが1つのサンプル画像の特徴ベクトルを構成し、各サンプル画像の特徴ベクトルはD個の要素を含む。
操作S220において、第1の画像特徴を分類ネットワークに入力して、各サンプル画像におけるオブジェクト対象が本物種別である第1の予測確率を得る。
本開示の実施例によれば、分類ネットワークは、例えば、全接続ネットワークであってもよい。この分類ネットワークの入力は、特徴抽出ネットワークが出力した第1の画像特徴である。例えば、一バッチのトレーニングデータにおいてサンプル画像の数がNであれば、この分類ネットワークの入力はN×Dの特徴行列であってもよい。この分類ネットワークの出力は確率ベクトルである。この確率ベクトルにはN個の要素が含まれ、それぞれはN個のサンプル画像のそれぞれに含まれるオブジェクト対象が本物種別である予測確率を表す。したがって、この分類ネットワークによって処理されることで、各サンプル画像におけるオブジェクト対象が本物種別である第1の予測確率が得られる。
1つの実施例において、この分類ネットワークには、例えば、複数の重みパラメータが設定されており、この複数の重みパラメータは重みベクトルを構成し、分類ネットワークは各サンプル画像の第1の画像特徴とこの重みベクトルとの内積を算出することで、各サンプル画像におけるオブジェクト対象が本物種別である予測確率を得ることができる。このように、この重みベクトルにおける重みパラメータの数と前文に説明した特徴ベクトルにおける要素の数とは等しいであってもよい。
在操作S230において、第1の画像特徴と所定特徴シーケンスにおける各特徴との間の類似度に基づいて、各サンプル画像におけるオブジェクト対象が非本物種別である第2の予測確率を特定する。
本開示の実施例によれば、まず第1の画像特徴と各特徴との間の余弦類似度、ピアソン(Pearson)相関係数又はジャッカード(Jaccard)係数などを算出し、算出された値を第1の画像特徴と各特徴との間の類似度をしてもよい。第1の画像特徴と所定特徴シーケンスにおける各特徴との間の類似度を算出することで、1つの類似度ベクトルが得られ、この類似度ベクトルにおける要素数と所定特徴シーケンスにおける特徴の数とが等しい。この実施例は、類似度ベクトルにおける各要素の平均値、二乗平均平方根又は複数の要素のうちの最大値、最小値などをサンプル画像におけるオブジェクト対象が非本物種別である第2の予測確率としてもよい。
1つの実施例において、各サンプル画像の第1の画像特徴が得られた後、第1の画像特徴と所定特徴シーケンスにおける各特徴との間の内積を算出し、算出された内積によって第1の画像特徴とこの各特徴との間の類似度を表す。第1の画像特徴毎に、第1の画像特徴と特徴シーケンスとの間の1つの類似度ベクトルが得られる。この類似度ベクトルにおける各要素の値は、サンプル画像におけるオブジェクト対象と各特徴に対応する画像におけるオブジェクト対象とが同一種別に属する確率値を示すことができる。類似度ベクトルが得られた後、この実施例は、類似度ベクトルのうちの最大値をサンプル画像におけるオブジェクト対象が非本物種別である第2の予測確率としてもよい。
本開示の実施例によれば、所定特徴シーケンスにおける各特徴は、ラベルが示す実際確率がゼロである第1のサンプル画像の第2の画像特徴であってもよい。例えば、この実施例は、生体検出モデルをトレーニングする前に、ラベルが付加された複数の画像データからオブジェクト対象が非本物種別である複数のサンプル画像(即ち、負サンプル)を予め選出してもよい。次に、前述した特徴抽出ネットワークを用いて各負サンプルの画像特徴を得て、複数の負サンプルの画像特徴からこの所定特徴シーケンスを構成する。又は、複数の単位特徴ベクトルをランダムに生成し、この複数の単位特徴ベクトルから所定特徴シーケンスを構成してもよい。単位特徴ベクトルをランダムに生成する時、例えば、拘束条件を付加することで、生成された単位特徴ベクトルが負サンプルの画像特徴の情報を有するようにしてもよい。
ここで、所定特徴シーケンスにおける特徴の数は実際のニーズに応じて設定されてよく、本開示はこれを限定しない。所定特徴シーケンスにおける各特徴のサイズは、例えば、前述した得られた第1の画像特徴のサイズと等しいであってもよい。
操作S240において、第1の予測確率と、第2の予測確率と、実際確率とに基づいて、生体検出モデルをトレーニングする。
本開示の実施例によれば、第1の所定確率と実際確率との間の差異、第2の所定確率と実際確率との間の差異に基づいて、生体検出モデルの損失を特定し、逆方向伝播アルゴリズムを用いて生体検出モデル中のパラメータを調整することで、生体検出モデルの損失を低減するようにしてもよい。
この実施例において、入力されたサンプル画像は複数であるため、サンプル画像毎に1つの確率グループが得られ、合計で複数の確率グループが得られる。各確率グループには、1つの第1の予測確率と、1つの第2の予測確率と、1つの実際確率とが含まれる。この実施例は、各確率グループに基づいて1つの損失が得られ、合計で複数の損失が得られ、この複数の損失を重ね合わせて生体検出モデルの損失が得られる。
本開示の実施例によれば、サンプル画像を複数のグループに分けた後、生体検出モデルの損失が所定値より小さくなるまでに、又はこの生体検出モデルのトレーニング回数が所定回数に達するまでに、複数グループのサンプル画像に基づいてこの生体検出モデルを順次にトレーニングしてもよい。ここで、所定値及び所定回数は実際のニーズに応じて設定されてよく、本開示はこれを限定しない。
本開示の実施例によれば、生体検出モデルをトレーニングする過程において、生体検出モデルの損失に基づいて分類ネットワーク中の各重みパラメータの値を調整することで、複数の重みパラメータからなる重みベクトルと正サンプル(即ち、オブジェクト対象が本物種別であるサンプル画像)の画像特徴との間の内積が大きくなり、重みベクトルと負サンプルの画像特徴との間の内積が小さくなるようにしてもよい。この方式によって、正サンプルの画像特徴が同一中心に集中し、負サンプルの画像特徴がこの中心から離れるようにすることができる。それにより、生体検出モデルは、本物種別のオブジェクト対象と非本物種別のオブジェクト対象とを正確に区別することができるようにする。
上述したように、本開示の実施例の生体検出モデルのトレーニング方法は、負サンプルに基づいて所定特徴シーケンスを構築し、サンプル画像の画像特徴と所定特徴シーケンスにおける各特徴との類似度に基づいてオブジェクト対象が非本物種別である第2の予測確率を特定することで、非本物種別に対する複数分類を実現し、得られた第2の予測確率の正確性を向上させることができる。この第2の予測確率を参照して生体検出モデルをトレーニングすることで、負サンプル特徴の監視を実現し、モデル精度及び汎化能力を向上させることができる。ここで、所定特徴シーケンスの特徴を1よりもはるかに大きい値に設定すれば、非本物種別を無限の種別に近似的に分けて、モデルの汎化能力を最大に向上させることができる。
図3は、本開示の実施例による生体検出モデルのトレーニング方法の原理模式図である。
図3に示すように、この実施例300において生体検出モデル310と所定特徴シーケンス320とが設置されてもよい。ここで、生体検出モデル310は特徴抽出ネットワーク311と分類ネットワーク312とを含む。この特徴抽出ネットワーク311は畳み込みニューラルネットワーク(Convolutional Neural Networks,CNN)を用いてよく、分類ネットワーク312は全接続ネットワークを用いてもよい。
生体検出モデル310をトレーニングする時、正サンプル301と負サンプル302とを含む一組のサンプル画像をCNNに入力して、このCNNによって処理された後に特徴行列303を出力し、この特徴行列303は、この一組のサンプル画像における画像数と等しい複数の特徴ベクトルを含む。この特徴行列303を分類ネットワーク312に入力した後、分類ネットワーク312によって処理された後に第1の予測確率304が得られる。実質的に、この分類ネットワーク312が出力したのは確率ベクトルであり、確率ベクトルにおける各要素は、1つのサンプル画像におけるオブジェクト対象が本物種別に属する第1の予測確率を表す。同時に、特徴行列303における各特徴ベクトルと所定特徴シーケンス320における各特徴との間の内積を算出し、前文の操作S230と類似する方法を用いて、各サンプル画像におけるオブジェクト対象が非本物種別に属する第2の予測確率305を得る。最後に、この第1の予測確率304、第2の予測確率305、及びサンプル画像のラベルが示す実際確率に基づいて、生体検出モデルの損失306を算出する。その後、この損失306に基づいて生体検出モデルをトレーニングすることができる。
本開示の実施例によれば、第1の予測確率304と、第2の予測確率305と、実際確率とに基づいて、交差エントロピー損失関数を用いて生体検出モデル310の損失を特定してもよい。具体的に、第1の予測確率と、第2の予測確率と、実際確率とを交差エントロピー損失関数に代入して算出し、算出された交差エントロピー損失関数の値を生体検出モデルの損失としてもよい。
本開示の実施例によれば、所定特徴シーケンス320における特徴は、例えば、動的に更新されてもよい。例えば、この所定特徴シーケンスは、キュー形式であってもよい。生体検出モデルのトレーニング過程において、現在の所定特徴シーケンスに基づいて第2の予測確率が得られた後に、複数のサンプル画像のうちの第2のサンプル画像の画像特徴を用いて現在の所定特徴シーケンスを更新してもよい。ここで、第2のサンプル画像は、ラベルが示す実際確率がゼロであるサンプルであり、即ち、前述の負サンプルである。所定特徴シーケンスを更新する時に、所定特徴シーケンスにおける最初にエンキューした特徴(即ち、キュー先頭の特徴)を削除し、第2のサンプル画像の画像特徴を所定特徴シーケンスのキュー末尾に挿入してもよい。この所定特徴シーケンスを動的に更新することで、モデルトレーニング過程において、モデルが本物生体と、異なる偽造技術によって得られた偽造生体との間の差異を連続的に学習していき、それによって、得られた生体検出モデルの汎化能力及び検出精度を向上させることができる。
図4は、本開示の実施例による生体検出モデルの構成模式図である。
図4に示すように、1つの実施例において、生体検出モデル400は、特徴抽出ネットワーク410と分類ネットワーク420とを含み、その中の特徴抽出ネットワーク410は、特徴抽出サブネットワーク411と正規化サブネットワーク412とを含んでもよい。この特徴抽出サブネットワーク411は、前文に説明したCNNなどを用いてよく、各サンプル画像の特徴を抽出するために用いられる。正規化サブネットワーク412は、特徴抽出サブネットワーク411によって抽出された特徴を正規化処理して、出力された特徴ベクトルにおける各要素の値が[0,1]の範囲にあるようにするために用いられる。
本開示の実施例によれば、前述した得られた第1の画像特徴は、正規化サブネットワーク412によって処理された特徴であってもよい。即ち、前文に説明した第1の画像特徴を得る操作は、まず複数のサンプル画像を特徴抽出サブネットワーク411に入力して、この複数のサンプル画像のそれぞれの初期特徴を取得してもよい。その後、各サンプル画像の初期特徴を正規化サブネットワーク412に入力して、この正規化サブネットワーク412によって各サンプル画像の第1の画像特徴を出力する。
本開示の実施例は、特徴抽出ネットワークに正規化サブネットワークを設置することで、特徴抽出ネットワークによって抽出された画像特徴の精度を向上させ、それにより生体検出モデルの検出精度を向上させることができる。これは、異なるデータ領域における画像データの差異が大きい可能性があることを考慮して、正規化されていない特徴をそのまま用いて分類すれば、異なるデータ領域に対する分類基準が同一であることによる分類結果が不正確になる問題が存在し得るためである。
本開示の実施例によれば、サンプル画像が得られた後、例えば、複数のサンプル画像をトレーニングサンプルセットとテストサンプルセットとに区分してもよい。その後、トレーニングサンプルセットにおける複数のサンプル画像を複数のグループに分けて、生体検出モデルをトレーニングする。生体検出モデルをトレーニングした後、テストサンプルセットを用いてトレーニングされた生体検出モデルをテストしてもよい。具体的に、テストサンプルセットにおけるサンプル画像を生体検出モデルに入力して、テストサンプルセットにおけるサンプル画像の画像特徴を順次に抽出し、オブジェクト対象が本物種別である予測確率を得る。この予測確率とテストサンプルセットにおけるサンプル画像のラベルが示す実際確率との差異によって、トレーニング後の生体検出モデルの精度を得る。トレーニングされた生体検出モデルをテストする過程において、所定特徴シーケンスに基づいてサンプル画像におけるオブジェクト対象が非本物種別である予測確率を特定する必要がない。
本開示が提供した生体検出モデルのトレーニング方法によれば、本開示は、生体検出モデルを用いて生体検出を行う方法をさらに提供している。以下、図5を参照してこの方法を詳細に説明する。
図5は、本開示の実施例による生体検出モデルを用いて生体検出を行う方法のフロー模式図である。
図5に示すように、この実施例の生体検出モデルを用いて生体検出を行う方法500は、操作S510~操作S520を含んでもよい。ここで、生体検出モデルは、特徴抽出ネットワークと分類ネットワークとを含む。この生体検出モデルは、前文に説明した生体検出モデルのトレーニング方法を用いてトレーニングされたものであってもよい。
操作S510において、オブジェクト対象を含む検出すべき画像を特徴抽出ネットワークに入力して、検出すべき画像の第3の画像特徴を得る。ここで、検出すべき画像は、画像収集装置によってリアルタイムに収集された画像であってもよい。この操作S510は前文に説明した操作S210と類似し、第3の画像特徴は前文に説明した第1の画像特徴と類似し、ここで説明を繰り返さない。
操作S520において、第3の画像特徴を分類ネットワークに入力して、検出すべき画像におけるオブジェクト対象が本物種別である確率を得る。この操作S520は前文に説明した操作S220と類似し、ここで説明を繰り返さない。
検出すべき画像におけるオブジェクト対象が本物種別である確率が得られた後、この確率と確率閾値とを比較してもよい。オブジェクト対象が本物種別である確率がこの確率閾値より大きい場合、オブジェクト対象が本物生体であると判定することができる。そうでなければ、このオブジェクト対象が偽造生体であると判定することができる。ここで、確率閾値は実際のニーズに応じて設定されてもよい。例えば、この確率閾値は0.8などの、0.5より大きい任意の値であってよく、本開示はこれを限定しない。
本開示の実施例は前述した方法でトレーニングされた生体検出モデルを用いることで、余計な計算量を増やすことなく、生体検出の正確性を向上させ、セキュリティ、金融、エントリー通行などの多くのシーンで様々な方式の攻撃を防御する効果を向上させることができる。それにより、この生体検出方法を広く普及させ、ユーザ体験を向上させることができる。
本開示が提供した生体検出モデルのトレーニング方法に基づいて、本開示は生体検出モデルのトレーニング装置をさらに提供している。以下、図6を参照してこの装置を詳細に説明する。
図6は、本開示の実施例による生体検出モデルのトレーニング装置の構成ブロック図である。
図6に示すように、この生体検出モデルのトレーニング装置600は、第1の特徴取得モジュール610と、第1の予測モジュール620と、第2の予測モジュール630と、モデルトレーニングモジュール640とを含む。ここで、生体検出モデルは、特徴抽出ネットワークと、分類ネットワークとを含む。
第1の特徴取得モジュール610は、オブジェクト対象を含む複数のサンプル画像を特徴抽出ネットワークに入力して、複数のサンプル画像のうちの各サンプル画像の第1の画像特徴を得るために用いられる。ここで、各サンプル画像は、オブジェクト対象が本物種別である実際確率を示すラベルを有する。1つの実施例において、この第1の特徴取得モジュール610は、前文に説明した操作S210を実行するために用いられ、ここで説明を繰り返さない。
第1の予測モジュール620は、第1の画像特徴を分類ネットワークに入力して、各サンプル画像におけるオブジェクト対象が本物種別である第1の予測確率を得るために用いられる。1つの実施例において、この第1の予測モジュール620は、前文に説明した操作S220を実行するために用いられ、ここで説明を繰り返さない。
第2の予測モジュール630は、第1の画像特徴と所定特徴シーケンスにおける各特徴との間の類似度に基づいて、各サンプル画像におけるオブジェクト対象が非本物種別である第2の予測確率を特定するために用いられる。ここで、各特徴はラベルが示す実際確率がゼロである第1のサンプル画像の第2の画像特徴である。1つの実施例において、この第2の予測モジュール630は、前文に説明した操作S230を実行するために用いられ、ここで説明を繰り返さない。
モデルトレーニングモジュール640は、第1の予測確率と、第2の予測確率と、実際確率とに基づいて、生体検出モデルをトレーニングするために用いられる。1つの実施例において、このモデルトレーニングモジュール640は、前文に説明した操作S240を実行するために用いられ、ここで説明を繰り返さない。
本開示の実施例によれば、所定特徴シーケンスはキュー形式である。上記生体検出モデルのトレーニング装置600は、複数のサンプル画像のうちの第2のサンプル画像の第1の画像特徴を用いて、所定特徴シーケンスを更新するためのシーケンス更新モジュールをさらに含んでもよい。ここで、第2のサンプル画像のラベルが示す実際確率はゼロである。
本開示の実施例によれば、第2の予測モジュール630は、ベクトル取得サブモジュールと確率特定サブモジュールとを含んでもよい。ベクトル取得サブモジュールは、第1の画像特徴と特徴シーケンスにおける各特徴との間の内積を特定し、第1の画像特徴と特徴シーケンスとの間の類似度ベクトルを得るために用いられる。ここで、類似度ベクトルにおける各要素の値は、各サンプル画像におけるオブジェクト対象と第1のサンプル画像におけるオブジェクト対象とが同一種別に属する確率値を示す。確率特定サブモジュールは、類似度ベクトルのうちの最大値を、各サンプル画像におけるオブジェクト対象が非本物種別である第2の予測確率として特定するために用いられる。
本開示の実施例によれば、特徴抽出ネットワークは特徴抽出サブネットワークと正規化サブネットワークとを含む。上記第1の特徴取得モジュールは、特徴抽出サブモジュールと正規化サブモジュールとを含んでもよい。特徴抽出サブモジュールは、複数のサンプル画像を特徴抽出サブネットワークに入力して、複数のサンプル画像のそれぞれの初期特徴を得るために用いられる。正規化サブモジュールは、各サンプル画像の初期特徴を正規化サブネットワークに入力して、各サンプル画像の第1の画像特徴を得るために用いられる。
本開示の実施例によれば、上記モデルトレーニングモジュール640は、損失特定サブモジュールとトレーニングサブモジュールとを含んでもよい。損失特定サブモジュールは、第1の予測確率と、第2の予測確率と、実際確率とに基づいて、交差エントロピー損失関数を用いて生体検出モデルの損失を特定するために用いられる。トレーニングサブモジュールは、損失に基づいて、生体検出モデルをトレーニングするために用いられる。
本開示が提供した生体検出モデルを用いて生体検出を行う方法によれば、本開示は、生体検出モデルを用いて生体検出を行う装置をさらに提供している。以下、図7を参照してこの装置を詳細に説明する。
図7は、本開示の実施例による生体検出モデルを用いて生体検出を行う装置の構成ブロック図である。
図7に示すように、この実施例の生体検出モデルを用いて生体検出を行う装置700は、第2の特徴取得モジュール710と確率取得モジュール720とを含んでもよい。この生体検出モデルは、特徴抽出ネットワークと分類ネットワークとを含む。例えば、この生体検出モデルは、前文に説明した生体検出モデルのトレーニング装置を用いてトレーニングされたものであってもよい。
第2の特徴取得モジュール710は、オブジェクト対象を含む検出すべき画像を特徴抽出ネットワークに入力して、検出すべき画像の第3の画像特徴を得るために用いられる。1つの実施例において、この第2の特徴取得モジュール710は、前文に説明した操作S510を実行するために用いられ、ここで説明を繰り返さない。
確率取得モジュール720は、第3の画像特徴を分類ネットワークに入力して、検出すべき画像におけるオブジェクト対象が本物種別である確率を得るために用いられる。1つの実施例において、この確率取得モジュール720は、前文に説明した操作S520を実行するために用いられ、ここで説明を繰り返さない。
なお、本開示の技術案では、係られたユーザ個人情報の取得、収集、記憶、応用、加工、伝送、提供及び開示などの処理は、いずれも関連法律や法規の規定に合致しており、公序良俗に反していない。
本開示の実施例によれば、本開示は、電子機器、読取可能な記憶媒体及びコンピュータプログラムをさらに提供している。
図8は、本開示の実施例の生体検出モデルのトレーニング方法及び/又は生体検出モデルを用いて生体検出を行う方法を実施することが可能な例示的電子機器800の模式的ブロック図を示している。電子機器は、様々な形式のデジタルコンピュータを示すことを目的とし、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ及び他の適切なコンピュータである。電子機器は、さらに様々な形式の移動装置を示してもよく、例えば、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブル機器及び他の類似の演算装置である。本明細書に示された部材、それらの接続及び関係、並びにそれらの機能は、例示に過ぎず、本明細書に記載された及び/又は要求された本開示の実現を限定しない。
図8に示すように、機器800は、計算手段801を含み、計算手段801は、リードオンリーメモリ(ROM)802に記憶されたコンピュータプログラム又は記憶手段808からランダムアクセスメモリ(RAM)803にロードされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行してもよい。RAM803には、さらに機器800の操作に必要な様々なプログラム及びデータを記憶してもよい。計算手段801、ROM802、及びRAM803は、バス804を介して相互に接続される。入出力(I/O)インターフェース805も、バス804に接続される。
機器800における複数の部品は、I/Oインターフェース805に接続され、例えばキーボード、マウス等の入力手段806と、例えば様々な種類のディスプレイ、スピーカ等の出力手段807と、例えば磁気ディスク、光ディスク等の記憶手段808と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信手段809とを含む。通信手段809は、機器800がインターネット等のコンピュータネットワーク及び/又は各種の電気ネットワークを介して他の機器と情報・データをやり取りすることを可能にする。
計算手段801は、処理及び演算能力を有する各種の汎用及び/又は専用の処理モジュールであってもよい。計算手段801の幾つかの例として、中央処理ユニット(CPU)、GPU(Graphics Processing Unit)、各種専用の人工知能(AI)演算チップ、各種機械学習モデルアルゴリズムをランニングする演算ユニット、DSP(Digital Signal Processor)、並びに任意の適切なプロセッサ、コントローラ、マイクロコントローラ等が挙げられるが、これらに限定されない。計算手段801は、前文で説明した各方法と処理、例えば、生体検出モデルのトレーニング方法及び/又は生体検出モデルを用いて生体検出を行う方法を実行する。例えば、幾つかの実施例において、生体検出モデルのトレーニング方法及び/又は生体検出モデルを用いて生体検出を行う方法は、例えば記憶手段808のような機械可読媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ROM802及び/又は通信手段809を介して機器800にロード及び/又はインストールされてもよい。コンピュータプログラムがRAM803にロードされて計算手段801により実行される場合、前文で説明した生体検出モデルのトレーニング方法及び/又は生体検出モデルを用いて生体検出を行う方法の1つ又は複数のステップを実行してもよい。代替的に、他の実施例において、計算手段801は、他の任意の適切な方式(例えば、ファームウェアを介する)により生体検出モデルのトレーニング方法及び/又は生体検出モデルを用いて生体検出を行う方法を実行するように構成されてもよい。
本明細書で以上に説明されたシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップ(SOC)、コンプレックスプログラムマブルロジックデバイス(CPLD)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせにおいて実現されてもよい。これらの様々な実施形態は、1つ又は複数のコンピュータプログラムにおいて実施され、該1つ又は複数のコンピュータプログラムは、少なくとも1つのプログラムマブルプロセッサを含むプログラムマブルシステムで実行され及び/又は解釈されることが可能であり、該プログラムマブルプロセッサは、専用又は汎用のプログラムマブルプロセッサであってもよく、記憶システム、少なくとも1つの入力装置、及び少なくとも1つの出力装置からデータ及び命令を受信し、かつデータ及び命令を該記憶システム、該少なくとも1つの入力装置、及び該少なくとも1つの出力装置に伝送することができることを含んでもよい。
本開示の方法を実施するためのプログラムコードは、1つ又は複数のプログラミング言語の任意の組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよく、それによって、プログラムコードがプロセッサ又はコントローラにより実行される時に、フローチャート及び/又はブロック図に規定された機能・操作が実施される。プログラムコードは、機器に完全に実行されてもよく、部分的に機器で実行されてもよく、独立したソフトウェアパッケージとして部分的に機器で実行され、かつ部分的に遠隔機器で実行されるか又は完全に遠隔機器又はサーバで実行されてもよい。
本開示のコンテキストにおいて、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置又は電子機器に使用され、又は命令実行システム、装置又は電子機器と組み合わせて使用されるプログラムを含んで又は記憶してもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子の、磁気的、光学的、電磁的、赤外線の、又は半導体システム、装置又は機器、又は上記内容の任意の適切な組み合わせを含んでもよいが、それらに限定されない。機械可読記憶媒体のより具体的な例としては、1つ以上の線による電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能なプログラマブルリードオンリーメモリ(EPROM又はフラッシュメモリ)、光ファイバ、コンパクトディスクリードオンリーメモリ(CD-ROM)、光学記憶装置、磁気記憶装置、又は上記内容の任意の適切な組み合わせを含む。
ユーザとの対話を提供するために、コンピュータにここで説明されたシステム及び技術を実施させてもよく、該コンピュータは、ユーザに情報を表示するための表示装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ)と、キーボード及びポインティングデバイス(例えば、マウス又はトラックボール)とを備え、ユーザは、該キーボード及び該ポインティングデバイスを介して入力をコンピュータに提供することができる。他の種類の装置は、さらにユーザとの対話を提供してもよく、例えば、ユーザに提供されたフィードバックは、いかなる形式のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、かついかなる形式(音声入力、語音入力又は、触覚入力を含む)でユーザからの入力を受信してもよい。
ここで説明されたシステム及び技術は、バックグラウンド部品を含むコンピューティングシステム(例えば、データサーバとする)、又はミドルウェア部品を含むコンピューティングシステム(例えば、アプリケーションサーバ)、又はフロントエンド部品を含むコンピューティングシステム(例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザが該グラフィカルユーザインタフェース又は該ネットワークブラウザを介してここで説明されたシステム及び技術の実施形態と対話することができる)、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロントエンド部品のいずれかの組み合わせを含むコンピューティングシステムに実施されることが可能である。任意の形式又は媒体のデジタルデータ通信(例えば、通信ネットワーク)によりシステムの部品を互いに接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)及びインターネットを例示的に含む。
コンピュータシステムは、クライアント及びサーバを含んでもよい。クライアントとサーバ同士は、一般的に離れており、通常、通信ネットワークを介して対話する。クライアントとサーバとの関係は、該当するコンピュータ上でランニングし、クライアント-サーバの関係を有するコンピュータプログラムによって生成される。サーバは、クラウドサーバであってもよく、クラウドサーバは、クラウドコンピューティングサーバ又はクラウドホストとも呼ばれ、クラウドコンピューティングサービスシステムのうちの1つのホスト製品であり、従来の物理ホストとVPSサービス(「Virtual Private Server」、又は「VPS」と略称する)に存在する管理難度が大きく、サービス拡張性が弱いという欠陥を解決する。サーバは、分散型システムのサーバであってもよく、又はブロックチェーンを組合せたサーバであってもよい。
理解されるべきこととして、以上に示された様々な形式のフローを使用してもよく、操作を改めてソーティングしたり、追加したり又は削除してもよい。例えば、本開示に記載の各操作は、並列に実行されたり、順次に実行されたり、又は異なる順序で実行されてもよく、本開示に開示された技術案が所望する結果を実現することができれば、本明細書はここで限定されない。
上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション及び代替を行うことが可能であると理解すべきである。本開示の精神と原則内で行われる任意の修正、均等置換及び改良などは、いずれも本開示の保護範囲内に含まれるべきである。

Claims (11)

  1. 生体検出モデルのトレーニング方法であって、前記生体検出モデルは、特徴抽出ネットワークと分類ネットワークとを含み、前記方法は、
    オブジェクト対象を含む複数のサンプル画像を前記特徴抽出ネットワークに入力して、前記複数のサンプル画像のうち各サンプル画像の第1の画像特徴を得ており、前記各サンプル画像は前記オブジェクト対象が本物種別である実際確率を示すラベルを有することと、
    前記第1の画像特徴を前記分類ネットワークに入力して、前記各サンプル画像におけるオブジェクト対象が本物種別である第1の予測確率を得ることと、
    前記第1の画像特徴と、所定特徴シーケンスにおける各特徴との間の類似度に基づいて、前記各サンプル画像におけるオブジェクト対象が非本物種別である第2の予測確率を特定し、前記各特徴は、ラベルが示す実際確率がゼロである第1のサンプル画像の第2の画像特徴であることと、
    前記第1の予測確率と、前記第2の予測確率と、前記実際確率とに基づいて、前記生体検出モデルをトレーニングすることと、を含
    前記所定特徴シーケンスはキュー形式であり、
    前記方法は、前記各サンプル画像におけるオブジェクト対象が非本物種別である第2の予測確率を特定した後に、前記複数のサンプル画像のうちの第2のサンプル画像の第1の画像特徴を用いて、前記所定特徴シーケンスを更新することをさらに含み、
    ここで、前記第2のサンプル画像のラベルが示す実際確率がゼロであり、
    前記生体検出モデルをトレーニングすることは、
    前記第1の予測確率と、前記第2の予測確率と、前記実際確率とに基づいて、交差エントロピー損失関数を用いて前記生体検出モデルの損失を特定することと、
    前記損失に基づいて、前記生体検出モデルをトレーニングすることと、を含む、
    生体検出モデルのトレーニング方法。
  2. 前記各サンプル画像におけるオブジェクト対象が非本物種別である第2の予測確率を特定することは、
    前記第1の画像特徴と前記所定特徴シーケンスにおける各特徴との間の内積を特定して、前記第1の画像特徴と前記所定特徴シーケンスとの間の類似度ベクトルを得ることであって、前記類似度ベクトルにおける各要素の値は前記各サンプル画像におけるオブジェクト対象と前記第1のサンプル画像におけるオブジェクト対象とが同一種別に属する確率値を示すことと、
    前記類似度ベクトルのうちの最大値を、前記各サンプル画像におけるオブジェクト対象が非本物種別である第2の予測確率として特定することと、を含む、
    請求項1に記載の方法。
  3. 前記特徴抽出ネットワークは、特徴抽出サブネットワークと正規化サブネットワークとを含み、前記オブジェクト対象を含む複数のサンプル画像を前記特徴抽出ネットワークに入力して、前記複数のサンプル画像のうちの各サンプル画像の第1の画像特徴を得ることは、
    前記複数のサンプル画像を前記特徴抽出サブネットワークに入力して、前記複数のサンプル画像のうちの各サンプル画像の初期特徴を得ることと、
    前記各サンプル画像の初期特徴を前記正規化サブネットワークに入力して、前記各サンプル画像の第1の画像特徴を得ることと、を含む、
    請求項1に記載の方法。
  4. 生体検出モデルを用いて生体検出を行う方法であって、前記生体検出モデルは、特徴抽出ネットワークと分類ネットワークとを含み、前記方法は、
    オブジェクト対象を含む検出すべき画像を前記特徴抽出ネットワークに入力して、前記検出すべき画像の第3の画像特徴を得ることと、
    前記第3の画像特徴を前記分類ネットワークに入力して、前記検出すべき画像におけるオブジェクト対象が本物種別である確率を得ることと、を含み、
    ここで、前記生体検出モデルは、請求項1に記載の方法を用いてトレーニングされたものである、
    生体検出方法。
  5. 生体検出モデルのトレーニング装置であって、前記生体検出モデルは、特徴抽出ネットワークと分類ネットワークとを含み、前記装置は、
    オブジェクト対象を含む複数のサンプル画像を前記特徴抽出ネットワークに入力して、前記複数のサンプル画像のうちの各サンプル画像の第1の画像特徴を得るためのものであって、前記各サンプル画像は前記オブジェクト対象が本物種別である実際確率を示すラベルを有する第1の特徴取得モジュールと、
    前記第1の画像特徴を前記分類ネットワークに入力して、前記各サンプル画像におけるオブジェクト対象が本物種別である第1の予測確率を得るための第1の予測モジュールと、
    前記第1の画像特徴と所定特徴シーケンスにおける各特徴との間の類似度に基づいて、前記各サンプル画像におけるオブジェクト対象が非本物種別である第2の予測確率を得るためのものであって、前記各特徴は、ラベルが示す実際確率がゼロである第1のサンプル画像の第2の画像特徴である第2の予測モジュールと、
    前記第1の予測確率と、前記第2の予測確率と、前記実際確率とに基づいて、前記生体検出モデルをトレーニングするためのモデルトレーニングモジュールと、を含
    前記所定特徴シーケンスはキュー形式であって、
    前記装置は、前記複数のサンプル画像のうちの第2のサンプル画像の第1の画像特徴を用いて、前記所定特徴シーケンスを更新するためのシーケンス更新モジュールをさらに含み、
    ここで、前記第2のサンプル画像のラベルが示す実際確率はゼロであり、
    前記モデルトレーニングモジュールは、
    前記第1の予測確率と、前記第2の予測確率と、前記実際確率とに基づいて、交差エントロピー損失関数を用いて前記生体検出モデルの損失を特定するための損失特定サブモジュールと、
    前記損失に基づいて、前記生体検出モデルをトレーニングするためのトレーニングサブモジュールと、を含む、
    生体検出モデルのトレーニング装置。
  6. 前記第2の予測モジュールは、
    前記第1の画像特徴と前記所定特徴シーケンスにおける各特徴との間の内積を特定して、前記第1の画像特徴と前記所定特徴シーケンスとの間の類似度ベクトルを得るためのものであって、前記類似度ベクトルにおける各要素の値は、前記各サンプル画像におけるオブジェクト対象と前記第1のサンプル画像におけるオブジェクト対象とが同一種別に属する確率値を示すベクトル取得サブモジュールと、
    前記類似度ベクトルのうちの最大値を、前記各サンプル画像におけるオブジェクト対象が非本物種別である第2の予測確率として特定するための確率特定サブモジュールと、を含む、
    請求項に記載の装置。
  7. 前記特徴抽出ネットワークは特徴抽出サブネットワークと正規化サブネットワークとを含み、前記第1の特徴取得モジュールは、
    前記複数のサンプル画像を前記特徴抽出サブネットワークに入力して、前記複数のサンプル画像のうちの各サンプル画像の初期特徴を得るための特徴抽出サブモジュールと、
    前記各サンプル画像の初期特徴を前記正規化サブネットワークに入力して、前記各サンプル画像の第1の画像特徴を得るための正規化サブモジュールと、を含む、
    請求項に記載の装置。
  8. 生体検出モデルを用いて生体検出を行う装置であって、前記生体検出モデルは、特徴抽出ネットワークと分類ネットワークとを含み、前記装置は、
    オブジェクト対象を含む検出すべき画像を前記特徴抽出ネットワークに入力して、前記検出すべき画像の第3の画像特徴を得るための第2の特徴取得モジュールと、
    前記第3の画像特徴を前記分類ネットワークに入力して、前記検出すべき画像におけるオブジェクト対象が本物種別である確率を得るための確率取得モジュールと、を含み、
    ここで、前記生体検出モデルは、請求項の何れか一項に記載の装置を用いてトレーニングされたものである、
    生体検出装置。
  9. 少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサと通信接続するメモリとを有する電子機器であって、
    前記メモリに、前記少なくとも1つのプロセッサによって実行され得るコマンドが記憶されており、前記コマンドが前記少なくとも1つのプロセッサによって実行されることで、前記少なくとも1つのプロセッサが請求項1~のいずれか一項に記載の方法を実行することができる、
    電子機器。
  10. コンピュータに請求項1~のいずれか一項に記載の方法を実行させるためのコンピュータコマンドを記憶している、
    非一時的なコンピュータ読取可能な記憶媒体。
  11. プロセッサにより実行される場合に、請求項1~のいずれか一項に記載の方法を実現するコンピュータプログラム。
JP2022119731A 2021-08-25 2022-07-27 生体検出モデルのトレーニング方法及び装置、生体検出の方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム Active JP7414901B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110985438.XA CN113705425B (zh) 2021-08-25 2021-08-25 活体检测模型的训练方法和活体检测的方法、装置、设备
CN202110985438.X 2021-08-25

Publications (2)

Publication Number Publication Date
JP2022141931A JP2022141931A (ja) 2022-09-29
JP7414901B2 true JP7414901B2 (ja) 2024-01-16

Family

ID=78654888

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022119731A Active JP7414901B2 (ja) 2021-08-25 2022-07-27 生体検出モデルのトレーニング方法及び装置、生体検出の方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム

Country Status (4)

Country Link
EP (1) EP4075395A3 (ja)
JP (1) JP7414901B2 (ja)
KR (1) KR20220107120A (ja)
CN (1) CN113705425B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114120420B (zh) * 2021-12-01 2024-02-13 北京百度网讯科技有限公司 图像检测方法和装置
CN114495234A (zh) * 2022-01-28 2022-05-13 北京百度网讯科技有限公司 图像处理方法和装置
CN114565030B (zh) * 2022-02-17 2022-12-20 北京百度网讯科技有限公司 特征筛选方法、装置、电子设备和存储介质
CN114612743A (zh) * 2022-03-10 2022-06-10 北京百度网讯科技有限公司 深度学习模型的训练方法、目标对象识别方法和装置
CN115082994A (zh) * 2022-06-27 2022-09-20 平安银行股份有限公司 人脸活体检测方法、活体检测网络模型的训练方法及装置
CN115170887B (zh) * 2022-07-22 2023-08-01 北京百度网讯科技有限公司 目标检测模型训练方法、目标检测方法及其装置
CN115603955B (zh) * 2022-09-26 2023-11-07 北京百度网讯科技有限公司 异常访问对象识别方法、装置、设备和介质
CN116363762A (zh) * 2022-12-23 2023-06-30 北京百度网讯科技有限公司 活体检测方法、深度学习模型的训练方法及装置
CN116524339B (zh) * 2023-07-05 2023-10-13 宁德时代新能源科技股份有限公司 目标检测方法、装置、计算机设备、存储介质和程序产品
CN117591921B (zh) * 2024-01-19 2024-05-07 中国传媒大学 基于欺骗与反欺骗理论的对抗生成欺骗检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507262A (zh) 2020-04-17 2020-08-07 北京百度网讯科技有限公司 用于检测活体的方法和装置
US20200364478A1 (en) 2019-03-29 2020-11-19 Beijing Sensetime Technology Development Co., Ltd. Method and apparatus for liveness detection, device, and storage medium

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992842B (zh) * 2017-12-13 2020-08-11 深圳励飞科技有限公司 活体检测方法、计算机装置及计算机可读存储介质
CN112215043A (zh) * 2019-07-12 2021-01-12 普天信息技术有限公司 一种人脸活体检测方法
WO2021038298A2 (en) * 2019-08-29 2021-03-04 PXL Vision AG Id verification with a mobile device
CN110705392A (zh) * 2019-09-17 2020-01-17 Oppo广东移动通信有限公司 一种人脸图像检测方法及装置、存储介质
CN111368934B (zh) * 2020-03-17 2023-09-19 腾讯科技(深圳)有限公司 图像识别模型训练方法、图像识别方法以及相关装置
CN112364803B (zh) * 2020-11-20 2023-08-11 深圳龙岗智能视听研究院 活体识别辅助网络的训练方法、终端、设备及存储介质
CN113033465B (zh) * 2021-04-13 2023-11-14 北京百度网讯科技有限公司 活体检测模型训练方法、装置、设备以及存储介质
CN113052144B (zh) * 2021-04-30 2023-02-28 平安科技(深圳)有限公司 活体人脸检测模型的训练方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200364478A1 (en) 2019-03-29 2020-11-19 Beijing Sensetime Technology Development Co., Ltd. Method and apparatus for liveness detection, device, and storage medium
CN111507262A (zh) 2020-04-17 2020-08-07 北京百度网讯科技有限公司 用于检测活体的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUN ZHONGLIN ET AL,INVESTIGATION IN SPATIAL-TEMPORAL DOMAIN FOR FACE SPOOF DETECTION,2018 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING(ICASSP),米国,IEEE,2018年04月15日,p1538-1542,DOI: 10.1109/ICASSP.2018.8461942

Also Published As

Publication number Publication date
EP4075395A3 (en) 2023-02-22
CN113705425A (zh) 2021-11-26
EP4075395A2 (en) 2022-10-19
KR20220107120A (ko) 2022-08-02
JP2022141931A (ja) 2022-09-29
CN113705425B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
JP7414901B2 (ja) 生体検出モデルのトレーニング方法及び装置、生体検出の方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム
CN108875833B (zh) 神经网络的训练方法、人脸识别方法及装置
CN110020592B (zh) 物体检测模型训练方法、装置、计算机设备及存储介质
US11804069B2 (en) Image clustering method and apparatus, and storage medium
CN110472675B (zh) 图像分类方法、图像分类装置、存储介质与电子设备
CN111814810A (zh) 图像识别方法、装置、电子设备及存储介质
WO2022105118A1 (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
US11126827B2 (en) Method and system for image identification
CN111738351A (zh) 模型训练方法、装置、存储介质及电子设备
CN113869449A (zh) 一种模型训练、图像处理方法、装置、设备及存储介质
CN112800919A (zh) 一种检测目标类型视频方法、装置、设备以及存储介质
CN117197904A (zh) 人脸活体检测模型的训练方法、人脸活体检测方法及装置
CN112668482A (zh) 人脸识别训练方法、装置、计算机设备及存储介质
CN110175500B (zh) 指静脉比对方法、装置、计算机设备及存储介质
CN114692778A (zh) 用于智能巡检的多模态样本集生成方法、训练方法及装置
Hu et al. Attention‐guided evolutionary attack with elastic‐net regularization on face recognition
CN111814653B (zh) 一种视频中异常行为的检测方法、装置、设备及存储介质
CN111783088B (zh) 一种恶意代码家族聚类方法、装置和计算机设备
CN111401440B (zh) 目标分类识别方法、装置、计算机设备及存储介质
CN116151965B (zh) 一种风险特征提取方法、装置、电子设备及存储介质
JP7103235B2 (ja) パラメタ算出装置、パラメタ算出方法、及び、パラメタ算出プログラム
CN111582404B (zh) 内容分类方法、装置及可读存储介质
CN114095268A (zh) 用于网络入侵检测的方法、终端及存储介质
CN110059180B (zh) 文章作者身份识别及评估模型训练方法、装置及存储介质
CN111401112A (zh) 人脸识别方法和装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220727

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231228

R150 Certificate of patent or registration of utility model

Ref document number: 7414901

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150