JP7347202B2 - 分類モデルを訓練する装置と方法及び分類モデルを用いた分類装置 - Google Patents

分類モデルを訓練する装置と方法及び分類モデルを用いた分類装置 Download PDF

Info

Publication number
JP7347202B2
JP7347202B2 JP2019234844A JP2019234844A JP7347202B2 JP 7347202 B2 JP7347202 B2 JP 7347202B2 JP 2019234844 A JP2019234844 A JP 2019234844A JP 2019234844 A JP2019234844 A JP 2019234844A JP 7347202 B2 JP7347202 B2 JP 7347202B2
Authority
JP
Japan
Prior art keywords
training
layer
sample image
feature
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019234844A
Other languages
English (en)
Other versions
JP2020135857A (ja
Inventor
ジャン・モン
リィウ・ルゥジエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2020135857A publication Critical patent/JP2020135857A/ja
Application granted granted Critical
Publication of JP7347202B2 publication Critical patent/JP7347202B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、情報処理分野に関し、特に、分類モデルを訓練する装置と方法、及び分類モデルを用いて分類を行う装置と方法に関する。
近年、大規模な人間の顔データ、車両データなどの収集及び畳み込みニューラルネットワークの応用により、人間の顔の認識、ナンバープレートの認識などの分類技術が学術界及び産業界で大きく進展し、幅広く適用されている。今のところ、人間の顔の認識、ナンバープレートの認識などの分類パフォーマンスを向上させる主なアイデアは、データを増やすことである。しかし、大規模なデータの収集は、手間及び時間がかかる。人間の顔データについて言えば、VGG2Face、Ms-Celeb-1M、MegaFaceなどに公開される人間の顔データ集合が既に存在する。各データ集合が各自の利点及び欠点を有し、各データ集合の利点を十分に利用することで、分類パフォーマンスを有効に向上させることができる。最も簡単な方法では、直接、複数のデータ集合を併合するが、異なるデータ集合が共通部分を有するため、同じデータの異なるデータ集合中でのラベルが異なる場合が生じやすく、また、簡単に複数のデータ集合を合併することで、訓練される分類モデルが収斂（収束）せず、又は、パフォーマンスがより悪くなる恐れがある。さらに、応用場面において姿勢の変化が大きく、解像度が低く、品質が悪いなどの問題が出現するときに、分類パフォーマンスが明らかに低下する可能性もある
上述のような問題に鑑み、本発明の目的は、従来技術に存在する１つ又は複数の欠点を解決することができる、分類モデルを訓練する装置と方法、及び分類モデルを用いて分類を行う装置と方法を提供することにある。
本発明の一側面によれば、分類モデルを訓練する装置が提供され、それは、
第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ対応する数量の特徴抽出層を設定するように構成され、且つ、各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される特徴抽出層を用いて、それぞれ、該サンプル画像の特徴を抽出し、該サンプル画像の抽出された特徴（抽出特徴）を取得するように構成される特徴抽出ユニットであって、前記第一所定数量の訓練集合のうちの少なくとも２つの訓練集合が少なくとも部分的に重畳（overlap）する特徴抽出ユニット；
前記第一所定数量の訓練集合に対してそれぞれ対応する数量の特徴融合層を設定するように構成され、且つ、各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される特徴融合層を用いて、該サンプル画像の抽出された特徴に対して融合を行い、該サンプル画像の融合後の特徴を取得するように構成される特徴融合ユニット；及び
前記第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ損失確定層を設定するように構成され、且つ、各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される損失確定層を用いて、該サンプル画像の融合後の特徴に基づいて該サンプル画像の損失関数を計算し、また、前記損失関数に基づいて前記分類モデルを訓練するように構成される損失確定ユニットを含み、
前記第一所定数量の訓練集合は、各訓練集合に対してそれぞれ設定される特徴融合層及び特徴抽出層のうちの少なくとも１つの層をシェアする。
本発明の他の側面によれば、分類モデルを訓練する方法が提供され、それは、
第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ対応する数量の特徴抽出層を設定し、且つ各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される特徴抽出層を用いて、それぞれ、該サンプル画像の特徴を抽出し、該サンプル画像の抽出された特徴を取得する特徴抽出ステップであって、前記第一所定数量の訓練集合のうちの少なくとも２つの訓練集合が少なくとも部分的に重畳する特徴抽出ステップ；
前記第一所定数量の訓練集合に対してそれぞれ対応する数量の特徴融合層を設定し、且つ各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される特徴融合層を用いて、該サンプル画像の抽出された特徴に対して融合を行い、各サンプル画像の融合後の特徴を取得する特徴融合ステップ；及び
前記第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ損失確定層を設定し、且つ各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される損失確定層を用いて、該サンプル画像の融合後の特徴に基づいて該サンプル画像の損失関数を計算し、また、前記損失関数に基づいて前記分類モデルを訓練する損失確定ステップを含み、
前記第一所定数量の訓練集合は、各訓練集合に対してそれぞれ設定される特徴抽出層及び特徴融合層のうちの少なくとも１つの層をシェアする。
本発明の他の側面によれば、分類モデルを用いて分類を行う装置が提供され、それは、
前記分類モデルにおける、第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ設定される対応する数量の特徴抽出層を用いて、それぞれ、分類待ち画像の特徴を抽出し、前記分類待ち画像の抽出された特徴を取得するように構成される第二特徴抽出ユニット；
前記分類モデルにおける、前記第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ設定される対応する数量の特徴融合層を用いて、前記分類待ち画像の抽出された特徴に対して融合を行い、前記分類待ち画像の融合後の特徴を取得するように構成される第二特徴融合ユニット；及び
前記分類モデルにおける、前記第一所定数量の訓練集合に対してそれぞれ設定される損失確定層を用いて、前記分類待ち画像の融合後の特徴に基づいて前記分類待ち画像の損失関数を計算し、また、前記損失関数に基づいて前記分類待ち画像に対して分類を行うように構成される第二損失確定ユニットを含み、
前記分類モデルでは、前記第一所定数量の訓練集合が各訓練集合に対してそれぞれ設定される特徴融合層及び特徴抽出層のうちの少なくとも１つの層をシェアする。
本発明の他の側面によれば、本発明による上述の方法を実現するためのコンピュータプログラムコード及びコンピュータプログラムプロダクトがさらに提供される。
本発明の実施例における分類モデル訓練装置の機能ブロック図である。 本発明の実施例における分類モデル訓練装置の構造図である。 本発明の実施例における分類モデル訓練装置の他の構造図である。 本発明の実施例における分類モデル訓練方法のフローチャートである。 本発明の実施例において訓練済みの分類モデルを用いて分類を行う装置の機能ブロック図である。 本発明の実施例において訓練済みの分類モデルを用いて分類を行う方法のフローチャートである。 本発明の実施例において採用され得る汎用コンピュータの構造ブロック図である。
以下、添付した図面を参照しながら、本発明を実施するための好適な形態を詳細に説明する。なお、このような実施形態は、例示に過ぎず、本発明を限定するものでない。
まず、図1を参照して、本発明の実施例における分類モデルを訓練する装置100の機能ブロック図について説明する。図1は、本発明の実施例における分類モデルを訓練する装置100の例示的な機能構成のブロック図である。図1に示すように、本発明の実施例における分類モデルを訓練する装置100は、特徴抽出ユニット102、特徴融合ユニット104及び損失確定ユニット106を含む。
特徴抽出ユニット102は、第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ対応する数量の特徴抽出層を設定するように構成され、且つ各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される特徴抽出層を用いて、それぞれ、該サンプル画像の特徴を抽出し、該サンプル画像の抽出された特徴（抽出特徴）を取得するように構成されても良く、そのうち、第一所定数量の訓練集合のうちの少なくとも２つの訓練集合が少なくとも部分的に重畳する。
第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ対応する数量の特徴抽出層を設定することは、第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ設定される特徴抽出層の数量がそれぞれ異なっても良いことを意味する。
第一所定数量をNとすると、第一所定数量の訓練集合は、訓練集合1、…、訓練集合Nである。第一所定数量の訓練集合のうちの少なくとも２つの訓練集合が少なくとも部分的に重畳することは、N個の訓練集合のうちの少なくとも２つの訓練集合の間に同じサンプル画像が存在し、即ち、N個の訓練集合のうちの少なくとも２つの訓練集合の間に共通データが存在することを意味する。
一例として、特徴抽出層は、畳み込みニューラルネットワークの畳み込み層であっても良い。なお、当業者が理解すべきは、特徴抽出層はさらに他の構造であっても良いということである。ここでは、その詳しい説明を省略する。
特徴融合ユニット104は、第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ対応する数量の特徴融合層を設定するように構成され、且つ各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される特徴融合層を用いて、該サンプル画像の抽出された特徴に対して融合を行い、該サンプル画像の融合後の特徴を取得するように構成されても良い。
第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ対応する数量の特徴融合層を設定することは、第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ設定される特徴融合層の数量がそれぞれ異なっても良いことを意味する。
一例として、特徴融合層は、畳み込みニューラルネットワークの全結合層であっても良い。なお、当業者が理解すべきは、特徴融合層はさらに他の構造であって良いということである。ここでは、その詳しい説明を省略する。
損失確定ユニット106は、第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ損失確定層を設定するように構成され、且つ各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される損失確定層を用いて、該サンプル画像の融合後の特徴に基づいて該サンプル画像の損失関数を計算し、また、損失関数に基づいて分類モデルを訓練するように構成されても良い。
なお、損失確定ユニット106では、サンプル画像を用いて分類モデルを訓練するときに、サンプル画像の属する訓練集合に対して設定される損失確定層を用いて該サンプル画像の損失関数を計算する必要があり、このようにして、該サンプル画像が正確に分類されるように保証することができる。また、損失確定ユニット106では、損失確定層が計算した損失関数の損失値を用いて誤差逆伝播を行うことで分類モデルを訓練する。一例として、損失関数は、softmax損失関数であっても良い。また、当業者がさらに損失関数の他の例を想到し得るが、ここでは、その詳しい説明を省略する。
本発明の実施例における分類モデルを訓練する装置100では、第一所定数量の訓練集合が、各訓練集合に対してそれぞれ設定される対応する数量の特徴融合層及びの特徴抽出層のうちの少なくとも１つの層をシェアする。第一所定数量の訓練集合に対して組み合わせを行うことでより大きい訓練集合を形成するときに、第一所定数量の訓練集合が、各訓練集合に対してそれぞれ設定される特徴融合層及びの特徴抽出層のうちの少なくとも１つの層をシェアすることにより、異なる訓練集合の間の共通データが正確に分類されるようにさせることができる。人間の顔データを含む訓練集合を例とすれば、第一所定数量の訓練集合が各訓練集合に対してそれぞれ設定される特徴融合層及びの特徴抽出層のうちの少なくとも１つの層をシェアすることにより、異なる訓練集合に存在する同じ人間の顔が正確に分類されるようにさせることができる。
図2は、本発明の実施例における分類モデルを訓練する装置100の１つの例示的な構造示す図である。
図2に示すように、第一所定数量がNである訓練集合が存在し、即ち、訓練集合1、…、訓練集合Nが存在する。便宜のため、図2は、N個の訓練集がシェアする特徴抽出層を示し、さらに、N個の訓練集合が特徴融合層aをシェアすることを示している。また、図2は、それぞれ、N個の訓練集合に対応する損失確定層、即ち、損失確定層1、…、損失確定層Nも示している。
人間の顔データを含む訓練集合を例とすると、複数の訓練集合の間に多くの同じ人間の顔データがある場合（即ち、訓練集合に共通データが存在する場合）、従来技術のように簡単に複数の訓練集合を合併して１つの訓練集合とすれば、異なる訓練集合に存在する同じ人間の顔が異なるラベルを有するデータと見なされ、訓練モデルが収斂し難く、又は、モデルのパフォーマンスが低下することが出現する可能性がある。
上述の説明から分かるように、本発明の実施例における分類モデルを訓練する装置100では、異なる訓練集合が、各訓練集合に対してそれぞれ設定される特徴融合層及びの特徴抽出層のうちの少なくとも１つの層をシェアすることで、異なる訓練集合の間の共通データが正確に分類されるようにさせることができる。即ち、本発明の実施例における分類モデルを訓練する装置100では、複数の訓練集合を組み合わせて同時に訓練を行い、且つ異なる訓練集合の間の共通データが正確に分類されるようにさせることができる。
好ましくは、本発明の実施例における分類モデルを訓練する装置100では、各訓練集合に対してそれぞれ設定される特徴融合層が複数の特徴融合層を有し、且つ第一所定数量の訓練集合が各訓練集合に対してそれぞれ設定される複数の特徴融合層のうちの少なくとも１つの層をシェアしない。これは、各訓練集合に対して設定される特徴融合層のうちの少なくとも１つの特徴融合層が第一所定数量の訓練集合によりシェアされず、シェアされない特徴融合層から出力される特徴が、各訓練集合に対してそれぞれ設定される、該訓練集合に対応する損失確定層に出力されることを意味する。図2は、N個の訓練集合が、訓練集合1に対して設定される特徴融合層b1、乃至、訓練集合Nに対して設置された特徴融合層bNをシェアしないことを示す。シェアされない特徴融合層b1乃至特徴融合層bNから出力される特徴がそれぞれ損失確定層1乃至損失確定層Nに出力される。
好ましくは、本発明の実施例における分類モデルを訓練する装置100は、さらに、ローカル領域取得ユニットを含み、ローカル領域取得ユニットは、各サンプル画像について、該サンプル画像の第二所定数量のローカル領域を得るように構成され、そのうち、各ローカル領域は、サンプル画像のグローバル領域における一部であり、そのうち、特徴抽出ユニット102は、グローバル領域及び各所定ローカル領域に対してそれぞれ対応する数量の特徴抽出層を設定することで、それぞれ、グローバル領域のグローバル特徴及び各所定ローカル領域のローカル特徴を抽出するように構成されても良く、そのうち、第一所定数量の訓練集合が各訓練集合中のサンプル画像のグローバル領域に対して設定される特徴抽出層のうちの少なくとも１つの層をシェアする。
グローバル領域及び各所定ローカル領域に対してそれぞれ対応する数量の特徴抽出層を設定することは、グローバル領域及び各所定ローカル領域に対してそれぞれ設定される特徴抽出層の数量がそれぞれ異なっても良いことを意味する。
好ましくは、第一所定数量の訓練集合は、さらに、各訓練集合中のサンプル画像の所定ローカル領域のうちの少なくとも１つの所定ローカル領域に対して設定される特徴抽出層のうちの少なくとも１つの層をシェアする。
なお、当業者が理解すべきは、ローカル領域取得ユニットに関する特徴と上述の複数の特徴融合層に関する特徴とに対して組み合わせを行っても良いということであり、このような組み合わせも本発明の範囲に属する。
一例として、グローバル領域は、サンプル画像の全ての領域であり、ローカル領域は、サンプル画像の全ての領域における一部の領域である。
サンプル画像が人間の顔画像であることを例とする場合、ローカル領域取得ユニットは、人間の顔の5つのキーとなる情報（2つの目、鼻及び２つの口元の情報）に基づいて、人間の顔を第二所定数量の人間の顔画像ブロックに分割することで、各サンプル画像のローカル領域、例えば、目を含む領域、鼻を含む領域、口元を含む領域などを得ることができる。サンプル画像は、人間の顔であっても良く、ナンバープレートなどであっても良い。また、ローカル領域取得ユニットでは、さらに、人間の顔画像以外の画像（例えば、ナンバープレート画像）に対して上述と同様な処理を行うこともできる。
具体的には、特徴抽出ユニット102は、グローバル領域に対して設定される特徴抽出層を用いて、グローバル領域のグローバル特徴を抽出し、且つ、各所定ローカル領域に対してそれぞれ設定される特徴抽出層を用いて、それぞれ、各所定ローカル領域のローカル特徴を抽出する。第一所定数量の訓練集合が各訓練集合中のサンプル画像のグローバル領域に対して設定される特徴抽出層のうちの少なくとも１つの特徴抽出層をシェアすることで、異なる訓練集合の間の共通データが正確に分類されるようにさせることができる。また、第一所定数量の訓練集合がさらに各訓練集合中のサンプル画像の所定ローカル領域における少なくとも１つの所定ローカル領域に対して設定される特徴抽出層のうちの少なくとも１つの特徴抽出層をシェアすることで、異なる訓練集合の間の共通データが正確に分類される精度をより一層向上させることができる。
図3は、本発明の実施例における分類モデルを訓練する装置100のもう１つの例示的な構造図である。
図3に示すように、訓練集合1、…、訓練集合Nが存在する。サンプル画像の一例として、図3は、訓練集合1からの男性顔画像及び訓練集合Nからの女性顔画像を示している。一例として、次のような方式でサンプル画像を選択しても良く、即ち、異なる訓練集合のうちから所定数の顔画像をランダムに選択し、そのうち、所定数の顔画像に含まれる各訓練集合の画像の個数が訓練集合の大小（サイズ）により決定され、例えば、訓練集合1と訓練集合N中のサンプル画像のデータ量の比が1：Pである場合、所定数の顔画像のうち、訓練集合1と訓練集合Nの画像の個数の比は、1：Pである。
図3に示すように、各サンプル画像から、目を含むローカル領域、鼻及び口元を含むローカル領域などを取得する。また、グローバル領域及び各所定ローカル領域に対してそれぞれ対応する数量の特徴抽出層を設定する。
便宜のため、図3には、N個の訓練集合が各訓練集合中のサンプル画像のグローバル領域及び各所定ローカル領域に対してそれぞれ設定される特徴抽出層をシェアすることが示されている。一例として、図3における矢印1及び矢印2に示すように、訓練集合1及び訓練集合Nにおけるグローバル領域がグローバル領域に対して設定される特徴抽出層をシェアし、図3における矢印3及び矢印4に示すように、訓練集合1及び訓練集合Nにおけるサンプル画像の目を含むローカル領域が該ローカル領域に対して設定される特徴抽出層をシェアし、また、図3における矢印5及び矢印6に示すように、訓練集合1及び訓練集合Nにおけるサンプル画像の鼻及び口元を含むローカル領域が該ローカル領域に対して設定される特徴抽出層をシェアする。
好ましくは、特徴抽出ユニット102では、グローバル領域及び第二所定数量の所定ローカル領域がグローバル領域及び各所定ローカル領域に対してそれぞれ設定される特徴抽出層のうちの少なくとも１つの層をシェアし、シェアされる前記少なくとも１つの層においてグローバル特徴と各ローカル特徴とを結合（combine）することで、各サンプル画像の結合後の特徴を取得する。一例として、シェアされる前記少なくとも１つの層においてグローバル特徴と各ローカル特徴とを結合することで、各ローカル領域のローカル特徴をグローバル特徴に対しての補充とする。
従来技術では、人間の顔の複数の画像ブロック（即ち、上述のローカル領域）を用いて分類を行う分類モデルが各画像ブロックのために１つの分類モデルを訓練し、M個の画像ブロックがM個の分類モデルを訓練することを要し、計算量が比較的大きいため、システムの即時性に影響を与えることがある。また、応用場面において姿勢の変化が大きく、解像度が比較、品質が悪い（例えば、灯光が暗すぎるなどが原因で）などの問題が生じるときに、分類パフォーマンスが明らかに低下する恐れがある。
本発明の実施例における分類モデルを訓練する装置100では、グローバル領域及び第二所定数量の所定ローカル領域がシェアする少なくとも１つ特徴抽出層においてグローバル特徴と各ローカル特徴とを結合し、各サンプル画像のグローバル特徴と各ローカル特徴との結合後の特徴がサンプル画像の特徴を正確に表すことができるため、サンプル画像に対しての正確な分類を助け、よりロバストな分類モデルを得ることができ、応用場面において姿勢の変化が大きく、解像度が低く、品質が悪いなどの問題が出現するときにも、比較的良い分類パフォーマンスを得ることができる。また、訓練の速度を上げることもできる。
図3に示すように、サンプル画像のグローバル領域、目を含むローカル領域並びに鼻及び口元を含むローカル領域などが、グローバル領域及び各所定ローカル領域に対してそれぞれ設定される特徴抽出層のうちの特徴抽出層a及びbをシェアする。また、サンプル画像のグローバル領域、目を含むローカル領域並びに鼻及び口元を含むローカル領域なども、グローバル領域及び各所定ローカル領域に対してそれぞれ設定される特徴抽出層のうちの特徴抽出層a及びbのうちの１つをシェアしても良い。
好ましくは、損失確定ユニット106は、各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される損失確定層を用いて、該サンプル画像の結合後の特徴に基づいて該サンプル画像の損失関数を計算し、また、損失関数に基づいて分類モデルを訓練するように構成される。上述のように、サンプル画像の結合後の特徴がグローバル特徴及びローカル特徴の両方を含むため、サンプル画像の特徴を正確に表すことができる。特徴融合層を用いてサンプル画像の結合後の特徴に対して融合を行うことで、該サンプル画像の融合後の特徴を取得し、また、該サンプル画像の融合後の特徴に基づいて該サンプル画像の損失関数を計算することができる。
図3は、それぞれ、N個の訓練集合に対応する損失確定層、即ち、損失確定層1、…、損失確定層Nを示している。上述のように、サンプル画像を用いて分類モデルを訓練するときに、サンプル画像の属する訓練集合に対して設定される損失確定層を用いて該サンプル画像の損失関数を計算することにより、該サンプル画像が正確に分類されるようにさせることができる。
好ましくは、第二所定数量のローカル領域は、グローバル領域に関する相補的情報を有する。このようにして、ローカル領域のローカル特徴がより全面的にグローバル特徴を補充し、各サンプル画像のグローバル特徴と各ローカル特徴との結合後の特徴がより正確にサンプル画像の特徴を表すようにさせることでき、これにより、サンプル画像に対してより正確な分類を行うように助けることができる。
上述の分類モデルを訓練する装置の実施例に対応して、本発明は、さらに、以下のように分類モデルを訓練する方法の実施例を提供する。
図4は、本発明の実施例における分類モデルを訓練する方法400の例示的なフローチャートである。
図4に示すように、本発明の実施例における分類モデルを訓練する方法400は、特徴抽出ステップS402、特徴融合ステップS404及び損失確定ステップS406を含む。
特徴抽出ステップS402では、第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ対応する数量の特徴抽出層を設定し、且つ各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される特徴抽出層を用いて、それぞれ、該サンプル画像の特徴を抽出し、該サンプル画像の抽出された特徴を取得し、そのうち、第一所定数量の訓練集合のうちの少なくとも２つの訓練集合が少なくとも部分的に重畳する。
一例として、特徴抽出層は、畳み込みニューラルネットワークの畳み込み層であっても良い。なお、当業者が理解すべきは、特徴抽出層はさらに他の構造であっても良いということである。ここでは、その詳しい説明を省略する。
特徴融合ステップS404では、第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ対応する数量の特徴融合層を設定し、且つ各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される特徴融合層を用いて、該サンプル画像の抽出された特徴に対して融合を行い、該サンプル画像の融合後の特徴を取得する。
一例として、特徴融合層は、畳み込みニューラルネットワークの全結合層であっても良い。なお、当業者が理解すべきは、特徴融合層はさらに他の構造であっても良いということである。ここでは、その詳しい説明を省略する。
損失確定ステップS406では、第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ損失確定層を設定し、且つ各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される損失確定層を用いて、該サンプル画像の融合後の特徴に基づいて該サンプル画像の損失関数を計算し、また、損失関数に基づいて分類モデルを訓練する。
本発明の実施例における分類モデルを訓練する方法400では、第一所定数量の訓練集合が各訓練集合に対してそれぞれ設定される対応する数量の特徴融合層及びの特徴抽出層のうちの少なくとも１つの層をシェアする。第一所定数量の訓練集合に対して組み合わせを行うことでより大きい訓練集合を形成するときに、第一所定数量の訓練集合が各訓練集合に対してそれぞれ設定される特徴融合層及びの特徴抽出層のうちの少なくとも１つの層をシェアすることで、異なる訓練集合の間の共通データが正確に分類されるようにさせることができる。人間の顔データを含む訓練集合を例とすると、第一所定数量の訓練集合が各訓練集合に対してそれぞれ設定される特徴融合層及びの特徴抽出層のうちの少なくとも１つの層をシェアすることで、異なる訓練集合に存在する同じ人間の顔が正確に分類されるようにさせることができる。
人間の顔データを含む訓練集合を例とするときに、複数の訓練集合の間に多くの同じ人間の顔データがあれば（即ち、訓練集合に共通データが存在すれば）、従来技術のように簡単に複数の訓練集合を併合して１つの訓練集合とすると、異なる訓練集合に存在する同じ人間の顔が異なるレベルを有するデータと見なされ、訓練モデルが収斂し難く、又は、モデルのパフォーマンスが低下することが出現する可能性がある。
上述の説明から分かるように、本発明の実施例における分類モデルを訓練する方法400では、異なる訓練集合が各訓練集合に対してそれぞれ設定される特徴融合層及び特徴抽出層のうちの少なくとも１つの層をシェアすることで、異なる訓練集合の間の共通データが正確に分類されるようにさせることができる。即ち、本発明の実施例における分類モデルを訓練する方法400では、複数の訓練集合を組み合わせて同時に訓練を行い、また、異なる訓練集合の間の共通データが正確に分類されるようにさせることもできる。
好ましくは、本発明の実施例における分類モデルを訓練する方法400では、各訓練集合に対してそれぞれ設定される特徴融合層が複数の特徴融合層を含み、また、第一所定数量の訓練集合が各訓練集合に対してそれぞれ設定される複数の特徴融合層のうちの少なくとも１つの層をシェアしない。これは、各訓練集合に対して設定される特徴融合層のうちの少なくとも１つの特徴融合層が第一所定数量の訓練集合によりシェアされず、シェアされない特徴融合層から出力される特徴が各訓練集合に対してそれぞれ設定される、該訓練集合に対応する損失確定層に出力されることを意味する。
好ましくは、本発明の実施例における分類モデルを訓練する方法400は、さらに、ローカル領域取得ステップを含み、ローカル領域取得ステップでは、各サンプル画像について、該サンプル画像の第二所定数量のローカル領域を取得し、そのうち、各ローカル領域は、サンプル画像のグローバル領域における一部であり、そのうち、特徴抽出ステップS402では、グローバル領域及び各所定ローカル領域に対してそれぞれ対応する数量の特徴抽出層を設定することで、それぞれ、グローバル領域のグローバル特徴及び各所定ローカル領域のローカル特徴を抽出し、そのうち、第一所定数量の訓練集合が各訓練集合中のサンプル画像のグローバル領域に対して設定される特徴抽出層のうちの少なくとも１つの層をシェアする。
好ましくは、第一所定数量の訓練集合は、さらに、各訓練集合中のサンプル画像の所定ローカル領域のうちの少なくとも１つの所定ローカル領域に対して設定される特徴抽出層のうちの少なくとも１つの層をシェアする。
当業者が理解すべきは、ローカル領域取得ステップに関する特徴と上述の複数の特徴融合層に関する特徴とを組み合わせても良いということであり、このような組み合わせも、本発明の範囲に属する。
一例として、グローバル領域は、サンプル画像の全ての領域であり、ローカル領域は、サンプル画像の全ての領域における一部の領域である。
具体的には、特徴抽出ステップS402では、グローバル領域に対して設定される特徴抽出層を用いてグローバル領域のグローバル特徴を抽出し、また、各所定ローカル領域に対してそれぞれ設定される特徴抽出層を用いてそれぞれ各所定ローカル領域のローカル特徴を抽出する。第一所定数量の訓練集合が各訓練集合中のサンプル画像のグローバル領域に対して設定される特徴抽出層のうちの少なくとも１つの特徴抽出層をシェアすることで、異なる訓練集合の間の共通データが正確に分類されるようにさせることができる。また、第一所定数量の訓練集合がさらに、各訓練集合中のサンプル画像の所定ローカル領域のうちの少なくとも１つの所定ローカル領域に対して設定される特徴抽出層のうちの少なくとも１つ特徴抽出層をシェアすることで、異なる訓練集合の間の共通データが正確に分類される精度をより一層向上させることができる。
好ましくは、特徴抽出ステップS402では、グローバル領域及び第二所定数量の所定ローカル領域がグローバル領域及び各所定ローカル領域に対してそれぞれ設定される特徴抽出層のうちの少なくとも１つの層をシェアし、シェアされる前記少なくとも１つの層においてグローバル特徴と各ローカル特徴とを結合することで、各サンプル画像の結合後の特徴を取得する。一例として、シェアされる前記少なくとも１つの層においてグローバル特徴と各ローカル特徴とを結合することで、各ローカル領域のローカル特徴をグローバル特徴に対しての補充とする。
従来技術では、人間の顔の複数の画像ブロック（即ち、上述のローカル領域）を用いて分類を行う分類モデルが各画像ブロックのために１つの分類モデルを訓練し、M個の画像ブロックがM個の分類モデルを訓練することを要し、計算量が比較的大きいため、システムの即時性に影響を与えることがある。また、応用場面において姿勢の変化が大きく、解像度が低く、品質が悪い（例えば、灯光が暗すぎるなどが原因で）などの問題が生じるときに、分類パフォーマンスが明らかに低下する可能性がある。
本発明の実施例における分類モデルを訓練する方法400では、グローバル領域及び第二所定数量の所定ローカル領域がシェアする少なくとも１つの特徴抽出層においてグローバル特徴と各ローカル特徴とを結合することで、各サンプル画像のグローバル特徴と各ローカル特徴との結合後の特徴が正確にサンプル画像の特徴を表すことができ、これにより、サンプル画像に対しての正確な分類を助け、よりロバストな分類モデルを得ることができ、応用場面において姿勢の変化が大きく、解像度が低く、品質が悪いなどの問題が出現するときにも、比較的良い分類パフォーマンスを得ることができる。また、訓練の速度を上げることもできる。
好ましくは、損失確定ステップS406では、各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される損失確定層を用いて、該サンプル画像の結合後の特徴に基づいて該サンプル画像の損失関数を計算し、また、損失関数に基づいて分類モデルを訓練する。上述のように、サンプル画像の結合後の特徴がグローバル特徴及びローカル特徴の両方を含むから、正確にサンプル画像の特徴を表すことができる。特徴融合層を用いてサンプル画像の結合後の特徴に対して融合を行うことで、該サンプル画像の融合後の特徴を取得し、また、該サンプル画像の融合後の特徴に基づいて該サンプル画像の損失関数を計算することもできる。
好ましくは、第二所定数量のローカル領域は、グローバル領域に関する相補的情報を有する。このようにして、ローカル領域のローカル特徴がより全面的にグローバル特徴に対して補充を行い、各サンプル画像のグローバル特徴と各ローカル特徴との結合後の特徴がより正確にサンプル画像の特徴を表すようにさせることができるため、サンプル画像に対して正確に分類を行うように助けることができる。
本発明は、さらに、分類モデルを用いて分類を行う装置を提供する。図5は、本発明の実施例における訓練済みの分類モデルを用いて分類を行う装置500の例示的な機能ブロック図である。図5に示すように、本発明の実施例における訓練済みの分類モデルを用いて分類を行う装置500は、第二特徴抽出ユニット502、第二特徴融合ユニット504及び第二損失確定ユニット506を含む。前記訓練済みの分類モデルは、本発明の上述の実施例における分類モデルを訓練する装置100、又は本発明の上述の実施例における分類モデルを訓練する方法400により訓練することで得られた分類モデルであっても良い。また、前記訓練済みの分類モデルは、図1-図4に基づいて訓練された分類モデルを例としたが、これに限定されない。
第二特徴抽出ユニット502は、分類モデルにおける、第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ設定される対応する数量の特徴抽出層を用いて、それぞれ、分類待ち画像の特徴を抽出し、分類待ち画像の抽出された特徴を得るように構成されても良い。
一例として、特徴抽出層は、畳み込みニューラルネットワークの畳み込み層であっても良い。なお、当業者が理解すべきは、特徴抽出層はさらに他の構造であっても良いということである。ここでは、その詳しい説明を省略する。
第二特徴融合ユニット504は、分類モデルにおける、第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ設定される特徴融合層を用いて、分類待ち画像の抽出された特徴に対して融合を行い、分類待ち画像の融合後の特徴を得るように構成されても良い。
一例として、特徴融合層は、畳み込みニューラルネットワークの全結合層であっても良い。なお、当業者が理解すべきは、特徴融合層はさらに他の構造であっても良いということである。ここでは、その詳しい説明を省略する。
第二損失確定ユニット506は、分類モデルにおける、第一所定数量の訓練集合に対してそれぞれ設定される損失確定層を用いて、分類待ち画像の融合後の特徴に基づいて分類待ち画像の損失関数を計算し、また、損失関数に基づいて分類待ち画像に対して分類を行うように構成されても良い。一例として、第二損失確定ユニット506は、第一所定数量の訓練集合に対してそれぞれ設定される損失確定層の計算により得られた損失関数のうち、最小の損失関数を選択し、そして、最小の該損失関数に対応する類別（クラス）を分類待ち画像の属する類別とすることができる。
そのうち、分類モデルでは、第一所定数量の訓練集合が各訓練集合に対してそれぞれ設定される特徴融合層及びの特徴抽出層のうちの少なくとも１つの層をシェアする。これにより、異なる訓練集合の間の共通データが正確に分類されるようにさせることができる。
上述の説明から分かるように、訓練済みの分類モデルにおいて異なる訓練集合が各訓練集合に対してそれぞれ設定される特徴融合層及びの特徴抽出層のうちの少なくとも１つの層をシェアすることで、異なる訓練集合の間の共通データが正確に分類されるようにさせることができる。よって、本発明の実施例における訓練済みの分類モデルを用いて分類を行う装置500では、分類待ち画像に対して正確に分類を行うことができる。
好ましくは、本発明の実施例における訓練済みの分類モデルを用いて分類を行う装置500は、さらに、第二ローカル領域取得ユニットを含み、第二ローカル領域取得ユニットは、分類待ち画像の第二所定数量のローカル領域を取得するように構成され、そのうち、各ローカル領域が分類待ち画像のグローバル領域における一部であり、第二特徴抽出ユニット502は、さらに、分類モデルにおける、グローバル領域及び各ローカル領域に対して設定される対応する数量の特徴抽出層を用いて、それぞれ、グローバル領域のグローバル特徴及び各所定ローカル領域のローカル特徴を抽出するように構成されても良く、そのうち、分類モデルでは、グローバル領域及び第二所定数量の所定ローカル領域がグローバル領域及び各所定ローカル領域に対してそれぞれ設定される特徴抽出層のうちの少なくとも１つの層をシェアし、シェアされる前記少なくとも１つの層においてグローバル特徴と各ローカル特徴とを結合することで、分類される画像の結合後の特徴を取得し、また、第二損失確定ユニット506は、さらに、分類モデルにおける、第一所定数量の訓練集合に対してそれぞれ設定される損失確定層を用いて、分類待ち画像の結合後の特徴に基づいて分類待ち画像の損失関数を計算し、また、損失関数に基づいて分類待ち画像を分類するように構成されても良い。
上述の分類モデルを用いて分類を行う装置の実施例に対応して、本発明は、さらに、以下のように分類モデルを用いて分類を行う方法の実施例を提供する。
図6は、本発明の実施例における訓練済みの分類モデルを用いて分類を行う方法600の例示的なのフローチャートである。
図6に示すように、本発明の実施例における訓練済みの分類モデルを用いて分類を行う方法600は、第二特徴抽出ステップS602、第二特徴融合ステップS604及び第二損失確定ステップS606を含む。前記訓練済みの分類モデルは、本発明の上述の実施例における分類モデルを訓練する装置100、又は本発明の上述の実施例における分類モデルを訓練する方法400により訓練することにより得られた分類モデルであっても良い。また、前記訓練済みの分類モデルは、図1-図4に基づいて訓練される分類モデルを例としたが、これに限られない。
第二特徴抽出ステップS602では、分類モデルにおける、第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ設定される対応する数量の特徴抽出層を用いて、それぞれ、分類待ち画像の特徴を抽出し、分類待ち画像の抽出された特徴を取得する。
一例として、特徴抽出層は、畳み込みニューラルネットワークの畳み込み層であっても良い。なお、当業者が理解すべきは、特徴抽出層はさらに他の構造を含んでも良いということである。ここでは、その詳しい説明を省略する。
第二特徴融合ステップS604では、分類モデルにおける、第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ設定される特徴融合層を用いて、分類待ち画像の抽出された特徴に対して融合を行い、分類待ち画像の融合後の特徴を取得する。
一例として、特徴融合層は、畳み込みニューラルネットワークの全結合層であっても良い。なお、当業者が理解すべきは、特徴融合層はさらに他の構造であっても良いということである。ここでは、その詳しい説明を省略する。
第二損失確定ステップS606では、分類モデルにおける、第一所定数量の訓練集合に対してそれぞれ設定される損失確定層を用いて、分類待ち画像の融合後の特徴に基づいて分類待ち画像の損失関数を計算し、また、損失関数に基づいて分類待ち画像を分類する。一例として、第二損失確定ステップS606では、第一所定数量の訓練集合に対してそれぞれ設定される損失確定層の計算により得られた損失関数のうち、最小の損失関数を選択し、最小の該損失関数に対応する類別（クラス）を分類待ち画像の属する類別とすることができる。
そのうち、分類モデルでは、第一所定数量の訓練集合が各訓練集合に対してそれぞれ設定される特徴融合層及び特徴抽出層のうちの少なくとも１つの層をシェアする。分類モデルでは、第一所定数量の訓練集合が各訓練集合に対してそれぞれ設定される特徴融合層及びの特徴抽出層のうちの少なくとも１つの層をシェアすることで、異なる訓練集合の間の共通データが正確に分類されるようにさせることができる。
上述の説明から分かるように、訓練済みの分類モデルにおいて異なる訓練集合が各訓練集合に対してそれぞれ設定される特徴融合層及びの特徴抽出層のうちの少なくとも１つの層をシェアすることで、異なる訓練集合の間の共通データが正確に分類されるようにさせることができるから、本発明の実施例における訓練済みの分類モデルを用いて分類を行う方法600では、分類待ち画像を正確に分類することができる。
好ましくは、本発明の実施例における訓練済みの分類モデルを用いて分類を行う方法600は、さらに、第二ローカル領域取得ステップを含み、第二ローカル領域取得ステップでは、分類待ち画像の第二所定数量のローカル領域を取得し、そのうち、各ローカル領域が分類待ち画像のグローバル領域における一部であり、第二特徴抽出ステップS602では、さらに分類モデルにおける、グローバル領域及び各ローカル領域に対して設定される対応する数量の特徴抽出層を用いて、それぞれ、グローバル領域のグローバル特徴及び各所定ローカル領域のローカル特徴を抽出し、そのうち、分類モデルでは、グローバル領域及び第二所定数量の所定ローカル領域がグローバル領域及び各所定ローカル領域に対してそれぞれ設定される特徴抽出層のうちの少なくとも１つの層をシェアし、シェアされる前記少なくとも１つの層においてグローバル特徴と各ローカル特徴とを結合することで、分類される画像の結合後の特徴を取得し、また、第二損失確定ステップS606では、さらに、分類モデルにおける、第一所定数量の訓練集合に対してそれぞれ設定される損失確定層を用いて、分類待ち画像の結合後の特徴に基づいて分類待ち画像の損失関数を計算し、また、損失関数に基づいて分類待ち画像に対して分類を行う。
また、本発明は、さらに、記憶媒体及びプログラムプロダクトに関する。本発明の実施例における記憶媒体及びプログラムプロダクトに含まれているマシン実行可能な指令が、上述の方法を実行するように構成されても良く、また、上述の方法の細部について、上述の説明を参照することができ、ここでは、その重複記載を割愛する。
それ相応に、上述のマシン実行可能な指令を含むプログラムプロダクトを記憶している記憶媒体も、本発明に含まれる。該記憶媒体は、例えば、フロッピーディスク、光ディスク、光磁気ディスク、メモリカード、フレッシュメモリなどを含んでも良いが、これに限定されない。
さらに、上述の一連の処理及び装置がソフトウェア及び/又はファームウェアにより実現されても良い。ソフトウェア及び/又はファームウェアにより実現される場合、記憶媒体又はネットワークから、専用ハードウェア構造を有するコンピュータ、例えば、図7に示す汎用コンピュータ700に、該ソフトウェアを構成するプログラムをインストールすることができる。該コンピュータは、各種のプログラムがインストールされるときに、各種の機能などを実現することができる。
図7は、本発明の実施例において採用され得る汎用コンピュータの構造ブロック図である。
図7では、中央処理装置（CPU）701は、ROM 702に記憶されているプログラム、又は、記憶部708からRAM 703にロードされているプログラムに基づいて、各種の処理を行う。RAM 703には、必要に応じて、CPU 701が各種の処理を実行するときに必要なデータを記憶しても良い。なお、CPU 701、ROM 702及びびRAM 703は、バス704を経由して接続される。また、入力／出力インターフェース705も、バス704に接続される。
次のような部品は、入力／出力インターフェース705に接続され、即ち、入力部706（キーボード、マウスなどを含む）、出力部707（表示器、例えば、CRT、LCDなど、及びびスピーカーなどを含む）、記憶部708（ハードディスクなどを含む）、及びび通信部709（ネットワーク・インターフェース・カード、例えば、LANカード、モデムなどを含む）というような部品である。通信部709は、ネットワーク、例えば、インターネットを経由して通信処理を行う。なお、必要に応じて、ドライブ710を入力／出力インターフェース705に接続させても良い。取り外し可能な媒体711、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などは、必要に応じて、ドライブ710にセットされ、その中から読み出されたコンピュータプログラムが必要に応じて記憶部708にインスタールされるようにさせることができる。
ソフトウェアにより上述の一連の処理を実現する場合、ネットワーク、例えば、インターネット、又は記憶媒体、例えば、取り外し可能な媒体711から、ソフトウェアを構成するプログラムをインストールすることができる。
なお、当業者が理解すべきは、このような記憶媒体は、図7に示すような取り外し可能な媒体711に限定されない。取り外し可能な媒体711は、例えば、磁気ディスク（フロッピーディスク（登録商標）を含む）、ディスク（CD-ROM及びびDVDを含む）、光磁気ディスク（MD（登録商標）を含む）、及びび半導体記憶器を含む。又はいは、記憶媒体は、ROM 802、記憶部808中のハードディスクなどであっても良い。
また、本発明の実施例などによる装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びびソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、ち、前記プログラムは、ロジック部品により実行されるときに、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、ＤＶＤ、フレッシュメモリなどにも関する。
また、以上の実施例などに関し、さらに以下のように付記を開示する。
（付記1）
分類モデルを訓練する装置であって、
第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ対応する数量の特徴抽出層を設定するように構成され、且つ各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される前記特徴抽出層を用いて、それぞれ、該サンプル画像の特徴を抽出し、該サンプル画像の抽出された特徴を取得するように構成され、前記第一所定数量の訓練集合のうちの少なくとも２つの訓練集合が少なくとも部分的に重畳する特徴抽出ユニット；
前記第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ対応する数量の特徴融合層を設定するように構成され、且つ各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される特徴融合層を用いて、該サンプル画像の抽出された特徴に対して融合を行い、該サンプル画像の融合後の特徴を取得するように構成される特徴融合ユニット；及び
前記第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ損失確定層を設定するように構成され、且つ各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される損失確定層を用いて、該サンプル画像の融合後の特徴に基づいて該サンプル画像の損失関数を計算し、また、前記損失関数に基づいて前記分類モデルを訓練するように構成される損失確定ユニットを含み、
前記第一所定数量の訓練集合は、各訓練集合に対してそれぞれ設定される特徴融合層及び特徴抽出層のうちの少なくとも１つの層をシェアする、装置。
（付記2）
付記1に記載の分類モデルを訓練する装置であって、
各訓練集合に対してそれぞれ設定される特徴融合層は、複数の特徴融合層を含み、また、前記第一所定数量の訓練集合は、各訓練集合に対してそれぞれ設定される前記複数の特徴融合層のうちの少なくとも１つの層をシェアしない、装置。
（付記3）
付記1に記載の分類モデルを訓練する装置であって、
各サンプル画像について、該サンプル画像の第二所定数量のローカル領域を得るように構成され、各ローカル領域が前記サンプル画像のグローバル領域における一部であるローカル領域取得ユニットをさらに含み、
前記特徴抽出ユニットは、前記グローバル領域及び各所定ローカル領域に対して対応する数量の特徴抽出層をそれぞれ設定し、それぞれ、前記グローバル領域のグローバル特徴及び各所定ローカル領域のローカル特徴を抽出するように構成され、
前記第一所定数量の訓練集合は、各訓練集合中のサンプル画像の前記グローバル領域に対して設定される特徴抽出層のうちの少なくとも１つの層をシェアする、装置。
（付記4）
付記3に記載の分類モデルを訓練する装置であって、
前記第一所定数量の訓練集合は、さらに、各訓練集合中のサンプル画像の所定ローカル領域のうちの少なくとも１つの所定ローカル領域に対して設定される特徴抽出層のうちの少なくとも１つの層をシェアする、装置。
（付記5）
付記3に記載の分類モデルを訓練する装置であって、
前記特徴抽出ユニットでは、前記グローバル領域及び前記第二所定数量の所定ローカル領域が前記グローバル領域及び各所定ローカル領域に対してそれぞれ設定される特徴抽出層のうちの少なくとも１つの層をシェアし、シェアされる前記少なくとも１つの層において前記グローバル特徴と各ローカル特徴とを結合し、各サンプル画像の結合後の特徴を取得する、装置。
（付記6）
付記5に記載の分類モデルを訓練する装置であって、
前記損失確定ユニットは、各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される損失確定層を用いて、該サンプル画像の結合後の特徴に基づいて該サンプル画像の前記損失関数を計算し、また、前記損失関数に基づいて前記分類モデルを訓練するように構成される、装置。
（付記7）
付記3に記載の分類モデルを訓練する装置であって、
前記第二所定数量のローカル領域は、前記グローバル領域に関する相補的情報を有する、装置。
（付記8）
付記1に記載の分類モデルを訓練する装置であって、
前記特徴抽出層は、畳み込みニューラルネットワークの畳み込み層であり、前記特徴融合層は、前記畳み込みニューラルネットワークの全結合層である、装置。
（付記9）
分類モデルを訓練する方法であって、
第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ対応する数量の特徴抽出層を設定し、且つ各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される特徴抽出層を用いて、それぞれ、該サンプル画像の特徴を抽出し、該サンプル画像の抽出された特徴を取得する特徴抽出ステップであって、前記第一所定数量の訓練集合のうちの少なくとも２つの訓練集合が少なくとも部分的に重畳する特徴抽出ステップ；
前記第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ対応する数量の特徴融合層を設定し、且つ各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される特徴融合層を用いて、該サンプル画像の抽出された特徴に対して融合を行い、各サンプル画像の融合後の特徴を取得する特徴融合ステップ；及び
前記第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ損失確定層を設定し、且つ各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される損失確定層を用いて、該サンプル画像の融合後の特徴に基づいて該サンプル画像の損失関数を計算し、また、前記損失関数に基づいて前記分類モデルを訓練する損失確定ステップを含み、
前記第一所定数量の訓練集合は、各訓練集合に対してそれぞれ設定される特徴抽出層及び特徴融合層のうちの少なくとも１つの層をシェアする、方法。
（付記10）
付記9に記載の分類モデルを訓練する方法であって、
各訓練集合に対してそれぞれ設定される特徴融合層は、複数の特徴融合層を含み、前記第一所定数量の訓練集合は、各訓練集合に対してそれぞれ設定される前記複数の特徴融合層のうちの少なくとも１つの層をシェアしない、方法。
（付記11）
付記9に記載の分類モデルを訓練する方法であって、
ローカル領域取得ステップをさらに含み、該ステップでは、各サンプル画像について、該サンプル画像の第二所定数量のローカル領域を取得し、各ローカル領域は、前記サンプル画像のグローバル領域における一部であり、
前記特徴抽出ステップでは、前記グローバル領域及び各所定ローカル領域に対してそれぞれ対応する数量の特徴抽出層を設定し、それぞれ、前記グローバル領域のグローバル特徴及び各所定ローカル領域のローカル特徴を抽出し、
前記第一所定数量の訓練集合は、各訓練集合中のサンプル画像の前記グローバル領域に対して設定される特徴抽出層のうちの少なくとも１つの層をシェアする、方法。
（付記12）
付記11に記載の分類モデルを訓練する方法であって、
前記第一所定数量の訓練集合は、さらに、各訓練集合中のサンプル画像の所定ローカル領域のうちの少なくとも１つの所定ローカル領域に対して設定される特徴抽出層のうちの少なくとも１つの層をシェアする、方法。
（付記13）
付記11に記載の分類モデルを訓練する方法であって、
前記特徴抽出ステップでは、前記グローバル領域及び前記第二所定数量の所定ローカル領域が前記グローバル領域及び各所定ローカル領域に対してそれぞれ設定される特徴抽出層のうちの少なくとも１つの層をシェアし、シェアされる前記少なくとも１つの層において前記グローバル特徴と各ローカル特徴とを結合し、各サンプル画像の結合後の特徴を取得する、方法。
（付記14）
付記13に記載の分類モデルを訓練する方法であって、
前記損失確定ステップでは、各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される損失確定層を用いて、該サンプル画像の結合後の特徴に基づいて該サンプル画像の前記損失関数を計算し、また、前記損失関数に基づいて前記分類モデルを訓練する、方法。
（付記15）
付記11に記載の分類モデルを訓練する方法であって、
前記第二所定数量のローカル領域は、前記グローバル領域に関する相補的情報を有する、方法。
（付記16）
付記9に記載の分類モデルを訓練する方法であって、
前記特徴抽出層は、畳み込みニューラルネットワークの畳み込み層であり、前記特徴融合層は、前記畳み込みニューラルネットワークの全結合層である、方法。
（付記17）
分類モデルを用いて分類を行う装置であって、
前記分類モデルにおける、第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ設定される対応する数量の特徴抽出層を用いて、それぞれ、分類待ち画像の特徴を抽出し、前記分類待ち画像の抽出された特徴を取得するように構成される第二特徴抽出ユニット；
前記分類モデルにおける、前記第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ設定される対応する数量の特徴融合層を用いて、前記分類待ち画像の抽出された特徴に対して融合を行い、前記分類待ち画像の融合後の特徴を取得するように構成される第二特徴融合ユニット；及び
前記分類モデルにおける、前記第一所定数量の訓練集合に対してそれぞれ設定される損失確定層を用いて、前記分類待ち画像の融合後の特徴に基づいて前記分類待ち画像の損失関数を計算し、また、前記損失関数に基づいて前記分類待ち画像に対して分類を行うように構成される第二損失確定ユニットを含み、
前記分類モデルでは、前記第一所定数量の訓練集合は、各訓練集合に対してそれぞれ設定される特徴融合層及び特徴抽出層のうちの少なくとも１つの層をシェアする、装置。
（付記18）
付記17に記載の分類モデルを用いて分類を行う装置であって、
前記分類待ち画像の第二所定数量のローカル領域を取得するように構成される第二ローカル領域取得ユニットであって、各ローカル領域が前記分類待ち画像のグローバル領域における一部である第二ローカル領域取得ユニットをさらに含み、
前記第二特徴抽出ユニットは、さらに、前記分類モデルにおける、前記グローバル領域及び各ローカル領域に対して設定される特徴抽出層を用いて、それぞれ、前記グローバル領域のグローバル特徴及び各所定ローカル領域のローカル特徴を抽出するように構成され、前記分類モデルでは、前記グローバル領域及び前記第二所定数量の所定ローカル領域が前記グローバル領域及び各所定ローカル領域に対してそれぞれ設定される特徴抽出層のうちの少なくとも１つの層をシェアし、シェアされる前記少なくとも１つの層において前記グローバル特徴と各ローカル特徴とを結合し、前記分類待ち画像の結合後の特徴を取得し、
前記第二損失確定ユニットは、さらに、前記分類モデルにおける、前記第一所定数量の訓練集合に対してそれぞれ設定される損失確定層を用いて、前記分類待ち画像の結合後の特徴に基づいて前記分類待ち画像の損失関数を計算し、また、前記損失関数に基づいて前記分類待ち画像に対して分類を行うように構成される、装置。
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は、本発明の技術的範囲に属する。

Claims (10)

  1. 分類モデルを訓練する装置であって、
    第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ対応する数量の特徴抽出層を設定するように構成され、各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される前記特徴抽出層を用いて、それぞれ、該サンプル画像の特徴を抽出し、該サンプル画像の抽出特徴を取得するように構成される特徴抽出ユニットであって、前記第一所定数量の訓練集合のうちの少なくとも２つの訓練集合が少なくとも部分的に重畳する特徴抽出ユニット；
    前記第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ対応する数量の特徴融合層を設定するように構成され、各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される特徴融合層を用いて、該サンプル画像の抽出特徴に対して融合を行い、該サンプル画像の融合後の特徴を取得するように構成される特徴融合ユニット；及び
    前記第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ損失確定層を設定するように構成され、各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される損失確定層を用いて、該サンプル画像の融合後の特徴に基づいて該サンプル画像の損失関数を計算し、前記損失関数に基づいて前記分類モデルを訓練するように構成される損失確定ユニットを含み、
    前記第一所定数量の訓練集合は、各訓練集合に対してそれぞれ設定される特徴融合層及び特徴抽出層のうちの少なくとも１つの層をシェアする、装置。
  2. 請求項1に記載の装置であって、
    各訓練集合に対してそれぞれ設定される特徴融合層は、複数の特徴融合層を含み、
    前記第一所定数量の訓練集合は、各訓練集合に対してそれぞれ設定される前記複数の特徴融合層のうちの少なくとも１つの層をシェアしない、装置。
  3. 請求項1に記載の装置であって、
    各サンプル画像について、該サンプル画像の第二所定数量のローカル領域を得るように構成されるローカル領域取得ユニットであって、各ローカル領域が前記サンプル画像のグローバル領域における一部であるローカル領域取得ユニットをさらに含み、
    前記特徴抽出ユニットは、前記グローバル領域及び各所定ローカル領域に対して対応する数量の特徴抽出層をそれぞれ設定し、それぞれ、前記グローバル領域のグローバル特徴及び各所定ローカル領域のローカル特徴を抽出するように構成され、
    前記第一所定数量の訓練集合は、各訓練集合中のサンプル画像の前記グローバル領域に対して設定される特徴抽出層のうちの少なくとも１つの層をシェアする、装置。
  4. 請求項3に記載の装置であって、
    前記第一所定数量の訓練集合は、さらに、各訓練集合中のサンプル画像の所定ローカル領域のうちの少なくとも１つの所定ローカル領域に対して設定される特徴抽出層のうちの少なくとも１つの層をシェアする、装置。
  5. 請求項3に記載の装置であって、
    前記特徴抽出ユニットでは、前記グローバル領域及び前記第二所定数量の所定ローカル領域が前記グローバル領域及び各所定ローカル領域に対してそれぞれ設定される特徴抽出層のうちの少なくとも１つの層をシェアし、シェアされる前記少なくとも１つの層において前記グローバル特徴と各ローカル特徴とを結合し、各サンプル画像の結合後の特徴を取得する、装置。
  6. 請求項5に記載の装置であって、
    前記損失確定ユニットは、各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される損失確定層を用いて、該サンプル画像の結合後の特徴に基づいて該サンプル画像の前記損失関数を計算し、前記損失関数に基づいて前記分類モデルを訓練するように構成される、装置。
  7. 請求項3に記載の装置であって、
    前記第二所定数量のローカル領域は、前記グローバル領域に関する相補的情報を有する、装置。
  8. 分類モデルを訓練する方法であって、
    第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ対応する数量の特徴抽出層を設定し、各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される特徴抽出層を用いて、それぞれ、該サンプル画像の特徴を抽出し、該サンプル画像の抽出特徴を取得する特徴抽出ステップであって、前記第一所定数量の訓練集合のうちの少なくとも２つの訓練集合が少なくとも部分的に重畳する特徴抽出ステップ；
    前記第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ対応する数量の特徴融合層を設定し、各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される特徴融合層を用いて、該サンプル画像の抽出特徴に対して融合を行い、各サンプル画像の融合後の特徴を取得する特徴融合ステップ；及び
    前記第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ損失確定層を設定し、各サンプル画像について、該サンプル画像の属する訓練集合に対して設定される損失確定層を用いて、該サンプル画像の融合後の特徴に基づいて該サンプル画像の損失関数を計算し、前記損失関数に基づいて前記分類モデルを訓練する損失確定ステップを含み、
    前記第一所定数量の訓練集合は、各訓練集合に対してそれぞれ設定される特徴抽出層及び特徴融合層のうちの少なくとも１つの層をシェアする、方法。
  9. 請求項8に記載の方法であって、
    各訓練集合に対してそれぞれ設定される特徴融合層は、複数の特徴融合層を含み、
    前記第一所定数量の訓練集合は、各訓練集合に対してそれぞれ設定される前記複数の特徴融合層のうちの少なくとも１つの層をシェアしない、方法。
  10. 分類モデルを用いて分類を行う装置であって、
    前記分類モデルにおける、第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ設定される対応する数量の特徴抽出層を用いて、それぞれ、分類待ち画像の特徴を抽出し、前記分類待ち画像の抽出特徴を取得するように構成される第二特徴抽出ユニット；
    前記分類モデルにおける、前記第一所定数量の訓練集合のうちの各訓練集合に対してそれぞれ設定される対応する数量の特徴融合層を用いて、前記分類待ち画像の抽出特徴に対して融合を行い、前記分類待ち画像の融合後の特徴を取得するように構成される第二特徴融合ユニット；及び
    前記分類モデルにおける、前記第一所定数量の訓練集合に対してそれぞれ設定される損失確定層を用いて、前記分類待ち画像の融合後の特徴に基づいて前記分類待ち画像の損失関数を計算し、前記損失関数に基づいて前記分類待ち画像に対して分類を行うように構成される第二損失確定ユニットを含み、
    前記分類モデルでは、前記第一所定数量の訓練集合が、各訓練集合に対してそれぞれ設定される特徴融合層及び特徴抽出層のうちの少なくとも１つの層をシェアする、装置。
JP2019234844A 2019-02-19 2019-12-25 分類モデルを訓練する装置と方法及び分類モデルを用いた分類装置 Active JP7347202B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910124176.0A CN111582009B (zh) 2019-02-19 2019-02-19 训练分类模型的装置和方法及利用分类模型分类的装置
CN201910124176.0 2019-02-19

Publications (2)

Publication Number Publication Date
JP2020135857A JP2020135857A (ja) 2020-08-31
JP7347202B2 true JP7347202B2 (ja) 2023-09-20

Family

ID=69159649

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019234844A Active JP7347202B2 (ja) 2019-02-19 2019-12-25 分類モデルを訓練する装置と方法及び分類モデルを用いた分類装置

Country Status (4)

Country Link
US (1) US11514272B2 (ja)
EP (1) EP3699819A1 (ja)
JP (1) JP7347202B2 (ja)
CN (1) CN111582009B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101246A (zh) * 2020-09-18 2020-12-18 济南博观智能科技有限公司 一种车辆识别方法、装置、设备及介质
CN112116005B (zh) * 2020-09-18 2024-01-23 推想医疗科技股份有限公司 影像分类模型的训练方法及装置、存储介质和电子设备
CN112149754B (zh) * 2020-09-30 2021-06-11 罗中岩 一种信息的分类方法、装置、设备及存储介质
CN112183669B (zh) * 2020-11-04 2024-02-13 航天科工(北京)空间信息应用股份有限公司 图像分类方法和装置、设备及存储介质
CN112668586B (zh) 2020-12-18 2024-05-14 北京百度网讯科技有限公司 模型训练、图片处理方法及设备、存储介质、程序产品
CN113723527A (zh) * 2021-09-01 2021-11-30 重庆赛迪奇智人工智能科技有限公司 分类模型训练方法、瑕疵检测方法、装置和电子设备
CN114120433B (zh) * 2021-11-30 2022-12-30 北京百度网讯科技有限公司 图像处理方法、图像处理装置、电子设备和介质
US20230196732A1 (en) * 2021-12-20 2023-06-22 Kla Corporation Machine learning using a global texture characteristic for semiconductor-based applications
CN115100472B (zh) * 2022-06-20 2023-06-27 北京达佳互联信息技术有限公司 展示对象识别模型的训练方法、装置和电子设备
CN115376195B (zh) * 2022-10-09 2023-01-13 珠海大横琴科技发展有限公司 训练多尺度网络模型的方法及人脸关键点检测方法
CN116630721B (zh) * 2023-06-14 2024-02-13 电子科技大学中山学院 基于局部特征补全的图像分类方法、装置、设备及介质
CN116958954B (zh) * 2023-07-27 2024-03-22 匀熵智能科技(无锡)有限公司 基于关键点与旁路矫正的车牌识别方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016141282A1 (en) 2015-03-04 2016-09-09 The Regents Of The University Of California Convolutional neural network with tree pooling and tree feature map selection
JP2017513144A (ja) 2014-04-11 2017-05-25 ペキン センスタイム テクノロジー ディベロップメント カンパニー リミテッド 顔認証方法およびシステム
JP2021184169A (ja) 2020-05-21 2021-12-02 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1065705A (ja) 1996-08-15 1998-03-06 Nec Corp Ｌａｎエミュレーションのデータ転送高速化
US10755082B2 (en) * 2016-10-25 2020-08-25 Deep North, Inc. Point to set similarity comparison and deep feature learning for visual recognition
CN108171112B (zh) * 2017-12-01 2021-06-01 西安电子科技大学 基于卷积神经网络的车辆识别与跟踪方法
CN109033938A (zh) * 2018-06-01 2018-12-18 上海阅面网络科技有限公司 一种基于可区分性特征融合的人脸识别方法
US10303981B1 (en) * 2018-10-04 2019-05-28 StradVision, Inc. Learning method and testing method for R-CNN based object detector, and learning device and testing device using the same
CN109215027B (zh) * 2018-10-11 2024-05-24 平安科技（深圳）有限公司 一种基于神经网络的车辆定损方法、服务器及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017513144A (ja) 2014-04-11 2017-05-25 ペキン センスタイム テクノロジー ディベロップメント カンパニー リミテッド 顔認証方法およびシステム
WO2016141282A1 (en) 2015-03-04 2016-09-09 The Regents Of The University Of California Convolutional neural network with tree pooling and tree feature map selection
JP2021184169A (ja) 2020-05-21 2021-12-02 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
US20200265272A1 (en) 2020-08-20
JP2020135857A (ja) 2020-08-31
CN111582009A (zh) 2020-08-25
CN111582009B (zh) 2023-09-15
US11514272B2 (en) 2022-11-29
EP3699819A1 (en) 2020-08-26

Similar Documents

Publication Publication Date Title
JP7347202B2 (ja) 分類モデルを訓練する装置と方法及び分類モデルを用いた分類装置
Zhang et al. Uncertainty inspired RGB-D saliency detection
US11113513B2 (en) Apparatus and method for training classification model and apparatus for classifying with classification model
Math et al. Adaptive machine learning classification for diabetic retinopathy
JP2018200685A (ja) 完全教師あり学習用のデータセットの形成
CN111696196B (zh) 一种三维人脸模型重建方法及装置
CN110459317B (zh) 基于动态脑网络图核的阿尔茨海默病辅助诊断系统及方法
CN106127804A (zh) 基于稀疏深度去噪自编码器的rgb‑d数据跨模式特征学习的目标跟踪方法
CN111986180B (zh) 基于多相关帧注意力机制的人脸伪造视频检测方法
CN115631112B (zh) 一种基于深度学习的建筑轮廓矫正方法及装置
Ma et al. Location-aware box reasoning for anchor-based single-shot object detection
Sun et al. Weakly supervised segmentation of COVID-19 infection with local lesion coherence on CT images
CN113158860B (zh) 基于深度学习多维度输出人脸质量评估方法与电子设备
CN113505261A (zh) 数据标注方法、装置以及数据标注模型训练方法、装置
Wei et al. Bidirectional attentional interaction networks for rgb-d salient object detection
JP7059889B2 (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
Li et al. CrackCLF: Automatic Pavement Crack Detection Based on Closed-Loop Feedback
CN112446292A (zh) 一种2d图像显著目标检测方法及系统
TW201706969A (zh) 戶外停車場空位自動偵測方法
Lu Evaluation and Comparison of Deep Learning Methods for Pavement Crack Identification with Visual Images
CN117011617B (zh) 基于二阶段教师-学生框架的肺结节检测装置及构建方法
LIAN et al. Prediction of Bone Age in the Wrist Bone Region Based on the TW3-C Carpal Method
Xu et al. Learning to estimate smooth and accurate semantic correspondence
Huang et al. LEPS: A lightweight and effective single-stage detector for pothole segmentation
Fang et al. Artificial Intelligence: First CAAI International Conference, CICAI 2021, Hangzhou, China, June 5–6, 2021, Proceedings, Part I

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230821

R150 Certificate of patent or registration of utility model

Ref document number: 7347202

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150