JP7222319B2 - 分類モデル訓練方法及び装置並びに分類方法及び装置 - Google Patents

分類モデル訓練方法及び装置並びに分類方法及び装置 Download PDF

Info

Publication number
JP7222319B2
JP7222319B2 JP2019115484A JP2019115484A JP7222319B2 JP 7222319 B2 JP7222319 B2 JP 7222319B2 JP 2019115484 A JP2019115484 A JP 2019115484A JP 2019115484 A JP2019115484 A JP 2019115484A JP 7222319 B2 JP7222319 B2 JP 7222319B2
Authority
JP
Japan
Prior art keywords
loss
test
features
hidden
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019115484A
Other languages
English (en)
Other versions
JP2020004406A (ja
Inventor
パン・ジャヌジョォン
ユィ・シアオイ
俊 孫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2020004406A publication Critical patent/JP2020004406A/ja
Application granted granted Critical
Publication of JP7222319B2 publication Critical patent/JP7222319B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Description

本開示は、情報処理分野に関し、特に、テスト待ち情報に対して迅速且つ正確に分類を行う分類モデルを取得し得る分類モデル訓練方法及び装置、並びに、テスト待ち情報に対して迅速且つ正確に分類を行うことができる分類予測方法及び装置に関する。
今のところ、一般的には、１つの閉集合に基づいて分類タスク（task）が行われ、即ち、完備な訓練データを有することで、実際のテストに現れる各テスト待ちクラス（class）に対応するようにすると仮定する。しかし、通常の場合、十分な先験的な知識を有しないため、テスト過程で、訓練集合に含まれない未知のクラスが出現したら、それを検出することができないのみならず、誤って既知のクラスに分類することもある。例えば、古文書の識別に当たって、古文書の種類がたくさん存在し且つデータ量が膨大であり、しかも各種類にしばしば多くの変形があるので、全てのクラスの古文書データを集めることが困難である。よって、古文書を識別するときに、たびたび、未知のクラスが出てくる場合がある。このとき、分類タスクは、既知のクラスを正確に識別する必要があるだけでなく、現れた未知のクラスについて識別する必要もある。このような問題は、開集合の背景の下で解決すべき問題である。
従来では、開集合の問題について、幾つかの解決方法、例えば、クラスタリングによる方法、半教師あり学習による分類、統計学の理論による方法などが既に提案されている。そのうち、再構成誤差（reconstruction error）に基づく識別は、最も流行しており、且つ正確率が高い技術の１つである。該アルゴリズムの主な思想は、再構成ネットワークを形成することにある。該ネットワークは、訓練を受けてから、入力が与えられるときに入力サンプルを圧縮及び再構成することができる。よって、再構成の効果が良いほど、再構成の誤差が小さい。未知のクラスからのデータが出現したときに、事前選択の誤差閾値より大きい誤差を生成すべきであり、また、既知のクラスからのデータについて、誤差が事前選択の誤差閾値よりかなり小さい。
それでも、既知のクラス及び未知のクラスからの幾つかのデータが、しばしば、混交しており、且つ正確に識別されにくい。
上記の問題に鑑み、本開示の目的は、従来技術における１つ又は複数の欠点を解決することができる分類モデル訓練方法及び装置並びに分類方法及び装置を提供することにある。
本開示の一側面によれば、分類モデルを訓練する方法が提供され、それは、サンプル処理ステップ、再構成損失計算ステップ、クラス間損失計算ステップ、及び分類モデル取得ステップを含む。サンプル処理ステップでは、訓練集合中の各サンプルについて、それぞれ、次のような処理を行い、即ち、サンプルから特徴を抽出し；抽出された特徴を、サンプルの低次元のヒドゥン（hidden）特徴を表し得るように圧縮し；ヒドゥン特徴を解凍し、解凍後の特徴を取得し；及び、解凍後の特徴に基づいてサンプルを再構成し、再構成後のサンプルを得る処理である。再構成損失計算ステップでは、ヒドゥン特徴に基づいて、訓練集合中の全てのサンプルについて再構成損失を計算し、クラス間損失計算ステップでは、訓練集合中の全てのサンプルについて、異なるクラスのサンプル間の分離度を示すクラス間損失を計算し、分類モデル取得ステップでは、再構成損失及びクラス間損失を含む損失関数を最小化することで、訓練後の分類モデルを取得する。
本開示の他の側面によれば、分類方法が提供され、それは、訓練後の分類モデルに入力されたテスト待ち情報から特徴を抽出する抽出ステップ；抽出された特徴を、テスト待ち情報の低次元のヒドゥン特徴を表し得るように圧縮する圧縮ステップ；ヒドゥン特徴を解凍し、解凍後の特徴を得る解凍ステップ；解凍後の特徴に基づいてテスト待ち情報を再構成し、再構成後のテスト待ち情報を得る再構成ステップ；テスト待ち情報と再構成後のテスト待ち情報との間の再構成損失に基づいて、テスト待ち情報が既知のクラスか、それとも、未知のクラスに属するかを判断する判断ステップ；及び、テスト待ち情報が既知のクラスに属すると確定された場合、訓練後の分類モデルにより、テスト待ち情報を分類する分類ステップを含む。
本開示の他の側面によれば、分類装置が提供され、それは、訓練後の分類モデルに入力されたテスト待ち情報から特徴を抽出する抽出ユニット；抽出された特徴を、テスト待ち情報の低次元のヒドゥン特徴を表し得るように圧縮する圧縮ユニット；ヒドゥン特徴を解凍し、解凍後の特徴を得る解凍ユニット；解凍後の特徴に基づいてテスト待ち情報を再構成し、再構成後のテスト待ち情報を得る再構成ユニット；テスト待ち情報と再構成後のテスト待ち情報との間の再構成損失に基づいて、テスト待ち情報が既知のクラスか、それとも、未知のクラスに属するかを判断する判断ユニット；及び、テスト待ち情報が既知のクラスに属すると確定された場合、訓練後の分類モデルにより、テスト待ち情報を分類する分類ユニットを含む。
本開示の他の側面によれば、上述の方法を実現するためのコンピュータプログラムコード及びコンピュータプログラムプロダクト、並びに、その中に上述の方法を実現するためのコンピュータプログラムコードが記録されているコンピュータ可読記憶媒体がさらに提供される。
本開示の実施例における分類モデル訓練方法のフローチャートである。 損失関数に中心損失及びクラス間損失が含まれる場合の異なるクラスに属するヒドゥン特徴の分布図である。 損失関数に中心損失及びクラス間損失が含まれない場合の異なるクラスに属するヒドゥン特徴の分布図である。 本開示の実施例における分類モデル訓練装置の機能ブロック図である。 本開示の実施例における分類方法のフローチャートである。 変分オートエンコーダを用いてヒドゥン特徴を再構成する例を示す図である。 変分オートエンコーダを用いてヒドゥン特徴を再構成する例を示す図である。 本開示の実施例における分類装置の機能ブロック図である。 本開示の実施例において採用され得る汎用コンピュータの構造図である。
以下、添付した図面を参照しながら、本開示を実施するための好適な形態を詳細に説明する。なお、このような実施形態は、例示に過ぎず、本開示を限定するものでない。
まず、図1に基づいて本開示の実施例における分類モデル訓練方法100を説明する。図1は、本開示の実施例における分類モデル訓練方法100のフローチャートである。図1に示すように、本開示の実施例における分類モデル訓練方法100は、サンプル処理ステップS101、再構成損失計算ステップS102、クラス間損失計算ステップS103、及び分類モデル取得ステップS104を含む。
本開示の実施例における分類モデル訓練方法100は、S100でスタートする。
サンプル処理ステップS101では、訓練集合中の各サンプルについて、それぞれ、次のような処理を行っても良く、即ち、サンプルから特徴を抽出し；抽出された特徴を、サンプルの低次元のヒドゥン特徴を表し得るように圧縮し；ヒドゥン特徴を解凍し、解凍後の特徴を取得し；及び、解凍後の特徴に基づいてサンプルを再構成し、再構成後のサンプルを得る処理である。
一例として、サンプルは、文字又はよく用いられる他の画像であっても良く、ここで、xでサンプルを表すとする。例えば、畳み込み層を用い、画素の空間相関性情報を考慮して、各サンプルxの特徴を抽出することができ、抽出された特徴は、通常、高次元の特徴である。よって、例えば、本開示の実施例における分類モデル訓練方法100では、画素間の空間相関性情報を考慮してサンプルの特徴を抽出することができる。
各サンプルxから抽出された高次元の特徴は、サンプルxの低次元のヒドゥン特徴zを表し得るように圧縮することができる。低次元のヒドゥン特徴を用いてサンプルを表すことにより、分類モデルに対しての訓練を加速することができる。
ヒドゥン特徴zを解凍し、解凍後の特徴を得ることができる。
解凍後の特徴に基づいてサンプルxを再構成し、再構成後のサンプルx’を得ることができる。
一例として、変分オートエンコーダ（VAE）に基づいて、サンプルが、ある事後分布（posterior distribution）を有するヒドゥン特徴の制御により生成されるものであると仮定し、また、上述の圧縮処理（エンコーダと称しても良い）を用いて、与えられた入力サンプルxの下でのヒドゥン特徴の事後分布p（z｜x）の学習を試み、また、上述の解凍処理（デコーダと称しても良い）から学習により尤度分布（likelihood distribution）p（x｜z）を得ることで、入力のサンプルxを再構成する。再構成過程がそのエンコーダ中の事後分布に従うので、より良い汎化性能を有し、且つ一般的なオートエンコーダに比べ、より正確にサンプルを再構成することができ、特に、ヒドゥン特徴の次元が非常に低いときに、一般的なエンコーダに比べ、サンプルをより正確に再構成することができる。
再構成損失計算ステップS102では、ヒドゥン特徴に基づいて、訓練集合中の全てのサンプルについて再構成損失を計算することができる。
好ましくは、再構成損失は、各サンプルxと、その再構成後のサンプルx’との間の差を示す生成損失、及び、ヒドゥン特徴zの分布と、特定分布との間のマッチ度を示すヒドゥン損失を含む。
一例として、生成損失は、再構成過程の正確度を評価することができ、ヒドゥン損失は、ヒドゥン特徴の分布と、特定分布との間のマッチ度を評価することができる。
訓練集合にトータルでN個のサンプルがあるとすれば、生成損失Lgは、以下のように表すことができる。
Figure 0007222319000001
式（1）では、xi及びxi’は、それぞれ、第i個目のサンプル及びその再構成後のサンプルを表し、そのうち、i=1，2，…，Nである。
上記の前記特定分布が単位ガウス分布N（0，1）であるとし、即ち、ヒドゥン特徴zが大抵、単位ガウス分布に従うとすると、ヒドゥン損失は、以下のように表すことができる。
Figure 0007222319000002
式（2）では、N（0，1）は、単位ガウス分布の確率密度関数であり、KL（）は、KL距離を表す。
再構成損失Lvaeは、以下の式（3）のように示すことができる。
Figure 0007222319000003
クラス間損失計算ステップS103では、訓練集合中の全てのサンプルについて、異なるクラスのサンプル間の分離度を示すクラス間損失を計算することができる。
好ましくは、クラス間損失計算ステップS103では、各サンプルのヒドゥン特徴に基づいてsoftmax損失をクラス間損失として計算することができる。
異なるクラス間の差をできるだけ大きくするために、即ち、異なるクラスの特徴をできるだけ分けるために、各サンプルのヒドゥン特徴に基づいてsoftmax損失Lsを以下のように計算することができる。
Figure 0007222319000004
式（4）では、ziは、第i（i=1，2，…，N）個目のサンプルのヒドゥン特徴であり、mは、既知のクラスの数であり、Wyi及びbyiは、それぞれ、ヒドゥン特徴zの属するクラスyiに対応する分類モデルのパラメータを表し、Wj及びbj（j=1，2， … ，m）は、それぞれ、m個の既知のクラス中の第j個目のクラスに対応する分類モデルのパラメータを表す。
なお、softmax損失の他に、当業者は、クラス間損失の他の計算方式も容易に想到し得るが、ここでは、その詳しい説明を省略する。
分類モデル取得ステップS104では、再構成損失及びクラス間損失を含む損失関数を最小化することで、訓練後の分類モデルを取得することができる。
一例として、分類モデル取得ステップS104では、損失関数Lが再構成損失Lvae及びクラス間損失Lsを含むとすれば、損失関数Lは、以下のように表すことができる。
Figure 0007222319000005
式（5）では、λは、パラメータ（係数）であり、当業者は、経験に基づいて予めλを確定することができる。
訓練集合中の全てのサンプルについて、損失関数Lを最小化することで、分類モデル中のパラメータを確定することができ、即ち、訓練後の分類モデルを取得することができる。
本開示の実施例における分類モデル訓練方法100は、S105でエンドする。
上述から分かるように、本開示の実施例における分類モデル訓練方法100では、低次元のヒドゥン特徴を用いてサンプルを表すことで分類モデルに対しての訓練を加速することができ、また、損失関数が異なるクラス間の差の増大を助けるクラス間損失を含むので、訓練後の分類モデルは、より正確にテスト待ち情報を分類することができる。
好ましくは、本開示の実施例における分類モデル訓練方法100は、さらに、中心損失計算ステップを含んでも良く、それは、各サンプルのヒドゥン特徴と、該サンプルの属するクラスの中心ヒドゥン特徴との間の距離を示す中心損失を計算するために用いられ、そのうち、損失関数は、さらに、中心損失を含む。
一例として、同一クラスに属するヒドゥン特徴の差を小さくするために、即ち、同一クラスからの特徴をさらに集めるために、中心損失計算ステップで中心損失Lcを以下のように計算する。
Figure 0007222319000006
式（6）では、ziは、第i個目のサンプルのヒドゥン特徴であり、cyiは、ziの属する第yi個目のクラスのヒドゥン特徴中心ベクトルであり、そのうち、i=1，2，…，Nである。
中心損失を計算した後に、中心損失Lcを含む損失関数Lは、以下のように表すことができる。
Figure 0007222319000007
式（7）では、λ1及びλ2は、パラメータ（係数）であり、当業者は、経験に基づいて予めλ1及びλ2を確定することができる。
訓練集合中の全てのサンプルについて、式（7）中の損失関数Lを最小化することで、分類モデル中のパラメータを確定し、訓練後の分類モデルを取得することができる。
図2A及び図2Bは、それぞれ、損失関数に中心損失及びクラス間損失が含まれる場合、及び、損失関数に中心損失及びクラス間損失が含まれない場合における、異なるクラスに属するヒドゥン特徴の分布図を示す。図2A及び図2Bでは、ヒドゥン特徴の分布図を簡単且つ明確に示すために、ヒドゥン特徴が次元1及び次元2を有する2次元ベクトルであると仮定する。
図2Aは、損失関数Lに中心損失Lc及びクラス間損失Lsが含まれない場合のヒドゥン特徴の分布図であり、図2Bは、損失関数Lに中心損失Lc及びクラス間損失Lsが含まれる場合のヒドゥン特徴の分布図である。図2A及び図2Bから分かるように、損失関数Lに中心損失Lc及びクラス間損失Lsが含まれない場合のヒドゥン特徴の分布に比べ、損失関数Lに中心損失Lc及びクラス間損失Lsが含まれる場合に、同一クラスに属するヒドゥン特徴はより集まっており、且つ異なるクラスに属するヒドゥン特徴はより離れている（分離している）。
上述から分かるように、本開示の実施例における分類モデル訓練方法100では、損失関数がクラス間損失の他に中心損失をさらに含むので、異なるクラス間の差を増大すると同時に、クラス内の差を減少させることができる。よって、訓練後の分類モデルは、より正確にテスト待ち情報を分類することができる。
また、本開示は、さらに、上述の分類モデルを訓練する方法の実施例に対応して、以下の訓練分類モデルの装置の実施例を提供する。
図3は、本開示の実施例における分類モデル訓練装置300の機能ブロック図である。
図3に示すように、本開示の実施例における分類モデル訓練装置300は、サンプル処理ユニット301、再構成損失計算ユニット302、クラス間損失計算ユニット303、及び分類モデル取得ユニット304を含んでも良い。続いて、サンプル処理ユニット301、再構成損失計算ユニット302、クラス間損失計算ユニット303、及び分類モデル取得ユニット304の機能構成例について説明する。
サンプル処理ユニット301では、訓練集合中の各サンプルについて、それぞれ、次のような処理を行っても良く、即ち、サンプルから特徴を抽出し；抽出された特徴を、サンプルの低次元のヒドゥン特徴を表し得るように圧縮し；ヒドゥン特徴を解凍し、解凍後の特徴を取得し；及び、解凍後の特徴に基づいてサンプルを再構成し、再構成後のサンプルを得る処理である。
訓練集合中の各サンプルに対して行われる処理の具体例について、上述の方法の実施例における対応する部分、例えば、図1のサンプル処理ステップS101についての説明を参照することができるため、ここでは、重複記載が省略される。
再構成損失計算ユニット302では、ヒドゥン特徴に基づいて、訓練集合中の全てのサンプルについて再構成損失を計算することができる。
好ましくは、再構成損失は、各サンプルと、その再構成後のサンプルとの間の差を示す生成損失、及び、ヒドゥン特徴の分布と、特定分布との間のマッチ度を示すヒドゥン損失を含んでも良い。
一例として、生成損失は、再構成過程の正確度を評価することができ、ヒドゥン損失は、ヒドゥン特徴の分布と、特定分布との間のマッチ度を評価することができる。
再構成損失の具体例について、上述の方法の実施例における対応する部分、例えば、図1の再構成損失計算ステップS102についての記載を参照することができるため、ここでは、重複説明を省略する。
クラス間損失計算ユニット303では、訓練集合中の全てのサンプルについて、異なるクラスのサンプル間の分離度を示すクラス間損失を計算する。
好ましくは、クラス間損失計算ユニット303では、各サンプルのヒドゥン特徴に基づいてsoftmax損失をクラス間損失として計算することができる。
クラス間損失の具体例について、上述の方法の実施例における対応する部分、例えば、図1のクラス間損失計算ステップS103についての説明を参照することができるので、ここでは、重複記載が省略される。
分類モデル取得ユニット304では、再構成損失及びクラス間損失を含む損失関数を最小化することで、訓練後の分類モデルを取得する。
訓練集合中の全てのサンプルについて、再構成損失及びクラス間損失を含む損失関数を最小化することで、分類モデル中のパラメータを確定することができ、即ち、訓練後の分類モデルを取得することができる。
上述から分かるように、本開示の実施例における分類モデル訓練装置300では、低次元のヒドゥン特徴を用いてサンプルを表すことで分類モデルに対しての訓練を加速することができ、また、損失関数が異なるクラス間の差の増大を助けるクラス間損失を含むので、訓練後の分類モデルは、より正確にテスト待ち情報を分類することができる。
好ましくは、本開示の実施例における分類モデル訓練装置300は、さらに、中心損失計算ユニットを含んでも良く、それは、各サンプルのヒドゥン特徴と、該サンプルの属する類の中心ヒドゥン特徴との間の距離を示す中心損失を計算するために用いられ、そのうち、損失関数は、中心損失をさらに含む。
中心損失の具体例については、上述の方法の実施例における対応する部分、例えば、中心損失計算ステップについての記載を参照することができるため、ここでは、重複説明を省略する。
上述から分かるように、本開示の実施例における分類モデル訓練装置300では、損失関数がクラス間損失以外に中心損失をさらに含むため、異なるクラス間の差を増大すると同時に、クラス内の差を減少させることもできる。よって、訓練後の分類モデルは、より正確にテスト待ち情報を分類することができる。
なお、ここでの装置の実施例は、上述の方法の実施例に対応するので、装置の実施例に詳しく記載されていない内容は、方法の実施例中の対応する部分の記載を参照することができ、ここでは、その説明を省略する。
また、本開示は、さらに、記憶媒体及びプログラムプロダクトを提供する。本開示の実施例における記憶媒体及びプログラムプロダクト中のマシン実行可能な指令は、上述の分類モデル訓練方法を実行するように構成されても良い。よって、ここで詳しく説明されていない内容は、前述の対応する記載を参照することができるため、ここでは、重複説明を省略する。
それ相応に、上述のマシン実行可能な指令を含むプログラムプロダクトの記憶媒体も、本発明の開示に含まれる。該記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などを含むが、これらに限定されない。
本開示の他の側面によれば、分類方法400が提供される。本開示の実施例における分類方法400は、開集合に基づく識別方法であり、該方法は、既知のクラスの分類及び未知のクラスの検出に適用し、既知のクラスに対して正確な分類を保証することができると同時に、未知のクラスを正確に識別することもできる。
以下、図4をもとに本開示の実施例における分類方法400を説明する。図4は、本開示の実施例における分類方法400のフローチャートである。図4に示すように、本開示の実施例における分類方法400は、抽出ステップS401、圧縮ステップS402、解凍ステップS403、再構成ステップS404、判断ステップS405、及び分類ステップS406を含む。
本開示の実施例における分類方法400は、S400でスタートする。
抽出ステップS401では、訓練後の分類モデルに入力されたテスト待ち情報から特徴を抽出することができる。
一例として、テスト待ち情報は、文字又はよく用いられる他の画像であっても良い。xでテスト待ち情報を表すとする。畳み込み層を用い、画素の空間相関性情報を考慮して、テスト待ち情報xの特徴を抽出することができ、抽出された特徴は、通常、高次元の特徴である。よって、例えば、本開示の実施例における分類方法400では、画素間の空間相関性情報を考慮してテスト待ち情報の特徴を抽出することができる。
圧縮ステップS402では、抽出された特徴を、テスト待ち情報の低次元のヒドゥン特徴zを表し得るように圧縮することができる。低次元のヒドゥン特徴を用いてテスト待ち情報を表すことで、分類速度を加速することができる。
解凍ステップS403では、ヒドゥン特徴zを解凍し、解凍後の特徴を得ることができる。
再構成ステップS404では、解凍後の特徴に基づいてテスト待ち情報xを再構成し、再構成後のテスト待ち情報x’を取得することができる。
なお、説明の便宜のため、本開示の実施例における分類モデル訓練方法100及び本開示の実施例における分類方法400では、ともに、x、x’及びzを使用しているが、x、x’及びzが示す対象は、分類モデル訓練方法100及び分類方法400において異なる。xを例とすると、分類モデル訓練方法100では、xは、サンプルを表すが、分類方法400では、xは、テスト待ち情報を示す。
判断ステップS405では、テスト待ち情報xと、再構成後のテスト待ち情報x’との間の再構成損失に基づいて、テスト待ち情報が既知のクラスか、それとも、未知のクラスに属するかを判断することができる。
一例では、変分オートエンコーダ（VAE）を用いて、ヒドゥン特徴に基づいて再構成を行うことができる。図5A及び図5Bは、変分オートエンコーダを用い、ヒドゥン特徴に基づいて、再構成を行う例を示す図である。図5A及び図5Bでは、サイズが5であるヒドゥン特徴を有する再構成例を示している。そのうち、数字0-4は、既知のクラスであり、数字5-9は、未知のクラスである。図5Aは、入力であり、図5Bは、再構成後の出力である。図5A及び図5Bから分かるように、既知のクラス（数字0-4）について、その再構成損失が比較的小さいので、VAEモデルは、既知のクラスを良く再構成することができ、一方、未知のクラス（数字5-9）について、その再構成損失が比較的大きいので、再構成の効果があまり良くない。
即ち、本開示の実施例における分類方法400では、再構成損失に基づいて、テスト待ち情報が既知のクラスか、それとも、未知のクラスに属するかを判断することができる。
本開示の実施例により、既知のクラスのデータと未知のクラスのデータを分離するので、既知のクラスに対しての正確な分類を保証することができると同時に、未知のクラスをより正確に認識することもできる。
好ましくは、再構成損失は、テスト待ち情報と、再構成後のテスト待ち情報との間の差を示す生成損失、及び、ヒドゥン特徴の分布と特定分布との間のマッチ度を示すヒドゥン損失を含む。
一例として、生成損失は、再構成過程の正確度を評価することができ、ヒドゥン損失は、ヒドゥン特徴の分布と特定分布との間のマッチ度を評価することができる。
そのうち、生成損失Lg_1は、以下のように表すことができる。
Figure 0007222319000008
前述の特定分布が単位ガウス分布N（0，1）であるとし、即ち、ヒドゥン特徴zが大抵、単位ガウス分布に従うとすれば、ヒドゥン損失は、以下のように表すことができる。
Figure 0007222319000009
式（9）では、p（z｜x）は、与えられたテスト待ち情報xの下でのヒドゥン特徴zの事後分布であり、N（0，1）は、単位ガウス分布の確率密度関数であり、KL（）は、KL距離を示す。
再構成損失Lvae_1は、以下の式（10）で示すことができる。
Figure 0007222319000010
好ましくは、判断ステップS405では、再構成損失が所定閾値以下の場合、テスト待ち情報が既知のクラスに属すると判定し、再構成損失が所定閾値よりも大きい場合、テスト待ち情報が未知のクラスに属すると判定する。なお、上述のヒドゥン損失は、未知のクラスに対しての検出を助けることができる。
一例では、経験に基づいて所定閾値を確定することができる。
分類ステップS406では、テスト待ち情報が既知のクラスに属すると確定された場合、訓練後の分類モデルにより、テスト待ち情報を分類することができる。
一例として、分類ステップS406では、テスト待ち情報が既知のクラスに属すると確定された場合のみ、テスト待ち情報を分類する。
好ましくは、分類モデルにsoftmax損失を用いて、異なる既知のクラス間の分離度を示し、分類ステップS406では、ヒドゥン特徴を用い、既知のクラスのうちの各クラスに基づいて、softmax損失を計算し、テスト待ち情報の損失関数は、再構成損失及びsoftmax損失を含む。
一例として、異なるクラス間の差をできるだけ大きくするために、即ち、異なるクラスの特徴をできるだけ分けるために、分類モデルにsoftmax損失を用いて、異なる既知のクラス間の分離度を示す。
分類ステップS406では、ヒドゥン特徴を用いて、既知のクラスのうちの各クラスに基づいて計算されるsoftmax損失は、
Figure 0007222319000011
 である。
式（11）では、mは、既知のクラスの数であり、Wy及びbyは、それぞれ、ヒドゥン特徴zの属するクラスyに対応する分類モデルのパラメータを示し、Wj及びbj（j=1，2，…，m）は、それぞれ、m個の既知のクラスのうちの第j個目のクラスに対応する分類モデルのパラメータを示す。
softmax損失の他に、当業者は、クラス間損失の他の計算方式も容易に想到し得るが、ここでは、その詳しい説明を省略する。
訓練後の分類モデルにより取得されたテスト待ち情報の損失関数は、以下のように表すことができる。
Figure 0007222319000012
式（12）では、λは、訓練後の分類モデルのパラメータであり、当業者は、経験に基づいてそれを事前に確定することができる。
分類ステップS406では、再構成損失及びsoftmax損失を含むテスト待ち情報の損失関数に基づいて、テスト待ち情報を分類することができる。
本開示の実施例における分類方法400は、S407でエンドする。
上述から分かるように、本開示の実施例における分類方法400では、低次元のヒドゥン特徴を用いてテスト待ち情報を表すことで分類速度を加速することができ、既知のクラスに属するテスト待ち情報のみを分類し、且つ分類モデルの損失関数が異なるクラス間の差の増大を助けるクラス間損失を含むので、より正確にテスト待ち情報を分類することができる。本方法は、開集合に基づく識別方法であり、該方法は、既知のクラスの分類及び未知のクラスの検出に適用し、既知のクラスのデータと未知のクラスのデータを分離することで、既知のクラスに対しての正確な分類を保証することができるだけでなく、未知のクラスを正確に認識することもできる。
好ましくは、分類ステップS406では、さらに、ヒドゥン特徴と既知のクラスのうちの各クラスの中心ヒドゥン特徴との間の距離を表す中心損失を計算しても良く、損失関数は、さらに、中心損失をあ含んでも良い。
一例として、同一クラスに属するヒドゥン特徴の差を小さくするために、即ち、同一クラスからの特徴をさらに集めるために、分類モデルでは、さらに中心損失を計算することができる。
分類ステップS406では、ヒドゥン特徴と既知のクラスのうちの各クラスの中心ヒドゥン特徴との間の距離を表す中心損失は、次のように表すことができる。
Figure 0007222319000013
式（13）では、cjは、第j（j=1，2，…，m）個目の既知のクラスのヒドゥン特徴中心ベクトルである。
これにより、上述の損失関数は、さらに中心損失を含んでも良く、中心損失Lc_1をも含む損失関数は、以下のように示すことができる。
Figure 0007222319000014
式（14）では、λ1及びλ2は、訓練後の分類モデルのパラメータ（係数）であり、当業者は、予め、経験に基づいてそれらを確定することができる。
分類ステップS406では、再構成損失及びsoftmax損失の他に、中心損失をさらに含む損失関数に基づいて、テスト待ち情報を分類することができる。
上述から分かるように、本開示の実施例における分類方法400では、損失関数がクラス間損失以外に中心損失をさらに含むので、より正確にテスト待ち情報を分類することができる。
以下、本開示の実施例における分類モデル訓練方法100及び本開示の実施例における分類方法400の実験例を簡単に紹介する。
代表的なMnistデータ集を実験データとし、その中には、ラベル0からラベル9までの10個のクラスを含む。ランダムに6個のクラスを選択し、各クラスは、4000個の実例を訓練集合として含み、200個の実例は、テスト集合とされる。異なる開放度の下でのパフォーマンスをテストするために、異なる数の未知のクラスを加入することでテストデータの開放度を変更し、各未知のクラスの数は、全て、200である。よって、総訓練集合は、24000個の実例を含み、テスト集の実例の数は、1200から2000まで異なる。
開放度Openness、リコール率Recall、正確率Precision、F1得点（スコア）、正確率Accuracyを含む幾つかの評価基準は、以下のように定義される。
Figure 0007222319000015
これらの式では、NTA、NTG、NTEは、それぞれ、訓練集合クラス、分類クラス、及びテスト集クラスの数を表し、TP、FN、FP、及びTNは、それぞれ、「true positive」、「false negative」、「false positive」、及び「true negative」を表す。
本開示の実施例における分類方法400の効果を評価するために、異なる開放度の下でのF1得点及び正確率を計算し、そして、実験結果と、従来技術中の「Sparse Representation」に基づく開集合識別（SROSR）アルゴリズムによるものとを比較した。SROSRアルゴリズムでは、テスト期間において出現した全てのクラスが、訓練期間において既知のものでないため、SROSRアルゴリズムは、クラス再構成誤差を、分類のために用いる。訓練の過程では、λ1=0.1及びλ2=0.8であり、且つヒドゥン特徴の次元数が10であると設定している。テスト結果は、表1に示されている。
Figure 0007222319000016
表1から分かるように、本開示の実施例における分類方法400は、より良いパフォーマンスを取得している。また、SROSRが一回で、ネットワークを一回訓練するため、訓練の過程は、時間がかなりかかり、例えば、上述の実験例について言えば、全てのモデルの訓練を完成するには、2日を要する。これに対して、本開示の実施例における分類モデル訓練方法100は、1時間弱で訓練を完成することができる。
また、本開示は、さらに、上述の分類方法の実施例に対応して、以下の分類装置600の実施例を提供する。
図6は、本開示の実施例における分類装置600の機能ブロック図である。
図6に示すように、本開示の実施例における分類装置600は、抽出ユニット601、圧縮ユニット602、解凍ユニット603、再構成ユニット604、判断ユニット605、及び分類ユニット606を含む。続いて、抽出ユニット601、圧縮ユニット602、解凍ユニット603、再構成ユニット604、判断ユニット605、及び分類ユニット606の機能構成例について説明する。
抽出ユニット601では、訓練後の分類モデルに入力されたテスト待ち情報から特徴を抽出することができる。
一例として、テスト待ち情報は、文字又はよく用いられる他の画像であっても良い。xでテスト待ち情報を表すとする。例えば、畳み込み層を用い、画素の空間相関性情報を考慮してテスト待ち情報xの特徴を抽出することができ、抽出された特徴は、通常、高次元の特徴である。よって、例えば、本開示の実施例における分類装置600では、画素間の空間相関性情報を考慮してテスト待ち情報の特徴を抽出することができる。
圧縮ユニット602では、抽出された特徴を、テスト待ち情報の低次元のヒドゥン特徴zを表し得るように圧縮することができる。低次元のヒドゥン特徴を用いてテスト待ち情報を表すことにより分類速度を加速することができる。
解凍ユニット603では、ヒドゥン特徴zを解凍し、解凍後の特徴を得ることができる。
再構成ユニット604では、解凍後の特徴に基づいてテスト待ち情報xを再構成し、再構成後のテスト待ち情報x’を取得することができる。
判断ユニット605では、テスト待ち情報xと再構成後のテスト待ち情報x’との間の再構成損失に基づいて、テスト待ち情報が既知のクラスか、それとも、未知のクラスに属するかを判断することができる。
既知のクラスのデータと未知のクラスのデータを分離することで、既知のクラスに対しての正確な分類を保証することができると同時に、より正確に未知のクラスを識別することもできる。
好ましくは、再構成損失は、テスト待ち情報と再構成後のテスト待ち情報との間の差を示す生成損失、及び、ヒドゥン特徴の分布と特定分布との間のマッチ度を示すヒドゥン損失を含む。
一例として、生成損失は、再構成過程の正確度を評価することができ、ヒドゥン損失は、ヒドゥン特徴の分布と特定分布との間のマッチ度を評価することができる。
なお、再構成損失の説明について、上述の分類方法400の実施例における対応する部分、例えば、図4の判断ステップS405についての説明を参照することができるため、ここでは、重複記載を割愛する。
好ましくは、判断ユニット605では、再構成損失が所定閾値以下の場合に、テスト待ち情報が既知のクラスに属すると判断し、再構成損失が所定閾値よりも大きい場合、テスト待ち情報が未知のクラスに属すると判断する。
一例では、経験に基づいて所定閾値を確定することができる。
分類ユニット606では、テスト待ち情報が既知のクラスに属すると確定された場合、訓練後の分類モデルにより、テスト待ち情報を分類することができる。
一例として、分類ユニット606では、テスト待ち情報が既知のクラスに属すると確定された場合のみ、テスト待ち情報を分類する。
好ましくは、分類モデルにsoftmax損失を用いて異なる既知のクラス間の分離度を示し、分類ユニット606では、ヒドゥン特徴を用い、既知のクラスのうちの各クラスに基づいて、softmax損失を計算し、テスト待ち情報の損失関数は、再構成損失及びsoftmax損失を含む。
一例として、異なるクラ間の差をできるだけ大きくするために、即ち、異なるクラスの特徴をできるだけ分けるために、分類モデルにsoftmax損失を用いて、異なる既知のクラス之間の分離度を示すことができる。
softmax損失の説明について、上述の分類方法400実施例における対応する部分、例えば、図4の分類ステップS406についての説明を参照することができるので、ここでは、その詳しい説明を省略する。
分類ユニット606では、再構成損失及びsoftmax損失を含むテスト待ち情報の損失関数に基づいて、テスト待ち情報を分類することができる。
上述から分かるように、本開示の実施例における分類装置600では、低次元のヒドゥン特徴を用いてテスト待ち情報を表すことで分類速度を加速することができ、既知のクラスに属するテスト待ち情報のみを分類し、且つ分類モデルの損失関数が異なるクラス間の差の増大を助けるクラス間損失を含むので、より正確にテスト待ち情報を分類することができ、また、既知のクラスの分類及び未知のクラスの検出に適用し、既知のクラスのデータと未知のクラスのデータを分離することで、既知のクラスに対しての正確な分類を保証することができると同時に、より正確に未知のクラスを識別することもできる。
好ましくは、分類ユニット606では、ヒドゥン特徴と既知のクラスのうちの各クラスの中心ヒドゥン特徴との間の距離を示す中心損失を計算することができ、また、損失関数は、さらに中心損失を含んでも良い。
一例として、同一クラスに属するヒドゥン特徴の差を小さくするために、即ち、同一クラスからの特徴をさらに集めるために、分類モデルにさらに中心損失を計算することができる。
中心損失の説明について、上述の分類方法400の実施例における対応する部分、例えば、図4の分類ステップS406についての説明を参照することができるため、ここでは、重複記載を省略する。
分類ユニット606では、再構成損失及びsoftmax損失の他に、中心損失をさらに含む損失関数を用いて、テスト待ち情報を分類することができる。
上述から分かるように、本開示の実施例における分類装置600では、損失関数がクラス間損失以外に中心損失をも含むので、より正確にテスト待ち情報を分類することができる。
なお、以上、本開示の実施例における分類装置の機能構成を説明したが、これは、例示に過ぎず、当業者は、本開示の原理に基づいて上述の実施例を変更しても良く、例えば、各実施例における機能モジュールに対して増減又は組み合わせを行うことができ、これらの全ては、本開示の範囲に属する。
また、ここでの装置の実施例は、上述の方法の実施例に対応するため、装置の実施例に詳しく説明していない内容は、方法の実施例における対応する部分の説明を参照することができるため、ここでは、その詳細な記載を割愛する。
また、本開示は、さらに、記憶媒体及びプログラムプロダクトを提供する。本開示の実施例における記憶媒体及びプログラムプロダクト中のマシン実行可能な指令は、さらに、上述の分類方法を実行するように構成されて良いので、ここで詳細に説明されていない内容は、前述の対応する部分の説明を参照することができるため、ここでは、重複説明を省略する。
それ相応に、上述のマシン実行可能な指令を含むプログラムプロダクトの記憶媒体も本発明の開示に含まれる。該記憶媒体は、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などを含むが、これらに限定されない。
なお、上述の一連の処理及び装置は、ソフトウェア及び／又はファームウェアにより実現されても良い。ソフトウェア及び／又はファームウェアにより実現される場合、記憶媒体又はネットワークから、専用ハードウェアを有するコンピュータ、例えば、図7に示す汎用コンピュータ700に、該ソフトウェアを構成するプログラムをインストールし、該コンピュータは、各種のプログラムがインストールされているときに、各種の機能を実行することができる。
図7では、中央処理装置（CPU）701は、ROM 702に記憶されているプログラム又は記憶部708からRAM 703にロードされているプログラムに基づいて各種の処理を行う。RAM 703では、さらに、CPU 701が各種の処理などを実行するときに必要なデータを記憶しても良い。CPU 701、ROM 702、及びRAM 703は、バス704により互いに接続される。入力／出力インターフェース705もバス704に接続される。
また、次のような部品は、入力／出力インターフェース705に接続され、即ち、入力部606（キーボード、マウスなどを含む）、出力部707（表示器、例えば、CRT、LCDなど、及びスピーカーなどを含む）、記憶部708（ハードディスクなどを含む）、及び通信部709（ネットワーク・インターフェース・カード、例えば、LANカード、モデムなどを含む）というような部品である。通信部709は、ネットワーク、例えば、インターネットを経由して通信処理を行う。なお、必要に応じて、ドライブ710を入力／出力インターフェース705に接続させても良い。取り外し可能な媒体711、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などは、必要に応じて、ドライブ710にセットされ、その中から読み出されたコンピュータプログラムが必要に応じて記憶部708にインスタールされるようにさせることができる。
また、本開示は、さらに、マシン可読指令コードを含むプログラムプロダクトを提供する。このような指令コードは、マシンにより読み取られて実行されるときに、上述の本開示の実施形態における方法を実行することができる。それ相応に、このようなプログラムプロダクトをキャリー（carry）する、例えば、磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（CD-ROM及びDVDを含む）、光磁気ディスク（MD（登録商標）を含む）、及び半導体記憶器などの各種記憶媒体も、本開示に含まれる。
上述の記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などを含んでも良いが、これらに限定されない。
また、本開示の上述の方法の各操作（処理）は、各種のマシン可読記憶媒体に記憶されているコンピュータ実行可能なプログラムの方式で実現することもできる。
また、以上の実施例などに関し、さらに以下のように付記を開示する。
（付記1）
分類モデルを訓練する方法であって、
サンプル処理ステップであって、
訓練集合中の各サンプルについて、それぞれ、
前記サンプルから特徴を抽出し；
抽出された特徴を、前記サンプルの低次元のヒドゥン特徴を表し得るように圧縮し；
前記ヒドゥン特徴を解凍し、解凍後の特徴を取得し；及び
前記解凍後の特徴に基づいて前記サンプルを再構成し、再構成後のサンプルを得る、ステップ；
前記ヒドゥン特徴に基づいて、前記訓練集合中の全てのサンプルについて再構成損失を計算する再構成損失計算ステップ；
前記訓練集合中の全てのサンプルについて、異なるクラスのサンプル間の分離度を示すクラス間損失を計算するクラス間損失計算ステップ；及び
前記再構成損失及び前記クラス間損失を含む損失関数を最小化し、訓練後の分類モデルを取得する分類モデル取得ステップを含む、方法。
（付記2）
付記1に記載の分類モデルを訓練する方法であって、
前記再構成損失は、各サンプルとその再構成後のサンプルとの間の差を示す生成損失、及び、前記ヒドゥン特徴の分布と特定分布との間のマッチ度を示すヒドゥン損失を含む、方法。
（付記3）
付記1に記載の分類モデルを訓練する方法であって、
前記クラス間損失計算ステップでは、各サンプルのヒドゥン特徴に基づいてsoftmax損失を前記クラス間損失として計算する、方法。
（付記4）
付記2に記載の分類モデルを訓練する方法であって、
前記クラス間損失計算ステップでは、各サンプルのヒドゥン特徴に基づいてsoftmax損失を前記クラス間損失として計算する、方法。
（付記5）
付記1に記載の分類モデルを訓練する方法であって、
各サンプルのヒドゥン特徴と該サンプルの属するクラスの中心ヒドゥン特徴との間の距離を示す中心損失を計算する中心損失計算ステップをさらに含み、
前記損失関数は、前記中心損失をさらに含む、方法。
（付記6）
付記2に記載の分類モデルを訓練する方法であって、
各サンプルのヒドゥン特徴と該サンプルの属するクラスの中心ヒドゥン特徴との間の距離を示す中心損失を計算する中心損失計算ステップをさらに含み、
前記損失関数は、前記中心損失をさらに含む、方法。
（付記7）
付記3に記載の分類モデルを訓練する方法であって、
各サンプルのヒドゥン特徴と該サンプルの属するクラスの中心ヒドゥン特徴との間の距離を示す中心損失を計算する中心損失計算ステップをさらに含み、
前記損失関数は、前記中心損失をさらに含む、方法。
（付記8）
分類方法であって、
訓練後の分類モデルに入力されたテスト待ち情報から特徴を抽出する抽出ステップ；
抽出された特徴を、前記テスト待ち情報の低次元のヒドゥン特徴を表し得るように圧縮する圧縮ステップ；
前記ヒドゥン特徴を解凍し、解凍後の特徴を得る解凍ステップ；
前記解凍後の特徴に基づいて前記テスト待ち情報を再構成し、再構成後のテスト待ち情報を得る再構成ステップ；
前記テスト待ち情報と前記再構成後のテスト待ち情報との間の再構成損失に基づいて、前記テスト待ち情報が既知のクラスか、それとも、未知のクラスに属するかを判断する判断ステップ；及び
前記テスト待ち情報が既知のクラスに属すると判断された場合、前記訓練後の分類モデルにより、前記テスト待ち情報を分類する分類ステップを含む、方法。
（付記9）
付記8に記載の分類方法であって、
前記判断ステップでは、前記再構成損失が所定閾値以下の場合、前記テスト待ち情報が既知のクラスに属すると判断し、前記再構成損失が前記所定閾値よりも大きい場合、前記テスト待ち情報が未知のクラスに属すると判断する、方法。
（付記10）
付記8に記載の分類方法であって、
前記再構成損失は、前記テスト待ち情報と前記再構成後のテスト待ち情報との間の差を示す生成損失、及び、前記ヒドゥン特徴の分布と特定分布との間のマッチ度を示すヒドゥン損失を含む、方法。
（付記11）
付記8に記載の分類方法であって、
前記分類モデルにsoftmax損失を用いて、異なる既知のクラス間の分離度を示し、
前記分類ステップでは、前記ヒドゥン特徴を用い、既知のクラスのうちの各クラスに基づいて前記softmax損失を計算し、
前記テスト待ち情報の損失関数は、前記再構成損失及び前記softmax損失を含む、方法。
（付記12）
付記10に記載の分類方法であって、
前記分類モデルにsoftmax損失を用いて、異なる既知のクラス間の分離度を示し、
前記分類ステップでは、前記ヒドゥン特徴を用い、既知のクラスのうちの各クラスに基づいて前記softmax損失を計算し、
前記テスト待ち情報の損失関数は、前記再構成損失及び前記softmax損失を含む、方法。
（付記13）
付記11に記載の分類方法であって、
前記分類ステップでは、さらに、前記ヒドゥン特徴と既知のクラスのうちの各クラスの中心ヒドゥン特徴との間の距離を示す中心損失を計算し、
前記損失関数は、前記中心損失をさらに含む、方法。
（付記14）
付記12に記載の分類方法であって、
前記分類ステップでは、さらに、前記ヒドゥン特徴と既知のクラスのうちの各クラスの中心ヒドゥン特徴との間の距離を示す中心損失を計算し、
前記損失関数は、前記中心損失をさらに含む、方法。
（付記15）
分類装置であって、
訓練後の分類モデルに入力されたテスト待ち情報から特徴を抽出する抽出ユニット；
抽出された特徴を、前記テスト待ち情報の低次元のヒドゥン特徴を表し得るように圧縮する圧縮ユニット；
前記ヒドゥン特徴を解凍し、解凍後の特徴を得る解凍ユニット；
前記解凍後の特徴に基づいて前記テスト待ち情報を再構成し、再構成後のテスト待ち情報を得る再構成ユニット；
前記テスト待ち情報と前記再構成後のテスト待ち情報との間の再構成損失に基づいて、前記テスト待ち情報が既知のクラスか、それとも、未知のクラスに属するかを判断し；及び
前記テスト待ち情報が既知のクラスに属すると確定された場合、前記訓練後の分類モデルにより、前記テスト待ち情報を分類する分類ユニットを含む、装置。
（付記16）
付記15に記載の分類装置であって、
前記判断ユニットは、前記再構成損失が所定閾値以下の場合、前記テスト待ち情報が既知のクラスに属すると判断し、前記再構成損失が前記所定閾値よりも大きい場合、前記テスト待ち情報が未知のクラスに属すると判断する、装置。
（付記17）
付記15に記載の分類装置であって、
前記再構成損失は、前記テスト待ち情報と前記再構成後のテスト待ち情報との間の差を示す生成損失、及び、前記ヒドゥン特徴の分布と特定分布との間のマッチ程度を示すヒドゥン損失を含む、装置。
（付記18）
付記15に記載の分類装置であって、
前記分類モデルにsoftmax損失を用いて、異なる既知のクラス間の分離度を示し、
前記分類ユニットは、前記ヒドゥン特徴を用い、既知のクラスのうちの各クラスに基づいて前記softmax損失を計算し、
前記テスト待ち情報の損失関数は、前記再構成損失及び前記softmax損失を含む、装置。
（付記19）
付記17に記載の分類装置であって、
前記分類モデルにsoftmax損失を用いて、異なる既知のクラス間の分離度を示し、
前記分類ユニットでは、前記ヒドゥン特徴を用い、既知のクラスのうちの各クラスに基づいて前記softmax損失を計算し、
前記テスト待ち情報の損失関数は、前記再構成損失及び前記softmax損失を含む、装置。
（付記20）
付記18に記載の分類装置であって、
前記分類ユニットは、さらに、前記ヒドゥン特徴と既知のクラスのいちの各クラスの中心ヒドゥン特徴との間の距離を示す中心損失を計算し、
前記損失関数は、前記中心損失をさらに含む、装置。
以上、本開示の好ましい実施形態を説明したが、本開示はこの実施形態に限定されず、本開示の趣旨を離脱しない限り、本開示に対するあらゆる変更は、本開示の技術的範囲に属する。

Claims (10)

  1. 分類モデルを訓練する方法であって、
    サンプル処理ステップ、再構成損失計算ステップ、クラス間損失計算ステップ、及び分類モデル取得ステップを含み、
    前記サンプル処理ステップでは、
    訓練集合における各サンプルについて、
    前記サンプルから特徴を抽出し；
    抽出された特徴を、前記サンプルの低次元のヒドゥン（hidden）特徴を表し得るように圧縮し；
    前記ヒドゥン特徴を解凍し、解凍後の特徴を取得し；及び
    前記解凍後の特徴に基づいて前記サンプルを再構成し、再構成後のサンプルを取得し、
    前記再構成損失計算ステップでは、前記ヒドゥン特徴に基づいて、前記訓練集合における全てのサンプルにいて再構成損失を計算し、
    前記クラス間損失計算ステップでは、前記訓練集合における全てのサンプルについて、異なるクラスのサンプル間の分離度を示すクラス間損失を計算し、
    前記分類モデル取得ステップでは、前記再構成損失及び前記クラス間損失を含む損失関数を最小化して、訓練後の分類モデルを取得する、方法。
  2. 請求項1に記載の分類モデルを訓練する方法であって、
    前記再構成損失は、各サンプルとその再構成後のサンプルとの間の差を示す生成損失、及び、前記ヒドゥン特徴の分布と特定分布との間のマッチ度を示すヒドゥン損失を含む、方法。
  3. 請求項1に記載の分類モデルを訓練する方法であって、
    前記クラス間損失計算ステップでは、各サンプルのヒドゥン特徴に基づいてsoftmax損失を前記クラス間損失として計算する、方法。
  4. 請求項1に記載の分類モデルを訓練する方法であって、
    各サンプルのヒドゥン特徴と該サンプルの属するクラスの中心ヒドゥン特徴との間の距離を示す中心損失を計算する中心損失計算ステップをさらに含み、
    前記損失関数は、前記中心損失をさらに含む、方法。
  5. 分類方法であって、
    訓練後の分類モデルに入力されたテスト待ち情報から特徴を抽出する抽出ステップ；
    抽出された前記特徴を、前記テスト待ち情報の低次元のヒドゥン特徴を表し得るように圧縮する圧縮ステップ；
    前記ヒドゥン特徴を解凍し、解凍後の特徴を得る解凍ステップ；
    前記解凍後の特徴に基づいて前記テスト待ち情報を再構成し、再構成後のテスト待ち情報を得る再構成ステップ；
    前記テスト待ち情報と前記再構成後のテスト待ち情報との間の再構成損失に基づいて、前記テスト待ち情報が既知のクラスか、それとも、未知のクラスに属するかを判断する判断ステップ；及び
    前記テスト待ち情報が既知のクラスに属すると判断された場合、前記訓練後の分類モデルにより、前記テスト待ち情報を分類する分類ステップを含む、方法。
  6. 請求項5に記載の分類方法であって、
    前記判断ステップでは、前記再構成損失が所定閾値以下の場合、前記テスト待ち情報が既知のクラスに属すると判断し、前記再構成損失が前記所定閾値よりも大きい場合、前記テスト待ち情報が未知のクラスに属すると判断する、方法。
  7. 請求項5に記載の分類方法であって、
    前記再構成損失は、前記テスト待ち情報と前記再構成後のテスト待ち情報との間の差を示す生成損失、及び、前記ヒドゥン特徴の分布と特定分布との間のマッチ度を示すヒドゥン損失を含む、方法。
  8. 請求項5に記載の分類方法であって、
    前記分類モデルにsoftmax損失を用いて異なる既知のクラス間の分離度を示し、
    前記分類ステップでは、前記ヒドゥン特徴を用い、既知のクラスのうちの各クラスに基づいて、前記softmax損失を計算し、
    前記テスト待ち情報の損失関数は、前記再構成損失及び前記softmax損失を含む、方法。
  9. 請求項8に記載の分類方法であって、
    前記分類ステップでは、前記ヒドゥン特徴と既知のクラスのうちの各クラスの中心ヒドゥン特徴との間の距離を示す中心損失をさらに計算し、
    前記損失関数は、前記中心損失をさらに含む、方法。
  10. 分類装置であって、
    訓練後の分類モデルに入力されたテスト待ち情報から特徴を抽出する抽出ユニット；
    抽出された前記特徴を、前記テスト待ち情報の低次元のヒドゥン特徴を表し得るように圧縮する圧縮ユニット；
    前記ヒドゥン特徴を解凍し、解凍後の特徴を得る解凍ユニット；
    前記解凍後の特徴に基づいて前記テスト待ち情報を再構成し、再構成後のテスト待ち情報を得る再構成ユニット；
    前記テスト待ち情報と前記再構成後のテスト待ち情報との間の再構成損失に基づいて、前記テスト待ち情報が既知のクラスか、それとも、未知のクラスに属するかを判断する判断ユニット；及び
    前記テスト待ち情報が既知のクラスに属すると判断された場合、前記訓練後の分類モデルにより、前記テスト待ち情報を分類する分類ユニットを含む、装置。
JP2019115484A 2018-06-25 2019-06-21 分類モデル訓練方法及び装置並びに分類方法及び装置 Active JP7222319B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810663447.5A CN110633725B (zh) 2018-06-25 2018-06-25 训练分类模型的方法和装置以及分类方法和装置
CN201810663447.5 2018-06-25

Publications (2)

Publication Number Publication Date
JP2020004406A JP2020004406A (ja) 2020-01-09
JP7222319B2 true JP7222319B2 (ja) 2023-02-15

Family

ID=66998124

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019115484A Active JP7222319B2 (ja) 2018-06-25 2019-06-21 分類モデル訓練方法及び装置並びに分類方法及び装置

Country Status (4)

Country Link
US (1) US10902296B2 (ja)
EP (1) EP3588381A1 (ja)
JP (1) JP7222319B2 (ja)
CN (1) CN110633725B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110824912B (zh) * 2018-08-08 2021-05-18 华为技术有限公司 训练用于生成自动驾驶策略的控制策略模型的方法和装置
CN111291817B (zh) * 2020-02-17 2024-01-23 北京迈格威科技有限公司 图像识别方法、装置、电子设备和计算机可读介质
JP7435098B2 (ja) 2020-03-18 2024-02-21 Ｔｏｐｐａｎホールディングス株式会社 くずし字認識システム、くずし字認識方法及びプログラム
WO2021210042A1 (ja) * 2020-04-13 2021-10-21 日本電信電話株式会社 学習装置、分類装置、学習方法、分類方法、および、プログラム
JP7354063B2 (ja) * 2020-05-14 2023-10-02 株式会社東芝 分類システム、プログラム及び学習システム
JP7440798B2 (ja) 2020-06-09 2024-02-29 日本電信電話株式会社 学習装置、予測装置、学習方法及びプログラム
US11756290B2 (en) * 2020-06-10 2023-09-12 Bank Of America Corporation System for intelligent drift matching for unstructured data in a machine learning environment
CN111898577B (zh) * 2020-08-10 2022-08-26 腾讯科技（深圳）有限公司 一种图像检测方法、装置、设备及计算机可读存储介质
WO2022162719A1 (ja) * 2021-01-26 2022-08-04 日本電信電話株式会社 分離方法、分離装置、学習方法、学習装置及びプログラム
CN113392931B (zh) * 2021-07-02 2023-02-10 西安电子科技大学 基于自监督学习及多任务学习的高光谱开放集分类方法
CN114241526B (zh) * 2022-02-28 2022-05-17 南京甄视智能科技有限公司 分类模型、训练方法、分类方法、电子设备及存储介质
WO2024044559A1 (en) * 2022-08-22 2024-02-29 SentinelOne, Inc. Systems and methods of data selection for iterative training using zero knowledge clustering

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602962B2 (en) * 2003-02-25 2009-10-13 Hitachi High-Technologies Corporation Method of classifying defects using multiple inspection machines
US20120106854A1 (en) * 2010-10-28 2012-05-03 Feng Tang Event classification of images from fusion of classifier classifications
CN104951791B (zh) * 2014-03-26 2018-10-09 华为技术有限公司 数据分类方法和装置
CA2952863A1 (en) * 2014-06-20 2015-12-23 Theodore Kuklinski A self-learning system and methods for automatic document recognition, authentication, and information extraction
CN105389583A (zh) * 2014-09-05 2016-03-09 华为技术有限公司 图像分类器的生成方法、图像分类方法和装置
NL2015087B1 (en) * 2015-06-05 2016-09-09 Univ Amsterdam Deep receptive field networks.
US10776659B2 (en) * 2016-08-26 2020-09-15 Goodrich Corporation Systems and methods for compressing data
CN107180248A (zh) * 2017-06-12 2017-09-19 桂林电子科技大学 基于联合损失增强网络的高光谱图像分类方法
CN107705299B (zh) * 2017-09-25 2021-05-14 安徽睿极智能科技有限公司 基于多属性特征的图像质量分类方法
CN107992900B (zh) * 2017-12-18 2020-09-11 深圳市盛波光电科技有限公司 缺陷检测的样本获取方法、训练方法、装置、介质和设备
DE112018006630T5 (de) * 2017-12-28 2020-09-24 Intel Corporation Visual fog
GB201801627D0 (en) * 2018-02-01 2018-03-21 Siemens Healthcare Ltd Image autoencoding for quantum machine learning

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
中川 大海 Hiromi Nakagawa，深層学習を用いた知識獲得予測を最適化する知識分類の抽出 Optimization of Deep Knowledge Tracing by Reconstructing Skill Tags，一般社団法人 人工知能学会 第３１回全国大会論文集ＤＶＤ ［ＤＶＤ－ＲＯＭ］，2017年
俵 直弘 Naohiro TAWARA，敵対的学習に基づく話者特徴抽出 Speaker feature extraction using adversarial training.，日本音響学会 ２０１８年 春季研究発表会講演論文集ＣＤ－ＲＯＭ ［ＣＤ－ＲＯＭ］，2018年

Also Published As

Publication number Publication date
CN110633725A (zh) 2019-12-31
US20190392260A1 (en) 2019-12-26
CN110633725B (zh) 2023-08-04
US10902296B2 (en) 2021-01-26
JP2020004406A (ja) 2020-01-09
EP3588381A1 (en) 2020-01-01

Similar Documents

Publication Publication Date Title
JP7222319B2 (ja) 分類モデル訓練方法及び装置並びに分類方法及び装置
CN105975573B (zh) 一种基于knn的文本分类方法
Kong Facial expression recognition method based on deep convolutional neural network combined with improved LBP features
CN107784288B (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
Provost Identifying salient sub-utterance emotion dynamics using flexible units and estimates of affective flow
CN114998602B (zh) 基于低置信度样本对比损失的域适应学习方法及系统
Masood et al. Differential evolution based advised SVM for histopathalogical image analysis for skin cancer detection
CN114332500A (zh) 图像处理模型训练方法、装置、计算机设备和存储介质
Singh et al. Speaker specific feature based clustering and its applications in language independent forensic speaker recognition
CN109509180B (zh) 基于机器视觉的金属纽扣瑕疵检测方法
CN112685374A (zh) 日志分类方法、装置及电子设备
CN112861881A (zh) 一种基于改进MobileNet模型的蜂窝肺识别方法
CN117115817A (zh) 基于多模态融合的细胞形态学识别方法及装置
CN115831352B (zh) 一种基于动态纹理特征和时间分片权重网络的检测方法
Fan et al. [Retracted] Accurate Recognition and Simulation of 3D Visual Image of Aerobics Movement
CN108416389B (zh) 基于降噪稀疏自动编码器和密度空间采样的图像分类方法
Griffiths Automated condition monitoring using artificial intelligence
Wiling Locust Genetic Image Processing Classification Model-Based Brain Tumor Classification in MRI Images for Early Diagnosis
CN113205149A (zh) 图片处理方法及装置
CN113780084B (zh) 基于生成式对抗网络的人脸数据扩增方法、电子设备和存储介质
CN113360633B (zh) 一种基于深度域适应的跨域测试文档分类方法
CN113537315B (zh) 一种基于聚类信息熵的易区分图像选择方法
JP5118616B2 (ja) 顔画像検出装置及び顔画像検出プログラム
CN110728615B (zh) 基于序贯假设检验的隐写分析方法、终端设备及存储介质
Murtopo et al. Application of the nearest neigbour interpolation method and naives bayes classifier for the identification of bespectacled faces

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220308

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221227

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230117

R150 Certificate of patent or registration of utility model

Ref document number: 7222319

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150