JP7405148B2 - 情報処理装置、学習方法、及び、プログラム - Google Patents

情報処理装置、学習方法、及び、プログラム Download PDF

Info

Publication number
JP7405148B2
JP7405148B2 JP2021555691A JP2021555691A JP7405148B2 JP 7405148 B2 JP7405148 B2 JP 7405148B2 JP 2021555691 A JP2021555691 A JP 2021555691A JP 2021555691 A JP2021555691 A JP 2021555691A JP 7405148 B2 JP7405148 B2 JP 7405148B2
Authority
JP
Japan
Prior art keywords
data
label
learning
model
teacher model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021555691A
Other languages
English (en)
Other versions
JPWO2021095160A5 (ja
JPWO2021095160A1 (ja
Inventor
学 中野
裕一 中谷
哲夫 井下
勝彦 高橋
遊哉 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021095160A1 publication Critical patent/JPWO2021095160A1/ja
Publication of JPWO2021095160A5 publication Critical patent/JPWO2021095160A5/ja
Application granted granted Critical
Publication of JP7405148B2 publication Critical patent/JP7405148B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7792—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being an automated module, e.g. "intelligent oracle"

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Description

本発明は、蒸留を利用したニューラルネットワークの学習方法に関する。
機械学習においては、層の深いニューラルネットワークを組むことで高精度な学習モデルを構成することができる。このような学習モデルはディープラーニングや深層学習と呼ばれ、数百万から数億個ものニューラルネットからなる。ディープラーニングにおいては、学習モデルが複雑で層が深いほど、つまり、ニューラルネットの個数が多いほど高精度になることが知られている。一方で、モデルの肥大化はより多くの計算機のメモリを要するため、巨大なモデルの性能を維持したまま、より小さいモデルを構築する方法が提案されている。
非特許文献１及び特許文献１には、学習済みの巨大なモデル（以下、「教師モデル」と呼ぶ。）を小規模なモデル（以下、「生徒モデル」と呼ぶ。）で模倣するＫｎｏｗｌｅｄｇｅ Ｄｉｓｔｉｌｌａｔｉｏｎ（以下、「蒸留」と呼ぶ。）という学習方法が記載されている。この方法は、教師モデルの学習時に利用したデータを教師モデルと生徒モデルへの入力とし、教師モデルが出力する予測ラベルと学習データで与えられる真のラベルとの加重平均に近づくように生徒モデルの学習を行う。非特許文献１に記載された学習方法は、加重平均ラベルを用いるため、生徒モデルの学習の際に教師モデルの学習に用いたのと同一のデータが必要である。しかしながら、ディープラーニングには多量の学習データが必要なため、記憶媒体の容量制限や、データに含まれるプライバシー情報の保護や、データの著作権などの観点から、学習データそのものを残しておくことが困難なことがある。
非特許文献２には、教師モデルの学習時に利用したデータを用いずに、教師モデルにとって未知のデータ、つまり入力データに対応付けられた真のラベルが不明なデータを用いる蒸留学習が記載されている。この学習方法は、未知データに対する教師モデルの予測ラベルに近づくように、生徒モデルの学習を行う。
特開２０１９－０４６３８０号公報
Ｈｉｎｔｏｎ ｅｔ ａｌ．，"Ｄｉｓｔｉｌｌｉｎｇ ｔｈｅ Ｋｎｏｗｌｅｄｇｅ ｉｎ ａ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ"，ＮＩＰＳ ２０１４ ｗｏｒｋｓｈｏｐ Ｋｕｌｋａｍｉ ｅｔ ａｌ．，"Ｋｎｏｗｌｅｄｇｅ ｄｉｓｔｉｌｌａｔｉｏｎ ｕｓｉｎｇ ｕｎｌａｂｅｌｅｄ ｍｉｓｍａｔｃｈｅｄ ｉｍａｇｅｓ"，ａｒＸｉｖ：１７０３．０７１３１．
非特許文献２に記載の学習方法は、非特許文献１に記載された方法とは異なり真のラベルが存在しないため、加重平均ではなく、教師モデルの予測ラベルのみを用いる。しかし、未知データが学習データに近しいものでないと、教師モデルの予測ラベルの分布に偏りが生じる可能性がある。例えば、教師モデルが画像を入力とするひらがなの多クラス分類器について、未知データとしてアルファベットの画像しか準備できない場合には、その多クラス分類器はどんなアルファベットに対しても一部のひらがなに偏って分類してしまう可能性がある（例えば、ほとんど「あ」と分類してしまう）。このような場合、生徒モデルは「あ」とそれ以外の２クラス分類の学習しか行えず、教師モデルが持つ本来の識別能力を継承できない。このように、非特許文献２の手法では、未知データを集めても正しい蒸留学習が行えない可能性がある。その理由は、未知データに対する教師モデルの予測ラベルの偏り（以下、「クラスインバランス」と呼ぶ。）が考慮されていないためである。
本発明の１つの目的は、教師モデルの学習データが利用できない状況下で、さらに未知データと学習データの分布が異なっていても、未知データを用いて蒸留学習を実現することにある。
上記の課題を解決するため、本発明の１つの観点では、情報処理装置は、
未知データに対する任意ラベルを出力するラベル分布決定手段と、
前記任意ラベルと前記未知データとを入力として、新たな生成データを出力するデータ
生成手段と、
前記生成データを入力とし、教師モデルを用いて生徒モデルの蒸留学習を行う蒸留学習
手段と、
を備え、
前記未知データは、前記教師モデルの学習に利用したデータとは異なるデータである。
本発明の他の観点では、学習方法は、
未知データに対する任意ラベルを出力し、
前記任意ラベルと前記未知データとを入力として、新たな生成データを出力し、
前記生成データを入力とし、教師モデルを用いて生徒モデルの蒸留学習を行い、
前記未知データは、前記教師モデルの学習に利用したデータとは異なるデータである。
本発明のさらに他の観点では、プログラムは、
未知データに対する任意ラベルを出力し、
前記任意ラベルと前記未知データとを入力として、新たな生成データを出力し、
前記生成データを入力とし、教師モデルを用いて生徒モデルの蒸留学習を行う処理をコンピュータに実行させ、
前記未知データは、前記教師モデルの学習に利用したデータとは異なるデータである。
本発明によれば、教師モデルの学習データが利用できない状況下で、さらに未知データと学習データの分布が異なっていても、未知データを用いて蒸留学習を実現することができる。
第１実施形態に係る学習装置のハードウェア構成を示す。 第１実施形態に係る学習装置の機能構成を示す。 学習処理のフローチャートである。 実施例に係る学習装置の機能構成を示す。 第２実施形態に係る情報処理装置の機能構成を示す。
以下、図面を参照して、本発明の好適な実施形態について説明する。
（ハードウェア構成）
図１は、本発明の情報処理装置の実施形態に係る学習装置のハードウェア構成を示すブロック図である。図示のように、学習装置１０は、インタフェース（Ｉ／Ｆ）１２と、プロセッサ１３と、メモリ１４と、記録媒体１５と、データベース（ＤＢ）１６と、を備える。
インタフェース１２は、外部装置との間でデータの入出力を行う。具体的に、インタフェース１２は、学習装置１０が使用する未知データを外部装置から取得する。
プロセッサ１３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、又はＣＰＵとＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、学習装置１０を制御する。具体的に、プロセッサ１３は後述する学習処理を実行する。
メモリ１４は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ１４は、学習装置１０が使用するニューラルネットワークのモデル、具体的には教師モデル及び生徒モデルを記憶する。また、メモリ１４は、プロセッサ１３による各種の処理の実行中に作業メモリとしても使用される。
記録媒体１５は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、学習装置１０に対して着脱可能に構成される。記録媒体１５は、プロセッサ１３が実行する各種のプログラムを記録している。学習装置１０が各種の処理を実行する際には、記録媒体１５に記録されているプログラムがメモリ１４にロードされ、プロセッサ１３により実行される。データベース１６は、インタフェース１２を介して入力されたデータを記憶する。
（機能構成）
次に、学習装置１０の機能構成について説明する。図２は、第１実施形態に係る学習装置１０の機能構成を示すブロック図である。図示のように、学習装置１０は、データ生成部２０と、ラベル分布決定部３０と、蒸留学習部４０と、を備える。蒸留学習部４０は、教師モデル４１と、生徒モデル４２とを備える。
教師モデル４１は、十分な量の学習データに基づいて既に学習済みのモデルである。一方、生徒モデル４２は、学習装置１０が学習の対象とするモデルである。教師モデル４１及び生徒モデル４２は、いずれもニューラルネットワークを用いたモデルである。蒸留学習部４０は、蒸留による学習を行う部分であり、教師モデル４１の出力を用いて、生徒モデル４２を学習する。
教師モデル４１を用いて生徒モデル４２を学習する際、教師モデル４１の学習に使用した学習データがあれば、生徒モデル４２の学習にそれを利用することができる。しかし、現実には生徒モデル４２の学習時に、教師モデル４１の学習に使用したデータを使用できない場合がある。その場合、教師モデル４１の学習に使用したデータと異なるデータ（以下、「未知データ」と呼ぶ。）を使用することになるが、未知データの分布は未知であるため、未知データに対して教師モデル４１が予測するラベルにはクラス間の偏りが生じる場合がある（これを「クラスインバランス」と呼ぶ。）。クラスインバランスがあると、教師モデル４１が持つ識別能力を生徒モデル４２にうまく継承することができない。
そこで、本実施形態の学習装置１０では、データ生成部２０とラベル分布決定部３０を設け、未知データを利用してクラスインバランスの無いデータを生成し、これを教師モデル４１及び生徒モデル４２に入力して蒸留による学習を行う。
具体的には、まず、教師モデル４１に対して未知データを入力し、未知データに対する教師モデル４１の予測ラベルを出力する。以下、教師モデル４１が予測したラベルを「教師予測ラベル」と呼ぶ。未知データに対する教師予測ラベルは、データ生成部２０とラベル分布決定部３０に入力される。
前述のように、未知データに対する教師予測ラベルは、クラスインバランスを有する可能性がある。そこで、ラベル分布決定部３０は、未知データに対する教師予測ラベルに基づいてクラスインバランスが生じないようなラベル分布を決定し、そのラベル分布に従って任意ラベルを決定してデータ生成部２０に出力する。
データ生成部２０には、未知データと、未知データに対する教師予測ラベルと、任意ラベルとが入力される。データ生成部２０は、未知データに基づいて、教師モデルの予測ラベルが任意ラベルに近づくような新たなデータ（以下、「生成データ」と呼ぶ。）を生成する。これにより、生成データは、クラスインバランスが生じないラベル分布に従うデータとなるので、これを教師モデル４１及び生徒モデル４２に入力し、蒸留学習部４０における学習データとして使用する。
蒸留学習部４０では、教師モデル４１が生成データに対する教師予測ラベルを生成し、生徒モデル４２が生成データに対する予測ラベル（以下、「生徒予測ラベル」と呼ぶ。）を生成する。そして、生徒予測モデルが教師予測モデルに近づくように、生徒モデル４２の学習を行う。
（学習処理）
次に、学習処理について説明する。図３は、学習装置１０による学習処理のフローチャートである。この処理は、図１に示すプロセッサ１３が、予め用意されたプログラムを実行し、図２に示す要素として機能することにより実現される。
まず、未知データが教師モデル４１に入力され、教師モデル４１は未知データに対する教師予測ラベルを出力する（ステップＳ１１）。ラベル分布決定部３０は、教師予測ラベルが入力されると、入力された全予測ラベルの確率分布を解析し、クラス間の確率分布が均等になるようなラベル分布を決定し、各未知データに対する任意ラベルを決定する（ステップＳ１２）。
次に、データ生成部２０は、未知データとそれに対応する任意ラベルが入力されると、未知データに対する教師予測ラベルが任意ラベルに近づくような生成データを生成する（ステップＳ１３）。学習装置１０は、生成データに対する教師予測ラベルが任意ラベルに十分近しくなったかを判定し（ステップＳ１４）、十分近しくなるまでステップＳ１１～Ｓ１３を反復する。
生成データに対する教師予測ラベルが任意ラベルに十分近しくなると（ステップＳ１４：Ｙｅｓ）、蒸留学習部４０は、教師モデル４１と生徒モデル４２のそれぞれに生成データを入力し、生成データに対する教師予測ラベルと生徒予測ラベルを得る（ステップＳ１５）。そして、蒸留学習部４０は、教師予測ラベルと生徒予測ラベルが近しくなるように生徒モデル４２を学習し、処理を終了する（ステップＳ１６）。
以上のように、本実施形態では、教師モデルの学習に使用したデータが利用できず、かつ、教師モデルの学習に使用した学習データと未知データとの分布が異なっている場合でも、未知データに基づいてクラスインバランスの無い生成データを生成することにより、蒸留学習を行うことができる。
（実施例）
次に、本実施形態の実施例について説明する。以下の実施例では、教師モデルは画像を入力とし、画像内の物体を１００種類のクラスに分類するディープニューラルネットワークとする。また、教師モデルは１００クラスに分類された画像群を用いて事前に学習済みとする。学習対象である生徒モデルは、教師モデルと同様に１００クラスの分類を行うディープニューラルネットワークであるが、ニューロンの数は教師モデルと同等または少ないものとする。未知データは、教師モデルの学習に用いた画像群とは異なり、写っている対象も異なる１０クラスに分類された画像群とする。つまり、未知データの各々は、１０クラスのいずれかを示す番号を真のラベルとしてもつが、そのラベルは教師モデルが対象とする１００クラスのラベルとは一致していない。未知データの枚数は１００クラスの画像群と同等以上でもよいし、それより少量でもよい。
図４は、本実施形態の実施例に係る学習装置１０ｘの機能構成を示すブロック図である。実施例に係る学習装置１０ｘの基本的な構成は図２に示す学習装置１０と同様である。但し、図示のように、ラベル分布決定部３０は、累積確率密度算出部３１と、重み算出部３２と、乗算器３３を備える。また、蒸留学習部４０は、教師モデル４１と、生徒モデル４２と、誤差算出部４３と、最適化部４４を備える。
まず、教師モデル４１は１つの未知データに対し、１００クラスのそれぞれの確率分布を計算し、教師予測ラベルである１００次元ベクトルを出力する。ベクトルの各次元が、各クラスの確率を表している。未知データがＮ枚の画像群とすると、教師予測ラベルはＮ個の１００次元ベクトルとなる。得られた教師予測ラベルは、ラベル分布決定部３０に入力される。
ラベル分布決定部３０では、累積確率密度算出部３１は、教師予測ラベルとして入力されたＮ個の１００次元ベクトルから、各クラスの累積確率分布を計算し、累積確率密度を求めて重み算出部３２に入力する。重み算出部３２は、各クラスの累積確率密度が均等になるように、各クラスに対する重みを計算する。例えば、重み算出部３２は累積確率密度の逆数を重みとしてもよいし、一部のクラスへの重みをユーザが任意に決定してもよい。そして、乗算器３３は、教師予測ラベルに重みを乗算し、個々の未知データに対する任意ラベルを決定する。
なお、ラベル分布決定部３０は、入力された１つの教師予測ラベル、即ち、１つの１００次元ベクトルに対して、複数の任意ラベルを与えてもよい。つまり、ラベル分布決定部３０は、１つの未知データに対して複数の任意の１００次元ベクトルを出力してもよい。この場合は、ラベル分布決定部３０から出力される任意ラベルの数はＮ個以上となる。
データ生成部２０は、未知データと、それに対応する任意ラベルとが入力されると、教師予測ラベルが任意ラベルに近しくなるような生成データを生成する。具体的には、データ生成部２０は、教師予測ラベルと任意ラベルの誤差を目的関数とし、未知データを変数とする最適化を行う。なお、前述したように、１つの未知データに複数の任意ラベルが与えられた場合には、それぞれの任意ラベルについて同様の最適化を行えばよい。
こうして、データ生成部２０とラベル分布決定部３０は、生成データに対する教師予測ラベルと任意ラベルの誤差が十分に小さくなるまで、任意ラベルの生成と生成データの生成を繰り返す。これにより、生成データに対する教師予測ラベルの各クラスの累積確率密度を均等に近づけることができる。
こうして、生成データが得られると、蒸留学習部４０は、生成データを用いて蒸留による学習を行う。具体的には、生成データが教師モデル４１と生徒モデル４２に入力される。教師モデル４１は生成データに対する教師予測ラベルを出力し、生徒モデル４２は生成データに対する生徒予測モデルを出力する。誤差算出部４３は、教師予測ラベルと生徒予測ラベルの誤差を算出し、最適化部４４に入力する。最適化部４４は、教師予測ラベルと生徒予測ラベルの誤差を目的関数とし、誤差が小さくなるように生徒モデル４２のニューロンの最適化を行う。
（実施形態による効果）
以上の通り、本実施形態によれば、教師モデルの学習データが利用できない状況下で、さらに未知データと学習データの分布が異なっていても、未知データを用いて生徒モデルの蒸留学習を実現できる。その理由は、以下の通りである。
１つ目の理由は、ラベル分布決定部３０において、未知データに対する教師予測ラベルの累積確率密度を均等化することでクラスインバランスが解消されるためである。２つ目の理由は、データ生成部２０において、任意ラベルと教師予測ラベルの誤差を最小化するデータを生成することで、教師モデルの学習データの分布を擬似的に再現できるためである。３つ目の理由は、蒸留学習部４０において、生徒モデルの蒸留学習が収束するまで、ラベル分布決定部３０とデータ生成部２０は理論的に無限個の任意ラベルと生成データを計算できるためである。
（変形例）
本実施形態は、上述した例に限定されるものではない。本実施形態は、上述した例に対して、いわゆる当業者が理解し得る多様な変更を適用することが可能である。例えば、本実施の形態は、以下の変形例に示す形態によっても実施可能である。
（１）ラベル分布決定部３０は、必ずしもラベルの累積確率密度を均等化しなくともよい。例えば、あるクラスの識別性能を優先的に行う場合、均等ではなく、当該クラスの確率分布を相対的に高くすればよい。また、ラベル分布決定部３０は、ユーザから任意のクラス分布を受け付けるための入力インタフェースを備えていてもよい。
（２）上記の実施形態では、データ生成部２０は、未知データを生成データの初期値として使用し、生成データを教師モデルに入力して得られる予測ラベルと任意ラベルとの誤差を最小化する新たな生成データを生成している。その代わりに、データ生成部２０は、ランダムノイズを生成データの初期値として使用し、生成データを教師モデルに入力して得られる予測ラベルと任意ラベルとの誤差を最小化する新たな生成データを生成してもよい。
（３）データ生成部２０におけるデータ生成方法は、上記の方法には限らない。例えば、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）やＶＡＥ（Ｖａｒｉａｔｏｎａｌ Ａｕｔｏ－Ｅｎｃｏｄｅｒ）と呼ばれるデータ生成方法を利用してもよい。
（４）生徒モデルの数は、１つに限らない。例えば、予測ラベルの次元数が大きい場合には、予測ラベルを複数のベクトルへ分割し、それぞれに対応する複数の生徒モデルを学習してもよい。
［第２実施形態］
次に、本発明の第２実施形態について説明する。図５は、第２実施形態に係る情報処理装置５０の機能構成を示す。なお、情報処理装置５０のハードウェア構成は、図１に示すものと同様である。
情報処理装置５０は、教師モデルが学習していない未知データを用いて蒸留学習を行うものであり、図示のように、ラベル分布決定部５１と、データ生成部５２と、蒸留学習部５３と、を備える。ラベル分布決定部５１は、未知データに対する任意ラベルを出力する。データ生成部５２は、任意ラベルと未知データとを入力として、新たな生成データを出力する。蒸留学習部５３は、生成データを入力とし、教師モデルを用いて生徒モデルの蒸留学習を行う。こうして、未知データを用いて、蒸留学習を行うことができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
未知データに対する任意ラベルを出力するラベル分布決定部と、
前記任意ラベルと前記未知データとを入力として、新たな生成データを出力するデータ生成部と、
前記生成データを入力として、教師モデルを用いて生徒モデルの蒸留学習を行う蒸留学習部と、
を備える情報処理装置。
（付記２）
前記ラベル分布決定部は、前記未知データに対する前記教師モデルの予測ラベルの累積確率密度を求め、当該累積確率密度に基づいて前記任意ラベルを決定する付記１に記載の情報処理装置。
（付記３）
前記ラベル分布決定部は、前記教師モデルの予測ラベルの各クラスの累積確率密度が均等になるように前記任意ラベルを決定する付記２に記載の情報処理装置。
（付記４）
前記ラベル分布決定部は、前記教師モデルの予測ラベルの各クラスの累積確率密度が均等になるように各クラスに対する重みを算出し、当該重みを前記教師モデルの予測ラベルに乗算して前記任意ラベルを決定する付記３に記載の情報処理装置。
（付記５）
前記データ生成部は、前記未知データを前記生成データの初期値として使用し、前記生成データを前記教師モデルに入力して得られる予測ラベルと前記任意ラベルとの誤差を最小化する新たな生成データを生成する付記１乃至４のいずれか一項に記載の情報処理装置。
（付記６）
前記データ生成部は、ランダムノイズを前記生成データの初期値として使用し、前記生成データを前記教師モデルに入力して得られる予測ラベルと前記任意ラベルとの誤差を最小化する新たな生成データを生成する付記１乃至４のいずれか一項に記載の情報処理装置。
（付記７）
前記未知データは、前記教師モデルの学習に利用したデータとは異なるデータである付記１乃至６のいずれか一項に記載の情報処理装置。
（付記８）
前記未知データの情報量は、前記教師モデルの学習に利用したデータの情報量よりも少ない付記１乃至７のいずれか一項に記載の情報処理装置。
（付記９）
未知データに対する任意ラベルを出力し、
前記任意ラベルと前記未知データとを入力として、新たな生成データを出力し、
前記生成データを入力とし、教師モデルを用いて生徒モデルの蒸留学習を行う学習方法。
（付記１０）
未知データに対する任意ラベルを出力し、
前記任意ラベルと前記未知データとを入力として、新たな生成データを出力し、
前記生成データを入力とし、教師モデルを用いて生徒モデルの蒸留学習を行う処理をコンピュータに実行させるプログラムを記録した記録媒体。
以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
１０、１０ｘ 学習装置
２０ データ生成部
３０ ラベル分布決定部
４０ 蒸留学習部
４１ 教師モデル
４２ 生徒モデル
５０ 情報処理装置

Claims (9)

  1. 未知データに対する任意ラベルを出力するラベル分布決定手段と、
    前記任意ラベルと前記未知データとを入力として、新たな生成データを出力するデータ生成手段と、
    前記生成データを入力とし、教師モデルを用いて生徒モデルの蒸留学習を行う蒸留学習手段と、
    を備え、
    前記未知データは、前記教師モデルの学習に利用したデータとは異なるデータである情報処理装置。
  2. 前記ラベル分布決定手段は、前記未知データに対する前記教師モデルの予測ラベルの累積確率密度を求め、当該累積確率密度に基づいて前記任意ラベルを決定する請求項１に記載の情報処理装置。
  3. 前記ラベル分布決定手段は、前記教師モデルの予測ラベルの各クラスの累積確率密度が均等になるように前記任意ラベルを決定する請求項２に記載の情報処理装置。
  4. 前記ラベル分布決定手段は、前記教師モデルの予測ラベルの各クラスの累積確率密度が均等になるように各クラスに対する重みを算出し、当該重みを前記教師モデルの予測ラベルに乗算して前記任意ラベルを決定する請求項３に記載の情報処理装置。
  5. 前記データ生成手段は、前記未知データを前記生成データの初期値として使用し、前記生成データを前記教師モデルに入力して得られる予測ラベルと前記任意ラベルとの誤差を最小化する新たな生成データを生成する請求項１乃至４のいずれか一項に記載の情報処理装置。
  6. 前記データ生成手段は、ランダムノイズを前記生成データの初期値として使用し、前記生成データを前記教師モデルに入力して得られる予測ラベルと前記任意ラベルとの誤差を最小化する新たな生成データを生成する請求項１乃至４のいずれか一項に記載の情報処理装置。
  7. 前記未知データの情報量は、前記教師モデルの学習に利用したデータの情報量よりも少ない請求項１乃至６のいずれか一項に記載の情報処理装置。
  8. 未知データに対する任意ラベルを出力し、
    前記任意ラベルと前記未知データとを入力として、新たな生成データを出力し、
    前記生成データを入力とし、教師モデルを用いて生徒モデルの蒸留学習を行い、
    前記未知データは、前記教師モデルの学習に利用したデータとは異なるデータである学習方法。
  9. 未知データに対する任意ラベルを出力し、
    前記任意ラベルと前記未知データとを入力として、新たな生成データを出力し、
    前記生成データを入力とし、教師モデルを用いて生徒モデルの蒸留学習を行う処理をコンピュータに実行させ、
    前記未知データは、前記教師モデルの学習に利用したデータとは異なるデータであるプログラム。
JP2021555691A 2019-11-13 2019-11-13 情報処理装置、学習方法、及び、プログラム Active JP7405148B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/044527 WO2021095160A1 (ja) 2019-11-13 2019-11-13 情報処理装置、学習方法、及び、記録媒体

Publications (3)

Publication Number Publication Date
JPWO2021095160A1 JPWO2021095160A1 (ja) 2021-05-20
JPWO2021095160A5 JPWO2021095160A5 (ja) 2022-07-06
JP7405148B2 true JP7405148B2 (ja) 2023-12-26

Family

ID=75911930

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021555691A Active JP7405148B2 (ja) 2019-11-13 2019-11-13 情報処理装置、学習方法、及び、プログラム

Country Status (3)

Country Link
US (1) US20220398833A1 (ja)
JP (1) JP7405148B2 (ja)
WO (1) WO2021095160A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130097103A1 (en) 2011-10-14 2013-04-18 International Business Machines Corporation Techniques for Generating Balanced and Class-Independent Training Data From Unlabeled Data Set

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS628552U (ja) * 1985-06-26 1987-01-19
JPH0973440A (ja) * 1995-09-06 1997-03-18 Fujitsu Ltd コラム構造の再帰型ニューラルネットワークによる時系列トレンド推定システムおよび方法
JP6208552B2 (ja) * 2013-11-14 2017-10-04 株式会社デンソーアイティーラボラトリ 識別器、識別プログラム、及び識別方法
US10643602B2 (en) * 2018-03-16 2020-05-05 Microsoft Technology Licensing, Llc Adversarial teacher-student learning for unsupervised domain adaptation
US11487997B2 (en) * 2018-10-04 2022-11-01 Visa International Service Association Method, system, and computer program product for local approximation of a predictive model
US11494637B2 (en) * 2019-03-28 2022-11-08 International Business Machines Corporation Layer-wise distillation for protecting pre-trained neural network models
EP3987444A1 (en) * 2019-06-24 2022-04-27 Telefonaktiebolaget LM Ericsson (publ) Method for detecting uncommon input
EP3757895B1 (en) * 2019-06-28 2024-09-04 Robert Bosch GmbH Method for estimating a global uncertainty of a neural network

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130097103A1 (en) 2011-10-14 2013-04-18 International Business Machines Corporation Techniques for Generating Balanced and Class-Independent Training Data From Unlabeled Data Set

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHEN, Hanting et al.，Data-Free Learning of Student Networks，arXiv.org [online]，arXiv:1904.01186v3，米国，Cornell University，2019年09月05日，[検索日 2020.01.31], インターネット:<https://arxiv.org/pdf/1904.01186v3.pdf>
NAYAK, Gaurav Kumar et al.，"Zero-Shot Knowledge Distillation in Deep Networks"，arXiv.org [online]，arXiv:1905.08114v1，米国，Cornell University，2019年05月20日，[検索日 2020.01.31], インターネット:<URL: https://arxiv.org/pdf/1905.08114v1.pdf>
河野 晋策 ほか，「モデル圧縮におけるクラス不均衡に着目した疑似データ生成手法の提案」，情報処理学会論文誌データベース（TOD） [online]，情報処理学会，2018年07月11日，第11巻, 第2号，pp.7-15，[検索日 2018.07.18], インターネット:<URL: https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&item_id=190375&file_id=1&file_no=1>，ISSN:1882-7799

Also Published As

Publication number Publication date
JPWO2021095160A1 (ja) 2021-05-20
US20220398833A1 (en) 2022-12-15
WO2021095160A1 (ja) 2021-05-20

Similar Documents

Publication Publication Date Title
Schuman et al. Evolutionary optimization for neuromorphic systems
JP7059458B2 (ja) 生成的敵対神経網ベースの分類システム及び方法
JP7047498B2 (ja) 学習プログラム、学習方法および学習装置
TWI773962B (zh) 模型訓練裝置及方法
EP3382609A1 (en) Risk assessment method, risk assessment program, and information processing device
CN113255842B (zh) 车辆置换预测方法、装置、设备及存储介质
CN112651418B (zh) 数据分类方法、分类器训练方法及系统
KR102142943B1 (ko) 클라우드 기반의 인공지능 연산 서비스 방법 및 이를 수행하는 장치
Devi et al. A Comparative Study on Handwritten Digit Recognizer using Machine Learning Technique
WO2020075462A1 (ja) 学習器推定装置、学習器推定方法、リスク評価装置、リスク評価方法、プログラム
Huang et al. Deep prototypical networks for imbalanced time series classification under data scarcity
JP2022181204A (ja) ニューラルネットワークをトレーニングするためのコンピュータプログラムおよびコンピュータで実装される方法（混合された拡張済みデータセットを用いる音声異常検出）
Krawczyk et al. Incremental weighted one-class classifier for mining stationary data streams
CN112819151A (zh) 用于识别图像的方法和设备以及训练方法
WO2020255414A1 (ja) 学習支援装置、学習支援方法、及びコンピュータ読み取り可能な記録媒体
CN110199300A (zh) 用于自动编码器的模糊输入
Renström et al. Fraud Detection on Unlabeled Data with Unsupervised Machine Learning
JP7405148B2 (ja) 情報処理装置、学習方法、及び、プログラム
JP7563495B2 (ja) 学習装置、学習方法、及び、プログラム
Hemkiran et al. Design of Automatic Credit Card Approval System Using Machine Learning
Kamel et al. AdaBoost ensemble learning technique for optimal feature subset selection
KR102497387B1 (ko) 교차-엔트로피 샤플리를 이용한 서로게이트 랜덤 포레스트 모델의 경량화 방법 및 장치
KR20200002248A (ko) 뉴럴 네트워크 하드웨어
JP7468681B2 (ja) 学習方法、学習装置、及びプログラム
KR20200002245A (ko) 뉴럴 네트워크 하드웨어

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220502

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231127

R151 Written notification of patent or utility model registration

Ref document number: 7405148

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151