JP7507172B2 - 情報処理方法、情報処理システム及び情報処理装置 - Google Patents

Description

本開示は、推論モデルを機械学習により訓練するための情報処理方法、情報処理システム及び情報処理装置に関する。

近年、エッジ端末でＤｅｅｐ Ｌｅａｒｎｉｎｇを実行する際に、処理の軽量化のために、推論モデルを軽量な推論モデルに変換することがなされている。例えば、特許文献１には、推論モデルの変換前後で推論性能をなるべく維持したまま、推論モデルの変換を行う技術が開示されている。この文献では、推論性能が落ちないように推論モデルの変換（例えば第１推論モデルから第２推論モデルへの変換）が実施される。

米国特許出願公開２０１６／０３２８６４４号明細書

しかしながら、上記特許文献１に開示された技術では、第１推論モデルと第２推論モデルとで推論性能（例えば認識率などの認識性能）が同じでも、ある推論対象について、第１推論モデルの振る舞い（例えば正解／不正解）と第２推論モデルの振る舞いとが異なる場合がある。つまり、第１推論モデルと第２推論モデルとで、統計的な推論結果は同じであっても、個別的な推論結果が異なる場合がある。この差異が問題を引き起こすおそれがある。

そこで、本開示は、第１推論モデルの振る舞いと第２推論モデルの振る舞いとを近づけることができる情報処理方法等を提供する。

本開示に係る情報処理方法は、コンピュータにより実行される方法であって、第１データを取得し、前記第１データを第１推論モデルに入力して第１推論結果を算出し、前記第１データを第２推論モデルに入力して第２推論結果を算出し、前記第１推論結果及び前記第２推論結果の類似度を算出し、前記類似度に基づいて機械学習における訓練データである第２データを決定し、前記第２データを用いて前記第２推論モデルを機械学習により訓練する処理を含み、前記類似度は、前記第１推論結果と前記第２推論結果とが一致しているか否か、であり、前記第１推論結果と前記第２推論結果とが一致しない場合、前記決定では、前記第１推論モデルおよび前記第２推論モデルに入力された前記第１データを加工したデータを前記第２データとして決定する、または、前記類似度は、前記第１推論結果における第１推論値の大きさと前記第２推論結果における第２推論値の大きさとの類似度であり、前記第１推論値と前記第２推論値との差分が閾値以上である場合、前記決定では、前記第１推論モデルおよび前記第２推論モデルに入力された前記第１データを加工したデータを前記第２データとして決定する。

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示の一態様に係る情報処理方法等によれば、第１推論モデルの振る舞いと第２推論モデルの振る舞いとを近づけることができる。

図１は、実施の形態に係る情報処理システムの一例を示すブロック図である。 図２は、実施の形態に係る情報処理方法の一例を示すフローチャートである。 図３Ａは、第１推論モデルにおいて識別層手前の層の出力によって張られる特徴量空間と第２推論モデルにおいて識別層手前の層の出力によって張られる特徴量空間との一例を示す図である。 図３Ｂは、第１推論モデル２１の振る舞いと第２推論モデル２２との振る舞いとが一致しないときの第１データの一例を示す図である。 図４は、実施の形態に係る第２推論モデルの訓練方法の一例を示すフローチャートである。 図５は、実施の形態の変形例に係る情報処理システムの一例を示すブロック図である。 図６は、その他の実施の形態に係る情報処理装置の一例を示すブロック図である。

従来技術では、推論性能が落ちないように推論モデルの変換が実施されるが、第１推論モデルと第２推論モデルとで推論性能が同じでも、ある推論対象について、第１推論モデルでの振る舞いと第２推論モデルでの振る舞いとが異なる場合がある。ここで、振る舞いは、複数の入力のそれぞれに対する推論モデルの出力である。つまり、第１推論モデルと第２推論モデルとで、統計的な推論結果は同じであっても、個別的な推論結果が異なる場合がある。この差異が問題を引き起こすおそれがある。例えば、ある推論対象について、第１推論モデルでは推論結果が正解で、第２推論モデルでは推論結果が不正解となる場合があったり、第１推論モデルでは推論結果が不正解で、第２推論モデルでは推論結果が正解となる場合があったりする。

このように、第１推論モデルと第２推論モデルとで振る舞いが異なると、例えば、第１推論モデルの推論性能が改善され、改善後の第１推論モデルから第２推論モデルが生成された場合であっても、第２推論モデルの推論性能が改善されない又は劣化することがある。また、例えば、推論モデルの推論結果を用いた後続の処理において、同じ入力に対して第１推論モデルと第２推論モデルとで異なる処理結果が出力されるおそれもある。特に、当該処理が安全に関わる処理（例えば車両における物体認識処理）である場合は、上記振る舞いの差異は危険をもたらすおそれがある。

本開示の一態様に係る情報処理方法は、コンピュータにより実行される方法であって、第１データを取得し、前記第１データを第１推論モデルに入力して第１推論結果を算出し、前記第１データを第２推論モデルに入力して第２推論結果を算出し、前記第１推論結果及び前記第２推論結果の類似度を算出し、前記類似度に基づいて機械学習における訓練データである第２データを決定し、前記第２データを用いて前記第２推論モデルを機械学習により訓練する処理を含む。

第１推論モデルと第２推論モデルとは異なるモデルであるため、それぞれに同じ第１データを入力しても、第１推論モデルの振る舞いと第２推論モデルの振る舞いとが一致しない場合がある。しかし、第１推論モデルの振る舞いと第２推論モデルの振る舞いとが一致しないときの第１推論結果及び第２推論結果の類似度を用いることで、第１推論モデルの振る舞いと第２推論モデルの振る舞いとが一致しない第１データを決定することができる。そして、第２推論モデルの振る舞いを第１推論モデルの振る舞いに近づけるように第２推論モデルを機械学習により訓練するための訓練データである第２データを第１データから決定することができる。したがって、本開示によれば、第１推論モデルの振る舞いと第２推論モデルの振る舞いとを近づけることができる。

また、前記第１推論モデルの構成と前記第２推論モデルの構成は異なっていてもよい。

これによれば、それぞれ異なる構成（例えばネットワーク構成）である第１推論モデル及び第２推論モデルについて、それぞれの振る舞いを近づけることができる。

また、前記第１推論モデルの処理精度と前記第２推論モデルの処理精度は異なっていてもよい。

これによれば、それぞれ異なる処理精度（例えばビット精度）である第１推論モデル及び第２推論モデルについて、それぞれの振る舞いを近づけることができる。

また、前記第２推論モデルは、前記第１推論モデルの軽量化により得られてもよい。

これによれば、第１推論モデルの振る舞いと、軽量化された第２推論モデルの振る舞いとを近づけることができる。軽量化された第２推論モデルの振る舞いが第１推論モデルの振る舞いに近づくように第２推論モデルが訓練されることで、軽量化された第２推論モデルの性能を第１推論モデルの性能に近づけることができ、第２推論モデルの精度の改善も可能となる。

また、前記類似度は、前記第１推論結果と前記第２推論結果とが一致しているか否か、を含んでいてもよい。

これによれば、第１推論結果と第２推論結果とが一致しているか否かに基づいて、第１推論モデルの振る舞いと第２推論モデルとの振る舞いが一致しない第１データを決定することができる。具体的には、第１推論モデルの振る舞いと第２推論モデルの振る舞いとが一致しない第１データとして、第１推論結果と第２推論結果とが一致していないときの第１データを決定できる。

また、前記決定では、前記第１推論結果と前記第２推論結果とが一致しない場合の入力である前記第１データに基づいて前記第２データを決定してもよい。

これによれば、第１推論結果と第２推論結果とが一致していない第１データに基づいて第２推論モデルを訓練することができる。これは一致／不一致が明確な推論において有効である。

また、前記類似度は、前記第１推論結果における第１推論値の大きさと前記第２推論結果における第２推論値の大きさとの類似度、を含んでいてもよい。

これによれば、第１推論結果における推論値の大きさと第２推論結果における推論値の大きさとの類似度に基づいて、第１推論モデルの振る舞いと第２推論モデルの振る舞いとが一致しない第１データを決定することができる。具体的には、第１推論モデルと第２推論モデルとの振る舞いが一致しない第１データとして、第１推論結果における推論値の大きさと第２推論結果における推論値の大きさとの差が大きいときの第１データを決定できる。

また、前記決定では、前記第１推論値と前記第２推論値との差分が閾値以上である場合の入力である前記第１データに基づいて前記第２データを決定してもよい。

これによれば、第１推論値と第２推論値との差分が閾値以上である第１データに基づいて第２推論モデルを訓練することができる。これは一致／不一致を明確に判断しにくい推論において有効である。

また、前記第２データは、前記第１データを加工したデータであってもよい。

これによれば、第１推論モデルの振る舞いと第２推論モデルの振る舞いとが一致しない第１データを加工したデータを第２データとして決定することができる。

また、前記訓練では、前記第２データを他の訓練データより多く用いて前記第２推論モデルを訓練してもよい。

これによれば、第２推論モデルの訓練データとして有効な第２データを多く用いることで、第２推論モデルの機械学習を効果的に進めることができる。

また、前記第１推論モデル及び前記第２推論モデルは、ニューラルネットワークモデルであってもよい。

このように、それぞれニューラルネットワークモデルである第１推論モデル及び第２推論モデルについて、それぞれの振る舞いを近づけることができる。

本開示の一態様に係る情報処理システムは、第１データを取得する取得部と、前記第１データを第１推論モデルに入力して第１推論結果を算出し、前記第１データを第２推論モデルに入力して第２推論結果を算出する推論結果算出部と、前記第１推論結果及び前記第２推論結果の類似度を算出する類似度算出部と、前記類似度に基づいて機械学習における訓練データである第２データを決定する決定部と、前記第２データを用いて第２推論モデルを機械学習により訓練する訓練部と、を備える。

これによれば、第１推論モデルの振る舞いと第２推論モデルの振る舞いとを近づけることができる情報処理システムを提供できる。

本開示の一態様に係る情報処理装置は、センシングデータを取得する取得部と、前記センシングデータを第２推論モデルに入力して推論結果を取得する制御部と、取得された前記推論結果に基づくデータを出力する出力部と、を備え、前記第２推論モデルは、第２データを用いて機械学習により訓練され、前記第２データは、機械学習における訓練データであり、類似度に基づいて決定され、前記類似度は、第１推論結果及び第２推論結果から算出され、前記第１推論結果は、第１データを前記第１推論モデルに入力して算出され、前記第２推論結果は、前記第１データを前記第２推論モデルに入力して算出される。

これによれば、第１推論モデルの振る舞いに近づけられた第２推論モデルを装置に用いることができる。これにより、組込み環境における推論モデルを用いた推論処理の性能を向上させることができる。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。

（実施の形態）
以下、実施の形態に係る情報処理システムについて説明する。

図１は、実施の形態に係る情報処理システム１の一例を示すブロック図である。情報処理システム１は、取得部１０、推論結果算出部２０、第１推論モデル２１、第２推論モデル２２、類似度算出部３０、決定部４０、訓練部５０及び学習データ１００を備える。

情報処理システム１は、第２推論モデル２２を機械学習により訓練するためのシステムであり、機械学習の際に学習データ１００を用いる。情報処理システム１は、プロセッサ及びメモリ等を含むコンピュータである。メモリは、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等であり、プロセッサにより実行されるプログラムを記憶することができる。取得部１０、推論結果算出部２０、類似度算出部３０、決定部４０及び訓練部５０は、メモリに格納されたプログラムを実行するプロセッサ等によって実現される。

例えば、情報処理システム１は、サーバであってもよい。また、情報処理システム１を構成する構成要素は、複数のサーバに分散して配置されてもよい。

学習データ１００には、数多くの種類のデータが含まれており、例えば、画像認識をさせるモデルを機械学習により訓練する場合、学習データ１００には、画像データが含まれる。学習データ１００には、様々な種類（例えばクラス）のデータが含まれる。なお、画像は、撮像画像であってもよく、生成画像であってもよい。

第１推論モデル２１及び第２推論モデル２２は、例えば、ニューラルネットワークモデルであり、入力されたデータに対して推論を行う。推論は、ここでは例えば分類とするが、物体検出、セグメンテーション又はカメラから被写体までの距離の推定等であってもよい。なお、振る舞いは、推論が分類の場合、正解／不正解又はクラスであってよく、推論が物体検出の場合、正解／不正解又はクラスに代えて又はそれと共に検出枠の大きさ又は位置関係であってよく、推論がセグメンテーションの場合、領域のクラス、大きさ又は位置関係であってよく、推論が距離推定である場合、推定距離の長さであってよい。

例えば、第１推論モデル２１の構成と第２推論モデル２２の構成は異なっていてもよく、また、第１推論モデル２１の処理精度と第２推論モデル２２の処理精度は異なっていてもよく、第２推論モデル２２は、第１推論モデル２１の軽量化により得られる推論モデルであってもよい。例えば、第１推論モデル２１の構成と第２推論モデル２２の構成が異なる場合、第２推論モデル２２は、第１推論モデル２１よりも枝数が少ない又はノード数が少ない。例えば、第１推論モデル２１の処理精度と第２推論モデル２２の処理精度が異なる場合、第２推論モデル２２は、第１推論モデル２１よりもビット精度が低い。具体的には、第１推論モデル２１は浮動小数点モデルであり、第２推論モデル２２は固定小数点モデルであってもよい。なお、第１推論モデル２１の構成と第２推論モデル２２の構成が異なり、かつ、第１推論モデル２１の処理精度と第２推論モデル２２の処理精度が異なっていてもよい。

取得部１０は、学習データ１００から第１データを取得する。

推論結果算出部２０は、取得部１０が取得した第１データを第１推論モデル２１及び第２推論モデル２２に入力して第１推論結果及び第２推論結果を算出する。また、推論結果算出部２０は、学習データ１００から第２データを選択して、第２データを第１推論モデル２１及び第２推論モデル２２に入力して第３推論結果及び第４推論結果を算出する。

類似度算出部３０は、第１推論結果及び第２推論結果の類似度を算出する。

決定部４０は、算出された類似度に基づいて機械学習における訓練データである第２データを決定する。

訓練部５０は、決定された第２データを用いて第２推論モデル２２を機械学習により訓練する。例えば、訓練部５０は、パラメタ算出部５１及び更新部５２を機能構成要素として有する。パラメタ算出部５１及び更新部５２の詳細については、後述する。

情報処理システム１の動作について図２を用いて説明する。

図２は、実施の形態に係る情報処理方法の一例を示すフローチャートである。情報処理方法は、コンピュータ（情報処理システム１）により実行される方法である。このため、図２は、実施の形態に係る情報処理システム１の動作の一例を示すフローチャートでもある。すなわち、以下の説明は、情報処理システム１の動作の説明でもあり、情報処理方法の説明でもある。

まず、取得部１０は、第１データを取得する（ステップＳ１１）。例えば、第１データを画像とすると、取得部１０は、あるクラスの物体が写る画像を取得する。

次に、推論結果算出部２０は、第１データを第１推論モデル２１に入力して第１推論結果を算出し（ステップＳ１２）、第１データを第２推論モデル２２に入力して第２推論結果を算出する（ステップＳ１３）。つまり、推論結果算出部２０は、同じ第１データを第１推論モデル２１と第２推論モデル２２とに入力することで、第１推論結果と第２推論結果とを算出する。なお、ステップＳ１２及びステップＳ１３は、ステップＳ１３、ステップＳ１２の順序で実行されてもよいし、並行して実行されてもよい。

次に、類似度算出部３０は、第１推論結果と第２推論結果との類似度を算出する（ステップＳ１４）。類似度は、同じ第１データを異なる第１推論モデル２１と第２推論モデル２２とに入力したときに算出される第１推論結果と第２推論結果との類似度である。類似度の詳細については後述する。

次に、決定部４０は、算出された類似度に基づいて機械学習における訓練データである第２データを決定する（ステップＳ１５）。例えば、第２データは、第１データそのものであってもよいし、第１データを加工したデータであってもよい。例えば、決定部４０は、決定した第２データを学習データ１００に追加する。なお、決定部４０は、第２データを繰り返し学習データ１００に追加してもよい。学習データ１００に繰り返し追加される第２データのそれぞれは、追加されるごとに異なる加工が施されたものであってもよい。

なお、１つの第１データについてステップＳ１１からステップＳ１５までの処理が行われ、次に別の第１データについてステップＳ１１からステップＳ１５までの処理が行われ、・・・というのが繰り返されて複数の第２データが決定されてもよいし、複数の第１データについてまとめてステップＳ１１からステップＳ１５までの処理が行われて、複数の第２データが決定されてもよい。

そして、訓練部５０は、決定された第２データを用いて第２推論モデル２２を機械学習により訓練する（ステップＳ１６）。例えば、訓練部５０は、第２データを他の訓練データより多く用いて第２推論モデル２２を訓練する。例えば、学習データ１００には複数の第２データが新たに追加されているため、学習データ１００における第２データの数が多くなっており、訓練部５０は、第２データを他のデータより多く用いて第２推論モデル２２を訓練することができる。例えば、第２データを他の訓練データより多く用いるとは、訓練における第２データの数が他の訓練データより多いことである。また例えば、第２データを他の訓練データより多く用いるとは、訓練における第２データの使用回数が他の訓練データより多いことであってもよい。訓練部５０は、例えば、決定部４０から、第２データを学習データ１００における他のデータより多く用いて第２推論モデル２２を訓練するように指示を受け、当該指示に応じて第２データを用いた訓練回数が他のデータより多くなるように第２推論モデル２２を訓練してもよい。第２推論モデル２２の訓練の詳細については後述する。

ここで、第１推論モデル２１において識別層手前の層の出力によって張られる特徴量空間と第２推論モデル２２において識別層手前の層の出力によって張られる特徴量空間について図３Ａを用いて説明する。

図３Ａは、第１推論モデル２１において識別層手前の層の出力によって張られる特徴量空間と第２推論モデル２２において識別層手前の層の出力によって張られる特徴量空間との一例を示す図である。なお、図３Ａに示される第２推論モデル２２での特徴量空間は、訓練部５０による訓練がされていない、又は、訓練部５０による訓練途中の第２推論モデル２２での特徴量空間である。各特徴量空間における１０個の丸は、各推論モデルに入力されたデータの特徴量を示し、５つの白丸はそれぞれ同じ種類（例えばクラスＸ）のデータの特徴量であり、５つのドットが付された丸はそれぞれ同じ種類（例えばクラスＹ）のデータの特徴量である。クラスＸとクラスＹとは異なるクラスである。例えば、各推論モデルについて、特徴量空間において特徴量が識別境界より左側にあるデータの推論結果はクラスＸを示し、特徴量が識別境界より右側にあるデータの推論結果はクラスＹを示すとする。

図３Ａには、特徴量が識別境界付近にある第１データとして第１データ１０１、１０２、１０３及び１０４の特徴量が、第１推論モデル２１での特徴量空間及び第２推論モデル２２での特徴量空間のそれぞれに示されている。第１データ１０１は、クラスＸのデータであり、同じ第１データ１０１が第１推論モデル２１及び第２推論モデル２２に入力されたときに、第１推論結果はクラスＸを示し、第２推論結果はクラスＹを示している。第１データ１０２は、クラスＹのデータであり、同じ第１データ１０２が第１推論モデル２１及び第２推論モデル２２に入力されたときに、第１推論結果はクラスＸを示し、第２推論結果はクラスＹを示している。第１データ１０３は、クラスＹのデータであり、同じ第１データ１０３が第１推論モデル２１及び第２推論モデル２２に入力されたときに、第１推論結果はクラスＹを示し、第２推論結果はクラスＸを示している。第１データ１０４は、クラスＸのデータであり、同じ第１データ１０４が第１推論モデル２１及び第２推論モデル２２に入力されたときに、第１推論結果はクラスＹを示し、第２推論結果はクラスＸを示している。

クラスＸの第１データ１０１に対する第１推論結果及び第２推論結果について、第１推論結果はクラスＸと正解になっているが、第２推論結果はクラスＹと不正解になっている。また、クラスＹの第１データ１０２に対する第１推論結果及び第２推論結果について、第２推論結果はクラスＹと正解になっているが、第１推論結果はクラスＸと不正解となっている。また、クラスＹの第１データ１０３に対する第１推論結果及び第２推論結果について、第１推論結果はクラスＹと正解になっているが、第２推論結果はクラスＸと不正解になっている。また、クラスＸの第１データ１０４に対応する第１推論結果及び第２推論結果について、第２推論結果はクラスＸと正解になっているが、第１推論結果はクラスＹと不正解となっている。この例では、第１推論モデル２１及び第２推論モデル２２はそれぞれ１０個中８個が正解となっており、認識率は８０％と同じであるが、同じ第１データについて特徴量が識別境界付近の第１データの推論結果が第１推論モデル２１と第２推論モデル２２とで異なっており、第１推論モデル２１と第２推論モデル２２とで振る舞いがずれている。

これに対して、本開示では、同じ第１データが第１推論モデル２１及び第２推論モデル２２に入力されたときに算出される第１推論結果及び第２推論結果の類似度に着目し、当該類似度に基づいて決定される訓練データである第２データから振る舞いを一致させるために有効なデータを重点サンプリングする。例えば、第１推論モデル２１の振る舞いと第２推論モデル２２の振る舞いとが一致しないときの第１推論結果及び第２推論結果の類似度に基づいて第２データが決定される。

図３Ｂは、第１推論モデル２１の振る舞いと第２推論モデル２２の振る舞いとが一致しないときの第１データの一例を示す図である。各特徴量空間における４個の丸に斜線が付されているが、これらは、第１推論モデル２１の振る舞いと第２推論モデル２２の振る舞いとが一致しないときに第１推論モデル２１及び第２推論モデル２２に入力されていた第１データの特徴量を示す。例えば、類似度は、第１推論結果と第２推論結果とが一致しているか否か、を含む。例えば、第１データ１０１に対する第１推論結果が示すクラス（クラスＸ）と第２推論結果が示すクラス（クラスＹ）とが一致していない。また、第１データ１０２に対する第１推論結果が示すクラス（クラスＸ）と第２推論結果が示すクラス（クラスＹ）とが一致していない。また、第１データ１０３に対する第１推論結果が示すクラス（クラスＹ）と第２推論結果が示すクラス（クラスＸ）とが一致していない。また、第１データ１０４に対する第１推論結果が示すクラス（クラスＹ）と第２推論結果が示すクラス（クラスＸ）とが一致していない。

このように、決定部４０は、第１推論結果及び第２推論結果の類似度（例えば、第１推論結果と第２推論結果とが一致しているか否か）に基づいて、具体的には、第１推論結果と第２推論結果とが一致しない場合の入力である第１データに基づいて、第１推論モデル２１及び第２推論モデル２２の振る舞いが一致しない第１データ（図３Ａ及び図３Ｂの例では第１データ１０１、１０２、１０３及び１０４）を、第２データとして決定する。入力される推論モデルによって推論結果が変わってくるような第１データを訓練データとして利用して推論モデルを訓練することで、推論モデルの改善を図ることができるためである。なお、決定部４０は、第１推論結果と第２推論結果とが一致している第１データであっても、特徴量が識別境界付近となっている場合には、当該第１データを第２データとして決定してもよい。特徴量が識別境界付近となっている第１データは、当該第１データが入力されたときに第１推論モデル２１の振る舞いと第２推論モデル２２の振る舞いとが一致しない可能性が高いデータであり、訓練データとして利用するのに有効なデータとなるためである。

なお、類似度は、第１推論結果における第１推論値の大きさと第２推論結果における第２推論値の大きさとの類似度を含んでいてもよい。例えば、第１データに対する第１推論結果における第１推論値の大きさと当該第１データに対する第２推論結果における第２推論値の大きさとの差が大きい場合、決定部４０は、当該第１データを第２データとして決定してもよい。つまり、決定部４０は、第１推論値と第２推論値との差分が閾値以上である場合の入力である第１データに基づいて第２データを決定してもよい。第１推論結果における第１推論値の大きさと第２推論結果における第２推論値の大きさとの差が大きくなるような第１データは、推論モデルの推論の信頼度又は尤度等を低くするデータであり、すなわち、当該第１データが入力されたときに第１推論モデル２１の振る舞いと第２推論モデル２２の振る舞いが一致しない可能性が高いデータであり、訓練データとして利用するのに有効なデータとなるためである。

なお、決定部４０は、第１データをそのまま第２データとして決定して学習データ１００に追加してもよいが、第１データを加工したデータを第２データとして決定して学習データ１００に追加してもよい。例えば、第１データを加工した第２データは、第１データに幾何学的な変換が施されたデータであってもよいし、第１データの値にノイズが付与されたデータであってもよいし、第１データの値に線形変換が施されたデータであってもよい。

次に、第２推論モデル２２の訓練方法について説明する。

図４は、実施の形態に係る第２推論モデル２２の訓練方法の一例を示すフローチャートである。

推論結果算出部２０は、第２データを用いて重点サンプリングを行うために、第２データを取得する（ステップＳ２１）。

推論結果算出部２０は、第２データを第１推論モデル２１に入力して第３推論結果を算出し（ステップＳ２２）、第２データを第２推論モデル２２に入力して第４推論結果を算出する（ステップＳ２３）。つまり、推論結果算出部２０は、同じ第２データを第１推論モデル２１と第２推論モデル２２とに入力することで、第３推論結果と第４推論結果とを算出する。なお、ステップＳ２２及びステップＳ２３は、ステップＳ２３、ステップＳ２２の順序で実行されてもよいし、並行して実行されてもよい。

次に、パラメタ算出部５１は、第３推論結果及び第４推論結果に基づいて訓練パラメタを算出する（ステップＳ２４）。例えば、パラメタ算出部５１は、第３推論結果と第４推論結果との誤差が小さくなるように、訓練パラメタを算出する。誤差が小さくなるとは、異なる第１推論モデル２１及び第２推論モデル２２に同じ第２データを入力したときに得られる第３推論結果及び第４推論結果が近い推論結果となることを意味する。誤差は、第３推論結果と第４推論結果との距離が近いほど小さくなる。推論結果の距離は、例えば、クロスエントロピーによって求めることができる。

そして、更新部５２は、算出された訓練パラメタを用いて第２推論モデル２２を更新する（ステップＳ２５）。

なお、取得部１０が学習データ１００から第１データを取得する例について説明したが、取得部１０は、学習データ１００から第１データを取得しなくてもよい。これについて、図５を用いて説明する。

図５は、実施の形態の変形例に係る情報処理システム２の一例を示すブロック図である。

実施の形態の変形例に係る情報処理システム２は、追加データ２００を備え、取得部１０は、学習データ１００ではなく追加データ２００から第１データを取得する点が、実施の形態に係る情報処理システム１と異なる。その他の点は、実施の形態におけるものと同じであるため説明は省略する。

図５に示されるように、学習データ１００に追加される第２データを決定するための第１データを含む追加データ２００が学習データ１００とは別に用意されていてもよい。つまり、学習データ１００にもともと含まれているデータではなく、学習データ１００とは別に用意された追加データ２００に含まれているデータが第２データの決定のために用いられてもよい。

以上説明したように、第１推論モデル２１と第２推論モデル２２とは異なるモデルであるため、それぞれに同じ第１データを入力しても、第１推論モデル２１の振る舞いと第２推論モデル２２の振る舞いとが一致しない場合がある。しかし、第１推論モデル２１の振る舞いと第２推論モデル２２の振る舞いとが一致しないときの第１推論結果及び第２推論結果の類似度を用いることで、第１推論モデル２１の振る舞いと第２推論モデル２２の振る舞いとが一致しない第１データを決定することができる。そして、第２推論モデル２２の振る舞いを第１推論モデル２１の振る舞いに近づけるように第２推論モデル２２を機械学習により訓練するための訓練データである第２データを第１データから決定することができる。したがって、本開示によれば、第１推論モデル２１の振る舞いと第２推論モデル２２の振る舞いとを近づけることができる。

また、通常の重点サンプリング学習では、１つの推論モデルについて識別境界付近のデータが重点サンプリングされるが、本開示では、推論モデル間で振る舞いが一致したり、不一致になったりするデータを重点的に学習するため、学習の安定化が可能となる。

また、第２推論モデル２２が第１推論モデル２１の軽量化により得られるモデルである場合、第２推論モデル２２は第１推論モデル２１よりも精度が劣るが、軽量化された第２推論モデル２２の振る舞いが第１推論モデル２１に近づくことで、軽量化された第２推論モデル２２の性能を第１推論モデル２１に近づけることができ、第２推論モデル２２の精度の改善も可能となる。

（その他の実施の形態）
以上、本開示の一つ又は複数の態様に係る情報処理方法及び情報処理システム１について、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つ又は複数の態様の範囲内に含まれてもよい。

例えば、上記実施の形態では、第２推論モデル２２が、第１推論モデル２１の軽量化により得られる例について説明したが、第２推論モデル２２は、第１推論モデル２１の軽量化により得られるモデルでなくてもよい。

例えば、上記実施の形態では、第１データ及び第２データが画像である例を説明したが、他のデータであってもよい。具体的には、画像以外のセンシングデータであってもよい。例えば、マイクロフォンから出力される音声データ、ＬｉＤＡＲ等のレーダから出力される点群データ、圧力センサから出力される圧力データ、温度センサ又は湿度センサから出力される温度データ又は湿度データ、香りセンサから出力される香りデータなどの正解データが取得可能なセンシングデータであれば、処理の対象とされてよい。

例えば、上記実施の形態に係る訓練後の第２推論モデル２２は、装置に組み込まれてもよい。これについて、図６を用いて説明する。

図６は、その他の実施の形態に係る情報処理装置３００の一例を示すブロック図である。なお、図６には、情報処理装置３００の他にセンサ４００も示している。

図６に示されるように、情報処理装置３００は、センシングデータを取得する取得部３１０と、上記第第２データに基づいて機械学習により訓練された第２推論モデル２２にセンシングデータを入力して推論結果を取得する制御部３２０と、取得された推論結果に基づくデータを出力する出力部３３０と、を備える。このように、センシングデータをセンサ４００から取得する取得部３１０と、訓練後の第２推論モデル２２を用いた処理を制御する制御部３２０と、第２推論モデル２２の出力である推論結果に基づくデータを出力する出力部３３０と、を備える情報処理装置３００が提供されてよい。なお、情報処理装置３００にセンサ４００が含まれてもよい。また、取得部３１０は、センシングデータが記録されたメモリからセンシングデータを取得してもよい。

例えば、本開示は、情報処理方法に含まれるステップを、プロセッサに実行させるためのプログラムとして実現できる。さらに、本開示は、そのプログラムを記録したＣＤ－ＲＯＭ等である非一時的なコンピュータ読み取り可能な記録媒体として実現できる。

例えば、本開示が、プログラム（ソフトウェア）で実現される場合には、コンピュータのＣＰＵ、メモリ及び入出力回路等のハードウェア資源を利用してプログラムが実行されることによって、各ステップが実行される。つまり、ＣＰＵがデータをメモリ又は入出力回路等から取得して演算したり、演算結果をメモリ又は入出力回路等に出力したりすることによって、各ステップが実行される。

なお、上記実施の形態において、情報処理システム１に含まれる各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

上記実施の形態に係る情報処理システム１の機能の一部又は全ては典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらに、本開示の主旨を逸脱しない限り、本開示の各実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本開示に含まれる。

本開示は、例えば、エッジ端末でＤｅｅｐ Ｌｅａｒｎｉｎｇを実行する際に用いられる推論モデルの開発に適用できる。

１、２ 情報処理システム
１０、３１０ 取得部
２０ 推論結果算出部
２１ 第１推論モデル
２２ 第２推論モデル
３０ 類似度算出部
４０ 決定部
５０ 訓練部
５１ パラメタ算出部
５２ 更新部
１００ 学習データ
１０１、１０２、１０３、１０４ 第１データ
２００ 追加データ
３００ 情報処理装置
３２０ 制御部
３３０ 出力部

Claims (8)

1. コンピュータにより実行される方法であって、
   第１データを取得し、
   前記第１データを第１推論モデルに入力して第１推論結果を算出し、
   前記第１データを第２推論モデルに入力して第２推論結果を算出し、
   前記第１推論結果及び前記第２推論結果の類似度を算出し、
   前記類似度に基づいて機械学習における訓練データである第２データを決定し、
   前記第２データを用いて前記第２推論モデルを機械学習により訓練し、
   前記類似度は、前記第１推論結果と前記第２推論結果とが一致しているか否か、であり、
   前記第１推論結果と前記第２推論結果とが一致しない場合、前記決定では、前記第１推論モデルおよび前記第２推論モデルに入力された前記第１データを加工したデータを前記第２データとして決定する、
   または、
   前記類似度は、前記第１推論結果における第１推論値の大きさと前記第２推論結果における第２推論値の大きさとの類似度であり、
   前記第１推論値と前記第２推論値との差分が閾値以上である場合、前記決定では、前記第１推論モデルおよび前記第２推論モデルに入力された前記第１データを加工したデータを前記第２データとして決定する、
   情報処理方法。
2. 前記第１推論モデルの構成と前記第２推論モデルの構成は異なる
   請求項１に記載の情報処理方法。
3. 前記第１推論モデルの処理精度と前記第２推論モデルの処理精度は異なる
   請求項１又は２に記載の情報処理方法。
4. 前記第２推論モデルは、前記第１推論モデルの軽量化により得られる
   請求項２又は３に記載の情報処理方法。
5. 前記訓練では、前記第２データを他の訓練データより多く用いて前記第２推論モデルを訓練する
   請求項１～４のいずれか１項に記載の情報処理方法。
6. 前記第１推論モデル及び前記第２推論モデルは、ニューラルネットワークモデルである
   請求項１～５のいずれか１項に記載の情報処理方法。
7. 第１データを取得する取得部と、
   前記第１データを第１推論モデルに入力して第１推論結果を算出し、前記第１データを第２推論モデルに入力して第２推論結果を算出する推論結果算出部と、
   前記第１推論結果及び前記第２推論結果の類似度を算出する類似度算出部と、
   前記類似度に基づいて機械学習における訓練データである第２データを決定する決定部と、
   前記第２データを用いて第２推論モデルを機械学習により訓練する訓練部と、を備え、
   前記類似度は、前記第１推論結果と前記第２推論結果とが一致しているか否か、であり、
   前記第１推論結果と前記第２推論結果とが一致しない場合、前記決定部は、前記第１推論モデルおよび前記第２推論モデルに入力された前記第１データを加工したデータを前記第２データとして決定する、
   または、
   前記類似度は、前記第１推論結果における第１推論値の大きさと前記第２推論結果における第２推論値の大きさとの類似度であり、
   前記第１推論値と前記第２推論値との差分が閾値以上である場合、前記決定部は、前記第１推論モデルおよび前記第２推論モデルに入力された前記第１データを加工したデータを前記第２データとして決定する、
   情報処理システム。
8. センシングデータを取得する取得部と、
   前記センシングデータを第２推論モデルに入力して推論結果を取得する制御部と、
   取得された前記推論結果に基づくデータを出力する出力部と、を備え、
   前記第２推論モデルは、第２データを用いて機械学習により訓練され、
   前記第２データは、機械学習における訓練データであり、類似度に基づいて決定され、
   前記類似度は、第１推論結果及び第２推論結果から算出され、
   前記第１推論結果は、第１データを第１推論モデルに入力して算出され、
   前記第２推論結果は、前記第１データを前記第２推論モデルに入力して算出され、
   前記類似度は、前記第１推論結果と前記第２推論結果とが一致しているか否か、であり、
   前記第１推論結果と前記第２推論結果とが一致しない場合、前記第１推論モデルおよび前記第２推論モデルに入力された前記第１データを加工したデータが前記第２データとして決定される、
   または、
   前記類似度は、前記第１推論結果における第１推論値の大きさと前記第２推論結果における第２推論値の大きさとの類似度であり、
   前記第１推論値と前記第２推論値との差分が閾値以上である場合、前記第１推論モデルおよび前記第２推論モデルに入力された前記第１データを加工したデータが前記第２データとして決定される、
   情報処理装置。

Images