JP6889841B2 - 学習装置、学習結果利用装置、学習方法及び学習プログラム - Google Patents

Description

本発明は、学習装置、学習結果利用装置、学習方法及び学習プログラムに関する。

近年、機械学習に関する研究が幅広く行われている。特に、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）と呼ばれる技術の発展により、人の認識能力と同等又はそれ以上の性能を示す学習モジュールが利用可能となってきている。

機械学習の応用例として、特許文献１には、体重を直接的に取得する圧力センサと、体重を間接的に取得する撮像装置とを使用し、圧力センサの測定値と撮像装置の測定値とを用いた機械学習により、測定の精度を向上させる算出装置が記載されている。

特開２０１６−９９１６５号公報

特許文献１に記載の装置は、圧力センサの測定値を撮像装置の測定値で補完することによって、測定対象が動いた場合でも、精度の良い測定結果を得ようとするものである。しかしながら、特許文献１に記載の装置は、機械学習のために複数種類の測定手段を装置の使用環境に設置する必要があり、複数種類の測定手段を設置する負担の発生、コストの増加及び装置の大型化といったデメリットを有する。

そこで、本発明は、学習用データの取得手段の種類を増やすことなく、複数種類の学習用データを反映させた所望の学習結果を得るための技術を提供することを目的とする。

本発明の一態様に係る学習装置は、第１学習用データ及び第１学習用データに関連付けられた第２学習用データに基づいて、第１学習用データ及び第２学習用データの特徴に応じた第１出力データを出力するように第１学習モジュールを学習させる第１学習制御部と、第１学習用データを第１学習モジュールに入力した場合に第１学習モジュールより出力される第１出力データを教師データとする教師有り学習によって、第１学習用データに基づいて、第２出力データを出力するように第２学習モジュールを学習させる第２学習制御部と、を備える。

この態様によれば、入力データとして第１学習用データ及び第２学習用データを受け付ける第１学習モジュールによって、第１学習用データ及び第２学習用データの特徴に応じた第１出力データが出力され、入力データとして第１学習用データを受け付ける第２学習モジュールによって、第２出力データが出力される。第２学習モジュールは、第１出力データを教師データとする教師有り学習によって学習されるため、第２学習用データの特徴が間接的に含まれる。そのため、第１学習用データと第２学習用データとを使用して所望の性能を有する第１学習モジュールを生成する一方、第１学習用データと第１学習モジュールの第１出力データとを使用して（第２学習用データを使用せずに）第１学習モジュールと同等の性能を有する第２学習モジュールを生成することができる。すなわち、第１学習モジュールの学習に際しては、第１学習用データの取得手段と第２学習用データの取得手段とが必要であるが、第２学習モジュールの学習に際しては、第２学習用データの取得手段が不要となる。結果、学習用データの取得手段の種類を増やすことなく、複数種類の学習用データを反映させた所望の学習モジュールを得ることが可能となり、使用するハードウェアの削減、さらには、データ量の減少によるハードウェアプロセッサの処理負荷の削減が可能になる。

上記態様において、第２学習制御部は、第１学習モジュールの学習が行われた後に、第２学習モジュールを学習させてもよい。

この態様によれば、第１学習モジュールによって第１学習用データ及び第２学習用データの特徴が学習された後に、第１学習モジュールの第１出力データを教師データとして用いて第２学習モジュールを学習させることができるため、第２学習モジュールの学習において、第２学習用データの特徴がより正確に反映される。

上記態様において、第１学習用データは、第２学習制御部によって学習が行われた結果として得られる学習済みの第２学習モジュール又は当該学習済みの第２学習モジュールの複製物に入力する入力データと同じ形式のデータであり、第２学習用データは、第１学習用データと時系列について関連付けがされたデータであり、学習済みの第２学習モジュール又は複製物に入力する入力データと異なる形式のデータであってもよい。

この態様によれば、第１学習モジュールについて、学習済みの第２学習モジュールに入力する入力データと同じ形式の第１学習用データと、第１学習用データを補完又は補強する第２学習用データとに基づいて、多角的な学習を行うことができる。また、第２学習モジュールについて、多角的な学習が行われた第１学習モジュールの第１出力データを教師データとすることで、第１学習用データのみに基づく学習では抽出されない場合のある特徴を抽出するような教師有り学習を行うことができる。

上記態様において、第１学習制御部は、教師無し学習によって、第１学習用データ及び第２学習用データに基づいて、第１出力データを出力するように第１学習モジュールを学習させてもよい。

この態様によれば、第１学習用データ及び第２学習用データの特徴に応じた第１出力データを、第１学習モジュールによって自律的に生成することができ、より客観性の高い特徴抽出が行える。また、教師データを用意する必要が無いため、教師データを生成したり収集したりするための処理負荷や通信負荷が発生せず、教師データを記憶するための記憶容量を確保する必要が無くなる。

上記態様において、第１学習制御部は、第１学習用データ及び第２学習用データの属性情報を含む教師データを用いた教師有り学習によって、第１学習用データ及び第２学習用データに基づいて、第１出力データを出力するように第１学習モジュールを学習させてもよい。

この態様によれば、既存の属性情報を考慮して、第１学習用データ及び第２学習用データの特徴に応じた第１出力データを生成することができる。また、第１出力データに対して意味付けを行う必要が無いため、第１出力データの解釈のために演算や通信を行う必要が無く、処理負荷や通信負荷が抑制される。

上記態様において、第１学習モジュール及び第２学習モジュールは、それぞれニューラルネットワークを含み、第２学習モジュールに含まれるニューラルネットワークは、第１学習モジュールに含まれるニューラルネットワークよりも規模が小さくてもよい。

この態様によれば、比較的計算資源が豊富な学習装置において高負荷な処理を行い、学習結果利用装置において設定されるニューラルネットワークの規模を小さく抑えることができ、学習結果利用装置の処理負荷や通信負荷を抑制することができる。

上記態様において、第１学習用データは、対象の画像データを含み、第２学習用データは、画像データが撮影された時に、センサによって対象を測定したセンシングデータを含み、第１出力データ及び第２出力データは、対象に関するデータを含んでもよい。

この態様によれば、画像データの特徴に応じた第２出力データを出力する第２学習モジュールが、画像データから抽出しきれない、センシングデータに含まれる特徴を間接的に学習することができ、より精度の高い第２出力データを出力する第２学習モジュールが得られる。

上記態様において、第１学習用データは、人を撮影した画像データを含み、第２学習用データは、画像データが撮影された時における人のバイタルデータを含み、第１出力データ及び第２出力データは、人の感情に対応するデータであってもよい。

この態様によれば、撮影された人の特徴に応じた第２出力データを出力する第２学習モジュールが、画像データから抽出しきれない、バイタルデータに含まれる特徴を間接的に学習することができ、より精度の高い第２出力データを出力する第２学習モジュールが得られる。

上記態様において、第１学習用データは、車両を撮影した画像データを含み、第２学習用データは、画像データが撮影された時に、車両に備えられたセンサによって測定されたセンシングデータを含み、第１出力データ及び第２出力データは、車両の動作に対応するデータであってもよい。

この態様によれば、撮影された車両の特徴に応じた第２出力データを出力する第２学習モジュールが、画像データから抽出しきれない、センシングデータに含まれる特徴を間接的に学習することができ、より精度の高い第２出力データを出力する第２学習モジュールが得られる。

本発明の一態様に係る学習結果利用装置は、上記態様の学習装置に備えられた第２学習制御部によって学習が行われた結果として得られた学習済みの第２学習モジュール又は当該学習済みの第２学習モジュールの複製物を取得して、第３学習モジュールとして設定する学習モジュール設定部と、第１学習用データと同じ形式を有するデータを、第３学習モジュールに入力する入力部と、第３学習モジュールからの出力データを出力する出力部と、を備える。

この態様によれば、入力データとして第１学習用データと同じ形式を有するデータを受け付ける第３学習モジュールによって、入力データの特徴に応じた出力データが出力される。第３学習モジュールは、学習済みの第２学習モジュール又は当該学習済みの第２学習モジュールの複製物によって設定されるため、第３学習モジュールには、第２学習用データの特徴が間接的に含まれる。そのため、学習用データの取得手段の種類を増やすことなく、複数種類の学習用データを反映させた所望の学習モジュールを得られる。

本発明の一態様に係る学習方法は、機械学習を制御する制御部を備える学習装置において、制御部が、第１学習用データ及び第１学習用データに関連付けられた第２学習用データに基づいて、第１学習用データ及び第２学習用データの特徴に応じた第１出力データを出力するように第１学習モジュールを学習させるステップと、制御部が、第１学習用データを第１学習モジュールに入力した場合に第１学習モジュールより出力される第１出力データを教師データとする教師有り学習によって、第１学習用データに基づいて、第２出力データを出力するように第２学習モジュールを学習させるステップと、を含む。

この態様によれば、入力データとして第１学習用データ及び第２学習用データを受け付ける第１学習モジュールによって、第１学習用データ及び第２学習用データの特徴に応じた第１出力データが出力され、入力データとして第１学習用データを受け付ける第２学習モジュールによって、第２出力データが出力される。第２学習モジュールは、第１出力データを教師データとする教師有り学習によって学習されるため、第２学習用データの特徴が間接的に含まれる。そのため、第２学習用データの取得手段を使用せずに、第２学習用データを反映させた第２学習モジュールが得られる。

本発明の一態様に係る学習済みの学習モジュール又は当該学習済みの学習モジュールの複製物を生産する方法は、上記態様の学習方法によって第２学習モジュールを学習させた結果として得られた学習済みの第２学習モジュール又は当該学習済みの第２学習モジュールの複製物を出力するステップを含む。

この態様によれば、第２学習用データの取得手段を使用せずに、第２学習用データを反映させた第２学習モジュール又は当該第２学習モジュールの複製物が得られる。

本発明の一態様に係る学習済みの学習モジュール又は当該学習済みの学習モジュールの複製物は、上記態様の学習方法によって第２学習モジュールを学習させた結果として得られる。

この態様によれば、第２学習用データの取得手段を使用せずに、第２学習用データを反映させた学習済みの学習モジュール又は当該学習済みの学習モジュールの複製物が得られる。

本発明の一態様に係る学習プログラムは、コンピュータを、第１学習用データ及び第１学習用データに関連付けられた第２学習用データに基づいて、第１学習用データ及び第２学習用データの特徴に応じた第１出力データを出力するように第１学習モジュールを学習させる第１学習制御部と、第１学習用データを第１学習モジュールに入力した場合に第１学習モジュールより出力される第１出力データを教師データとする教師有り学習によって、第１学習用データに基づいて、第２出力データを出力するように第２学習モジュールを学習させる第２学習制御部と、として機能させる。

この態様によれば、入力データとして第１学習用データ及び第２学習用データを受け付ける第１学習モジュールによって、第１学習用データ及び第２学習用データの特徴に応じた第１出力データが出力され、入力データとして第１学習用データを受け付ける第２学習モジュールによって、第２出力データが出力される。第２学習モジュールは、第１出力データを教師データとする教師有り学習によって学習されるため、第２出力データには、第２学習用データの特徴が間接的に含まれる。そのため、第２学習用データの取得手段を使用せずに、第２学習用データを反映させた第２学習用モジュールが得られる。

本発明によれば、学習用データの取得手段の種類を増やすことなく、複数種類の学習用データを反映させた所望の学習結果を得ることのできる技術が得られる。

本発明の実施形態に係る学習装置及び学習結果利用装置のネットワーク構成を示す図である。 本発明の実施形態に係る学習装置の物理的構成を示す図である。 本発明の実施形態に係る学習装置の機能ブロック図である。 本発明の実施形態に係る学習結果利用装置の機能ブロック図である。 本発明の実施形態に係る学習装置が備える第１ニューラルネットワークの入出力関係を示す概念図である。 本発明の実施形態に係る学習装置が備える第２ニューラルネットワークの入出力関係を示す概念図である。 本発明の実施形態に係る学習結果利用装置が備える第３ニューラルネットワークの入出力関係を示す概念図である。 本発明の実施形態に係る学習装置によって実行される処理のフローチャートである。 本発明の実施形態に係る学習結果利用装置によって実行される処理のフローチャートである。

添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

図１は、本発明の実施形態に係る学習装置１０及び学習結果利用装置２０のネットワーク構成を示す図である。本実施形態に係る学習装置１０は、通信ネットワークＮを介して、学習結果利用装置２０、１又は複数のセンサ３０及びセンシングデータ記憶部ＤＢに接続される。通信ネットワークＮは、有線又は無線回線により構成された有線通信網及び無線通信網のいずれであってもよく、インターネットやＬＡＮ（Local Area Network）であってよい。なお、図１において、センシングデータ記憶部ＤＢ、学習装置１０及び学習結果利用装置２０は、それぞれ別体として構成されているが、これらを一体として構成してもよい。すなわち、センシングデータ記憶部ＤＢ、学習装置１０及び学習結果利用装置２０の全てを一体として構成してもよく、センシングデータ記憶部ＤＢ、学習装置１０及び学習結果利用装置２０のうちの２つを選択的に一体として構成してもよい。このとき、一体として構成された、センシングデータ記憶部ＤＢ、学習装置１０及び学習結果利用装置２０の各要素間は、内部バスを介して接続される。

学習装置１０は、センサ３０から取得したセンシングデータ及びセンシングデータ記憶部ＤＢに記憶されたセンシングデータの少なくともいずれかを含む学習用データに基づいて、第１学習モジュール及び第２学習モジュールの学習を行う。本実施形態に係る学習装置１０は、第１学習モジュール及び第２学習モジュールを備えるが、第１学習モジュール及び第２学習モジュールは、学習装置１０と別体の装置に備えられてもよい。なお、学習モジュールとは、学習能力を備えた専用若しくは汎用のハードウェア若しくはソフトウェアの一単位、又は、当該ハードウェア若しくはソフトウェアの一単位の組合せを含む。ここで、学習能力とは、あるタスクの処理能力を、学習用データから得られる経験に基づいて向上させることのできる能力をいう。

学習結果利用装置２０は、学習装置１０による学習結果を用いて、入力データの特徴に応じた出力データを出力する。本実施形態に係る学習装置１０は、学習済みの第２学習モジュール又は当該学習済みの第２学習モジュールの複製物を学習装置１０から取得して、第３学習モジュールとして設定する。なお、学習済みの学習モジュールの複製物とは、学習済みの学習モジュールの機能を再現することができる専用若しくは汎用のハードウェア若しくはソフトウェアの一単位、又は、当該ハードウェア若しくはソフトウェアの一単位の組合せを含む。学習済みの学習モジュールの複製物は、必ずしも学習能力を備えていなくてもよい。また、学習済みの学習モジュールの構成と、学習済みの学習モジュールの複製物の構成は、必ずしも一致していなくてもよい。また、学習済みの学習モジュールの複製物は、学習が完了した学習済みの学習モジュール又は当該学習済みの学習モジュールの複製物に対して追加学習を行ったものを含む。本実施形態に係る第２学習モジュールの場合、学習済みの第２学習モジュールの複製物は、学習済みの第２学習モジュール又は当該学習済みの第２学習モジュールの複製物について、第１学習用データと同じ形式の追加学習用データに基づいて、追加出力データを出力するように追加学習させた結果として得られる学習モジュールを含む。また、学習済みの第２学習モジュールの複製物は、学習済みの第２学習モジュール又は当該学習済みの第２学習モジュールの複製物について、第１学習用データに基づいて、追加出力データを出力するように追加学習させた結果として得られる学習モジュールを含む。また、学習済みの学習モジュールの複製物は、いわゆる蒸留によって得られる学習モジュールを含む。すなわち、学習済みの学習モジュールの複製物は、学習済みの学習モジュールの機能を保つように、学習済みの学習モジュールと構造が異なる他の学習モジュールを学習させることで得られる、学習済みの当該他の学習モジュールを含む。ここで、当該他の学習モジュールは、学習済みの学習モジュールよりも構造が単純であってよく、よりデプロイに適したものであってよいし、当該他の学習モジュールの学習には、学習済みの学習モジュールの出力データを用いてよい。なお、学習済みの学習モジュールの複製物は、学習モジュールの学習過程において、オーバーフィッティングを防ぐ正則化の方法を変えたり、バックプロパゲーションの学習率を変えたり、重み係数の更新アルゴリズムを変えたりして得られる学習済みの学習モジュールを含む。また、学習済みの第２学習モジュール又は当該学習済みの第２学習モジュールの複製物を取得するとは、学習済みの第２学習モジュールの機能を学習結果利用装置２０において再現するために必要な情報を取得することをいう。例えば、第２学習モジュールがニューラルネットワークを含む場合、学習済みの第２学習モジュール又は当該学習済みの第２学習モジュールの複製物を取得するとは、少なくとも、ニューラルネットワークのレイヤ数、各レイヤに関するノード数、ノード間を繋ぐリンクの重みパラメータ、各ノードに関するバイアスパラメータ及び各ノードに関する活性化関数の関数形に関する情報を取得することをいう。

センサ３０は、物理量を検出する物理量センサ及び情報を検出する情報センサのいずれであってもよい。物理量センサは、例えば光を検出して画像データや動画データを出力するカメラや、人の心拍を検出して心拍データを出力する心拍センサ、人の血圧を検出して血圧データを出力する血圧センサ及び人の体温を検出して体温データを出力する体温センサ等のバイタルセンサを含み、その他任意の物理量を検出して電気的信号を出力するセンサを含む。情報センサは、例えば統計データから特定のパターンを検出するセンサを含み、その他任意の情報を検出するセンサを含む。

センシングデータ記憶部ＤＢは、センサ３０によって出力されたセンシングデータを記憶する。同図では、センシングデータ記憶部ＤＢを単一の記憶部として示しているが、センシングデータ記憶部ＤＢは、１又は複数のファイルサーバによって構成されてよい。

図２は、本発明の実施形態に係る学習装置１０の物理的構成を示す図である。学習装置１０は、ハードウェアプロセッサに相当するＣＰＵ（Central Processing Unit）１０ａと、メモリに相当するＲＡＭ（Random Access Memory）１０ｂと、メモリに相当するＲＯＭ（Read only Memory）１０ｃと、通信インタフェース１０ｄと、入力部１０ｅと、表示部１０ｆとを有する。これら各構成は、バスを介して相互にデータ送受信可能に接続される。なお、ハードウェアプロセッサの種類はＣＰＵに限定されない。例えば、ハードウェアプロセッサとして、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field-programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）を単独で、又は、組合せて使用することができる。

ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行やデータの演算、加工を行う。ＣＰＵ１０ａは、メタデータを生成するためのアプリケーションを実行する演算装置である。ＣＰＵ１０ａは、入力部１０ｅや通信インタフェース１０ｄから種々の入力データを受け取り、入力データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂやＲＯＭ１０ｃに格納したりする。

ＲＡＭ１０ｂは、データの書き換えが可能な記憶部であり、例えば半導体記憶素子で構成される。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するアプリケーション等のプログラムやデータを記憶する。

ＲＯＭ１０ｃは、データの読み出しのみが可能な記憶部であり、例えば半導体記憶素子で構成される。ＲＯＭ１０ｃは、例えばファームウェア等のプログラムやデータを記憶する。

通信インタフェース１０ｄは、学習装置１０を通信ネットワークＮに接続するハードウェアインタフェースである。

入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボードやマウス、タッチパネルで構成される。

表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成される。

学習装置１０は、一般のパーソナルコンピュータのＣＰＵ１０ａによって本実施形態に係る学習プログラムを実行することで構成されてよい。学習プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信インタフェース１０ｄにより接続される通信ネットワークＮを介して提供されてもよい。

なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、学習装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えてもよい。

なお、学習結果利用装置２０も、学習装置１０と同様の物理的構成を有する。学習結果利用装置２０は、一般のパーソナルコンピュータのＣＰＵによって学習結果利用プログラムを実行することで構成されてよい。学習結果利用プログラムは、ＲＡＭやＲＯＭ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信インタフェースにより接続される通信ネットワークＮを介して提供されてもよい。

図３は、本発明の実施形態に係る学習装置１０の機能ブロック図である。学習装置１０は、通信部１１、第１学習制御部１２、第１学習結果抽出部１３、第１ニューラルネットワーク１００、第１学習結果出力部１４、第２学習制御部１５、第２学習結果抽出部１６、第２ニューラルネットワーク２００及び第２学習結果出力部１７を備える。ここで、第１学習制御部１２及び第２学習制御部１５は、機械学習を制御する制御部である。また、第１ニューラルネットワーク１００は、第１学習モジュールの一例であり、第２ニューラルネットワーク２００は、第２学習モジュールの一例である。学習装置１０は、ニューラルネットワーク以外の学習モジュールを備えてもよい。

第１学習制御部１２は、第１学習用データ及び第１学習用データに関連付けられた第２学習用データに基づいて、第１学習用データ及び第２学習用データの特徴に応じた第１出力データを出力するように第１ニューラルネットワーク１００を学習させる。第１学習用データは、例えば対象の画像データであってよく、第２学習用データは、画像データが撮影された時に、センサによって対象を測定した又は対象から測定されたセンシングデータであってよい。この場合、第１出力データは、画像データ及びセンシングデータの特徴に応じたデータであり、撮影される対象に関するデータである。第１ニューラルネットワーク１００は、画像データの学習に用いられることのあるＣＮＮ（Convolutional Neural Network）や、時系列データの学習に用いられることのあるＲＮＮ（Recurrent Neural Network）であってよい。第１ニューラルネットワーク１００の学習結果は、第１学習結果抽出部１３によって抽出され、第１学習結果出力部１４によって第２学習制御部１５に対して出力される。

第１学習制御部１２は、教師無し学習によって、第１学習用データ及び第２学習用データに基づいて、第１出力データを出力するように第１ニューラルネットワーク１００を学習させてよい。教師無し学習によって第１ニューラルネットワーク１００を学習させることによって、第１学習用データ及び第２学習用データの特徴に応じた第１出力データを第１ニューラルネットワーク１００によって自律的に生成することができ、より客観性の高い特徴抽出が行える。また、教師データを用意する必要が無いため、教師データを生成したり収集したりするための処理負荷や通信負荷が発生せず、教師データを記憶するための記憶容量を確保する必要が無くなる。

第１学習制御部１２は、第１学習用データ及び第２学習用データの属性情報を含む教師データを用いた教師有り学習によって、第１学習用データ及び第２学習用データに基づいて、第１出力データを出力するように第１ニューラルネットワーク１００を学習させてもよい。ここで、学習用データの属性情報とは、学習用データの特徴を示す情報であり、センサが測定する物理量の種類、センサの種類、センシングデータの種類及びセンサにより測定する対象に関する情報を含んでよい。教師有り学習によって第１ニューラルネットワーク１００を学習させることによって、既存の属性情報を考慮して、第１学習用データ及び第２学習用データの特徴に応じた第１出力データを生成することができる。また、第１出力データに対して意味付けを行う必要が無いため、第１出力データの解釈のために演算や通信を行う必要が無く、処理負荷や通信負荷が抑制される。

第２学習制御部１５は、第１学習用データを第１ニューラルネットワーク１００に入力した場合に第１ニューラルネットワーク１００より出力される第１出力データを教師データとする教師有り学習によって、第１学習用データに基づいて、第２出力データを出力するように第２ニューラルネットワーク２００を学習させる。第1出力データを教師データとする教師有り学習によって、第２ニューラルネットワーク２００は、第１ニューラルネットワーク１００と学習目的を共有し、その結果、第１ニューラルネットワーク１００と同種の能力を獲得する。すなわち、第２ニューラルネットワーク２００の第２出力データと第１ニューラルネットワーク１００の第1出力データとは、同じ項目についての同じ形式によるデータとなる。ここで、同種の能力とは、例えば、特定の対象、状態あるいは動作についての同種の解析、推定、制御等を行う能力、および同じ要件に基づいて判定、識別、認識を行う能力、を挙げることができる。同じ項目についての同じ形式によるデータとは、例えば、同じ制御変数についての同じ単位の制御値であったり、同じ判定項目（不良の有無、特定物体の有無等）についての同じ規則によるスコアである。仮に、第１学習用データが対象の画像データであり、第２学習用データが画像データと同じ時系列のセンシングデータである場合、教師データは、学習済みの第１ニューラルネットワーク１００に画像データを入力した場合に、学習済みの第１ニューラルネットワーク１００から出力される第１出力データであり、当該画像データを第２ニューラルネットワーク２００に入力した場合に第２ニューラルネットワーク２００から出力される第２出力データは、第１出力データと同じ項目についての同じ形式のデータ、すなわち画像データの特徴に応じたデータであり、撮影される対象に関するデータである。第２ニューラルネットワーク２００の学習結果は、第２学習結果抽出部１６によって抽出され、第２学習結果出力部１７によって通信部１１を介して外部に出力される。

なお、本実施形態では、第１ニューラルネットワーク１００の学習に用いる第１学習用データと、第２ニューラルネットワーク２００の学習に用いる第１学習用データは同じデータであるが、この例に限られず、第１ニューラルネットワーク１００の学習に用いる第１学習用データと、第２ニューラルネットワーク２００の学習に用いる第１学習用データは、少なくとも形式が同じデータ（同種のデータ）であればよい。すなわち、第１ニューラルネットワーク１００の学習に用いる第１学習用データと、第２ニューラルネットワーク２００の学習に用いる第１学習用データは、同じ形式のデータであるが一部又は全部の内容が異なるデータであってもよい。例えば、第１ニューラルネットワーク１００の学習において、第１学習用データとしての第１群の画像データ及び第２学習用データとしてのセンシングデータを用いた場合、第２ニューラルネットワーク２００の学習を行うにあたって、第１学習用データとして第２群の画像データを学習済みの第１ニューラルネットワーク１００に入力して、学習済みの第１ニューラルネットワーク１００から出力される第１出力データを教師データとして、第２群の画像データに基づいて第２ニューラルネットワーク２００の学習を行ってもよい。ここでのデータの形式とは、画像形式（カラー画像、赤外線画像、距離画像等）や数値形式（２値、連続値等）等であって、データ取得手段（カメラ、センサ、測定装置等）の種類の違いによって同じ形式か異なる形式かを区別してもよいし、データ取得手段の種類に加えて、データ取得対象（画像の被写体、センシング対象物等）も考慮して同じ形式か異なる形式かを区別してもよい。本実施形態では、第１群の画像データと第２群の画像データとはともに画像データ（同じ形式のデータ）であり、第１群の画像データと第２群の画像データとは全く同じ複数の画像データから構成されていてもよいし、第２群の画像データの一部または全部が第１群の画像データとは異なる画像データから構成されていてもよい。

本実施形態に係る学習装置１０によれば、入力データとして第１学習用データ及び第２学習用データを受け付ける第１ニューラルネットワーク１００によって、第１学習用データ及び第２学習用データの特徴に応じた第１出力データが出力され、入力データとして第１学習用データを受け付ける第２ニューラルネットワーク２００によって、第１学習用データの特徴に応じた第２出力データが出力される。第２ニューラルネットワーク２００は、第１出力データを教師データとする教師有り学習によって学習されるため、第２出力データには、第２学習用データの特徴が間接的に含まれる。そのため、学習用データの測定手段の種類を増やすことなく、所望の性能を有するニューラルネットワークが得られる。具体的には、本実施形態に係る学習装置１０によれば、第２学習用データを使用することなく、第１学習用データ及び第２学習用データを測定する複数の測定手段を用いた場合と同等の性能を有するニューラルネットワークが得られる。第２学習用データの測定手段を使用せずに所望の測定結果を反映させたニューラルネットワークが得られるので、学習済みのニューラルネットワークを利用する学習結果利用装置２０のハードウェアの削減、さらには、データ量の減少によるハードウェアプロセッサの処理負荷の削減が可能になる。

第２学習制御部１５は、第１ニューラルネットワーク１００の学習が行われた後に、第２ニューラルネットワーク２００を学習させる。これにより、第１ニューラルネットワーク１００によって第１学習用データ及び第２学習用データの特徴が学習された後に、第１ニューラルネットワーク１００から出力される第１出力データを教師データとして用いて第２ニューラルネットワーク２００を学習させることができるため、第２ニューラルネットワーク２００の学習に対して、第２学習用データの特徴がより正確に反映される。

図４は、本発明の実施形態に係る学習結果利用装置２０の機能ブロック図である。学習結果利用装置２０は、学習結果入力部２３１、ニューラルネットワーク設定部２３２、第３ニューラルネットワーク２３３、制御部２３４、入力部２３５、通信部２３６、第３ニューラルネットワーク２３３に入力するデータを取得するデータ取得部２３７及び出力部２３８を備える。ここで、第３ニューラルネットワーク２３３は、学習モジュールの一例であり、学習結果利用装置２０は、ニューラルネットワーク以外の学習モジュールを備えてもよく、その場合、ニューラルネットワーク設定部２３２は、ニューラルネットワーク以外の学習モジュールを設定するものに置き換わることとなる。なお、データ取得部２３７は、通信部２３６を介してデータを取得してもよく、通信部２３６以外の通信を介してデータを取得してもよい。

学習結果入力部２３１は、学習結果の入力を受け付ける。学習結果入力部２３１は、学習装置１０の第２学習結果出力部１７によって出力される学習結果を、通信部２３６を介して受け付ける。ニューラルネットワーク設定部２３２は、学習装置１０に備えられた第２学習制御部１５によって学習が行われた結果として得られた学習済みの第２ニューラルネットワーク２００又は当該学習済みの第２ニューラルネットワーク２００の複製物を取得して、第３ニューラルネットワーク２３３として設定する。制御部２３４は、データ取得部２３７及び入力部２３５を制御して、指定された入力データを第３ニューラルネットワーク２３３に入力し、出力データを出力させる。入力部２３５は、第１学習用データと同じ形式を有するデータを、第３ニューラルネットワーク２３３に入力する。出力部２３８は、第３ニューラルネットワーク２３３からの出力データを出力する。第３ニューラルネットワーク２３３からの出力データは、出力部２３８によって通信部２３６を介して出力される。

本実施形態に係る学習結果利用装置２０によれば、入力データとして第１学習用データと同じ形式を有するデータを受け付ける第３ニューラルネットワーク２３３によって、入力データの特徴に応じた出力データが出力される。第３ニューラルネットワーク２３３は、学習済みの第２ニューラルネットワーク２００又は当該学習済みの第２ニューラルネットワーク２００の複製物によって設定されるため、第３ニューラルネットワーク２３３には、第２学習用データの特徴が間接的に含まれる。そのため、測定手段を増やすことなく、所望の性能を有する学習モジュールが得られる。その結果、第３ニューラルネットワーク２３３を使用する環境では、センシングデータ（第２学習用データ）の測定に用いた測定手段を使用せずとも、所望の学習結果を得ることができ、学習結果利用装置２０を構成するハードウェアの削減、さらには、データ量の減少によるハードウェアプロセッサの処理負荷の削減が可能になる。

本実施形態において、第１学習用データは、学習装置１０の第２学習制御部１５によって学習が行われた結果として得られる学習済みの第２ニューラルネットワーク２００又は当該学習済みの第２ニューラルネットワーク２００の複製物に入力する入力データと同じ形式のデータであり、第２学習用データは、第１学習用データと時系列について関連付けがされたデータであり、学習済みの第２ニューラルネットワーク２００又は複製物に入力する入力データと異なる形式のデータであってよい。第２学習用データは、第１学習用データを補完又は補強するデータであり、第１学習用データのみに基づく学習では抽出できない特徴を抽出するためのデータである。また、第２学習用データは、第１学習用データと同時刻に取得されてもよいし、近接した時刻に取得されてもよい。第１学習用データと時系列について関連付けがされた第２学習用データは、第１学習用データの取得前後の所定期間以内に取得された第２学習用データを含む。これにより、第１ニューラルネットワーク１００について、学習済みの第２ニューラルネットワーク２００に入力する入力データと同じ形式の第１学習用データと、第１学習用データを補完又は補強する第２学習用データとに基づいて、多角的な学習を行うことができる。また、第２ニューラルネットワーク２００について、多角的な学習が行われた第１ニューラルネットワーク１００の第１出力データを教師データとすることで、第１学習用データのみに基づく学習では抽出されない場合のある特徴を抽出するような教師有り学習を行うことができる。

また、本実施形態に係る学習装置１０において、第２ニューラルネットワーク２００は、第１ニューラルネットワーク１００よりも規模が小さい。ここで、ニューラルネットワークの規模とは、ニューラルネットワークに含まれるノード数、リンク数及びレイヤ数等によって測られるネットワークの規模である。第２ニューラルネットワークの規模が、第１ニューラルネットワーク１００の規模より小さいことで、比較的計算資源が豊富な学習装置１０において高負荷な処理を行い、学習結果利用装置２０において設定される第３ニューラルネットワーク２３３の規模を小さく抑えることができ、学習結果利用装置２０の処理負荷や通信負荷を抑制することができる。

図５は、本発明の実施形態に係る学習装置１０が備える第１ニューラルネットワーク１００の入出力関係を示す概念図である。同図に示す例では、第１学習用データは、人を撮影した画像データであり、第２学習用データは、画像データが撮影された時における人のバイタルデータである。なお、画像データが撮影された時とは、画像データの撮影と同時及びその前後の時間的な近傍を含む。また、第１学習用データは、第１画像データ３０１、第２画像データ３０２及び第３画像データ３０３を含む。また、第２学習用データは、第１バイタルデータ４０１、第２バイタルデータ４０２及び第３バイタルデータ４０３を含む。ここで、第１バイタルデータ４０１は、第１画像データ３０１が撮影された時における被撮影者のバイタルデータである。すなわち、第１バイタルデータ４０１は、第１画像データ３０１と時系列が同じデータである。同様に、第２バイタルデータ４０２は、第２画像データ３０２が撮影された時における被撮影者のバイタルデータであり、第３バイタルデータ４０３は、第３画像データ３０３が撮影された時における被撮影者のバイタルデータである。なお、バイタルデータは、心拍数や血圧、体温、血中成分量、尿中成分量、脳波等の任意の生体データであってよい。

学習装置１０は、第１学習用データ及び第２学習用データに基づいて、第１学習用データ及び第２学習用データの特徴に応じた第１出力データを出力するように第１ニューラルネットワーク１００を学習させる。本例の場合、第１出力データは、第１データ５０１、第２データ５０２及び第３データ５０３を含み、それぞれ数値データである。第１データ５０１は、第１ニューラルネットワーク１００に対する入力データとして第１画像データ３０１及び第１バイタルデータ４０１を入力した場合に出力される出力データであり、本例の場合、「（０．９，０．０５，０．０５）」という３次元の数値ベクトルである。同様に、第２データ５０２は、第１ニューラルネットワーク１００に対する入力データとして第２画像データ３０２及び第２バイタルデータ４０２を入力した場合に出力される出力データであり、「（０．０５，０．９，０．０５）」という３次元の数値ベクトルである。また、第３データ５０３は、第１ニューラルネットワーク１００に対する入力データとして第３画像データ３０３及び第３バイタルデータ４０３を入力した場合に出力される出力データであり、「（０．０５，０．０５，０．９）」という３次元の数値ベクトルである。第１出力データは、人の感情に対応するデータであり、各成分は、所定の感情に対応する対応度を表す。成分の数値が大きいほど、当該成分に対応する感情を示していると判定される確度が高まる。

第１学習制御部１２によって、教師無し学習によって、第１ニューラルネットワーク１００の学習を行った場合、学習装置１０のユーザは、第１ニューラルネットワーク１００の入力データと出力データを比較して、出力データに対して意味付けを行う。本例では、第１データ５０１について、「怒り」という意味付けが行われ、第２データ５０２について、「リラックス」という意味付けが行われ、第３データ５０３について、「笑い」という意味付けが行われる。

第１学習制御部１２によって、第１学習用データ及び第２学習用データの属性情報を含む教師データを用いた教師有り学習によって、第１ニューラルネットワーク１００の学習を行った場合、学習装置１０のユーザは、出力データに対して意味付けを行う必要が無い。第１ニューラルネットワーク１００は、出力データとして出力される３次元ベクトルに含まれる第１成分は、怒りの度合いを示す量であり、第２成分はリラックスの度合いを示す量であり、第３成分は笑いの度合いを示す量であることを自律的に学習する。

学習装置１０は、画像データとバイタルデータの両方を学習用データとして用いて第１ニューラルネットワーク１００の学習を行うことで、画像データのみを学習用データとして用いるよりも、人の感情をより良く推測することのできる学習結果を得ることができる。ここで、画像データは、ありふれたセンサであるカメラによって取得可能なデータであり、撮影対象となる人にセンサを装着させずとも取得可能なデータである。一方、バイタルデータは、専用のセンサを用いなければ取得できないデータであり、測定対象となる人にセンサを装着させなければ取得できないデータである。一般に、学習装置１０は、取得が比較的容易な第１学習用データと、取得が比較的困難であるが、第１学習用データを補完又は補強する第２学習用データと、を組み合わせて第１ニューラルネットワーク１００の学習を行ってよい。

図６は、本発明の実施形態に係る学習装置１０が備える第２ニューラルネットワーク２００の入出力関係を示す概念図である。同図に示す第１学習用データは、図５に示す第１学習用データと同一であり、第１画像データ３０１、第２画像データ３０２及び第３画像データ３０３を含む。

学習装置１０は、第１学習用データを第１ニューラルネットワーク１００に入力した場合に第１ニューラルネットワーク１００より出力される第１出力データを教師データとする教師有り学習によって、第１学習用データに基づいて、第２出力データを出力するように第２ニューラルネットワーク２００を学習させる。本例の場合、第２出力データは、第４データ６０１、第５データ６０２及び第６データ６０３を含み、それぞれ数値データである。第４データ６０１は、第２ニューラルネットワーク２００に対する入力データとして第１画像データ３０１を入力した場合に出力される出力デ
ータであり、本例の場合、「（０．９６，０．０２，０．０２）」という３次元の数値ベクトルである。同様に、第５データ６０２は、第２ニューラルネットワーク２００に対する入力データとして第２画像データ３０２を入力した場合に出力される出力データであり、「（０．０２，０．９６，０．０２）」という３次元の数値ベクトルである。また、第６データ６０３は、第２ニューラルネットワーク２００に対する入力データとして第３画像データ３０３を入力した場合に出力される出力データであり、「（０．０２，０．０２，０．９６）」という３次元の数値ベクトルである。第１出力データと同様に、第２出力データは、人の感情に対応するデータである。

第２学習制御部１５は、学習済みの第１ニューラルネットワーク１００に第１学習用データを入力した場合に学習済みの第１ニューラルネットワーク１００から出力される第１出力データを教師データとする教師有り学習によって、第２ニューラルネットワーク２００の学習を行うため、学習装置１０のユーザは、第２出力データに対して意味付けを行う必要が無い。第２ニューラルネットワーク２００は、第２出力データとして出力される３次元ベクトルに含まれる第１成分は、怒りの度合いを示す量であり、第２成分はリラックスの度合いを示す量であり、第３成分は笑いの度合いを示す量であることを自律的に学習する。

学習装置１０は、学習済みの第１ニューラルネットワーク１００に第１学習用データを入力した場合に学習済みの第１ニューラルネットワーク１００から出力される出力データを教師データとして用いて、第２ニューラルネットワーク２００の学習を行うことで、学習用データとして画像データのみを用いて、バイタルデータを加味した学習結果を得ることができ、人の感情をより良く推測することのできる学習結果を得ることができる。ここで、画像データは、ありふれたセンサであるカメラによって取得可能なデータであるため、学習済みの第２ニューラルネットワーク２００は、取得が比較的容易なセンシングデータのみを入力データとして、取得が比較的困難なセンシングデータを補完的に用いた場合と類似した識別性能を発揮することができる。

画像データ及びセンシングデータに基づいて学習された第１ニューラルネットワーク１００の第１出力データを教師データとして用いて、第２出力データを出力するように第２ニューラルネットワーク２００の学習が行われることで、第２ニューラルネットワーク２００に対して、画像データのみからでは抽出しきれない特徴を間接的に学習させることができ、当該センシングデータが反映された第２ニューラルネットワーク２００が得られる。その結果、第２学習モジュールとしての第２ニューラルネットワークを使用する環境では、センシングデータ（第２学習用データ）の測定に用いた測定手段を使用せずとも、所望の学習結果を得ることができ、使用するハードウェアの削減、さらには、データ量の減少によるハードウェアプロセッサの処理負荷の削減が可能になる。

また、人の画像データ及びバイタルデータに基づいて学習された第１ニューラルネットワーク１００の第１出力データを教師データとして用いて、第２出力データを出力するように第２ニューラルネットワーク２００の学習が行われることで、第２ニューラルネットワーク２００に対して、画像データのみからでは抽出しきれない特徴を間接的に学習させることができ、人の感情をより良く推定することのできる第２ニューラルネットワーク２００が得られる。その結果、第２学習モジュールとしての第２ニューラルネットワークを使用する環境では、バイタルデータ（第２学習用データ）の測定に用いた測定手段を使用せずとも、所望の学習結果を得ることができ、使用するハードウェアの削減、さらには、データ量の減少によるハードウェアプロセッサの処理負荷の削減が可能になる。

なお、本例では、説明を簡明にするため、第１学習用データの特徴が３種類である場合について説明したが、一般に、第１学習用データには４種類以上の多数の特徴が含まれる。例えば、第１学習用データに数千種類の特徴が含まれている場合、第１ニューラルネットワーク１００及び第２ニューラルネットワーク２００は、第１学習用データの数千種類の特徴を分類するように学習され、入力データが当該数千種類の分類のいずれに近いデータであるか判断して、入力データの特徴に応じた出力データを出力する。

なお、本例では、第１ニューラルネットワーク１００と第２ニューラルネットワーク２００とを備え、第１学習用データと第２学習用データを用いて学習を行う学習装置１０について説明したが、学習装置１０の構成はこの例に限られない。すなわち、学習装置１０は、３つ以上のニューラルネットワークを備えてもよいし、３種類以上の学習用データを用いて学習を行うように構成されてもよい。例えば、学習装置１０は、第１学習用データ、第２学習用データ及び第３学習用データに基づいて、第１学習用データ、第２学習用データ及び第３学習用データの特徴に応じた第１出力データを出力するように学習される第１ニューラルネットワークと、第１出力データを教師データとする教師有り学習によって、第１学習用データに基づいて、第２出力データを出力するように学習される第２ニューラルネットワークと、を備えてもよい。また、例えば学習装置１０は、第１学習用データ、第２学習用データ及び第３学習用データに基づいて、第１学習用データ、第２学習用データ及び第３学習用データの特徴に応じた第１出力データを出力するように学習される第１ニューラルネットワークと、第１出力データを教師データとする教師有り学習によって、第１学習用データ及び第２学習用データに基づいて、第２出力データを出力するように学習される第２ニューラルネットワークと、第２出力データを教師データとする教師有り学習によって、第１学習用データに基づいて、第３出力データを出力するように学習される第３ニューラルネットワークと、を備えていてもよい。また、例えば、学習装置１０は、第１学習用データ及び第２学習用データに基づいて、第１学習用データ及び第２学習用データの特徴に応じた第１出力データを出力するように学習される第１ニューラルネットワークと、第１出力データを教師データとする教師有り学習によって、第１学習用データに基づいて、第２出力データを出力するように学習される複数の第２ニューラルネットワークと、を備えてもよい。ここで、複数の第２ニューラルネットワークは、レイヤ数、ユニット数及びリンク数等のニューラルネットワークの構造がそれぞれ異なるものでよく、それぞれ異なる第２出力データを出力するものであってよい。

図７は、本発明の実施形態に係る学習結果利用装置２０が備える第３ニューラルネットワーク２３３の入出力関係を示す概念図である。同図に示す入力データは、第４画像データ３１０を含む。

学習結果利用装置２０は、学習装置１０に備えられた第２学習制御部１５によって学習が行われた結果として得られた学習済みの第２ニューラルネットワーク２００又は当該学習済みの第２ニューラルネットワーク２００の複製物を取得して、第３ニューラルネットワーク２３３として設定する。第３ニューラルネットワーク２３３は、第１学習用データと同じ形式を有するデータを入力データとして受け付ける。本例の場合、第１学習用データと同じ形式を有するデータとは、画像データである。また、第３ニューラルネットワーク２３３は、入力データの特徴に応じた出力データを出力する。本例の場合、出力データは、第７データ７０１であり、第７データ７０１は数値データである。第７データ７０１は、第３ニューラルネットワーク２３３に対する入力データとして第４画像データ３１０を入力した場合に出力される出力データであり、本例の場合、「（０．０２，０．０２，０．９６）」という３次元の数値ベクトルである。第３ニューラルネットワーク２３３の出力データは、人の感情に対応するデータであり、本例の出力データは「笑い」に対応するデータである。

学習結果利用装置２０は、学習済みの第２ニューラルネットワーク２００又は当該学習済みの第２ニューラルネットワーク２００の複製物を取得して、第３ニューラルネットワーク２３３として設定することで、入力データが画像データのみである場合であっても、バイタルデータを加味した学習結果を利用することができ、人の感情をより良く推測することができる。ここで、画像データは、ありふれたセンサであるカメラによって取得可能なデータであるため、学習結果利用装置２０の第３ニューラルネットワーク２３３は、取得が比較的容易なセンシングデータのみを入力データとして、取得が比較的困難なセンシングデータを補完的に用いた場合と類似の識別性能を発揮することができる。

第１学習用データ及び第２学習用データは、人の画像データ及びバイタルデータに限られない。例えば、第１学習用データを人のバイタルデータとし、第２学習用データとして人の画像データを用いてもよい。すなわち、人の画像データを、バイタルデータの補完または補強用のデータとして使用してもよい。第１学習用データを人のバイタルデータとし、第２学習用データを人の画像データとすることで、入力データがバイタルデータのみである場合であっても、画像データを加味して、人の感情や精神状態をより良く推定することができるニューラルネットワークが得られる。

また、例えば、第１学習用データは、車両を撮影した画像データを含むものであってよく、第２学習用データは、画像データが撮影された時に、車両に備えられたセンサによって測定されたセンシングデータを含むものであってよい。より具体的には、第１車両が第２車両を追走している状況で、第１車両に備えられたカメラによって第２車両を撮影した画像データを第１学習用データとし、第２車両に備えられたセンサによって測定されたセンシングデータを第２学習用データとしてよい。ここで、第２車両に備えられたセンサは、第２車両のアクセルペダルの操作、ブレーキペダルの操作、ステアリング操作、ウィンカー操作及び運転者の状態を測定するものであってよい。

この場合、第１ニューラルネットワーク１００は、第１車両から撮影された第２車両の画像データと、第２車両について測定された動作に関するセンシングデータと、に基づいて学習され、第１ニューラルネットワーク１００の第１出力データは、車両の動作に対応するデータとなる。なお、車両の動作に対応するデータとは、速度、加速度、進行方向ベクトル、進路変更の確率、等を含む。また、第２ニューラルネットワーク２００は、学習済みの第１ニューラルネットワーク１００に第１車両から撮影された第２車両の画像データを入力した場合に学習済みの第１ニューラルネットワーク１００から出力される第１出力データを教師データとする教師有り学習によって、第１車両から撮影された第２車両の画像データに基づいて学習され、第２ニューラルネットワーク２００の第２出力データは、第１出力データと同様に、車両の動作に対応するデータである。

なお、第２学習用データには、第１車両と第２車両との間の相対距離に関する情報が含まれていてもよい。車両の動作は、先行する又は後続する車両との間の距離に応じて大きく変動する。したがって、第２学習用データに相対距離に関する情報が含まれていると、後述する車両の動作予測の精度を向上させることができる。このとき、相対距離は、以下の方法により取得することができる。例えば、車両の位置を特定する測定装置が備えられたテストコースにおいて、第１車両に備えられたカメラにより第２車両を撮影しながら、第１車両と第２車両との相対距離を測定することができる。また、第１車両の前方又は第２車両の後方に測距装置（例えば、レーザレーダ）を取りつけることで、第１車両と第２車両との距離を求めることができる。また、相対距離に関する情報は、一般の道路上に備えられたカメラ画像に基づいて推定してもよい。また、物理モデルとして構築した第１車両及び第２車両を仮想空間上で走行させ、当該仮想空間から第１学習用データとしての画像データと、第２学習用データとしてのセンサデータと、相対距離とを取得してよい。

このように、車両の画像データ及びセンシングデータに基づいて学習された第１ニューラルネットワーク１００の第１出力データを教師データとして用いて、第２出力データを出力するように第２ニューラルネットワーク２００の学習が行われることで、車両の画像データのみからでは抽出しきれない特徴を間接的に第２ニューラルネットワーク２００に学習させることができ、車両の動作予測をより良く行うことができる第２ニューラルネットワーク２００が得られる。また、前方を走る車両の動作を測定したセンシングデータを、後方を走る車両が取得することは比較的困難であるが、本実施形態に係る学習結果利用装置２０によれば、学習済みの第２ニューラルネットワーク２００又は当該学習済みの第２ニューラルネットワーク２００の複製物を取得して、第３ニューラルネットワーク２３３として設定し、前方を走る車両の画像データを第３ニューラルネットワーク２３３に入力することで、車両の動作予測を行うことができる。

第１学習用データ及び第２学習用データは、上記以外のものであってもよい。例えば、人を撮影した画像データを第１学習用データとし、人の行動を検出するセンサから出力されるセンシングデータを第２学習用データとして、第１出力データ及び第２出力データとして人の行動に対応するデータを出力させるように、第１ニューラルネットワーク１００及び第２ニューラルネットワーク２００を学習させてもよい。この場合、人の行動を検出するセンサは、人に装着した運動量センサや加速度センサであったり、人が操作する対象に備えられて人による操作を検出するセンサであったりしてよい。これにより、人を撮影した画像データを第２ニューラルネットワーク２００に入力した場合に、人が次に行う行動を予測する第２出力データを出力させることができるようになる。

また、例えば、果物を撮影した画像データを第１学習用データとし、果物の熟成度を測定するセンサから出力されたセンシングデータを第２学習用データとして、第１出力データ及び第２出力データとして果物の熟成度に対応するデータを出力させるように、第１ニューラルネットワーク１００及び第２ニューラルネットワーク２００を学習させてもよい。この場合、果物の熟成度を測定するセンサは、重量センサ、固さセンサ、糖度センサ等であってよい。これにより、果物を撮影した画像データを第２ニューラルネットワーク２００に入力した場合に、果物の熟成度を予測する第２出力データを出力させることができるようになる。

また、例えば、半田によって電子部品が固定された基板の外観を撮影した画像データを第１学習用データとし、半田付の状態（例えば、半田に含まれる空気含有量、過熱による変性、加熱不足による非接合、等）を測定するセンサから出力されたセンシングデータを第２学習用データとして、第１出力データ及び第２出力データとして半田付けの検査基準の合否に対応するデータを出力させるように、第１ニューラルネットワーク１００及び第２ニューラルネットワーク２００を学習させてもよい。これにより、基板の外観を撮影した画像データを第２ニューラルネットワーク２００に入力した場合に、半田付の状態を予測する第２出力データを出力させることができる。このようにして学習された第２ニューラルネットワーク２００を、基板と基板上に載置される電子部品との間の半田付けの状態を確認するための基板検査装置によって利用することで、半田付の状態を測定するセンサを使用せずに半田付けの検査基準の合否に対応するデータを得ることができるため、基板検査装置のハードウェアの削減、さらには、データ量の減少によるハードウェアプロセッサの処理負荷の削減が可能になる。

図８は、本発明の実施形態に係る学習装置１０によって実行される処理のフローチャートである。学習装置１０は、ユーザから受け付けた指示に基づいて、第１学習用データ及び第２学習用データの指定を行う（Ｓ１０）。その後、学習装置１０は、教師有り学習を行うか否かを判断する（Ｓ１１）。ここで、教師有り学習を行うか否かは、ユーザから受け付けた指示に基づいて判断してよい。

学習装置１０によって教師有り学習を行う場合（Ｓ１１：Ｙｅｓ）、学習装置１０は、ユーザから受け付けた指示に基づいて、教師データの指定を行う（Ｓ１２）。学習装置１０は、指定した第１学習用データ、第２学習用データ及び教師データに基づいて、第１ニューラルネットワーク１００を教師有り学習によって学習させる（Ｓ１３）。

一方、学習装置１０によって教師有り学習を行わない場合（Ｓ１１：Ｎｏ）、学習装置１０は、指定した第１学習用データ及び第２学習用データに基づいて、第１ニューラルネットワーク１００を教師無し学習によって学習させる（Ｓ１４）。

いずれの場合も、学習装置１０は、第１ニューラルネットワーク１００から出力された第１出力データを教師データとして、指定した第１学習用データに基づいて、第２ニューラルネットワーク２００を教師有り学習によって学習させる（Ｓ１５）。以上で、学習装置１０による処理が終了する。

本実施形態に係る学習装置１０を用いることで、学習済みの第２ニューラルネットワーク２００又は当該学習済みの第２ニューラルネットワーク２００の複製物を生産することができる。すなわち、第１学習制御部１２によって、第１学習用データ及び第２学習用データに基づいて、第１学習用データ及び第２学習用データの特徴に応じた第１出力データを出力するように第１ニューラルネットワーク１００を学習させ、第２学習制御部１５によって、第１学習用データを第１ニューラルネットワーク１００に入力した場合に第１ニューラルネットワーク１００より出力される第１出力データを教師データとする教師有り学習によって、第１学習用データに基づいて、第２出力データを出力するように第２ニューラルネットワーク２００を学習させ、第２学習結果出力部１７によって、学習済みの第２ニューラルネットワーク２００又は当該学習済みのニューラルネットワーク２００の複製物を出力することで、学習済みの第２ニューラルネットワーク２００又は当該学習済みの第２ニューラルネットワーク２００の複製物を生産することができる。

図９は、本発明の実施形態に係る学習結果利用装置２０によって実行される処理のフローチャートである。学習結果利用装置２０は、学習装置１０によって学習済みの第２ニューラルネットワーク２００又は当該学習済みの第２ニューラルネットワーク２００の複製物を取得して、第３ニューラルネットワーク２３３を設定する（Ｓ２０）。そして、学習結果利用装置２０は、ユーザから受け付けた指示に基づいて、第３ニューラルネットワーク２３３に入力する入力データを指定する（Ｓ２１）。ここで、入力データは、第１学習用データと同じ形式を有するデータである。

学習結果利用装置２０は、指定した入力データを第３ニューラルネットワーク２３３に入力し、入力データの特徴に応じた出力データを出力する（Ｓ２２）。以上で、学習結果利用装置２０による処理が終了する。

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

（付記１）
少なくとも１つのメモリと、前記メモリと接続された少なくとも１つのハードウェアプロセッサとを備え、
前記ハードウェアプロセッサが、
第１学習用データ及び前記第１学習用データに関連付けられた第２学習用データに基づいて、前記第１学習用データ及び前記第２学習用データの特徴に応じた第１出力データを出力するように第１学習モジュールを学習させ、
前記ハードウェアプロセッサが、前記第１学習用データを前記第１学習モジュールに入力した場合に前記第１学習モジュールより出力される前記第１出力データを教師データとする教師有り学習によって、前記第１学習用データに基づいて、第２出力データを出力するように第２学習モジュールを学習させる、
学習装置。

（付記２）
少なくとも１つのハードウェアプロセッサによって、第１学習用データ及び前記第１学習用データに関連付けられた第２学習用データに基づいて、前記第１学習用データ及び前記第２学習用データの特徴に応じた第１出力データを出力するように第１学習モジュールを学習させ、
前記ハードウェアプロセッサによって、前記第１学習用データを前記第１学習モジュールに入力した場合に前記第１学習モジュールより出力される前記第１出力データを教師データとする教師有り学習によって、前記第１学習用データに基づいて、第２出力データを出力するように第２学習モジュールを学習させる、
学習方法。

１０…学習装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信インタフェース、１０ｅ…入力部、１０ｆ…表示部、１１…通信部、１２…第１学習制御部、１３…第１学習結果抽出部、１４…第１学習結果出力部、１５…第２学習制御部、１６…第２学習結果抽出部、１７…第２学習結果出力部、２０…学習結果利用装置、３０…センサ、１００…第１ニューラルネットワーク、２００…第２ニューラルネットワーク、２３１…学習結果入力部、２３２…ニューラルネットワーク設定部、２３３…第３ニューラルネットワーク、２３４…制御部、２３５…入力部、２３６…通信部、２３７…データ取得部、２３８…出力部、３０１…第１画像データ、３０２…第２画像データ、３０３…第３画像データ、３１０…第４画像データ、４０１…第１バイタルデータ、４０２…第２バイタルデータ、４０３…第３バイタルデータ、５０１…第１データ、５０２…第２データ、５０３…第３データ、６０１…第４データ、６０２…第５データ、６０３…第６データ、７０１…第７データ、ＤＢ…センシングデータ記憶部

Claims (15)

1. 第１学習用データ及び前記第１学習用データに関連付けられた第２学習用データに基づいて、前記第１学習用データ及び前記第２学習用データの特徴に応じた第１出力データを出力するように第１学習モジュールを学習させる第１学習制御部と、
   前記第１学習用データを前記第１学習モジュールに入力した場合に前記第１学習モジュールより出力される前記第１出力データを教師データとする教師有り学習によって、前記第１学習用データに基づいて、第２出力データを出力するように第２学習モジュールを学習させる第２学習制御部と、
   を備え、
   前記第１学習制御部は、教師無し学習によって、前記第１学習用データ及び前記第２学習用データに基づいて、前記第１出力データを出力するように前記第１学習モジュールを学習させる、学習装置。
2. 第１学習用データ及び前記第１学習用データに関連付けられた第２学習用データに基づいて、前記第１学習用データ及び前記第２学習用データの特徴に応じた第１出力データを出力するように第１学習モジュールを学習させる第１学習制御部と、
   前記第１学習用データを前記第１学習モジュールに入力した場合に前記第１学習モジュールより出力される前記第１出力データを教師データとする教師有り学習によって、前記第１学習用データに基づいて、第２出力データを出力するように第２学習モジュールを学習させる第２学習制御部と、
   を備え、
   前記第１学習制御部は、前記第１学習用データ及び前記第２学習用データの属性情報を含む教師データを用いた教師有り学習によって、前記第１学習用データ及び前記第２学習用データに基づいて、前記第１出力データを出力するように前記第１学習モジュールを学習させる、学習装置。
3. 前記第２学習制御部は、前記第１学習モジュールの学習が行われた後に、前記第２学習モジュールを学習させる、
   請求項１または２に記載の学習装置。
4. 前記第１学習用データは、前記第２学習制御部によって学習が行われた結果として得られる学習済みの第２学習モジュール又は当該学習済みの第２学習モジュールの複製物に入力する入力データと同じ形式のデータであり、
   前記第２学習用データは、前記第１学習用データと時系列について関連付けがされたデータであり、前記学習済みの第２学習モジュール又は前記複製物に入力する入力データと異なる形式のデータである、
   請求項１から３のいずれか１項に記載の学習装置。
5. 前記第１学習モジュール及び前記第２学習モジュールは、それぞれニューラルネットワークを含み、
   前記第２学習モジュールに含まれるニューラルネットワークは、前記第１学習モジュールに含まれるニューラルネットワークよりも規模が小さい、
   請求項１から４のいずれか１項に記載の学習装置。
6. 前記第１学習用データは、対象の画像データを含み、
   前記第２学習用データは、前記画像データが撮影された時に、センサによって前記対象を測定したセンシングデータを含み、
   前記第１出力データ及び前記第２出力データは、前記対象に関するデータを含む、
   請求項１から５のいずれか１項に記載の学習装置。
7. 前記第１学習用データは、人を撮影した画像データを含み、
   前記第２学習用データは、前記画像データが撮影された時における前記人のバイタルデータを含み、
   前記第１出力データ及び前記第２出力データは、前記人の感情に対応するデータである、
   請求項６に記載の学習装置。
8. 前記第１学習用データは、車両を撮影した画像データを含み、
   前記第２学習用データは、前記画像データが撮影された時に、前記車両に備えられたセンサによって測定されたセンシングデータを含み、
   前記第１出力データ及び前記第２出力データは、前記車両の動作に対応するデータである、
   請求項６に記載の学習装置。
9. 請求項１から８のいずれか１項に記載の学習装置に備えられた前記第２学習制御部によって学習が行われた結果として得られた学習済みの第２学習モジュール又は当該学習済みの第２学習モジュールの複製物を取得して、第３学習モジュールとして設定する学習モジュール設定部と、
   前記第１学習用データと同じ形式を有するデータを、前記第３学習モジュールに入力する入力部と、
   前記第３学習モジュールからの出力データを出力する出力部と、
   を備える学習結果利用装置。
10. 機械学習を制御する制御部を備える学習装置において、
    前記制御部が、第１学習用データ及び前記第１学習用データに関連付けられた第２学習用データに基づいて、前記第１学習用データ及び前記第２学習用データの特徴に応じた第１出力データを出力するように第１学習モジュールを学習させるステップと、
    前記制御部が、前記第１学習用データを前記第１学習モジュールに入力した場合に前記第１学習モジュールより出力される前記第１出力データを教師データとする教師有り学習によって、前記第１学習用データに基づいて、第２出力データを出力するように第２学習モジュールを学習させるステップと、
    を含み、
    前記第１学習モジュールを学習させるステップは、教師無し学習によって、前記第１学習用データ及び前記第２学習用データに基づいて、前記第１出力データを出力するように前記第１学習モジュールを学習させる、学習方法。
11. 機械学習を制御する制御部を備える学習装置において、
    前記制御部が、第１学習用データ及び前記第１学習用データに関連付けられた第２学習用データに基づいて、前記第１学習用データ及び前記第２学習用データの特徴に応じた第１出力データを出力するように第１学習モジュールを学習させるステップと、
    前記制御部が、前記第１学習用データを前記第１学習モジュールに入力した場合に前記第１学習モジュールより出力される前記第１出力データを教師データとする教師有り学習によって、前記第１学習用データに基づいて、第２出力データを出力するように第２学習モジュールを学習させるステップと、
    を含み、
    前記第１学習モジュールを学習させるステップは、前記第１学習用データ及び前記第２学習用データの属性情報を含む教師データを用いた教師有り学習によって、前記第１学習用データ及び前記第２学習用データに基づいて、前記第１出力データを出力するように前記第１学習モジュールを学習させる、学習方法。
12. 請求項１０または１１に記載された学習方法によって前記第２学習モジュールを学習させた結果として得られた学習済みの第２学習モジュール又は当該学習済みの第２学習モジュールの複製物を出力するステップを含む、
    学習済みの学習モジュール又は当該学習済みの学習モジュールの複製物を生産する方法。
13. 請求項１０または１１に記載された学習方法によって前記第２学習モジュールを学習させた結果として得られた学習済みの学習モジュール又は当該学習済みの学習モジュールの複製物。
14. コンピュータを、
    第１学習用データ及び前記第１学習用データに関連付けられた第２学習用データに基づいて、前記第１学習用データ及び前記第２学習用データの特徴に応じた第１出力データを出力するように第１学習モジュールを学習させる第１学習制御部と、
    前記第１学習用データを前記第１学習モジュールに入力した場合に前記第１学習モジュールより出力される前記第１出力データを教師データとする教師有り学習によって、前記第１学習用データに基づいて、第２出力データを出力するように第２学習モジュールを学習させる第２学習制御部と、
    として機能させ、
    前記第１学習制御部は、教師無し学習によって、前記第１学習用データ及び前記第２学習用データに基づいて、前記第１出力データを出力するように前記第１学習モジュールを学習させる、学習プログラム。
15. コンピュータを、
    第１学習用データ及び前記第１学習用データに関連付けられた第２学習用データに基づいて、前記第１学習用データ及び前記第２学習用データの特徴に応じた第１出力データを出力するように第１学習モジュールを学習させる第１学習制御部と、
    前記第１学習用データを前記第１学習モジュールに入力した場合に前記第１学習モジュールより出力される前記第１出力データを教師データとする教師有り学習によって、前記第１学習用データに基づいて、第２出力データを出力するように第２学習モジュールを学習させる第２学習制御部と、
    として機能させ、
    前記第１学習制御部は、前記第１学習用データ及び前記第２学習用データの属性情報を含む教師データを用いた教師有り学習によって、前記第１学習用データ及び前記第２学習用データに基づいて、前記第１出力データを出力するように前記第１学習モジュールを学習させる、学習プログラム。

Images