JP7382633B2 - 学習モデル構築装置、学習モデル構築方法及びコンピュータプログラム - Google Patents

Description

本発明は、学習モデル構築装置、学習モデル構築方法及びコンピュータプログラムに関する。

入力された情報に基づき予め設定された１又は複数のルールにしたがって予測対象の状態を予想するプロダクションシステムという数理モデルがある。プロダクションシステムにおいて、予め設定されたルールはプロダクションシステムの設計者が予め想定したルールである。より具体的には、予め設定されたルールは、プロダクションシステムの設計者が予め入力される情報を想定し、その想定した情報に基づいてプロダクションシステムの設計者が設定したルールである。このようなプロダクションシステムの使用例としては、例えば、自然言語処理での使用が挙げられる。このような場合、プロダクションシステムは入力された文中に予め定められた特定の用語があるか否かを判定することで、入力された文が示す意味を判定する。

特開平０５－１６５８８６号公報

ところで、上述したようにプロダクションシステムにおけるルールは、設計者の想定した入力に対して設定されたものである。そのため、プロダクションシステムは、設計者の想定と異なる入力が行われた場合に適切な予測結果を出力できない、という問題がある。例えば、上述の自然言語処理に利用される場合であれば、入力された文が設計者の想定を超えた遠回しな表現で意味を伝える文である場合にプロダクションシステムは入力された文が示す意味を予測することができない場合がある。

上記事情に鑑み、本発明は、プロダクションシステムよりも予測の精度が高い数理モデルを生成する技術の提供を目的とする。

本発明の一態様は、機械学習の手法によって学習するニューラルネットワークへ変換される対象であるプロダクションシステムに入力される構築用入力データと、前記構築用入力データが入力された場合に前記プロダクションシステムにおいて発火するルールを示す情報とを示す第１訓練情報を取得する第１訓練情報取得部と、前記構築用入力データが入力された場合に前記プロダクションシステムにおいて発火するルールを示す情報と、前記構築用入力データが入力された場合の前記プロダクションシステムの出力であるプロダクション出力とを示す第２訓練情報を取得する第２訓練情報取得部と、前記第１訓練情報の構築用入力データを訓練データの説明変数として用い、前記第１訓練情報のルールを示す情報を訓練データの目的変数として用いる機械学習の手法によって学習する第１のニューラルネットワークである第１層学習部と、前記第２訓練情報のルールを示す情報を訓練データの説明変数として用い、前記第２訓練情報のプロダクション出力を訓練データの目的変数として用いる機械学習の手法によって学習する第２のニューラルネットワークである第２層学習部と、前記第１層学習部によって得られる学習済みモデルである第１学習済みモデルの出力が前記第２層学習部によって得られる学習済みモデルである第２学習済みモデルに入力される学習済みモデルである第３学習済みモデルを前記第１のニューラルネットワークと前記第２のニューラルネットワークとを用いて表現するように前記第１のニューラルネットワークと前記第２のニューラルネットワークとを接続するスタッキング部と、を備える学習モデル構築装置である。

本発明の一態様は、上記の学習モデル構築装置であって、前記第３学習済みモデルに入力されるデータを訓練データの説明変数として用い、前記データが入力された場合の前記第３学習済みモデルの出力を訓練データの目的変数として用いる機械学習の手法によって学習する第３のニューラルネットワークである第３層学習部、をさらに備える。

本発明の一態様は、上記の学習モデル構築装置であって、前記第３のニューラルネットワークは、前記第３学習済みモデルの生成後に、さらに、追加で入力された訓練データである追加訓練データに基づいてさらに学習する。

本発明の一態様は、上記の学習モデル構築装置であって、説明変数が前記プロダクションシステムに入力された場合のプロダクション出力と説明変数の情報に対してユーザが決定した教師データとの一致度が所定の一致度である基準一致度よりも低いという条件を第１説明変数条件とし、前記第１説明変数条件を満たす前記説明変数に対してユーザが決定した教師データであるという条件を第１目的変数条件とし、説明変数が前記プロダクションシステムに入力された場合のプロダクション出力と説明変数の情報に対してユーザが決定した教師データとの一致度が前記基準一致度以上という条件を第２説明変数条件とし、前記第２説明変数条件を満たす前記説明変数に対してユーザが決定した教師データであるという条件を第２目的変数条件として、説明変数が前記第１説明変数条件を満たし目的変数が前記第１目的変数条件を満たす訓練データと、説明変数が前記第２説明変数条件を満たし目的変数が前記第２目的変数条件を満たす訓練データと、を前記追加訓練データは含む。

本発明の一態様は、上記の学習モデル構築装置であって、前記第２のニューラルネットワークは、さらに、構築用入力データとプロダクション出力との組のデータであるプロダクション入出力訓練情報に基づいて学習する。

本発明の一態様は、機械学習の手法によって学習するニューラルネットワークへ変換される対象であるプロダクションシステムに入力される構築用入力データと、前記構築用入力データが入力された場合に前記プロダクションシステムにおいて発火するルールを示す情報とを示す第１訓練情報を取得する第１訓練情報取得ステップと、前記構築用入力データが入力された場合に前記プロダクションシステムにおいて発火するルールを示す情報と、前記構築用入力データが入力された場合の前記プロダクションシステムの出力であるプロダクション出力とを示す第２訓練情報を取得する第２訓練情報取得ステップと、前記第１訓練情報の構築用入力データを訓練データの説明変数として用い、前記第１訓練情報のルールを示す情報を訓練データの目的変数として用いる機械学習の手法によって第１のニューラルネットワークが学習する第１層学習ステップと、前記第２訓練情報のルールを示す情報を訓練データの説明変数として用い、前記第２訓練情報のプロダクション出力を訓練データの目的変数として用いる機械学習の手法によって第２のニューラルネットワークが学習する第２層学習ステップと、前記第１層学習ステップにおいて得られた学習済みモデルである第１学習済みモデルの出力が前記第２層学習ステップにおいて得られた学習済みモデルである第２学習済みモデルに入力される学習済みモデルである第３学習済みモデルを前記第１のニューラルネットワークと前記第２のニューラルネットワークとを用いて表現するように前記第１のニューラルネットワークと前記第２のニューラルネットワークとを接続するスタッキングステップと、を有する学習モデル構築方法である。

本発明の一態様は、上記の学習モデル構築装置としてコンピュータを機能させるためのコンピュータプログラムである。

本発明により、プロダクションシステムよりも予測の精度が高い数理モデルを生成することが可能となる。

実施形態の学習モデル構築装置１の動作の概要を説明する説明図。 実施形態の学習モデル構築装置１のハードウェア構成の一例を示す図。 実施形態における制御部１０の機能構成の一例を示す図。 実施形態の学習モデル構築装置１が実行する処理の流れの一例を示すフローチャート。

以下、図面を参照しながら本発明の実施形態について詳しく説明する。

図１は、実施形態の学習モデル構築装置１の動作の概要を説明する説明図である。
学習モデル構築装置１は、構築用入力データと、プロダクション出力と、発火ルール情報とに基づいて、変換対象のプロダクションシステム９を機械学習の手法によって学習するニューラルネットワークへ変換する。構築用入力データは、プロダクションシステム９に入力される情報である。プロダクション出力は、構築用入力データが入力された場合のプロダクションシステム９の出力である。発火ルール情報は、構築用入力データが入力された場合にプロダクションシステム９において発火するルール（以下「発火ルール」という。）を示す情報である。

プロダクションシステム９をニューラルネットワークへ変換するとは、被構築モデルを表現するニューラルネットワークを生成することを意味する。被構築モデルは、想定内入力データが入力された場合に、プロダクションシステム９に想定内入力データが入力された場合にプロダクションシステム９が出力する情報との違いが所定の違いよりも小さい情報を出力する学習済みモデルである。所定の違いの一例としては、例えば出力する情報がベクトルである場合、Ｃｏｓ類似度推定法に基づくベクトル同士の類似度が、プロダクションシステム９が出力するベクトルと被構築モデルが出力するベクトルとの間で所定の範囲内にあるものである。また、被構築モデルは、想定内入力データ以外の情報が入力された場合に学習結果に基づいた予測結果を出力する学習済みモデルである。想定内入力データは、プロダクションシステム９に入力された場合にプロダクションシステム９が適切な予測を行うことができると、プロダクションシステム９の設計者が予め想定した入力である。

学習モデル構築装置１は、第１訓練情報に基づき、第１学習済みモデルを生成する。第１訓練情報は、構築用入力データと発火ルール情報が示す発火ルールとを示す情報である。すなわち、第１訓練情報は、構築用入力データと発火ルール情報との組の情報である。また、第１訓練情報は、第１学習済みモデルを生成するための訓練データである。

第１学習済みモデルは、想定内入力データが入力された場合に、入力された想定内入力データの示す情報がプロダクションシステム９に入力された場合にプロダクションシステム９において発火すると予想されるルールを示す情報を出力する。

学習モデル構築装置１は、より具体的には、構築用入力データを訓練データの説明変数として用い発火ルール情報を訓練データの目的変数として用いる機械学習の手法によって第１学習済みモデルを生成する。

学習モデル構築装置１は、第２訓練情報に基づき、第２学習済みモデルを生成する。第１訓練情報は、発火ルール情報が示す発火ルールとプロダクション出力とを示す情報である。すなわち、第２訓練情報は、発火ルール情報とプロダクション出力との組の情報である。また、第２訓練情報は、第２学習済みモデルを生成するための訓練データである。

第２学習済みモデルは、想定内発火ルール情報が入力された場合に、入力された想定内発火ルール情報の示す発火ルールがプロダクションシステム９において発火した場合にプロダクションシステム９が出力すると予想されるプロダクション出力を出力する。想定内発火ルール情報は、想定内入力データがプロダクションシステム９に入力された場合にプロダクションシステム９において発火するルールを示す情報である。

学習モデル構築装置１は、より具体的には、発火ルール情報を訓練データの説明変数として用いプロダクション出力を訓練データの目的変数として用いる機械学習の手法によって第２学習済みモデルを生成する。

学習モデル構築装置１は、第１学習済みモデル及び第２学習済みモデルに基づき、被構築モデルを生成する。より具体的には、学習モデル構築装置１は、第１学習済みモデルの出力が第２学習済みモデルに入力されるように接続処理を含む処理（以下「仕上げ処理」という。）を行うことで、被構築モデルを生成する。接続処理は、第１学習済みモデルを表現するニューラルネットワークと第２学習済みモデルを表現するニューラルネットワークとを接続する処理である。仕上げ処理は、例えば、接続処理に加えて、いわゆる蒸留の処理を含んでもよい。具体的には、仕上げ処理では、接続処理の実行後に蒸留の処理が実行されてもよい。

図２は、実施形態の学習モデル構築装置１のハードウェア構成の一例を示す図である。学習モデル構築装置１は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、プログラムを実行することによって制御部１０、インタフェース部１１、記憶部１２、入力部１３及び出力部１４を備える装置として機能する。

より具体的には、学習モデル構築装置１は、プロセッサ９１が記憶部１２に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９２に記憶させる。プロセッサ９１が、メモリ９２に記憶させたプログラムを実行することによって、学習モデル構築装置１は、制御部１０、インタフェース部１１、記憶部１２、入力部１３及び出力部１４を備える装置として機能する。

学習モデル構築装置１の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

インタフェース部１１は、自装置を、プロダクションシステム９等の外部装置に接続するための通信インタフェースを含んで構成される。インタフェース部１１は、例えばネットワークを介して、例えば、プロダクションシステム９と通信する。インタフェース部１１は、プロダクションシステム９との通信によって、プロダクションシステム９から、構築用入力データ、発火ルール及びプロダクション出力を取得する。外部装置の１つは、例えば、ＵＳＢ（Universal Serial Bus）メモリ等の外部記憶装置であってもよい。インタフェース部１１は、ＵＳＢ（Universal Serial Bus）メモリ等の外部記憶装置に、学習モデル構築装置１が生成した被構築モデルを表すプログラムを出力する。

記憶部１２は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。記憶部１２は学習モデル構築装置１に関する各種情報を記憶する。記憶部１２は、例えば、プロダクションシステム９から取得した構築用入力データ、発火ルール及びプロダクション出力を記憶する。

入力部１３は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部１３は、これらの入力装置を自装置に接続するインタフェースとして構成されてもよい。入力部１３は、自装置に対する各種情報の入力を受け付ける。各種情報は、例えば、学習モデル構築装置１に対する学習開始の指示を示す情報である。

出力部１４は、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示装置を含んで構成される。出力部１４は、これらの表示装置を自装置に接続するインタフェースとして構成されてもよい。出力部１４は、自装置に関する情報を表示する。

図３は、実施形態における制御部１０の機能構成の一例を示す図である。制御部１０は、第１訓練情報取得部１１１、第２訓練情報取得部１１２、第１層学習部１１３、第２層学習部１１４、スタッキング部１１５、第３層学習部１１６及びインタフェース制御部１１７を備える。

第１訓練情報取得部１１１は、インタフェース部１１を介して、第１訓練情報を取得する。第２訓練情報取得部１１２は、インタフェース部１１を介して、第２訓練情報を取得する。

第１層学習部１１３は、第１訓練情報の構築用入力データを訓練データの説明変数として用い、第１訓練情報の発火ルール情報を訓練データの目的変数として用いる機械学習の手法によって学習するニューラルネットワークである。以下、第１層学習部１１３のニューラルネットワークを第１のニューラルネットワークという。第１のニューラルネットワークが表現する学習モデルの学習済みモデルが第１学習済みモデルである。第１層学習部１１３は、第１訓練情報に基づく学習によって第１学習済みモデルを生成する。すなわち、第１学習済みモデルは、第１層学習部によって得られる学習済みモデルである。

第２層学習部１１４は、第２訓練情報の発火ルール情報を訓練データの説明変数として用い、第２訓練情報のプロダクション出力を訓練データの目的変数として用いる機械学習の手法によって学習するニューラルネットワークである。以下、第２層学習部１１４のニューラルネットワークを第２のニューラルネットワークという。第２のニューラルネットワークが表現する学習モデルの学習済みモデルが第２学習済みモデルである。第２層学習部１１４は、第２訓練情報に基づく学習によって第２学習済みモデルを生成する。すなわち、第２学習済みモデルは、第２層学習部によって得られる学習済みモデルである。

スタッキング部１１５は、第３学習済みモデルを第１のニューラルネットワークと第２のニューラルネットワークとを用いて表現するように第１のニューラルネットワークと第２のニューラルネットワークとを接続する。すなわち、スタッキング部１１５は、第１のニューラルネットワークの出力を第２のニューラルネットワークに入力させる。第３学習済みモデルは、第１学習済みモデルと第２学習済みモデルとを含む学習済みモデルであって第１学習済みモデルの出力が第２学習済みモデルに入力される学習済みモデルである。第３学習済みモデルは被構築モデルの一例である。スタッキング部１１５が実行する処理は、接続処理の一例である。

以下、第１のニューラルネットワーク及び第２のニューラルネットワークを含み、第１のニューラルネットワークの出力が第２のニューラルネットワークの入力であるニューラルネットワークをスタックトニューラルネットワークという。スタックトニューラルネットワークが表現する学習モデルの学習済みモデルは、被構築モデルの一例である。

第３層学習部１１６は、継承用データを訓練データの説明変数として用い継承用データが入力された場合の第３学習済みモデルの出力を訓練データの目的変数として用いる機械学習の手法によって学習するニューラルネットワークである。継承用データは、第３学習済みモデルに入力されるデータである。以下、第３層学習部１１６のニューラルネットワークを第３のニューラルネットワークという。第３層学習部１１６は、第３訓練情報に基づく学習によって、被継承学習済みモデルを生成する。

被継承学習済みモデルは、第３のニューラルネットワークが表現する学習モデルの学習済みモデルである。第３訓練情報は、継承用データと、継承用データが入力された場合の第３学習済みモデルの出力とを示す情報である。すなわち、第３訓練情報は、継承用データと継承用データが入力された場合の第３学習済みモデルの出力との組の情報である。第３層学習部１１６が実行する処理は、いわゆる蒸留の処理である。第３層学習部１１６が実行する処理は、いわゆるＧＡＮ（Generative Adversarial Networks）を用いて行われてもよい。被継承学習済みモデルは被構築モデルの一例である。

インタフェース制御部１１７は、インタフェース部１１の動作を制御する。インタフェース制御部１１７は、例えば、インタフェース部１１の動作を制御して被構築モデルを外部装置に出力する。

図４は、実施形態の学習モデル構築装置１が実行する処理の流れの一例を示すフローチャートである。
第１訓練情報取得部１１１が、第１訓練情報を取得する（ステップＳ１０１）。次に、第２訓練情報取得部１１２が、第２訓練情報を取得する（ステップＳ１０２）。次に、第１層学習部１１３が、第１訓練情報の構築用入力データを訓練データの説明変数として用い第１訓練情報の発火ルール情報を訓練データの目的変数として用いる機械学習の手法を用いて、第１学習済みモデルを生成する（ステップＳ１０３）。次に、第２層学習部１１４が、第２訓練情報の発火ルール情報を訓練データの説明変数として用い第２訓練情報のプロダクション出力を訓練データの目的変数として用いる機械学習の手法を用いて、第２学習済みモデルを生成する（ステップＳ１０４）。

次に、スタッキング部１１５が、第３学習済みモデルを第１のニューラルネットワークと第２のニューラルネットワークとを用いて表現するように第１のニューラルネットワークと第２のニューラルネットワークとを接続する（ステップＳ１０５）。次に、第３層学習部１１６は、第３訓練情報に基づく学習によって、被継承学習済みモデルを生成する（ステップＳ１０６）。

このように構成された実施形態の学習モデル構築装置１は、構築用入力データ、発火ルール情報及びプロダクション出力を用いた機械学習により、被構築モデルを生成する。機械学習の手法で生成された学習済みモデルは外挿の機能を備える数理モデルであるため、学習済みモデルは、学習段階では学習しなかった情報が入力された場合であっても精度の高い予測結果を出力することができる。このように、学習モデル構築装置１は、プロダクションシステムよりも予測の精度が高い数理モデルを生成することができる。

また、このように構成された実施形態の学習モデル構築装置１は、構築用入力データ及びプロダクション出力に加えて、発火ルール情報も用いて学習する。そのため、構築用入力データ及びプロダクション出力だけを用いた機械学習よりも、予測の精度が高い数理モデルを生成することができる。

（変形例）
第２のニューラルネットワークは、第２訓練情報だけでなく、さらに、プロダクション入出力訓練情報に基づいて学習してもよい。プロダクション入出力訓練情報は、構築用入力データとプロダクション出力との組のデータである。

このような場合、第２のニューラルネットワークは、第２訓練情報が示す説明変数と目的変数との関係が正しい確率を、構築用入力データとプロダクション出力との関係に基づいて推定しながら学習することができる。そのため、第２訓練情報及びプロダクション入出力訓練情報を用いて学習した結果の第２学習済みモデルは、第２訓練情報だけを用いて学習した第２学習済みモデルよりも、精度のよい結果を出力することができる。

学習モデル構築装置１は、ステップＳ１０６の次に、さらに追加学習してもよい。このような場合、具体的には、第３層学習部１１６の第３のニューラルネットワークが、追加で入力された訓練データ（以下「追加訓練データ」という。）に基づいてさらに学習する。なお、ステップＳ１０６の次とは、第３学習済みモデルの生成後の意味である。

このような場合、被継承学習済みモデルは、ステップＳ１０６の時点よりもさらに学習が進むため、ステップＳ１０６の処理で生成された学習済みモデルよりも予測の精度が高い。追加訓練データを用いて被継承学習済みモデルが学習した結果の学習済みモデルも、被構築モデルの一例である。

追加訓練データは、例えば、以下の第１説明変数条件及び第１目的変数条件を満たす訓練データ（以下「不一致データ」という。）と、第２説明変数条件及び第２目的変数条件を満たす訓練データ（以下「一致データ」という。）とを含んでもよい。

第１説明変数条件は、説明変数は、説明変数がプロダクションシステム９に入力された場合のプロダクション出力と、説明変数の情報に対してユーザが決定した教師データとの一致度が所定の一致度（以下「基準一致度」という。）よりも低い、という条件である。

第１目的変数条件は、第１説明変数条件を満たす説明変数に対してユーザが決定した教師データである、という条件である。

第２説明変数条件は、説明変数は、説明変数がプロダクションシステム９に入力された場合のプロダクション出力と、説明変数の情報に対してユーザが決定した教師データとの一致度が基準一致度以上、という条件である。

第２目的変数条件は、第２説明変数条件を満たす説明変数に対してユーザが決定した教師データである、という条件である。

このような場合、被継承学習済みモデルは、プロダクションシステム９の結果のみに基づいて学習した場合よりも正確な情報に基づいて学習する。そのため、一致データ及び不一致データを含む追加訓練データを用いて学習をした学習済みモデルは、ステップＳ１０６の処理で生成された学習済みモデルよりも予測の精度が高い。一致データ及び不一致データを含む追加訓練データを用いて被継承学習済みモデルが学習した結果の学習済みモデルも、被構築モデルの一例である。

一致データ及び不一致データを含む追加訓練データを用いて学習する場合には、例えば、学習時の予測で不一致データの予測に失敗した場合に値が大きくなる損失関数を用いて学習が行われてもよい。

なお、第１学習済みモデルは、プロダクションシステム９が有するルールごとに各ルールが発火するか否かを判定する識別機を備える学習済みモデルであってもよい。第１学習済みモデルは、プロダクションシステム９が有するルールのいずれが発火したかを示す情報を出力する１つの学習済みモデルであってもよい。

なお、ステップＳ１０１及びステップＳ１０２は、必ずしも図４に示す順番に実行される必要は無い。ステップＳ１０１は、ステップＳ１０３の実行前に実行されればどのようなタイミングで実行されてもよい。ステップＳ１０２は、ステップＳ１０４の実行前に実行されれば、どのようなタイミングで実行されてもよい。なお、ステップＳ１０３及びステップＳ１０４の処理は、必ずしも図４に示す順番に実行される必要は無い。ステップＳ１０３及びステップＳ１０４の処理は、ステップＳ１０５の処理の実行前に実行されれば、どのようなタイミングで実行されてもよい。例えば、ステップＳ１０３の処理は、ステップＳ１０５の実行前に実行され、ステップＳ１０４の処理がステップＳ１０３の処理の実行前に実行されてもよい。

なお、学習とは、学習モデルのパラメータを好適に調整することである。学習済みモデルは、終了条件が満たされた時点における学習モデルである。終了条件は、学習の終了に関する条件であればどのような条件であってもよい。終了条件は、例えば、所定数の訓練データによる学習が実行された、という条件であってもよいし、学習によるパラメータの変化量が所定の大きさ未満であるという条件であってもよい。

なお、ニューラルネットワークは、出力結果の精度が所定の精度以上であるニューラルネットワークであればどのようなニューラルネットワークであってもよい。ニューラルネットワークは、例えば、順伝搬型ニューラルネットワークであってもよいし、ＲＢＦ（Radial Basis Function）ネットワークであってもよい。ニューラルネットワークは、畳み込みニューラルネットワークであってもよいし、再帰型ニューラルネットワークであってもよいし、確率的ニューラルネットワークであってもよい。ニューラルネットワークは、スパイキングニューラルネットワークであってもよいし、複素ニューラルネットワークであってもよい。

なお、学習モデルのパラメータは、出力結果の精度が高い学習のアルゴリズムであれば、ニューラルネットワークの種類に応じてどのような機械学習のアルゴリズムによって調整されてもよい。例えば、学習モデルのパラメータは、順伝搬型のニューラルネットワーク以外のニューラルネットワークであれば、誤差逆伝搬法のアルゴリズムによって調整されてもよい。

学習モデル構築装置１は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、学習モデル構築装置１が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。例えば、第３層学習部１１６は制御部１０が備える他の機能部とは異なる情報処理装置に実装されてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…学習モデル構築装置、 １０…制御部、 １１…インタフェース部、 １２…記憶部、 １３…入力部、 １４…出力部、 １１１…第１訓練情報取得部、 １１２…第２訓練情報取得部、 １１３…第１層学習部、 １１４…第２層学習部、 １１５…スタッキング部、 １１６…第３層学習部、 １１７…インタフェース制御部

Claims (7)

1. 機械学習の手法によって学習するニューラルネットワークへ変換される対象であるプロダクションシステムに入力される構築用入力データと、前記構築用入力データが入力された場合に前記プロダクションシステムにおいて発火するルールを示す情報とを示す第１訓練情報を取得する第１訓練情報取得部と、
   前記構築用入力データが入力された場合に前記プロダクションシステムにおいて発火するルールを示す情報と、前記構築用入力データが入力された場合の前記プロダクションシステムの出力であるプロダクション出力とを示す第２訓練情報を取得する第２訓練情報取得部と、
   前記第１訓練情報の構築用入力データを訓練データの説明変数として用い、前記第１訓練情報のルールを示す情報を訓練データの目的変数として用いる機械学習の手法によって学習する第１のニューラルネットワークである第１層学習部と、
   前記第２訓練情報のルールを示す情報を訓練データの説明変数として用い、前記第２訓練情報のプロダクション出力を訓練データの目的変数として用いる機械学習の手法によって学習する第２のニューラルネットワークである第２層学習部と、
   前記第１層学習部によって得られる学習済みモデルである第１学習済みモデルの出力が前記第２層学習部によって得られる学習済みモデルである第２学習済みモデルに入力される学習済みモデルである第３学習済みモデルを前記第１のニューラルネットワークと前記第２のニューラルネットワークとを用いて表現するように前記第１のニューラルネットワークと前記第２のニューラルネットワークとを接続するスタッキング部と、
   を備える学習モデル構築装置。
2. 前記第３学習済みモデルに入力されるデータを訓練データの説明変数として用い、前記データが入力された場合の前記第３学習済みモデルの出力を訓練データの目的変数として用いる機械学習の手法によって学習する第３のニューラルネットワークである第３層学習部、
   をさらに備える請求項１に記載の学習モデル構築装置。
3. 前記第３のニューラルネットワークは、前記第３学習済みモデルの生成後に、さらに、追加で入力された訓練データである追加訓練データに基づいてさらに学習する、
   請求項２に記載の学習モデル構築装置。
4. 説明変数が前記プロダクションシステムに入力された場合のプロダクション出力と説明変数の情報に対してユーザが決定した教師データとの一致度が所定の一致度である基準一致度よりも低いという条件を第１説明変数条件とし、前記第１説明変数条件を満たす前記説明変数に対してユーザが決定した教師データであるという条件を第１目的変数条件とし、説明変数が前記プロダクションシステムに入力された場合のプロダクション出力と説明変数の情報に対してユーザが決定した教師データとの一致度が前記基準一致度以上という条件を第２説明変数条件とし、前記第２説明変数条件を満たす前記説明変数に対してユーザが決定した教師データであるという条件を第２目的変数条件として、説明変数が前記第１説明変数条件を満たし目的変数が前記第１目的変数条件を満たす訓練データと、説明変数が前記第２説明変数条件を満たし目的変数が前記第２目的変数条件を満たす訓練データと、を前記追加訓練データは含む、
   請求項３に記載の学習モデル構築装置。
5. 前記第２のニューラルネットワークは、さらに、構築用入力データとプロダクション出力との組のデータであるプロダクション入出力訓練情報に基づいて学習する、
   請求項１から４のいずれか一項に記載の学習モデル構築装置。
   
6. 機械学習の手法によって学習するニューラルネットワークへ変換される対象であるプロダクションシステムに入力される構築用入力データと、前記構築用入力データが入力された場合に前記プロダクションシステムにおいて発火するルールを示す情報とを示す第１訓練情報を取得する第１訓練情報取得ステップと、
   前記構築用入力データが入力された場合に前記プロダクションシステムにおいて発火するルールを示す情報と、前記構築用入力データが入力された場合の前記プロダクションシステムの出力であるプロダクション出力とを示す第２訓練情報を取得する第２訓練情報取得ステップと、
   前記第１訓練情報の構築用入力データを訓練データの説明変数として用い、前記第１訓練情報のルールを示す情報を訓練データの目的変数として用いる機械学習の手法によって第１のニューラルネットワークが学習する第１層学習ステップと、
   前記第２訓練情報のルールを示す情報を訓練データの説明変数として用い、前記第２訓練情報のプロダクション出力を訓練データの目的変数として用いる機械学習の手法によって第２のニューラルネットワークが学習する第２層学習ステップと、
   前記第１層学習ステップにおいて得られた学習済みモデルである第１学習済みモデルの出力が前記第２層学習ステップにおいて得られた学習済みモデルである第２学習済みモデルに入力される学習済みモデルである第３学習済みモデルを前記第１のニューラルネットワークと前記第２のニューラルネットワークとを用いて表現するように前記第１のニューラルネットワークと前記第２のニューラルネットワークとを接続するスタッキングステップと、
   を有する学習モデル構築方法。
7. 請求項１から請求項５のいずれか一項に記載の学習モデル構築装置としてコンピュータを機能させるためのコンピュータプログラム。

Images