JP7245796B2 - 情報処理システム、及び情報処理システムの制御方法 - Google Patents

Description

本発明は、情報処理システム、及び情報処理システムの制御方法に関し、とくに機械学習(Machine Learning)を活用して推論を行う技術に関する。

近年、小売業や製造業等の様々な分野において、機械学習(Machine Learning)を活用して推論を行う情報処理システムの導入が進められている。こうした情報処理システムにおいては、実際の運用を通じて継続的に推論精度を維持することが求められる。特許文献１には、複数の機械学習モデルの夫々が行った推論結果について精度を評価し、評価に基づき機械学習モデルを選択する技術が開示されている。

米国特許出願公開第２０１９／０１５６２４７号明細書

"A Unified Approach to Interpreting Model Predictions", S. Lundberg et al., Neural Information Processing Systems (NIPS), 2017

機械学習を活用した情報処理システムにおいては、ある推論環境において推論精度の低下が検出された場合、推論対象として取得されたデータ（以下、「推論データ」と称する。）を学習対象のデータ（以下、「学習データ」と称する。）として利用して再学習することで推論精度の向上を期待できることがある。また、再学習した機械学習モデル（以下、「推論モデル」と称する。）を他の推論環境においても共用することで、推論精度や処理効率の向上を期待できることがある。しかし例えば、精度低下の原因が、ある推論環境に固有の推論データの傾向の変化であるために、当該推論環境で得た推論データを学習データとして再学習した推論モデルを他の推論環境に適用してしまうと、他の推論環境における推論精度が返って低下してしまうことがある。

特許文献１に開示された技術は、自然言語処理や画像認識のように推論データに特定の推論環境に固有の傾向の変化がないことを前提としている。そのため、例えば、複数の店舗から送られてくる売上データを推論データとして店舗毎に用意された推論環境により未来の販売予測を行う場合等、推論データの傾向が推論環境毎に異なるようなユースケースについては必ずしも適用することができない。

本発明は、以上の背景に基づきなされたもので、複数の推論環境により推論を行う機械学習システムにおいて個々の推論環境における推論精度を確保することが可能な、情報処理システム、及び情報処理システムの制御方法を提供することを目的とする。

上記の目的を達成するための本発明の一つは、情報処理システムであって、一つ以上の推論モデルにデータを入力して推論を行う複数の推論部と、前記推論部による推論精度を評価する推論精度評価部と、第１の前記推論部において推論精度の低下が検出された場合に、当該第１の推論部に入力されたデータを学習した新たな推論モデルを生成する学習部と、前記推論精度の低下の要因を判定する要因判定部と、判定した前記要因に基づき、前
記第１推論部と異なる第２の前記推論部に前記新たな推論モデルを適用するか否かを判定する配置決定部と、を備える。

その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄、及び図面により明らかにされる。

本発明によれば、複数の推論環境により推論を行う機械学習システムにおいて個々の推論環境における推論精度を確保することができる。

機械学習を活用した情報処理システムの一例である。 本実施形態の情報処理システムの仕組みを説明する図である。 本実施形態の情報処理システムの概略的な構成を示す図である。 情報処理装置の一例を示す図である。 推論サーバが備える主な機能を説明する図である。 推論モデル割当テーブルの一例である。 学習サーバが備える主な機能を説明する図である。 管理サーバが備える主な機能を説明する図である。 データ傾向管理テーブルの一例である。 推論精度管理テーブルの一例である。 ＭＬコード管理テーブルの一例である。 推論モデル配置管理テーブルの一例である。 推論処理を説明するフローチャートである。 データ傾向判定処理を説明するフローチャートである。 推論精度評価処理を説明するフローチャートである。 精度低下対応決定処理を説明するフローチャートである。 ＭＬコードデプロイ処理を説明するフローチャートである。 精度低下対応決定処理の例を模式的に示した図である。 精度低下対応決定処理の例を模式的に示した図である。

以下、実施形態について図面を参照しつつ説明する。以下の説明において、同一の又は類似する構成について同一の符号を付して重複する説明を省略することがある。また共通の符号にアルファベット等の添字を付して同種の構成を区別することがある。また以下の説明において、符号の前に付した「Ｓ」の文字は処理ステップを意味する。また以下の説明において、機械学習（Machine Learning）のことを「ＭＬ」と表記することがある。また以下の説明において、「機械学習モデル」のことを「推論モデル」とも称する。

図１は、機械学習を活用した情報処理システムの一例を示す図である。例示する情報処理システムは、複数の推論環境２ａ，２ｂと、推論環境２ａ，２ｂの夫々において推論に用いる推論モデルｍ１～ｍ３を更新する学習環境３とを含む。例示する情報処理システムは、複数の店舗の夫々に設けられている端末装置４ａ～４ｄから送られてくるデータ（以下、「推論データ」と称する。）に基づき、例えば、各店舗における販売数量や仕入数量／在庫数量等を予測する。

同図に示すように、端末装置４ａ，４ｂから送られてくる推論データは、推論環境２ａのルータ５ａに入力され、また端末装置４ｃ，４ｄから送られてくる推論データは、推論環境２ｂのルータ５ｂに入力される。

ルータ５ａは、推論環境２ａに適用されている推論モデルｍ１，ｍ２の少なくともいずれかに推論データを割り当てることにより推論を行う。またルータ５ｂは、推論環境２ｂに適用されている推論モデルｍ１，ｍ２の少なくともいずれかに推論データを割り当てることにより推論を行う。尚、ルータ５ａ，５ｂは必須ではなく、端末装置４ａ，４ｂに対して機械学習モデルを固定的に割り当ててもよい。

例示する情報処理システムにおいて、例えば、端末装置４ｂから送られてくる推論データの傾向が変化し（Ｓ１）、それにより推論モデルｍ２が行う推論について推論精度の低下が検出されたとする（Ｓ２）。この場合、例えば、学習環境３において当該推論データを学習データとして用いて再学習が行われ（Ｓ３）、生成された新たな推論モデルｍ３が推論環境２ａに適用される（Ｓ４）。また同じ推論モデルｍ３を推論環境２ｂでも利用している場合、新たな推論モデルｍ３は推論環境２ｂにも適用される（Ｓ５）。

ここでこのように、ある推論環境において推論精度が低下していることが検出され（Ｓ２）、それにより再学習した新たな推論モデルｍ３を他の推論環境にも適用する場合、次の問題が起こり得る。即ち、上記の例では推論データの傾向が変化したのは推論環境２ａを利用する端末装置４ｂのみであり、推論環境２ｂを利用する端末装置４ｃ，４ｂから送られてくる推論データの傾向が変化していない場合、推論環境２ｂに新たな推論モデルｍ３を適用することで当該推論環境２ｂにおける推論精度が返って低下してしまうことがある。また新たな推論モデルｍ３が、例えば、複数の推論モデルの夫々の推論結果を利用して最良の結果を求めるいわゆるアンサンブルアルゴリズム（アンサンブルモデル）に利用されている場合には、推論環境２ｂに新たな推論モデルｍ３を適用することで推論精度が低下する可能性があるだけでなく、推論にかかる計算資源や時間が無駄に費やされてしまうことになる。

そこで図２に示すように、本実施形態の情報処理システムにおいては、例えば、推論モデルｍ２による推論精度の低下が検出されて精度確保のために再学習を行った際（Ｓ２１，Ｓ２２）、推論精度が低下した要因を判定し（Ｓ２３）、判定した要因に応じて新たな推論モデルｍ３の適用方法を決定し（Ｓ２４）、生成した新たな推論モデルｍ３を決定した上記方法で推論環境２ａ，２ｂに適用する（Ｓ２５）。具体的には、例えば、判定した要因が推論データの傾向が変化したことによるものである場合、情報処理システムは、生成した新たな推論モデルｍ３を推論環境２ａにのみ適用し（Ｓ２６ａ）、一方、判定した要因が有効特徴量が変化したことによるものである場合、新たな推論モデルｍ３を推論環境２ａ及び推論環境２ｂの双方に適用する（Ｓ２６ｂ）。尚、上記の有効特徴量とは、正しい推論結果を得るために有効な特徴量である。

このような仕組みとすることで、学習済の新たな推論モデルｍ３は推論精度の向上が期待できる推論環境２にのみ適用され、推論精度の向上が期待できない推論環境２に新たな推論モデルｍ３が適用されてしまうことによる推論精度の低下を防ぐことができる。また不必要に推論処理が行われて推論にかかる計算資源や時間が無駄に費やされてしまうのを防ぐことができる。

図３に本発明の一実施形態として示す情報処理システム１００の概略的な構成を示している。情報処理システム１００は、２つの推論環境２ａ，２ｂの夫々に存在する推論サーバ５００と、学習環境３に存在する、学習サーバ６００及び管理サーバ７００と、推論サーバ５００に推論データを送信する端末装置４とを含む。推論サーバ５００、学習サーバ６００、管理サーバ７００、及び端末装置４は、いずれも情報処理装置（コンピュータ）を用いて構成される。推論環境２ａ，２ｂ、及び学習環境３は、夫々地理的に異なる場所に存在していてもよい。推論サーバ５００、学習サーバ６００、管理サーバ７００の配置は同図に示すものに必ずしも限定されず、またこれらの数も必ずしも限定されない。

端末装置４は、例えば、売上データ等の実績値を推論データとして推論サーバ５００に送信する。尚、端末装置４は、例えば、推論実施要求（推論リクエスト）とともに推論データを推論サーバ５００に送信する。推論サーバ５００は、推論データを受信すると、受信した推論データを、当該推論データ（当該推論データの送信元の端末装置４）に割り当てられている推論モデルに入力して未来の販売予測等の推論処理を行う。学習サーバ６００は、推論精度の低下が検知された場合、推論精度が低下した推論モデルに入力された推論データを学習した新たな推論モデルを生成する。管理サーバ７００は、推論精度が低下した要因に応じて新たな推論モデルの適用方法（対応方法）を決定し、決定した方法で新たな推論モデルを推論環境２に適用する。

推論環境２ａは、推論サーバ５００を提供するＩＴインフラストラクチャ４００、管理ネットワーク８００、及びデータネットワーク８１０を含む。推論環境２ａ，２ｂの夫々に存在する推論サーバ５００は、データネットワーク８１０を介して通信可能に接続されている。学習環境３は、学習サーバ６００及び管理サーバ７００を実現するＩＴインフラストラクチャ４００、管理ネットワーク８００、及びデータネットワーク８１０を含む。推論サーバ５００、学習サーバ６００、及び管理サーバ７００は、管理ネットワーク８００を介して通信可能に接続されている。また推論サーバ５００と学習サーバ６００は、データネットワーク８１０を介して通信可能に接続されている。管理ネットワーク８００は、主として推論サーバ５００や学習サーバ６００の管理に用いられる。データネットワーク８１０は、主として端末装置４に実際にサービスを提供する際（本番時）に推論サーバ５００と学習サーバ６００との間で行われる通信に用いられる。端末装置４は、広域ネットワーク８２０やデータネットワーク８１０を介して推論サーバ５００と通信可能に接続される。

通信ネットワーク（管理ネットワーク８００、データネットワーク８１０、広域ネットワーク８２０）は、例えば、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、インターネット、専用線、公衆通信網等の通信インフラストラクチャにより構成さ
れる。同図に示す通信ネットワークの構成は一例であり、保守や運用上の必要性、ユーザニーズ、セキュリティ等の観点から適宜適切な構成としてよい。例えば、管理ネットワーク８００、データネットワーク８１０は、同一の通信ネットワークであってもよい。また例えば、端末装置４と推論サーバ５００とを接続する通信ネットワークを、データネットワーク８１０とは別に設けてもよい。

図４に、推論サーバ５００、学習サーバ６００、管理サーバ７００、及び端末装置４の夫々を構成可能な情報処理装置（コンピュータ）の一例を示している。同図に示すように、例示する情報処理装置１０は、プロセッサ１１、主記憶装置１２、補助記憶装置１３、入力装置１４、出力装置１５、及び通信装置１６を備える。これらは図示しないバス（bus）等の通信手段を介して通信可能に接続されている。尚、推論サーバ５００、学習サー
バ６００、管理サーバ７００、及び端末装置４は、いずれも夫々が提供する機能を実現するために必要な構成を最低限備えていればよく、必ずしも例示する情報処理装置１０の全ての構成を備えていなくてもよい。

情報処理装置１０は、例えば、デスクトップ型のパーソナルコンピュータ、オフィスコンピュータ、メインフレーム、移動通信端末（スマートフォン、タブレット、ウェアラブル端末、ノートブック型のパーソナルコンピュータ等である。情報処理装置１０は、例えば、クラウドシステムにより提供される仮想サーバのように仮想化技術やプロセス空間分離技術等を用いて提供される仮想的な情報処理資源を用いて実現されるものであってもよい。また推論サーバ５００、学習サーバ６００、管理サーバ７００、及び端末装置４の機能の全部又は一部を、例えば、クラウドシステムがＡＰＩ（Application Programming In
terface）等を介して提供するサービスにより実現してもよい。

プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＩ（Artificial Intelligence）チップ、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等を用いて構成されている。

主記憶装置１２は、プログラムやデータを記憶する装置であり、例えば、ＲＯＭ（Read
Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ（ＮＶＲＡＭ（Non Volatile RAM））等である。補助記憶装置１３は、例えば、ＳＳＤ（Solid State Drive
）、ハードディスクドライブ、光学式記憶装置（ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等）、ストレージシステム、ＩＣカード、ＳＤカードや光学式記録媒体等の記録媒体の読取／書込装置、仮想サーバの記憶領域等である。補助記憶装置１３には、記録媒体の読取装置や通信装置１６を介してプログラムやデータを読み込むことができる。補助記憶装置１３に格納（記憶）されているプログラムやデータは主記憶装置１２に随時読み込まれる。

入力装置１４は、外部からの入力を受け付けるインタフェースであり、例えば、キーボード、マウス、タッチパネル、カードリーダ、音声入力装置等である。出力装置１５は、処理経過や処理結果等の各種情報を出力するインタフェースである。出力装置１５は、例えば、上記の各種情報を可視化する表示装置（液晶モニタ、ＬＣＤ（Liquid Crystal Display）、グラフィックカード等）、上記の各種情報を音声化する装置（音声出力装置（スピーカ等））、上記の各種情報を文字化する装置（印字装置等）である。出力装置１５は、入力装置１４とともにユーザインタフェースを構成する。尚、例えば、情報処理装置１０が通信装置１６を介して他の装置（スマートフォン、タブレット、ノートブック型コンピュータ、各種携帯情報端末等）と情報の入力や出力を行う構成としてもよい。

通信装置１６は、他の装置との間の通信を実現する。通信装置１６は、通信ネットワーク（管理ネットワーク８００、データネットワーク８１０、及び広域ネットワーク８２００のうちの少なくともいずれか）を介した他の装置との間の通信を実現する、無線方式又は有線方式の通信インタフェースであり、例えば、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢ（Universal Serial Bus）モジュール、シリアル通信モジュール等である。続いて、各装置が備える機能について説明する。

図５に推論サーバ５００が備える主な機能を示している。同図に示すように、推論サーバ５００は、記憶部５１０及び推論部５２０を備える。これらの機能は、推論サーバ５００を構成する情報処理装置１０のプロセッサ１１が、当該情報処理装置１０の主記憶装置１２に格納されているプログラムを読み出して実行することにより、もしくは、当該情報処理装置１０が備えるハードウェア（ＦＰＧＡ、ＡＳＩＣ、ＡＩチップ等）により実現される。

記憶部５１０は、推論モデル群５１１０、及び推論モデル割当テーブル５１２０を記憶し管理するリポジトリとして機能する。記憶部５１０は、例えば、ＤＢＭＳが提供するデータベースのテーブルや、ファイルシステムが提供するファイルとして、これらのデータを記憶する。

推論モデル群５１１０は、機械学習のアルゴリズムや学習データにより生成された一つ以上の推論モデルを含む。推論モデルには、例えば、回帰式を用いて時系列データの将来値を予測するモデル、ＤＮＮ（Deep Neural Network）を用いて画像を分類するモデル等
がある。

推論モデル割当テーブル５１２０は、端末装置４から送られてくる推論データの推論モデルへの割り当てに関する情報を含む。

図６に推論モデル割当テーブル５１２０の一例を示す。例示する推論モデル割当テーブル５１２０は、端末装置ＩＤ５１２１、推論モデルＩＤ５１２２、及び推論モデルＡＰＩエンドポイント５１２３の各項目を有する複数のレコード（エントリ）で構成されている。端末装置ＩＤ５１２１には、端末装置４の識別子である端末装置ＩＤが設定される。推論モデルＩＤ５１２２には、推論モデルの識別子である推論モデルＩＤが設定される。推論モデルＡＰＩエンドポイント５１２３には、推論モデルが推論データとともに推論実施要求を受け付けるＡＰＩ（Application Programming Interface）のエンドポイント（例
えば、ＵＲＬ（Uniform Resource Locator）やＩＰ（Internet Protocol）アドレス等の
ネットワークアドレス）が設定される。ＡＰＩは、推論サーバ５００が提供してもよいし、推論サーバ５００以外が提供してもよい。

例示する推論モデル割当テーブル５１２０の場合、例えば、端末装置ＩＤ５１２１が「client001」の端末装置４から送られてくる推論データは、推論モデルＩＤ５１２２が「model001」の推論モデルに入力されることを示している。また推論モデルＡＰＩエンドポ
イント５１２３には、推論モデルが実行される推論サーバ５００が設置される推論環境を示すドメイン名の記述を含むＵＲＬが設定される。同図における「domain1」は推論環境
２ａを、「domain2」は推論環境２ｂを示す。

同一の推論モデルの異なるインスタンスが複数の環境で実行されることもある。例えば、同図の例では、推論モデルＩＤ５１２２が「model001」の推論モデルのインスタンスが「domain1」で示される推論環境２ａと、「domain2」で示される推論環境２ｂで実行され、夫々「https://model001.domain1」で示されるＡＰＩエンドポイントと、「https://model001.domain2」で示されるＡＰＩエンドポイントにて推論データ（推論実施要求）を受け付ける。また同一の端末装置４から送られてくる推論データが複数の推論モデルに入力されることもある。例えば、同図の例では、端末装置ＩＤ５１２１が「client003」の端末装置４からの推論データは、推論モデルＩＤ５１２２が「model001」の推論モデルと、推論モデルＩＤ５１２２が「model002」の推論モデルに入力される。尚、例えば，アンサンブルアルゴリズムにより推論が行われる場合にはこのように同一の端末装置４から送られてくる推論データを複数の推論モデルに入力される。

尚、本実施形態では、端末装置４から送られてくる推論データを入力する推論モデルを、このように推論モデル割当テーブル５１２０を用いて管理するが、他の方法で管理してもよい。例えば、ＤＮＳ（Domain Name System）により推論データを処理する推論モデルの名前解決を行う際に、端末装置４毎に異なる推論モデル（ＡＰＩ）に割り当てられているネットワークアドレスを返すようにしてもよい。

図５に戻り、推論部５２０は、端末装置４から推論データを受信し、受信した推論データを推論モデル割当テーブル５１２０から特定される推論サーバ５００の推論モデルに入力することにより推論処理を行う。このように推論部５２０は、推論データを割り当て先に転送するルータの役割を果たす。

尚、端末装置４が推論部５２０に推論データを送信する方法は必ずしも限定されない。例えば、推論部５２０が提供するＡＰＩを端末装置４から呼び出すようにしてもよい。また例えば、端末装置４が、端末装置４と推論部５２０のいずれもがアクセス可能なストレージの記憶領域に推論データを格納しておき、端末装置４から推論部５２０に、上記ストレージに格納されている推論データへのアクセス情報（接続先や認証情報など）を送信し
、推論部５２０が、端末装置４から推論実施要求を受信した際、上記アクセス情報を用いて上記ストレージから推論データを取得するようにしてもよい。

推論部５２０及び推論モデル割当テーブル５１２０は、２つの推論環境２ａ，２ｂの夫々の推論サーバ５００のうちいずれか一方にのみ配置してもよい。また推論部５２０及び推論モデル割当テーブル５１２０を記憶する推論サーバ５００と、推論モデル群５１１０を記憶する推論サーバ５００を、夫々異なる情報処理装置に配置してもよい。推論部５２０、推論サーバ５００、及び推論環境２の対応関係は必ずしも限定されない。例えば、推論部５２０が複数の推論サーバ５００により実現されていてもよい。また推論部５２０と推論環境２とは一対一に対応していてもよいし対応していなくてもよい。

図７に学習サーバ６００が備える主な機能を示している。同図に示すように、学習サーバ６００は、記憶部６１０、前処理部６２０、学習部６３０、及び評価部６４０の各機能を有する。これらの機能は、学習サーバ６００を構成する情報処理装置１０のプロセッサ１１が、当該情報処理装置１０の主記憶装置１２に格納されているプログラムを読み出して実行することにより、もしくは、当該情報処理装置１０が備えるハードウェア（ＦＰＧＡ、ＡＳＩＣ、ＡＩチップ等）により実現される。

記憶部６１０は、学習データ群６１１０を記憶し管理するリポジトリとして機能する。記憶部６１０は、例えば、ＤＢＭＳが提供するデータベースのテーブルや、ファイルシステムが提供するファイルとして、学習データ群６１１０を記憶する。学習データ群６１１０には、学習データの生成元となるデータ（以下、「生成元データ」と称する。）や生成元データに基づき前処理部６２０によって生成した学習データが含まれる。生成元データは、例えば、端末装置４から取得される推論データである。

前処理部６２０は、生成元データに種々の前処理を行って学習データと評価データを生成する。前処理には、例えば、生成元データの欠損値を補完する処理、生成元データを正規化する処理、特徴量を抽出する処理、生成元データを学習データと評価データに分割する処理等がある。

学習部６３０は、学習データに基づき機械学習を行って推論モデルを生成する。推論モデルを生成するアルゴリズムは必ずしも限定されない。上記アルゴリズムとして、例えば、ＤＮＮ（Deep Neural Network）、各種回帰分析、時系列分析、アンサンブル学習（Ensemble Learning）等がある。

評価部６４０は、評価データを用いて推論モデルのパフォーマンスを評価する。推論モデルのパフォーマンスの種類や推論モデルのパフォーマンスの評価方法は必ずしも限定されない。推論モデルのパフォーマンスの種類として、例えば、精度や公平性等がある。推論モデルの評価方法として、例えば、実績値との間の平均二乗誤差や平均絶対誤差、決定係数を評価指標として用いるものがある。

以下の説明において、推論モデルの学習に関する処理（前処理部６２０、学習部６３０、及び評価部６４０の夫々の処理）を実現するためのプログラムやデータのことをＭＬコードと称する。ＭＬコードは、例えば、有効特徴量が変化した際に更新される。ＭＬコードは、例えば、人（推論モデルの開発者等）が起動してもよいし、所定のソフトウェアによりＭＬコードを順次呼び出して自動実行してもよい。また例えば、所定のソフトウェアがＭＬコードを様々な条件（アルゴリズム選択やパラメータ設定）で実行し、評価の最も高い推論モデルを自動選択するようにしてもよい。

図８に管理サーバ７００が備える主な機能を示している。同図に示すように、管理サー
バ７００は、記憶部７１０、データ傾向判定部７２０、推論精度評価部７３０、ＭＬコードデプロイ部７４０、要因判定部７５０、及び配置決定部７６０の各機能を有する。尚、管理サーバ７００は、人（推論モデルの開発者等）によるＭＬコードの開発を支援する機能をさらに備えていてもよい。これらの機能は、管理サーバ７００を構成する情報処理装置１０のプロセッサ１１が、当該情報処理装置１０の主記憶装置１２に格納されているプログラムを読み出して実行することにより、もしくは、当該情報処理装置１０が備えるハードウェア（ＦＰＧＡ、ＡＳＩＣ、ＡＩチップ等）により実現される。

記憶部７１０は、データ傾向管理テーブル７１１０、推論精度管理テーブル７１２０、ＭＬコード管理テーブル７１３０、推論モデル配置管理テーブル７１４０、推論データ／結果群７１５０、ＭＬコード群７１６０、及び推論モデル群７１７０を記憶し管理するリポジトリとして機能する。記憶部７１０は、例えば、ＤＢＭＳが提供するデータベースのテーブルや、ファイルシステムが提供するファイルとしてこれらの情報（データ）を記憶する。記憶部７１０は、ＭＬコードや推論モデルを管理する機能を実現するためのプログラムやデータをさらに記憶してもよい。例えば、記憶部７１０は、推論データの傾向や推論精度の時間変化を表示するプログラムを記憶してもよい。

データ傾向管理テーブル７１１０は、端末装置４が推論サーバ５００に送信する推論データの傾向をグループ化した結果を示す情報を含む。

図９にデータ傾向管理テーブル７１１０の一例を示す。同図に示すように、データ傾向管理テーブル７１１０は、端末装置ＩＤ７１１１、データ傾向グループＩＤ７１１２、及び判定日時７１１３の各項目を有する複数のレコードで構成される。このうち端末装置ＩＤ７１１１には、端末装置ＩＤが設定される。データ傾向グループＩＤ７１１２には、傾向が類似する推論データを分類するグループであるデータ傾向グループに夫々付与される識別子であるデータ傾向グループＩＤが設定される。判定日時７１１３には、データ傾向判定部７２０が当該端末装置ＩＤの端末装置４から送られてくる推論データの傾向を判定した日時が設定される。同図の例では、端末装置ＩＤ７１１１が「client002」である端
末装置４から送信される推論データの傾向が、判定日時７１１１３「2019/10/01 09:00:00」の時点においてはデータ傾向グループＩＤ７１１２「group001」で示されるデータ傾
向であり、判定日時７１１３「2019/10/02 13:00:00」の時点ではデータ傾向グループＩ
Ｄ７１１２「group002」で示されるデータ傾向であることを示している。これにより当該端末装置４から送信される推論データの傾向が変化していることを検出できる。

図８に戻り、推論精度管理テーブル７１２０には、端末装置４が送信した推論データを推論モデルに入力することにより得られた推論結果の精度（推論精度）を示す情報が管理される。

図１０に推論精度管理テーブル７１２０の一例を示す。同図に示すように、推論精度管理テーブル７１２０は、端末装置ＩＤ７１２１、推論モデルＩＤ７１２２、評価日時７１２３、及び推論精度７１２４の各項目を有する複数のレコードで構成される。このうち端末装置ＩＤ７１２１には、端末装置ＩＤが設定される。推論モデルＩＤ７１２２には、推論モデルＩＤが設定される。評価日時７１２３には、推論精度評価部７３０が、当該端末装置ＩＤの端末装置４の当該推論モデルＩＤの推論モデルに推論データを入力して推論を行い推論精度を評価した日時が設定される。推論精度７１２４には、推論精度評価部７３０が評価した推論精度を示す情報が設定される。同図の例では、端末装置ＩＤ７１２１が「client001」の端末装置４から送信された推論データを推論モデルＩＤ７１２２が「model001」で示される推論モデルに入力して推論を行った結果が、評価日時７１２３「2019/10/01 10:00:00」の時点において推論精度７１２４「90%」であり、また評価日時７１２
３「2019/10/01 11:00:00」の時点において推論精度７１２４「88%」であること（推論精
度が低下していること）を示している。

図８に戻り、ＭＬコード管理テーブル７１３０には、学習サーバ６００と、学習サーバ６００にデプロイされているＭＬコードとの対応を示す情報が管理される。

図１１にＭＬコード管理テーブル７１３０の一例を示す。ＭＬコード管理テーブル７１３０は、学習サーバＩＤ７１３１、前処理プログラムＩＤ７１３２、学習プログラムＩＤ７１３３、及び評価プログラムＩＤ７１３４の各項目を有する複数のレコードで構成される。学習サーバＩＤ７１３１には、学習サーバ６００の識別子である学習サーバＩＤが設定される。前処理プログラムＩＤ７１３２には、前処理部６２０を実現するプログラムの識別子である前処理プログラムＩＤが設定される。学習プログラムＩＤ７１３３には、学習部６３０を実現するプログラムの識別子である学習プログラムＩＤが設定される。評価プログラムＩＤ７１３４には、評価部６４０を実現するプログラムの識別子である評価プログラムＩＤが管理される。同図の例では、例えば、学習サーバＩＤ７１３１が「server001」の学習サーバ６００に、前処理プログラムＩＤ７１３２が「prep001-1.0」のプログラム、学習プログラムＩＤ７１３３が「learn001-1.0」のプログラム、及び評価プログラムＩＤ７１３４が「eval001-1.0」のプログラムがデプロイされていることを示している
。

図８に戻り、推論モデル配置管理テーブル７１４０には、推論サーバ５００と、推論サーバ５００にデプロイされている推論モデルと、推論モデルが端末装置４から送信される推論データを受け付ける推論モデルＡＰＩエンドポイントを示す情報との対応を示す情報を含む。

図１２に推論モデル配置管理テーブル７１４０の一例を示す。同図に示すように、推論モデル配置管理テーブル７１４０は、推論サーバＩＤ７１４１、推論モデルＩＤ７１４２、及び推論モデルＡＰＩエンドポイント７１４３の各項目を有する複数のレコードで構成される。推論サーバＩＤ７１４１には、推論サーバ５００の識別子である推論サーバＩＤが設定される。推論モデルＩＤ７１４２には、推論モデルＩＤが設定される。推論モデルＡＰＩエンドポイント７１４３には、推論モデルが推論実施要求とともに推論データを受け付けるためのＡＰＩのエンドポイントを示す情報が設定される。同図に示す例では、推論サーバＩＤ７１４１が「server101」の推論サーバ５００に、推論モデルＩＤ７１４２
が「model001」の推論モデルがデプロイされ、当該推論モデルが推論モデルＡＰＩエンドポイント７１４３が「https://model001.domain1」のＡＰＩエンドポイントにて端末装置４から送信される推論実施要求及び推論データを受け付けることを示している。

図８に戻り、推論データ／結果群７１５０は、端末装置４が推論サーバ５００に送信する推論データと、推論サーバ５００が端末装置４に送信する推論結果とを含む。ＭＬコード群７１６０は、ＭＬコードを含む。推論モデル群７１７０は、推論モデルの情報を含む。

データ傾向判定部７２０は、端末装置４が推論サーバ５００に送信する推論データの傾向を判定する。データ傾向判定部７２０は、推論データの傾向の判定結果をデータ傾向管理テーブル７１１０に格納する。

推論精度評価部７３０は、推論モデルが推論した結果についてその精度を評価し、推論精度の低下の有無を検出する。推論精度評価部７３０は、評価結果を推論精度管理テーブル７１２０に管理する。

ＭＬコードデプロイ部７４０は、ＭＬコード群７１６０に含まれているＭＬコードを学
習サーバ６００にデプロイする。ＭＬコードデプロイ部７４０は、ＭＬコードとＭＬコードがデプロイされた学習サーバ６００との関係をＭＬコード管理テーブル７１３０に管理する。

要因判定部７５０は、推論部５２０による推論精度の低下が検出された場合に、推論精度が低下した要因を判定する。

配置決定部７６０は、推論モデル群７１７０に格納されている推論モデルの推論サーバ５００への配置や、端末装置４への推論モデルの割り当てを決定する。配置決定部７６０は、推論モデルの推論サーバ５００への配置状況を推論モデル配置管理テーブル７１４０に管理する。

続いて、情報処理システム１００において行われる処理について説明する。

図１３は、推論サーバ５００の推論部５２０が実行する処理（以下、「推論処理Ｓ１３００」と称する。）を説明するフローチャートである。推論処理Ｓ１３００は、例えば、推論サーバ５００が端末装置４から推論データを受信したことを契機として開始される。但し、これに限らず他の方法で開始されてもよい。以下、同図とともに推論処理Ｓ１３００について説明する。

端末装置４から推論実施要求とともに推論データを受信すると（Ｓ１３１１）、推論部５２０は、当該端末装置４の端末装置ＩＤに対応する推論モデルＩＤと推論モデルＡＰＩエンドポイント５１２３を、推論モデル割当テーブル５１２０から取得する（Ｓ１３１２）。尚、端末装置ＩＤは、例えば、端末装置４が送信する推論データに含まれるものとするが、これに限らず他の方法で端末装置ＩＤを特定してもよい。

続いて、推論部５２０が、取得したＡＰＩエンドポイントに推論データを送信してＡＰＩに推論実施要求を行う（Ｓ１３１３）。尚、推論実施要求を行う方法は必ずしも限定されない。Ｓ１３１２にて推論モデルＡＰＩエンドポイント５１２３が複数取得される場合、推論部５２０は、取得された全てのエンドポイントに推論データを入力する。

続いて、推論部５２０は、ＡＰＩが推論モデルに推論データを入力して行った推論の結果を取得する（Ｓ１３１４）。尚、推論モデルが推論部５２０に推論結果を返す方法は、推論部５２０が当該モデルのＡＰＩを呼び出した際のレスポンスとして同期的に返してもよいし、当該ＡＰＩ呼び出しとは別に非同期的に返してもよい。

続いて、推論部５２０は、端末装置４に推論結果を返す（Ｓ１３１５）。尚、Ｓ１３１２にて複数の推論モデルＡＰＩエンドポイント５１２３を取得している場合、推論部５２０は、例えば、複数の推論モデルの夫々から受信した複数の推論結果を端末装置４に返す。また推論部５２０が、複数の推論結果を１つに統合して端末装置４に返すようにしてもよい。そのような場合として、例えば、推論部５２０が、推論結果とともに夫々について推論の確からしさを示すスコアを取得し、取得した複数の推論結果の中から最もスコアの高い推論結果を端末装置４に返す場合、取得した複数の推論結果のうち最も多く他の推論結果と同一の結果であったものを返す（多数決方法）場合等がある。推論結果は、推論部５２０が端末装置４から推論データを受信した際のレスポンスとして端末装置４に同期的に返してもよいし、例えば、ＡＰＩの呼び出しとは別に非同期的に返してもよい。

続いて、推論部５２０が、Ｓ１３１１で端末装置４から受信した推論データと、Ｓ１３１５で推論モデルから取得した推論結果とを管理サーバ７００の推論データ／結果群７１５０に格納する（Ｓ１３１６）。上記格納の方法には、例えば、管理サーバ７００が推論
データ／結果群７１５０に推論データや推論結果を格納するためのＡＰＩを提供して推論部５２０が当該ＡＰＩを呼び出す方法、ファイル共有プロトコルなどを介して推論サーバ５００と管理サーバ７００とが推論データ／結果群７１５０を共有し、推論部５２０が推論データ及び推論結果をファイルとして書き込む方法等があるが、これに限らず他の方法としてもよい。以上で推論処理Ｓ１３００は終了する。

図１４は、データ傾向判定部７２０が実行する処理（以下、「データ傾向判定処理Ｓ１４００」と称する。）を説明するフローチャートである。データ傾向判定部７２０は、データ傾向判定処理Ｓ１４００を実行することにより、端末装置４から推論サーバ５００に送信された推論データの傾向を判定する。データ傾向判定処理Ｓ１４００は、例えば、推論部５２０が推論データ／結果群７１５０に推論実施要求及び推論データを格納することにより開始される。但しこれに限らずデータ傾向判定処理Ｓ１４００は他の方法で開始されてもよい。例えば、予め定められた時間間隔毎に定期的に開始してもよい。以下、同図とともにデータ傾向判定処理Ｓ１４００について説明する。

まずデータ傾向判定部７２０が、推論データ／結果群７１５０に格納されている推論データ（例えば、新たに格納された推論データ）について、傾向が近いグループを判定する（Ｓ１４１１）。上記判定の方法としては、例えば、推論データのデータ項目を軸とする多次元空間上で推論データをクラスタリングして傾向が近いグループを判定する方法があるが、これに限らず他の方法で判定してもよい。

続いて、データ傾向判定部７２０が、判定結果と判定日時とをデータ傾向管理テーブル７１１０に格納する（Ｓ１４１２）。以上でデータ傾向判定処理Ｓ１４００は終了する。

図１５は、推論精度評価部７３０が実行する処理（以下、「推論精度評価処理Ｓ１５００」と称する。）を説明するフローチャートである。推論精度評価部７３０は、推論精度評価処理Ｓ１５００を実行することにより、推論モデルによって実行された推論について推論精度を評価する。推論精度評価処理Ｓ１５００は、例えば、推論部５２０が推論データ／結果群７１５０に推論結果を格納したことを契機として開始されるが、これに限らず他の方法で開始されてもよい。例えば、予め定められた時間間隔毎に定期的に推論精度評価処理Ｓ１５００を開始してもよい。以下、同図とともに推論精度評価処理Ｓ１５００について説明する。

まず推論精度評価部７３０が、推論データ／結果群７１５０の推論結果について推論精度を評価する（Ｓ１５１１）。推論精度の評価の方法としては、例えば、推論結果を人が見て評価した結果をユーザインタフェースを介して取得する方法や、推論結果として得られた予測値と、実測値とを比較する方法等があるが、他の方法により評価してもよい。

続いて、推論精度評価部７３０が、推論精度の評価結果と評価日時とを推論精度管理テーブル７１２０に格納する（Ｓ１５１２）。

続いて、推論精度評価部７３０が、評価対象の推論結果を出力した推論モデルについて、推論精度が低下しているか否かを判定する（Ｓ１５１３）。上記判定の方法としては、例えば、予め定められた閾値と推論精度とを比較し、推論精度が閾値を下回った場合に推論精度が低下したと判定する方法や、前回の推論精度からの低下量が予め定められた閾値以上であるときに推論精度が低下したと判定する方法等があるが、他の方法で判定してもよい。推論精度評価部７３０が、推論精度が低下していると判定した場合（Ｓ１５１３：ＹＥＳ）、処理はＳ１５１４に遷移する。一方、推論精度評価部７３０が、推論精度が低下していると判定しなかった場合（Ｓ１５１３：ＮＯ）、推論精度評価処理Ｓ１５１１は終了する。

Ｓ１５１４では、推論精度評価部７３０は、配置決定部７６０の精度低下対応決定処理Ｓ１６００を呼び出す。精度低下対応決定処理Ｓ１６００の詳細については後述する。精度低下対応決定処理Ｓ１６００が実行された後、推論精度評価処理Ｓ１５１１は終了する。

図１６は、要因判定部７５０及び配置決定部７６０が実行する処理（以下、「精度低下対応決定処理Ｓ１６００」と称する。）を説明するフローチャートである。精度低下対応決定処理Ｓ１６００は、例えば、推論精度評価部７３０によって呼び出されることにより開始されるが、これに限らず他の方法で開始されてもよい。例えば、推論モデルの開発者や情報処理システム１００の運用管理者等がユーザインタフェースを介して当該処理を実行するようにしてもよい。以下、同図とともに精度低下対応決定処理Ｓ１６００について説明する。

まず要因判定部７５０が、有効特徴量が変化したことが推論精度が低下した要因であるか否かを判定する（Ｓ１６１１）。上記判定の方法は必ずしも限定されないが、例えば、非特許文献１（“A Unified Approach to Interpreting Model Predictions”, S. Lundberg et al., Neural Information Processing Systems (NIPS), 2017）に開示されている方法がある。要因判定部７５０が、有効特徴量が変化したことが推論精度が低下した要因であると判定した場合（Ｓ１６１２：ＹＥＳ）、処理はＳ１６１３に遷移する。一方、要因判定部７５０が、有効特徴量が変化したことが推論精度が低下した要因であると判定しなかった場合（Ｓ１６１２：ＮＯ）、処理はＳ１６２１に遷移する。

Ｓ１６１２では、配置決定部７６０は、有効特徴量が変化したことが推論モデルの推論精度が低下した要因である旨を推論モデルの開発者等の人に通知（アラートを出力）してＭＬコードの更新を促す。尚、学習サーバ６００が、ＭＬコードを様々な条件（アルゴリズムの選択やパラメータの選択）に応じた条件等）で実行し、最も評価の高い推論モデルを選択するソフトウェアを実行可能である場合、配置決定部７６０がこのタイミングで上記ソフトウェアを実行するようにしてもよい。

続いて、配置決定部７６０は、ＭＬコードデプロイ部７２６０のＭＬコードデプロイ処理Ｓ１６１３を実行し、ＭＬコードを学習サーバにデプロイする（Ｓ１６１３）。ＭＬコードデプロイ処理Ｓ１６１３については図１７とともに後述する。

続いて、配置決定部７６０は、ＭＬコードデプロイ処理Ｓ１６１３によってデプロイされたＭＬコードを実行し、有効特徴量の変化に対応した新たな推論モデルを生成する（Ｓ１６１４）。配置決定部７６０は、新たな推論モデルを推論モデル群７１７０に格納する。

続いて、配置決定部７６０は、推論環境２ａの推論サーバ５００、及び推論環境２ｂの推論サーバ５００に、Ｓ１６１５で生成した新たな推論モデルをデプロイし、推論モデル配置管理テーブル７１４０に当該推論サーバの推論サーバＩＤと、当該モデルの推論モデルＩＤ及び推論モデルＡＰＩエンドポイントとを格納する（Ｓ１６１５）。

続いて、配置決定部７６０は、推論モデル割当テーブル５１２０を更新し、推論精度が低下した推論モデルを利用する全ての端末装置４にＳ１６１５で生成したモデルを割り当てる（Ｓ１６１６）。即ち、配置決定部７６０は、推論精度が低下した推論モデルの推論モデルＩＤと、推論モデル割当テーブル５１２０の推論モデルＩＤ５１２２の推論モデルＩＤとを比較し、両者が一致したレコードについて、推論モデルＩＤ５１２２にＳ１６１５で生成したモデルの推論モデルＩＤを、また推論モデルＡＰＩエンドポイント５１２３
にＳ１６１５で生成したモデルの推論モデルＡＰＩエンドポイントを、夫々格納する。当該処理の実行後、精度低下対応決定処理Ｓ１６００は終了し、図１５の推論精度評価処理Ｓ１５００も終了する。

Ｓ１６２１では、配置決定部７６０は、ＭＬコードを実行して新たな推論モデルを生成する。配置決定部７６０は、生成した新たな推論モデルを推論モデル群７１７０に格納する。

Ｓ１６２２では、配置決定部７６０は、推論精度が低下した推論モデルがデプロイされていた推論環境２の推論サーバ５００に、Ｓ１６２１で生成した新たな推論モデルをデプロイし、推論モデル配置管理テーブル７１４０に当該推論サーバ５００の推論サーバＩＤと、当該推論モデルの推論モデルＩＤ及び推論モデルＡＰＩエンドポイントとを格納する。このとき、推論モデルＩＤ及び推論モデルＡＰＩエンドポイントは上書きしてもよいし、上書きせずにレコードを追加してもよい。上書きした場合、例えば、推論精度が低下した推論モデルの代わりにＳ１６２１で生成された推論モデルにより推論が行われる。またレコードを追加した場合、例えば、推論精度が低下した推論モデルと新たな推論モデルの双方を用いたアンサンブルアルゴリズムにより推論が行われる。

続いて、配置決定部７６０は、推論モデル割当テーブル５１２０を参照し、推論精度が低下した推論モデルが割り当てられていた端末装置４を特定する（Ｓ１６２３）。即ち、配置決定部７６０は、精度が低下した推論モデルの推論モデルＩＤと、推論モデル割当テーブル５１２０の推論モデルＩＤ５１２２の推論モデルＩＤとを比較し、両者が一致したレコードの端末装置ＩＤを特定する。

続いて、配置決定部７６０は、データ傾向管理テーブル７１１０を参照し、Ｓ１６２３で特定した端末装置４のうち、送信してきた推論データに傾向変化のあった端末装置４を特定する（Ｓ１６２４）。即ち、配置決定部７６０は、Ｓ１６２３で特定した端末装置ＩＤと、データ傾向管理テーブル７１１０の端末装置ＩＤ７１１１の端末装置ＩＤとを比較し、両者が一致するレコードについて、予め定められた期間の間にデータ傾向グループＩＤ７１１２のデータ傾向グループＩＤが変化しているか否かを判定し、データ傾向グループＩＤが変化していると判定したレコードの端末装置ＩＤの端末装置４を、推論データに傾向変化のあった端末装置４として特定する。

続いて、配置決定部７６０は、データ傾向管理テーブル７１１０を参照し、推論データに傾向変化のあった端末装置４と同じデータ傾向グループに属する端末装置４を特定する（Ｓ１６２５）。即ち、配置決定部７６０は、Ｓ１６２４で特定した端末装置４の端末装置ＩＤと、データ傾向管理テーブル７１１０の端末装置ＩＤ７１１１の端末装置ＩＤとを比較し、両者が一致するレコードのデータ傾向グループＩＤを取得し、当該データ傾向グループＩＤと同じデータ傾向グループＩＤを持つ別のレコードを特定し、特定したレコードの端末装置ＩＤの端末装置４を、推論データに傾向変化のあった端末装置４と同じデータ傾向グループに属する端末装置４として特定する。

続いて、配置決定部７６０は、推論モデル割当テーブル５１２０を更新し、Ｓ１６２４及びＳ１６２５で特定した端末装置４に、Ｓ１６２１で生成した新たな推論モデルを割り当てる（Ｓ１６２６）。即ち、配置決定部７６０は、Ｓ１６２４及びＳ１６２５で特定した端末装置４の端末装置ＩＤと、推論モデル割当テーブル５１２０の端末装置ＩＤ５１２１の端末装置ＩＤとを比較し、両者が一致するレコードについて、推論モデルＩＤ５１２２にＳ１６２１で生成した新たな推論モデルの推論モデルＩＤを、推論モデルＡＰＩエンドポイント５１２３にＳ１６２１で生成した新たな推論モデルの推論モデルＡＰＩエンドポイントを、夫々格納する。尚、推論モデル割当テーブル５１２０の更新は、例えば、デ
ータ傾向判定処理Ｓ１４００の途中にデータ傾向が変化したか否かを判定する処理ステップを設け、データ傾向が変化したと判定した場合に行うようにしてもよい。当該処理の実行後、精度低下対応決定処理Ｓ１６００は終了し、図１５の推論精度評価処理Ｓ１５００も終了する。

図１７は、前述したＭＬコードデプロイ処理Ｓ１６１３を説明するフローチャートである。ＭＬコードデプロイ部７４０は、同図に示す手順に従ってＭＬコードを学習サーバ６００にデプロイする。本例では、ＭＬコードデプロイ処理Ｓ１６１３は、配置決定部７６０によって呼び出されることにより開始されるが、これに限らず他の方法で開始されてもよい。例えば、推論モデルの開発者や運用管理者等の人が、ＭＬコードデプロイ部７４０のユーザインタフェースを介して当該処理を実行するようにしてもよい。

Ｓ１７２１では、ＭＬコードデプロイ部７４０は、ＭＬコード群７１６０を監視する。続いて、ＭＬコードデプロイ部７４０は、ＭＬコード群にてＭＬコードが更新されているか否か（有効特徴量の変化に対応した内容のＭＬコードに更新されているか否か）を判定する（Ｓ１７２２）。尚、ＭＬコードの更新には、新規のＭＬコードの追加や既存のＭＬコードの削除、既存のＭＬコードの変更等がある。ＭＬコードデプロイ部７４０が、ＭＬコードが更新されていると判定した場合（Ｓ１７２２：ＹＥＳ）、処理はＳ１７２３に遷移する。ＭＬコードデプロイ部７４０が、ＭＬコードが更新されていないと判定した場合（Ｓ１７２２：ＮＯ）、処理はＳ１７２１に遷移する。このとき、当該処理によって学習サーバ６００が過負荷となるのを防ぐため、予め定められた一定時間、学習サーバ６００が行っている所定の処理を停止するようにしてもよい。

Ｓ１７２３では、ＭＬコードデプロイ部７４０は、更新されているＭＬコードを学習サーバ６００にデプロイする。その後、ＭＬコードデプロイ処理Ｓ１６１４は終了し、続いて図１６のＳ１６１４の処理に進む。

図１８及び図１９は、図１６に示した精度低下対応決定処理Ｓ１６００の例を模式的に示した図である。

図１８は、推論モデルＩＤが「model002」の推論モデルの推論精度が低下し、その結果、図１６のＳ１６１１において有効特徴量が変化したことが推論精度が低下した要因であると判定された場合である。本例では、図１６のＳ１６２１において、有効特徴量の変化に対応した、推論モデルＩＤが「model002’」の新たな推論モデルが生成され、生成された新たな推論モデルが推論環境２ａの推論サーバ５００及び推論環境２ｂの推論サーバ５００にデプロイされている。また推論精度が低下した「model002」が割り当てられていたクライアント「client002」、「client003」、及び「client004」に、「model002’」が
割り当てられている。

図１９は、端末装置ＩＤが「client002」の端末装置４から送信された推論データの傾
向が変化した結果、推論モデルＩＤが「model002」の推論モデルの推論精度が低下し、その結果、図１６のＳ１６１１において有効特徴量が変化したことが推論精度が低下した要因でないと判定された場合である。本例では、図１６のＳ１６１４において、推論モデルＩＤが「model002’」の新たな推論モデルが生成され、生成された新たな推論モデルが推論環境２ａの推論サーバ５００にデプロイされる。また推論モデルＩＤとして「model002」に代えて「model002’」が「client002」に割り当てられている。ここで同図の例では
、端末装置ＩＤが「client002」の端末装置４から送信される推論データの傾向変化とい
う当該端末装置４に限定された要因によって推論精度が低下しているため、新たな推論モデルは当該端末装置４にのみ割り当てられている（図中の下段左側の図）。またその後に端末装置ＩＤが「client004」の端末装置４から送信される推論データに端末ＩＤが「cli
ent002」の端末装置４から送信される推論データと同様の傾向変化が生じると、端末装置４に、推論モデルＩＤが「model002」の推論モデルの代わりに推論モデルＩＤが「model002’」の推論モデルが「client004」に割り当てられる（図中下段右側の図）。

以上の詳細に説明したように、本実施形態の情報処理システム１００は、推論モデルの推論精度が低下したことを検出した場合、推論モデルの推論精度が低下した要因を判定し、有効特徴量が変化したことが推論モデルの推論精度が低下した要因である場合、例えば、推論モデルの開発者等によって更新されたＭＬコードを用いて、有効特徴量の変化に対応した新たな推論モデルを生成し、生成した新たな推論モデルを推論環境２の夫々の推論サーバ５００にデプロイする。一方、有効特徴量が変化したことが推論モデルの精度が低下した要因でない場合、情報処理システム１００は、推論精度が低下した推論データに対応した新たな推論モデルを生成し、推論精度が低下した推論モデルと同じ推論環境の推論サーバ５００に新たな推論モデルをデプロイする。また情報処理システム１は、推論精度が低下した推論モデルが割り当てられていた端末装置４及び当該端末装置４と同じデータ傾向グループに属する端末装置４に新たな推論モデルを割り当てる。このように本実施形態の情報処理システム１００は、推論モデルの精度が低下した要因に応じて新たな推論モデルの適用方法を適切に決定するので、推論精度が低下したり、推論にかかる負荷や時間が無駄に増えることがなく、複数の推論環境の夫々における推論精度の向上を図ることができる。

以上、本発明の実施形態につき説明したが、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。また例えば、上記した実施形態は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また各実施形態の構成の一部について、他の構成に追加、削除、置換することが可能である。

また上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また実施形態で示した各機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体を情報処理装置（コンピュータ）に提供し、その情報処理装置が備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が以上の実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、ＳＳＤ（Solid State Drive）、光ディスク、光磁気ディスク、ＣＤ-Ｒ、フレキシブルディスク、ＣＤ-ＲＯＭ、ＤＶＤ-ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等が用いられる。

以上の実施形態において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。また以上では各種の情報を表形式で例示したが、これらの情報は表以外の形式で管理してもよい。

２ 推論環境、３ 学習環境、４ 端末装置、５ ルータ、１００ 情報処理システム、５００ 推論サーバ、５１０ 記憶部、５１１０ 推論モデル群、５１２０ 推論モデル割当テーブル、５２０ 推論部、６００ 学習サーバ、６１０ 記憶部、６１１０ 学習データ群、６２０ 前処理部、６３０ 学習部、６４０ 評価部、７００ 管理サーバ、７１０ 記憶部、７１１０ データ傾向管理テーブル、７１２０ 推論精度管理テーブル、７１３０ ＭＬコード管理テーブル、７１４０ 推論モデル配置管理テーブル、７１５
０ 推論データ／結果群、７１６０ ＭＬコード群、７１７０ 推論モデル群、７２０ データ傾向判定部、７３０ 推論精度評価部、７４０ ＭＬコードデプロイ部、７５０ 要因判定部、７６０ 配置決定部

Claims (15)

1. 一つ以上の推論モデルにデータを入力して推論を行う複数の推論部と、
   前記推論部による推論の精度を評価する推論精度評価部と、
   第１の前記推論部において推論精度の低下が検出された場合に、当該第１の推論部に入力されたデータを学習した新たな推論モデルを生成する学習部と、
   前記推論精度の低下の要因を判定する要因判定部と、
   判定した前記要因に基づき、前記第１の推論部と異なる第２の前記推論部に前記新たな推論モデルを適用するか否かを判定する配置決定部と、
   を備える、情報処理システム。
2. 請求項１に記載の情報処理システムであって、
   前記要因判定部が前記推論モデルの有効特徴量が変化したことを前記要因として判定した場合に、前記配置決定部は、前記複数の推論部のうち前記第１の推論部を含む一つ以上の前記推論部を前記新たな推論モデルの適用先として決定する、
   情報処理システム。
3. 請求項２に記載の情報処理システムであって、
   前記要因判定部が前記推論モデルの有効特徴量が変化したことを前記要因として判定した場合に、前記配置決定部は、前記新たな前記推論モデルを利用する全ての前記推論部を当該新たな推論モデルの適用先として決定する、
   情報処理システム。
4. 請求項１に記載の情報処理システムであって、
   前記要因判定部が前記第１の推論部に入力される前記データの傾向が変化したことを前記要因として判定した場合に、当該データと傾向の変化が類似するデータが入力される前記第２の推論部を特定する傾向判定部を更に備え、
   前記配置決定部は、前記第１の推論部と、前記傾向判定部が特定した前記第２の推論部とを前記新たな推論モデルの適用先として決定する、
   情報処理システム。
5. 請求項４に記載の情報処理システムであって、
   前記傾向判定部は、前記新たな推論モデルの適用先として決定しなかった他の前記第２の推論部に入力されるデータについて前記傾向の変化と類似する傾向の変化が生じているか否かの監視を継続し、
   前記配置決定部は、前記他の第２の推論部に入力される前記データに前記傾向の変化と類似する傾向の変化が生じていることを検出した場合に、当該他の第２の推論部を前記新たな推論モデルの適用先として決定する、
   情報処理システム。
6. 請求項１乃至５のいずれか一項に記載の情報処理システムであって、
   前記推論部は、入力される前記データを複数の前記推論モデルのうちの一つ以上に割り当てることにより推論を行う、
   情報処理システム。
7. 請求項６に記載の情報処理システムであって、
   前記推論部は、入力される前記データを複数の前記推論モデルに割り当ててアンサンブルアルゴリズムを実行することにより推論を行う、
   情報処理システム。
8. 請求項１乃至５のいずれか一項に記載の情報処理システムであって、
   複数の端末装置と通信可能に接続し、
   前記推論部は、前記端末装置から取得した前記データを前記推論モデルに入力して推論を行い、
   前記配置決定部は、前記端末装置の夫々と、夫々から取得したデータの入力先となる前記推論モデルとの対応を管理し、ある前記第１の推論部において推論精度の低下が検出された場合に、生成した前記新たな推論モデルが当該第１の推論部に入力されたデータの取得元の前記端末装置から取得したデータの入力先となるように前記対応を管理する、
   情報処理システム。
9. 一つ以上の推論モデルにデータを入力して推論を行う複数の推論部を備える情報処理システムの制御方法であって
   前記情報処理システムが、
   一つ以上の推論モデルを含むにデータを入力して推論を行う複数の推論部により推論を行うステップ、
   前記推論部による推論の精度を評価するステップ、
   第１の前記推論部において推論精度の低下が検出された場合に、当該第１の推論部に入力されたデータを学習した新たな推論モデルを生成するステップ、
   前記推論精度の低下の要因を判定するステップ、及び、
   判定した前記要因に基づき、前記第１の推論部と異なる第２の前記推論部に前記新たな推論モデルを適用するか否かを判定するステップ、
   を実行する、情報処理システムの制御方法。
10. 請求項９に記載の情報処理システムの制御方法であって、
    前記情報処理システムが、前記推論モデルの有効特徴量が変化したことを前記要因として判定した場合に、前記複数の推論部のうち前記第１の推論部を含む一つ以上の前記推論部を前記新たな推論モデルの適用先として決定するステップ
    をさらに実行する、情報処理システムの制御方法。
11. 請求項１０に記載の情報処理システムの制御方法であって、
    前記情報処理システムが、前記推論モデルの有効特徴量が変化したことを前記要因として判定した場合に、前記新たな前記推論モデルを利用する全ての前記推論部を当該新たな推論モデルの適用先として決定するステップ
    をさらに実行する、情報処理システムの制御方法。
12. 請求項９に記載の情報処理システムの制御方法であって、
    前記情報処理システムが、
    前記第１の推論部に入力される前記データの傾向が変化したことを前記要因として判定した場合に、当該データと傾向の変化が類似するデータが入力される前記第２の推論部を特定するステップ、及び、
    前記第１の推論部と、特定した前記第２の推論部とを前記新たな推論モデルの適用先として決定するステップ
    をさらに実行する、情報処理システムの制御方法。
13. 請求項１２に記載の情報処理システムの制御方法であって、
    前記情報処理システムが、
    前記新たな推論モデルの適用先として決定しなかった他の前記第２の推論部に入力されるデータについて前記傾向の変化と類似する傾向の変化が生じているか否かの監視を継続するステップ、及び、
    前記他の第２の推論部に入力される前記データに前記傾向の変化と類似する傾向の変化
    が生じていることを検出した場合に、当該他の第２の推論部を前記新たな推論モデルの適用先として決定するステップ
    をさらに実行する、情報処理システムの制御方法。
14. 請求項９乃至１３のいずれか一項に記載の情報処理システムの制御方法であって、
    前記推論部は、入力される前記データを複数の前記推論モデルのうちの一つ以上に割り当てることにより推論を行う、
    情報処理システムの制御方法。
15. 請求項１４に記載の情報処理システムの制御方法であって、
    前記推論部は、入力される前記データを複数の前記推論モデルに割り当ててアンサンブルアルゴリズムを実行することにより推論を行う、
    情報処理システムの制御方法。

Images