JP7309533B2 - モデル改善支援システム - Google Patents

Description

本発明は、概して、機械学習の技術により開発されたモデルの改善を支援する新規の技術に関する。

機械学習を用いて開発されたモデルを利用するアプリケーション（アプリ）が台頭してきた。このようなアプリでは、必要とするスキルセットが異なるため、モデル自体を開発するモデル開発者と、モデルを利用したアプリを開発するアプリ開発者が異なる場合が一般的である。

モデル開発者は、学習用データセットおよび評価用データセットを利用し、モデルの開発を行う。しかし、誤判定等の無い完全なモデルを開発することは困難である。このため、モデル開発者は、学習用データセットを変更したり、学習パラメタを調整したりすることで、モデル改善を行う。このようなモデル改善を実施する際、通常、モデル開発者は、重視する指標を決定し、この指標が改善されるよう努める。

他方、アプリ開発者は、開発するアプリに適したモデルを取捨選択し利用する。このとき、選択したモデルに関して、モデルを開発したモデル開発者が重視する指標と、アプリ開発者が重視する指標が異なるケースや、モデル開発者がモデル作成および評価時に利用するデータと、アプリ開発者がモデル評価および利用時に利用するデータが異なるケースがある。このような場合、あるバージョンのモデルでは、アプリ開発者の期待した結果を得られるが、モデル開発者が重視する指標が改善された新しいモデルでは、必ずしもアプリ開発者が期待した結果を得られないことがある。

このような状況を回避するために、アプリ開発者からモデル開発者に対して、アプリ開発者の要望などをモデル開発者にフィードバックし、モデルの改善に活用してもらうことが考えられる。フィードバックでは、アプリ開発者側の重視する指標や、アプリにおけるモデルの評価結果だけでなく、モデル改善に必須となる学習および評価用データセットをアプリ開発者がモデル開発者に提供することが望ましい。

しかしながら、アプリ開発者が保持する各種データセットの全部を、データ自体の価値や機密性、地域による制限、企業のポリシ等々様々な理由により、モデル開発者と共有できない場合がある。この場合、モデル開発者は、アプリ開発者からのフィードバックを生かしたモデル改善を進めることが困難である。

そのため、アプリ開発者が提供したデータセットのうちモデル開発者によるデータ処理が可能な範囲をモデル開発者に対して制限しつつモデルの開発および評価が可能な仕組みが求められる。

特許文献１では、データの属性に応じて秘匿化処理を行うことで、データの機密性を保ったまま、処理を行う手法が開示されている。

特開２０１４－２１１６０７号公報

特許文献１に開示の手法を利用すれば、アプリ開発者がモデル開発者に提供するデータセットのうち、モデル開発者と共有したくない部分を選択的に秘匿化することが可能であると考えられる。

しかしながら、秘匿化部分にモデル改善に有用な特徴量が含まれている場合、モデル開発者は、モデルを改善することが困難である。

そこで本発明では、アプリ開発者が提供するデータセットに対するモデル開発者によるアクセスを制限しつつ、モデル開発者が当該データセットを活用したモデル改善を可能にする技術の提供を目的とする。

モデル改善支援システムは、アプリ開発者から提供されモデルの利用において当該モデルに入力された一つ又は複数のデータセットのうち、モデル開発者により選択された一つ以上のデータセットの各々について、当該モデルの学習及び評価のうちの少なくとも一つである学習／評価を行うための学習／評価プログラムの実行条件が、当該データセットに関連付いている実行条件を満たしているか否かを判断し、当該判断の結果が真の場合に当該データセットをモデルに対する入力として学習／評価プログラムを実行する。

本発明によれば、アプリ開発者が提供するデータセットに対するモデル開発者によるアクセスを制限しつつ、モデル開発者が当該データセットを活用したモデル改善が可能になる。

本発明の実施例１に係るシステム全体の構成例を示した図である。 計算機の構成例を示した図である。 モデル管理テーブルの構成例を示した図である。 学習／評価プログラム管理テーブルの構成例を示した図である。 学習／評価設定テーブルの構成例を示した図である。 学習／評価ジョブテーブルの構成例を示した図である。 評価結果テーブルの構成例を示した図である。 ユーザ管理テーブルの構成例を示した図である。 テナント管理テーブルの構成例を示した図である。 データセット管理テーブルの構成例を示した図である。 計算機管理テーブルの構成例を示した図である。 ＩＦプログラムのフローチャートである。 モデル管理プログラムのフローチャートである。 データ管理プログラムのフローチャートである。 学習／評価制御プログラムのフローチャートである。 学習／評価実行プログラムのフローチャートである。 モデル一覧画面の一例を示した図である。 モデル詳細画面の一例である。 モデル生成／評価登録画面の一例の全体を示した図である。 モデル生成／評価登録画面の一例の一部を示した図である。 モデル生成／評価登録画面の一例の一部を示した図である。 プログラム登録画面の一例を示した図である。 データセット登録画面の一例を示した図である。 実施例２において実行条件に衝突が発生しない場合の処理の概念の一例を示す図である。 実施例２において実行条件に衝突が発生した場合の処理の概念の一例を示す図である。 実施例２におけるステップＳ４０２０の詳細を示すフローチャートである。

以下の説明では、「インターフェース装置」は、一つ以上のインターフェースデバイスでよい。当該一つ以上のインターフェースデバイスは、下記のうちの少なくとも一つでよい。
・一つ以上のＩ／Ｏ（Input/Output）インターフェースデバイス。Ｉ／Ｏ（Input/Output）インターフェースデバイスは、Ｉ／Ｏデバイスと遠隔の表示用計算機とのうちの少なくとも一つに対するインターフェースデバイスである。表示用計算機に対するＩ／Ｏインターフェースデバイスは、通信インターフェースデバイスでよい。少なくとも１つのＩ／Ｏデバイスは、ユーザインターフェースデバイス、例えば、キーボードおよびポインティングデバイスのような入力デバイスと、表示デバイスのような出力デバイスとのうちのいずれでもよい。
・一つ以上の通信インターフェースデバイス。一つ以上の通信インターフェースデバイスは、一つ以上の同種の通信インターフェースデバイス（例えば一つ以上のＮＩＣ（Network Interface Card））であってもよいし二つ以上の異種の通信インターフェースデバイス（例えばＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。

また、以下の説明では、「メモリ」は、１以上のメモリデバイスであり、典型的には主記憶デバイスでよい。メモリにおける少なくとも１つのメモリデバイスは、揮発性メモリデバイスであってもよいし不揮発性メモリデバイスであってもよい。

また、以下の説明では、「永続記憶装置」は、１以上の永続記憶デバイスである。永続記憶デバイスは、典型的には、不揮発性の記憶デバイス（例えば補助記憶デバイス）であり、具体的には、例えば、Hard Disk Drive（ＨＤＤ）またはSolid State Drive（ＳＳＤ）である。

また、以下の説明では、「記憶装置」は、メモリと永続記憶装置の少なくともメモリでよい。

また、以下の説明では、「プロセッサ」は、１以上のプロセッサデバイスである。少なくとも１つのプロセッサデバイスは、典型的には、Central Processing Unit（ＣＰＵ）のようなマイクロプロセッサデバイスであるが、Graphics Processing Unit（ＧＰＵ）のような他種のプロセッサデバイスでもよい。少なくとも１つのプロセッサデバイスは、シングルコアでもよいしマルチコアでもよい。少なくとも１つのプロセッサデバイスは、プロセッサコアでもよい。少なくとも１つのプロセッサデバイスは、処理の一部または全部を行うハードウェア回路（例えばField-Programmable Gate Array（ＦＰＧＡ）またはApplication Specific Integrated Circuit（ＡＳＩＣ））といった広義のプロセッサデバイスでもよい。

また、以下の説明では、「ｘｘｘテーブル」といった表現にて、入力に対して出力が得られる情報を説明することがあるが、当該情報は、どのような構造のデータでもよい。従って、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２つ以上のテーブルに分割されてもよいし、２つ以上のテーブルの全部または一部が１つのテーブルであってもよい。

また、以下の説明では、「ｙｙｙ部」の表現にて機能を説明することがあるが、機能は、１以上のコンピュータプログラムがプロセッサによって実行されることで実現されてもよいし、１以上のハードウェア回路（例えばＦＰＧＡまたはＡＳＩＣ）によって実現されてもよい。プログラムがプロセッサによって実行されることで機能が実現される場合、定められた処理が、適宜に記憶装置および／またはインターフェース装置等を用いながら行われるため、機能はプロセッサの少なくとも一部とされてもよい。機能を主語として説明された処理は、プロセッサ或いはそのプロセッサを有する装置が行う処理としてもよい。プログラムは、プログラムソースからインストールされてもよい。プログラムソースは、例えば、プログラム配布計算機または計算機が読み取り可能な記録媒体（例えば非一時的な記録媒体）であってもよい。各機能の説明は一例であり、複数の機能が１つの機能にまとめられたり、１つの機能が複数の機能に分割されたりしてもよい。

また、以下の説明では、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサによって実行されることで、定められた処理を、適宜に記憶装置および／またはインターフェース装置等を用いながら行うため、処理の主語が、プロセッサ（或いは、そのプロセッサを有するコントローラのようなデバイス）とされてもよい。プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な（例えば非一時的な）記録媒体であってもよい。また、以下の説明において、２つ以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２つ以上のプログラムとして実現されてもよい。

また、以下の説明では、「モデル改善支援システム」は、１以上の計算機で構成されてもよいし、複数の計算リソースを含んだリソースプール（例えばクラウド基盤）上に実現されてもよい。例えば、計算機が表示デバイスを有していて計算機が自分の表示デバイスに情報を表示する場合、当該計算機がモデル改善支援システムでよい。「情報を表示する」ことは、モデル改善支援システムが有する表示デバイスに当該情報を表示することであってもよいし、モデル改善支援システムが遠隔の表示用計算機に情報を送信することであってもよい（後者の場合は表示用計算機によって当該情報が表示される）。

また、以下の説明では、「学習／評価」は、学習と評価の少なくとも一つを意味する。

また、以下の説明では、モデルの「開発」とは、既存のモデルに関するフィードバック無しにモデルを作成すること（いわゆる新規開発）と、モデルの「改善」とのいずれのも意味する。モデルの「改善」とは、既存のモデルに関するフィードバックを基に当該モデルを「修正」することと、当該フィードバックを基に新たなモデルを作成することとのいずれも意味する。

また、以下の説明では、「生成／評価」は、生成と評価の少なくとも一つを意味する。

以下、本発明を実施するための形態である幾つかの実施例を図面に従い説明し、最後に、それらの実施例を総括する。なお以降で示す実施例ならびに図面は、本発明を実施するための形態の一つであって、同様の処理が可能な他の構成および形態への適用を制限するものではない。

図１は、本発明の実施例１に係るシステム全体の構成例を示した図である。

実施例１では、あるモータの軸受け破損の故障予兆診断を行うアプリをアプリ開発者１０００が開発するケースにおいて、アプリの運用時に得られたモデルの利用に関するデータをモデル開発者１０２０にフィードバックし、モデル開発者１０２０がモデルの改善を実施するケースを例に取る。

アプリは、モデル開発者１０２０が開発したモデルをApplication Programming Interface（API）等を用いて呼び出し、診断を実施する。ただし、軸受け破損のみを高い精度で予兆診断できるモデルが存在せず、精度は劣るがコイル破損等、軸受け破損以外の故障も診断可能なモデルが存在するケースを考える。他方、モデルを開発したモデル開発者は、複数種類の故障予兆診断の予測制度の平均値の最大化を重要な指標と考え、モデルを改善する。

このような場合、あるバージョンのモデルでは、アプリ開発者１０００の期待した結果を得られるが、モデル開発者１０２０が注力する指標が改善された新しいモデルでは、必ずしもアプリ開発者１０００が期待した結果を得られない。本状況を回避するために、アプリ開発者１０００からモデル開発者１０２０に対して、アプリ開発者１０００側の要望や評価結果などをモデル開発者１０２０にフィードバックする。

フィードバックでは、アプリ開発者１０００側の重視する指標や、アプリにおけるモデルの評価結果に加え、アプリがモデルに入力するデータセットをアプリ開発者１０００がモデル開発者１０２０に提供する。

実施例１では、アプリ開発者１０００が、マーケットプレイスシステム２０００に、アプリで利用しているモデルに関して、アプリ開発者１０００が重視している指標と、アプリ環境におけるモデル評価結果と、アプリ開発者１０００が利用しているデータセットとを登録する。モデル開発者１０２０は、学習／評価システム５０００を用いて、アプリ開発者１０００が登録した指標やデータセットを利用し、モデルの改善を行う。実施例１のモデル改善支援システム１０により、アプリ開発者１０００が提供するデータセットの内容はモデル開発者１０２０に非開示の状態で、モデル開発者１０２０によるモデルの改善が可能になる。

モデル改善支援システム１０は、アプリ開発者１０００やモデル開発者１０２０の要求を受け付ける１か複数のマーケットプレイスシステム２０００と、モデルおよびモデル管理に必要な情報を管理する１か複数のモデル管理システム３０００と、モデル開発や学習／評価に必要なデータとデータ管理に必要な情報とを管理する１か複数のデータ管理システム４０００と、モデル開発者１０２０からの要求に応答してモデルの学習／評価を行う１か複数の学習／評価システム５０００と、を含む。

１か複数のアプリ開発者１０００は、１か複数のアプリ開発用計算機１０１０を用いてアプリの開発を行う。アプリ開発用計算機１０１０は、１か複数のネットワーク１２００を介して１か複数のマーケットプレイスシステム２０００と通信する。アプリ開発者１０００は、アプリ開発用計算機１０１０を用いて、マーケットプレイスシステム２０００にアクセスし、アプリで利用するモデルの取得や、アプリで利用しているモデルへのフィードバックなどを登録する。

１か複数のモデル開発者１０２０は、１か複数のモデル開発用計算機１０３０を用いて学習用プログラムや評価用プログラムの開発を行う。モデル開発用計算機１０３０は、１か複数のネットワーク１２００を介してマーケットプレイスシステム２０００と通信をする。モデル開発者１０２０は、１か複数のマーケットプレイスシステム２０００を介し、１か複数の学習／評価システム５０００にアクセスし、モデルを学習させ、学習したモデルの評価を行い、マーケットプレイスシステム２０００に登録する。また、モデル開発者１０２０は、マーケットプレイスシステム２０００を利用して、モデルを利用している１か複数のアプリ開発者１０００からの、モデルに関するフィードバックを取得する。

なお、アプリ開発者１０００とモデル開発者１０２０は、マーケットプレイスシステム２０００に対して、モデルの開発や学習／評価等の実施を要求できるものであればよく、人間であっても、プログラムであってもよい。

１か複数のマーケットプレイスシステム２０００は、１か複数のＩＦ（Interface）計算機２１００を含む。

ＩＦ計算機２１００は、アプリ開発用計算機１０１０やモデル開発用計算機１０３０を介してアプリ開発者１０００やモデル開発者１０２０からの要求を受信し実行するモデルＩＦプログラムＰ２０００と、アプリ開発者１０００やモデル開発者１０２０といったユーザを表す情報を含むユーザ管理テーブルＴ２０００と、それぞれが一または複数のユーザをまとめたグループである一つ以上のテナントを表す情報を含むテナント管理テーブルＴ２１００とを備える。

１か複数のモデル管理システム３０００は、１か複数のモデル管理計算機３１００を備える。

モデル管理計算機３１００は、モデルの管理を行ったり他の計算機に対するモデル関連情報の入出力のインターフェースを提供したりするモデル管理プログラムＰ３０００と、モデル情報を含むモデル管理テーブルＴ３０００と、モデルの学習／評価を行うプログラムを表す情報を含む学習／評価プログラム管理テーブルＴ３１００と、モデルの学習／評価の設定を表す情報を含む学習／評価設定テーブルＴ３２００と、モデルの学習／評価の処理の実行状態を表す情報を含む学習／評価ジョブテーブルＴ３３００と、作成したモデルの評価結果を表す情報を含む評価結果テーブルＴ３４００と、学習プログラムの実態である学習プログラムファイルＦ３０００と、評価プログラムの実態である評価プログラムファイルＦ３１００と、モデルの実態であるモデルファイルＦ３２００とを備える。

モデル管理システム３０００が備える全てのデータやファイルの内容の送受信は、モデル管理計算機３１００が有するモデル管理プログラムＰ３０００を介して行われ、一例としてデータベースマネジメントシステムが挙げられるが、データやファイルを管理することができれば、これ以外でもよい。また、データやファイルの永続化は、リレーショナルデータベースやNoSQL等のデータベースを用いてもよいし、ファイルシステムへファイルとして格納してもよいし、それ以外でもよい。

１か複数のデータ管理システム４０００は、１か複数のデータ管理計算機４１００を備える。

データ管理計算機４１００は、データの管理を行ったりデータの入出力のインターフェースを提供したりするデータ管理プログラムＰ４０００と、データセットを表す情報を含むデータセット管理テーブルＴ４０００と、データセットの実態であるデータセットファイルＦ４０００とを備える。

データ管理システム４０００が備える全てのデータやファイルの内容の送受信は、データ管理計算機４１００が有するデータ管理プログラムＰ４０００を介して行われ、一例としてデータベースマネジメントシステムが挙げられるが、データやファイルを管理することができれば、これ以外でもよい。また、データやファイルの永続化は、リレーショナルデータベースやNoSQL等のデータベースを用いてもよいし、ファイルシステムへファイルとして格納してもよいし、それ以外でもよい。

１か複数の学習／評価システム５０００は、１か複数の学習／評価制御計算機５１００と、１か複数の学習／評価実行計算機５２００とを備える。学習／評価制御計算機５１００は、モデルの学習／評価を制御する学習／評価制御プログラムＰ５０００と、学習／評価を行うための計算機を表す情報を含む計算機管理テーブルＴ５０００とを備える。学習／評価実行計算機５２００は、学習／評価を実行する学習／評価実行プログラムＰ５１００を備える。なお、学習／評価制御計算機５１００と、学習／評価実行計算機５２００との少なくとも一つは、各学習処理または評価処理の経過等を表す情報を含むログを記録する機能や、ログを他の計算機へ送信する機能を備えてもよい。

モデル改善支援システム１０を含むシステム全体における各計算機は、１か複数のネットワーク１２００によって接続される。ネットワーク１２００の一例は、インターネットであり、Virtual Private Network（VPN）であってもよいし、その他のネットワークであってもよい。

なお、図１で記載していない物理機器や、機器同士を接続する配線等があってもよい。また、モデル改善支援システム１０内の計算機が接続されるネットワーク１２００と、モデル改善支援システム１０外の計算機（例えば、アプリ開発用計算機１０１０）が接続されるネットワーク１２００は、共通のネットワークでもよいし、分離したネットワークでもよい。

図２は、計算機の構成例を示した図である。

計算機１９１０の構成は、上述した計算機２１００、３１００、４１００、５１００、５２００、１０１０および１０３０のいずれにも適用可能である。計算機１９１０は、インターフェース装置と、記憶装置と、それらに接続されたプロセッサとを備える。具体的には、例えば、計算機１９１０は、メモリ１９２０と、ＣＰＵ１９３０と、入出力ＩＦ１９４０と、永続記憶装置１９５０と、ＮＷ－ＩＦ１９６０と、ＧＰＵ１９７０を備え、これらは内部バス１９８０で接続されている。入出力ＩＦ１９４０およびＮＷ－ＩＦ１９６０が、インターフェース装置の一例である。メモリ１９２０および永続記憶装置１９５０が、記憶装置の一例である。ＣＰＵ１９３０およびＧＰＵ１９７０が、プロセッサの一例である。

プログラムは永続記憶装置１９５０に格納されており、メモリ１９２０にロードされ、ＣＰＵ１９３０で実行される。なお、本実施例では、すべての計算機１９１０のメモリ１９２０にはOperating System（OS）がロードされ、OSがＣＰＵ１９３０で実行される。

すべての計算機は、物理的な計算機であっても、物理的な計算機上で動作する仮想的な計算機であってもよい。また、各計算機の記憶装置は必須要素ではなく、例えば外部ストレージ装置でもよく、ストレージ装置の機能を論理的に提供するストレージサービスであってもよい。

各計算機が備えるＮＷ－ＩＦ１９６０の一例としては、Network Interface（NIC）が挙げられるが、これ以外であってもよい。

また、ディスプレイ等の出力装置やキーボード・マウスといった入出力ＩＦ１９４０が備えられてもよい。Secure Shell（SSH）といった手段によりネットワーク経由で当該計算機が遠隔管理される場合には、入力ＩＦは必須の要素ではない。なお、ＧＰＵ１９７０は、必須要素ではない。

上記の各計算機に含まれるプログラムとテーブルは、各計算機が備える永続記憶装置に含まれていてもよい。加えて、すべてのプログラムは各計算機が備えるＣＰＵによって実行される。

なお、本実施例において、すべてのプログラムは、異なる複数の計算機で実行されてもよいし、一つの計算機で実行されてもよい。また、各プログラムは、一つの計算機ですべてのステップが実行されてもよいし、ステップ毎に異なる計算機で実行されてもよい。

また、図２に例示の構成要素以外の構成要素や、構成要素間を接続する配線等が計算機１９１０に含まれてもよい。

以下、各テーブルを説明する。なお、テーブルにおいて、或る要素の識別子は、当該要素を識別可能であれば、識別子としての値の形式や表現は限定されない。例えば、形式として、テキスト形式およびMarkdown形式のいずれが採用されてもよいし、他の形式が採用されてもよい。また、後述の開示条件および実行条件のいずれについても、条件に該当する対象の指定と条件に該当しない対象の指定とのうちの少なくとも一つの指定が採用されてよい。また、図では、識別子を「ＩＤ」と略記したり、情報を「Info.」と略記したりすることがある。

図３は、モデル管理テーブルＴ３０００の構成例を示した図である。

モデル管理テーブルＴ３０００は、モデル管理システム３０００に登録された各モデルの管理に必要な情報を含む。各レコードは、モデルの各バージョンのモデル情報を含む。なお、モデル管理テーブルに記載されるのは、同じ目的を持った同種のモデルだけでなく、例えばモータ故障予兆診断に加えて、不審物検出のように、異なる種別のモデルの情報が記載されていてもよい。

モデル管理テーブルＴ３０００は、モデル毎にレコードを有する。各レコードは、モデル識別子Ｔ３００５と、モデル名Ｔ３０１０と、バージョン情報Ｔ３０１５と、モデルファイルＴ３０２０と、課金情報Ｔ３０２５と、ユーザ情報Ｔ３０３０と、テナント情報Ｔ３０３５と、説明Ｔ３０４０と、画像情報Ｔ３０４５と、モデルグループ情報Ｔ３０５０と、学習設定識別子Ｔ３０５５と、評価設定識別子Ｔ３０６０と、開示条件Ｔ３０６５と、実行条件Ｔ３０７０といった情報を含む。

モデル識別子Ｔ３００５は、テーブル内でモデルを一意に特定するための識別子（例えば連番等）である。

モデル名Ｔ３０１０は、モデルの名称を表す情報（例えば、モデル生成／評価画面Ｇ３０００でモデル開発者１０２０によって入力された文字列）である。モデル名は、例えば、モデル一覧画面Ｇ１０００や、モデル詳細画面Ｇ２０００で表示される。

バージョン情報Ｔ３０１５は、同じモデルの異なるバージョンを識別する値である。なお、同じモデルであることは、例えばモデルグループ情報Ｔ３０５０の値が同値である等から判断してもよい。

モデルファイルＴ３０２０は、モデルの実態となるファイル（例えば、ディープラーニングのネットワーク情報や重みの情報を含むファイル）のファイル名を表す。例えば、当該ファイル名は、モデル生成／評価画面Ｇ３０００で、モデル開発者１０２０が設定した値である。

課金情報Ｔ３０２５は、モデルを評価したり利用したりする際に用いられる値であり、評価や利用を要求したユーザに対して課金される額等の情報を含む。値は、例えば、利用を要求したユーザに対して一ヶ月当たり“$200”を要求する場合、“$200/mon”等でよい。なお、図３において、「Ｅ」は、評価を意味し、「Ｕ」は、利用を意味する。

ユーザ情報Ｔ３０３０は、モデル生成／評価画面Ｇ３０００等を介して、モデルの各バージョンをマーケットプレイスシステム２０００に対して登録したユーザの識別子を表す。

テナント情報Ｔ３０３５は、モデル生成／評価画面Ｇ３０００等を介して、モデルの各バージョンをマーケットプレイスシステム２０００に対して登録したユーザが所属するテナントの識別子を表す情報である。

説明Ｔ３０４０は、例えばモデルの詳細画面Ｇ２０００等で表示される、当該モデルの説明文を表す情報である。当該情報は、モデル生成／評価画面Ｇ３０００でモデル開発者１０２０から入力された情報でよい。

画像情報Ｔ３０４５は、例えばモデル一覧画面Ｇ１０００等で表示される画像（モデルを表現した画像）を表す情報である。当該情報は、モデル生成／評価画面Ｇ３０００でモデル開発者１０２０が指定した情報でよい。

モデルグループ情報Ｔ３０５０は、各レコードのモデル情報について、バージョンが異なるが同じも出るのグループに属することを特定するための識別子であり、例えば最初に登録されたバージョンのモデル情報を含むレコードのモデル識別子Ｔ３００５の値である。

学習設定識別子Ｔ３０５５は、学習／評価システム５０００で実施されるモデル生成時の設定情報を示す識別子であり、例えば、学習／評価設定テーブルＴ３２００が有する設定識別子Ｔ３１０５の値でよい。

評価設定識別子Ｔ３０６０は、学習／評価システム５０００で実施されるモデル評価時の設定情報を示す識別子であり、例えば、学習／評価プログラム管理テーブルＴ３１００が有するプログラム識別子３１０５の値でよい。

開示条件Ｔ３０６５は、モデル管理システム３０００に登録されたモデルの開示先となるユーザやテナント等の範囲を制御する値である。当該値としては、例えば、“All”（全てのユーザに開示）、“user=1”（ユーザ識別子“1”のユーザに対してのみ開示）が採用されてよい。なお、値として、開示先のユーザに代えてまたは加えて、非開示のユーザを指定する値（例えば、“not user=1”（ユーザ識別子“1”のユーザは開示先から除外））が採用されてもよい。「開示条件」は、一つ以上の開示条件要素で構成され、開示条件Ｔ３０６５は、一つ以上の開示条件要素にそれぞれ対応した一つ以上の値である。「開示条件」が、「開示条件セット」と呼ばれ、「開示条件要素」が、開示条件と呼ばれてもよい。

実行条件Ｔ３０７０は、モデル管理システム３０００に登録されたモデルの実行場所等を制御する値である。当該値としては、例えば、“region=1”（モデルを実行する計算機の属するリージョンの識別子が“1”の場合のみ、モデルが実行されてよい）がある。なお、値としては、実行が許される条件を示す値に代えてまたは加えて、実行が許されない条件を示す値（例えば、“not region=1”（モデルを実行する計算機の属するリージョンの識別子が“1”の場合、当該計算機ではモデルが実行されない））が採用されてもよい。「実行条件」は、一つ以上の実行条件要素で構成され、実行条件Ｔ３０７０は、一つ以上の開示条件要素にそれぞれ対応した一つ以上の値である。「実行条件」が、「実行条件セット」と呼ばれ、「実行条件要素」が、実行条件と呼ばれてもよい。

図４は、学習／評価プログラム管理テーブルＴ３１００の構成例を示した図である。

学習／評価プログラム管理テーブルＴ３１００は、モデル管理システム３０００に登録された学習プログラムおよび評価プログラムを管理するのに必要なプログラム情報を含む。

学習／評価プログラム管理テーブルＴ３１００は、プログラム毎にレコードを有する。各レコードが、プログラム識別子Ｔ３１０５と、プログラムファイルＴ３１１０と、プログラム種別Ｔ３１１５と、課金情報Ｔ３１２０と、ユーザ情報Ｔ３１２５と、テナント情報Ｔ３１３０と、説明Ｔ３１３５と、開示条件Ｔ３１４０と、実行条件Ｔ３１４５と、要求スペックＴ３１５０と、追加プログラムＴ３１５５といった情報を含む。

プログラム識別子Ｔ３１０５は、テーブル内でプログラム情報を一意に特定するための識別子である。

プログラムファイルＴ３１１０は、プログラム登録画面Ｇ４０００等を介して、プログラムを登録した際に、プログラム登録画面Ｇ４０００で、ユーザが指定したファイルのファイル名、あるいは、モデル管理プログラムＰ３０００によって自動的に付与された値等である。

プログラム種別Ｔ３１１５は、プログラム登録画面Ｇ４０００等を介して、プログラムを登録した際に、登録画面でユーザが指定したプログラム種別を表現した値を含む。

課金情報Ｔ３１２０は、プログラムを用いてモデルを学習／評価する際に、ユーザに対して課金される額等を表現した値を含む。

ユーザ情報Ｔ３１２５は、プログラム登録画面Ｇ４０００等を介して、プログラムをモデル管理システム３０００に対して登録したユーザの識別子を表す値である。

テナント情報Ｔ３１３０は、プログラム登録画面Ｇ４０００等を介して、プログラムをモデル管理システム３０００に対して登録したユーザが所属するテナントの識別子を表す値である。

説明Ｔ３１３５は、例えばモデル生成／評価画面Ｇ３０００で表示される、当該プログラムの説明文を表す情報である。

開示条件Ｔ３１４０は、モデル管理システム３０００に登録されたプログラムの開示先のユーザやテナント等の範囲を制御する値である。

実行条件Ｔ３１４５は、モデル管理システム３０００に登録されたプログラムの実行場所等を制御する値である。

要求スペックＴ３１５０は、プログラムを実行する際に、学習／評価実行計算機５２００に要求されるＣＰＵ１９３０やメモリ１９２０の性能のようなスペックを示した情報、つまり、プログラムの実行のための計算リソースの条件を示した情報である。

追加プログラムＴ３１５５は、プログラム種別Ｔ３１５５“追加学習”に対応し追加学習を行うプログラムの識別子である。なお、これは、実施例２で利用される。

図５は、学習／評価設定テーブルＴ３２００の構成例を示した図である。

学習／評価設定テーブルＴ３２００は、モデル管理システム３０００に登録された学習／評価プログラムを利用して、モデルを生成または評価する際に、どのプログラムと、どのデータセットを利用して、モデルを生成または評価するかを示した情報を含む。

学習／評価設定テーブルＴ３２００は、設定毎にレコードを含む。各レコードが、設定識別子Ｔ３２０５と、プログラム識別子Ｔ３２１０と、データセット識別子Ｔ３２１５と、パラメタＴ３２２０と、ユーザ情報Ｔ３２２５と、テナント情報Ｔ３２３０と、開示条件Ｔ３２３５と、実行条件Ｔ３２４０と、モデル識別子Ｔ３２４５と、設定種別Ｔ３２５０と、依存設定情報Ｔ３２５５といった情報を含む。

設定識別子Ｔ３２０５は、テーブル内で学習／評価設定情報を一意に特定するための識別子である。

プログラム識別子Ｔ３２１０は、本設定に該当する学習／評価時に利用するプログラムの識別子であり、例えば、モデル生成／評価画面Ｇ３０００にて、ユーザが入力したプログラム名でもよいし、学習／評価プログラム管理テーブルＴ３１００が保持する、当該プログラムのプログラム識別子Ｔ３１０５などでよい。

データセット識別子Ｔ３２１５は、本設定に該当する学習／評価時に利用するデータセットを識別子であり、例えば、モデル生成／評価画面Ｇ３０００にて、ユーザが入力したデータセット名でもよいし、データセット管理テーブルＴ４０００が保持する、当該データセットのデータセット識別子Ｔ３２１０などでよい。

パラメタＴ３２２０は、本設定に該当する学習／評価において利用するパラメタを表す情報であり、例えば、モデル生成／評価画面Ｇ３０００において、ユーザ（アプリ開発者１０００及びモデル開発者１０２０の少なくとも一方）が入力した、学習設定や、評価指標でよい。

ユーザ情報Ｔ３２２５は、モデル生成／評価画面Ｇ３０００等を介して、モデルの各バージョンをマーケットプレイスシステム２０００に対して登録したユーザの識別子を表す情報である。

テナント情報Ｔ３２３０は、モデル生成／評価画面Ｇ３０００等を介して、モデルの各バージョンをマーケットプレイスシステム２０００に対して登録したユーザが所属するテナントの識別子を表す情報である。

開示条件Ｔ３２３５は、モデル管理システムに登録された学習／評価ジョブを開示するユーザやテナント等の範囲を制御する値である。

実行条件Ｔ３２４０は、モデル管理システムに登録された学習／評価ジョブの実行を制御する値である。なお、実行条件Ｔ３２４０を、ユーザが直接入力するのではなくモデル管理プログラムＰ３０００が設定してよい。具体的には、例えば、学習／評価設定テーブルＴ３２００の一つのレコードについて、モデル管理プログラムＰ３０００が、プログラム識別子Ｔ３２１０で指定されるプログラムの実行条件Ｔ３１４５と、データセット識別子Ｔ３２１５で指定されるデータセットの実行条件Ｔ４０８０（図１０参照）との関係（例えば、論理積）を計算し、当該関係に従う情報を、実行条件Ｔ３２４０として、当該レコードに設定する。

モデル識別子Ｔ３２４５は、当該学習または評価と紐づくモデルを示す値である。本値は、モデル生成／評価画面Ｇ３０００にて、モデル生成または評価の要求が生成されると、必要に応じてモデル管理プログラムＰ３０００が設定する。

設定種別Ｔ３２５０は、設定種別（例えば、“学習”、“追加学習”または“評価”）を示す値である。

依存設定情報Ｔ３２５５は、該当する学習／評価設定が他の学習／評価に依存する場合に、当該学習／評価設定が依存する学習／評価設定を示す値（例えば、設定識別子）である。

図６は、学習／評価ジョブテーブルＴ３３００の構成例を示した図である。

学習／評価ジョブテーブルＴ３３００は、各モデルの学習（生成）や、評価がどの学習／評価実行計算機５２００で実行されるかという情報や、学習／評価の設定情報や、学習／評価の進捗状態等を管理する情報を含む。

学習／評価ジョブテーブルＴ３３００は、学習／評価ジョブ毎にレコードを含む。各レコードが、ジョブ識別子Ｔ３３１０と、設定識別子Ｔ３３２０と、ユーザ識別子Ｔ３３３０と、テナント識別子Ｔ３３４０と、実行計算機識別子Ｔ３３５０と、進捗状態Ｔ３３６０と、開始時刻Ｔ３３７０と、終了時刻Ｔ３３８０と、依存ジョブＴ３３９０といった情報を含む。

ジョブ識別子Ｔ３３１０は、学習／評価ジョブを特定するための識別子である。

設定識別子Ｔ３３２０は、学習／評価ジョブが、どのようなプログラムと、データセットと、パラメタで実行されたか、という情報を特定するための識別子である。

ユーザ識別子Ｔ３３３０は、モデルの学習／評価を実施したユーザの識別子である。

テナント識別子Ｔ３３４０は、モデルの学習／評価を実施したユーザが属するテナントの識別子である。

実行計算機識別子Ｔ３３５０は、モデルの学習／評価を実行する学習／評価実行計算機５２００を特定する識別子である。

進捗状態Ｔ３３６０は、モデルの学習／評価の進捗状態を示す値である。当該値は、例えば、“100%”等のパーセンテージで表されてもよいし、“データセットを加工中”や“学習実行中”や、“完了”等の文字列で表されてもよい。

開始時刻Ｔ３３７０と、終了時刻Ｔ３３８０は、それぞれ、モデルの学習／評価を開始した時刻と終了した時刻を示す。開始時刻は、例えば、学習／評価制御プログラムＰ５０００がモデル管理計算機３１００からモデル学習実施の要求を受信した時刻等よい。終了時刻は、例えば、学習／評価実行プログラムＰ５１００が、学習プログラムファイルＦ３０００の実行完了を検知した時刻でよい。

依存ジョブＴ３３９０は、学習／評価ジョブが他の学習／評価ジョブに依存する際に、当該学習／評価ジョブが依存する学習／評価ジョブの識別子を示す。

図７は、評価結果テーブルＴ３４００の構成例を示した図である。

評価結果テーブルＴ３４００は、各モデルの評価を実施した結果がどのようなものであったかを示す情報を含む。

評価結果テーブルＴ３４００は、評価結果毎にレコードを含む。各レコードが、評価結果識別子Ｔ３４１０と、設定識別子Ｔ３４２０と、ジョブ識別子Ｔ３４３０と、結果Ｔ３４４０と、ログ情報Ｔ３４５０といった情報を含む。

評価結果識別子Ｔ３４１０は、評価結果を一意に特定するための識別子である。

設定識別子Ｔ３４２０は、評価がどのプログラムによってどのような設定で実行されたかという情報を特定するための識別子（例えば、学習／評価設定テーブルＴ３２００が備える設定識別子Ｔ３２０５の値）である。

ジョブ識別子Ｔ３４３０は、モデルの評価がどの学習／評価実行計算機５２００で実行されたかという情報を特定するための識別子（例えば、学習／評価ジョブテーブルＴ３３００が備えるジョブ識別子Ｔ３３１０の値）である。

結果Ｔ３４４０は、各モデルの評価がどのような結果であったかを示す情報を含む。当該情報は、例えば、学習／評価設定テーブルＴ３２００が保持する、評価設定情報のうち、ユーザがどのような指標での評価を求めるかを示した、パラメタＴ３２２０の値に対する結果値を含む。当該結果値は、例えば、学習／評価実行プログラムＰ５１００によって実行される評価プログラムファイルＦ３１００が出力するログ情報から収集された値でもよいし、評価プログラムファイルＦ３１００が出力する標準出力から読み取られた値でもよい。

ログ情報Ｔ３４５０は、モデルの評価に関連するログを表す情報を含む。当該情報は、例えば、学習／評価制御プログラムＰ５０００や、学習／評価実行プログラムＰ５１００や、評価プログラムファイルＦ３１００が出力するログや標準出力や標準エラー出力の内容を含んでもよい。

図８は、ユーザ管理テーブルＴ２０００の構成例を示した図である。

ユーザ管理テーブルＴ２０００は、アプリ開発者１０００やモデル開発者１０２０等、マーケットプレイスシステム２０００を利用するユーザの情報を含む。

ユーザ管理テーブルＴ２０００は、ユーザ毎にレコードを有する。各レコードが、ユーザ識別子Ｔ２０１０と、ユーザ名Ｔ２０２０と、パスワードＴ２０３０と、ロールＴ２０４０と、メールアドレスＴ２０５０といった情報を含む。

ユーザ識別子Ｔ２０１０は、ユーザを特定するための識別子である。

ユーザ名Ｔ２０２０とパスワードＴ２０３０は、例えば、ユーザがアプリ開発用計算機１０１０や、モデル開発用計算機１０３０が備えるブラウザ等を介して、マーケットプレイスシステム２０００へアクセスする際の認証情報として用いる情報である。なお、ユーザ名Ｔ２０２０は、例えばモデルを開発した開発者の名前として、モデル詳細画面Ｇ２０００が備える、モデル情報Ｇ２０１０等に表示されてもよい。

ロールＴ２０４０は、ユーザがどのような役割をもつかを示した値である。当該値としては、例えば、モデルを開発するモデル開発者１０２０を意味する“Model developer”や、アプリを開発するアプリ開発者１０００を意味する“Application developer”等が採用されてよい。なお、ロールＴ２０４０の値として、マーケットプレイスシステム２０００を管理する管理者を意味する値も採用されてもよい。

メールアドレスＴ２０５０は、ユーザのメールアドレスを表す情報である。当該情報は、例えば、モデルを開発した開発者の名前として、モデル詳細画面Ｇ２０００が備える、モデル情報Ｇ２０１０等に表示され、他のユーザがモデル開発者に連絡可能とされてもよい。

図９は、テナント管理テーブルＴ２１００の構成例を示した図である。

テナント管理テーブルＴ２１００は、アプリ開発者１０００やモデル開発者１０２０等、マーケットプレイスシステム２０００を利用する、１か複数のユーザのグループであるテナントの情報を含む。

テナント管理テーブルＴ２１００は、テナント毎にレコードを含む。各レコードが、テナント識別子Ｔ２１１０と、テナント名Ｔ２１２０と、所属ユーザ識別子Ｔ２１３０と、管理者ユーザ識別子Ｔ２１４０といった情報を含む。

テナント識別子Ｔ２１１０は、テナントを特定するための識別子である。

テナント名Ｔ２１２０は、テナントの名称を示す値（例えば文字列）である。

所属ユーザ識別子Ｔ２１３０は、テナントに所属する１か複数のユーザの各々の識別子を含む。

管理者ユーザ識別子Ｔ２１４０は、テナントを管理する１か複数のユーザの各々の識別子を含む。

図１０は、データセット管理テーブルＴ４０００の構成例を示した図である。

データセット管理テーブルＴ４０００は、モデル管理システム３０００に登録されるモデルを作成する場合や、モデルの評価を行う場合に必要なデータセットを管理するための情報を含む。

データセット管理テーブルＴ４０００は、データセット毎にレコードを含む。各レコードが、データセット識別子Ｔ４０１０と、データセットファイルＴ４０２０と、説明Ｔ４０３０と、課金情報Ｔ４０４０と、ユーザ情報Ｔ４０５０と、テナント情報Ｔ４０６０と、開示条件Ｔ４０７０と、利用条件Ｔ４０８０といった情報を含む。

データセット識別子Ｔ４０１０は、データセットを一意に特定するための識別子である。

データセットファイルＴ４０２０は、データセット登録画面Ｇ５０００を介してデータセットを登録した際にデータセット登録画面Ｇ５０００でユーザが指定したファイルのファイル名（あるいは、データ管理プログラムＰ４０００によって自動的に付与された値）である。

説明Ｔ４０３０は、例えばモデル生成／評価登録画面Ｇ３０００に表示される、当該データセットの説明文を表す。

課金情報Ｔ４０４０は、データセットを用いて学習／評価をする際にユーザに対して課金される額等を表す値である。

ユーザ情報Ｔ４０５０は、データセット登録画面Ｇ５０００を介してデータセットを登録したユーザの識別子を表す。

テナント情報Ｔ４０６０は、データセット登録画面Ｇ５０００を介してデータセットを登録したユーザが属するテナントの識別子を表す。

開示条件Ｔ４０７０は、データセットの開示先とするユーザやテナント等の範囲を制御する値である。

利用条件Ｔ４０８０は、データ管理システム４０００に登録されたデータセットを利用してモデルの学習／評価を行う際の実行場所等を制御する値である。

図１１は、計算機管理テーブルＴ３８００の構成例を示した図である。

計算機管理テーブルＴ３８００は、学習／評価実行計算機５２００を提供するサービスベンダや、計算機環境のリージョンや、計算機の名前や、リソース（例えば、ＣＰＵ１９３０や、ＧＰＵ１９７０）の性能を示すリソース保有情報や、リソースの消費情報や、計算機への接続に必要な情報のような情報を含んだ計算機情報を含む。

計算機管理テーブルＴ５０００は、計算機毎にレコードを含む。各レコードは、計算機識別子Ｔ５０１０と、プロバイダＴ５０２０と、リージョンＴ５０３０と、アベイラビリティゾーンＴ５０４０と、名前Ｔ５０５０と、リソース保有情報Ｔ５０６０と、リソース消費情報Ｔ５０７０と、接続情報Ｔ５０８０といった情報を含む。

計算機識別子Ｔ５０１０は、計算機を特定するための識別子である。

プロバイダＴ５０２０は、計算機のプロバイダ（例えば、クラウドサービスプロバイダ）を特定するための識別子である。

リージョンＴ５０３０は、計算機が属するリージョンを特定する識別子である。

アベイラビリティゾーンＴ５０４０は、リージョン内での計算機の地理的分類を示す情報である。

名前Ｔ５０５０は、計算機の名前（例えば、プロバイダ内での計算機を定めるために利用する識別子）である。名前は、テキスト形式の名前でもよいし、UUID等、プロバイダが定める識別子でもよい。

リソース保有情報Ｔ５０６０は、計算機が備えるリソース（例えば、ＣＰＵ１９３０、メモリ１９２０、ＧＰＵ１９７０）の性能を表す情報である。

リソース消費情報Ｔ５０７０は、リソース保有情報Ｔ５０６０で示されたリソース性能のうち、学習／評価実行プログラムＰ５１００、学習プログラムファイルＦ３０００または評価プログラムファイルＦ３１００が、当該計算機で実行されたことによって消費されているリソース性能を表す情報である。例えば、学習／評価制御プログラムＰ５０００が当該計算機を監視することで、リソース消費情報Ｔ５０７０が更新されてよい。

接続情報Ｔ５０８０は、計算機をネットワーク１２００上で特定できる情報である。当該情報は、例えば、学習／評価制御プログラムＰ５０００が学習／評価の要求を送信する際に必要とされる接続情報（例えば、Internet Protocol（IP）アドレスや、Uniform Resource Identifier（URI）等）でよい。

以下、本実施例で行われる処理の一例を説明する。

図１２は、ＩＦ計算機２１００が有するＩＦプログラムＰ２０００が、アプリ開発用計算機１０１０、またはモデル開発用計算機１０３０を介して送信された、アプリ開発者１０００、またはモデル開発者１０２０からの要求を受信し、要求に対する処理を実行し、応答を送信する処理を示したフローチャートである。

ＩＦプログラムＰ２０００が実行されると、ＩＦプログラムＰ２０００が、ステップＳ１０００にて、要求の待ち受けを開始する。要求には、例えば、要求の種類（例えば、マーケットプレイスシステム２０００への学習プログラムの登録、学習プログラムを利用したモデルの作成、或いは、登録されているモデルの取得）と、種々の情報（例えば、モデルの識別子、或いは、要求を行ったユーザの識別子）が含まれる。

ステップＳ１０１０において、ＩＦプログラムＰ２０００が要求を受信すると、処理がステップＳ１０２０へ進む。

ステップＳ１０２０では、ＩＦプログラムＰ２０００が、受信された要求に含まれる情報（例えば、要求種別、モデル識別子、ユーザ識別子等）を解析する。なお、ステップＳ１０２０にて、例えば、要求種別やモデル識別子等の情報の形式や内容が妥当であるかを検査する処理が実行されてもよい。

ステップＳ１０３０では、ＩＦプログラムＰ２０００が、要求で指定されている要求種別を判定する。判定された種別に応じて次のステップが決まる。なお、ステップＳ１０２０で実施した検査の結果、要求が妥当ではないと判断された場合、処理がステップＳ１０９０へ進み、ＩＦプログラムＰ２０００が、要求不当を示す応答を生成してもよい。

判定の結果が、モデル一覧表示であった場合は、処理がステップＳ１０４０へ進む。ステップＳ１０４０では、ＩＦプログラムＰ２０００が、モデル一覧画面Ｇ１０００に必要な情報を収集するため、モデル管理テーブルＴ３０００の全レコードの全情報を取得する。その後、処理がステップＳ１０９０へ進む。

判定の結果が、モデル詳細表示であった場合は、処理がステップＳ１０５０へ進む。ステップＳ１０５０では、ＩＦプログラムＰ２０００が、モデル詳細画面Ｇ２０００に必要な情報を収集するため、ステップＳ１０２０で解析した要求から、詳細表示を行うモデルのモデル識別子を取得し、モデル管理テーブルＴ３０００より、当該モデル識別子に対応したモデル情報を収集する。その後、処理がステップＳ１０９０へ進む。

判定の結果が、モデル生成／評価であった場合、処理がステップＳ１０６０へ進む。ステップＳ１０６０では、ＩＦプログラムＰ２０００が、ステップＳ１０２０で解析された要求から、モデル生成／評価の実行に必要な学習／評価設定情報を取得し、学習／評価設定テーブルＴ３２００に、取得された学習／評価設定情報に基づく新しいレコードを追加する。さらに、ＩＦプログラムＰ２０００が、追加したレコードに含まれる設定識別子Ｔ３２０５を、学習／評価制御計算機５１００が有する学習／評価制御プログラムＰ５０００へ送信する。その後、処理がステップＳ１０９０へ進む。

判定の結果が、学習／評価プログラムの登録であった場合、処理がステップＳ１０７０へ進む。ステップＳ１０７０では、ＩＦプログラムＰ２０００が、ステップＳ１０２０で解析された要求から、学習／評価プログラムの登録に必要な、学習／評価プログラム情報を取得し、学習／評価プログラム管理テーブルＴ３１００に、取得された学習／評価プログラム情報に基づく新しいレコードを追加する。その後、処理がステップＳ１０９０へ進む。

判定の結果が、データセット登録であった場合、処理がステップＳ１０８０へ進む。ステップＳ１０８０では、ＩＦプログラムＰ２０００が、ステップＳ１０２０で解析された要求から、データセット情報を取得し、データセット管理テーブルＴ４０００に、取得されたデータセット情報に基づく新しいレコードを追加する。処理が、ステップＳ１０９０へ進む。

ステップＳ１０９０では、ＩＦプログラムＰ２０００が、要求に応じて収集したデータを基に、呼び出し元（要求の送信元）の計算機へ送信する応答データ（例えば、モデル一覧画面の情報や、モデル生成／評価の結果等を含んだ応答データ）を生成する。

ステップＳ１１００では、ＩＦプログラムＰ２０００が、ステップＳ１０９０で生成された応答データを呼び出し元の計算機へ送信する。その後、処理がステップＳ１１１０へ進む。

ステップＳ１１１０では、ＩＦプログラムＰ２０００が、ＯＳ等からＩＦプログラムＰ２０００の終了要求があるか否かを確認する。終了要求がない場合は、処理がステップＳ１０１０へ戻る。終了要求があった場合は、処理がステップＳ１１２０へ進みＩＦプログラムＰ２０００が終了する。

なお、ステップＳ１０２０で解析される要求には、アプリ開発者１０００やモデル開発者１０２０のユーザ情報の取得や更新、実行中のモデル生成処理やモデル評価処理の強制停止等、図に明記されていない種別が含まれていてもよい。また、画面の構成要素は、例えば、当該画面の入出力項目に相当するパラメタを持ったＡＰＩによって実現されていてもよい。

図１３は、モデル管理計算機３１００が有するモデル管理プログラムＰ３０００が、ＩＦプログラムＰ２０００から受信した要求に従って、学習／評価プログラムの登録処理、または、モデル学習処理、または、モデル評価処理を実施するステップを示したフローチャートである。

モデル管理プログラムＰ２１００が実行されると、モデル管理プログラムＰ３０００が、ステップＳ２０１０にて、要求の待ち受けを開始する。その後、処理が、ステップＳ２０２０へ進む。当該要求には、例えば、要求種別（例えば、学習／評価プログラムの登録、モデル学習、モデル評価等）等、処理に必要な情報が含まれる。

ステップＳ２０２０でモデル管理プログラムＰ３０００が要求を受信すると、処理がステップＳ２０３０へ進む。

ステップＳ２０３０では、モデル管理プログラムＰ３０００が、受信した要求を解析する。その後、処理がステップＳ２０４０へ進む。

ステップＳ２０４０では、モデル管理プログラムＰ３０００が、解析された要求で指定されている要求種別が、学習／評価プログラムの登録であるか、モデルの学習であるか、モデルの評価であるか、を判定する。要求種別が、学習／評価プログラムの登録であれば、処理がＳ２０６０へ進む。要求種別が、モデルの学習であれば、処理がＳ２０７０へ進む。要求種別が、モデルの評価であれば、処理がＳ２０８０へ進む。なお、要求種別が、学習／評価プログラムの登録、モデル学習、および、モデル評価のいずれにも該当しない場合は、処理がステップＳ２０９０へ進み、要求が正しくない旨の応答データが生成されてもよい。

ステップＳ２０６０では、モデル管理プログラムＰ３０００が、要求で指定されている学習／評価プログラムを、モデル管理システム３０００に登録するため、ステップＳ２０３０で解析された要求に含まれる学習／評価プログラム情報に基づく新しいレコードを、モデル管理システム３０００が有する学習／評価プログラム管理テーブルに追加する。このとき、モデル管理プログラムＰ３０００が、同じ名称や同じファイルを有する学習／評価プログラムのレコードが存在するか否か確認してよい。そのようなレコードが存在する場合には、モデル管理プログラムＰ３０００が、ステップＳ２０９０にて、その旨を示す応答データを生成してもよい。

ステップＳ２０７０では、モデル管理プログラムＰ３０００が、モデル学習を実施するために、要求に含まれる学習設定情報を、モデル管理システム３０００に登録し、学習／評価システム５０００に学習開始の要求を送信する。

ステップＳ２０７０では、モデル管理プログラムＰ３０００が、Ｓ２０３０で解析された要求に含まれる学習設定情報に基づく新しいレコードを、モデル管理システム３０００が有する学習／評価設定テーブルＴ３２００に追加する。

具体的には、例えば、まず、モデル管理プログラムＰ３０００が、要求から、プログラム識別子、データセット識別子、パラメタ、およびモデル識別子を取得し、取得したそれらの情報に基づく新しいレコードを、学習／評価設定テーブルＴ３２００に追加する。このとき、設定識別子は、モデル管理プログラムＰ３０００が自動で設定してよい。

次に、モデル管理プログラムＰ３０００が、Ｓ２０３０で取得した学習設定情報のうち、プログラム識別子Ｔ３２０５をキーにして、プログラム管理テーブルＴ３１００から、該当するプログラムのレコードを学習プログラム情報として取得する。次に、モデル管理プログラムＰ３０００が、Ｓ２０３０で取得した学習設定情報のうち、データセット識別子Ｔ３２１５をキーにして、データセット管理テーブルＴ４０００から、該当するデータセットのレコードをデータセット情報として取得する。なお、データセット識別子Ｔ３２１５に複数の値が指定されている場合は、その数だけ処理が繰り返され、値毎に、データセット情報が取得される。

次に、モデル管理プログラムＰ３０００が、取得された学習プログラム情報に含まれる実行条件を取得する。また、モデル管理プログラムＰ３０００が、それぞれ取得されたデータセット情報から、データセットの実行条件を取得する。全ての実行条件を取得後、モデル管理プログラムＰ３０００が、これらの論理積を計算し、計算された論理積を含む学習設定情報を、学習／評価設定テーブルＴ３２００が有する実行条件Ｔ３２４０として保存する。なお、論理積の結果が不正となる場合、ステップＳ２０９０にて、その旨を示す応答データが生成されてもよい。

また、モデル管理プログラムＰ３０００が、学習／評価設定テーブルＴ３２００が備えるモデル識別子Ｔ３２４５として、当該学習の結果生成されるモデルのモデル識別子を保存する。モデル識別子は、モデル管理テーブルＴ３０００が有するモデル識別子Ｔ３００５であり、モデル管理プログラムＰ３０００によって設定される。さらに、モデル管理プログラムＰ３０００が、学習／評価設定テーブルＴ３２００が有する設定種別Ｔ３２４５の値を、当該設定が学習であることを示すために“学習”とする。

実行条件の計算終了後、モデル管理プログラムＰ３０００が、学習／評価システム５０００に対して、該当する学習／評価設定情報の設定識別子と共に学習要求を発行する。

ステップＳ２０８０では、モデル管理プログラムＰ３０００が、モデル評価を実施するために、要求に含まれる評価設定情報を、モデル管理システム３０００に登録し、学習／評価システム５０００に評価開始の要求を送信する。ステップＳ２０８０では、モデル管理プログラムＰ３０００が、Ｓ２０３０で解析された要求に含まれる評価設定情報に基づく新しいレコードを、モデル管理システム３０００が有する学習／評価設定テーブルＴ３２００に追加する。

具体的には、例えば、まず、モデル管理プログラムＰ３０００が、要求からプログラム識別子、データセット識別子、パラメタ、およびモデル識別子を取得し、取得したそれらの情報に基づく新しいレコードを、学習／評価設定テーブルＴ３２００に追加する。

次に、モデル管理プログラムＰ３０００が、Ｓ２０３０で取得した評価設定情報のうち、プログラム識別子Ｔ３２０５をキーにして、プログラム管理テーブルＴ３１００から、該当するプログラムのレコードを学習プログラム情報として取得する。次に、モデル管理プログラムＰ３０００が、Ｓ２０３０で取得した評価設定情報のうち、データセット識別子Ｔ３２１５をキーにして、データセット管理テーブルＴ４０００から、該当するデータセットのレコードをデータセット情報として取得する。なお、データセット識別子Ｔ３２１５に複数の値が指定されている場合は、その数だけ処理が繰り返され、値毎に、データセット情報が取得される。

次に、モデル管理プログラムＰ３０００が、取得された評価プログラム情報に含まれる実行条件を取得する。また、モデル管理プログラムＰ３０００が、それぞれ取得されたデータセット情報から、データセットの実行条件を取得する。全ての実行条件を取得後、モデル管理プログラムＰ３０００が、これらの論理積を計算し、計算された論理積を含む評価設定情報を、学習／評価設定テーブルＴ３２００が有する実行条件Ｔ３２４０として保存する。なお、論理積の結果が不正となる場合、ステップＳ２０９０にて、その旨を示す応答データが生成されてもよい。

また、モデル管理プログラムＰ３０００が、学習／評価設定テーブルＴ３２００が備えるモデル識別子Ｔ３２４５として、当該評価が対象とするモデルのモデル識別子を保存する。さらに、モデル管理プログラムＰ３０００が、学習／評価設定テーブルＴ３２００が有する設定種別Ｔ３２４５の値を、当該設定が評価であることを示すために“評価”とする。

実行条件の設定終了後、モデル管理プログラムＰ３０００が、学習／評価システム５０００に対して、該当する学習／評価設定情報の設定識別子と共に評価要求を発行する。

ステップＳ２０９０では、モデル管理プログラムＰ３０００が、ＩＦプログラムＰ２０００への応答データ（例えば、学習／評価プログラムの登録、モデル学習、または、モデル評価の要求が成功したのか否か、または受信した要求情報に不正があり、要求に失敗したか等を示す応答データ）を生成する。その後、処理がステップＳ２１００へ進む。

ステップＳ２１００では、モデル管理プログラムＰ３０００が、生成された応答データを要求送信元であるＩＦプログラムＰ２０００へ返送する。その後、処理がステップＳ２１１０へ進む。

ステップＳ２１１０では、モデル管理プログラムＰ３０００が、モデル管理計算機３１００が有するＯＳ等から、モデル管理プログラムＰ２１００の終了要求があるか否かを確認する。終了要求がない場合は、処理がステップＳ２０２０へ戻る。終了要求があった場合には、処理がステップＳ２１２０へ進みモデル管理プログラムＰ３０００が終了する。

図１４は、データ管理システム４０００が有するデータ管理プログラムＰ４０００が、ＩＦプログラムＰ２０００から受信した要求に従って、データセットの登録処理を実施するステップを示したフローチャートである。

データ管理プログラムＰ４０００が実行されると、データ管理プログラムＰ４０００が、ステップＳ３０１０にて、要求の待ち受けを開始する。その後、処理がステップＳ３０２０へ進む。

ステップＳ３０２０では、データ管理プログラムＰ４０００が要求を受信すると、処理がステップＳ３０３０へ進む。

ステップＳ３０３０では、データ管理プログラムＰ４０００が、受信した要求（例えば、登録するデータセットファイル等が関連付いた要求）を解析し、当該要求からデータセット情報を取得する。その後、処理がステップＳ３０４０へ進む。

ステップＳ３０４０では、データ管理プログラムＰ４０００が、要求に関連付いているデータセットファイルをデータ管理システム４０００に登録するため、要求に含まれるデータセット情報に基づく新しいレコードを、データ管理システム４０００が有するデータセット管理テーブルＴ４０００に追加する。このとき、データ管理プログラムＰ４０００が、同じ名称や同じデータセットファイルを有するデータセットのレコードが存在するか否か確認してよい。そのようなレコードが存在する場合には、データ管理プログラムＰ４０００が、ステップＳ３０５０にて、その旨を示す応答データを生成してもよい。

ステップＳ３０５０では、データ管理プログラムＰ４０００が、ＩＦプログラムＰ２０００への応答データ（例えば、データセットの登録が成功したか否か、または、受信した要求情報に不備があり、要求に失敗したか等を示す応答データ）を生成する。その後、処理がステップＳ３０６０へ進む。

ステップＳ３０６０では、データ管理プログラムＰ４０００が、生成された応答データを要求送信元であるＩＦプログラムＰ２０００へ返送する。その後、処理がステップＳ３０７０へ進む。

ステップＳ３０７０では、データ管理プログラムＰ４０００が、データ管理計算機４１００が有するOS等から、データ管理プログラムＰ４０００の終了要求があるか否かを確認する。終了要求がない場合は、処理がステップＳ３０２０へ戻る。終了要求があった場合は、処理がステップＳ３０８０へ進みデータ管理プログラムＰ４０００が終了する。

図１５は、学習／評価制御計算機５１００が有する学習／評価制御プログラムＰ５０００が、モデル管理プログラムＰ３０００から受信した要求に従って、学習／評価で利用するプログラムまたはデータの準備や、学習／評価を実行する学習／評価実行計算機５２００の選定を実施し、選定された学習／評価実行計算機５２００へ、学習／評価実行を要求する処理を示したフローチャートである。

学習／評価制御プログラムＰ５０００が実行されると、学習／評価制御プログラムＰ５０００が、ステップＳ４０００にて、要求の待ち受けを開始する。その後、処理がステップＳ４０１０へ進む。なお、要求は、モデル生成／評価画面Ｇ３０００にて入力された学習／評価に関する設定情報を含む。

ステップＳ４０１０では、学習／評価制御プログラムＰ５０００が要求を受信すると、処理がステップＳ４０２０へ進む。

ステップＳ４０２０では、学習／評価制御プログラムＰ５０００が、要求に含まれる学習／評価に関する設定情報を取得し、学習／評価設定テーブルＴ３２００に登録するための、学習／評価設定情報を作成する。ステップＳ４０２０では、まず、学習／評価制御プログラムＰ５０００が、要求に含まれる学習プログラム情報または評価プログラム情報から、プログラムの実行条件を取得する。次に、学習／評価制御プログラムＰ５０００が、要求に含まれる１または複数のデータセット情報から、それぞれ実行条件を取得する。学習／評価制御プログラムＰ５０００が、取得したプログラム実行条件およびデータセット実行条件に関して、論理積を実施し、プログラムおよびデータセットを利用した、学習／評価の実行条件を取得する。この時、論理積の結果が空の場合、学習／評価制御プログラムＰ５０００が、指定されたプログラムおよびデータセットを利用した学習／評価が不可能であるため、その旨を示す情報を作成し、処理がステップＳ４０６０へ進む。論理積の結果が空でない場合、学習／評価制御プログラムＰ５０００が、要求に含まれる情報を、実行条件の論理積演算の結果とともに、学習／評価設定情報として、学習／評価設定テーブルＴ３２００へ保存し、処理がステップＳ４０３０へ進む。例えば、モデル開発者１０２０が開発したアプリＸに対して、アプリ開発者１０００から二つのデータセットがフィードバックされ、モデル開発者１０２０が当該二つのデータセットを用いてアプリＸの学習／評価を行いたい場合、二つのデータセットの各々について、当該データセットの実行条件とアプリＸの学習／評価に使用するプログラムの実行条件との論理積が実施される。論理性が空でないデータセットを用いて、アプリＸの学習／評価が可能である。

ステップＳ４０３０では、学習／評価制御プログラムＰ５０００が、学習／評価設定情報で指定される実行条件と、要求スペックと、計算機の状況から、学習／評価を行う計算機を選定し、その後、モデルの学習／評価状況を管理する学習／評価ジョブ情報を作成し、学習／評価ジョブテーブルＴ３３００に登録する。

ステップＳ４０３０では、学習／評価制御プログラムＰ５０００が、まず、ステップＳ４０２０で作成した、学習／評価設定情報を解析し、当該学習／評価の実行可能条件を示す、実行条件フィールドＴ３２４０の情報を取得する。また、学習／評価制御プログラムＰ５０００が、学習／評価設定情報から、プログラム識別子Ｔ３２１０を取得し、当該識別子をキーにして、学習／評価プログラム管理テーブルＴ３１００から該当するプログラムの情報を抽出する。学習／評価制御プログラムＰ５０００が、抽出された情報から、プログラムの実行に必要なリソース量を示す要求スペックＴ３１５０を取得する。次に、学習／評価制御プログラムＰ５０００が、計算機管理テーブルＴ５０００から、実行条件Ｔ３２４０が表す条件を満たす学習／評価実行計算機５２００の計算機識別子Ｔ５０１０を取得する。条件を満たす計算機が複数見つかった場合、取得される計算機識別子Ｔ５０１０は、複数あってもよい。次に、学習／評価制御プログラムＰ５０００が、取得した計算機識別子Ｔ５０１０をキーに、計算機管理テーブルＴ５０００から、リソース保有情報Ｔ５０６０およびリソース消費情報Ｔ５０７０を取得し、それらの情報Ｔ５０６０およびＴ５０７０を基に、利用可能リソース情報を計算する。利用可能リソース情報は、例えば、リソース種別毎に、リソース保有情報Ｔ５０６０が表す値からリソース消費情報Ｔ５０７０が表す値を引くことで求めることができる。学習／評価制御プログラムＰ５０００が、利用可能リソース情報と、上記取得された要求スペックＴ３１５０とを比較することで、要求スペックＴ３１５０を満たすことができる計算機の計算機識別子を取得する。複数の計算機識別子が取得できた場合、学習／評価制御プログラムＰ５０００が、例えば利用可能リソース情報が最も大きい計算機の計算機識別子を選択する等、何らかの指標を利用して、１つの計算機識別子を取得（選択）する。取得された本計算機識別子Ｔ５０１０から特定される学習／評価実行計算機５２００が、当該要求の処理を行う計算機（ジョブ実行計算機）となる。

次に、学習／評価制御プログラムＰ５０００が、ジョブ実行計算機が行う実行の状況（モデルの学習／評価状況）を記録するため、学習／評価ジョブテーブルＴ３３００に新たなレコードを追加する。なお、追加されるレコードにおいて、設定識別子Ｔ３３２０は、ステップＳ４０２０で取得した設定情報の設定識別子であり、ユーザ識別子Ｔ３３３０は、ユーザ管理テーブルＴ２０００に含まれるユーザ識別子のうち、当該ジョブを要求したユーザの識別子であり、テナント識別子Ｔ３３４０は、テナント管理テーブルＴ２１００に含まれるテナント識別子のうち、当該ジョブを要求したユーザが所属するテナントの識別子であり、実行計算機識別子Ｔ３３５０は、本ステップＳ４０３０で決定したジョブ実行計算機（学習／評価実行計算機５２００）の計算機識別子であり、進捗状態Ｔ３３６０の値は、“0%”であり、開始時刻Ｔ３３７０の値は、現在の時刻であり、終了時刻Ｔ３３８０の値は、例えば“-”である。なお、ジョブ識別子Ｔ３３１０の値は、学習／評価制御プログラムＰ５０００によって付与され、記録される。

ステップＳ４０４０では、学習／評価制御プログラムＰ５０００が、選定された学習／評価実行計算機５２００に対して、モデル管理プログラムＰ３０００からの要求に応じた要求（モデルの学習／評価の実行要求）を送信し、処理がステップＳ４０５０へ進む。要求は、学習／評価実行計算機５２００が備える学習／評価実行プログラムＰ５１００へ送信される。学習／評価実行計算機５２００の特定には、計算機管理テーブルＴ５０００が備える接続情報Ｔ５０８０の値（例えばIPアドレス）を用いて行われてもよい。なお、送信される要求には、例えば、設定識別子と、ジョブ識別子が含まれる。

ステップＳ４０５０では、学習／評価制御プログラムＰ５０００が、学習／評価実行計算機５２００で実行される学習／評価ジョブの状況を監視するために、学習／評価監視スレッドＳ４５００を開始する。ステップＳ４５１０の実行後、処理がステップＳ４０６０へ進む。すなわちスレッドＳ４５００によって、ステップＳ４０６０以降のステップと、ステップＳ４５１０～Ｓ４５６０は学習／評価実行計算機５２００内で並列に実行される。

ステップＳ４０６０では、学習／評価制御プログラムＰ５０００が、モデルの学習／評価を要求したモデル管理プログラムＰ３０００に対する応答データを生成し、当該応答データをモデル管理プログラムＰ３０００に送信する。その後、処理がステップＳ４０７０へ進む。なお、送信される応答データは、例えば、評価の実行開始や、いずれかのステップで異常が発生したことを知らせるエラーメッセージを含む。

ステップＳ４０７０では、学習／評価制御プログラムＰ５０００が、学習／評価制御計算機５１００が有するOS等から、学習／評価制御プログラムＰ５０００への終了要求があるかを確認する。終了要求がない場合は、処理がステップＳ４０１０へ戻る。終了要求があった場合は、処理がステップＳ４０８０へ進み学習／評価制御プログラムＰ５０００が終了する。

学習／評価監視スレッドＳ４５００が、ステップＳ４５１０で、実行されたジョブの状態監視を開始する。その後、処理がステップＳ４５２０へ進む。

ステップＳ４５２０では、学習／評価監視スレッドＳ４５００が、学習／評価実行計算機５２００に対して、ジョブ識別子を持つジョブの実行状況を問い合わせ、返答を得る。学習／評価実行計算機５２００からの返答の値は、例えば、“実行中”や、“停止中”のように、状態を文字列や数字で表したものでもよく、“10%”や、“20%”のように、進捗度を示すような数字であってもよい。学習／評価監視スレッドＳ４５００が、得られた返答の値を、学習／評価ジョブテーブルＴ３３００の進捗状態Ｔ３３６０として記録する。加えて、学習／評価監視スレッドＳ４５００が、学習／評価実行計算機５２００が備えるリソース（例えば、ＣＰＵ１９３０やメモリ１９２０）のリソース消費状況も収集し、当該学習／評価実行計算機５２００に対応したリソース消費状況Ｔ５０７０を、収集されたリソース消費状況を表す情報に更新する。その後、処理がステップＳ４５３０へ進む。

ステップＳ４５３０では、学習／評価監視スレッドＳ４５００が、返答の値がジョブ完了を意味する値であるかを判定する。当該値が、例えば“完了”や“100%”であれば、処理がステップＳ４５５０へ進む。当該値が、それ以外の値の場合は、処理が、ステップＳ４５４０へ進んだ上、ステップＳ４５１０へ戻る。

ステップＳ４５５０では、学習／評価監視スレッドＳ４５００が、学習／評価ジョブテーブルＴ３３００の進捗状態Ｔ３３６０の値を“100%”や“完了”に更新する。その後、処理がステップＳ４５６０へ進み、スレッドＳ４５００が終了する。

図１６は、学習／評価実行計算機５２００が有する学習／評価実行プログラムＰ５１００が、学習／評価制御プログラムＰ５０００から受信した要求にしたがって、モデルを学習／評価するステップを示したフローチャートである。

学習／評価実行プログラムＰ５１００が実行されると、ステップＳ５０００にて、学習／評価実行プログラムＰ５１００が、学習／評価制御プログラムＰ５０００からの要求を受信する。その後、処理がステップＳ５０１０へ進む。

ステップＳ５０１０では、学習／評価実行プログラムＰ５１００が、要求に含まれるジョブ識別子をキーに、学習／評価ジョブテーブルＴ３３００より、該当するジョブ情報を取得する。次に、学習／評価実行プログラムＰ５１００が、取得されたジョブ情報の依存ジョブＴ３３９０を確認する。依存ジョブが設定されている場合、処理が、ステップＳ５０２０へ進み、学習／評価実行プログラムＰ５１００が、依存ジョブの終了を待ち、依存ジョブが終了した後、処理がステップＳ５０３０へ進む。依存ジョブが設定されていない場合、ステップＳ５０２０がスキップされ、処理がステップＳ５０３０へ進む。

ステップＳ５０３０では、学習／評価実行プログラムＰ５１００が、ステップＳ５０１０で取得したジョブ情報に含まれる設定識別子をキーにして、学習／評価設定テーブルＴ３２００から該当する設定情報を取得する。

ステップＳ５０４０では、学習／評価実行プログラムＰ５１００が、ステップＳ５０３０にて取得された設定情報に含まれるデータセット識別子Ｔ３２１５から識別されるデータセットファイルＦ４０００を、データ管理プログラムＰ４０００を介して取得する。その後、処理がステップＳ５０５０へ進む。

ステップＳ５０５０では、学習／評価実行プログラムＰ５１００が、取得された設定情報に含まれるプログラム識別子Ｔ３２１０から識別されるプログラムファイルＦ３０００、またはＦ３１００を、モデル管理プログラムＰ３０００を介して取得する。その後、処理がステップＳ５０６０へ進む。

ステップＳ５０６０では、学習／評価実行プログラムＰ５１００が、取得された設定情報に含まれる設定種別Ｔ３２５０を取得する。設定種別Ｔ３２５０の値が“学習”であった場合、処理がステップＳ５０７０へ進む。設定種別Ｔ３２５０の値が“評価”であった場合、処理がステップＳ５０９０へ進む。

ステップＳ５０７０では、学習／評価実行プログラムＰ５１００が、取得したデータセットファイルＦ４０００と、取得したプログラムファイルＦ３０００と、取得した設定情報に含まれるパラメタＴ３２２０とを、取得したプログラムファイルＦ３０００への入力として、プログラムを実行することで、モデルの学習を開始する。プログラム終了後、処理がステップＳ５０８０へ進む。

ステップＳ５０８０では、学習／評価実行プログラムＰ５１００が、取得した設定情報に含まれるモデル識別子Ｔ３２４５を取得し、当該識別子と一致するモデル識別子Ｔ３００５を含む、モデル管理テーブルＴ３０００のレコードに、ステップＳ５０７０で作成したモデルファイルの情報を登録する。その後、処理がステップＳ５１２０へ進む。

ステップＳ５０９０では、学習／評価実行プログラムＰ５１００が、取得された設定情報に含まれるモデル識別子Ｔ３２４５を取得し、当該識別子をキーとして、モデル管理テーブルＴ３０００から評価対象のモデル情報（モデルファイルＴ３０２０を含む情報）を取得する。その後、処理がステップＳ５１００へ進む。

ステップＳ５１００では、学習／評価実行プログラムＰ５１００が、取得したデータセットファイルと、取得したプログラムファイルと、取得したモデルファイルＴ３０２０から識別されるモデルファイルと、取得した設定情報に含まれるパラメタＴ３２２０とを、取得したプログラムへの入力として、プログラムを実行することで、モデルの評価を開始する。プログラム終了後、処理がステップＳ５１１０へ進む。

ステップＳ５１１０では、学習／評価実行プログラムＰ５１００が、ステップＳ５１００における評価結果情報を、例えばプログラムが出力したログファイルや、標準出力や、標準エラー出力を介して取得し、評価結果テーブルＴ３４００へ、当該評価結果情報に基づく新しいレコードを追加する。その後、処理がステップＳ５１２０へ進む。なお、追加されるレコードにおいて、設定識別子Ｔ３４２０の値は、要求に含まれる設定識別子であり、ジョブ識別子Ｔ３４３０の値は、要求に含まれるジョブ識別子であり、結果Ｔ３４４０の値は、取得した評価結果情報であり、ログ情報Ｔ３４５０の値は、例えばプログラムが出力したログファイルや、標準出力の内容である。

ステップＳ５１２０では、学習／評価実行プログラムＰ５１００が終了する。

図１７は、アプリ開発者１０００またはモデル開発者１０２０に対して提供されるモデル一覧画面の一例を示す。なお、図１７～図２１に例示する画面は、ＧＵＩ（Graphical User Interface）でよい。画面の表示は、マーケットプレイスシステム２０００が有するＩＦ計算機２１００のＩＦプログラムＰ２０００によって行われるが、画面に表示される情報の少なくとも一部は、モデル改善支援システム１０において管理されている複数のテーブルに基づく。ＩＦプログラムＰ２０００が、モデル管理システム３０００、データ管理システム４０００および学習／評価システム５０００と通信することで、テーブルの情報を取得することができる。図１７～図２１に例示する画面において、ボタンやテキストボックス等はＧＵＩ部品の一例である。

モデル一覧画面Ｇ１０００は、マーケットプレイスシステム２０００を介して登録されたモデルの一覧を表示する画面である。画面Ｇ１０００は、例えば、マーケットプレイスシステムへ登録された１か複数のモデル画像Ｇ１０１０と、モデル名称Ｇ１０２０と、新しいモデルを登録するためのモデル登録ボタンＧ１０３０と、を含む。

画面Ｇ１０００に表示される各モデルの情報は、モデル管理テーブルＴ３０００から取得された情報である。例えば、画像Ｇ１０１０は、画像情報Ｔ３０４５が表す画像であり、名称Ｇ１０２０は、モデル名Ｔ３０１０が表す名称である。なお、モデル管理テーブルＴ３０００が備える開示条件Ｔ３０７０の値が、例えば“All”であれば、全てのユーザにモデルが開示される。値が“user=1”の場合は、画面Ｇ１０００にアクセスしたユーザの識別子が“１”の場合のみモデルが開示される。

モデル登録ボタンＧ１０３０は、学習および評価プログラムとデータセットを用いて新たなモデルを作成し、登録するために、モデル生成／評価画面Ｇ３０００に遷移するためのボタンである。ＩＦプログラムＰ２０００が、アクセスしたユーザのユーザ識別子をキーにユーザ管理テーブルＴ２０００から当該ユーザの情報を取得し、取得したロールＴ２０４０がモデル開発者を意味する“Model developer”の場合のみ、ボタンＧ１０３０を表示する等、制御してもよい。

各モデルの画像Ｇ１０１０や、モデル名称Ｇ１０２０をマウスポインタでクリックすると、モデル詳細画面Ｇ２０００への遷移が行われてもよい。

図１８は、アプリ開発者１０００またはモデル開発者１０２０に対して提供されるモデル詳細画面の一例を示す。

モデル詳細画面Ｇ２０００は、選択されたモデルの詳細を表示する画面である。画面Ｇ２０００は、例えば、モデル名称Ｇ２００５と、モデル画像Ｇ２００７と、モデル情報Ｇ２０１０と、モデルバージョンＧ２０１５と、モデルの概要説明Ｇ２０２０と、学習設定情報Ｇ２０２５と、評価結果情報Ｇ２０３０と、データセット登録ボタンＧ２０３５と、新バージョン登録ボタンＧ２０４０と、を備える。

モデル名称Ｇ２００５と、モデル画像Ｇ２００７と、モデル概要説明Ｇ２０２０は、それぞれモデル管理テーブルＴ３０００に含まれる、モデル名Ｔ３０１０と、画像情報Ｔ３０４５と、説明Ｔ３０４０に基づいている。なお、項目以外にも、例えばモデル管理テーブルＴ３０００が備える、課金情報Ｔ３０２５等が表示されてもよい。

ＩＦプログラムＰ２０００が、モデル情報Ｇ２０１０として、モデル管理テーブルＴ３０００に含まれるバージョン情報Ｔ３０１５と、ユーザ情報Ｔ３０３０の値をキーにユーザ管理テーブルＴ２０００から取得されたユーザ情報（対象モデルを開発したユーザの情報）とを表示してよい。

モデルバージョンＧ２０１５は、異なるバージョンのモデルの詳細を表示するためのドロップダウンボックスである。ＩＦプログラムＰ２０００が、モデル管理テーブルＴ３０００から、モデルグループ情報Ｔ３０５０が同値のレコードを特定し、特定されたレコードのモデル情報のバージョン情報Ｔ３０１５を表示する。

学習設定情報Ｇ２０２５は、当該モデルを作成する際に実施した学習に関する情報である。ＩＦプログラムＰ２０００が、モデル管理テーブルＴ３０００が備える学習設定識別子Ｔ３０５５をキーに、学習／評価設定テーブルＴ３２００から該当する学習設定情報を取得し、当該情報Ｇ２０２５を表示する。

評価結果情報Ｇ２０３０は、当該モデルの評価設定情報および評価結果情報を含む。ＩＦプログラムＰ２０００が、モデル管理テーブルＴ３０００が有する評価設定識別子Ｔ３０６０をキーに、学習／評価設定テーブルＴ３２００および評価結果テーブルＴ３４００から、該当する評価設定情報および評価結果情報を取得し、取得した情報Ｇ２０３０を表示する。

データセット登録ボタンＧ２０３５は、アプリ開発者１０００またはモデル開発者１０２０により、当該モデルの改善を行うために新たなデータセットを登録するためのボタンである。当該ボタンが押下されることによって、データ登録画面Ｇ５０００（図２１）への遷移が行われる。

新バージョン登録ボタンＧ２０４０は、モデル開発者１０２０によって、当該モデルの新しいバージョンを登録するためのボタンである。当該ボタンが押下されることにより、モデル生成／評価画面Ｇ３０００（図１９Ａ）への遷移が行われる。

図１９Ａは、モデル開発者１０２０に対して提供されるモデル生成／評価画面の一例を示す。図１９Ｂは、当該画面の一部を示す。図１９Ｃは、当該画面の別の一部を示す。

モデル生成／評価画面Ｇ３０００は、学習／評価を行い新たなモデルをマーケットプレイスに登録するための画面である。画面Ｇ３０００は、例えば、モデル名入力テキストボックスＧ３０１０と、モデルバージョン入力テキストボックスＧ３０１５と、画像パス入力テキストボックスＧ３０２０と、画像参照ボタンＧ３０２３と、生成モデル説明入力テキストボックスＧ３０２７と、学習プログラムテーブルＧ３０３０と、学習プログラム新規登録ボタンＧ３０３５と、評価プログラムテーブルＧ３０４０と、評価プログラム新規登録ボタンＧ３０４５と、データセットテーブルＧ３０５０と、データセット新規登録ボタンＧ３０５５と、ジョブ設定／結果テーブルＧ３０６０と、モデル登録ボタンＧ３０６５と、を備える。なお、これら以外にも、例えば、モデル管理テーブルＴ３０００が備える課金情報Ｔ３０２５、開示条件Ｔ３０３５および実行条件Ｔ３０７０の少なくとも一部が表示されてもよいし、学習／評価プログラム管理テーブルＴ３１００が備える説明Ｔ３１３５および開示条件Ｔ３１４０の少なくとも一部が表示されてもよい。

モデル名入力テキストボックスＧ３０１０は、モデルの名称を入力するテキストボックスである。入力された値は、モデル管理テーブルＴ３０００が備える、モデル名Ｔ３０１０に反映される。

モデルバージョン入力テキストボックスＧ３０１５は、モデルのバージョンを入力するテキストボックスである。入力された値は、モデル管理テーブルＴ３０００が備える、バージョン情報Ｔ３０１５に反映される。

画像パス入力テキストボックスＧ３０２０は、モデル一覧画面Ｇ１０００や、モデル詳細画面Ｇ２０００で表示する画像ファイルについて、モデル開発用計算機１０３０におけるファイルのパスを入力するテキストボックスである。当該テキストボックスに入力されたファイルパスは、手動で入力されたファイルパスでもよいし、画像参照ボタンＧ３０２３を押下することで展開されるファイル選択ダイアログにて指定されたファイルパスでもよい。

生成モデル説明入力テキストボックスＧ３０２７は、モデルの概要説明を入力するテキストボックスである。入力された値は、モデル管理テーブルＴ３０００が備える説明Ｔ３０４０に反映される。

学習プログラムテーブルＧ３０３０は、モデル生成に利用可能な学習プログラム一覧を示したテーブルである。各行に、１つの学習プログラムの情報が表示される。各行に表示される学習プログラム情報は、学習／評価プログラム管理テーブルＴ３１００において、プログラム種別Ｔ３１１５が“学習”（学習プログラムであることを意味する値）と設定されている情報でよい。また、開示条件Ｔ３１４０の値が、例えば“All”であれば、学習プログラム情報が、全てのユーザに開示されてよい。当該値が“user=1”であれば、当該画面を表示しているユーザのユーザ識別子が“1”の場合のみ、学習プログラム情報が表示されてもよい。さらに、モデル開発者１０２０が、利用カラムをマウスポインタでクリックし、チェックボックスにチェックを入れることで、モデル開発者１０２０が利用する学習プログラムが選択されてもよい。

学習プログラム新規登録ボタンＧ３０３５は、学習プログラムを新規に登録する際に利用されるボタンである。当該ボタンが押下されることで、プログラム登録画面Ｇ４０００（図２０）への遷移が行われる。学習プログラムを登録することで、学習プログラムテーブルＧ３０３０に行が追加されてもよい。

評価プログラムテーブルＧ３０４０は、モデル評価に利用可能な評価プログラム一覧を示したテーブルである。各行に１つの評価プログラムの情報が表示される。各行に表示される評価プログラム情報は、学習／評価プログラム管理テーブルＴ３１００においてプログラム種別Ｔ３１１５が“評価”（評価プログラムであることを意味する値）と設定されている情報でよい。また、開示条件Ｔ３１４０の値に応じて、評価プログラム情報の表示が制御されてよい。さらに、モデル開発者１０２０が、利用カラムをマウスポインタでクリックし、チェックボックスにチェックを入れることで、利用する評価プログラムが選択されてもよい。

評価プログラム新規登録ボタンＧ３０３５は、評価プログラムを新規に登録する際に利用されるボタンである。当該ボタンが押下されることで、プログラム登録画面Ｇ４０００への遷移が行われる。評価プログラムを登録することで、評価プログラムテーブルＧ３０３０に行が追加されてもよい。

データセットテーブルＧ３０５０は、モデル学習／評価に利用可能なデータセット一覧を示したテーブルである。各行に、１つのデータセットの情報が表示される。各行に表示されるデータセット情報は、データセット管理テーブルＴ４０００から取得された情報である。データセット情報の表示は、開示条件Ｔ３１４０の値に応じて制御されてよい。さらに、モデル開発者１０２０が、利用カラムをマウスポインタでクリックし、チェックボックスにチェックをいれることで、利用するデータセットが選択されてもよい。また、選択するデータセットが複数存在してもよい。

データセット新規登録ボタンＧ３０５５は、学習や評価で利用するためのデータセットを新規に登録するために利用されるボタンである。当該ボタンが押下されることで、データセット登録画面Ｇ５０００への遷移が行われる。データセットが登録されることで、データセットテーブルＧ３０５０に行が追加されてもよい。

ジョブ設定／結果テーブルＧ３０６０は、学習および評価ジョブの設定および結果情報を表示するテーブルである。当該テーブルの学習設定や評価指標は、ユーザが直接入力し、設定を行ってもよい。また、制御カラムの、開始ボタンや中止ボタンを押下することで、学習／評価の実行開始や、中止を制御してもよい。当該テーブルで設定した内容は、学習／評価設定テーブルＴ３２００の各カラムに追加される。

モデル登録ボタンＧ３０６５は、本画面設定により作成したモデルをモデル管理システムに登録し、マーケットプレイスシステムで利用できるようにするために利用するボタンである。

図２０は、モデル開発者１０２０に提供されるプログラム登録画面Ｇ４０００の一例を示す。

プログラム登録画面Ｇ４０００は、新たな学習プログラムまたは評価プログラムをモデル管理システム３０００に登録するための画面である。画面Ｇ４０００は、例えば、プログラムファイル入力テキストボックスＧ４０１０と、プログラムファイル参照用ボタンＧ４０２０と、プログラムファイル概要説明入力テキストボックスＧ４０３０と、プログラム種別設定チェックボックスＧ４０４０と、開示条件入力テキストボックスＧ４０５０と、実行条件入力テキストボックスＧ４０６０と、要求スペック入力テキストボックスＧ４０７０と、課金設定入力テキストボックスＧ４０８０と、プログラム登録ボタンＧ４０９０を備える。

プログラムファイル入力テキストボックスＧ４０１０は、モデル詳細画面Ｇ２０００やモデル生成／評価登録画面Ｇ３０００で表示する学習／評価用プログラムファイルについて、モデル開発用計算機１０３０におけるファイルのパスを入力するテキストボックスである。ファイルパスは、手動で入力されてもよいし、プログラムファイル参照用ボタンＧ４０２０を押下することで展開されるファイル選択ダイアログにて指定されてもよい。モデル管理プログラムＰ３０００は、当該テキストボックスで指定されたパスからファイル名を抽出し、学習／評価プログラム管理テーブルＴ３１００のプログラムファイルＴ３１１０に設定する。

プログラムファイル概要説明入力テキストボックスＧ４０３０は、登録するプログラムの概要をテキスト形式や、Markdown形式で入力するテキストボックスである。入力された値は、学習／評価プログラム管理テーブルＴ３１００の、説明フィールドＴ３１３５に記録される。

プログラム種別設定チェックボックスＧ４０４０は、登録するプログラムの種別を選択するためのチェックボックスである。学習／評価を選択することが可能である。チェックされた値は、学習／評価プログラム管理テーブルＴ３１００のプログラム種別フィールドＴ３１１５に記録される。

開示条件入力テキストボックスＧ４０５０と、実行条件入力テキストボックスＧ４０６０と、要求スペック入力テキストボックスＧ４０７０と、課金設定入力テキストボックスＧ４０８０は、それぞれ、登録するプログラムの開示条件と、実行条件と、要求スペックと、課金設定を入力するテキストボックスである。入力された値は、それぞれ、学習／評価プログラム管理テーブルＴ３１００の、開示条件フィールドＴ３１４０と、実行条件フィールドＴ３１４５と、要求スペックフィールドＴ３１５０と、課金設定フィールドＴ３１２０と、に記録される。

プログラム登録ボタンＧ４０９０は、入力した値を設定値とし、モデル管理システムにプログラムを登録するためのボタンである。プログラムファイル入力テキストボックスＧ４０１０で指定したパスに存在するプログラムファイルが、モデル管理プログラムＰ３０００に送信され、モデル管理システム３０００に格納される。本画面Ｇ４０００で入力されたプログラム管理情報を用いて、モデル管理プログラムＰ３０００に、プログラムの登録要求が送信され、新しいプログラムファイルの登録が実行される。

図２１は、アプリ開発者１０００またはモデル開発者１０２０に対して提供されるデータ登録画面Ｇ５０００の一例を示す。

データ登録画面Ｇ５０００は、新たな学習用または評価用のデータセットをデータ管理システム４０００に登録するための画面である。画面Ｇ５０００は、例えば、データセットファイル入力テキストボックスＧ５０１０と、データセットファイル参照用ボタンＧ５０２０と、データセット概要説明入力テキストボックスＧ５０３０と、開示条件入力テキストボックスＧ５０４０と、利用条件入力テキストボックスＧ５０５０と、課金設定入力テキストボックスＧ５０６０と、プログラム登録ボタンＧ５０７０を備える。

データセットファイル入力テキストボックスＧ５０１０は、モデル詳細画面Ｇ２０００やモデル生成／評価登録画面Ｇ３０００で表示するデータセットファイルについて、アプリ開発用計算機１０１０または、モデル開発用計算機１０３０におけるファイルのパスを入力するテキストボックスである。ファイルパスは、手動で入力されてもよいし、データセットファイル参照用ボタンＧ５０２０を押下することで展開されるファイル選択ダイアログにて指定されてもよい。データ管理プログラムＰ４０００は、当該テキストボックスで指定されたパスからファイル名を抽出し、データセット管理テーブルＴ４０００のデータセットファイルＴ４０２０に設定する。

データセット概要説明入力テキストボックスＧ５０３０は、登録するデータセットの概要をテキスト形式や、Markdown形式で入力するテキストボックスである。入力された値は、データセット管理テーブルＴ４０００の、説明フィールドＴ４０３０に記録される。

開示条件入力テキストボックスＧ５０４０と、実行条件入力テキストボックスＧ５０５０と、課金設定入力テキストボックスＧ５０６０は、それぞれ、登録するデータセットの開示条件と、利用条件と、要求スペックと、課金設定を入力するテキストボックスである。入力された値は、それぞれ、学習／評価プログラム管理テーブルＴ４０００の、開示条件フィールドＴ４０７０と、利用条件フィールドＴ４０８０と、課金設定フィールドＴ４０４０と、に記録される。

データセット登録ボタンＧ５０７０は、入力した値を設定値とし、データ管理システムにデータセットを登録するためのボタンである。データセットファイル入力テキストボックスＧ５０１０で指定したパスに存在するデータセットファイルが、データ管理プログラムＰ４０００に送信され、データ管理システム４０００に格納されてよい。本画面Ｇ５０００で入力されたデータセット管理情報を用いて、データ管理プログラムＰ４０００に、データセットの登録要求が送信され、新しいデータセットファイルの登録が実行される。

実施例２を説明する。その際、実施例１との相違点を主に説明し、実施例１との共通点については説明を省略または簡略する。

実施例２では、モデル開発者１０２０がモデルを開発する際に、モデル開発者１０２０が作成した学習プログラムと評価プログラムと、データセットと、に加え、モデルを利用したアプリ開発者１０００が登録した、データセットとを利用して、モデルを作成する際に、モデル開発者１０２０が登録したプログラムおよびデータセットの実行条件と、アプリ開発者１０００が登録したデータセットの実行条件とが、衝突しても、学習／評価が実行可能である。

実行条件の衝突により生じる課題の解決方法の基本的な考えは、次の通りである。モデル開発者１０２０が、実行条件を満たす追加学習プログラムを登録しておくことで、まずは、モデル開発者１０２０が用意した、学習／評価プログラムおよびデータセットを用いてモデルを作成した後、当該モデルを元に、追加学習プログラムとアプリ開発者１０００が登録したデータセットを用いて、追加で学習させ、アプリ開発者１０００が提供したデータも含めたモデルを作成することである。なお、開発したモデルに関して、追加データで学習させる技術を、本明細書において「遷移学習」と呼ぶ。

図２２Ａは、実行条件に衝突が発生しない場合の処理の概念の一例を示す。図２２Ｂは、実行条件に衝突が発生した場合の処理の概念の一例を示す。

「実行条件の衝突」とは、モデル開発者１０２０から指定された実行条件とアプリ開発者１０００から指定された実行条件のうち、一方の実行条件が満たされると他方の実行条件の少なくとも一部が満たされないことを言う。

図２２Ａに例示するように、実行条件に衝突がない場合は、実行条件を満たす環境にて、モデル開発者１０２０が登録したデータセットとアプリ開発者１０００が登録したデータセットを結合し、モデル開発者１０２０が登録したプログラムを利用してモデルが作成される。具体的には、例えば、アプリ開発者からのデータセット２の実行条件Ｘは、モデル開発者により提供された学習プログラム、評価プログラム及びデータセット１のいずれの実行条件Ｘにも適合する。このため、当該学習プログラム、当該評価プログラム、及びデータセット１及び２に基づき、モデルが改善される。

一方、図２２Ｂに例示するように、実行条件に衝突が発生する場合がある。具体的には、例えば、アプリ開発者からのデータセット２の実行条件Ｙは、モデル開発者により提供された学習プログラム、評価プログラム及びデータセット１のいずれの実行条件Ｘにも適合しない。この場合は、モデル開発者１０２０が登録したデータセット１、学習プログラム及び評価プログラムを用いて、これらの実行条件Ｘを満たす環境で、モデル１が作成される。モデル１の作成後、追加学習プログラムと、アプリ開発者１０００が登録したデータセット２と、モデル１とを利用して、モデル１の追加学習が行われ、結果として、モデル１をベースにしたモデル２が作成される。つまり、追加学習プログラムの実行条件はＸの他にＹを含み、データセット２の実行条件Ｙを満たすため、追加学習プログラムを用いて、モデル１に対する入力をデータセット２とした追加学習が行われる。これにより、モデル開発者１０２０が登録したプログラムやデータセットの実行条件およびアプリ開発者１０００が登録したデータセットの実行条件を満たしつつ、両方のデータセットを元にしたモデル２を作成することが可能である。

図２３は、実施例２におけるステップＳ４０２０の詳細を示すフローチャートである。

ステップＳ４２００では、学習／評価制御プログラムＰ５０００が、ステップＳ４０１０で受信した要求内の情報に含まれるプログラム識別子をキーにして、学習／評価プログラムテーブルＴ３１００より、学習／評価プログラム情報を取得する。その後、処理がステップＳ４２０５へ進む。

ステップＳ４２０５では、学習／評価制御プログラムＰ５０００が、ステップＳ４０１０で受信した要求内の情報に含まれるデータセット識別子をキーにして、データセット管理テーブルＴ４０００からデータセット情報を取得する。その後、処理がステップＳ４２１０へ進む。なお、要求内の情報に複数のデータセット識別子が含まれる場合、それぞれをキーとして、データセット管理テーブルＴ４０００より複数のデータセット情報が取得される。

ステップＳ４２１０では、学習／評価制御プログラムＰ５０００が、ステップＳ４２００で取得した学習／評価プログラム情報およびステップＳ４２０５で取得したデータセット情報から実行条件を取得し、それらすべての論理積を計算する。

ステップＳ４２１５では、学習／評価制御プログラムＰ５０００が、ステップＳ４２００で計算した論理積の結果を参照する。論理積が空の場合、処理がステップＳ４２２５へ進む。論理積が空でない場合、処理がステップＳ４２２０へ進む。

ステップＳ４２２０では、学習／評価制御プログラムＰ５０００が、すべてのプログラムおよびデータセットの実行条件を満たす環境があるため、プログラムおよびデータセットの情報および実行条件を含む、学習／評価設定情報を作成し、学習／評価設定テーブルＴ３２００へ登録する。

ステップＳ４２２５では、すべてのプログラムおよびデータセットの実行条件を満たす環境が存在しない状態であるため、学習／評価制御プログラムＰ５０００が、プログラムと個々のデータセットの論理積を計算する。論理積が空でない組が存在する場合、処理がステップＳ４２３０へ進む。論理積が空でない組が存在しない場合、実行条件を満たす環境は存在しないため、学習／評価を終了すべく、処理がステップＳ４０６０へ進む。

ステップＳ４２３０では、学習／評価制御プログラムＰ５０００が、実行条件が空でないプログラムとデータセットの組に対して、学習／評価設定情報を作成し、学習／評価情報設定テーブルＴ３２００へ保存する。その後、処理がステップＳ４２３５へ進む。

ステップＳ４２３５では、学習／評価制御プログラムＰ５０００が、論理積が空となるプログラムとデータセットの組に関して、当該プログラムの情報を保持する、学習／評価プログラム情報を参照し、追加学習プログラムの有無を確認する。追加学習プログラムが存在する場合、学習／評価制御プログラムＰ５０００が、学習／評価プログラム管理テーブルＴ３１００より、追加学習プログラムの、プログラム情報を取得し、追加学習プログラムの実行条件と、データセットの実行条件の論理積を計算する。その後、処理がステップＳ４２４０へ進む。なお、追加学習プログラムが存在しない場合、論理積が空として処理がステップＳ４２４０へ進む。

ステップＳ４２４０では、ステップＳ４２３５の論理積が空であった場合、条件を満たす学習／評価環境が存在せず、学習／評価を終了するため、処理がステップＳ４０４０へ進む。ステップＳ４２３５の論理積が空でなかった場合、学習／評価制御プログラムＰ５０００が、追加学習プログラムとデータセットを含む、学習／評価情報を作成し、学習／評価設定テーブルＴ３２００へ登録する。その後、処理がステップＳ４０３０へ進む。

なお、追加学習プログラムでは、ステップＳ４２３０で作成したモデルを活用して学習するため、ステップＳ４２３０で作成した、学習／評価設定に依存することとなる。そこで、学習／評価制御プログラムＰ５０００が、当該学習・設定情報の依存設定情報に、ステップＳ４２３０で作成した、学習／評価設定情報を示す設定識別子を記録する。

ステップＳ４０３０では、学習／評価制御プログラムＰ５０００が、本学習／評価設定情報生成部分で作成した、学習／評価設定情報に基づき、学習／評価ジョブ情報を作成し、学習／評価ジョブテーブルＴ３３００に登録する。

実施例２により、実行条件を満たすプログラムとデータセットでモデルを作成し、その後、当該モデルと追加学習プログラムと、実行条件を満たせなかったデータセットと、を利用して学習することで、すべてのデータを利用したモデルの作成が可能となる。

なお、追加学習プログラムに代えて又は加えて、追加評価プログラムがあってもよい。追加学習プログラムと追加評価プログラムの少なくとも一つを「追加学習／評価プログラム」と呼び、学習プログラムと評価プログラムの少なくとも一つを「学習／評価プログラム」と呼ぶ。追加学習／評価プログラムは、元の学習／評価プログラム（追加学習／評価プログラムが関連付けられている学習／評価プログラム）の実行条件と異なる実行条件を持つ学習／評価プログラムである。すなわち、追加学習／評価プログラムの実行条件は、元の学習／評価プログラムの実行条件の少なくとも一部と異なる条件を含む。

以上の幾つかの実施例についての説明を、例えば下記のように総括することができる。

モデル改善支援システム１０は、モデル管理システム３０００（モデル管理部の一例）と、データ管理システム４０００（データ管理部の一例）と、学習／評価システム５０００（学習／評価部の一例）とを備える。

モデル管理システム３０００は、モデル開発者１０２０により開発されたモデルと、当該モデルの学習／評価を行うための学習／評価プログラム（Ｆ３０００、Ｆ３１００）と、当該学習／評価プログラムの実行条件を表す情報を含む学習／評価管理テーブルＴ３１００（学習／評価管理情報の一例）とを管理する。学習／評価管理情報を含む管理情報は、モデル管理テーブルＴ３０００、評価結果テーブルＴ３４００と、学習評価設定テーブルＴ３２００、及び、学習／評価ジョブテーブルＴ３３００のうちの少なくとも一部の一例としての情報を含んでもよい。

データ管理システム４０００は、アプリ開発者１０００（モデルを利用してアプリを開発する者）から提供されモデルの利用においてモデルに入力された一つ又は複数のデータセットと、当該一つ又は複数のデータセットの各々について当該データセットに関連付けられた実行条件を表す情報を含むデータセット管理テーブルＴ４０００（データセット管理情報の一例）とを管理する。

学習／評価システム５０００は、当該一つ又は複数のデータセットのうちモデル開発者１０２０により選択された一つ以上のデータセットの各々について、学習／評価プログラムの実行条件が、当該データセットに関連付いている実行条件を満たしている場合、当該データセットをモデルに対する入力として学習／評価プログラムを実行する。

これにより、アプリ開発者１０００が提供するデータセットに対するモデル開発者１０２０によるアクセスを制限しつつ、モデル開発者１０２０が当該データセットを活用したモデル改善が可能になる。

学習／評価システム５０００は、複数の計算機５２００の各々について当該計算機５２００の地理的な位置を表す情報を含んだ計算管理テーブルＴ５０００（計算機管理情報の一例）を管理する。学習／評価プログラムは、複数の計算機５２００のうちのいずれかで実行されるようになっている。学習／評価システム５０００は、モデル開発者１０２０により選択された上記一つ以上のデータセットの各々について、当該データセットに関連付いている実行条件が、地理的な位置の条件である位置条件を含み、且つ、当該実行条件が、学習／評価プログラムの実行条件を満たしている場合、当該位置条件が表す地理的な位置に属する計算機５２００を計算機管理テーブルＴ５０００から特定する。学習／評価システム５０００は、当該データセットをモデルに対する入力として学習／評価プログラムを上記特定した計算機５２００に実行させる。これにより、アプリ開発者１０００が指定した位置条件を満たさない計算機５２００にアプリ開発者１０００が提供したデータセットが送信され実行されることを回避できる。

学習／評価プログラムの実行条件が、学習／評価プログラムの実行のための計算リソースの条件である要求スペックを含む。計算機管理テーブルＴ５０００は、複数の計算機の各々について当該計算機の計算リソースを表す情報を含む。上記特定された計算機５２００は、上記位置条件が表す地理的な位置に属し且つ要求スペック以上の利用可能リソースを有する計算機５２００である。これにより、学習／評価プログラムの実行性能を期待される性能とすることができる。

一つ以上のデータセットのいずれの実行条件も、学習／評価プログラムの実行条件と衝突する場合、学習／評価システム５０００は、学習／評価プログラムの実行条件を満たす実行条件が関連付けられておりモデル開発者１０２０により提供されたデータセットを入力とし、学習／評価プログラムが実行されたモデル（例えばモデル１）について、アプリ開発者１０００から提供された少なくとも一つのデータセットの実行条件を満たす条件を含んだ実行条件が関連付いた追加の学習／評価プログラムを実行することにより、当該モデルをベースとした新たなモデル（例えばモデル２）を作成する。これにより、実行条件を満たす学習／評価プログラムとデータセットでモデルを作成し、その後、当該モデルと追加学習／評価プログラムと、実行条件を満たせなかったデータセットと、を利用して学習／評価をすることで、モデルの作成が可能となる。

学習／評価システム５０００は、学習／評価プログラムに、アプリ開発者１０００及びモデル開発者１０２０の少なくとも一方が指定したパラメタを用いて、モデルの学習／評価を実行させる。パラメタは、モデルの学習に関するパラメタ（例えば、エポック数を表すepoch）と、モデルの評価に関し当該モデルの評価指標（例えば、“accuracy”）を含むパラメタとの少なくとも一方である。これにより、アプリ開発者１０００及びモデル開発者１０２０の少なくとも一方の所望の観点での学習／評価を行うことができる。

マーケットプレイスシステム２０００が備えられる。マーケットプレイスシステム２０００（インターフェース部の一例）は、一つ又は複数のデータセットの各々について、当該データセットに、実行条件に加えて、当該データセットの開示先の条件である開示条件が関連付けられている場合、モデル開発者１０２０が当該開示条件に適合する場合に、モデル開発者１０２０に対して当該データセットを選択可能に開示する。これにより、フィードバックされたデータセットの開示先をアプリ開発者１０００の所望の範囲に制限できる。また、マーケットプレイスシステム２０００は、アプリ開発者１０００から提供されたデータセットに、利用に応じた課金額を表す課金情報が関連付けられている場合、当該データセットを当該モデルに対する入力として当該学習／評価プログラムを実行することに応じ課金情報を基に課金を行う。課金先は、当該データセットを利用したモデル開発者１０２０でもよいし、他の者又は機関でもよい。これにより、アプリ開発者１０００に対してデータセットのフィードバックをするインセンティブを技術的に与えることができ、結果として、モデル開発者１０２０に対して、モデル改善に有用なフィードバックの提供が支援される。

以上、本発明の一実施例を説明したが、本発明は、この実施例に限定されるものでなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

１０…モデル改善支援システム

Claims (9)

1. モデル開発者により開発されたモデルと、当該モデルの学習及び評価のうちの少なくとも一つである学習／評価を行うための学習／評価プログラムと、当該学習／評価プログラムの実行条件を表す情報を含む学習／評価管理情報とを管理するモデル管理部と、
   前記モデルを利用してアプリを開発するアプリ開発者から提供され前記モデルの利用において前記モデルに入力された一つ又は複数のデータセットと、前記一つ又は複数のデータセットの各々について当該データセットに関連付けられた実行条件を表す情報を含むデータセット管理情報とを管理するデータ管理部と、
   前記一つ又は複数のデータセットのうち前記モデル開発者により選択された一つ以上のデータセットの各々について、前記学習／評価プログラムの実行条件が、当該データセットに関連付いている実行条件を満たしている場合、当該データセットを前記モデルに対する入力として前記学習／評価プログラムを実行する学習／評価部と
   を備え、
   前記学習／評価部は、複数の計算機の各々について当該計算機の地理的な位置を表す情報を含んだ計算機管理情報を管理し、
   前記学習／評価プログラムは、前記複数の計算機のうちのいずれかで実行されるようになっており、
   前記学習／評価部は、前記一つ以上のデータセットの各々について、当該データセットに関連付いている実行条件が、地理的な位置の条件である位置条件を含み、且つ、当該実行条件が、前記学習／評価プログラムの実行条件を満たしている場合、当該位置条件が表す地理的な位置に属する計算機を前記計算機管理情報から特定し、前記データセットを前記モデルに対する入力として前記学習／評価プログラムを前記特定した計算機に実行させる、
   モデル改善支援システム。
2. 前記学習／評価プログラムの実行条件が、前記学習／評価プログラムの実行のための計算リソースの条件である要求スペックを含み、
   前記計算機管理情報は、前記複数の計算機の各々について当該計算機の計算リソースを表す情報を含み、
   前記特定された計算機は、前記位置条件が表す地理的な位置に属し且つ前記要求スペック以上の利用可能リソースを有する計算機である、
   請求項１に記載のモデル改善支援システム。
3. モデル開発者により開発されたモデルと、当該モデルの学習及び評価のうちの少なくとも一つである学習／評価を行うための学習／評価プログラムと、当該学習／評価プログラムの実行条件を表す情報を含む学習／評価管理情報とを管理するモデル管理部と、
   前記モデルを利用してアプリを開発するアプリ開発者から提供され前記モデルの利用において前記モデルに入力された一つ又は複数のデータセットと、前記一つ又は複数のデータセットの各々について当該データセットに関連付けられた実行条件を表す情報を含むデータセット管理情報とを管理するデータ管理部と、
   前記一つ又は複数のデータセットのうち前記モデル開発者により選択された一つ以上のデータセットの各々について、前記学習／評価プログラムの実行条件が、当該データセットに関連付いている実行条件を満たしている場合、当該データセットを前記モデルに対する入力として前記学習／評価プログラムを実行する学習／評価部と
   を備え、
   前記一つ以上のデータセットのいずれの実行条件も、前記学習／評価プログラムの実行条件と衝突する場合、前記学習／評価部は、前記学習／評価プログラムの実行条件を満たす実行条件が関連付けられており前記モデル開発者により提供されたデータセットを入力とし、前記学習／評価プログラムが実行されたモデルについて、前記アプリ開発者から提供された少なくとも一つのデータセットの実行条件を満たす条件を含んだ実行条件が関連付いた追加の学習／評価プログラムを実行することにより、前記モデルをベースとした新たなモデルを作成する、
   モデル改善支援システム。
4. 前記学習／評価部は、前記学習／評価プログラムに、前記アプリ開発者及び前記モデル開発者の少なくとも一方が指定したパラメタを用いて、前記モデルの学習／評価を実行させ、
   前記パラメタは、前記モデルの学習に関するパラメタと、前記モデルの評価に関し前記モデルの評価指標を含むパラメタとの少なくとも一方である、
   請求項１又は３に記載のモデル改善支援システム。
5. 前記一つ又は複数のデータセットの各々について、当該データセットに、実行条件に加えて、当該データセットの開示先の条件である開示条件が関連付けられている場合、前記モデル開発者が前記開示条件に適合する場合に、前記モデル開発者に対して当該データセットを選択可能に開示するインターフェース部、
   を備える請求項１又は３に記載のモデル改善支援システム。
6. 前記データセットに、利用に応じた課金額を表す課金情報が関連付けられている場合、前記データセットを前記モデルに対する入力として前記学習／評価プログラムを実行することに応じ前記課金情報を基に課金を行うインターフェース部、
   を備える請求項１又は３に記載のモデル改善支援システム。
7. 前記アプリ開発者及び前記モデル開発者に対するインターフェース部としてのマーケットプレイスシステムと、
   前記マーケットプレイスシステムに接続され前記モデル管理部としてのモデル管理システムと、
   前記マーケットプレイスシステム及び前記モデル管理システムの少なくとも一つに接続され前記データ管理部としてのデータ管理システムと、
   前記マーケットプレイスシステム、前記モデル管理システム及び前記データ管理システムの少なくとも一つに接続され前記学習／評価部としての学習／評価システムと
   を備える請求項１又は３に記載のモデル改善支援システム。
8. モデルを利用してアプリを開発するアプリ開発者から提供され前記モデルの利用において前記モデルに入力された一つ又は複数のデータセットのうち、モデルを開発するモデル開発者により選択された一つ以上のデータセットの各々について、
   コンピュータが、前記モデルの学習及び評価のうちの少なくとも一つである学習／評価を行うための学習／評価プログラムの実行条件が、当該データセットに関連付いている実行条件を満たしているか否かを判断し、
   当該判断の結果が真の場合、コンピュータが、当該データセットを前記モデルに対する入力として前記学習／評価プログラムを実行し、
   コンピュータが、複数の計算機の各々について当該計算機の地理的な位置を表す情報を含んだ計算機管理情報を管理し、
   前記学習／評価プログラムは、前記複数の計算機のうちのいずれかで実行されるようになっており、
   前記一つ以上のデータセットの各々について、当該データセットに関連付いている実行条件が、地理的な位置の条件である位置条件を含み、且つ、当該実行条件が、前記学習／評価プログラムの実行条件を満たしている場合、コンピュータが、当該位置条件が表す地理的な位置に属する計算機を前記計算機管理情報から特定し、前記データセットを前記モデルに対する入力として前記学習／評価プログラムを前記特定した計算機に実行させる、
   モデル改善支援方法。
9. モデルを利用してアプリを開発するアプリ開発者から提供され前記モデルの利用において前記モデルに入力された一つ又は複数のデータセットのうち、モデルを開発するモデル開発者により選択された一つ以上のデータセットの各々について、
   コンピュータが、前記モデルの学習及び評価のうちの少なくとも一つである学習／評価を行うための学習／評価プログラムの実行条件が、当該データセットに関連付いている実行条件を満たしているか否かを判断し、
   当該判断の結果が真の場合、コンピュータが、当該データセットを前記モデルに対する入力として前記学習／評価プログラムを実行し、
   前記一つ以上のデータセットのいずれの実行条件も、前記学習／評価プログラムの実行条件と衝突する場合、コンピュータが、前記学習／評価プログラムの実行条件を満たす実行条件が関連付けられており前記モデル開発者により提供されたデータセットを入力とし、前記学習／評価プログラムが実行されたモデルについて、前記アプリ開発者から提供された少なくとも一つのデータセットの実行条件を満たす条件を含んだ実行条件が関連付いた追加の学習／評価プログラムを実行することにより、前記モデルをベースとした新たなモデルを作成する、
   モデル改善支援方法。

Images