JP7172356B2 - ＡＩ（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）実行支援装置、方法、及びプログラム - Google Patents

Description

本発明は、ＡＩ実行支援装置、方法、及びプログラムに関し、更に詳しくは、機械学習を行うＡＩエンジンのためのＡＩ実行支援装置、方法、及びプログラムに関する。

ＩｏＴの普及や、ハードウェア環境の向上、或いはディープラーニングを中心とした機械学習技術の発展に伴い、ＡＩ関連事業に対するニーズが急速に高まっている。機械学習を利用した開発業務に関連して、特許文献１は、学習サービス提供装置を開示する。特許文献１に記載の学習サービス提供装置は、依頼に従って機械学習を実施し、機械学習の結果として得られた「能力」を、画像認識装置や自動運転システムなどの対象装置に提供する。ここで、「能力」とは、装置が提供し得る機能、或いは装置が実行し得る処理を意味する。

より詳細には、学習サービス提供装置は、依頼を受け付け可能な機械学習の種類ごとに、機械学習を行うために必要な情報が記述されたトレーニング情報を記憶している。学習サービス提供装置は、依頼者が依頼した機械学習の種類に対応するトレーニング情報を用い、機械学習を行うために必要な情報である学習依頼情報を生成する。学習サービス提供装置は、学習シミュレータを用い、学習依頼情報に基づいて機械学習を行う。学習サービス提供装置は、学習結果として獲得された新たな能力を対象装置に追加するための能力付与データを生成し、能力付与データを依頼者に提供する。

国際公開第２０１７／１５９６１４号

ＡＩエンジンを用いたデータ分析作業は、例えば以下の流れで実施される。まず、ユーザは、分析対象となる大量データの用意し、分析目的を決定する。次いで、ユーザは、分析目的に沿ったデータ分析手法を選別し、そのデータ分析手法に対応するＡＩエンジンを選定する。その後、ユーザは、選定したＡＩエンジンにデータを入力することで、ＡＩエンジンに分析処理を実施させ、分析処理の結果（分析結果）を得る。ユーザは、得られた分析結果を精査することで、目的とする学習結果が得られているか否かを確認する。

ＡＩエンジンの実行にはＰｙｔｈｏｎ言語などのプログラミング言語に関する知識が要求される。また、ハイパーパラメータはＡＩエンジンに固有のものであり、ハイパーパラメータの調整に関して、ユーザには調整に対するノウハウが要求される。ユーザがＡＩエンジンを利用するためには専門知識が必要であり、専門知識の習熟には、時間や教育費用の面で大きなコストがかかる。こうした背景から、専門知識に対する要求を低減しつつＡＩエンジンを活用する仕組みが期待されている。特許文献１では、学習サービス提供装置はトレーニング情報を記憶しており、依頼者は、機械学習の種類を指定することで、学習サービス提供装置に機械学習を実施させることができる。このため、機械学習に関する専門知識などを有していない者でも、特定の機械学習を用いて獲得された新たな能力を自身の装置に簡単に実装できる。

ここで、多くの分野及びシステムにおいてＡＩエンジンの活用が求められている一方で、「良い分析モデル」を作成するための定まった手法は存在しない。「良い分析モデル」を得るためには、学習に利用するデータやＡＩエンジンに入力する特徴量、或いはＡＩエンジンのハイパーパラメータの組み合わせを大量に試行錯誤する必要がある。また、ＡＩエンジンは、商用のもの以外に、オープンソースで提供されているものなど多数存在している。ユーザが得たい学習結果に対してどのＡＩエンジンが最適であるかを判断するためには、各ＡＩエンジンを用いた分析処理を行い、分析結果の良し悪しを確認する試行錯誤が必要となる。

ＡＩエンジンの分析結果の良し悪しを判断するには、ＡＩエンジンごとにフォーマットが異なる分析結果のデータに対し、データマイニングに関する専門知識をベースとした指標選定と算出作業とが必要となる。そのため、専門知識を持たないシステムエンジニアにとってＡＩエンジン活用は敷居が高く、現実的に利用できない状態となっている。特許文献１に記載の学習サービス提供装置は、学習の種類を指定することで機械学習を実行することはできる。しかしながら、特許文献１は、機械学習の実施に際して、どのＡＩエンジン及びアルゴリズムを用いれば所望の性能を達成できるかを確認するための手段を提供しない。

本開示は、上記事情に鑑み、専門知識を有しないユーザでも、ユーザが所望の性能を達成できるＡＩエンジン及びアルゴリズムを用いて機械学習を行うことを可能とするＡＩ実行支援装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本開示は、学習に用いるＡＩエンジン及びアルゴリズムが選択された場合、学習データに基づいて、前記選択されたＡＩエンジンに、前記選択されたアルゴリズムで学習を実行させ、前記学習の学習ログを取得する学習処理実行制御手段と、予測データに基づいて、前記ＡＩエンジンに前記学習の結果を用いた予測を実行させ、前記予測の予測ログを取得する予測処理実行制御手段と、前記ＡＩエンジン及び前記アルゴリズムと、前記学習ログに含まれる変数の変換処理とを対応付けて記憶する学習ログ加工情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムに対応して記憶された変換処理に従って前記学習ログを加工し、学習ログ加工データを生成する学習ログ加工手段と、前記ＡＩエンジン及び前記アルゴリズムと、前記予測ログに含まれる変数の変換処理とを対応付けて記憶する予測ログ加工情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムに対応して記憶された変換処理に従って前記予測ログを加工し、予測ログ加工データを生成する予測ログ加工手段と、前記ＡＩエンジン及びアルゴリズムが属するデータ分析手法と、前記学習の結果を分析するための結果分析処理の内容とを対応付けて記憶する結果分析処理情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムが属するデータ分析手法に対応する結果分析処理の内容と、前記学習ログ加工データ及び前記予測ログ加工データとに基づいて、分析情報を生成する結果分析処理手段とを備えるＡＩ実行支援装置を提供する。

本開示は、また、学習に用いるＡＩエンジン及びアルゴリズムが選択された場合、学習データに基づいて、前記選択されたＡＩエンジンに、前記選択されたアルゴリズムで学習を実行させ、前記学習の学習ログを取得し、予測データに基づいて、前記ＡＩエンジンに前記学習の結果を用いた予測を実行させ、前記予測の予測ログを取得し、前記ＡＩエンジン及び前記アルゴリズムと、前記学習ログに含まれる変数の変換処理とを対応付けて記憶する学習ログ加工情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムに対応して記憶された変換処理に従って前記学習ログを加工して学習ログ加工データを生成し、前記ＡＩエンジン及び前記アルゴリズムと、前記予測ログに含まれる変数の変換処理とを対応付けて記憶する予測ログ加工情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムに対応して記憶された変換処理に従って前記予測ログを加工して予測ログ加工データを生成し、前記ＡＩエンジン及びアルゴリズムが属するデータ分析手法と、前記学習の結果を分析するための結果分析処理の内容とを対応付けて記憶する結果分析処理情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムが属するデータ分析手法に対応する結果分析処理の内容と、前記学習ログ加工データ及び前記予測ログ加工データとに基づいて、分析情報を生成するＡＩ実行支援方法を提供する。

本開示は、更に、学習に用いるＡＩエンジン及びアルゴリズムが選択された場合、学習データに基づいて、前記選択されたＡＩエンジンに、前記選択されたアルゴリズムで学習を実行させ、前記学習の学習ログを取得し、予測データに基づいて、前記ＡＩエンジンに前記学習の結果を用いた予測を実行させ、前記予測の予測ログを取得し、前記ＡＩエンジン及び前記アルゴリズムと、前記学習ログに含まれる変数の変換処理とを対応付けて記憶する学習ログ加工情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムに対応して記憶された変換処理に従って前記学習ログを加工して学習ログ加工データを生成し、前記ＡＩエンジン及び前記アルゴリズムと、前記予測ログに含まれる変数の変換処理とを対応付けて記憶する予測ログ加工情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムに対応して記憶された変換処理に従って前記予測ログを加工して予測ログ加工データを生成し、前記ＡＩエンジン及びアルゴリズムが属するデータ分析手法と、前記学習の結果を分析するための結果分析処理の内容とを対応付けて記憶する結果分析処理情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムが属するデータ分析手法に対応する結果分析処理の内容と、前記学習ログ加工データ及び前記予測ログ加工データとに基づいて、分析情報を生成するための処理をコンピュータに実行させるためのプログラムを提供する。

本開示に係るＡＩ実行支援装置、方法、及びプログラムは、ユーザが所望の性能を達成できるＡＩエンジン及びアルゴリズムを用いて機械学習を行うことを可能とする。

本開示に係るＡＩ実行支援装置を概略的に示すブロック図。 本開示の一実施形態に係るＡＩ実行支援装置を示すブロック図。 入力装置及び出力装置の構成例を示すブロック図。 処理装置の構成例を示すブロック図。 基本情報の具体例を示す図。 ハイパーパラメータ情報の具体例を示す図。 学習処理情報の具体例を示す図。 予測処理情報の具体例を示す図。 ログ加工情報の具体例を示す図。 ログ加工フォーマット情報の具体例を示す図。 結果分析処理情報の具体例を示す図。 汎化性能情報の具体例を示す図。 情報分析部の構成例を示す図。 情報を登録する場合の動作手順を示すフローチャート。 ＡＩエンジン実行処理の動作手順を示すフローチャート。 分析結果を確認する際の動作手順を示すフローチャート。 作成される分析結果の例を示す図。 汎化性能確認において作成されるグラフの一例を示す図。 （ａ）～（ｃ）は、それぞれよい学習状態、未学習状態、及び過学習状態の場合の学習曲線を示すグラフ。 汎化性能確認において作成されるグラフの別の例を示す図。

実施形態の説明に先立って、本開示の概要を説明する。図１は、本開示に係るＡＩ実行支援装置を概略的に示す。ＡＩ実行支援装置１０は、学習処理実行制御手段１１、予測処理実行制御手段１２、学習ログ加工手段１３、予測ログ加工手段１４、及び結果分析処理手段１５を有する。

学習処理実行制御手段１１は、学習に用いるＡＩエンジン及びアルゴリズムが選択された場合、ＡＩエンジン２０に、選択されたアルゴリズムで、学習データに基づく学習を実行させる。学習処理実行制御手段１１は、学習処理において生成された学習ログを取得する。予測処理実行制御手段１２は、ＡＩエンジン２０において学習が実行された後、予測データをＡＩエンジン２０に与え、学習の結果を用いた予測を実行させる。予測処理実行制御手段１２は、予測処理において生成された予測ログを取得する。

学習ログ加工情報３１は、ＡＩエンジン及びアルゴリズムと、学習ログに含まれる変数の変換処理とを対応付けて記憶する。予測ログ加工情報３２は、ＡＩエンジン及びアルゴリズムと、予測ログに含まれる変数の変換処理とを対応付けて記憶する。学習ログ加工手段１３は、学習ログ加工情報を参照し、選択されたＡＩエンジン及びアルゴリズムに対応して記憶された変換処理に従って学習ログを加工し、学習ログ加工データを生成する。予測ログ加工手段１４は、予測ログ加工情報３２を参照し、選択されたＡＩエンジン及びアルゴリズムに対応して記憶された変換処理に従って予測ログを加工し、予測ログ加工データを生成する。

結果分析処理情報３３は、ＡＩエンジン及びアルゴリズムが属するデータ分析手法と、学習の結果を分析するための結果分析処理の内容とを対応付けて記憶する。結果分析処理手段１５は、結果分析処理情報３３を参照し、選択されたＡＩエンジン及びアルゴリズムが属するデータ分析手法に対応する結果分析処理の内容と、学習ログ加工データ及び予測ログ加工データとに基づいて、分析情報を生成する。生成された分析情報は、例えば表示装置に出力される。

ここで、ＡＩエンジンの実行では、ＡＩエンジン及びアルゴリズムごとに、フォーマットが異なるログ（学習ログ及び予測ログ）が出力される場合がある。一般に、ユーザが学習で得られる分析モデルなどの良し悪しを判断するためには、ＡＩエンジン及びアルゴリズムごとに異なるフォーマットのログに対して、データマイニングに関する専門知識をベースとした指標選定と算出作業とが必要となる。

本開示では、学習ログ加工手段１３及び予測ログ加工手段１４は、選択されたＡＩエンジン及びアルゴリズムに応じた変換処理で、学習ログ及び予測ログから学習ログ加工データ及び予測ログ加工データを生成する。また、結果分析処理手段１５は、学習ログ加工データ及び予測ログ加工データに対して、選択されたＡＩエンジン及びアルゴリズムが属するデータ分析手法に応じた結果分析処理を行う。このようにすることで、ＡＩエンジン及びアルゴリズムごとにログのフォーマットが異なる場合でも、その違いを吸収して結果分析処理を行うことができ、データ分析手法ごとに同じ基準で作成された、ＡＩエンジンを用いた機械学習の分析結果を得ることができる。このため、ユーザは、データマイニングに関する専門知識をベースとした指標選定と算出作業とを必要とせずに、所望の性能を達成できる分析モデルなどが得られたか否かを判断できる。従って、本開示では、専門知識を有しないユーザでも、所望の性能を達成できるＡＩエンジン及びアルゴリズムを用いて機械学習を行うことが可能である。

以下、図面を参照しつつ、本開示の実施形態を詳細に説明する。図２は、本開示の一実施形態に係るＡＩエンジン実行支援装置を示す。ＡＩエンジン実行支援装置１００は、入力装置１０１、出力装置１０２、処理装置１０３、及びリポジトリ１０４を有する。本実施形態において、ＡＩエンジン実行支援装置１００は、外部システムであるＡＩエンジン１０９を利用する利用者の作業を支援する。より詳細には、ＡＩエンジン実行支援装置１００は、ＡＩエンジン１０９を用いた分析処理の実行操作と、分析結果の確認作業において、実行操作を隠ぺいし、分析結果から特定の性能指標を算出することで、ＡＩエンジン１０９を利用する利用者の作業を支援する。ＡＩエンジン実行支援装置１００は、図１のＡＩ実行支援装置１０に対応する。

ここで、ＡＩエンジン１０９とは、所定のデータ分析手法に沿って、機械学習技術を用いた分析モデルを生成することで、予測や判別といった分析処理を実現するシステムを指す。ＡＩエンジン１０９は、例えば商用のソフトウェアプログラム、又はオープンソースで提供されているソフトウェアプログラムである。ＡＩエンジン１０９には、例えばｓｃｉｋｉｔ－ｌｅａｒｎ（https://ja.wikipedia.org/wiki/Scikit-learn）やＰｙＴｏｒｃｈ（https://pytorch.org/）などが存在する。また、「データ分析手法」とは、データを分析するための所定のアルゴリズムを指す。データ分析手法には、例えば、「クラス分類」、「回帰」、及び「クラスタリング」といった手法が存在する。「機械学習」とは、所定のデータを入力とすることでデータ分析手法に基づいた予測や判別を実現する人工知能（ＡＩ）の技術の１つである。機械学習には、ディープラーニングなどが存在する。ＡＩエンジン１０９は、図１のＡＩエンジン２０に対応する。

図３は、入力装置１０１、及び出力装置１０２の構成例を示す。入力装置１０１は、利用者入力受付手段１０１Ａ、及びデータ受付手段１０１Ｂを有する。利用者入力受付手段１０１Ａは、例えばマウスなどのポインティングデバイスや、キーボードなどを用いた各種入力を受け付け、各種入力を処理装置１０３に渡す。データ受付手段１０１Ｂは、学習用データ１１８（図２を参照）、予測用データ１１９、及び目的・説明変数情報１２０を含む各種ファイル形式のデータを受け付け、受け付けたデータを処理装置１０３に渡す。

ここで、学習用データ（学習データ）１１８は、ＡＩエンジン１０９の学習処理において使用されるデータである。予測用データ（予測データ）１１９は、ＡＩエンジン１０９の予測処理において使用されるデータである。目的・説明変数情報１２０は、学習用データ１１８と予測用データ１１９とにおいて、学習処理や予測処理を行う際のカラム名から構成される。目的変数は１つのカラム名であり、説明変数は目的変数以外のカラム名から構成される。利用者は、入力装置１０１を通じて、これらデータを、あらかじめ処理装置１０３に入力する

出力装置１０２は、結果出力手段１０２Ａ、及びファイル出力手段１０２Ｂを有する。結果出力手段１０２Ａは、処理装置１０３にて実施された処理の結果を出力する。結果出力手段１０２Ａは、例えば液晶ディスプレイ装置などの表示装置に、例えばリポジトリ１０４に登録されている各種の情報や、ＡＩエンジンの実行の成否に関する情報などを表示する。ファイル出力手段１０２Ｂは、処理装置１０３から受け取ったデータをファイル形式で出力する。ファイル出力手段１０２Ｂは、処理装置１０３から、ハイパーパラメータファイル１２１（図２を参照）及びＡＩエンジン実行プログラム１２７を含む所定ファイル形式のデータを受け取り、受け取ったデータをＡＩエンジン１０９に出力する。

ここで、ハイパーパラメータファイル１２１は、ＡＩエンジンの種別ごとに形式が定義されたデータである。ハイパーパラメータファイル１２１は、ＡＩエンジン実行の設定情報を含む。ＡＩエンジン実行プログラム１２７は、ＡＩエンジン１０９において実行されるプログラムである。ＡＩエンジン実行プログラム１２７は、学習処理用のプログラムと、予測処理用のプログラムとを含む。ＡＩエンジン実行プログラム１２７は、例えばＰｙｔｈｏｎなどのプログラミング言語を用いて記述される。

図４は、処理装置１０３の構成例を示す。処理装置１０３は、情報入力部１０５、情報分析部１０６、及び外部システム制御部１０７を有する。処理装置１０３は、入力装置１０１、出力装置１０２、及びリポジトリ１０４との間で情報の入出力を行う。また、処理装置１０３は、入力された情報の分析や、ＡＩエンジン１０９などの外部システムに対する操作を行う。処理装置１０３は、例えばプロセッサとメモリとを含むコンピュータ装置として構成される。処理装置１０３内の各部の機能は、プロセッサが、メモリに格納されたコンピュータプログラム（ソフトウェアプログラム）を読み出して実行することで実現され得る。

情報入力部１０５は、入力取得手段１０５Ａ、及びデータ取得手段１０５Ｂを有する。入力取得手段１０５Ａは、入力装置１０１の利用者入力受付手段１０１Ａ（図３を参照）が受け付けた情報を、リポジトリ１０４に渡す。データ取得手段１０５Ｂは、入力装置１０１のデータ受付手段１０１Ｂが受け付けた各種ファイル形式のデータを、情報分析部１０６及び外部システム制御部１０７に渡す。

情報分析部１０６は、情報入力部１０５及びリポジトリ１０４から各種情報を取得し、各種処理や判定などを行う。情報分析部１０６で実施される処理は、ＡＩエンジン１０９で実行される学習処理の内容を作成する処理を含む。また、情報分析部１０６で実施される処理は、ＡＩエンジン１０９で実行される予測処理の内容を作成する処理を含む。

外部システム制御部１０７は、外部システムであるＡＩエンジン１０９の実行制御を行う。外部システム制御部１０７は、学習処理実行制御手段１０７Ａ、予測処理実行制御手段１０７Ｂ、及びエラー判断手段１０７Ｃを有する。学習処理実行制御手段１０７Ａは、情報分析部１０６が作成した学習処理内容に基づいて、ＡＩエンジン１０９に学習用データ１１８（図２を参照）を用いた学習処理を実行させる。ＡＩエンジン１０９は、学習処理を実行し、学習ログ１２３及び分析モデル１２２を生成する。

ここで、学習ログ１２３は、目的・説明変数１２０で設定された目的変数に対し、学習用データ１１８に対して分析を行った結果を保持するデータである。分析モデル１２２は、例えば予測式やバイナリデータなどの形式のデータである。学習処理実行制御手段１０７Ａは、ＡＩエンジン１０９から学習ログ１２３を取得する。学習処理実行制御手段１０７Ａは、図１の学習処理実行制御手段１１に対応する。

予測処理実行制御手段１０７Ｂは、情報分析部１０６が作成した予測処理内容に基づいて、ＡＩエンジン１０９に予測用データ１１９を用いた予測処理を実行させる。ＡＩエンジン１０９は、予測処理を実行し、予測ログ１２４を生成する。ここで、予測ログ１２４は、目的・説明変数１２０で設定された目的変数に対し、予測用データ１１９対して分析を行った結果を保持するデータである。予測処理実行制御手段１０７Ｂは、ＡＩエンジン１０９から予測ログ１２４を取得する。予測処理実行制御手段１０７Ｂは、図１の予測処理実行制御手段１２に対応する。

エラー判断手段１０７Ｃは、学習処理及び予測処理において、エラーが発生したか否かを判断する。エラー判断手段１０７Ｃは、例えば学習処理の実行後、ＡＩエンジン１０９から学習ログ１２３が取得できなかった場合はエラーが発生したと判断する。エラー判断手段１０７Ｃは、例えば予測処理の実行後、ＡＩエンジン１０９から予測ログ１２４が取得できなかった場合はエラーが発生したと判断する。

情報分析部１０６は、外部システム制御部１０７を通じて、学習ログ１２３及び予測ログ１２４を取得する。情報分析部１０６で実施される処理は、学習ログ１２３及び予測ログ１２４から学習ログ加工データ１２５及び予測ログ加工データ１２６を生成する処理を含む。

図２に戻り、リポジトリ１０４は、処理装置１０３から受け取った情報を保持する。リポジトリ１０４は、例えばデータベースプログラムであり、Ｏｒａｃｌｅ ＤＢ（database）やＰｏｓｔｇｒｅＳＱＬといったデータ管理を行う一般的なソフトウェアである。

リポジトリ１０４は、情報保持部１０８を有する。情報保持部１０８は、処理装置１０３の情報入力部１０５から出力された情報を、リポジトリ内の各データとして保持する。具体的に、情報保持部１０８は、基本情報１１０、ハイパーパラメータ情報１１１、学習処理情報１１２、予測処理情報１１３、ログ加工情報１１４、ログ加工フォーマット情報１１５、結果分析処理情報１１６、及びＡＩエンジン実行履歴１１７を保持する。情報保持部１０８は、処理装置１０３からデータが要求されると、要求されたデータを処理装置１０３に提供する。リポジトリ１０４において、情報の保持には、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの補助記憶装置が用いられる。

図５は、基本情報１１０の具体例を示す。基本情報１１０は、例えば、データ分析手法・ＡＩエンジンマップ＃１０－１を保持する。データ分析手法・ＡＩエンジンマップ＃１０－１は、データ分析手法と、ＡＩエンジン及びアルゴリズムとの対応関係を保持する。基本情報１１０は、例えばデータ分析手法「回帰」に対して、ＡＩエンジン名「Ｓｃｉｋｉｔ－ｌｅａｒｎ」と、アルゴリズム「ＳＶＲ」及び「Ｒａｎｄｏｍ Ｆｏｒｅｓｔ」とを対応付けた情報を保持する。基本情報１１０は、例えばデータ分析手法「クラス分類」に対して、ＡＩエンジン名「Ｓｃｉｋｉｔ－ｌｅａｒｎ」と、アルゴリズム「Ｄｅｃｉｓｉｏｎ ｔｒｅｅ」とを対応付けた情報を保持する。

なお、基本情報１１０は、データ分析手法・ＡＩエンジンマップ＃１０－１の他に、ＡＩエンジンにおける各種データの配置先情報及びログの格納先情報を保持する。より詳細には、基本情報１１０は、例えば、ＡＩエンジンごとに、学習用データ１１８（図２を参照）、予測用データ１１９、ハイパーパラメータファイル１２１、及びＡＩエンジン実行プログラム１２７の配置先情報を保持する。また、基本情報１１０は、学習ログ１２３及び予測ログ１２４の格納先情報を保持する。また、基本情報１１０は、ＡＩエンジン及びアルゴリズムごとに、エラーが発生したか否かを判別するためのエラー判別情報を保持してもよい。外部システム制御部１０７のエラー判断手段１０７Ｃ（図４を参照）は、例えば、基本情報１１０に含まれるエラー判別情報に従って、エラー発生の有無を判断してもよい。

図６は、ハイパーパラメータ情報１１１の具体例を示す。ハイパーパラメータ情報１１１は、ＡＩエンジン及びアルゴリズムと、ＡＩエンジン及びアルゴリズムを用いた機械学習で使用されるハイパーパラメータの情報とを対応付けて記憶する。ハイパーパラメータ情報１１１は、例えば、ＡＩエンジン・アルゴリズム名＃１１－１、ハイパーパラメータ書式＃１１－２、及びハイパーパラメータテーブル＃１１－２を保持する。ハイパーパラメータ情報１１１は、ＡＩエンジンとアルゴリズムとの組み合わせごとに、これら情報を保持する。

ＡＩエンジン・アルゴリズム名＃１１－１は、ハイパーパラメータ情報１１１が、どのＡＩエンジン及びアルゴリズムに対応した情報であるかを示す。図６の例では、ＡＩエンジン・アルゴリズム名＃１１－１は、ハイパーパラメータ情報１１１が、ＡＩエンジン名「Ｓｃｉｋｉｔ－ｌｅａｒｎ」、及びアルゴリズム「Ｄｅｃｉｓｉｏｎ ｔｒｅｅ」に対応した情報であることを示している。ＡＩエンジンパラメータ書式＃１１－２は、ＡＩエンジン・アルゴリズム名＃１１－１で示されるＡＩエンジン及びアルゴリズムに対応するハイパーパラメータの記述の書式を示す。ハイパーパラメータテーブル＃１１－３には、ハイパーパラメータ名と、デフォルト値及び設定値とが記述される。

図７は、学習処理情報１１２の具体例を示す。学習処理情報１１２は、ＡＩエンジン及びアルゴリズムと、ＡＩエンジン及びアルゴリズムを用いた学習を実施するためのプログラムを含む情報とを対応付けて記憶する。学習処理情報１１２は、例えば、ＡＩエンジン・アルゴリズム名＃１２－１、コマンドライン＃１２－２、及びプログラム＃１２－３を保持する。学習処理情報１１２は、ＡＩエンジンとアルゴリズムとの組み合わせごとに、これら情報を保持する。

ＡＩエンジン・アルゴリズム名＃１２－１は、学習処理情報１１２が、どのＡＩエンジン及びアルゴリズムに対応した情報であるかを示す。図７の例では、ＡＩエンジン・アルゴリズム名＃１２－１は、学習処理情報１１２が、ＡＩエンジン名「Ｓｃｉｋｉｔ－ｌｅａｒｎ」、及びアルゴリズム名「Ｄｅｃｉｓｉｏｎ ｔｒｅｅ」に対応した情報であることを示している。コマンドライン＃１２－２には、ＡＩエンジン１０９に学習処理を実行させるためのコマンドが記述される。プログラム＃１２－３には、学習処理時にＡＩエンジン１０９上で実行されるプログラムの本体が記述される。

図８は、予測処理情報１１３の具体例を示す。予測処理情報１１３は、ＡＩエンジン及びアルゴリズムと、ＡＩエンジン及びアルゴリズムを用いた学習で生成された分析モデルを使用した予測を実施するためのプログラムを含む情報とを対応付けて記憶する。予測処理情報１１３は、例えば、ＡＩエンジン・アルゴリズム名＃１３－１、コマンドライン＃１３－２、及びプログラム＃１３－３を保持する。予測処理情報１１３は、ＡＩエンジンとアルゴリズムとの組み合わせごとに、これら情報を保持する。

ＡＩエンジン・アルゴリズム名＃１３－１は、予測処理情報１１３が、どのＡＩエンジン、及びアルゴリズムに対応した情報であるかを示す。図８の例では、ＡＩエンジン・アルゴリズム名＃１３－１は、予測処理情報１１３が、ＡＩエンジン名「Ｓｃｉｋｉｔ－ｌｅａｒｎ」、及びアルゴリズム名「Ｄｅｃｉｓｉｏｎ ｔｒｅｅ」に対応した情報であることを示している。コマンドライン＃１３－２には、ＡＩエンジン１０９に予測処理を実行させる際のコマンドが記述される。プログラム＃１３－３には、予測処理時にＡＩエンジン１０９上で実行されるプログラムの本体が記述される。

図９は、ログ加工情報１１４の具体例を示す。ログ加工情報１１４は、ＡＩエンジン及びアルゴリズムと、学習ログ１２３及び予測ログ１２４に含まれる変数の変換処理とを対応付けて保持する。ログ加工情報１１４は、例えば、ＡＩエンジン・アルゴリズム名＃１４－１、学習ログ加工テーブル＃１４－２、及び予測ログ加工テーブル＃１４－３を保持する。ログ加工情報１１４は、ＡＩエンジンとアルゴリズムとの組み合わせごとに、これら情報を保持する。

ＡＩエンジン・アルゴリズム名＃１４－１は、ログ加工情報１１４が、どのＡＩエンジン、及びアルゴリズムに対応した情報であるかを示す。図９の例では、ＡＩエンジン・アルゴリズム名＃１４－１は、ログ加工情報１１４が、ＡＩエンジン名「Ｓｃｉｋｉｔ－ｌｅａｒｎ」、及びアルゴリズム名「Ｄｅｃｉｓｉｏｎ ｔｒｅｅ」に対応した情報であることを示している。

学習ログ加工テーブル＃１４－２は、ＡＩエンジン１０９が学習処理を行った場合に生成される学習ログに含まれる情報を、どのように加工するかを示す情報である。学習ログ加工テーブル＃１４－２は、「入力元」、「変換処理」、及び「出力先」を含む。「入力元」は、学習ログの入力項目（変数）を示す。「変換処理」は、「入力元」で示される入力項目に対する変換処理（変換規則）の内容を示す。「出力先」は、変換処理された値の出力先の項目（学習ログ統一変数）を示す。学習ログ加工テーブル＃１４－２は、図１の学習ログ加工情報３１に対応する。

予測ログ加工テーブル＃１４－３は、ＡＩエンジン１０９が予測処理を行った場合に生成される予測ログに含まれる情報を、どのように加工するかを示す情報である。予測ログ加工テーブル＃１４－３の内容は、適用されるログが予測ログになる点を除けば、学習ログ加工テーブル＃１４－２の内容と同様でよい。つまり、予測ログ加工テーブル＃１４－３は、予測ログの変数を示す「入力元」、予測ログの変数に対する変換処理（変換規則）の内容を示す「変換処理」、及び変換された変数（予測ログ統一変数）を示す「出力先」を含む。予測ログ加工テーブル＃１４－３は、図１の予測ログ加工情報３２に対応する。

図１０は、ログ加工フォーマット情報１１５の具体例を示す。ログ加工フォーマット情報１１５は、データ分析手法と、上記学習ログ統一変数のフォーマット及び予測ログ統一変数のフォーマットとをそれぞれ対応付けて保持する。ログ加工フォーマット情報１１５は、例えば、データ分析手法名＃１５－１、学習ログ加工データフォーマット＃１５－２、及び予測ログ加工データフォーマット＃１５－３を保持する。ログ加工フォーマット情報１１５は、データ分析手法ごとに、これら情報を保持する。

データ分析手法名＃１５－１は、ログ加工フォーマット情報１１５が、どのデータ分析手法に対応した情報であるかを示す。図１０の例では、データ分析手法名＃１５－１は、ログ加工フォーマット情報１１５が、分析手法名「クラス分類」に対応した情報であることを示している。

学習ログ加工データフォーマット＃１５－２は、「項目名」、「内容」、及び「データ形式」を含む。「項目名」は、学習ログ加工テーブル＃１４－２（図９を参照）の「出力先」の項目名を示す。「内容」は、「項目名」で示される項目の内容を示す。「データ形式」は、「項目名」で示される項目のデータフォーマットを示す。予測ログ加工データフォーマット＃１５－３は、適用されるログ加工データが予測ログ加工データになる点を除けば、学習ログ加工フォーマット＃１４－２の内容と同様でよい。

図１１は、結果分析処理情報１１６の具体例を示す。結果分析処理情報１１６は、データ分析手法と、学習の結果を分析するための結果分析処理の内容とを対応付けて記憶する。結果分析処理情報１１６は、例えば、データ分析手法名＃１６－１、及び結果分析情報＃１６－２を保持する。結果分析処理情報１１６は、データ分析手法ごとに、これら情報を保持する。

データ分析手法名＃１６－１は、結果分析処理情報１１６が、どのデータ分析手法に対応した情報であるかを示す。図１１の例では、データ分析手法名＃１６－１は、結果分析処理情報１１６が分析手法名「クラス分類」に対応した情報であることを示している。

結果分析情報＃１６－２は、結果分析処理の内容を示す。結果分析情報＃１６－２は、「項目名」、及び「算出式」を含む。「項目名」は、結果分析処理の項目名を示す。「算出式」は、「項目名」で示される項目の値の算出式を示す。図１１の例では、結果分析情報＃１６－２には、「過学習確認」に対応する算出式の内容と、「学習時と予測時正答率際算出」に対応に対応する算出式とが記述されている。

図１２は、汎化性能情報１２８の具体例を示す。汎化性能情報１２８は、ＡＩエンジンを用いて作成された各分析モデルの汎化性能を確認するための手法、及び指標値を示すデータを含む。汎化性能情報１２８は、例えば、データ分析手法名＃２８－１、未学習判定情報＃２８－２、及び過学習判定情報＃２８－３を保持する。汎化性能情報１２８は、データ分析手法ごとに、これら情報を保持する。

ここで、「汎化性能」とは、分析モデルの未知のデータに対する予測性能を指す。機械学習を用いて生成された分析モデルは、学習不足（未学習）、つまり学習を行うデータが不足している状態、或いは過学習、つまり学習データ以外のデータが予測できない状態を起こすことがある。機械学習では、これら状態を防ぎ、汎化性能を確保した、未知のデータに対する予測ができる分析モデルを作成することが重要とされている。汎化性能情報１２８は、未学習判定及び過学習判定に用いられるグラフとそのグラフの出力方法とを対応付けて保持する。汎化性能情報１２８は、分析モデルの汎化性能の確認に用いられる。

データ分析手法名＃２８－１は、汎化性能情報１２８が、どのデータ分析手法に対応した情報であるかを示す。図１２の例では、データ分析手法名＃２８－１は、汎化性能情報１２８が分析手法名「クラス分類」に対応した情報であることを示している。

未学習判定情報＃２８－２は、未学習の発生を判定するための情報を保持する。未学習判定情報＃２８－２は、「グラフ名」、「出力方法」、「チェック内容」、及び「対処」を含む。「グラフ名」は、未学習判定に用いられるグラフの名称を示す。「出力方法」は、「グラフ名」で示されるグラフの形式や書式などを示す。図１２の例では、未学習判定情報＃２８－２は、グラフ名「学習曲線」のグラフの形式は折れ線グラフである旨を保持する。また、未学習判定情報＃２８－２は、折れ線グラフの縦軸は学習ログ加工データ１２５（図４を参照）及び予測ログ加工データ１２６から算出できる任意の指標値であり、横軸は学習サンプル数である旨を保持する。

「チェック内容」は、グラフ名で示されるグラフが表示された場合に、ユーザがどこをチェックすればよいかを記述した情報を保持する。図１２の例では、「チェック内容」は、「両方の指標値が目標としている精度に達しているか」である。ユーザが汎化性能をチェックする場合、「チェック内容」に記述された情報（テキスト）は、例えばグラフと共に表示される。ユーザは、テキストを参照することで、表示されたグラフをどのようにチェックすればよいかを知ることができる。「対処」は、未学習と判定される場合に、ユーザが採りうる方策を記述した情報を保持する。「対処」に記述された情報（テキスト）も、例えばグラフと共に表示される。

過学習判定情報＃２８－３は、過学習の発生を判定するための情報を保持する。過学習判定情報＃２８－３は、「グラフ名」、「出力方法」、「チェック内容」、及び「対処」を含む。「グラフ名」は、過学習判定に用いられるグラフの名称を示す。図１２の例では、過学習の判定に使用されるグラフとして、「学習曲線」と「検証曲線」の２つが保持されている。「出力方法」は、「グラフ名」で示されるグラフの形式や書式などを示す。図１２の例では、過学習判定情報＃２８－３は、グラフ名「学習曲線」及び「検証曲線」のグラフの形式は折れ線グラフである旨を保持する。また、過学習判定情報＃２８－３は、「学習曲線」について、折れ線グラフの縦軸は学習ログ加工データ１２５及び予測ログ加工データ１２６から算出できる任意の指標値であり、横軸は学習サンプル数である旨を保持する。過学習判定情報＃２８－３は、「検証曲線」について、折れ線グラフの縦軸は学習ログ加工データ１２５及び予測ログ加工データ１２６から算出できる任意の指標値であり、横軸はハイパーパラメータである旨を保持する。

「チェック内容」は、グラフ名で示されるグラフが表示された場合に、ユーザがどこをチェックすればよいかを記述した情報を保持する。図１２の例では、「学習曲線」の「チェック内容」は、「学習ログ加工データの指標値と予測ログ加工データの指標値がしきい値より離れていないか」である。また、「検証曲線」の「チェック内容」は、「学習ログ加工データの指標値と予測ログ加工データの指標値が最も近い箇所はどこか」である。ユーザが汎化性能をチェックする場合、「チェック内容」に記述された情報（テキスト）は、例えばグラフと共に表示される。ユーザは、テキストを参照することで、表示されたグラフをどのようにチェックすればよいかを知ることができる。「対処」は、過学習と判定される場合に、ユーザが採りうる方策を記述した情報（テキスト）を保持する。「対処」に記述された情報（テキスト）も、例えばグラフと共に表示される。

図１３は、情報分析部１０６の構成例を示す。情報分析部１０６は、保有情報検索・取得手段１６１、ハイパーパラメータ情報生成手段１６２、学習処理生成手段１６３、予測処理生成手段１６４、ログ加工処理手段１６５、ログフォーマット確認手段１６６、結果分析処理手段１６７、ＡＩエンジン実行履歴登録手段１６８、エラー判別手段１６９、及び汎化性能判定手段１７０を有する。

保有情報検索・取得手段１６１は、リポジトリ１０４が保持するデータのうち、情報分析部１０６内の各手段が必要とするデータを検索し、取得する。ハイパーパラメータ情報生成手段１６２は、保有情報検索・取得手段１６１を通じて、リポジトリ１０４が保持するハイパーパラメータ情報１１１（図２を参照）を取得する。ハイパーパラメータ情報生成手段１６２は、ハイパーパラメータ情報１１１に基づいて、ハイパーパラメータファイル１２１を生成する。ハイパーパラメータ情報生成手段１６２が生成したハイパーパラメータファイル１２１は、図１３では図示されない出力装置１０２を通じて、ＡＩエンジン１０９に与えられる。

学習処理生成手段１６３は、保有情報検索・取得手段１６１を通じて、リポジトリ１０４に保持される学習処理情報１１２を取得する。学習処理生成手段１６３は、学習処理情報１１２、学習用データ１１８、目的・説明変数情報１２０、及びハイパーパラメータファイル１２１の情報に基づいて、ＡＩエンジンで実行される学習処理の内容（学習内容）を作成する。学習内容は、ＡＩエンジン実行プログラム１２７、及び外部システム制御部１０７（図４を参照）を通じてＡＩエンジン１０９に与えられるコマンドラインを含む。

例えば、学習処理生成手段１６３は、学習処理情報１１２に含まれるプログラム＃１２－３（図７を参照）と、目的・説明変数情報とを組み合わせることで、ＡＩエンジン実行プログラム（学習処理プログラム）１２７を生成する。また、学習処理生成手段１６３は、コマンドライン＃１２－２の予約語であるａｒｇ１、ａｒｇ２、及びａｒｇ３を、学習用データ１１８及びハイパーパラメータファイル１２１の情報と組み合わせ、コマンドライン（学習処理コマンドライン）を生成する。なお、学習処理情報１１２、及び、学習用データ１１８の情報と目的・説明変数情報１２０とハイパーパラメータファイル１２１の情報とをどのように組み合わせるかは、専門知識を有する利用者が設定するものとする。

予測処理生成手段１６４は、保有情報検索・取得手段１６１を通じて、リポジトリ１０４に保持される予測処理情報１１３を取得する。予測処理生成手段１６４は、予測処理情報１１３、予測用データ１１９、及び目的・説明変数情報１２０の情報に基づいてＡＩエンジンで実行される予測処理の内容（予測内容）を作成する。予測内容は、ＡＩエンジン実行プログラム１２７、及び外部システム制御部１０７を通じてＡＩエンジン１０９に与えられるコマンドラインを含む。

例えば、予測処理生成手段１６４は、予測処理情報１１３に含まれるプログラム＃１３－３（図８を参照）に基づいて、ＡＩエンジン実行プログラム（予測処理プログラム）１２７を生成する。また、予測処理生成手段１６４は、コマンドライン＃１３－２の予約語であるａｒｇ１、ａｒｇ２、及びａｒｇ３を、予測用データ１１９、ハイパーパラメータファイル１２１、及び分析モデル１２２の情報と組み合わせる。このようにすることで、予測処理生成手段１６４は、コマンドライン（予測処理コマンドライン）を生成する。なお、予測処理情報１１３、及び、予測用データ１１９の情報とハイパーパラメータファイル１２１の情報とをどのように組み合わせるかは、専門知識を有する利用者が設定するものとする。

ログ加工処理手段１６５は、保有情報検索・取得手段１６１を通じて、リポジトリ１０４に保持されるログ加工情報１１４を取得する。また、ログ加工処理手段１６５は、外部システム制御部１０７を通じて、ＡＩエンジン１０９から学習ログ１２３及び予測ログ１２４を取得する。ログ加工処理手段１６５は、ログ加工情報１１４に基づいて学習ログ１２３及び予測ログ１２４を分析・編集し、学習ログ加工データ１２５及び予測ログ加工データ１２６を生成する。ログ加工処理手段１６５は、図１の学習ログ加工手段１３及び予測ログ加工手段１４に対応する。

ログフォーマット確認手段１６６は、保有情報検索・取得手段１６１を通じて、リポジトリ１０４に保持されるログ加工フォーマット情報１１５を取得する。ログフォーマット確認手段１６６は、ログ加工フォーマット情報１１５に定義された各項目のフォーマット情報と、学習ログ加工データ１２５及び予測ログ加工データ１２６に含まれる各項目のデータとを比較し、両者の整合性を確認する。

ログフォーマット確認手段１６６は、例えば学習ログ加工データ１２５における変数（学習ログ統一変数）の値が、ログ加工フォーマット情報１１５の学習ログ加工データフォーマット＃１５－２（図１０を参照）の「データ形式」に適合しているか否かを調べる。ログフォーマット確認手段１６６は、学習ログ加工データ１２５に含まれる変数の値が「データ形式」に適合していない場合は、エラーを出力する。

また、ログフォーマット確認手段１６６は、例えば予測ログ加工データ１２６における変数（予測ログ統一変数）の値が、ログ加工フォーマット情報１１５の予測ログ加工データフォーマット＃１５－３の「データ形式」に適合しているか否かを調べる。ログフォーマット確認手段１６６は、予測ログ加工データ１２６に含まれる変数の値が「データ形式」に適合していない場合は、エラーを出力する。

エラー判別手段１６９は、ログフォーマット確認手段１６６からエラーが出力された場合、エラーが発生したと判断する。また、エラー判別手段１６９は、外部システム制御部１０７のエラー判断手段１０７Ｃ（図４を参照）からエラーが出力された場合、エラーが発生したと判断する。エラー判別手段１６９は、エラーの内容を、出力装置１０２を通じて出力する。

ＡＩエンジン実行履歴登録手段１６８は、学習ログ加工データ１２５及び予測ログ加工データ１２６を取得する。ＡＩエンジン実行履歴登録手段１６８は、取得した学習ログ加工データ１２５及び予測ログ加工データ１２６と、ＡＩエンジン・アルゴリズム名とをリポジトリ１０４に出力する。リポジトリ１０４において、学習ログ加工データ１２５及び予測ログ加工データ１２６は、ＡＩエンジン・アルゴリズム名と対応付けてＡＩエンジン実行履歴１１７に保持される。

結果分析処理手段１６７は、保有情報検索・取得手段１６１を通じて、リポジトリ１０４から結果分析処理情報１１６及びＡＩエンジン実行履歴１１７を取得する。結果分析処理手段１６７は、結果分析処理情報１１６の定義情報に基づいて、ＡＩエンジン実行履歴１１７から学習ログ加工データ１２５及び予測ログ加工データ１２６を取得し、指定の指標値を含む分析情報を出力する。

例えば、結果分析処理手段１６７は、学習ログ加工データ１２５及び予測ログ加工データ１２６を用い、学習に用いられたデータ分析手法に応じた一般的な計算式を用いて、性能を示す指標値を算出する。例えば、結果分析処理手段１６７は、データ分析手法が「回帰」であれば、絶対平均誤差や決定係数などを、所定の指標値として算出する。結果分析処理手段１６７は、データ分析手法が「判別」であれば、正解率や再現率などを、所定の指標として算出する。結果分析処理手段１６７が算出する指標値は、ユーザが指定してもよい。データ分析手法に応じた指標値の計算式は、あらかじめ情報分析部１０６に登録されているものとする。

結果分析処理手段１６７は、例えばデータ分析手法が「クラス分類」であれば、図１１に示される結果分析処理情報１１６の「算出式」に従って過学習判定を実施し、学習時と予測時の正解率の差異を計算する。結果分析処理手段１６７は、例えば、ＡＩエンジン及びアルゴリズムごとに、所定のテーブル形式の分析結果（分析情報）を表示する。分析結果は、例えば、学習ログ加工データ１２５から算出した学習時正解率、予測ログ加工データ１２６から算出した予測時正解率、学習時と予測時の正解率の差異、及び、過学習判定の結果などを含む。

結果分析処理手段１６７は、ＡＩエンジン実行履歴１１７から、同じデータ分析手法に属する複数のＡＩエンジン及びアルゴリズムに対応付けて記憶された複数の学習ログ加工データ１２５及び予測ログ加工データ１２６を取得してもよい。その場合、結果分析処理手段１６７は、複数のＡＩエンジン及びアルゴリズムのそれぞれについて分析情報を生成してもよい。ＡＩエンジン及びアルゴリズムごとに生成された前記分析情報は、一覧形式で表示されてもよい。

汎化性能判定手段１７０は、保有情報検索・取得手段１６１を通じて汎化性能情報１２８及びＡＩエンジン実行履歴１１７を取得する。汎化性能判定手段１７０は、汎化性能情報１２８に登録された情報と、ＡＩエンジン実行履歴１１７から取得した学習ログ加工データ１２５及び予測ログ加工データ１２６とに基づいて、分析モデル１２２における汎化性能を示すグラフを作成する。汎化性能判定手段１７０は、例えばデータ分析手法が「クラス分類」であれば、図１２に示される汎化性能情報１２８の未学習判定情報及び過学習判定情報に基づいて、学習曲線や検証曲線を示すグラフを作成する。汎化性能判定手段１７０は、出力装置１０２を通じてグラフを利用者に出力する。このとき、汎化性能判定手段１７０は、汎化性能情報１２８の「チェック内容」及び「対処」の少なくとも一方を、グラフと共に表示してもよい。

以下、動作手順を説明する。まず、情報登録の手順を説明する。図１４は、情報を登録する場合の動作手順を示す。情報登録は、ＡＩエンジン１０９についての専門知識を有する有識者が行う。有識者である登録者は、登録対象のＡＩエンジン及びアルゴリズムに対応するデータ分析手法に関する情報が、基本情報１１０に登録済みであるか否かを調べる（ステップＡ１）。登録者は、ステップＳ１では、入力装置１０１の利用者入力受付手段１０１Ａ（図３を参照）を利用して、対応するデータ分析手法が登録済みであるか否かを、処理装置１０３の保有情報検索・取得手段１６１（図１３を参照）に問い合わせる。

保有情報検索・取得手段１６１は、基本情報１１０を参照し、問い合わせを受けたデータ分析手法に関する情報が登録済みであるか否かを調べ、その結果を登録者に通知する。登録者は、対応するデータ分析手法が登録済みでない場合、利用者入力受付手段１０１Ａを利用してデータ分析手法に関する情報を入力し、リポジトリ１０４の基本情報１１０に登録する（ステップＡ２）。より詳細には、登録者は、利用者入力受付手段１０１Ａを用いてＡＩエンジンマップ＃１０－１（図５を参照）の「データ分析手法」の名称などを入力する。処理装置１０３の情報入力部１０５（図４を参照）は、登録者が入力した情報を基本情報１１０に追加する旨の指示を、リポジトリ１０４に出力する。リポジトリ１０４の情報保持部１０８は、基本情報１１０に、登録者が入力した情報を追加する。

次いで、登録者は、ステップＡ２で登録したデータ分析手法に関するログ加工フォーマット情報１１５をリポジトリ１０４に登録する（ステップＡ３）。登録者は、ステップＡ３では、入力装置１０１の利用者入力受付手段１０１Ａを用いて、例えば図１０に示されるログ加工フォーマット情報１１５の各項目の情報を入力する。処理装置１０３の情報入力部１０５は、登録者が入力した情報をログ加工フォーマット情報１１５として登録する旨の指示を、リポジトリ１０４に出力する。リポジトリ１０４の情報保持部１０８は、登録者が入力した情報をログ加工フォーマット情報１１５として登録する。

続いて、登録者は、ステップＡ２で登録したデータ分析手法に関する結果分析処理情報１１６をリポジトリ１０４に登録する（ステップＡ４）。登録者は、ステップＡ４では、入力装置１０１の利用者入力受付手段１０１Ａを用いて、例えば図１１に示される結果分析処理情報１１６の各項目の情報を入力する。処理装置１０３の情報入力部１０５は、登録者が入力した情報を結果分析処理情報１１６として登録する旨の指示を、リポジトリ１０４に出力する。リポジトリ１０４の情報保持部１０８は、登録者が入力した情報を結果分析処理情報１１６として登録する。

さらに、登録者は、ステップＡ２で登録したデータ分析手法に関する汎化性能情報１２８をリポジトリ１０４に登録する（ステップＡ５）。登録者は、ステップＡ５では、入力装置１０１の利用者入力受付手段１０１Ａを用いて、図１２に示される汎化性能情報１２８の各項目の情報を入力する。処理装置１０３の情報入力部１０５は、登録者が入力した情報を汎化性能情報１２８として登録する旨の指示を、リポジトリ１０４に出力する。リポジトリ１０４の情報保持部１０８は、登録者が入力した情報を汎化性能情報１２８として登録する。

登録者は、ステップＡ２で登録したデータ分析手法に属するＡＩエンジン及びアルゴリズムの情報を、基本情報１１０に登録する（ステップＡ６）。登録者は、ステップＡ６では、入力装置１０１の利用者入力受付手段１０１Ａを用いて、ＡＩエンジン名、及びアルゴリズム名などの情報を入力する。処理装置１０３の情報入力部１０５は、登録者が入力した情報を、基本情報１１０においてＡＩエンジン及びアルゴリズムが属するデータ分析手法に対応付けて登録する旨の指示を、リポジトリ１０４に出力する。リポジトリ１０４の情報保持部１０８は、登録者が入力した情報を基本情報１１０に登録する。ステップＡ１でデータ分析手法が登録済みであると判断された場合も、処理はステップＡ６へ進み、データ分析手法に属するＡＩエンジン及びアルゴリズムの情報が基本情報１１０に登録される。

登録者は、ＡＩエンジン及びアルゴリズムを扱う際のハイパーパラメータ情報１１１を、リポジトリ１０４に登録する（ステップＡ７）。登録者は、ステップＡ７では、入力装置１０１の利用者入力受付手段１０１Ａを用いて、例えば図６に示されるハイパーパラメータ情報１１１の各項目の情報を入力する。処理装置１０３の情報入力部１０５は、登録者が入力した情報を、ハイパーパラメータ情報１１１として登録する旨の指示を、リポジトリ１０４に出力する。リポジトリ１０４の情報保持部１０８は、登録者が入力した情報をハイパーパラメータ情報１１１として登録する。

登録者は、ＡＩエンジン及びアルゴリズムを扱うための学習処理情報１１２を、リポジトリ１０４に登録する（ステップＡ８）。また、登録者は、ＡＩエンジン及びアルゴリズムを扱うための予測処理情報１１３を、リポジトリ１０４に登録する（ステップＡ９）。登録者は、ステップＡ８及びＡ９では、入力装置１０１の利用者入力受付手段１０１Ａを用いて、例えば図７に示される学習処理情報１１２、及び図８に示される予測処理情報１１３の各項目の情報を入力する。処理装置１０３の情報入力部１０５は、登録者が入力した情報を、学習処理情報１１２及び予測処理情報１１３として登録する旨の指示を、リポジトリ１０４に出力する。リポジトリ１０４の情報保持部１０８は、登録者が入力した情報を学習処理情報１１２及び予測処理情報１１３として登録する。

登録者は、学習処理及び予測処理で得られる学習ログ及び予測ログを加工するためのログ加工情報１１４を、リポジトリ１０４に登録する（ステップＡ１０）。登録者は、ステップＡ１０では、入力装置１０１の利用者入力受付手段１０１Ａを用いて、例えば図９に示されるログ加工情報１１４の各項目の情報を入力する。このとき、登録者は、学習処理及び予測処理で得られる学習ログ１２３及び予測ログ１２４を、データ分析手法ごとに登録されるログ加工フォーマット情報１１５に定義されるフォーマットに従ったデータに変換するための情報を入力する。処理装置１０３の情報入力部１０５は、登録者が入力した情報を、ログ加工情報１１４として登録する旨の指示を、リポジトリ１０４に出力する。リポジトリ１０４の情報保持部１０８は、登録者が入力した情報をログ加工情報１１４として登録する。登録対象のデータ分析手法、並びにＡＩエンジン及びアルゴリズムが残っている場合は、ステップＡ１～Ａ１０、又はステップＡ６～Ａ１０が繰り返し実施される。ここまでの手順で、情報の登録が完了する。

次いで、ＡＩエンジン実行処理を行う手順を説明する。図１５は、ＡＩエンジン実行処理の動作手順を示す。ＡＩエンジン実行処理は、専門知識を有しないシステムエンジニアなどの利用者が実施する。利用者は、利用するＡＩエンジンを選択する（ステップＢ１）。利用者は、ステップＢ１では、例えば入力装置１０１を用いて、処理装置１０３に基本情報１１０の内容の表示を指示する。処理装置１０３内の保有情報検索・取得手段１６１は、リポジトリ１０４から、基本情報１１０のデータ分析手法・ＡＩエンジンマップ＃１０－１（図５を参照）の「データ分析手法」、「ＡＩエンジン名」、及び「アルゴリズム名」を取得する。出力装置１０２は、保有情報検索・取得手段１６１が取得した情報を表示する。利用者は、表示された情報を参照し、処理の目的に沿ったデータ分析手法に対応付けられるＡＩエンジン及びアルゴリズムから、所望のＡＩエンジン及びアルゴリズムを選択する。

利用者は、ＡＩエンジン及びアルゴリズムの選択後、学習用データ１１８、予測用データ１１９、及び目的・説明変数情報１２０を、入力装置１０１のデータ受付手段１０１Ｂ（図３を参照）を通じて処理装置１０３に入力する（ステップＢ２）。処理装置１０３は、出力装置１０２のファイル出力手段１０２Ｂを通じて、学習用データ１１８及び予測用データ１１９を、ＡＩエンジン１０９を実行する装置に配置する。別の言い方をすると、処理装置１０３は、学習用データ１１８及び予測用データ１１９を、ＡＩエンジン１０９を実行する装置内の主メモリや補助記憶装置に格納する。ＡＩエンジン１０９を実行する装置は、例えばクラウドサーバ、オンプレミスのコンピュータ装置、或いは処理装置１０３自身であってもよい。

ハイパーパラメータ情報生成手段１６２は、リポジトリ１０４に登録されたハイパーパラメータ情報１１１に基づいて、ハイパーパラメータファイル１２１を生成する（ステップＢ３）。ハイパーパラメータ情報生成手段１６２は、ステップＢ３では、保有情報検索・取得手段１６１に、利用者がステップＢ１で選択したＡＩエンジン及びアルゴリズムに対応するハイパーパラメータ情報１１１の取得を依頼する。保有情報検索・取得手段１６１は、ＡＩエンジン及びアルゴリズムの名称をキーに、対応するハイパーパラメータ情報１１１のレコードを取得し、ハイパーパラメータ情報生成手段１６２に返却する。ハイパーパラメータ情報生成手段１６２は、ハイパーパラメータ情報１１１のレコードと、ステップＢ２で入力された目的・説明変数情報１２０とに基づいて、ハイパーパラメータファイル１２１を生成する。ハイパーパラメータ情報生成手段１６２は、出力装置１０２のファイル出力手段１０２Ｂを通じて、ＡＩエンジン１０９を実行する装置にハイパーパラメータファイル１２１を配置する。

学習処理生成手段１６３は、リポジトリ１０４に登録された学習処理情報１１２を用いて、学習内容を生成する（ステップＢ４）。学習処理生成手段１６３は、ステップＢ４では、保有情報検索・取得手段１６１に、利用者がステップＢ１で選択したＡＩエンジン及びアルゴリズムに対応する学習処理情報１１２の取得を依頼する。保有情報検索・取得手段１６１は、ＡＩエンジン及びアルゴリズム名をキーに、対応する学習処理情報１１２のレコードを取得し、学習処理生成手段１６３に返却する。また、学習処理生成手段１６３は、保有情報検索・取得手段１６１を通じて、基本情報１１０に含まれる学習用データ１１８の配置先情報、及びハイパーパラメータファイル１２１の配置先情報を取得する。学習処理生成手段１６３は、学習処理情報１１２のレコードと、学習用データ及びハイパーパラメータファイルの配置先情報とを用いて、ＡＩエンジン１０９に学習処理を実行させるためのコマンドラインを生成する。また、学習処理生成手段１６３は、学習処理情報１１２のレコードと、目的・説明変数情報１２０とに基づいて、ＡＩエンジン実行プログラム１２７とを生成する。学習処理生成手段１６３は、出力装置１０２のファイル出力手段１０２Ｂを通じて、ＡＩエンジン１０９を実行する装置にＡＩエンジン実行プログラム１２７を配置する。

外部システム制御部１０７の学習処理実行制御手段１０７Ａは、ステップＢ４で生成された学習内容に従って、ＡＩエンジン１０９において学習処理を実行させる（ステップＢ５）。学習処理実行制御手段１０７Ａは、ステップＢ５では、ＡＩエンジン１０９を実行する装置上で、ステップＢ４で生成されたコマンドラインを実行することで、ＡＩエンジン１０９にＡＩエンジン実行プログラム１２７の実行を開始させる。つまり、学習処理実行制御手段１０７Ａは、ＡＩエンジン１０９に学習処理を実行させる。ＡＩエンジン１０９が学習用データ１１８を用いて学習処理を実行することで、分析モデル１２２が構築される。

エラー判断手段１０７Ｃは、学習処理の実行時に、ＡＩエンジン１０９においてエラーが発生したか否かを判断する。エラー判断手段１０７Ｃは、例えば、基本情報１１０に含まれる学習ログの格納先情報で示される場所に学習ログ１２３が格納されていない場合、ＡＩエンジン１０９においてエラーが発生したと判断する。エラー判断手段１０７Ｃは、エラーが発生したと判断した場合、情報分析部１０６のエラー判別手段１６９にエラーの発生を通知する。エラー判別手段１６９は、エラーの発生が通知されたか否かを判断する（ステップＢ６）。エラー判別手段１６９がエラーの発生を受け取った場合、処理は終了する。エラーの発生が通知されていない場合、情報分析部１０６は、学習処理実行制御手段１０７Ａを通じて学習ログ１２３を取得する。

予測処理生成手段１６４は、リポジトリ１０４に登録された予測処理情報１１３を用いて、予測内容を生成する（ステップＢ７）。予測処理生成手段１６４は、ステップＢ７では、保有情報検索・取得手段１６１に、利用者がステップＢ１で選択したＡＩエンジン及びアルゴリズムに対応する予測処理情報１１３の取得を依頼する。保有情報検索・取得手段１６１は、ＡＩエンジン及びアルゴリズム名をキーに、対応する予測処理情報１１３のレコードを取得し、予測処理生成手段１６４に返却する。また、予測処理生成手段１６４は、保有情報検索・取得手段１６１を通じて、基本情報１１０に含まれる予測用データ１１９の配置先情報、及びハイパーパラメータファイル１２１の配置先情報を取得する。予測処理生成手段１６４は、予測処理情報１１３のレコードと、予測用データ及びハイパーパラメータファイルの配置先情報とを用いて、ＡＩエンジン１０９に予測処理を実行させるためのコマンドラインを生成する。また、予測処理生成手段１６４は、予測処理情報１１３のレコードと、目的・説明変数情報１２０とに基づいて、ＡＩエンジン実行プログラム１２７を生成する。予測処理生成手段１６４は、出力装置１０２のファイル出力手段１０２Ｂを通じて、ＡＩエンジン１０９を実行する装置にＡＩエンジン実行プログラム１２７を配置する。このとき、ＡＩエンジン実行プログラム１２７は、ステップＢ４で作成されたＡＩエンジン実行プログラムとは別名称のプログラムとして配置される。

外部システム制御部１０７の予測処理実行制御手段１０７Ｂは、ステップＢ７で生成された予測内容に従って、ＡＩエンジン１０９において予測処理を実行させる（ステップＢ８）。予測処理実行制御手段１０７Ｂは、ステップＢ８では、ＡＩエンジン１０９を実行する装置上で、ステップＢ７で生成されたコマンドラインを実行することで、ＡＩエンジン１０９にＡＩエンジン実行プログラム１２７の実行を開始させる。つまり、予測処理実行制御手段１０７Ｂは、ＡＩエンジン１０９に予測処理を実行させる。ＡＩエンジン１０９は、予測処理では、学習処理で構築された分析モデル１２２を予測用データ１１９に適用する。

エラー判断手段１０７Ｃは、予測処理の実行時に、ＡＩエンジン１０９においてエラーが発生したか否かを判断する。エラー判別手段１６９は、例えば、基本情報１１０に含まれる予測ログの格納先情報で示される場所に予測ログ１２４が格納されていない場合、ＡＩエンジン１０９においてエラーが発生したと判断する。エラー判断手段１０７Ｃは、エラーが発生したと判断した場合、情報分析部１０６のエラー判別手段１６９にエラーの発生を通知する。エラー判別手段１６９は、エラーの発生が通知されたか否かを判断する（ステップＢ９）。エラー判別手段１６９がエラーの発生を受け取った場合、処理は終了する。エラーの発生が通知されていない場合、情報分析部１０６は、予測処理実行制御手段１０７Ｂを通じて予測ログ１２４を取得する。

ログ加工処理手段１６５は、リポジトリ１０４に登録されたログ加工情報１１４に基づいて、学習ログ１２３及び予測ログ１２４を加工し、学習ログ加工データ１２５及び予測ログ加工データ１２６を生成する（ステップＢ１０）。ログ加工処理手段１６５は、ステップＢ１０では、保有情報検索・取得手段１６１に、ステップＢ１で選択されたＡＩエンジン及びアルゴリズムに対応するログ加工情報１１４の取得を依頼する。保有情報検索・取得手段１６１は、ＡＩエンジン及びアルゴリズム名をキーにログ加工情報１１４のレコードを取得し、ログ加工処理手段１６５に返却する。ログ加工処理手段１６５は、例えば、ログ加工情報１１４の学習ログ加工テーブル＃１４－２（図９を参照）の「入力元」の変数の値を「変換処理」に従って変換し、「出力先」の変数の値とする。また、ログ加工処理手段１６５は、例えば、ログ加工情報１１４の予測ログ加工テーブル＃１４－３の「入力元」の変数の値を「変換処理」に従って変換し、「出力先」の変数の値とする。

ログフォーマット確認手段１６６は、リポジトリ１０４に登録されたログ加工フォーマット情報１１５に基づいて、学習ログ加工データ１２５及び予測ログ加工データ１２６のフォーマットをチェックする（ステップＢ１１）。ログフォーマット確認手段１６６は、ステップＢ１１では、保有情報検索・取得手段１６１に、ステップＢ１で選択されたＡＩエンジン及びアルゴリズムが属するデータ分析手法に対応するログ加工フォーマット情報１１５の取得を依頼する。保有情報検索・取得手段１６１は、まず、ＡＩエンジン及びアルゴリズム名をキーに基本情報１１０を検索し、データ分析手法を特定する。次いで、保有情報検索・取得手段１６１は、特定したデータ分析手法の名称をキーにログ加工フォーマット情報１１５のレコードを取得し、ログフォーマット確認手段１６６に返却する。ログフォーマット確認手段１６６は、例えば、学習ログ加工データ１２５において、学習ログ加工データフォーマット＃１５－２（図１０を参照）の「項目名」で示される変数の値が、「データ形式」に適合しているか否かをチェックする。また、ログフォーマット確認手段１６６は、例えば、予測ログ加工データ１２６において、予測ログ加工データフォーマット＃１５－３の「項目名」で示される変数の値が、「データ形式」に適合しているか否かをチェックする。

ログフォーマット確認手段１６６は、チェックの結果、学習ログ加工データ１２５又は予測ログ加工データ１２６が、ログ加工フォーマット情報１１５のデータ形式に適合していないと判断した場合、エラーが発生した旨をエラー判別手段１６９に出力する。エラー判別手段１６９は、ログフォーマット確認手段１６６からエラーが通知されたか否かを判断する（ステップＢ１２）。エラー判別手段１６９がエラーの発生を受け取った場合、処理は終了する。

ステップＢ１２においてエラーの発生が通知されていないと判断された場合、ＡＩエンジン実行履歴登録手段１６８は、ＡＩエンジン実行履歴１１７に、学習ログ加工データ１２５及び予測ログ加工データ１２６を登録する（ステップＢ１３）。このとき、ＡＩエンジン実行履歴登録手段１６８は、ＡＩエンジン及びアルゴリズム名と、学習ログ加工データ１２５及び予測ログ加工データ１２６とを対応付けて、ＡＩエンジン実行履歴１１７に登録する。ここまでの処理で、１つのＡＩエンジン及びアルゴリズムに対するＡＩエンジンの実行が終了する。

続いて分析結果を確認する手順（ＡＩ実行支援方法）を説明する。図１６は、分析結果を確認する際の動作手順を示す。分析結果の確認は、ＡＩエンジン実行処理と同様に、専門知識を持たないシステムエンジニアなどが実施する。利用者は、ステップＢ１～Ｂ１３（図１５を参照）で示されるＡＩエンジン実行処理を実施する（ステップＣ１）。利用者は、更なるＡＩエンジン実行が必要か否かを判断する（ステップＣ２）。利用者は、更なるＡＩエンジン実行が必要と判断した場合、ステップＣ１に戻り、次のＡＩエンジン及びアルゴリズムで、ＡＩエンジン実行処理を実施する。利用者は、ＡＩエンジン実行処理では、同じデータ分析手法に属するＡＩエンジン及びアルゴリズムを選択する。利用者は、ステップＣ２において更なるＡＩエンジン実行が必要ないと判断するまで、ステップＣ１を繰り返し実行する。ＡＩエンジン実行履歴１１７には、ＡＩエンジン実行処理が実施されるたびに、学習ログ加工データ１２５及び予測ログ加工データ１２６が、ＡＩエンジン及びアルゴリズム名と対応付けて登録される。

例えば、利用者は、ステップＣ２において更なるＡＩエンジン実行が必要ないと判断すると、処理装置１０３に結果分析処理の開始を指示する。結果分析処理手段１６７は、ＡＩエンジン実行履歴１１７と結果分析処理情報１１６とに基づいて、結果分析処理を行う（ステップＣ３）。結果分析処理手段１６７は、ステップＣ３では、ＡＩエンジン実行処理において選択されたＡＩエンジン及びアルゴリズムが属するデータ分析手法を特定する。結果分析処理手段１６７は、保有情報検索・取得手段１６１を通じて、リポジトリ１０４から、特定したデータ分析手法に対応する結果分析処理情報１１６を取得する。また、結果分析処理手段１６７は、保有情報検索・取得手段１６１を通じて、ＡＩエンジン実行履歴１１７から、ステップＣ１において用いられたＡＩエンジン及びアルゴリズムに対応する学習ログ加工データ１２５及び予測ログ加工データ１２６を取得する。結果分析処理手段１６７は、結果分析処理情報１１６、学習ログ加工データ１２５、及び予測ログ加工データ１２６に基づいて結果分析処理を行い、分析結果を作成する。

図１７は、ステップＣ３において作成される分析結果の例を示す。ここでは、データ分析手法「クラス分類」について、ＡＩエンジン実行処理が計３回実施された場合を考える。試行回数「１」及び「２」では、ＡＩエンジン「scikit-learn」のアルゴリズム「Decision tree」が用いられ、試行回数「３」では、ＡＩエンジン「PyTorch」が用いられたとする。結果分析処理手段１６７は、データが統一された学習ログ加工データ１２５及び予測ログ加工データ１２６を用いて、各回のＡＩエンジン実行処理における学習時正解率及び予測時正解率を計算する。また、結果分析処理情報１１６を用いて、学習時正解率と予測時正解率との差異を算出し、また、過学習判定を行う。

結果分析処理手段１６７は、例えば、学習時正解率、予測時正解率、学習時と予測時の正解率の差異、及び過学習判定の結果を、テーブル形式でまとめた分析結果を作成する。システムエンジニアなどの専門知識を有しない利用者は、分析結果を参照することで、例えばＡＩエンジン「scikit-learn」のアルゴリズム「Decision tree」では過学習が発生することを知ることができる。また、利用者は、自身が希望する機械学習では、ＡＩエンジン「PyTorch」を用いることで、よい分析モデルが作成できることを確認できる。

図１６に戻り、利用者は、処理装置１０３に汎化性能の確認を指示することができる。汎化性能判定手段１７０は、ＡＩエンジン実行履歴１１７と汎化性能情報１２８とに基づいて、汎化性能確認処理を行う（ステップＣ４）。汎化性能判定手段１７０は、ステップＣ４では、ＡＩエンジン実行処理において選択されたＡＩエンジン及びアルゴリズムが属するデータ分析手法を特定する。汎化性能判定手段１７０は、保有情報検索・取得手段１６１を通じて、リポジトリ１０４から、特定したデータ分析手法に対応する汎化性能情報１２８を取得する。また、汎化性能判定手段１７０は、保有情報検索・取得手段１６１を通じて、ＡＩエンジン実行履歴１１７から、ステップＣ１において用いられたＡＩエンジン及びアルゴリズムに対応する学習ログ加工データ１２５及び予測ログ加工データ１２６を取得する。汎化性能判定手段１７０は、汎化性能情報１２８、学習ログ加工データ１２５、及び予測ログ加工データ１２６に基づいて汎化性能確認を行い、汎化性能を確認するためのグラフを作成する。

図１８は、汎化性能確認において作成されるグラフの一例（学習曲線）を示す。このグラフにおいて、横軸は学習時に分析モデルの構築に用いられた学習用データのサンプル数（学習サンプル数）を表し、縦軸は学習時及び予測時の分析モデルの性能示す任意の指標を表す。図１８では、任意の指標として、精度（正解率）が用いられる例が示されている。図１８において、グラフＡは、学習ログ加工データ１２５から算出された精度（学習時精度）を表す。グラフＢは、予測ログ加工データ１２６から算出された精度（予測時精度）を表す。

ここで、学習ログ加工データ１２５には、学習サンプルの数を変化させて分析モデル１２２を作成した場合のデータが含まれている。例えば、学習処理生成手段１６３は、学習用データ１１８のレコード数をＮ分割し、ｉ／Ｎのデータ点数で学習を行って分析モデル１２２を生成するＡＩエンジン実行プログラム１２７を生成する。ここで、Ｎは２以上の任意の整数、ｉは１からＮまでの間で変化する整数であるとする。ＡＩエンジン１０９は、そのようなＡＩエンジン実行プログラム１２７を実行し、ｉ／Ｎのデータ点数の学習で生成された各分析モデル１２２の学習結果を含む学習ログ１２３を生成する。そのような学習ログ１２３を加工した学習ログ加工データ１２５を用いることで、学習時の正解率が学習サンプル数に対してどのように変化するかをグラフ化できる。

また、予測ログ加工データ１２６には、学習サンプルの数を変化させて生成された分析モデル１２２に予測用データ１１９を適用した場合のデータが含まれている。例えば、予測処理生成手段１６４は、ｉ／Ｎのデータ点数で学習を行って生成された分析モデル１２２のそれぞれに予測用データ１１９を適用するＡＩエンジン実行プログラム１２７を生成する。ＡＩエンジン１０９は、そのようなＡＩエンジン実行プログラム１２７を実行し、ｉ／Ｎのデータ点数の学習で生成された各分析モデル１２２の予測結果を含む予測ログ１２４を生成する。そのような予測ログ１２４を加工した予測ログ加工データ１２６を用いることで、予測時の正解率が、学習時の学習サンプル数に対してどのように変化するかをグラフ化できる。

汎化性能判定手段１７０は、図１８に示すグラフと、汎化性能情報１２８に含まれる「チェック内容」（図１２を参照）を表示する。そのようにすることで、利用者は、表示されたグラフを、「チェック内容」に記述された内容に従ってチェックすることができる。

図１９（ａ）～（ｃ）は、よい学習状態、未学習状態、及び過学習状態の場合の学習曲線を示す。これらグラフにおいて、横軸は学習サンプル数を表し、縦軸は学習時及び予測時の分析モデルの任意の性能指標を表す。図１９（ａ）～（ｃ）では、任意の性能指標として、精度（正解率）が用いられている。図１９（ａ）～（ｃ）において、グラフＡは、学習ログ加工データ１２５から算出された精度（学習時精度）を表す。グラフＢは、予測ログ加工データ１２６から算出された精度（予測時精度）を表す。

図１９（ａ）は、よい学習状態の場合における学習サンプル数と学習時及び予測時の正解率との関係を示す。よい学習状態の場合、学習時の正解率（グラフＡ）は所望の正解率を超えており、かつ、学習時の正解率（グラフＡ）と予測時の正解率（グラフＢ）との差があまり大きくない。このような状態の場合、分析モデルは高い汎化性能を有すると判断できる。

図１９（ｂ）は、未学習の状態の場合の学習サンプル数と学習時及び予測時の正解率との関係を示す。未学習の状態の場合、学習時の正解率（グラフＡ）と予測時の正解率（グラフＢ）との差に着目すると、よい学習状態の場合と同様に、差があまり大きくない。しかしながら、学習時の正解率（グラフＡ）及び予測時の正解率（グラフＢ）は、共に所望の正解率に到達していない。利用者は、汎化性能情報１２８の未学習情報＃２８－２のチェック内容「両方の指標値が目標としている精度に達しているか」に従ってグラフをチェックすることで、未学習状態の発生の有無を判断できる。

図１９（ｃ）は、過学習の状態の場合の学習サンプル数と学習時及び予測時の正解率との関係を示す。過学習の状態の場合、よい学習状態の場合と同様に、学習時の正解率（グラフＡ）は所望の正解率を超えている。しかしながら、学習時の正解率（グラフＡ）と予測時の正解率（グラフＢ）との差が大きい。利用者は、汎化性能情報１２８の過学習情報＃２８－３の学習曲線のチェック内容「学習ログ加工データの指標値と予測ログ加工データの指標値がしきい値より離れていないか」に従ってグラフをチェックすることで、過学習状態の発生の有無を判断できる。

図２０は、汎化性能確認において作成されるグラフの別の例（検証曲線）を示す。このグラフにおいて、横軸はＣパラメータやＥｐｏｃｈ数などのハイパーパラメータを表し、縦軸は学習時及び予測時の分析モデルの性能示す任意の指標を表す。図２０では、任意の指標として、精度（正解率）を用いている。図２０において、グラフＡは、学習ログ加工データ１２５から算出された精度（学習時精度）を表す。グラフＢは、予測ログ加工データ１２６から算出された精度（予測時精度）を表す。

ハイパーパラメータを変更した学習処理、及びその学習処理で得られた分析モデルを用いた予測処理は、例えば下記のように実施される。有識者は、図１４に示される情報登録において、ハイパーパラメータの範囲指定を含むハイパーパラメータ情報１１１を登録する。学習処理生成手段１６３は、ハイパーパラメータが範囲指定を含む場合、その範囲指定ないでハイパーパラメータを変化させたＡＩエンジン実行プログラム１２７を生成する。例えば、ハイパーパラメータ情報に、１～５の範囲が指定され、かつ変化幅が「１」である旨が含まれていた場合、学習処理生成手段１６３は、ハイパーパラメータの値を、１、２、３、４、及び５としたＡＩエンジン実行プログラムをそれぞれ生成する。ＡＩエンジン１０９は、それらＡＩエンジン実行プログラム１２７を実行し、異なるハイパーパラメータの値で学習された各分析モデル１２２の学習結果を含む学習ログ１２３を生成する。そのような学習ログ１２３を加工した学習ログ加工データ１２５を用いることで、学習時の正解率がハイパーパラメータの値に対してどのように変化するかをグラフ化できる。

予測処理については、予測処理生成手段１６４は、異なるハイパーパラメータの値で学習された各分析モデル１２２のそれぞれに予測用データ１１９を適用するＡＩエンジン実行プログラム１２７を生成する。ＡＩエンジン１０９は、そのようなＡＩエンジン実行プログラム１２７を実行し、異なるハイパーパラメータの値で学習された各分析モデル１２２の予測結果を含む予測ログ１２４を生成する。そのような予測ログ１２４を加工した予測ログ加工データ１２６を用いることで、予測時の正解率が学習時のハイパーパラメータの値に対してどのように変化するかをグラフ化できる。

汎化性能判定手段１７０は、図２０に示すグラフと、汎化性能情報１２８に含まれる過学習判定情報＃２８－３のチェック内容「学習ログ加工データの指標値と予測ログ加工データの指標値が最も近い箇所はどこか」を表示する。そのようにすることで、利用者は、どのハイパーパラメータの値が適切かを知ることができる。

本実施形態では、処理装置１０３は、ハイパーパラメータ情報１１１、学習処理情報１１２、及び予測処理情報１１３を用いて、ハイパーパラメータファイル１２１、及びＡＩエンジン実行プログラム１２７を生成し、ＡＩエンジン１０９に与える。本実施形態では、専門知識を有する登録者が、ハイパーパラメータ情報１１１、学習処理情報１１２、及び予測処理情報１１３を事前にリポジトリ１０４に登録する。この場合、利用者は、ＡＩエンジン及びアルゴリズムを選択することで、機械学習を利用できる。このように、本実施形態では、実行インターフェースやハイパーパラメータ設定を隠蔽したＡＩエンジン実行が可能ある。

また、本実施形態では、情報分析部１０６に含まれるログ加工処理手段１６５（図１３を参照）は、学習ログ１２３及び予測ログ１２４を、ログ加工情報１１４に従って加工し、学習ログ加工データ１２５及び予測ログ加工データ１２６を生成する。ＡＩエンジン１０９から得られる学習ログ１２３及び予測ログ１２４は、ＡＩエンジン及びアルゴリズムごとにフォーマットが異なり得る。本実施形態では、ログ加工情報１１４を用いることで、学習ログ１２３及び予測ログ１２４を、データ分析手法単位で統一のフォーマットの学習ログ加工データ１２５及び予測ログ加工データ１２６に変換することができる。

本実施形態では、結果分析処理手段１６７は、選択されたＡＩエンジン及びアルゴリズムが属するデータ分析手法に対応する結果分析処理情報１１６と、学習ログ加工データ１２５及び予測ログ加工データ１２６とに基づいて、分析情報を生成する。本実施形態では、事前に専門知識を有する登録者が登録した結果分析処理情報１１６を用いることで、学習の結果として得られた分析モデル１２２の良し悪しに関する指標を含む分析情報を、利用者に理解可能な形式で出力できる。このため、利用者は、データマイニングに関する専門知識をベースとした指標選定と算出作業とを実施することなく、分析モデル１２２の良し悪しを判断することができ、所望の性能を達成できる分析モデル１２２が得られたか否かを判断できる。

また、本実施形態では、結果分析処理手段１６７は、学習ログ加工データ１２５及び予測ログ加工データ１２６から、データ分析手法ごとに統一の分析情報を生成する。このため、本実施形態では、例えば同じデータ分析手法に属する複数のＡＩエンジン及びアルゴリズムを用いた学習に対して、データ分析手法ごとに同じ基準で作成された、機械学習の分析結果を得ることができる。従って、本実施形態では、同じデータ分析手法に属する複数のＡＩエンジン及びアルゴリズムの間で、同じ基準を用いて分析モデル１２２の良し悪しを比較することができる。本実施形態では、利用者は、所望の性能を達成できるＡＩエンジン及びアルゴリズムを選択することで、分析目的に適したＡＩエンジン及びアルゴリズムで機械学習を行うことができる。このように、本実施形態では、ＡＩエンジンに関する習熟コストや分析結果の評価コストを低減しつつ、専門知識を持たないシステムエンジニアなど利用者でもＡＩエンジンを活用することができる。

また、本実施形態では、汎化性能判定手段１７０は、データ分析手法に対応する汎化性能情報１２８と、学習ログ加工データ１２５及び予測ログ加工データ１２６とに基づいて、学習曲線や検証曲線などのグラフを生成する。汎化性能判定手段１７０を用いることで、利用者は、分析モデル１２２の良し悪しについての指標値だけでなく、汎化性能の面からも、適切によい分析モデルを選択することが可能となる。

なお、上記実施形態では、図１５のステップＢ１において、利用者が、ＡＩエンジン及びアルゴリズムを選択する例を説明したが、これには限定されない。例えば利用者がデータ分析手法を指定した場合、処理装置１０３が、基本情報１１０を参照して指定されたデータ分析手法に対応するＡＩエンジン及びアルゴリズムのうちの１つを選択することとしてもよい。また、処理装置１０３は、同じデータ分析手法に属するＡＩエンジン及びアルゴリズムを１つずつ選択しながら、複数のＡＩエンジン及びアルゴリズムで機械学習を実行させてもよい。

上記実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体を含む。非一時的なコンピュータ可読媒体の例は、例えばフレキシブルディスク、磁気テープ、又はハードディスクなどの磁気記録媒体、例えば光磁気ディスクなどの光磁気記録媒体、ＣＤ（compact disc）、又はＤＶＤ（digital versatile disk）などの光ディスク媒体、及び、マスクＲＯＭ（read only memory）、ＰＲＯＭ（programmable ROM）、ＥＰＲＯＭ（erasable PROM）、フラッシュＲＯＭ、又はＲＡＭ（random access memory）などの半導体メモリを含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体を用いてコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、本開示の実施形態を詳細に説明したが、本開示は、上記した実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で上記実施形態に対して変更や修正を加えたものも、本開示に含まれる。

例えば、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

［付記１］
学習に用いるＡＩ（artificial intelligence）エンジン及びアルゴリズムが選択された場合、学習データに基づいて、前記選択されたＡＩエンジンに、前記選択されたアルゴリズムで学習を実行させ、前記学習の学習ログを取得する学習処理実行制御手段と、
予測データに基づいて、前記ＡＩエンジンに前記学習の結果を用いた予測を実行させ、前記予測の予測ログを取得する予測処理実行制御手段と、
前記ＡＩエンジン及び前記アルゴリズムと、前記学習ログに含まれる変数の変換処理とを対応付けて記憶する学習ログ加工情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムに対応して記憶された変換処理に従って前記学習ログを加工し、学習ログ加工データを生成する学習ログ加工手段と、
前記ＡＩエンジン及び前記アルゴリズムと、前記予測ログに含まれる変数の変換処理とを対応付けて記憶する予測ログ加工情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムに対応して記憶された変換処理に従って前記予測ログを加工し、予測ログ加工データを生成する予測ログ加工手段と、
前記ＡＩエンジン及びアルゴリズムが属するデータ分析手法と、前記学習の結果を分析するための結果分析処理の内容とを対応付けて記憶する結果分析処理情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムが属するデータ分析手法に対応する結果分析処理の内容と、前記学習ログ加工データ及び前記予測ログ加工データとに基づいて、分析情報を生成する結果分析処理手段とを備えるＡＩ実行支援装置。

［付記２］
前記学習ログ加工情報は、前記学習ログにおける変数と、前記データ分析手法ごとに統一の学習ログ統一変数と、前記学習ログにおける変数の値を前記学習ログ統一変数の値の変換するための変換規則とを含み、
前記予測ログ加工情報は、前記予測ログにおける変数と、前記データ分析手法ごとに統一の予測ログ統一変数と、前記予測ログにおける変数の値を前記予測ログ統一変数の値の変換するための変換規則とを含む、付記１に記載のＡＩ実行支援装置。

［付記３］
前記データ分析手法と、前記学習ログ統一変数のフォーマット及び前記予測ログ統一変数のフォーマットとをそれぞれ対応付けて記憶するログ加工フォーマット情報を参照し、前記学習ログ加工データに含まれる学習ログ統一変数のフォーマットが、前記選択されたＡＩエンジン及びアルゴリズムが属するデータ分析手法に対応する学習ログ統一変数のフォーマットに適合するか否かをチェックし、前記予測ログ加工データに含まれる予測ログ統一変数のフォーマットが、前記選択されたＡＩエンジン及びアルゴリズムが属するデータ分析手法に対応する予測ログ統一変数のフォーマットに適合するか否かをチェックするログフォーマット確認手段を更に有する付記２に記載のＡＩ実行支援装置。

［付記４］
前記選択されたＡＩエンジン及びアルゴリズムと、前記学習ログ加工データ及び予測ログ加工データとを対応付けてＡＩエンジン実行履歴に登録するＡＩエンジン実行履歴登録手段を更に有し、
前記結果分析処理手段は、前記ＡＩエンジン実行履歴から前記学習ログ加工データ及び予測ログ加工データを取得する付記１から３何れか１つに記載のＡＩ実行支援装置。

［付記５］
前記結果分析処理手段は、前記ＡＩエンジン実行履歴から、属するデータ分析手法が同じ複数のＡＩエンジン及びアルゴリズムに対応付けて記憶された複数の学習ログ加工データ及び予測ログ加工データを取得し、前記複数のＡＩエンジン及びアルゴリズムのそれぞれについて前記分析情報を生成する付記４に記載のＡＩ実行支援装置。

［付記６］
前記結果分析処理手段は、前記ＡＩエンジン及びアルゴリズムごとに生成された前記分析情報を一覧形式で出力する付記５に記載のＡＩ実行支援装置。

［付記７］
前記データ分析手法と、未学習判定及び過学習判定に用いられるグラフと該グラフの出力方法とを対応付けて記憶する汎化性能情報を参照し、前記学習ログ加工データ及び前記予測ログ加工データと、前記選択されたＡＩエンジン及びアルゴリズムに対応して記憶されるグラフの出力方法とに基づいてグラフを作成し、出力する汎化性能判定手段を更に有する付記１から６何れか１つに記載のＡＩ実行支援装置。

［付記８］
前記汎化性能情報は、前記グラフにおけるチェック内容、及び未学習又は過学習と判断された場合の対処を含み、
前記汎化性能判定手段は、前記チェック内容及び対処の少なくとも一方を更に出力する付記７に記載のＡＩ実行支援装置。

［付記９］
前記ＡＩエンジン及び前記アルゴリズムと、前記ＡＩエンジン及び前記アルゴリズムを用いた学習で使用されるハイパーパラメータの情報とを対応付けて記憶するハイパーパラメータ情報に基づいて、前記学習で使用されるハイパーパラメータを生成し、前記ＡＩエンジンに与えるハイパーパラメータ生成手段を更に有する付記１から８何れか１つに記載のＡＩ実行支援装置。

［付記１０］
前記ＡＩエンジン及び前記アルゴリズムと、前記ＡＩエンジン及び前記アルゴリズムを用いた学習を実施するためのプログラムを含む情報とを対応付けて記憶する学習処理情報に基づいて、前記選択されたＡＩエンジン及びアルゴリズムを用いた学習を実施させるための学習処理プログラムを生成する学習処理生成手段と、
前記ＡＩエンジン及び前記アルゴリズムと、前記ＡＩエンジン及び前記アルゴリズムを用いた学習で生成された分析モデルを使用した予測を実施するためのプログラムを含む情報とを対応付けて記憶する予測処理情報に基づいて、前記選択されたＡＩエンジン及びアルゴリズムを用いた学習で生成された分析モデルを使用した予測を実施させるための予測処理プログラムを生成する予測処理生成手段とを更に有し、
前記学習処理実行制御手段は、前記学習処理生成手段が生成した学習処理プログラムを前記ＡＩエンジンに実行させることで、前記ＡＩエンジンに前記学習を実行させ、
前記予測処理実行制御手段は、前記予測処理生成手段が生成した予測処理プログラムを前記ＡＩエンジンに実行させることで、前記ＡＩエンジンに前記予測を実行させる付記１から９何れか１つに記載のＡＩ実行支援装置。

［付記１１］
前記学習処理情報は、更に、前記ＡＩエンジン及び前記アルゴリズムと、前記学習処理プログラムを前記ＡＩエンジンに実行させるコマンドラインを生成するための情報とを対応付けて記憶し、
前記学習処理生成手段は、更に、前記学習処理情報から、前記選択されたＡＩエンジン及びアルゴリズムに対応するコマンドラインを生成するための情報を取得し、該取得した情報を用いて前記ＡＩエンジンに実行させる学習処理コマンドラインを生成し、
前記学習処理実行制御手段は、前記学習処理コマンドラインを実行することで、前記ＡＩエンジンに前記学習処理プログラムの実行を開始させる付記１０に記載のＡＩ実行支援装置。

［付記１２］
前記予測処理情報は、更に、前記ＡＩエンジン及び前記アルゴリズムと、前記予測処理プログラムを前記ＡＩエンジンに実行させるコマンドラインを生成するための情報とを対応付けて記憶し、
前記予測処理生成手段は、更に、前記予測処理情報から、前記選択されたＡＩエンジン及びアルゴリズムに対応するコマンドラインを生成するための情報を取得し、該取得した情報を用いて前記ＡＩエンジンに実行させる予測処理コマンドラインを生成し、
前記予測処理実行制御手段は、前記予測処理コマンドラインを実行することで、前記ＡＩエンジンに前記予測処理プログラムの実行を開始させる付記１０又は１１に記載のＡＩ実行支援装置。

［付記１３］
前記結果分析処理手段は、前記データ分析手法と、前記ＡＩエンジン及び前記アルゴリズムとの対応関係を示すデータ分析手法・ＡＩエンジンマップを含む基本情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムが属するデータ分析手法を特定する付記１から１２何れか１つに記載のＡＩ実行支援装置。

［付記１４］
学習に用いるＡＩ（artificial intelligence）エンジン及びアルゴリズムが選択された場合、学習データに基づいて、前記選択されたＡＩエンジンに、前記選択されたアルゴリズムで学習を実行させ、
前記学習の学習ログを取得し、
予測データに基づいて、前記ＡＩエンジンに前記学習の結果を用いた予測を実行させ、
前記予測の予測ログを取得し、
前記ＡＩエンジン及び前記アルゴリズムと、前記学習ログに含まれる変数の変換処理とを対応付けて記憶する学習ログ加工情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムに対応して記憶された変換処理に従って前記学習ログを加工して学習ログ加工データを生成し、
前記ＡＩエンジン及び前記アルゴリズムと、前記予測ログに含まれる変数の変換処理とを対応付けて記憶する予測ログ加工情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムに対応して記憶された変換処理に従って前記予測ログを加工して予測ログ加工データを生成し、
前記ＡＩエンジン及びアルゴリズムが属するデータ分析手法と、前記学習の結果を分析するための結果分析処理の内容とを対応付けて記憶する結果分析処理情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムが属するデータ分析手法に対応する結果分析処理の内容と、前記学習ログ加工データ及び前記予測ログ加工データとに基づいて、分析情報を生成するＡＩ実行支援方法。

［付記１５］
学習に用いるＡＩ（artificial intelligence）エンジン及びアルゴリズムが選択された場合、学習データに基づいて、前記選択されたＡＩエンジンに、前記選択されたアルゴリズムで学習を実行させ、
前記学習の学習ログを取得し、
予測データに基づいて、前記ＡＩエンジンに前記学習の結果を用いた予測を実行させ、
前記予測の予測ログを取得し、
前記ＡＩエンジン及び前記アルゴリズムと、前記学習ログに含まれる変数の変換処理とを対応付けて記憶する学習ログ加工情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムに対応して記憶された変換処理に従って前記学習ログを加工して学習ログ加工データを生成し、
前記ＡＩエンジン及び前記アルゴリズムと、前記予測ログに含まれる変数の変換処理とを対応付けて記憶する予測ログ加工情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムに対応して記憶された変換処理に従って前記予測ログを加工して予測ログ加工データを生成し、
前記ＡＩエンジン及びアルゴリズムが属するデータ分析手法と、前記学習の結果を分析するための結果分析処理の内容とを対応付けて記憶する結果分析処理情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムが属するデータ分析手法に対応する結果分析処理の内容と、前記学習ログ加工データ及び前記予測ログ加工データとに基づいて、分析情報を生成するための処理をコンピュータに実行させるためのプログラム。

１０：ＡＩ実行支援装置
１１：学習処理実行制御手段
１２：予測処理実行制御手段
１３：学習ログ加工手段
１４：予測ログ加工手段
１５：結果分析処理手段
２０：ＡＩエンジン
３１：学習ログ加工情報
３２：予測ログ加工情報
３３：結果分析処理情報
１００：ＡＩエンジン実行支援装置
１０１：入力装置
１０１Ａ：利用者入力受付手段
１０１Ｂ：データ受付手段
１０２：出力装置
１０２Ａ：結果出力手段
１０２Ｂ：ファイル出力手段
１０３：処理装置
１０４：リポジトリ
１０５：情報入力部
１０５Ａ：入力取得手段
１０５Ｂ：データ取得手段
１０６：情報分析部
１０７：外部システム制御部
１０７Ａ：学習処理実行制御手段
１０７Ｂ：予測処理実行制御手段
１０７Ｃ：エラー判断手段
１０８：情報保持部
１０９：ＡＩエンジン
１１０：基本情報
１１１：ハイパーパラメータ情報
１１２：学習処理情報
１１３：予測処理情報
１１４：ログ加工情報
１１５：ログ加工フォーマット情報
１１６：結果分析処理情報
１１７：エンジン実行履歴
１１８：学習用データ
１１９：予測用データ
１２０：目的・説明変数情報
１２１：ハイパーパラメータファイル
１２２：分析モデル
１２３：学習ログ
１２４：予測ログ
１２５：学習ログ加工データ
１２６：予測ログ加工データ
１２７：ＡＩエンジン実行プログラム
１２８：汎化性能情報
１６１：保有情報検索・取得手段
１６２：ハイパーパラメータ情報生成手段
１６３：学習処理生成手段
１６４：予測処理生成手段
１６５：ログ加工処理手段
１６６：ログフォーマット確認手段
１６７：結果分析処理手段
１６８：ＡＩエンジン実行履歴登録手段
１６９：エラー判別手段
１７０：汎化性能判定手段

Claims (10)

1. 学習に用いるＡＩ（artificial intelligence）エンジン及びアルゴリズムが選択された場合、学習データに基づいて、前記選択されたＡＩエンジンに、前記選択されたアルゴリズムで学習を実行させ、前記学習の学習ログを取得する学習処理実行制御手段と、
   予測データに基づいて、前記ＡＩエンジンに前記学習の結果を用いた予測を実行させ、前記予測の予測ログを取得する予測処理実行制御手段と、
   前記ＡＩエンジン及び前記アルゴリズムと、前記学習ログに含まれる変数の変換処理とを対応付けて記憶する学習ログ加工情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムに対応して記憶された変換処理に従って前記学習ログを加工し、学習ログ加工データを生成する学習ログ加工手段と、
   前記ＡＩエンジン及び前記アルゴリズムと、前記予測ログに含まれる変数の変換処理とを対応付けて記憶する予測ログ加工情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムに対応して記憶された変換処理に従って前記予測ログを加工し、予測ログ加工データを生成する予測ログ加工手段と、
   前記ＡＩエンジン及びアルゴリズムが属するデータ分析手法と、前記学習の結果を分析するための結果分析処理の内容とを対応付けて記憶する結果分析処理情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムが属するデータ分析手法に対応する結果分析処理の内容と、前記学習ログ加工データ及び前記予測ログ加工データとに基づいて、分析情報を生成する結果分析処理手段とを備えるＡＩ実行支援装置。
2. 前記学習ログ加工情報は、前記学習ログにおける変数と、前記データ分析手法ごとに統一の学習ログ統一変数と、前記学習ログにおける変数の値を前記学習ログ統一変数の値の変換するための変換規則とを含み、
   前記予測ログ加工情報は、前記予測ログにおける変数と、前記データ分析手法ごとに統一の予測ログ統一変数と、前記予測ログにおける変数の値を前記予測ログ統一変数の値の変換するための変換規則とを含む、請求項１に記載のＡＩ実行支援装置。
3. 前記データ分析手法と、前記学習ログ統一変数のフォーマット及び前記予測ログ統一変数のフォーマットとをそれぞれ対応付けて記憶するログ加工フォーマット情報を参照し、前記学習ログ加工データに含まれる学習ログ統一変数のフォーマットが、前記選択されたＡＩエンジン及びアルゴリズムが属するデータ分析手法に対応する学習ログ統一変数のフォーマットに適合するか否かをチェックし、前記予測ログ加工データに含まれる予測ログ統一変数のフォーマットが、前記選択されたＡＩエンジン及びアルゴリズムが属するデータ分析手法に対応する予測ログ統一変数のフォーマットに適合するか否かをチェックするログフォーマット確認手段を更に有する請求項２に記載のＡＩ実行支援装置。
4. 前記選択されたＡＩエンジン及びアルゴリズムと、前記学習ログ加工データ及び予測ログ加工データとを対応付けてＡＩエンジン実行履歴に登録するＡＩエンジン実行履歴登録手段を更に有し、
   前記結果分析処理手段は、前記ＡＩエンジン実行履歴から前記学習ログ加工データ及び予測ログ加工データを取得する請求項１から３何れか１項に記載のＡＩ実行支援装置。
5. 前記結果分析処理手段は、前記ＡＩエンジン実行履歴から、属するデータ分析手法が同じ複数のＡＩエンジン及びアルゴリズムに対応付けて記憶された複数の学習ログ加工データ及び予測ログ加工データを取得し、前記複数のＡＩエンジン及びアルゴリズムのそれぞれについて前記分析情報を生成する請求項４に記載のＡＩ実行支援装置。
6. 前記データ分析手法と、未学習判定及び過学習判定に用いられるグラフと該グラフの出力方法とを対応付けて記憶する汎化性能情報を参照し、前記学習ログ加工データ及び前記予測ログ加工データと、前記選択されたＡＩエンジン及びアルゴリズムに対応して記憶されるグラフの出力方法とに基づいてグラフを作成し、出力する汎化性能判定手段を更に有する請求項１から５何れか１項に記載のＡＩ実行支援装置。
7. 前記汎化性能情報は、前記グラフにおけるチェック内容、及び未学習又は過学習と判断された場合の対処を含み、
   前記汎化性能判定手段は、前記チェック内容及び対処の少なくとも一方を更に出力する請求項６に記載のＡＩ実行支援装置。
8. 前記ＡＩエンジン及び前記アルゴリズムと、前記ＡＩエンジン及び前記アルゴリズムを用いた学習を実施するためのプログラムを含む情報とを対応付けて記憶する学習処理情報に基づいて、前記選択されたＡＩエンジン及びアルゴリズムを用いた学習を実施させるための学習処理プログラムを生成する学習処理生成手段と、
   前記ＡＩエンジン及び前記アルゴリズムと、前記ＡＩエンジン及び前記アルゴリズムを用いた学習で生成された分析モデルを使用した予測を実施するためのプログラムを含む情報とを対応付けて記憶する予測処理情報に基づいて、前記選択されたＡＩエンジン及びアルゴリズムを用いた学習で生成された分析モデルを使用した予測を実施させるための予測処理プログラムを生成する予測処理生成手段とを更に有し、
   前記学習処理実行制御手段は、前記学習処理生成手段が生成した学習処理プログラムを前記ＡＩエンジンに実行させることで、前記ＡＩエンジンに前記学習を実行させ、
   前記予測処理実行制御手段は、前記予測処理生成手段が生成した予測処理プログラムを前記ＡＩエンジンに実行させることで、前記ＡＩエンジンに前記予測を実行させる請求項１から７何れか１項に記載のＡＩ実行支援装置。
9. コンピュータを用いて実施されるＡＩ実行支援方法であって、
   前記コンピュータが、学習に用いるＡＩ（artificial intelligence）エンジン及びアルゴリズムが選択された場合、学習データに基づいて、前記選択されたＡＩエンジンに、前記選択されたアルゴリズムで学習を実行させ、
   前記コンピュータが、前記学習の学習ログを取得し、
   前記コンピュータが、予測データに基づいて、前記ＡＩエンジンに前記学習の結果を用いた予測を実行させ、
   前記コンピュータが、前記予測の予測ログを取得し、
   前記コンピュータが、前記ＡＩエンジン及び前記アルゴリズムと、前記学習ログに含まれる変数の変換処理とを対応付けて記憶する学習ログ加工情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムに対応して記憶された変換処理に従って前記学習ログを加工して学習ログ加工データを生成し、
   前記コンピュータが、前記ＡＩエンジン及び前記アルゴリズムと、前記予測ログに含まれる変数の変換処理とを対応付けて記憶する予測ログ加工情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムに対応して記憶された変換処理に従って前記予測ログを加工して予測ログ加工データを生成し、
   前記コンピュータが、前記ＡＩエンジン及びアルゴリズムが属するデータ分析手法と、前記学習の結果を分析するための結果分析処理の内容とを対応付けて記憶する結果分析処理情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムが属するデータ分析手法に対応する結果分析処理の内容と、前記学習ログ加工データ及び前記予測ログ加工データとに基づいて、分析情報を生成する、ＡＩ実行支援方法。
10. 学習に用いるＡＩ（artificial intelligence）エンジン及びアルゴリズムが選択された場合、学習データに基づいて、前記選択されたＡＩエンジンに、前記選択されたアルゴリズムで学習を実行させ、
    前記学習の学習ログを取得し、
    予測データに基づいて、前記ＡＩエンジンに前記学習の結果を用いた予測を実行させ、
    前記予測の予測ログを取得し、
    前記ＡＩエンジン及び前記アルゴリズムと、前記学習ログに含まれる変数の変換処理とを対応付けて記憶する学習ログ加工情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムに対応して記憶された変換処理に従って前記学習ログを加工して学習ログ加工データを生成し、
    前記ＡＩエンジン及び前記アルゴリズムと、前記予測ログに含まれる変数の変換処理とを対応付けて記憶する予測ログ加工情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムに対応して記憶された変換処理に従って前記予測ログを加工して予測ログ加工データを生成し、
    前記ＡＩエンジン及びアルゴリズムが属するデータ分析手法と、前記学習の結果を分析するための結果分析処理の内容とを対応付けて記憶する結果分析処理情報を参照し、前記選択されたＡＩエンジン及びアルゴリズムが属するデータ分析手法に対応する結果分析処理の内容と、前記学習ログ加工データ及び前記予測ログ加工データとに基づいて、分析情報を生成するための処理をコンピュータに実行させるためのプログラム。

Images