JPWO2020085114A1 - 情報処理装置、情報処理方法、および、プログラム - Google Patents

Abstract

本技術は、学習の履歴を簡単に比較検討することができるようにする情報処理装置、情報処理方法、および、プログラムに関する。情報処理装置は、機械学習による学習済みモデルである複数の予測モデルと、予測モデルに関するモデル情報を表示する制御を行う制御部を備える。本技術は、例えば、機械学習による学習と予測を行う情報処理装置等に適用できる。

Description

本技術は、情報処理装置、情報処理方法、および、プログラムに関し、特に、学習の履歴を簡単に比較検討することができるようにした情報処理装置、情報処理方法、および、プログラムに関する。

近年、機械学習が様々な分野に広く適用されてきている。例えば、不動産物件の取引（売買）の成約確率を機械学習で予測する技術などが提案されている（例えば、特許文献１参照）。

特開２０１７−１６３２１号公報

機械学習において、精度の高い予測モデルを構築するためには、学習データとして用いる項目や、予測モデル、モデルパラメータなどを調整し、学習と、学習により得られた予測モデルの評価とを複数回繰り返し行う必要がある。そのため、予測モデルを効率的に構築するためには、それまでの学習の履歴を簡単に比較検討できるツールが望まれる。

本技術は、このような状況に鑑みてなされたものであり、学習の履歴を簡単に比較検討することができるようにするものである。

本技術の一側面の情報処理装置は、機械学習による学習済みモデルである複数の予測モデルと、前記予測モデルに関するモデル情報を表示する制御を行う制御部を備える。

本技術の一側面の情報処理方法は、情報処理装置が、機械学習による学習済みモデルである複数の予測モデルと、前記予測モデルに関するモデル情報を表示する制御を行う。

本技術の一側面のプログラムは、コンピュータを、機械学習による学習済みモデルである複数の予測モデルと、前記予測モデルに関するモデル情報を表示する制御を行う制御部として機能させるためのものである。

本技術の一側面においては、機械学習による学習済みモデルである複数の予測モデルと、前記予測モデルに関するモデル情報を表示する制御が行われる。

なお、本技術の一側面の情報処理装置は、コンピュータにプログラムを実行させることにより実現することができる。このプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本技術を適用した予測システムの構成例を示すブロック図である。 学習用データセットの一例を示す図である。 履歴管理画面の構成例を示す図である。 新規モデル作成画面の構成例を示す図である。 新規モデルの詳細設定画面の構成例を示す図である。 エントリソート処理を説明するフローチャートである。 比較可能判定処理を説明するフローチャートである。 エントリソート処理後の履歴管理画面の構成例を示す図である。 ツリー表示ボタンが押下された場合の履歴管理画面の構成例を示す図である。 履歴表示領域のツリー形式表現のその他の例を示す図である。 履歴管理画面のその他の構成例を示す図である。 エントリ差分表示画面の構成例を示す図である。 サジェスト画面の構成例を示す図である。 サジェスト表示処理を説明するフローチャートである。 差分エントリの例を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．予測システムのブロック図
２．履歴管理画面の構成例
３．新規モデル作成処理
４．エントリソート処理
５．ツリー表示処理
６．有意差の有無表示処理
７．エントリ差分表示の例
８．サジェスト機能の表示例
９．コンピュータ構成例

＜１．予測システムのブロック図＞
図１は、本技術を適用した予測システムの構成例を示すブロック図である。

図１の予測システム１は、予測アプリ１１、操作部１２、ストレージ１３、および、ディスプレイ１４を含み、機械学習による学習を行い、その結果得られた学習済みモデルを予測モデルとして用いて、所定の予測対象項目を予測するシステムである。

予測システム１は、パーソナルコンピュータ、サーバ装置、スマートフォン等の一台の情報処理装置で構成されてもよいし、サーバクライアントシステムのように、インターネット、ＬＡＮ（Local Area Network）等のネットワークを介して接続された複数の情報処理装置で構成されてもよい。

予測アプリ１１は、アプリケーションプログラムで構成され、例えば、パーソナルコンピュータ等のCPU（Central Processing Unit）により実行されることにより、学習部２１、予測部２２、および学習履歴管理部２３を有する。学習部２１、予測部２２、および学習履歴管理部２３のそれぞれは、操作部１２から供給されるユーザの指示操作に基づいて所定の処理を実行する操作制御部としての機能と、学習結果や予測結果等の所定の情報をディスプレイ１４に表示させる表示制御部としての機能を備える。

操作部１２は、例えば、キーボード、マウス、スイッチ、タッチパネル等で構成され、ユーザの指示操作を受け付け、予測アプリ１１に供給する。

ストレージ１３は、例えば、ハードディスク、半導体メモリ等の記録媒体を有するデータ記憶部であり、学習および予測に必要なデータセットやアプリケーションプログラムなどを記憶する。ストレージ１３は、データセットとして、学習のための学習用データセット、学習により得られた予測モデルを評価するための評価用データセット、および、学習により得られた予測モデルを用いて予測を行うための予測用データセットを記憶する。

図２は、学習用データセットの一例を示している。

図２は、個人に融資を行う際の与信審査のため、個人の経歴や資産から債務不履行となる確率を予測する予測モデルの学習に用いられる学習用データセットの一部を示している。

図２の学習用データセットは、データ項目（特徴量）として、ID、年齢、職種、最終学歴、教育年数、結婚歴、職業、家族構成、人種、性別、キャピタルゲイン、キャピタルロス、週間労働時間、出身国、および、Label（ラベル）を有している。学習用データセットの最後の項目であるLabel（ラベル）は、予測対象項目の既知の答えであり、yesは、その個人が融資を完済したことを表し、noは、その個人が債務不履行であったことを表す。

図１に戻り、ディスプレイ１４は、例えば、LCD（Liquid Crystal Display）または有機EL（Electro-Luminescence）ディスプレイなどの表示デバイスであり、予測アプリ１１から供給された画像を表示させる。例えば、ディスプレイ１４は、学習時のパラメータ設定画面や予測結果などを表示する。

予測アプリ１１の学習部２１は、ストレージ１３に記憶されている学習用データセットを用いて、所定の学習モデルによる学習処理（機械学習）を実行する。学習処理によって得られた学習済みモデルが、予測部２２において、所定の予測対象項目を予測する予測モデルとして使用される。学習部２１は、例えば、学習モデル（予測モデル）として、ロジスティック回帰、ニューラルネット、ランダムフォレストを有し、ユーザの指示操作に応じて所定の学習モデルを選択して学習処理を行う。また、学習部２１は、予測対象項目の答えが既知である評価用データセットを用いて、学習処理によって得られた学習モデルの精度（予測精度）を評価する評価処理も行う。

予測部２２は、学習部２１による学習処理によって得られた学習済みモデルである予測モデルを用いて予測処理を実行し、所定の予測対象項目を予測する。予測処理には、ストレージ１３に記憶されている予測用データセットが用いられる。

学習履歴管理部２３は、学習部２１によって実行された複数回の学習処理の履歴を管理する。すなわち、機械学習では、学習処理と、学習処理により得られた学習モデルの評価とを複数回繰り返し実行することにより、精度の高い学習モデルが構築される。例えば、複数の学習処理を行う際に、学習データとして用いるデータ項目や、学習モデル、正則化項の係数などの学習パラメータ、予測対象項目などが、適宜変更され、予測精度の向上が見られるか否かが検証される。また、学習用データセットを更新（拡充）し、再度、学習モデルを再計算する場合もある。学習履歴管理部２３は、学習部２１によって実行された複数回の学習処理の詳細、例えば、各学習処理におけるデータセットや学習モデルの違い、精度評価指標の値などをユーザに分かり易く提示する。なお、本実施の形態において、学習処理または学習といった場合にも、その後に実行される精度評価も含むものとする。また、学習履歴管理部２３は、過去の学習処理で生成された複数の学習モデルどうしの比較や、過去に実行された複数の学習処理に基づいて、より望ましいと推測される学習モデルの提案なども行う。

予測アプリ１１は、学習履歴管理部２３が実行する学習履歴の管理機能に大きな特徴を有している。そこで、以下では、学習部２１による学習処理および予測部２２による予測処理の詳細は省略し、学習履歴管理部２３の機能について詳しく説明する。学習部２１による学習処理および予測部２２による予測処理は、一般的な手法によって、適切に実行されているものとする。

＜２．履歴管理画面の構成例＞
図３は、学習履歴管理部２３によってディスプレイ１４に表示される履歴管理画面の構成例を示している。

学習履歴管理部２３は、予測アプリ１１において学習履歴の管理機能が実行された場合、学習処理によって得られた学習済みモデルである複数の予測モデルと、その予測モデルに関するモデル情報を表示する図３の履歴管理画面４１を生成し、ディスプレイ１４に表示させる。

図３の履歴管理画面４１は、大きくは３つの領域に分類されており、具体的には、プロジェクト表示領域５１、エントリ表示領域５２、および、サマリ表示領域５３に分けられる。

プロジェクト表示領域５１は、履歴管理画面４１の上部に表示されている。そして、プロジェクト表示領域５１の下側の領域を左右に二分し、左側にエントリ表示領域５２が配置され、右側にサマリ表示領域５３が配置されている。

学習履歴管理部２３は、学習の履歴をプロジェクト単位に管理する。プロジェクト表示領域５１は、履歴管理画面４１が表示している現在のプロジェクトを表示する。図３の例では、プロジェクト表示領域５１には“ProjectA”が表示されており、プロジェクト表示領域５１は、“ProjectA”という名称のプロジェクトを表示していることを示している。以下では、“ProjectA”は、図２に示したようなデータ例のデータセットを用いて、債務不履行となる確率を予測する予測モデルを学習及び予測するプロジェクトであるとする。

エントリ表示領域５２には、新規モデル作成ボタン６１、ソートボタン６２、ツリー表示ボタン６３、および、サジェストボタン６４の各ボタンと、表示されている現在のプロジェクト（図３の例では、“ProjectA”）で過去に実行された学習の履歴（リスト）を表示する履歴表示領域６５とが配置されている。

履歴表示領域６５には、１回の学習に対して１つのエントリ６６が生成され、表示される。図３の履歴表示領域６５には、時系列に３つのエントリ６６−１乃至６６−３が表示されており、現在までに、３回の学習が実行されていることを示している。

履歴表示領域６５における複数のエントリ６６の配列方法は、例えば、エントリ６６が生成された順とすることができる。この場合、最も新しいエントリ６６が、履歴表示領域６５内の最上位に表示される。図３の例では、履歴表示領域６５の３つのエントリ６６−１乃至６６−３のうち、エントリ６６−３が最も新しく、エントリ６６−１が最も古い。

あるいはまた、履歴表示領域６５における複数のエントリ６６の配列方法は、例えば、予測精度の評価値の高い順とすることができる。この場合、予測精度の評価値が最も高いエントリ６６が、履歴表示領域６５内の最上位に表示される。図３の例では、履歴表示領域６５の３つのエントリ６６−１乃至６６−３のうち、エントリ６６−３の評価値が最も高く、エントリ６６−１の評価値が最も低い。

履歴表示領域６５における複数のエントリ６６の配列方法は、プルダウンリスト等を用いて、時系列順や、評価値の高い順など、複数のなかからユーザの指定に基づいて適宜変更できるようにしてもよい。

履歴表示領域６５内に表示される各エントリ６６は、アイコン７１、モデル名表示部７２、精度表示部７３、および、コメント表示部７４を含む。アイコン７１は、そのエントリ６６で学習された予測モデルの予測値タイプを表す。アイコン７１として表示されるマークは、後述する図５の新規モデルの詳細設定画面１２１の予測値タイプ設定部１３２に示されている３種類のマークに対応する。

モデル名表示部７２には、そのエントリ６６の予測モデルの名前が表示される。モデル名表示部７２に表示される名前は、図４の新規モデル作成画面１０１において、ユーザ入力によって決定される。精度表示部７３には、そのエントリ６６の予測モデルの予測精度の評価結果が表示される。予測精度の評価結果は、例えば、AUC（Area Under the Curve）である。コメント表示部７４には、そのエントリ６６の予測モデルに対するコメントが表示される。コメントは、図４の新規モデル作成画面１０１において、ユーザが入力した場合に表示される。

履歴表示領域６５内に表示されている複数のエントリ６６のうち、マウス等によってユーザが選択したエントリ６６（以下、選択エントリと称する。）が、色等で区別して表示される。そして、選択エントリに関する詳細な情報が、右側のサマリ表示領域５３に表示される。図３の例では、３つのエントリ６６−１乃至６６−３のうち、真ん中のエントリ６６−２が灰色で表示され、選択された状態を示している。選択エントリを表す表現方法は、図３のような灰色表示に限らず、任意の表示方法を採用することができる。

新規モデル作成ボタン６１は、新規の予測モデルを作成する際に押下されるボタンである。新規モデル作成ボタン６１が押下されると、図４の新規モデル作成画面１０１が表示される。新規モデル作成ボタン６１が押下された場合の処理については後述する。

ソートボタン６２は、履歴表示領域６５内に表示される複数のエントリ６６を、時系列順の表示から、予測精度の順でソートして表示する際に押下されるボタンである。ソートボタン６２が押下されると、図６を参照して後述するエントリソート処理が実行される。

ツリー表示ボタン６３は、履歴表示領域６５内の表示を、図３に示される、アイコン７１、モデル名表示部７２、精度表示部７３、および、コメント表示部７４を含む表示から、ツリー表示に変更する際に押下されるボタンである。ツリー表示ボタン６３が押下されると、履歴表示領域６５の表示が、図９を参照して後述するツリー表示に切り替えられる。

サジェストボタン６４は、サジェスト表示処理を実行する際に押下されるボタンである。サジェスト表示処理とは、過去に実行された複数の学習に基づいて、より望ましいと推測される予測モデルを、学習履歴管理部２３がユーザに提案する処理である。サジェスト表示処理を実行する際には、履歴表示領域６５に表示されている複数のエントリ６６のなかから、いずれか１つをマウスで選択した後、サジェストボタン６４が押下される。あるいはまた、複数のエントリ６６のなかから、いずれか１つをマウスで選択し、マウスの右クリックで表示されるメニューから「サジェスト」を選択することによっても実行することができる。サジェスト表示処理の詳細については、図１４等を参照して後述する。

履歴管理画面４１の右側のサマリ表示領域５３には、コピー新規作成ボタン８１、基本情報表示領域８２、使用項目表示領域８３、および、精度評価値表示領域８４が含まれる。基本情報表示領域８２、使用項目表示領域８３、および、精度評価値表示領域８４に表示される各項目は、予測モデルのモデル情報を特定する詳細項目である。

コピー新規作成ボタン８１は、エントリ表示領域５２で現在選択されているエントリ６６である選択エントリ（モデル名「model2 20180701」）をベースにして新たな予測モデルの学習設定を行う際に押下されるボタンである。コピー新規作成ボタン８１の機能を利用することにより、選択エントリの学習設定を引き継いで、簡単に学習を行わせることができる。

基本情報表示領域８２には、選択エントリの基本情報が表示される。具体的には、予測値タイプ、予測ターゲット、学習データ、および、学習時間が表示される。予測値タイプには、学習設定で設定された予測値の種類が表示される。予測値タイプとしては、二値分類、多値分類、または、数値予測のいずれかを取り得る。予測ターゲットには、学習設定で設定された予測対象項目が表示される。学習データには、学習に使用されたデータセットのファイル名が表示される。学習時間には、学習処理にかかった時間が表示される。

使用項目表示領域８３には、選択エントリの予測モデルの学習データ（学習用データセット）に含まれているデータ項目と、その中で学習に使用されたデータ項目が表示される。使用項目表示領域８３に表示されたデータ項目が、学習データに含まれているデータ項目を表し、実線の枠で囲まれたデータ項目が学習に使用されたデータ項目、破線の枠で囲まれたデータ項目が学習に使用されなかったデータ項目を表す。なお、データ項目の使用または非使用を表す表現方法は、これに限らず、例えば、色の違い等で表してもよい。

精度評価値表示領域８４には、選択エントリの予測モデルの予測精度の評価結果（評価値）が表示される。予測精度の評価指標としては、Precision（適合率）、Recall（再現率）、F-measure（F値）、Accuracy（全体正解率）、および、AUC（ROC曲線下面積）などが表示される。

図３の履歴管理画面４１では、学習済みの複数の予測モデルがエントリ表示領域５２に表示され、そこで選択された所定の予測モデル（エントリ６６）のモデル情報がサマリ表示領域５３に表示される。これにより、ユーザは、学習の履歴を簡単に比較検討することができる。

＜３．新規モデル作成処理＞
次に、図３の履歴管理画面４１において新規モデル作成ボタン６１が押下された場合に実行される新規モデル作成処理について説明する。

図４は、新規モデル作成ボタン６１が押下された場合に表示される新規モデル作成画面の例を示している。

図４の新規モデル作成画面１０１は、新規に作成する予測モデル（学習モデル）のモデル名および説明用コメントの入力と、学習データの指定を行うことができる。テキストボックス１１１には、新規に作成する予測モデルのモデル名が入力される。テキストボックス１１１に入力された名称が、履歴管理画面４１のモデル名表示部７２に表示される。テキストボックス１１２には、新規に作成する予測モデルについての説明文が入力される。テキストボックス１１２に入力された説明文が、履歴管理画面４１のコメント表示部７４に表示される。ファイル設定部１１３には、学習データとして使用するファイルのファイル名が入力される。ファイルの入力には、ファイルを参照するダイアログを表示して、そのダイアログから、学習データとして使用するファイルを指定することができる。

決定ボタン１１４の押下により、図５に示される新規モデルの詳細設定画面１２１が表示される。キャンセルボタン１１５の押下により、新規モデル作成処理がキャンセル（中止）される。

図５は、図４の新規モデル作成画面１０１において決定ボタン１１４が押下された場合に表示される新規モデルの詳細設定画面の例を示している。

図５の新規モデルの詳細設定画面１２１は、予測ターゲット設定部１３１、予測値タイプ設定部１３２、モデルタイプ設定部１３３、学習データ設定部１３４、データ項目設定部１３５、学習評価実行ボタン１３６、および、キャンセルボタン１３７を含む。

予測ターゲット設定部１３１では、ユーザは、プルダウンリストを用いて、予測ターゲットを設定することができる。予測ターゲットとは、学習データに含まれるデータ項目のうち、予測対象とするデータ項目を表す。プルダウンリストには、図４の新規モデル作成画面１０１のファイル設定部１１３で指定した学習データに含まれるデータ項目が表示される。図５のプルダウンリストでは、図２に示した学習用データセットの例のうち、Labelが予測対象項目として選択されている。

予測値タイプ設定部１３２では、予測対象項目の予測値の種類として、二値分類、多値分類、または、数値予測のいずれかを設定することができる。３種類のマークは、図３の履歴管理画面４１のエントリ表示領域５２に表示される各エントリ６６のアイコン７１と対応する。ユーザは、二値分類、多値分類、または、数値予測のいずれかのマークを選択することで、予測値タイプを設定する。

モデルタイプ設定部１３３では、学習に用いる予測モデル（学習モデル）のモデルタイプをラジオボタンにより選択することができる。予測モデルのモデルタイプとしては、ロジスティック回帰、ニューラルネット、ランダムフォレストのいずれかを選択することができる。また、過学習を防止するための正規化項の係数も設定することができる。

学習データ設定部１３４には、図４の新規モデル作成画面１０１のファイル設定部１１３において学習データとして指定されたファイルが表示される。変更ボタン１３８を押下することによりファイル参照ダイアログが表示され、必要に応じて、ファイルを変更することも可能である。予測モデルの学習が終了した後に実行される予測精度の評価処理には、例えば、学習データの一部が、評価用データ（評価用データセット）として分割されて、利用される。

データ項目設定部１３５には、学習データとして指定された学習用データセットに含まれる全てのデータ項目が表示される。ユーザは、表示された全てのデータ項目のなかから、学習データに使用するデータ項目のチェックボックスをオンすることにより、学習データに使用するデータ項目を指定する。なお、予測ターゲット設定部１３１で予測対象項目として選択されたデータ項目は指定できないように構成されている。

学習評価実行ボタン１３６は、学習処理および精度評価処理を開始する際に押下される。キャンセルボタン１３７は、新規モデル作成処理をキャンセル（中止）する際に押下される。

図３の履歴管理画面４１において新規モデル作成ボタン６１が押下された場合、図４の新規モデル作成画面１０１と図５の新規モデルの詳細設定画面１２１とにより必要な設定項目が順次決定され、学習評価実行ボタン１３６の押下により、学習処理および予測精度評価処理が実行される。

＜４．エントリソート処理＞
次に、図３の履歴管理画面４１においてソートボタン６２が押下された場合に実行されるエントリソート処理について、図６および図７を参照して説明する。

図３の履歴管理画面４１においてソートボタン６２が押下された場合、学習履歴管理部２３は、図６のフローチャートに示されるエントリソート処理を実行し、履歴表示領域６５の複数のエントリ６６の表示を変更する。

図６のエントリソート処理では、初めに、ステップＳ１１において、学習履歴管理部２３は、現在のプロジェクト“ProjectA”に含まれる全てのエントリに対して、予測値タイプと予測ターゲットが同じエントリでグループを作成する。したがって、グループの作成において学習データの違いは無視される。

ステップＳ１２において、学習履歴管理部２３は、作成された１以上のグループのうち、所定の２つのグループを選択してグループのペアを形成し、形成したペアのグループどうしの比較が可能か否かの判定を行う比較可能判定処理を実行する。また、学習履歴管理部２３は、グループのペアの全ての組合せについて、比較が可能か否かの判定を行う比較可能判定処理を実行する。

ここで、ステップＳ１２で、形成されたグループのペアに対して実行される比較可能判定処理について、図７のフローチャートを参照して説明する。予測値タイプと予測ターゲットが同じエントリは１つのグループを構成しているので、ペアが形成された２つのグループは、予測値タイプと予測ターゲットのどちらか一方が少なくとも異なるエントリの集合となっている。

ステップＳ３１において、学習履歴管理部２３は、ペアが形成された２つのグループは予測ターゲットが異なるかを判定する。ステップＳ３１で、ペアが形成された２つのグループの予測ターゲットが異ならない、すなわち、２つのグループの予測ターゲットが同じである、と判定された場合、処理は後述するステップＳ３６に進む。

一方、ステップＳ３１で、ペアが形成された２つのグループの予測ターゲットが異なると判定された場合、処理はステップＳ３２に進み、学習履歴管理部２３は、２つのグループの予測ターゲットの少なくとも一方が数値であるかを判定する。

ステップＳ３２で、２つのグループの予測ターゲットの少なくとも一方が数値であると判定された場合、処理はステップＳ３３に進む。一方、２つのグループの予測ターゲットの両方とも数値ではない、すなわち、２つのグループの予測ターゲットの両方がカテゴリカル化されていると判定された場合、処理はステップＳ３７に進む。

ステップＳ３２で、予測ターゲットの少なくとも一方が数値であると判定された場合の次の処理であるステップＳ３３では、学習履歴管理部２３は、２つのグループそれぞれについて、グループ内の各エントリの予測ターゲットの統計量を、使用した学習データから算出する。ここで算出される予測ターゲットの統計量は、例えば、平均値、中央値、標準偏差、最大値、最小値などである。

次に、ステップＳ３４において、学習履歴管理部２３は、２つのグループそれぞれについて、グループ内のエントリ全体の予測ターゲットの各統計量の平均値を算出する。すなわち、ステップＳ３３で算出された各エントリの予測ターゲットの各統計量のグループとしての平均値が計算される。例えば、グループ内の各エントリの予測ターゲットの平均値を、グループ全体でさらに平均した値が計算される。中央値、標準偏差、最大値、最小値などのその他の統計量についても同様である。

そして、ステップＳ３５において、学習履歴管理部２３は、２つのグループの各統計量の平均値の差分が所定値以下であるかを判定する。ステップＳ３５で、２つのグループの各統計量の平均値の差分が所定値以下であると判定された場合、処理はステップＳ３６に進む。一方、ステップＳ３５で、２つのグループの各統計量の平均値の差分が所定値より大きいと判定された場合、処理はステップＳ３８に進む。

一方、上述したステップＳ３２で、２つのグループの予測ターゲットの両方がカテゴリカル化されていると判定された場合の次の処理であるステップＳ３７では、学習履歴管理部２３は、２つのグループの予測ターゲットの取り得る値に共通部分があるかを判定する。ステップＳ３７で、２つのグループの予測ターゲットの取り得る値に共通部分があると判定された場合、処理はステップＳ３６に進む。一方、ステップＳ３７で、２つのグループの予測ターゲットの取り得る値に共通部分がないと判定された場合、処理はステップＳ３８に進む。

ステップＳ３６において、学習履歴管理部２３は、ペアが形成された２つのグループは比較可能であると判定して、比較可能判定処理を終了する。ステップＳ３６の処理は、ステップＳ３１で、ペアが形成された２つのグループの予測ターゲットが同じである、と判定された場合、ステップＳ３５で、２つのグループの各統計量の平均値の差分が所定値以下であると判定された場合、または、ステップＳ３７で、２つのグループの予測ターゲットの取り得る値に共通部分があると判定された場合に実行される。したがって、ペアが形成された２つのグループの予測ターゲットが同じである場合、２つのグループの各統計量の平均値の差分が所定値以下である場合、または、予測ターゲットがカテゴリカルである２つのグループの予測ターゲットの取り得る値に共通部分がある場合に、ペアが形成された２つのグループどうしは比較可能であると判定される。

これに対して、ステップＳ３８において、学習履歴管理部２３は、ペアが形成された２つのグループは比較不可能であると判定して、比較可能判定処理を終了する。ステップＳ３８の処理は、ステップＳ３５で、２つのグループの各統計量の平均値の差分が所定値より大きいと判定された場合と、ステップＳ３７で、２つのグループの予測ターゲットの取り得る値に共通部分がないと判定された場合に実行される。したがって、２つのグループの各統計量の平均値の差分が所定値より大きいと判定された場合、または、２つのグループの予測ターゲットの取り得る値に共通部分がないと判定された場合に、ペアが形成された２つのグループは比較不可能であると判定される。

図６のフローチャートの説明に戻り、ステップＳ１２では、図７を参照して説明した比較可能判定処理が、グループのペアの全ての組合せについて実行される。

予測ターゲットが数値であり、予測値タイプが数値予測である学習設定を、多値分類の予測値タイプとして学習する場合がある。例えば、０乃至５０の範囲の値を取り得る予測ターゲットを、０乃至１０、１１乃至２０、２１乃至３０、３１乃至４０、および、４１乃至５０の５つに分類した多値分類として学習する場合などである。そのように予測値タイプが異なる場合であっても、０乃至１０、１１乃至２０、２１乃至３０、３１乃至４０、および、４１乃至５０の５つにカテゴリの中央値で数値予測したとして、数値予測の指標で評価値を算出することができるので、比較可能判定処理によれば、比較可能と判定することができる。

また、同じ予測ターゲットでも、予測対象の抽象度が変わる場合がある。例えば、予測ターゲットが、契約を「継続」するか「離脱」するかの予測をするような場合、「継続」または「離脱」の２値分類とすることもできるし、「継続」、「契約満了」、または、「途中解約」の３値分類とすることもできる。そのように予測対象の抽象度（カテゴリ数）が変わる場合、共通する値（上述の例では「継続」）か、それ以外か、という２値分類として評価値を算出することができるので、比較可能判定処理によれば、比較可能と判定することができる。

図６のステップＳ１２の後、ステップＳ１３において、学習履歴管理部２３は、比較可能と判定されたグループどうしを結合する。

ステップＳ１４において、学習履歴管理部２３は、グループごとに、予測精度の高い順でグループ内のエントリをソートする。

ステップＳ１５において、学習履歴管理部２３は、エントリ数（予測モデルのモデル数）の多いグループの順番で、各グループのソート結果を連結して、図３の履歴管理画面４１のエントリ表示領域５２に表示して、エントリソート処理を終了する。

図８は、エントリソート処理が実行された後の履歴管理画面の例を示している。

図８の履歴管理画面では、履歴表示領域６５に、５個のエントリ６６−１乃至６６−５が表示されており、予測精度の評価値の高い順に、エントリ６６−１乃至６６−５が表示されている。

履歴表示領域６５に表示されている５個のエントリ６６−１乃至６６−５のうち、エントリ６６−１、６６−３、および、６６−５のアイコン７１は、二値分類のものとなっており、エントリ６６−２、および、６６−４のアイコン７１は、多値分類のものとなっている。したがって、図８の履歴管理画面は、予測値タイプが異なる複数のエントリをソートした結果の画面となっている。

図８の例では、５個のエントリ６６−１乃至６６−５のうち、エントリ６６−２がユーザによって選択された選択エントリとなっており、エントリ６６−２に関する詳細な情報が、右側のサマリ表示領域５３に表示されている。

エントリソート処理によれば、予測ターゲットと予測値タイプが同一であって、学習データが異なるエントリは、同一のグループとしてエントリが並べられて表示される。また、予測ターゲットが異なり、グループも異なるエントリは、エントリ数の多いグループの順番で、かつ、同一グループ内については予測精度の高い順で、エントリ表示領域５２に表示される。

なお、エントリソート処理では、予測値タイプごとの評価値を全ての予測値タイプに共通な評価指標、例えば、５段階評価などに変換して、共通評価値に応じたソート表示をしてもよい。この場合、全てのエントリが共通の評価指標で比較が可能となるので、ステップＳ１２の比較可能判定処理や、ステップＳ１３の比較可能なグループどうしを結合する結合処理は省略することができる。

＜５．ツリー表示処理＞
次に、図３の履歴管理画面４１においてツリー表示ボタン６３が押下された場合に実行されるツリー表示処理について、図９および図１０を参照して説明する。

ツリー表示ボタン６３が押下された場合、学習履歴管理部２３は、図３に示した履歴管理画面４１の履歴表示領域６５をツリー形式表現に変更する。

図９は、ツリー表示ボタン６３が押下された場合の履歴管理画面の例を示している。

図９の履歴管理画面４１は、履歴表示領域６５のみが図３の履歴管理画面４１と異なる。そのため、履歴管理画面４１の履歴表示領域６５以外の説明は省略する。

履歴表示領域６５は、各エントリ６６を丸（○）のノード１６１で表し、ノード１６１どうしを、実線のノード接続線１６２で接続したノード表現形式で表示されている。丸のノード１６１内には、エントリ６６の予測モデルの名前と対応する文字、例えば、エントリ６６の予測モデルの名前を２文字の文字で簡略化して表した文字が表示される。実線のノード接続線１６２の矢印は、ノード１６１のエントリ６６が生成された時系列に対応する。図９の例では、予測モデル“ｍ１”（予測モデルmode1）のノード１６１−１から、予測モデル“ｍ２”（予測モデルmode2）のノード１６１−２へ、実線のノード接続線１６２−１が接続され、予測モデル“ｍ２”（予測モデルmode2）のノード１６１−２から、予測モデル“ｍ３”（予測モデルmode3）のノード１６１−３へ、実線のノード接続線１６２−２が接続されている。これは、予測モデル“ｍ１”（予測モデルmode1）、予測モデル“ｍ２”（予測モデルmode2）、予測モデル“ｍ３”（予測モデルmode3）の時間順で、エントリ６６が生成されたことを表している。

また、図９のツリー形式表現では、予測モデル“ｍ２”のノード１６１−２が灰色で表示され、選択された状態を示している。非選択の予測モデル“ｍ１”および“ｍ３”のノード１６１−１および１６１−３は白色で表示されている。

さらに、図９のツリー形式表現では、予測モデル“ｍ３”のノード１６１−３から、予測モデル“ｍ１”のノード１６１−１へ、破線のコピーノード接続線１６３が表示されている。この破線のコピーノード接続線１６３は、接続元のノード１６１−３の予測モデル“ｍ３”のエントリ６６が、接続先のノード１６１−１の予測モデル“ｍ１”のエントリ６６を基に生成されたことを表している。換言すれば、ユーザが、接続先のノード１６１−１の予測モデル“ｍ１” のエントリ６６を選択エントリとしている状態で、コピー新規作成ボタン８１を押下して新たな予測モデルの学習を行った場合に、このような破線のコピーノード接続線１６３が表示される。

以上のように、ツリー表示ボタン６３が押下された場合に、履歴表示領域６５に表示されるツリー形式表現によれば、同一プロジェクト内の各エントリ６６の実行順や、コピー新規作成ボタン８１を押下して新たな予測モデルの学習を行った場合の作成元のエントリ６６を、視覚的に容易に認識することができる。

履歴表示領域６５のツリー形式表現は、図９で説明した表現形式の他、図１０のAまたはBのような表現形式で表示することも可能である。

図１０のAおよびBは、ツリー表示ボタン６３が押下された場合の履歴表示領域６５のツリー形式表現のその他の例を示している。

図１０のAおよびBのツリー形式表現は、コピー新規作成ボタン８１を押下して新たな予測モデルの学習設定を行った場合のコピー元とコピー先を接続する表現形式が図９と異なる。

図９では、コピー元とコピー先のエントリ６６のノード１６１が破線の矢印（コピーノード接続線１６３）で接続されていた。これに対して、図１０のAでは、コピー先のエントリ６６のノード１６１が、コピー元のエントリ６６のノード１６１の右横に配置され、実線のコピーノード接続線１６４で接続されている。

図１０のAにおいて、予測モデル“ｍ２１”のノード１６１−２１は、予測モデル“ｍ２”のノード１６１−２の右横に配置され、実線のコピーノード接続線１６４−１で接続されている。これは、予測モデル“ｍ２１”のノード１６１−２１が、予測モデル“ｍ２”のノード１６１−２を基としてコピー新規作成ボタン８１を押下し、新たな予測モデルの学習を行ったエントリ６６であることを表している。

また、予測モデル“ｍ１１”のノード１６１−１１は、予測モデル“ｍ３”のノード１６１−３の右横に配置され、実線のコピーノード接続線１６４−２で接続されている。これは、予測モデル“ｍ１１”のノード１６１−１１が、予測モデル“ｍ３”のノード１６１−３を基としてコピー新規作成ボタン８１を押下し、新たな予測モデルの学習を行ったエントリ６６であることを表している。

また、予測モデル“ｍ１２”のノード１６１−１２は、予測モデル“ｍ３”のノード１６１−３の右横で、さらに、予測モデル“ｍ１１”のノード１６１−１１の右横に配置され、予測モデル“ｍ１１”のノード１６１−１１と実線のコピーノード接続線１６４−３で接続されている。これは、予測モデル“ｍ１２”のノード１６１−１２が、予測モデル“ｍ３”のノード１６１−３または予測モデル“ｍ１１”のノード１６１−１１のどちらかを基としてコピー新規作成ボタン８１を押下し、新たな予測モデルの学習を行ったエントリ６６であることを表している。

これに対して、図１０のBでは、予測モデル“ｍ２１”のノード１６１−２１は、予測モデル“ｍ２”のノード１６１−２から右横に引き出され、上に折り曲げられたL字状の実線のコピーノード接続線１６５−１で接続されている。これは、予測モデル“ｍ２１”のノード１６１−２１が、予測モデル“ｍ２”のノード１６１−２を基としてコピー新規作成ボタン８１を押下し、新たな予測モデルの学習を行ったエントリ６６であることを表している。

また、予測モデル“ｍ２２”のノード１６１−２２も、予測モデル“ｍ２”のノード１６１−２から右横に引き出され、予測モデル“ｍ２１”のノード１６１−２１よりも右側で上に折り曲げられたL字状の実線のコピーノード接続線１６５−２で接続されている。これは、予測モデル“ｍ２２”のノード１６１−２２が、予測モデル“ｍ２”のノード１６１−２を基としてコピー新規作成ボタン８１を押下し、新たな予測モデルの学習を行ったエントリ６６であることを表している。

さらに、図１０のBでは、予測モデル“ｍ１１”のノード１６１−１１は、予測モデル“ｍ３”のノード１６１−３から右横に引き出され、上に折り曲げられたL字状の実線のコピーノード接続線１６５−３で接続されている。これは、予測モデル“ｍ１１”のノード１６１−１１が、予測モデル“ｍ３”のノード１６１−３を基としてコピー新規作成ボタン８１を押下し、新たな予測モデルの学習を行ったエントリ６６であることを表している。

また、予測モデル“ｍ１２”のノード１６１−１２が、予測モデル“ｍ１１”のノード１６１−１１の上に配置され、実線のコピーノード接続線１６５−４で接続されている。これは、予測モデル“ｍ１２”のノード１６１−１２が、予測モデル“ｍ１１”のノード１６１−１１を基としてコピー新規作成ボタン８１を押下し、新たな予測モデルの学習を行ったエントリ６６であることを表している。

図１０のAおよびBで示したツリー形式表現を採用した場合でも、同一プロジェクト内の各エントリ６６の実行順や、コピー新規作成ボタン８１を押下して新たな予測モデルの学習を行った場合の作成元のエントリ６６を、視覚的に容易に認識することができる。

また、既存の予測モデルをコピーして作成したエントリ６６と、既存の予測モデルをコピーしないで作成したエントリ６６とを区別したツリー形式表現とすることで、既存の予測モデルをコピーして作成したエントリ６６を分かり易く表示することができる。

＜６．有意差の有無表示処理＞
図１１は、図３に示した履歴管理画面のその他の構成例を示している。

図１１の履歴管理画面４１は、図３に示した履歴管理画面４１から、さらに、２つのエントリ６６−４および６６−５が追加されている。

図１１の履歴管理画面４１の履歴表示領域６５において、予測精度が最も高いエントリ６６−５と、その次に予測精度が高いエントリ６６−４のそれぞれの予測精度の評価値に、枠（四角の囲み）が表示されている。

この予測精度の評価値を囲む枠は、予測精度が最も高いエントリ６６−５の予測精度の評価値に対し、予測精度が次に高いエントリ６６−４が、統計的に有意差が無いことを表している。このように、学習履歴管理部２３は、予測精度が最も高いエントリ６６と統計的に有意差が無いエントリ６６が存在する場合、それらの予測精度の評価値を、予測精度が最も高いエントリ６６の予測精度の評価値と同様の強調表示を行う。なお、統計的に有意差が無いことを表す強調表示の方法は、図１１のような囲みの表示に限られない。例えば、他のエントリ６６の予測精度の評価値と異なる色を用いて、同色で表示してもよい。

複数のエントリ６６の有意差の有無を判定するためには、エントリ６６ごとに評価値が複数回計算され、エントリ６６ごとの複数回の評価値の平均値と標準偏差が算出されている必要がある。学習履歴管理部２３は、エントリ６６の評価値が複数回計算され、平均値と標準偏差が算出可能である場合に、エントリ６６単位で評価値の平均値と標準偏差を予め計算し、記憶しておく。そして、学習履歴管理部２３は、履歴表示領域６５を予測精度の評価値の高い順で表示する場合に、予測精度が最も高いエントリ６６と、その次に予測精度が高いエントリ６６とで有意差の有無を判定する。２番目に予測精度が高いエントリ６６と有意差が無いと判定された場合、３番目に予測精度が高いエントリ６６について、有意差の有無が判定される。そして、最上位のエントリ６６との有意差が有ると判定されるまで、それより下位のエントリ６６との有意差の有無が判定される。あるいはまた、履歴管理画面４１の履歴表示領域６５を、評価値の高い順に表示する場合に、最上位のエントリ６６が確定した時点で、最上位のエントリ６６と、それより下位のエントリ６６との有意差を判定してもよい。

このように、学習履歴管理部２３が、最上位のエントリ６６に対する有意差の有無を表示することにより、ユーザは、有意差の無い複数のエントリ６６を把握し、比較することができる。

＜７．エントリ差分表示の例＞
学習履歴管理部２３は、２つのエントリ６６に対応する予測モデルのモデル情報の差分を表示して、２つの予測モデルを簡単に比較するエントリ差分表示機能を備える。

例えば、ユーザは、図３の履歴管理画面４１のエントリ表示領域５２に表示された複数のエントリ６６のなかから、コントロールボタン等を押下しながら２つのエントリ６６を選択し、マウスの右クリックで表示されるメニューから「差分エントリ」を選択する。すると、学習履歴管理部２３は、図１２のエントリ差分表示画面を表示する。あるいはまた、図９の履歴管理画面４１のエントリ表示領域５２に表示された複数のノード１６１のなかから、コントロールボタン等を押下しながら２つのノード１６１を選択し、マウスの右クリックで表示されるメニューから「差分エントリ」を選択することでも同様に、図１２のエントリ差分表示画面を表示することができる。

図１２は、エントリ差分表示画面の構成例を示している。

エントリ差分表示画面では、選択された２つのエントリ６６の異なる項目が容易に分かるように、異なる項目が強調表示される。項目が異なるか否か検討される項目は、図３の履歴管理画面４１のサマリ表示領域５３にモデル情報として表示される各項目である。

学習履歴管理部２３は、選択された２つのエントリ６６の一方（例えば、先に選択されたエントリ６６）を差分元エントリ、他方（例えば、後に選択されたエントリ６６）を差分先エントリとして、図１２のエントリ差分表示画面１８１の左側に、差分元エントリの各項目を表示する。そして、差分元エントリの各項目に対して、差分先エントリの項目が異なる場合に、その項目の右側に矢印と、差分先エントリの異なる項目の具体的な値が表示される。

図１２のエントリ差分表示画面１８１の例では、差分元エントリと差分先エントリでは、学習時間、予測モデルのモデルタイプ、データの使用項目、Precision、Recall、F-measure、Accuracy、および、AUCが異なることが表されている。

具体的には、学習時間については、差分元エントリが“03：01：21 h”であるのに対して、差分先エントリは、“01：44：11 h”であることが表示されている。予測モデルのモデルタイプについては、差分元エントリが“ニューラルネット”であるのに対して、差分先エントリは、“ランダムフォレスト”であることが表示されている。

データの使用項目については、差分元エントリにあって差分先エントリにないデータ項目が太実線で表され、差分元エントリになくて差分先エントリにあるデータ項目が太破線で表されている。具体的には、データ項目“教育年数”が差分元エントリにあって差分先エントリになく、データ項目“家族構成”が差分元エントリになくて差分先エントリにあることが表示されている。

予測精度の評価値については、差分元エントリのPrecision、Recall、F-measure、Accuracy、および、AUCが、それぞれ、“0.72”、“0.42”、“0.51”、“0.75”、“0.71”であるのに対して、差分先エントリのPrecision、Recall、F-measure、Accuracy、および、AUCが、それぞれ、“0.74”、“0.47”、“0.55”、“0.77”、“0.74”であることが表示されている。

評価値の比較では、差分元エントリと差分先エントリとで、評価値が改善している場合を赤色、評価値が悪化している場合を青色で表示するなど、改善と悪化で色を変えて分かり易くしてもよい。

図１２のエントリ差分表示画面１８１を表示するエントリ差分表示機能により、ユーザは、所望の２つのエントリ６６の違いを容易に比較し、検討することができる。

＜８．サジェスト機能の表示例＞
学習履歴管理部２３は、所定のエントリ６６を選択し、その選択されたエントリ６６（選択エントリ）よりも予測精度が改善されると思われる学習設定を提案するサジェスト機能を備える。サジェスト機能は、図３または図９の履歴管理画面４１においてエントリ表示領域５２に表示されているエントリ６６またはノード１６１の１つをマウス等で選択し、サジェストボタン６４の押下、または、マウスの右クリックで表示されるメニューから「サジェスト」を選択することによって、実行される。

図１３は、サジェスト機能が実行された場合に表示されるサジェスト画面の例を示している。

なお、以下のサジェスト機能の説明では、予測モデルの予測値タイプが２値分類である場合について説明する。

図１３のサジェスト画面２０１には、予測モデルのモデルタイプ、未使用提案項目、追加使用提案項目の各項目について、選択エントリよりも予測精度が改善されると思われる学習設定が表示されている。また、サジェスト画面２０１には、予測精度の改善が見込まれる度合いとして、評価値の増加分も表示されている。なお、図１３の例では、評価指標としてAUCが表示されているが、その他の評価指標を表示してもよい。

図１３のサジェスト画面２０１では、学習履歴管理部２３は、予測モデルに関しては、予測モデルのモデルタイプを“ニューラルネット”とし、正規化項の係数を“0.02”とすることを示している。

また、学習履歴管理部２３は、未使用提案項目に関しては、選択エントリで使用しているデータ項目のうち、“結婚歴”、“家族構成”、および、“人種”のデータ項目を使用しない方がよいことを示している。

さらに、学習履歴管理部２３は、追加使用提案項目に関しては、選択エントリで使用しているデータ項目に対して、“性別”のデータ項目を追加した方がよいことを示している。

そして、学習履歴管理部２３は、AUC増加分に関しては、上述のような予測モデルの変更を行うと、AUCの評価値を0.25だけ増加できることを示している。

図１４のフローチャートを参照して、図１３のサジェスト画面２０１のようなサジェスト表示を行うサジェスト表示処理について説明する。この処理は、上述したように、所定のエントリ６６を選択した後、サジェストボタン６４の押下、または、マウスの右クリックで表示されるメニューから「サジェスト」を選択することによって、実行される。

初めに、ステップＳ７１において、学習履歴管理部２３は、現在のプロジェクト“ProjectA”に含まれる全てのエントリ６６のなかから、２つのエントリ６６を選択して、エントリ６６のペアを作成し、差分エントリを作成する。

学習履歴管理部２３は、差分エントリを、次のようにして作成する。

まず、作成したエントリ６６のペアのうち、予測精度の評価値の小さい方が差分元エントリ、大きい方が差分先エントリに決定される。

そして、差分元エントリと差分先エントリそれぞれの予測モデルのモデルタイプと正則化項の係数が差分エントリに登録される。また、差分元エントリは使用しているが、差分先エントリは使用していないデータ項目が未使用項目として差分エントリに登録される。さらに、差分元エントリは使用していないが、差分先エントリは使用しているデータ項目が追加使用項目として差分エントリに登録される。また、差分元エントリから差分先エントリへの予測精度の評価値の増加分が計算され、差分エントリに登録される。

図１５は、所定の１つのエントリ６６のペアについて作成された差分エントリの例を示している。

図１５の差分エントリの差分元エントリと差分先エントリそれぞれの予測モデルのモデルタイプは“ニューラルネット”であり、正則化項の係数は“0.02”である。また、差分エントリの未使用項目は“結婚歴”、“家族構成”、および、“人種”であり、追加使用項目は“性別”であり、AUC増加分は“0.25”である。

図１４のフローチャートに戻り、ステップＳ７１の後、処理はステップＳ７２に進み、学習履歴管理部２３は、現在のプロジェクト“ProjectA”に含まれる全てのエントリ６６のペアについて差分エントリを作成したかを判定する。

ステップＳ７２で、全てのエントリ６６のペアについて差分エントリをまだ作成していないと判定された場合、処理はステップＳ７１に戻り、別の差分エントリが作成される。

そして、ステップＳ７１およびＳ７２の処理が所定数繰り返され、ステップＳ７２で、全てのエントリ６６のペアについて差分エントリを作成したと判定された場合、処理はステップＳ７３に進む。

ステップＳ７３において、学習履歴管理部２３は、作成された複数の差分エントリのなかから、１つの差分エントリを選択して、処理をステップＳ７４に進める。

ステップＳ７４において、学習履歴管理部２３は、選択した差分エントリの差分元の予測モデルのモデルタイプが、選択エントリの予測モデルのモデルタイプと一致するかを判定する。ここで、選択エントリとは、サジェストボタン６４の押下、または、マウスの右クリックで表示されるメニューから「サジェスト」を選択する前にユーザが選択したエントリ６６を表す。

ステップＳ７４で、選択した差分エントリの差分元の予測モデルのモデルタイプが、選択エントリの予測モデルのモデルタイプと一致すると判定された場合、処理はステップＳ７５に進み、学習履歴管理部２３は、選択した差分エントリをサジェストする差分エントリの候補であるサジェスト候補に設定して、処理をステップＳ７８に進める。

一方、ステップＳ７４で、選択した差分エントリの差分元の予測モデルのモデルタイプが、選択エントリの予測モデルのモデルタイプと一致しないと判定された場合、処理はステップＳ７６に進み、学習履歴管理部２３は、選択した差分エントリの未使用項目を、選択エントリが使用しているかを判定する。

ステップＳ７６で、選択した差分エントリの未使用項目を、選択エントリが使用していると判定された場合、処理はステップＳ７５に進み、学習履歴管理部２３は、選択した差分エントリをサジェストする差分エントリの候補であるサジェスト候補に設定して、処理をステップＳ７８に進める。

一方、ステップＳ７６で、選択した差分エントリの未使用項目を、選択エントリが使用していないと判定された場合、処理はステップＳ７７に進み、学習履歴管理部２３は、選択した差分エントリの追加使用項目を、選択エントリが使用しているかを判定する。

ステップＳ７７で、選択した差分エントリの追加使用項目を、選択エントリが使用していると判定された場合、処理はステップＳ７５に進み、学習履歴管理部２３は、選択した差分エントリをサジェストする差分エントリの候補であるサジェスト候補に設定して、処理をステップＳ７８に進める。

一方、ステップＳ７７で、選択した差分エントリの追加使用項目を、選択エントリが使用していないと判定された場合、処理はステップＳ７８に進む。

したがって、ステップＳ７４乃至Ｓ７７の処理により、学習履歴管理部２３は、以下の条件(1)乃至(3)のいずれか１つが少なくとも成立する場合に、いま選択している差分エントリを、サジェスト候補に設定する。
(1)選択した差分エントリの差分元の予測モデルのモデルタイプが、選択エントリの予測モデルのモデルタイプと一致する
(2)選択した差分エントリの未使用項目を、選択エントリが使用している
(3)選択した差分エントリの追加使用項目を、選択エントリが使用している

そして、ステップＳ７８において、学習履歴管理部２３は、作成した全ての差分エントリを選択したかを判定する。ステップＳ７８で、まだ全ての差分エントリを選択していないと判定された場合、処理がステップＳ７３に戻され、次の差分エントリが選択される。そして、上述したステップＳ７４乃至Ｓ７８が実行される。

一方、ステップＳ７８で、全ての差分エントリを選択したと判定された場合、処理はステップＳ７９に進み、学習履歴管理部２３は、サジェスト候補に設定された差分エントリのなかで、AUC増加分が最も大きい差分エントリを、サジェストする差分エントリに決定し、図１３のようなサジェスト画面２０１を生成して表示させ、サジェスト表示処理を終了する。

以上のように、サジェスト表示処理では、現在のプロジェクトに含まれる全てのエントリ６６から差分エントリを生成して、２つのエントリの差分を分析することにより、選択エントリよりも予測精度が改善されると思われる学習設定が表示される。

ステップＳ７４乃至Ｓ７７の判定のうち、条件(1)が成立している場合、サジェストする差分エントリの差分先エントリの予測モデルのモデルタイプと正則化項の係数が、図１３に示したサジェスト画面２０１の予測モデルの部分に表示される。

ステップＳ７４乃至Ｓ７７の判定のうち、条件(2)が成立している場合、サジェストする差分エントリの未使用項目のデータ項目が、図１３に示したサジェスト画面２０１の未使用提案項目の部分に表示される。

ステップＳ７４乃至Ｓ７７の判定のうち、条件(3)が成立している場合、サジェストする差分エントリの追加使用項目のデータ項目が、図１３に示したサジェスト画面２０１の追加使用提案項目の部分に表示される。

そして、サジェストする差分エントリのAUC増加分が、図１３に示したサジェスト画面２０１のAUC増加分の部分に表示される。AUC増加分の項目は、省略してもよい。

以上の学習履歴管理部２３のサジェスト機能により、ユーザは、評価値（AUC）が増加する学習設定を、より簡単かつ迅速に見つけることができる。

＜９．コンピュータ構成例＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。

バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、及びドライブ３１０が接続されている。

入力部３０６は、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部３０７は、ディスプレイ、スピーカ、出力端子などよりなる。記憶部３０８は、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインタフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体３１１を駆動する。

以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータ（CPU３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体３１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。

本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
機械学習による学習済みモデルである複数の予測モデルと、前記予測モデルに関するモデル情報を表示する制御を行う制御部
を備える情報処理装置。
（２）
前記制御部は、さらに、前記複数の予測モデルを、予測精度の順でソートして表示する
前記（１）に記載の情報処理装置。
（３）
前記制御部は、前記予測モデルの予測値の種類である予測値タイプと、前記予測モデルが予測するデータ項目である予測ターゲットが同じ前記複数の予測モデルで同じグループを作成し、前記グループごとに、予測精度の高い順で前記複数の予測モデルをソートして表示する
前記（２）に記載の情報処理装置。
（４）
前記制御部は、前記予測モデルのモデル数の多い前記グループの順番で、各グループのソート結果を連結して表示する
前記（３）に記載の情報処理装置。
（５）
前記制御部は、作成した２つの前記グループどうしの比較が可能か否かの判定を行う比較可能判定処理を実行する
前記（３）または（４）に記載の情報処理装置。
（６）
前記制御部は、前記比較可能判定処理において、２つの前記グループの予測ターゲットが同じである場合には、比較が可能であると判定する
前記（５）に記載の情報処理装置。
（７）
前記制御部は、前記比較可能判定処理において、２つの前記グループの統計量の平均値の差分が所定値以下である場合には、比較が可能であると判定する
前記（５）または（６）に記載の情報処理装置。
（８）
前記制御部は、前記比較可能判定処理において、予測ターゲットがカテゴリカルである２つの前記グループの取り得る値に共通部分がある場合には、比較が可能であると判定する
前記（５）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記制御部は、さらに、前記複数の予測モデルを、ツリー形式表現で表示する制御を行う
前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記制御部は、既存の前記予測モデルをコピーして作成した予測モデルと、コピーしないで作成した予測モデルとを区別したツリー形式表現で表示する
前記（９）に記載の情報処理装置。
（１１）
前記制御部は、さらに、予測精度が最も高い前記予測モデルに対する有意差の有無を示す表示を行う
前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
前記制御部は、さらに、２つの前記予測モデルの前記モデル情報の差分を表示する制御を行う
前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
前記制御部は、さらに、２つの前記予測モデルの前記モデル情報の差分を分析することで、予測精度が改善されると思われる学習設定を表示する制御を行う
前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
前記制御部は、前記複数の予測モデルのなかから選択された予測モデルである選択モデルに対して、予測精度が改善されると思われる予測モデルを表示する
前記（１３）に記載の情報処理装置。
（１５）
前記制御部は、前記学習設定として、予測モデルのモデルタイプを表示する
前記（１３）または（１４）に記載の情報処理装置。
（１６）
前記制御部は、前記学習設定として、前記選択モデルの予測モデルに対して、使用しない方がよいデータ項目を表示する
前記（１４）または（１５）に記載の情報処理装置。
（１７）
前記制御部は、前記学習設定として、前記選択モデルの予測モデルに対して、追加した方がよいデータ項目を表示する
前記（１４）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
情報処理装置が、
機械学習による学習済みモデルである複数の予測モデルと、前記予測モデルに関するモデル情報を表示する制御を行う
情報処理方法。
（１９）
コンピュータを、
機械学習による学習済みモデルである複数の予測モデルと、前記予測モデルに関するモデル情報を表示する制御を行う制御部
として機能させるためのプログラム。

１ 予測システム， １１ 予測アプリ， １４ ディスプレイ， ２１ 学習部， ２２ 予測部， ２３ 学習履歴管理部， ４１ 履歴管理画面， ６２ ソートボタン， ６３ ツリー表示ボタン， ６４ サジェストボタン， １８１ エントリ差分表示画面， ２０１ サジェスト画面， ３０１ CPU， ３０２ ROM， ３０３ RAM， ３０６ 入力部， ３０７ 出力部， ３０８ 記憶部， ３０９ 通信部， ３１０ ドライブ

Claims (19)

1. 機械学習による学習済みモデルである複数の予測モデルと、前記予測モデルに関するモデル情報を表示する制御を行う制御部
   を備える情報処理装置。
2. 前記制御部は、さらに、前記複数の予測モデルを、予測精度の順でソートして表示する
   請求項１に記載の情報処理装置。
3. 前記制御部は、前記予測モデルの予測値の種類である予測値タイプと、前記予測モデルが予測するデータ項目である予測ターゲットが同じ前記複数の予測モデルで同じグループを作成し、前記グループごとに、予測精度の高い順で前記複数の予測モデルをソートして表示する
   請求項２に記載の情報処理装置。
4. 前記制御部は、前記予測モデルのモデル数の多い前記グループの順番で、各グループのソート結果を連結して表示する
   請求項３に記載の情報処理装置。
5. 前記制御部は、作成した２つの前記グループどうしの比較が可能か否かの判定を行う比較可能判定処理を実行する
   請求項３に記載の情報処理装置。
6. 前記制御部は、前記比較可能判定処理において、２つの前記グループの予測ターゲットが同じである場合には、比較が可能であると判定する
   請求項５に記載の情報処理装置。
7. 前記制御部は、前記比較可能判定処理において、２つの前記グループの統計量の平均値の差分が所定値以下である場合には、比較が可能であると判定する
   請求項５に記載の情報処理装置。
8. 前記制御部は、前記比較可能判定処理において、予測ターゲットがカテゴリカルである２つの前記グループの取り得る値に共通部分がある場合には、比較が可能であると判定する
   請求項５に記載の情報処理装置。
9. 前記制御部は、さらに、前記複数の予測モデルを、ツリー形式表現で表示する制御を行う
   請求項１に記載の情報処理装置。
10. 前記制御部は、既存の前記予測モデルをコピーして作成した予測モデルと、コピーしないで作成した予測モデルとを区別したツリー形式表現で表示する
    請求項９に記載の情報処理装置。
11. 前記制御部は、さらに、予測精度が最も高い前記予測モデルに対する有意差の有無を示す表示を行う
    請求項１に記載の情報処理装置。
12. 前記制御部は、さらに、２つの前記予測モデルの前記モデル情報の差分を表示する制御を行う
    請求項１に記載の情報処理装置。
13. 前記制御部は、さらに、２つの前記予測モデルの前記モデル情報の差分を分析することで、予測精度が改善されると思われる学習設定を表示する制御を行う
    請求項１に記載の情報処理装置。
14. 前記制御部は、前記複数の予測モデルのなかから選択された予測モデルである選択モデルに対して、予測精度が改善されると思われる予測モデルを表示する
    請求項１３に記載の情報処理装置。
15. 前記制御部は、前記学習設定として、予測モデルのモデルタイプを表示する
    請求項１３に記載の情報処理装置。
16. 前記制御部は、前記学習設定として、前記選択モデルの予測モデルに対して、使用しない方がよいデータ項目を表示する
    請求項１４に記載の情報処理装置。
17. 前記制御部は、前記学習設定として、前記選択モデルの予測モデルに対して、追加した方がよいデータ項目を表示する
    請求項１４に記載の情報処理装置。
18. 情報処理装置が、
    機械学習による学習済みモデルである複数の予測モデルと、前記予測モデルに関するモデル情報を表示する制御を行う
    情報処理方法。
19. コンピュータを、
    機械学習による学習済みモデルである複数の予測モデルと、前記予測モデルに関するモデル情報を表示する制御を行う制御部
    として機能させるためのプログラム。

Images