JP7321406B2 - バリデーション方法決定装置およびバリデーション方法決定方法 - Google Patents

Description

本開示は、バリデーション方法決定装置およびバリデーション方法決定方法に関する。

機械学習により作成された予測器は、実運用する前に予測性能を評価する必要がある。例えば、予測対象の正解の値が既に分かっているデータから、学習データとテストデータとを抽出し、さらに学習データとバリデーションデータとを抽出し、学習データを用いて学習した予測器の予測性能を、バリデーションデータを用いて評価する。
また、予測器の予測性能を見積もる方法として、ホールドアウト検証および交差検証（Ｃｒｏｓｓ－ｖａｌｉｄａｔｉｏｎ）が知られている。例えば、非特許文献１には交差検証が記載されている。

Ｍ．Ｓｔｏｎｅ， "Ｃｒｏｓｓ－Ｖａｌｉｄａｔｏｒｙ Ｃｈｏｉｃｅ ａｎｄ Ａｓｓｅｓｓｍｅｎｔ ｏｆ Ｓｔａｔｉｓｔｉｃａｌ Ｐｒｅｄｉｃｔｉｏｎｓ"， Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｒｏｙａｌ Ｓｔａｔｉｓｔｉｃａｌ Ｓｏｃｉｅｔｙ． Ｓｅｒｉｅｓ Ｂ （Ｍｅｔｈｏｄｏｌｏｇｉｃａｌ）， Ｖｏｌ．３６， Ｎｏ．２， ｐｐ．１１１－１４７， １９７４．

予測器の予測性能を評価する従来の技術では、バリデーションデータがランダムに抽出された場合、予測器の予測性能の評価に適したバリデーションデータが得られない可能性があるという課題があった。

例えば、バリデーションデータがランダムに抽出された場合、学習データおよびバリデーションデータには含まれない未知のカテゴリのテストデータが生成されることがある。この場合、バリデーションデータを用いてテストデータの未知のカテゴリに対する予測器の予測性能は評価できない。予測性能を正しく見積もれない予測器は、運用段階において予測精度が著しく劣化する。

本開示は上記課題を解決するものであり、予測器の予測性能の評価に適したバリデーションデータを得ることができる、バリデーション方法決定装置およびバリデーション方法決定方法を得ることを目的とする。

本開示に係るバリデーション方法決定装置は、予測器の学習に用いる学習データおよび予測器の予測精度の測定に用いるテストデータを取得するデータ取得部と、学習データ、テストデータおよび両データを構成するカラムデータのデータ種別を示すデータ種別情報を用いて、学習データと予測対象に対応したバリデーションデータとを抽出するバリデーション方法を推薦するバリデーション方法推薦部と、推薦されたバリデーション方法から、予測器の予測性能の評価に用いるバリデーション方法を決定するバリデーション方法決定部と、を備える。

本開示によれば、学習データ、テストデータおよび両データを構成するカラムデータのデータ種別を示すデータ種別情報を用いて、学習データと、予測対象に対応したバリデーションデータとを抽出するバリデーション方法を推薦し、推薦されたバリデーション方法から、予測器の予測性能の評価に用いられるバリデーション方法を決定する。
本開示に係るバリデーション方法決定装置は、予測対象に対応したバリデーションデータが抽出されるバリデーション方法を決定できるので、予測器の予測性能の評価に適したバリデーションデータを得ることができる。

実施の形態１に係るバリデーション方法決定装置の構成を示すブロック図である。 ログデータの一例を示す図である。 実施の形態１に係るバリデーション方法決定方法を示すフローチャートである。 実施の形態１におけるバリデーション方法の推薦処理例（１）を示すフローチャートである。 実施の形態１におけるバリデーション方法の推薦処理例（２）を示すフローチャートである。 ３－フォールドの交差検証において、教師ラベルの割合が同一でかつ教師ラベルが重複しないように、学習データとバリデーションデータとに分けたデータを示すイメージ図である。 ３－フォールドの交差検証において、教師ラベルの割合が同一でかつ教師ラベルが重複するように、学習データとバリデーションデータとに分けたデータを示すイメージ図である。 ３－フォールドの交差検証において、グループ単位で学習データとバリデーションデータとに分けたデータを示すイメージ図である。 ビルＩＤが付与されたカラムデータにおける学習データおよびテストデータのデータ数を示すグラフである。 ビルＩＤが付与されたカラムデータにおける学習データおよびテストデータのデータ数と、バリデーションデータの抽出例（１）とを示すグラフである。 ビルＩＤが付与されたカラムデータにおける学習データおよびテストデータのデータ数と、バリデーションデータの抽出例（２）とを示すグラフである。 バリデーション方法の推薦処理例（３）を示すフローチャートである。 ３－フォールドの交差検証において、対象カラムの数値データを小さい順にソートして学習データとバリデーションデータとに分けたデータを示すイメージ図である。 ３－フォールドの交差検証において、対象カラムの周期性を伴った数値データを小さい順にソートして学習データとバリデーションデータに分けたデータを示すイメージ図である。 図１５Ａおよび図１５Ｂは、実施の形態１に係るバリデーション方法決定装置の機能を実現するハードウェア構成を示すブロック図である。 実施の形態２に係るバリデーション方法決定装置の構成を示すブロック図である。 実施の形態２に係るバリデーション方法決定方法を示すフローチャートである。 実施の形態２におけるバリデーション方法の推薦処理例（１）を示すフローチャートである。 実施の形態２におけるバリデーション方法の推薦処理例（２）を示すフローチャートである。 実施の形態２におけるバリデーション方法の推薦処理例（３）を示すフローチャートである。

実施の形態１．
図１は、実施の形態１に係るバリデーション方法決定装置１の構成を示すブロック図である。図１において、バリデーション方法決定装置１は、学習データＤ１＿１、テストデータＤ１＿２およびデータ種別情報Ｄ１＿３を用いて、学習データと予測対象に対応したバリデーションデータとを抽出するバリデーション方法を示す推薦情報Ｄ２を生成する。バリデーション方法決定装置１は、推薦情報Ｄ２が示すバリデーション方法から、予測器の予測性能の評価に用いるバリデーション方法を決定する。

バリデーション方法決定装置１が決定したバリデーション方法を示す情報Ｄ３は、図１において図示しないバリデーション装置に出力される。バリデーション装置は、情報Ｄ３が示すバリデーション方法に従って学習データＤ１＿１からバリデーションデータを取得し、取得したバリデーションデータを用いて予測器の予測性能を評価する。なお、予測器は、学習データＤ１＿１を用いて学習された予測器である。

学習データＤ１＿１およびテストデータＤ１＿２は、例えば、予測対象の事例に関するログデータから抽出される。図２は、ログデータの一例を示す図である。ログデータは、予測対象の正解の値が既に分かっているデータの集合であり、カラムデータによって構成される。カラムデータは、ログデータに含まれる特徴量ごとのデータの集合である。
図２に示すログデータにはカラムデータＣ１～Ｃ４が含まれ、カラムデータＣ１～Ｃ４は、特徴量名称Ｎ１が示す特徴量ごとのデータの集合である。図２において、特徴量名称Ｎ１は、「日付」、「温度」、「動作状態」、および「その他」である。

学習データＤ１＿１およびテストデータＤ１＿２はログデータから抽出される。これにより、学習データＤ１＿１およびテストデータＤ１＿２には、カラムデータが含まれる。データ種別情報Ｄ１＿３は、データ集合である各カラムデータのデータ種別を示す情報である。例えば、図２に示すログデータにおいて、データ種別情報Ｄ１＿３には、データ種別として、「日時」、「数値」、「カテゴリ」および「その他」が含まれる。

日時データは、事例に関する日時を示すデータである。例えば、特徴量「日付」に対応するカラムデータＣ１は、データ種別が「日時」のデータ集合である。特徴量が「日付」であり、かつデータ種別が「日時」であるデータには、図２に示すように、「２０２１／１／１１ １：００」および「２０２１／１／１１ １３：００」といった年月日および時刻を示すデータが含まれる。

数値データは、量的変数または量的データである。例えば、特徴量「温度」に対応するカラムデータＣ２は、データ種別が「数値」のデータ集合である。特徴量が「温度」であり、かつデータ種別が「数値」であるデータには、図２に示すように、「２５．６」および「３０．１」といった温度を示すデータが含まれる。

カテゴリデータは、質的変数または質的データである。例えば、特徴量「動作状態」に対応するカラムデータＣ３は、データ種別が「カテゴリ」のデータ集合である。特徴量が「動作状態」であり、かつデータ種別が「カテゴリ」であるデータには、図２に示すように、「正常」および「異常」を示すデータが含まれる。その他のデータは、日時、数値およびカテゴリのいずれにも該当しないデータである。例えば、特徴量「その他」に対応するカラムデータＣ４は、データ種別が「その他」のデータ集合である。

図１に示すように、バリデーション方法決定装置１は、データ取得部１１、バリデーション方法推薦部１２およびバリデーション方法決定部１３を備える。
図３は、実施の形態１に係るバリデーション方法決定方法を示すフローチャートであって、データ取得部１１、バリデーション方法推薦部１２およびバリデーション方法決定部１３による一連の動作を示している。データ取得部１１は、学習データＤ１＿１、テストデータＤ１＿２およびデータ種別情報Ｄ１＿３を取得する（ステップＳＴ１）。学習データＤ１＿１およびテストデータＤ１＿２は、例えば図２に示したログデータから抽出されたデータである。

学習データＤ１＿１は、予測器の学習に用いるデータの集合である。テストデータＤ１＿２は、学習データＤ１＿１を用いて学習された予測器の予測精度の測定に用いるテストの集合である。データ種別情報Ｄ１＿３は、学習データＤ１＿１およびテストデータＤ１＿２を構成するカラムデータのデータ種別を示す情報である。

例えば、データ取得部１１は、バリデーション方法決定装置１とは別に設けられたバリデーション装置から、学習データＤ１＿１、テストデータＤ１＿２およびデータ種別情報Ｄ１＿３を取得する。データ取得部１１が取得した学習データＤ１＿１、テストデータＤ１＿２およびデータ種別情報Ｄ１＿３は、バリデーション方法推薦部１２に出力される。

続いて、バリデーション方法推薦部１２は、学習データＤ１＿１、テストデータＤ１＿２およびデータ種別情報Ｄ１＿３に基づいて、学習データから予測対象に対応したバリデーションデータを抽出するバリデーション方法を推薦する（ステップＳＴ２）。バリデーション方法推薦部１２が推薦するバリデーション方法を示す推薦情報Ｄ２は、バリデーション方法決定部１３に出力される。

バリデーション方法決定部１３は、バリデーション方法推薦部１２によって推薦されたバリデーション方法から、予測器の予測性能の評価に用いるバリデーション方法を決定する（ステップＳＴ３）。例えば、バリデーション方法決定部１３は、推薦情報Ｄ２が示すバリデーション方法を用いるか否かを判定して、予測器の予測性能の評価に用いると判定したバリデーション方法を示す情報Ｄ３を、外部装置（例えば、バリデーション装置）に出力する。上記バリデーション装置は、バリデーションデータを用いて予測器の予測性能を評価する装置である。

例えば、バリデーション方法推薦部１２は、データ種別情報Ｄ１＿３に基づいて、学習データＤ１＿１におけるカラムデータについて、バリデーション方法を推薦する順序付けを行う。学習データＣ１＿１が図２に示したログデータから抽出された学習データである場合、バリデーション方法推薦部１２は、例えば、「日付」のカラムデータＣ１、「温度」のカラムデータＣ２、「動作状態」のカラムデータＣ３および「その他」のカラムデータＣ４の順で推薦情報Ｄ２を生成する。

バリデーション方法決定部１３は、「日付」のカラムデータＣ１に関する推薦情報Ｄ２が示すバリデーション方法を、予測器の予測性能の評価に用いなかった場合に、バリデーション方法推薦部１２は、次の「温度」のカラムデータＣ２に関する推薦情報Ｄ２を生成してバリデーション方法決定部１３に出力する。バリデーション方法決定装置１は、これらの処理を、バリデーション方法決定部１３が予測器の予測性能の評価に用いるバリデーション方法を決定するまで繰り返す。

なお、バリデーション方法推薦部１２は、カラムデータに関する推薦情報Ｄ２が生成されなかった場合、すなわち、カラムデータを用いてバリデーション方法を推薦できなかった場合、次のカラムデータに関する推薦情報Ｄ２の生成処理に移行する。例えば、カラムデータの順序付けは、バリデーション方法推薦部１２に予め設定されたルールに基づいて行われる。

ルールには、各カラムデータに予め設定した順番が用いられる。また、カラムデータのデータ種別に応じた順番を規定するルールであってもよい。例えば、質的データのカラムデータを優先するルールであってもよいし、量的データのカラムデータを優先するルールであってもよい。

図４は、実施の形態１における、バリデーション方法の推薦処理例（１）を示すフローチャートであり、バリデーション方法推薦部１２による処理の一例を示している。
バリデーション方法推薦部１２は、データ種別情報Ｄ１＿３を用いて、学習データＤ１＿１およびテストデータＤ１＿２から、データ種別が「日時」であるカラムデータＣ１を抽出する。次に、バリデーション方法推薦部１２は、学習データＤ１＿１のカラムデータＣ１に含まれる最も新しい日時よりもテストデータＤ１＿２のカラムデータＣ１に含まれる最も古い日時が新しいか否かを判定する（ステップＳＴ１Ａ）。

学習データＤ１＿１のカラムデータＣ１に含まれる最も新しい日時よりもテストデータＤ１＿２のカラムデータＣ１に含まれる最も古い日時が新しい場合（ステップＳＴ１Ａ；ＹＥＳ）、バリデーション方法推薦部１２は、第１のバリデーション方法を示す推薦情報Ｄ２を生成し、この推薦情報Ｄ２をバリデーション方法決定部１３に出力する（ステップＳＴ２Ａ）。

バリデーション方法推薦部１２は、日時のカラムデータＣ１における学習データＤ１＿１とテストデータＤ１＿２の分布差異に基づいて、学習データＤ１＿１とバリデーションデータの時系列の順序関係を保つように、学習データＤ１＿１とバリデーションデータとを抽出するバリデーション方法を推薦する。例えば、バリデーション方法推薦部１２は、第１のバリデーション方法として、学習データＤ１＿１における時系列的に過去のデータを予測器の学習に用い、時系列的に未来のデータをバリデーションデータとして抽出するバリデーション方法を推薦する。

学習データＤ１＿１のカラムデータＣ１に含まれる最も新しい日時よりもテストデータＤ１＿２のカラムデータＣ１に含まれる最も古い日時が古いか両日時が同じであると判定した場合（ステップＳＴ１Ａ；ＮＯ）、バリデーション方法推薦部１２は、バリデーション方法の推薦処理の対象として次のカラムデータを確認する（ステップＳＴ３Ａ）。これにより、カラムデータＣ２についてのバリデーション方法推薦処理が行われる。

図５は、実施の形態１における、バリデーション方法の推薦処理例（２）を示すフローチャートであり、バリデーション方法推薦部１２による処理の一例を示している。
バリデーション方法推薦部１２は、データ種別情報Ｄ１＿３を用いて、学習データＤ１＿１およびテストデータＤ１＿２からデータ種別が「カテゴリ」であるカラムデータＣ３を抽出する。次に、バリデーション方法推薦部１２は、カラムデータＣ３における、学習データＤ１＿１の分布とテストデータＤ１＿２の分布との重複が閾値以上であるか否かを判定する（ステップＳＴ１Ｂ）。分布が重複する部分では、学習データＤ１＿１とテストデータＤ１＿２とで同じデータが含まれる。

学習データＤ１＿１の分布とテストデータＤ１＿２の分布との重複が閾値以上であると判定した場合（ステップＳＴ１Ｂ；ＹＥＳ）、バリデーション方法推薦部１２は、第２のバリデーション方法を示す推薦情報Ｄ２を生成して、この推薦情報Ｄ２をバリデーション方法決定部１３に出力する（ステップＳＴ２Ｂ）。例えば、バリデーション方法推薦部１２は、第２のバリデーション方法として、教師ラベルの割合が同一になるように、学習データＤ１＿１とバリデーションデータとを抽出するバリデーション方法を推薦する。

また、学習データＤ１＿１の分布とテストデータＤ１＿２の分布との重複が閾値未満である場合（ステップＳＴ１Ｂ；ＮＯ）、バリデーション方法推薦部１２は、第３のバリデーション方法を示す推薦情報Ｄ２を生成し、この推薦情報Ｄ２をバリデーション方法決定部１３に出力する（ステップＳＴ３Ｂ）。例えば、バリデーション方法推薦部１２は、第３のバリデーション方法として、グループ単位で学習データＤ１＿１とバリデーションデータとを抽出するバリデーション方法を推薦する。グループは、属性またはルールによりまとめられたデータの集合である。

例えば、３－フォールド（ｋ＝３）の交差検証において、教師ラベルの割合が同一になるように、学習データＤ１＿１とバリデーションデータとに分けるバリデーション方法について説明する。図６は、３－フォールドの交差検証において、教師ラベルの割合が同一かつ教師ラベルが重複しないように学習データＤ１＿１とバリデーションデータに分けたデータを示すイメージ図である。図７は、３－フォールドの交差検証において、教師ラベルの割合が同一でかつ教師ラベルが重複するように、学習データＤ１＿１とバリデーションデータに分けたデータを示すイメージ図である。

図６および図７は、機械学習のタスクが分類問題であり、教師ラベル（分類クラス）がＡ、ＢおよびＣの３種類存在することを想定している。３－フォールドの交差検証（ＣＶ）における３回のイテレーションに対応する各データは、データインデックスが付与された１５０個のデータ集合である。これらのデータは、クラスＡ、ＢおよびＣのうち、クラスＡには１５個のデータが属し、クラスＢには４５個のデータが属し、クラスＣには９０個のデータが属する。

図６および図７に示すように、１回目のイテレーション、２回目のイテレーションおよび３回目のイテレーションのそれぞれに用いるデータは、教師ラベルの割合がクラスＡ：クラスＢ：クラスＣ＝１：３：６で同一である。クラスＡに属する１５個のデータ集合、クラスＢに属する４５個のデータ集合およびクラスＣに属する９０個のデータ集合は学習データとバリデーションデータに分けられる。これらの処理を行うバリデーション方法が第２のバリデーション方法である。

図６における１回目のイテレーション、２回目のイテレーションおよび３回目のイテレーションのそれぞれに用いるデータは、データインデックスの重複が存在せず教師ラベルの重複は存在しない。これに対し、図７における１回目のイテレーション、２回目のイテレーションおよび３回目のイテレーションのそれぞれに用いるデータには、互いにデータインデックスが重複し、教師ラベルが重複しているデータが存在する。

図８は、３－フォールドの交差検証において、グループ単位で学習データとバリデーションデータに分けたデータを示すイメージ図である。図８に示すデータは、Ａ～Ｆの６つのグループに分かれているカラムデータを想定しており、１００個のデータ集合である。３－フォールドの交差検証を行うため、１回目のイテレーション、２回目のイテレーションおよび３回目のイテレーションのそれぞれに用いるデータは、学習データとバリデーションデータに分けられている。

バリデーション方法推薦部１２は、ある一つのグループに属するデータが学習データとバリデーションデータに分けられないように、グループ単位で学習データとバリデーションデータに分ける第３のバリデーション方法を推薦する。例えば、グループＡのデータは、１回目のイテレーションに用いるデータがバリデーションデータとされ、２回目のイテレーションに用いるデータおよび３回目のイテレーションに用いるデータは学習データとされる。これらの処理を行うバリデーション方法が第３のバリデーション方法である。

図９は、ビルＩＤが付与されたカラムデータにおける学習データおよびテストデータのデータ数を示すグラフである。図９に示すデータは、複数のビルにおいて消費される電力値を予測するタスクを想定したデータであり、ビルＩＤが付与されたカラムデータにより構成される。図９のグラフは、ビルＩＤが付与されたカラムデータにおける学習データの分布とテストデータの分布を示している。ビルＩＤは、前述したグループに相当する。
図９において、学習データの分布とテストデータの分布には、ビルＩＤの重複がない。このため、図９に示す学習データおよびテストデータを用いるタスクは、学習データには存在しない未知のビルにおける消費電力値を予測するタスクとなる。

図１０は、ビルＩＤが付与されたカラムデータにおける学習データおよびテストデータのデータ数とバリデーションデータの抽出例（１）とを示すグラフである。図１０に示すように、学習データとバリデーションデータでビルＩＤが重複しないように、学習データからバリデーションデータが抽出される。このバリデーション方法が第３のバリデーション方法である。第３のバリデーション方法によって抽出されたバリデーションデータは、学習データとの間でビルＩＤの重複がないため、予測器の汎用能力を適切に評価することができる。

図１１は、ビルＩＤが付与されたカラムデータにおける学習データおよびテストデータのデータ数とバリデーションデータの抽出例（２）とを示すグラフである。図１１に示すように、学習データとバリデーションデータでビルＩＤが重複した状態で学習データからバリデーションデータが抽出される。学習データとの間でビルＩＤの重複があるバリデーションデータを用いると、予測器の汎用能力を正しく見積もることができない。

図１２は、バリデーション方法の推薦処理例（３）を示すフローチャートであり、バリデーション方法推薦部１２による処理の一例を示している。
バリデーション方法推薦部１２は、データ種別情報Ｄ１＿３を用いて、学習データＤ１＿１およびテストデータＤ１＿２から、データ種別が「数値」であるカラムデータＣ２を抽出する。続いて、バリデーション方法推薦部１２は、カラムデータＣ２における、学習データＤ１＿１の最大値がテストデータＤ１＿２の最小値よりも小さいか否か、または、学習データＤ１＿１の最小値がテストデータＤ１＿２の最大値よりも大きいか否かを判定する（ステップＳＴ１Ｃ）。

学習データＤ１＿１の最大値がテストデータＤ１＿２の最小値よりも小さい、または、学習データＤ１＿１の最小値がテストデータＤ１＿２の最大値よりも大きいと判定した場合（ステップＳＴ１Ｃ；ＹＥＳ）、バリデーション方法推薦部１２は、第４のバリデーション方法を示す推薦情報Ｄ２を生成し、この推薦情報Ｄ２をバリデーション方法決定部１３に出力する（ステップＳＴ２Ｃ）。例えば、バリデーション方法推薦部１２は、第４のバリデーション方法として、学習データＤ１＿１とテストデータＤ１＿２との大小関係を保つように、学習データＤ１＿１とバリデーションデータを抽出するバリデーション方法を推薦する。

学習データＤ１＿１の最大値がテストデータＤ１＿２の最小値以上、または、学習データＤ１＿１の最小値がテストデータＤ１＿２の最大値以下と判定した場合（ステップＳＴ１Ｃ；ＮＯ）、バリデーション方法推薦部１２は、カラムデータＣ２における、学習データＤ１＿１の分布とテストデータＤ１＿２の分布との重複が閾値以上であるか否かを判定する（ステップＳＴ３Ｃ）。

学習データＤ１＿１の分布とテストデータＤ１＿２の分布との重複が閾値以上であると判定した場合（ステップＳＴ３Ｃ；ＹＥＳ）、バリデーション方法推薦部１２は、第２のバリデーション方法を示す推薦情報Ｄ２を生成して、推薦情報Ｄ２をバリデーション方法決定部１３に出力する（ステップＳＴ４Ｃ）。第２のバリデーション方法は、教師ラベルの割合が同一になるように、学習データＤ１＿１とバリデーションデータを抽出するバリデーション方法である。

学習データＤ１＿１の分布とテストデータＤ１＿２の分布との重複が閾値未満であると判定した場合（ステップＳＴ３Ｃ；ＮＯ）、バリデーション方法推薦部１２は、第５のバリデーション方法を示す推薦情報Ｄ２を生成し、推薦情報Ｄ２をバリデーション方法決定部１３に出力する（ステップＳＴ４Ｃ）。例えば、バリデーション方法推薦部１２は、第５のバリデーション方法として、学習データＤ１＿１とテストデータＤ１＿２との局在関係を保つように、学習データＤ１＿１とバリデーションデータを抽出するバリデーション方法を推薦する。

図１３は、３－フォールドの交差検証において、対象カラムの数値データを小さい順にソートして学習データとバリデーションデータに分けたデータを示すイメージ図である。数値データが「温度」であり、低温（０度未満）、通常（０度以上、４０度未満）および高温（４０度以上）といった温度範囲が設定され、注目の温度範囲であるときに、注目の温度範囲以外の温度範囲における目的変数を予測するタスクを想定する。

前述したタスクは、図１３に示すように、数値データを小さい領域と大きい領域とに分割するバリデーション方法が適している。すなわち、学習データおよびテストデータは、数値が小さいデータがデータインデックスの値が小さい「小」領域に局在化され、数値が大きいデータがデータインデックスの値が大きい「大」領域に局在化され、数値が中間のデータが、「小」領域と「大」領域との間に局在化している。バリデーション方法推薦部１２は、第５のバリデーション方法として、学習データＤ１＿１とテストデータＤ１＿２との局在関係を保つように、学習データＤ１＿１とバリデーションデータを抽出するバリデーション方法を推薦する。

例えば、１回目のイテレーション、２回目のイテレーションおよび３回目のイテレーションのそれぞれに用いるデータにおいて、数値が小さい領域の数値データが、教師ラベルであるクラスＡに属するデータに分割され、１回目のイテレーションはバリデーションデータとされ、２回目および３回目のイテレーションは学習データとされている。
数値が小さい領域と大きい領域との中間領域である数値データが、クラスＢに属するデータに分割され、１回目および３回目のイテレーションは学習データとされ、２回目のイテレーションはバリデーションデータとされている。
数値が大きい領域の数値データがクラスＣに属するデータに分割され、１回目および２回目のイテレーションは学習データとされ、３回目のイテレーションはバリデーションデータとされている。

図１４は、３－フォールドの交差検証において、対象カラムの周期性を伴った数値データを小さい順にソートして学習データとバリデーションデータに分けたデータを示すイメージ図である。図１４に示すように、前半部分、中間部分および後半部分で異なるデータ集合が周期的に現れる数値データである場合、周期内の前半部分の領域、中間部分の領域および後半部分の領域に局在化された数値データの集合を、クラスＡ～Ｃに分割するバリデーション方法が適している。

例えば、１回目のイテレーション、２回目のイテレーションおよび３回目のイテレーションのそれぞれに用いるデータにおいて、数値が小さい領域の数値データが周期性に応じてクラスＡ～Ｃに属するデータに分割され、数値が小さい領域と大きい領域との中間領域である数値データが周期性に応じてクラスＡ～Ｃに属するデータに分割され、数値が大きい領域の数値データが周期性に応じてクラスＡ～Ｃ属するデータに分割されている。
また、１回目のイテレーションに用いるデータにおいて、クラスＡに属するデータは、バリデーションデータとされ、クラスＢおよびクラスＣに属するデータは学習データとされる。２回目のイテレーションに用いるデータにおいて、クラスＡおよびクラスＣに属するデータは学習データとされ、クラスＢに属するデータはバリデーションデータとされる。３回目のイテレーションに用いるデータにおいて、クラスＡおよびクラスＢに属するデータは学習データとされ、クラスＣに属するデータはバリデーションデータとされる。

バリデーション方法決定部１３は、推薦情報Ｄ２に基づいて、バリデーション方法推薦部１２によって推薦されたバリデーション方法を使用するか否かを決定する。バリデーション方法を決定する基準は、バリデーション方法決定部１３に設定されたルールを用いてもよい。例えば、バリデーション方法決定部１３は、学習データＤ１＿１およびテストデータＤ１＿２が特定のデータ種別である場合、必ず推薦されたバリデーション方法を使用するという条件を規定したルールを使用してもよい。
また、バリデーション方法推薦部１２は、バリデーション方法決定部１３が、推薦したバリデーション方法を使用しない場合、このバリデーション方法の特定に使用したカラムデータカラムの特徴量を、バリデーション方法の推薦処理から除外してもよい。

バリデーション方法決定装置１における、データ取得部１１、バリデーション方法推薦部１２およびバリデーション方法決定部１３の機能は、処理回路によって実現される。
すなわち、バリデーション方法決定装置１は、図３に示したステップＳＴ１からステップＳＴ３の各処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。

図１５Ａは、バリデーション方法決定装置１の機能を実現するハードウェア構成を示すブロック図である。図１５Ｂは、バリデーション方法決定装置１の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図１５Ａおよび図１５Ｂにおいて、入力インタフェース１００は、外部装置から、バリデーション方法決定装置１へ出力された学習データＤ１＿１、テストデータＤ１＿２およびデータ種別情報Ｄ１＿３を中継するインタフェースである。出力インタフェース１０１は、バリデーション方法決定装置１から不図示のバリデーション装置へ出力される情報Ｄ３を中継するインタフェースである。

処理回路が図１５Ａに示す専用のハードウェアの処理回路１０２である場合、処理回路１０２は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、これらを組み合わせたものが該当する。バリデーション方法決定装置１における、データ取得部１１、バリデーション方法推薦部１２およびバリデーション方法決定部１３の機能は別々の処理回路で実現されてもよく、これらの機能が一つの処理回路で実現されてもよい。

処理回路が図１５Ｂに示すプロセッサ１０３である場合、バリデーション方法決定装置１における、データ取得部１１、バリデーション方法推薦部１２およびバリデーション方法決定部１３の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ１０４に記憶される。

プロセッサ１０３は、メモリ１０４に記憶されたプログラムを読み出して実行することで、バリデーション方法決定装置１における、データ取得部１１、バリデーション方法推薦部１２およびバリデーション方法決定部１３の機能を実現する。
例えば、バリデーション方法決定装置１は、プロセッサ１０３によって実行されるときに、図３に示すフローチャートにおけるステップＳＴ１からステップＳＴ３までの各処理が結果的に実行されるプログラムを記憶するためのメモリ１０４を備えている。これらのプログラムは、データ取得部１１、バリデーション方法推薦部１２およびバリデーション方法決定部１３が行う処理の手順または方法をコンピュータに実行させる。メモリ１０４は、コンピュータを、データ取得部１１、バリデーション方法推薦部１２およびバリデーション方法決定部１３として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。

メモリ１０４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ－ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。

バリデーション方法決定装置１における、データ取得部１１、バリデーション方法推薦部１２およびバリデーション方法決定部１３の機能の一部が専用のハードウェアで実現され、一部がソフトウェアまたはファームウェアで実現されてもよい。
例えば、データ取得部１１は、専用のハードウェアである処理回路１０２によって機能が実現され、バリデーション方法推薦部１２およびバリデーション方法決定部１３は、プロセッサ１０３がメモリ１０４に記憶されたプログラムを読み出して実行することにより機能が実現される。このように、処理回路はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせにより上記機能を実現することができる。

以上のように、実施の形態１に係るバリデーション方法決定装置１は、学習データＤ１＿１、テストデータＤ１＿２およびデータ種別情報Ｄ１＿３を用いて、学習データと予測対象に対応したバリデーションデータとを抽出するバリデーション方法を推薦し、推薦したバリデーション方法から、予測器の予測性能の評価に用いるバリデーション方法を決定する。従来、予測器の予測性能の評価に適したバリデーションデータを得るためにはノウハウが必要であり、適切にバリデーションデータを抽出することが困難であった。
これに対して、バリデーション方法決定装置１は、予測対象に対応したバリデーションデータを抽出するバリデーション方法を決定できるので、特別なノウハウを必要とせず、予測器の予測性能の評価に適したバリデーションデータを得ることができる。
また、実施の形態１に係るバリデーション方法決定方法においても、同様の効果が得られる。

実施の形態１に係るバリデーション方法決定装置１において、バリデーション方法推薦部１２は、学習データとバリデーションデータとの時系列の順序関係を保つように、学習データとバリデーションデータを抽出するバリデーション方法を推薦する。例えば、予測対象が日時データである予測器の予測性能の評価に適したバリデーションデータを得ることができる。

実施の形態１に係るバリデーション方法決定装置１において、バリデーション方法推薦部１２は、教師ラベルの割合が同一になるように、学習データとバリデーションデータを抽出するバリデーション方法を推薦する。例えば、予測対象が質的データである予測器の予測性能の評価に適したバリデーションデータを得ることができる。

実施の形態１に係るバリデーション方法決定装置１において、バリデーション方法推薦部１２は、グループ単位で学習データとバリデーションデータとを抽出するバリデーション方法を推薦する。例えば、予測対象が質的データである予測器の予測性能の評価に適したバリデーションデータを得ることができる。

実施の形態１に係るバリデーション方法決定装置１において、バリデーション方法推薦部１２は、学習データＤ１＿１とテストデータＤ１＿２との大小関係を保つように、学習データとバリデーションデータを抽出するバリデーション方法を推薦する。例えば、予測対象が数値データである予測器の予測性能の評価に適したバリデーションデータを得ることができる。

実施の形態１に係るバリデーション方法決定装置１において、バリデーション方法推薦部１２は、学習データＤ１＿１とテストデータＤ１＿２との局在関係を保つように、学習データとバリデーションデータとを抽出するバリデーション方法を推薦する。例えば、予測対象が数値データである予測器の予測性能の評価に適したバリデーションデータを得ることができる。

実施の形態２．
図１６は、実施の形態２に係るバリデーション方法決定装置１Ａの構成を示すブロック図である。図１６において、バリデーション方法決定装置１Ａは、データ取得部１１Ａ、バリデーション方法推薦部１２Ａ、バリデーション方法決定部１３Ａ、データ種別判定部１４、分布計算部１５、順序付け部１６、およびユーザフィードバック部１７を備える。データ取得部１１Ａは、学習データＤ１＿１およびテストデータＤ１＿２を取得し、取得した学習データＤ１＿１およびテストデータＤ１＿２をバリデーション方法推薦部１２Ａとデータ種別判定部１４に出力する。

バリデーション方法推薦部１２Ａは、データ取得部１１Ａにより取得された学習データＤ１＿１およびテストデータＤ１＿２と、データ種別判定部１４により生成されたデータ種別情報Ｄ１＿３と、分布計算部１５により算出された分布情報Ｄ１＿４と、順序付け部１６により算出された順序情報Ｄ１＿５を用いて、学習データとバリデーションデータとを抽出するバリデーション方法を推薦する。バリデーション方法推薦部１２Ａが推薦するバリデーション方法を示す推薦情報Ｄ２は、バリデーション方法決定部１３Ａに出力される。また、バリデーション方法推薦部１２Ａは、さらに、任意のデータおよび情報Ｄ８を用いて、バリデーション方法を推薦してもよい。

バリデーション方法決定部１３Ａは、ユーザフィードバック部１７からのフィードバック情報Ｄ７に基づいて、推薦情報Ｄ２が示すバリデーション方法を、予測値の予測性能の評価に用いるか否かを決定する。バリデーション方法決定部１３Ａは、予測器の予測性能の評価に用いると判定したバリデーション方法を示す情報Ｄ３を、外部装置（例えば、図１６において不図示のバリデーション装置）に出力する。

データ種別判定部１４は、データ取得部１１Ａから取得した学習データＤ１＿１およびテストデータＤ１＿２を用いて、これらのデータを構成するカラムデータのデータ種別を判定することにより、データ種別情報Ｄ１＿３を生成する。例えば、データ種別判定部１４は、学習データＤ１＿１およびテストデータＤ１＿２のカラムデータのデータ型または要素数に基づいて、データ種別情報Ｄ１＿３を生成する。

分布計算部１５は、学習データＤ１＿１の分布とテストデータＤ１＿２の分布との差異を算出し、算出した分布差異を示す分布情報を生成してバリデーション方法推薦部１２Ａに出力する。例えば、分布計算部１５は、カラムデータにおける学習データＤ１＿１の分布とテストデータＤ１＿２の分布との重なり度合いまたは数値データのユークリッド距離に基づいて、分布情報Ｄ１＿４を算出する。

順序付け部１６は、データ種別情報Ｄ１＿３および分布情報Ｄ１＿４を用いて、バリデーションデータを抽出するカラムデータの順序付けを行い、カラムデータの順序付けを示す順序情報Ｄ１＿５をバリデーション方法推薦部１２Ａに出力する。例えば、順序付け部１６は、学習データＤ１＿１とテストデータＤ１＿２との分布の重なり具合が閾値以上であるか否かに基づいた順序付けを行ってもよいし、数値データのユークリッド距離が閾値以上であるか否かに基づいた順序付けを行ってもよいし、これらを組み合わせに基づいた順序付けを行ってもよい。さらに、順序付け部１６は、学習データＤ１＿１およびテストデータＤ１＿２についての一つの分布情報Ｄ１＿４に基づいて順序付けしても、複数の分布情報Ｄ１＿４に基づく順序付けを行ってもよい。

ユーザフィードバック部１７は、バリデーション方法の推薦に関する提示情報Ｄ４を出力し、提示情報Ｄ４に対するフィードバック情報Ｄ５をバリデーション方法推薦部１２Ａに出力するフィードバック部である。バリデーション方法推薦部１２Ａは、フィードバック情報Ｄ５に応じたバリデーション方法を推薦する。また、ユーザフィードバック部１７は、バリデーション方法の決定に関する提示情報Ｄ６を出力して、提示情報Ｄ６に対するフィードバック情報Ｄ７をバリデーション方法決定部１３Ａに出力する。バリデーション方法決定部１３Ａは、フィードバック情報Ｄ７に基づいて、推薦されたバリデーション方法を、予測器の予測性能の評価に用いるか否かを決定する。

図１７は、実施の形態２に係るバリデーション方法決定方法を示すフローチャートであり、バリデーション方法決定装置１Ａによる一連の処理を示している。
データ取得部１１Ａは、学習データＤ１＿１およびテストデータＤ１＿２を取得する（ステップＳＴ１Ｄ）。データ取得部１１Ａは、学習データＤ１＿１およびテストデータＤ１＿２を、バリデーション方法推薦部１２Ａ、データ種別判定部１４および分布計算部１５にそれぞれ出力する。

データ種別判定部１４は、学習データＤ１＿１およびテストデータＤ１＿２を用いて、これらのデータを構成するカラムデータのデータ種別を判定する（ステップＳＴ２Ｄ）。データ種別判定部１４は、判定結果のデータ種別を示すデータ種別情報Ｄ１＿３を、分布計算部１５および順序付け部１６に出力する。

分布計算部１５は、学習データＤ１＿１、テストデータＤ１＿２およびデータ種別情報Ｄ１＿３を用いて、学習データＤ１＿１とテストデータＤ１＿２との分布差異を算出する（ステップＳＴ３Ｄ）。分布計算部１５は、算出した分布差異を示す分布情報Ｄ１＿４を生成し、分布情報Ｄ１＿４をバリデーション方法推薦部１２Ａに出力する。

順序付け部１６は、データ種別情報Ｄ１＿３および分布情報Ｄ１＿４を用いて、学習データＤ１＿１およびテストデータＤ１＿２におけるカラムデータの順序付けを行う（ステップＳＴ４Ｄ）。順序付け部１６は、カラムデータの順序付けを示す順序情報Ｄ１＿５をバリデーション方法推薦部１２Ａに出力する。例えば、カラムデータに対して、バリデーション方法推薦処理の順番を示すパラメータｉが設定される。

バリデーション方法推薦部１２Ａは、ｉ番目のカラムデータについてのバリデーション方法の推薦処理を行う（ステップＳＴ５Ｄ）。例えば、バリデーション方法推薦部１２Ａは、順序情報Ｄ１＿５が示すパラメータｉの値（処理順序）が最も小さいカラムデータについて、データ種別情報Ｄ１＿３および分布情報Ｄ１＿４を用いてバリデーション方法の推薦情報Ｄ２を生成し、推薦情報Ｄ２をバリデーション方法決定部１３Ａに出力する。

また、バリデーション方法推薦部１２Ａは、推薦情報Ｄ２をバリデーション方法決定部１３Ａに出力する前に、推薦するバリデーション方法を、ユーザに確認させるための提示情報Ｄ４を生成し、提示情報Ｄ４をユーザフィードバック部１７に出力してもよい。
ユーザフィードバック部１７は、提示情報Ｄ４をユーザに提示する。例えば、ユーザフィードバック部１７は、図１６において不図示の表示装置または音声出力装置において提示情報Ｄ４を出力する。

ユーザフィードバック部１７は、提示情報Ｄ４に対するユーザからのフィードバック情報Ｄ５を取得すると、フィードバック情報Ｄ５をバリデーション方法推薦部１２Ａに出力する。バリデーション方法推薦部１２Ａは、フィードバック情報Ｄ５に対応したバリデーション方法を示す推薦情報Ｄ２を生成し、推薦情報Ｄ２をバリデーション方法決定部１３Ａに出力する。

次に、バリデーション方法決定部１３Ａは、推薦情報Ｄ２が示すバリデーション方法を使用するか否かを判定する（ステップＳＴ６Ｄ）。また、バリデーション方法決定部１３Ａは、バリデーション方法を決定する前に、推薦されたバリデーション方法を、ユーザに確認させるための提示情報Ｄ６を生成し、提示情報Ｄ６をユーザフィードバック部１７に出力してもよい。ユーザフィードバック部１７は、提示情報Ｄ６をユーザに提示する。

ユーザフィードバック部１７は、提示情報Ｄ６に対するユーザからのフィードバック情報Ｄ７を取得すると、フィードバック情報Ｄ７をバリデーション方法決定部１３Ａに出力する。バリデーション方法決定部１３Ａは、フィードバック情報Ｄ７に基づいて、推薦されたバリデーション方法を使用するか否かを判定する。

推薦情報Ｄ２が示すバリデーション方法を使用すると判定した場合（ステップＳＴ６Ｄ；ＹＥＳ）、バリデーション方法決定部１３Ａは、バリデーション方法推薦部１２Ａにより推薦されたバリデーション方法を、予測器の予測性能の評価に用いるバリデーション方法に決定する（ステップＳＴ７Ｄ）。バリデーション方法決定部１３Ａは、使用を決定したバリデーション方法を示す情報Ｄ３を、外部装置（例えば、バリデーション装置）に出力する。

また、推薦情報Ｄ２が示すバリデーション方法を使用しないと判定した場合（ステップＳＴ６Ｄ；ＮＯ）、バリデーション方法決定部１３Ａは、その旨をバリデーション方法推薦部１２Ａに通知する。バリデーション方法推薦部１２Ａは、上記通知を受けると、パラメータｉを＋１加算し（ステップＳＴ８Ｄ）、次の順番のカラムデータに対し、ステップＳＴ５Ｄからの処理を繰り返す。ステップＳＴ５ＤからステップＳＴ７Ｄまでの処理は、バリデーション方法が決定されるまで繰り返し実行される。

なお、バリデーション方法決定装置１Ａにおけるデータ取得部１１Ａ、バリデーション方法推薦部１２Ａ、バリデーション方法決定部１３Ａ、データ種別判定部１４、分布計算部１５、順序付け部１６およびユーザフィードバック部１７の機能は、図１５Ａまたは図１５Ｂに示した処理回路によって実現される。すなわち、バリデーション方法決定装置１Ａは、図１７に示したステップＳＴ１ＤからステップＳＴ８Ｄまでの処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵであってもよい。

図１８は、実施の形態２におけるバリデーション方法の推薦処理例（１）を示すフローチャートであり、バリデーション方法推薦部１２Ａによる処理の一例を示している。
バリデーション方法推薦部１２Ａは、データ種別情報Ｄ１＿３を用いて、学習データＤ１＿１およびテストデータＤ１＿２からデータ種別が「日時」であるカラムデータＣ１を抽出する。バリデーション方法推薦部１２Ａは、学習データＤ１＿１のカラムデータＣ１に含まれる最も新しい日時よりも、テストデータＤ１＿２のカラムデータＣ１に含まれる最も古い日時が新しいか否かを判定する（ステップＳＴ１Ｅ）。

学習データＤ１＿１のカラムデータＣ１に含まれる最も新しい日時よりもテストデータＤ１＿２のカラムデータＣ１に含まれる最も古い日時が新しい場合（ステップＳＴ１Ｅ；ＹＥＳ）、バリデーション方法推薦部１２Ａは、「過去のデータから未来のデータを予測したいか」をユーザに問い合わせるための提示情報Ｄ４を生成し、生成した提示情報Ｄ４をユーザフィードバック部１７に出力する。

ユーザフィードバック部１７は、上記提示情報Ｄ４をユーザに提示する。これにより、バリデーション方法推薦部１２Ａは、過去のデータから未来のデータを予測したいか否かを判定する（ステップＳＴ２Ｅ）。ユーザフィードバック部１７は、提示情報Ｄ４に対するフィードバック情報Ｄ５をバリデーション方法推薦部１２Ａに出力する。

バリデーション方法推薦部１２Ａは、フィードバック情報Ｄ５を用いて、ユーザが過去のデータから未来のデータを予測したいと判定した場合（ステップＳＴ２Ｅ；ＹＥＳ）、第１のバリデーション方法を示す推薦情報Ｄ２を生成し、この推薦情報Ｄ２をバリデーション方法決定部１３に出力する（ステップＳＴ３Ｅ）。

バリデーション方法推薦部１２Ａは、日時のカラムデータＣ１における学習データＤ１＿１とテストデータＤ１＿２の分布差異に基づいて、学習データＤ１＿１とバリデーションデータの時系列の順序関係を保つように、学習データＤ１＿１とバリデーションデータとを抽出するバリデーション方法を推薦する。例えば、バリデーション方法推薦部１２Ａは、第１のバリデーション方法として、学習データＤ１＿１における時系列的に過去のデータを予測器の学習に用い、時系列的に未来のデータをバリデーションデータとして抽出するバリデーション方法を推薦する。

バリデーション方法推薦部１２Ａは、学習データＤ１＿１のカラムデータＣ１に含まれる最も新しい日時よりもテストデータＤ１＿２のカラムデータＣ１に含まれる最も古い日時が古いか両日時が同じであると判定した場合（ステップＳＴ１Ｅ；ＮＯ）、あるいは、ユーザが過去のデータから未来のデータを予測したくないと判定した場合（ステップＳＴ２Ｅ；ＮＯ）、バリデーション方法の推薦処理の対象として次のカラムデータを確認する（ステップＳＴ４Ｅ）。

図１９は、実施の形態２におけるバリデーション方法の推薦処理例（２）を示すフローチャートであり、バリデーション方法推薦部１２Ａによる処理の一例を示している。
バリデーション方法推薦部１２Ａは、データ種別情報Ｄ１＿３を用いて、学習データＤ１＿１およびテストデータＤ１＿２からデータ種別が「カテゴリ」であるカラムデータＣ３を抽出する。次に、バリデーション方法推薦部１２Ａは、カラムデータＣ３における、学習データＤ１＿１の分布とテストデータＤ１＿２の分布との重複が閾値以上であるか否かを判定する（ステップＳＴ１Ｆ）。

学習データＤ１＿１の分布とテストデータＤ１＿２の分布との重複が閾値以上であると判定した場合（ステップＳＴ１Ｆ；ＹＥＳ）、バリデーション方法推薦部１２Ａは、第２のバリデーション方法を示す推薦情報Ｄ２を生成し、推薦情報Ｄ２をバリデーション方法決定部１３Ａに出力する（ステップＳＴ２Ｆ）。例えば、バリデーション方法推薦部１２Ａは、第２のバリデーション方法として、教師ラベルの割合が同一になるように、学習データＤ１＿１とバリデーションデータとを抽出するバリデーション方法を推薦する。

また、学習データＤ１＿１の分布とテストデータＤ１＿２の分布との重複が閾値未満である場合（ステップＳＴ１Ｆ；ＮＯ）、バリデーション方法推薦部１２Ａは、「未知のカテゴリに対して予測したいか」をユーザに問い合わせるための提示情報Ｄ４を生成して、生成した提示情報Ｄ４をユーザフィードバック部１７に出力する。

ユーザフィードバック部１７は、上記提示情報Ｄ４をユーザに提示する。これにより、バリデーション方法推薦部１２Ａは、未知のカテゴリに対して予測したいか否かを判定する（ステップＳＴ３Ｆ）。ユーザフィードバック部１７は、提示情報Ｄ４に対するフィードバック情報Ｄ５をバリデーション方法推薦部１２Ａに出力する。
バリデーション方法推薦部１２Ａは、フィードバック情報Ｄ５を用いて、ユーザが未知のカテゴリに対して予測したくないと判定した場合（ステップＳＴ３Ｆ；ＮＯ）、ステップＳＴ２Ｆの処理に移行する。

バリデーション方法推薦部１２Ａは、フィードバック情報Ｄ５を用いて、ユーザが未知のカテゴリに対して予測したいと判定した場合（ステップＳＴ３Ｆ；ＹＥＳ）、第３のバリデーション方法を示す推薦情報Ｄ２を生成し、この推薦情報Ｄ２をバリデーション方法決定部１３Ａに出力する（ステップＳＴ４Ｆ）。例えば、バリデーション方法推薦部１２Ａは、第３のバリデーション方法として、グループ単位で学習データＤ１＿１とバリデーションデータとを抽出するバリデーション方法を推薦する。

図２０は、実施の形態２におけるバリデーション方法の推薦処理例（３）を示すフローチャートであり、バリデーション方法推薦部１２Ａによる処理の一例を示している。
バリデーション方法推薦部１２Ａは、データ種別情報Ｄ１＿３を用いて、学習データＤ１＿１およびテストデータＤ１＿２から、データ種別が「数値」であるカラムデータＣ２を抽出する。続いて、バリデーション方法推薦部１２Ａは、カラムデータＣ２における、学習データＤ１＿１の最大値がテストデータＤ１＿２の最小値よりも小さいか否か、または、学習データＤ１＿１の最小値がテストデータＤ１＿２の最大値よりも大きいか否かを判定する（ステップＳＴ１Ｇ）。

学習データＤ１＿１の最大値がテストデータＤ１＿２の最小値よりも小さい、または、学習データＤ１＿１の最小値がテストデータＤ１＿２の最大値よりも大きいと判定した場合（ステップＳＴ１Ｇ；ＹＥＳ）、バリデーション方法推薦部１２Ａは、「学習データとテストデータの大小関係を保ったまま予測したいか」をユーザに問い合わせるための提示情報Ｄ４を生成して、生成した提示情報Ｄ４をユーザフィードバック部１７に出力する。

ユーザフィードバック部１７は、上記提示情報Ｄ４をユーザに提示する。これにより、バリデーション方法推薦部１２Ａは、学習データとテストデータの大小関係を保ったまま予測したいか否かを判定する（ステップＳＴ２Ｇ）。ユーザフィードバック部１７は、提示情報Ｄ４に対するフィードバック情報Ｄ５を、バリデーション方法推薦部１２Ａに出力する。

バリデーション方法推薦部１２Ａは、フィードバック情報Ｄ５を用いて、ユーザが学習データとテストデータの大小関係を保ったまま予測したいと判定した場合（ステップＳＴ２Ｇ；ＹＥＳ）、第４のバリデーション方法を示す推薦情報Ｄ２を生成し、推薦情報Ｄ２をバリデーション方法決定部１３Ａに出力する（ステップＳＴ３Ｇ）。例えば、バリデーション方法推薦部１２Ａは、第４のバリデーション方法として、学習データＤ１＿１とテストデータＤ１＿２との大小関係を保つように、学習データＤ１＿１とバリデーションデータを抽出するバリデーション方法を推薦する。

学習データＤ１＿１の最大値がテストデータＤ１＿２の最小値以上、または、学習データＤ１＿１の最小値がテストデータＤ１＿２の最大値以下と判定した場合（ステップＳＴ１Ｇ；ＮＯ）、あるいは、ユーザが学習データとテストデータの大小関係を保ったまま予測したくないと判定した場合（ステップＳＴ２Ｇ；ＮＯ）、バリデーション方法推薦部１２Ａは、カラムデータＣ２における、学習データＤ１＿１の分布とテストデータＤ１＿２の分布との重複が閾値以上であるか否かを判定する（ステップＳＴ４Ｇ）。

学習データＤ１＿１の分布とテストデータＤ１＿２の分布との重複が閾値以上であると判定した場合（ステップＳＴ４Ｇ；ＹＥＳ）、バリデーション方法推薦部１２Ａは、第２のバリデーション方法を示す推薦情報Ｄ２を生成し、推薦情報Ｄ２をバリデーション方法決定部１３Ａに出力する（ステップＳＴ５Ｇ）。第２のバリデーション方法は、教師ラベルの割合が同一になるように、学習データＤ１＿１とバリデーションデータを抽出するバリデーション方法である。

学習データＤ１＿１の分布とテストデータＤ１＿２の分布との重複が閾値未満であると判定した場合（ステップＳＴ４Ｇ；ＮＯ）、バリデーション方法推薦部１２Ａは、第５のバリデーション方法を示す推薦情報Ｄ２を生成して、推薦情報Ｄ２をバリデーション方法決定部１３に出力する（ステップＳＴ６Ｇ）。例えば、バリデーション方法推薦部１２Ａは、第５のバリデーション方法として、学習データＤ１＿１とテストデータＤ１＿２との局在関係を保つように、学習データＤ１＿１とバリデーションデータを抽出するバリデーション方法を推薦する。

なお、バリデーション方法推薦部１２または１２Ａは、学習データＤ１＿１とテストデータＤ１＿２との分布の重なり度合い（Ｏｖｅｒｌａｐ）、要約統計量（例えば、最大、最小、中央値、平均値、分散値、任意の分位点値）の比較、ユークリッド距離、マハラノビス距離、チェビシェフ距離、ハミング距離、マンハッタン距離、ミンコフスキー距離、ＤＴＷ（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ、動的時間伸縮法）距離、ＣＴＷ（Ｃａｎｏｎｉｃａｌ Ｔｉｍｅ Ｗａｒｐｉｎｇ）距離、Ｈｉｓｔｏｇｒａｍ Ｉｎｔｅｒｓｅｃｔｉｏｎ、ＫＬダイバージェンス、ＪＳダイバージェンス、ピアソン距離および相対ピアソン距離のいずれか、またはこれらの組み合わせを用いて、バリデーション方法の推薦を行ってもよい。

また、データ種別判定部１４は、値のデータ型（ｉｎｔ（整数），ｆｌｏａｔ（小数），ｓｔｒ（文字），ｂｏｏｌ（真偽），ｄａｔｅｔｉｍｅ（日付、時刻），ｎａｎ）、値の要素数、値の頻度、データのラベル名、周期性（年月日、時刻）、相関値（偏自己相関係数、目的変数との相関係数）、データの要約統計量、ラグ特徴量、上記値の大小関係を組み合わせてデータ種別を判定してもよい。

分布計算部１５は、学習データＤ１＿１とテストデータＤ１＿２との分布の重なり度合い（Ｏｖｅｒｌａｐ）、要約統計量（例えば、最大、最小、中央値、平均値、分散値、任意の分位点値）の比較、ユークリッド距離、マハラノビス距離、チェビシェフ距離、ハミング距離、マンハッタン距離、ミンコフスキー距離、ＤＴＷ（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ、動的時間伸縮法）距離、ＣＴＷ（Ｃａｎｏｎｉｃａｌ Ｔｉｍｅ Ｗａｒｐｉｎｇ）距離、Ｈｉｓｔｏｇｒａｍ Ｉｎｔｅｒｓｅｃｔｉｏｎ、ＫＬダイバージェンス、ＪＳダイバージェンス、ピアソン距離および相対ピアソン距離のいずれか、またはこれらの組み合わせを用いて、分布情報Ｄ１＿４を生成してもよい。

以上のように、実施の形態２に係るバリデーション方法決定装置１Ａは、学習データＤ１＿１およびテストデータＤ１＿２を構成するカラムデータのデータ種別を判定してデータ種別情報Ｄ１＿３を生成するデータ種別判定部１４を備える。バリデーション方法決定装置１Ａは、学習データＤ１＿１およびテストデータＤ１＿２を用いて、これらのデータを構成するカラムデータのデータ種別を判定することができる。

実施の形態２に係るバリデーション方法決定装置１Ａは、学習データＤ１＿１の分布とテストデータＤ１＿２の分布との差異を算出し、算出した分布差異を示す分布情報Ｄ１＿４を出力する分布計算部１５を備える。バリデーション方法推薦部１２Ａは、分布情報Ｄ１＿４に基づいてバリデーション方法を推薦する。バリデーション方法決定装置１Ａは、学習データＤ１＿１およびテストデータＤ１＿２を用いて、学習データＤ１＿１とテストデータＤ１＿２との分布差異を算出することができる。

実施の形態２に係るバリデーション方法決定装置１Ａは、データ種別情報Ｄ１＿３および分布情報Ｄ１＿４を用いて、バリデーションデータを抽出するカラムデータの順序付けを行い、カラムデータの順序付けを示す順序情報を出力する順序付け部１６を備えた。
バリデーション方法決定装置１Ａは、データ種別情報Ｄ１＿３および分布情報Ｄ１＿４を用いて、カラムデータの順序付けを行うことができる。

実施の形態２に係るバリデーション方法決定装置１Ａは、バリデーション方法の推薦に関する提示情報Ｄ４を出力し、提示情報Ｄ４に対するフィードバック情報Ｄ５をバリデーション方法推薦部１２Ａに出力するユーザフィードバック部１７を備える。バリデーション方法推薦部１２Ａは、取得したフィードバック情報Ｄ５に応じたバリデーション方法を推薦する。バリデーション方法推薦部１２Ａは、ユーザからのフィードバック情報Ｄ５に応じたバリデーション方法を、バリデーション方法決定部１３Ａに推薦することが可能である。

実施の形態２に係るバリデーション方法決定装置１Ａは、バリデーション方法の決定に関する提示情報Ｄ６を出力し、提示情報Ｄ６に対するフィードバック情報Ｄ７をバリデーション方法決定部１３Ａに出力するユーザフィードバック部１７を備える。バリデーション方法決定部１３Ａは、取得したフィードバック情報Ｄ７に基づいて、推薦されたバリデーション方法を、予測器の予測性能の評価に用いるか否かを決定する。
バリデーション方法決定装置１Ａは、ユーザからのフィードバック情報Ｄ７を用いて、予測器の予測性能の評価に用いるバリデーション方法を決定することが可能である。

実施の形態２に係るバリデーション方法決定装置１Ａにおいて、ユーザフィードバック部１７は、過去のデータを用いて未来のデータを予測するか否かの問い合わせ情報を提示情報として出力し、提示情報に対するフィードバック情報をバリデーション方法推薦部１２Ａに出力する。バリデーション方法推薦部１２Ａは、過去のデータを用いて未来のデータを予測することを示すフィードバック情報を取得した場合に、学習データとバリデーションデータとの時系列の順序関係を保つように、学習データとバリデーションデータとを抽出するバリデーション方法を推薦する。このように、バリデーション方法推薦部１２Ａは、ユーザからのフィードバック情報Ｄ５に応じたバリデーション方法を、バリデーション方法決定部１３Ａに推薦することが可能である。

実施の形態２に係るバリデーション方法決定装置１Ａにおいて、ユーザフィードバック部１７は、未知のカテゴリについて予測するか否かの問い合わせ情報を提示情報として出力し、提示情報に対するフィードバック情報をバリデーション方法推薦部１２Ａに出力する。バリデーション方法推薦部１２Ａは、未知のカテゴリについて予測することを示すフィードバック情報を取得した場合、グループ単位で学習データとバリデーションデータを抽出するバリデーション方法を推薦する。バリデーション方法推薦部１２Ａは、未知のカテゴリについて予測しないことを示すフィードバック情報を取得した場合には、教師ラベルの割合が同一になるように、学習データとバリデーションデータとを抽出するバリデーション方法を推薦する。このように、バリデーション方法推薦部１２Ａは、ユーザからのフィードバック情報Ｄ５に応じたバリデーション方法を、バリデーション方法決定部１３Ａに推薦することが可能である。

実施の形態２に係るバリデーション方法決定装置１Ａにおいて、ユーザフィードバック部１７は、学習データとテストデータとの大小関係を保ったまま予測するか否かの問い合わせ情報を提示情報として出力し、提示情報に対するフィードバック情報をバリデーション方法推薦部１２Ａに出力する。
バリデーション方法推薦部１２Ａは、学習データとテストデータとの大小関係を保ったまま予測することを示すフィードバック情報を取得した場合、学習データとテストデータとの大小関係を保つように、学習データとバリデーションデータとを抽出するバリデーション方法を推薦する。
また、バリデーション方法推薦部１２Ａは、学習データとテストデータとの大小関係を保ったまま予測をしないことを示すフィードバック情報を取得し、かつ学習データの分布とテストデータの分布との分布差異が閾値以上である場合、教師ラベルの割合が同一になるように、学習データとバリデーションデータとを抽出するバリデーション方法を推薦する。さらに、バリデーション方法推薦部１２Ａは、学習データとテストデータとの大小関係を保ったまま予測をしないことを示すフィードバック情報を取得し、かつ学習データの分布とテストデータの分布との分布差異が閾値未満である場合には、学習データとテストデータとの局在関係を保つように、学習データとバリデーションデータとを抽出するバリデーション方法を推薦する。
このように、バリデーション方法推薦部１２Ａは、ユーザからのフィードバック情報Ｄ５に応じたバリデーション方法を、バリデーション方法決定部１３Ａに推薦することが可能である。

なお、各実施の形態の組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。

本開示に係るバリデーション方法決定装置は、一般的な機械学習の教師ありのタスクに有効であり、例えば、識別に関するタスク、回帰（予測）に関するタスクまたはこれらに関するＡｕｔｏＭＬ（Ａｕｔｏｍａｔｅｄ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）システムに利用可能である。

１，１Ａ バリデーション方法決定装置、１１，１１Ａ データ取得部、１２，１２Ａ バリデーション方法推薦部、１３，１３Ａ バリデーション方法決定部、１４ データ種別判定部、１５ 分布計算部、１６ 順序付け部、１７ ユーザフィードバック部、１００ 入力インタフェース、１０１ 出力インタフェース、１０２ 処理回路、１０３ プロセッサ、１０４ メモリ。

Claims (15)

1. 予測器の学習に用いる学習データおよび前記予測器の予測精度の測定に用いるテストデータを取得するデータ取得部と、
   前記学習データ、前記テストデータおよび両データを構成するカラムデータのデータ種別を示すデータ種別情報を用いて、前記学習データと予測対象に対応したバリデーションデータとを抽出するバリデーション方法を推薦するバリデーション方法推薦部と、
   推薦されたバリデーション方法から、前記予測器の予測性能の評価に用いるバリデーション方法を決定するバリデーション方法決定部と、を備えた
   ことを特徴とするバリデーション方法決定装置。
2. 前記バリデーション方法推薦部は、前記学習データと前記バリデーションデータの時系列の順序関係を保つように、前記学習データと前記バリデーションデータを抽出するバリデーション方法を推薦する
   ことを特徴とする請求項１に記載のバリデーション方法決定装置。
3. 前記バリデーション方法推薦部は、教師ラベルの割合が同一になるように、前記学習データと前記バリデーションデータを抽出するバリデーション方法を推薦する
   ことを特徴とする請求項１に記載のバリデーション方法決定装置。
4. 前記バリデーション方法推薦部は、グループ単位で前記学習データと前記バリデーションデータを抽出するバリデーション方法を推薦する
   ことを特徴とする請求項１に記載のバリデーション方法決定装置。
5. 前記バリデーション方法推薦部は、前記学習データと前記テストデータとの大小関係を保つように、前記学習データと前記バリデーションデータを抽出するバリデーション方法を推薦する
   ことを特徴とする請求項１に記載のバリデーション方法決定装置。
6. 前記バリデーション方法推薦部は、前記学習データと前記テストデータとの局在関係を保つように、前記学習データと前記バリデーションデータを抽出するバリデーション方法を推薦する
   ことを特徴とする請求項１に記載のバリデーション方法決定装置。
7. 前記学習データおよび前記テストデータをそれぞれ構成するカラムデータのデータ種別を判定して前記データ種別情報を生成するデータ種別判定部を備えた
   ことを特徴とする請求項１に記載のバリデーション方法決定装置。
8. 前記学習データの分布と前記テストデータの分布との差異を算出し、算出した分布差異を示す分布情報を出力する分布計算部を備え、
   前記バリデーション方法推薦部は、前記分布情報に基づいてバリデーション方法を推薦する
   ことを特徴とする請求項１に記載のバリデーション方法決定装置。
9. 前記データ種別情報および前記分布情報を用いて、前記バリデーションデータを抽出するカラムデータの順序付けを行い、カラムデータの順序付けを示す順序情報を出力する順序付け部を備えた
   ことを特徴とする請求項８に記載のバリデーション方法決定装置。
10. バリデーション方法の推薦に関する提示情報を出力し、前記提示情報に対するフィードバック情報を前記バリデーション方法推薦部に出力するフィードバック部を備え、
    前記バリデーション方法推薦部は、取得した前記フィードバック情報に対応するバリデーション方法を推薦する
    ことを特徴とする請求項１に記載のバリデーション方法決定装置。
11. バリデーション方法の決定に関する提示情報を出力し、前記提示情報に対するフィードバック情報を前記バリデーション方法決定部に出力するフィードバック部を備え、
    前記バリデーション方法決定部は、取得した前記フィードバック情報に基づいて、推薦されたバリデーション方法を、前記予測器の予測性能の評価に用いるか否かを決定する
    ことを特徴とする請求項１に記載のバリデーション方法決定装置。
12. 前記フィードバック部は、過去のデータを用いて未来のデータを予測するか否かの問い合わせ情報を前記提示情報として出力し、前記提示情報に対する前記フィードバック情報を前記バリデーション方法推薦部に出力し、
    前記バリデーション方法推薦部は、過去のデータを用いて未来のデータを予測することを示す前記フィードバック情報を取得した場合に、前記学習データと前記バリデーションデータの時系列の順序関係を保つように、前記学習データと前記バリデーションデータを抽出するバリデーション方法を推薦する
    ことを特徴とする請求項１０に記載のバリデーション方法決定装置。
13. 前記フィードバック部は、未知のカテゴリについて予測するか否かの問い合わせ情報を前記提示情報として出力し、前記提示情報に対する前記フィードバック情報を前記バリデーション方法推薦部に出力し、
    前記バリデーション方法推薦部は、
    未知のカテゴリについて予測することを示す前記フィードバック情報を取得した場合、グループ単位で前記学習データと前記バリデーションデータを抽出するバリデーション方法を推薦し、
    未知のカテゴリについて予測しないことを示す前記フィードバック情報を取得した場合は、教師ラベルの割合が同一になるように前記学習データと前記バリデーションデータを抽出するバリデーション方法を推薦する
    ことを特徴とする請求項１０に記載のバリデーション方法決定装置。
14. 前記フィードバック部は、前記学習データと前記テストデータとの大小関係を保ったまま予測するか否かの問い合わせ情報を前記提示情報として出力し、前記提示情報に対する前記フィードバック情報を前記バリデーション方法推薦部に出力し、
    前記バリデーション方法推薦部は、
    前記学習データと前記テストデータとの大小関係を保ったまま予測することを示す前記フィードバック情報を取得した場合に、前記学習データと前記テストデータの大小関係を保つように、前記学習データと前記バリデーションデータを抽出するバリデーション方法を推薦し、
    前記学習データと前記テストデータとの大小関係を保ったまま予測をしないことを示す前記フィードバック情報を取得し、かつ前記学習データの分布と前記テストデータの分布との分布差異が閾値以上である場合に、教師ラベルの割合が同一になるように、前記学習データと前記バリデーションデータを抽出するバリデーション方法を推薦し、
    前記学習データと前記テストデータとの大小関係を保ったまま予測をしないことを示す前記フィードバック情報を取得し、かつ前記学習データの分布と前記テストデータの分布との分布差異が閾値未満である場合に、前記学習データと前記テストデータの局在関係を保つように、前記学習データと前記バリデーションデータを抽出するバリデーション方法を推薦する
    ことを特徴とする請求項１０に記載のバリデーション方法決定装置。
15. データ取得部が、予測器の学習に用いる学習データおよび前記予測器の予測精度の測定に用いるテストデータを取得するステップと、
    バリデーション方法推薦部が、前記学習データ、前記テストデータおよび両データを構成するカラムデータのデータ種別を示すデータ種別情報を用いて、前記学習データと予測対象に対応したバリデーションデータとを抽出するバリデーション方法を推薦するステップと、
    バリデーション方法決定部が、推薦されたバリデーション方法から、前記予測器の予測性能の評価に用いるバリデーション方法を決定するステップと、を備えた
    ことを特徴とするバリデーション方法決定方法。

Images