JP6973197B2 - データセット検証装置、データセット検証方法、およびデータセット検証プログラム - Google Patents

Description

この発明は、元データセットから、機械学習に用いる学習用データセットを生成する技術に関する。

従来、機械学習では、学習フェーズと、評価フェーズとを繰り返すことによって、統計モデル（識別モデル）を構築する。学習フェーズは、与えられた学習用データセットを用いて、統計モデルを構築する工程である。評価フェーズは、与えられた評価用データセットを用いて、学習フェーズで構築された統計モデルを評価する工程である。機械学習で統計モデルを構築する学習装置は、例えば特許文献１等に示されている。

機械学習では、収集した元データセットに属するデータ群から、抜き出した一部のデータ群を学習用データセットとして生成し、この学習用データセットを用いて学習フェーズを実行している。また、機械学習では、収集した元データセットに属するデータ群から、学習用データセットとして抜き出さなかったデータ群の全部、または一部を評価用データセットとして生成し、この評価用データセットを用いて評価フェーズを実行している。

なお、多くの場合、元データセットに属するデータ群を有効に活用するため、元データセットを、学習用データセットと、評価用データセットとに２つに分割している。

特開２０１０−１５２７５１号公報

しかしながら、学習用データセットが、元データセットから偏った属性のデータ群を抜き出したものであると、学習フェーズにおいて、この偏った属性についての統計モデルが構築される。すなわち、学習フェーズでは、ある偏った属性（一部の属性）についての学習が行われるだけである（未学習の属性が生じる。）。したがって、学習フェーズで、未学習の属性について十分な識別率を得ることができない、汎化性の低い統計モデルが構築されてしまう。ここで言う属性は、事象の種類、事象の発生頻度、事象の発生傾向等にかかるデータ群の性質である。

このように、学習用データセットとして、元データセットから抜き出されたデータ群の属性が偏っていると、汎化性の高い統計モデルを構築する学習フェーズを実行させることができない。

この発明の目的は、汎化性の低い統計モデルを構築する学習フェーズの実行を抑制する技術を提供することにある。

この発明のータセット検証装置は、上記目的を達成するため以下に示すように構成している。

データセット生成部が、元データセットから、機械学習に用いる学習用データセット、および学習用データセットを用いた機械学習で得られた識別モデルを評価する評価用データセットを生成する。特徴抽出部が、データセット生成部が生成した学習用データセットに属する第１データ群の特徴、およびデータセット生成部が生成した評価用データセットに属する第２データ群の特徴を抽出する。例えば、特徴抽出部は、第１データ群の特徴として当該第１データ群の尤度関数を抽出し、第２データ群の特徴として当該第２データ群の尤度関数を抽出する。そして、判定部は、特徴抽出部が抽出した第１データ群の特徴と、第２データ群の特徴とに基づいて、データセット生成部が生成した前記学習用データセットが適正であるかどうかを判定する。例えば、判定部は、第１データ群の特徴と、第２データ群の特徴とに類似性がなければ、データセット生成部が生成した学習用データセットが適正でないと判定する。

学習用データセットが、元データセットから偏った属性のデータ群を抜き出したものである場合、学習用データセットに属するデータ群（第１データ群）の特徴と、評価用データセットに属するデータ群（第２データ群）の特徴との類似性が低くなる。反対に、学習用データセットが、元データセットから偏った属性のデータ群を抜き出したものでない場合、学習用データセットに属するデータ群（第１データ群）の特徴と、評価用データセットに属するデータ群（第２データ群）の特徴との類似性が高くなる。したがって、判定部が適正でないと判定した学習用データセットを用いた学習フェーズの実行を制限することにより、汎化性の低い統計モデルを構築する学習フェーズの実行を抑制することができる。

また、学習用データセットが元データセットから偏った属性のデータ群を抜き出したものであるかどうかの判定を、元データセットに属する第３データ群の特徴も用いて行うことで、この判定精度を高めることができる。例えば、第１データ群、第２データ群、および第３データ群の中から選択した２つのデータ群の組合せ（合計３通り）のいずれかにおいて、特徴に類似性がなければ、データセット生成部が生成した学習用データセットが適正でないと判定すればよい。したがって、より確実に、汎化性の低い統計モデルを構築する学習フェーズの実行を抑制することができる。

さらに、学習用データセットが元データセットから偏った属性のデータ群を抜き出したものであるかどうかの判定を、第１データ群の特徴と、第３データ群の特徴とによって判定してもよい。この構成でも、汎化性の低い統計モデルを構築する学習フェーズの実行を抑制することができる。

この発明によれば、汎化性の低い統計モデルを構築する学習フェーズの実行を抑制することができる。

この発明にかかるデータセット検証装置を適用した１例の機械学習システムの主要部の構成を示すブロック図である。 データセット検証装置の主要部の構成を示すブロック図である。 データセット検証装置の動作を示すフローチャートである。 別の例にかかるデータセット検証装置の動作を示すフローチャートである。 別の例にかかるデータセット検証装置の動作を示すフローチャートである。

以下、この発明の実施形態について説明する。

＜１．適用例＞
図１は、この発明にかかるデータセット検証装置を適用した１例の機械学習システムの主要部の構成を示すブロック図である。この例にかかる機械学習システムは、データセット検証装置１と、識別モデル構築装置２と、識別モデル評価装置３と、元データセット記憶データベース４（元データセット記憶ＤＢ４）とを備えている。

元データセット記憶ＤＢ４には、元データセットを記憶する。元データセットは、収集したデータ群である。データは、例えばＮ次元の実数ベクトルにかかるデータ、Ｎ次元の実数の時系列ベクトルにかかるデータ等である。具体的に説明すると、データは、例えば顔画像データであり、元データセットは様々な年齢の男女の顔画像データの集まりである。また、データは、例えば車両の画像データであり、２輪車、軽自動車、普通自動車、トラック、バス等の様々な車種の車両の画像データの集まりである。また、データは、例えば音声データであり、元データセットは様々な年齢の男女の発声にかかる音声データの集まりである。データの種類は、構築する識別モデルの種類に応じて決定される。

データセット検証装置１は、元データセット記憶ＤＢ４に記憶している元データセットから学習用データセット、および評価用データセットを生成する。具体的には、データセット検証装置１は、元データセットに属するデータ群から、抜き出した一部のデータ群を学習用データセットとして生成する。また、データセット検証装置１は、元データセットに属するデータ群から、学習用データセットとして抜き出さなかったデータ群を評価用データセットとして生成する。すなわち、この例では、データセット検証装置１は、元データセットに属するデータ群を２つに分割し、一方のデータ群を学習用データセットにし、他方のデータ群を評価用データセットにする。

データセット検証装置１は、学習用データセットに属するデータ群が、元データセットから偏った属性のデータ群を抜き出したものであるかどうかを判定する。データセット検証装置１は、学習用データセットが元データセットから偏った属性のデータ群を抜き出したものであると判定すると、学習用データセット、および評価用データセットを再生成する。例えば、学習用データセットの一部のデータ群と、評価用データセットの一部のデータ群とを入れ替えることにより、学習用データセット、および評価用データセットを再生成する。または、再度、上述した、元データセットから抜き出した一部のデータ群を学習用データセットにし、残りのデータ群を評価用データ群にする処理を実行することにより、学習用データセット、および評価用データセットを再生成する。

学習用データセットに属するデータ群がこの発明で言う第１データ群に相当し、評価用データセットに属するデータ群がこの発明で言う第２データ群に相当し、元データセットに属するデータ群がこの発明で言う第３データ群に相当する。

なお、ここで言う属性とは、事象の種類、事象の発生頻度、事象の発生傾向等のデータの性質を示す。

データセット検証装置１は、学習用データセットが元データセットから偏った属性のデータ群を抜き出したものでないと判定すると、学習用データセットを識別モデル構築装置２に供給し、評価用データセットを識別モデル評価装置３に供給する。

識別モデル構築装置２は、供給された学習用データセットを用いて識別モデルを構築する学習フェーズを実行する。識別モデル構築装置２は、ディープラーニングを実行するニューラルネットワークである。識別モデル構築装置２は、構築した識別モデルを識別モデル評価装置３に出力する。

識別モデル評価装置３は、識別モデル構築装置２で構築された識別モデルを、供給された評価用データセットを用いて評価する評価フェーズを実行する。識別モデル評価装置３は、識別モデル構築装置２で構築された識別モデルの評価結果を出力する。

このように、この機械学習システムでは、学習用データセットが元データセットから偏った属性のデータ群を抜き出したものである場合、この学習用データセットを用いた学習フェーズを識別モデル構築装置２に実行させない。したがって、識別モデル構築装置２が、汎化性の低い統計モデルを構築する学習フェーズを実行するのを抑制することができる。言い換えれば、汎化性の高い統計モデルを構築する学習フェーズを識別モデル構築装置２に実行させることができる。

＜２．構成例＞
図２は、データセット検証装置の主要部の構成を示すブロック図である。データセット検証装置１は、制御ユニット１１と、データベースアクセス部１２（ＤＢアクセス部１２）と、学習用データセット供給部１３と、評価用データセット供給部１４とを備えている。

制御ユニット１１は、データセット検証装置１本体各部の動作を制御する。また、制御ユニット１１は、データセット生成部２１と、特徴抽出部２２と、判定部２３とを有している。データセット生成部２１、特徴抽出部２２、および判定部２３の詳細については後述する。

ＤＢアクセス部１２は、元データセット記憶ＤＢ４、学習用データセット記憶データベース５（学習用データセット記憶ＤＢ５）、および評価用データセット記憶データベース６（評価用データセット記憶ＤＢ６）とのインタフェースである。データセット検証装置１は、ＤＢアクセス部１２を介して、元データセット記憶ＤＢ４、学習用データセット記憶ＤＢ５、および評価用データセット記憶ＤＢ６に対するデータの読み出し、およびデータの書き込みを行う。学習用データセット記憶ＤＢ５は、学習用データセットを記憶する。評価用データセット記憶ＤＢ６は、評価用データセットを記憶する。

学習用データセット供給部１３は、学習用データセット記憶ＤＢ５に記憶している学習用データセットを識別モデル構築装置２に供給する。評価用データセット供給部１４は、評価用データセット記憶ＤＢ６に記憶している評価用データセットを識別モデル評価装置３に供給する。

次に、制御ユニット１１が有する、データセット生成部２１、特徴抽出部２２、および判定部２３について説明する。

データセット生成部２１は、元データセット記憶ＤＢ４に記憶されている元データセットの一部のデータ群を抜き出し、ここで抜き出した一部のデータ群を学習用データセットとして生成する。また、データセット生成部２１は、元データセット記憶ＤＢ４に記憶されている元データセットのデータ群であって、学習用データセットとして抜き出さなかったデータ群を評価用データセットとして生成する。すなわち、この例では、データセット生成部２１は、元データセット記憶ＤＢ４に記憶している元データセットを２つのデータ群に分割し、その一方を学習用データセットにし、他方を評価用データセットにしている。

特徴抽出部２２は、データセット生成部２１が生成した学習用データセットの特徴、および評価用データセットの特徴を抽出する。ここで言う。学習用データセットの特徴は、この学習用データセットに属するデータ群についての、事象の種類、事象の発生頻度、事象の発生傾向等の性質を示す属性の分布である。同様に、評価用データセットの特徴は、この評価用データセットに属するデータ群についての、事象の種類、事象の発生頻度、事象の発生傾向等の性質を示す属性の分布である。特徴抽出部２２は、例えば属性の確率分布関数、確率密度関数、または尤度関数を特徴として抽出する。

判定部２３は、特徴抽出部２２において抽出された学習用データセットの特徴と、評価用データセットの特徴とを比較し、その類似性によって、学習用データセットが、元データセットから偏った属性のデータ群を抜き出したものであるかどうかを判定する。この例では、上述したように、元データセットのデータ群を２つのデータ群に分割し、その一方を学習用データセットにし、他方を評価用データセットにしているので、学習用データセットが元データセットから偏った属性のデータ群を抜き出したものであると、学習用データセットに属するデータ群の特徴と、評価用データセットに属するデータ群の特徴との類似性が低くなる。言い換えれば、学習用データセットが元データセットから偏った属性のデータ群を抜き出したものでなければ、学習用データセットに属するデータ群の特徴と、評価用データセットに属するデータ群の特徴との類似性が高くなる。判定部２３は、特徴抽出部２２が抽出した学習用データセットの特徴、および評価用データセットの特徴の種別に応じて、これらの類似性を、確率分布間の距離、または確率密度の比で判定する。

データセット検証装置１の制御ユニット１１は、ハードウェアＣＰＵ、メモリ、その他の電子回路によって構成されている。ハードウェアＣＰＵが、この発明にかかるデータセット検証プログラムを実行したときに、データセット生成部２１、特徴抽出部２２、および判定部２３として動作する。また、メモリは、この発明にかかるデータセット検証プログラムを展開する領域や、このデータセット検証プログラムの実行時に生じたデータ等を一時記憶する領域を有している。制御ユニット１１は、ハードウェアＣＰＵ、メモリ等を一体化したＬＳＩであってもよい。また、ハードウェアＣＰＵが、この発明にかかるデータセット検証方法を実行するコンピュータである。

また、元データセット記憶ＤＢ４、学習用データセット記憶ＤＢ５、および評価用データセット記憶ＤＢ６は、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であってもよい。また、元データセット記憶ＤＢ４、学習用データセット記憶ＤＢ５、および評価用データセット記憶ＤＢ６は、１つの補助記憶装置で構成してもよいし、複数の補助記憶装置で構成してもよい。

＜３．動作例＞
次に、この例にかかるデータセット検証装置１の動作について説明する。図３は、データセット検証装置の動作を示すフローチャートである。データセット検証装置１は、データセットの作成指示にかかる入力を受け付けると、図３に示す処理を実行する。データセット検証装置１には、図示していない操作部におけるオペレータの入力操作、または外部装置からの入力コマンドによってデータセットの作成指示が入力される。

データセット検証装置１は、学習用データセット、および評価用データセットを生成する（ｓ１）。具体的には、データセット生成部２１がＤＢアクセス部１２を介して接続されている元データセット記憶ＤＢ４に記憶しているデータ群を２つに分割し、一方を学習用データセットにし、他方を評価用データセットにする。データセット生成部２１は、元データセット記憶ＤＢ４に記憶しているデータ群を均等に２分割してもよいし、不均等に２分割してもよい。データセット生成部２１は、生成した学習用データセットを学習用データセット記憶ＤＢ５に記憶させる。また、データセット生成部２１は、生成した評価用データセットを評価用データセット記憶ＤＢ６に記憶させる。

データセット検証装置１は、ｓ１で生成した学習用データセットの特徴を抽出する（ｓ２）。また、データセット検証装置１は、ｓ１で生成した評価用データセットの特徴を抽出する（ｓ３）。特徴抽出部２２が、ｓ２、およびｓ３にかかる処理を実行する。特徴抽出部２２は、ｓ１で生成された学習用データセットに属するデータ群における、事象の種類、事象の発生頻度、事象の発生傾向等の性質を示す属性の確率分布関数、確率密度関数、または尤度関数を学習用データセットの特徴として抽出する。また、特徴抽出部２２は、ｓ１で生成された評価用データセットに属するデータ群における、事象の種類、事象の発生頻度、事象の発生傾向等の性質を示す属性の確率分布関数、確率密度関数、または尤度関数を、評価用データセットの特徴として抽出する。

なお、ｓ２で抽出する学習用データセットの特徴と、ｓ３で抽出する評価用データセットの特徴とは、同じ種別である。また、ｓ２、およびｓ３にかかる処理の順番は、上記と逆であってもよい。

データセット検証装置１は、ｓ２で抽出した学習用データセットの特徴と、ｓ３で抽出した評価用データセットの特徴とに類似性があるかどうかを判定する（ｓ４）。判定部２３が、ｓ４にかかる判定を行う。判定部２３は、特徴抽出部２２が抽出した学習用データセットの特徴、および評価用データセットの特徴の種別に応じて、これらに類似性があるかどうかを、確率分布間の距離、または確率密度の比によって判定する。

学習用データセットが元データセットから偏った属性のデータ群を抜き出したものであれば、学習用データセットの特徴と、評価用データセットの特徴との類似性が低くなる。反対に、学習用データセットが元データセットから偏った属性のデータ群を抜き出したものでなければ、学習用データセットの特徴と、評価用データセットの特徴との類似性が高くなる。すなわち、ｓ４で学習用データセットの特徴と、評価用データセットの特徴とに類似性がないと判定された場合、学習用データセットは、元データセットから偏った属性のデータ群を抜き出したものである。反対に、ｓ４で学習用データセットの特徴と、評価用データセットの特徴とに類似性があると判定された場合、学習用データセットは、元データセットから偏った属性のデータ群を抜き出したものでない。

データセット検証装置１は、判定部２３で類似性がないと判定すると、データセット生成部２１において、学習用データセット、および評価用データセットを再生成する（ｓ７）。ｓ７では、上述したｓ１と同様に、データセット生成部２１が、元データセット記憶ＤＢ４に記憶しているデータ群を２つに分割し、一方を学習用データセットにし、他方を評価用データセットにする手法であってもよい。この場合、データセット生成部２１は、元データセット記憶ＤＢ４に記憶しているデータ群の分割を前回とは異ならせる。また、データセット生成部２１は、ｓ１で生成し、学習用データセット記憶ＤＢ５に記憶させた学習用データセットのデータ群の一部を抽出するとともに、評価用データセット記憶ＤＢ６に記憶させた評価用データセットのデータ群の一部を抽出し、ここで抽出したデータ群を入れ替えることによって、学習用データセット、および評価用データを再生成してもよい。

データセット検証装置１は、ｓ７で学習用データセット、および評価用データセットを再生成すると、上述したｓ２以降の処理を繰り返す。

また、データセット検証装置１は、ｓ４で類似性があると判定すると、学習用データセット供給部１３が、その時点において学習用データセット記憶ＤＢ５に記憶している学習用データセットを識別モデル構築装置２に供給する（ｓ５）。また、評価用データセット供給部１４が、その時点において評価用データセット記憶ＤＢ６に記憶している評価用データセットを識別モデル評価装置３に供給し（ｓ６）、本処理を終了する。ｓ５、およびｓ６にかかる処理の順番は、上記と逆であってもよい。

識別モデル構築装置２は、ｓ５で供給された学習用データセットを用いて機械学習を行い、識別モデルを構築する。また、識別モデル評価装置３は、ｓ６で供給された評価用データセットを用いて、識別モデル構築装置２が構築した識別モデルを評価し、その評価結果を出力する。

このように、このデータセット検証装置１は、生成した学習用データセットが、元データセットから偏った属性のデータ群を抜き出したものである場合、この学習用データセットを識別モデル構築装置２に対して供給しない。したがって、識別モデル構築装置２において、汎化性の低い統計モデルを構築する学習フェーズが実行されるのを抑制することができる。

また、学習用データセットと、評価用データセットとの特徴に類似性があるので、識別モデル評価装置３における、識別モデル構築装置２が構築した識別モデルの評価が適正に行える。

＜４．変形例＞
次に、この発明にかかるデータセット検証装置１の別の例について説明する。この例にかかるデータセット検証装置１を適用した機械学習システムも図１に示す構成である。また、この例にかかるデータセット検証装置１は、上記した図２に示す構成である。この例のデータセット検証装置１は、図３に示した処理ではなく、図４に示す処理を実行する点で、上記の例と異なる。図４は、この例にかかるデータセット検証装置１の動作を示すフローチャートである。

この例にかかるデータセット検証装置１は、上述したｓ１〜ｓ３にかかる処理を実行した後、元データセット記憶ＤＢ４に記憶している元データセットの特徴を抽出する（ｓ１１）。ｓ１１にかかる元データセットの特徴の抽出は、特徴を抽出する対象が異なるだけで、上述したｓ２、ｓ３と同じである。

データセット検証装置１は、第１の組合せである学習用データセットの特徴と、評価用データセットの特徴とに類似性があるかどうかを判定する（ｓ１２）。このｓ１２にかかる処理は、上述した例のｓ４と同じ処理である。データセット検証装置１は、ｓ４で、第１の組合せである学習用データセットの特徴と、評価用データセットの特徴とに類似性がないと判定すると、ｓ７に進む。上述したように、学習用データセットが元データセットから偏った属性のデータ群を抜き出したものであれば、学習用データセットの特徴と、評価用データセットの特徴との類似性が低くなる。

また、データセット検証装置１は、ｓ１２で、第１の組合せである学習用データセットの特徴と、評価用データセットの特徴とに類似性があると判定すると、第２の組合せである元データセットの特徴と、学習用データセットの特徴とに類似性があるかどうかを判定する（ｓ１３）。このｓ１３にかかる処理は、類似性を判定する比較対象が異なるだけで、上述した例のｓ４と同じ処理である。データセット検証装置１は、ｓ１３で、第２の組合せである元データセットの特徴と、学習用データセットの特徴とに類似性がないと判定すると、ｓ７に進む。学習用データセットが元データセットから偏った属性のデータ群を抜き出したものであれば、元データセットの特徴と、学習用データセットの特徴との類似性も低くなる。

さらに、データセット検証装置１は、ｓ１３で、第２の組合せである元データセットの特徴と、学習用データセットの特徴とに類似性があると判定すると、第３の組合せである元データセットの特徴と、評価用データセットの特徴とに類似性があるかどうかを判定する（ｓ１４）。このｓ１４にかかる処理も、類似性を判定する比較対象が異なるだけで、上述した例のｓ４と同じ処理である。データセット検証装置１は、ｓ１４で、第３の組合せである元データセットの特徴と、評価用データセットの特徴とに類似性がないと判定すると、ｓ７に進む。学習用データセットが元データセットから偏った属性のデータ群を抜き出したものであれば、元データセットの特徴と、評価用データセットの特徴との類似性も低くなる。

なお、ｓ１２〜ｓ１４にかかる判定は、上記の順番に限らず、どのような順番で行ってもよい。

データセット検証装置１は、ｓ１４で、第３の組合せである元データセットの特徴と、評価用データセットの特徴とに類似性があると判定すると、上述したｓ５、およびｓ６にかかる処理を行い、本処理を終了する。

このように、この例では、元データセットと学習用データセット、元データセットと評価用データセット、および学習用データセットと評価用データセットの３つの組合せのそれぞれにおいて、特徴に類似性がある場合に、学習用データセットが元データセットから偏った属性のデータ群を抜き出したものでないと判断する。したがって、識別モデル構築装置２において、汎化性の低い統計モデルを構築する学習フェーズが実行されるのを、より確実に抑制することができる。

また、この例では、ｓ１で、元データセットを３つのデータ群に分割し、１つを学習用データセット、別の１つを評価用データセット、そして残りの１つを、学習用データセットおよび評価用データセットのいずれにも属さないデータ群（学習用データセットおよび評価用データセットとして利用しないデータ群）にすることによって、学習用データセット、および評価用データセットの生成する場合においても、学習用データセットが元データセットから偏った属性のデータ群を抜き出したものであるかどうかを精度よく判定できる。

さらに、学習用データセットと、評価用データセットとの特徴に類似性があるので、識別モデル評価装置３における、識別モデル構築装置２が構築した識別モデルの評価が適正に行える。

さらに、この発明にかかるデータセット検証装置１の別の例について説明する。この例にかかるデータセット検証装置１を適用した機械学習システムも図１に示す構成である。また、この例にかかるデータセット検証装置１は、上記した図２に示す構成である。この例のデータセット検証装置１は、図３に示した処理ではなく、図５に示す処理を実行する点で、上記の例と異なる。図５は、この例にかかるデータセット検証装置１の動作を示すフローチャートである。

この例にかかるデータセット検証装置１は、図３に示したｓ３、およびｓ４にかかる処理に替えて、ｓ２１、ｓ２２にかかる処理を行う点で相違している。ｓ２１では、評価用データセットの特徴を抽出するのではなく、元データセットの特徴を抽出する。このｓ２１にかかる処理は、上述したｓ１１と同様の処理である。データセット検証装置１は、ｓ２で抽出した学習用データセットの特徴と、ｓ２１で抽出した元データセットの特徴とに類似性があるかどうかを判定する（ｓ２２）。データセット検証装置１は、ｓ２２で学習用データセットの特徴と、元データセットの特徴とに類似性がないと判定すると、ｓ７に進む。一方、データセット検証装置１は、ｓ２２で学習用データセットの特徴と、元データセットの特徴とに類似性があると判定すると、ｓ５、およびｓ６に進む。

この例では、データセット検証装置１が、元データセットの特徴と学習用データセットの特徴とに類似性がなければ、学習用データセットを識別モデル構築装置２に供給しない。すなわち、この例のデータセット検証装置１も、生成した学習用データセットが、元データセットから偏った属性のデータ群を抜き出したものである場合、学習用データセットを識別モデル構築装置２に供給しない。したがって、識別モデル構築装置２において、汎化性の低い統計モデルを構築する学習フェーズが実行されるのを、より確実に抑制することができる。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

さらに、この発明に係る構成と上述した実施形態に係る構成との対応関係は、以下の付記のように記載できる。
＜付記＞
元データセットから、機械学習に用いる学習用データセット、および前記学習用データセットを用いた前記機械学習で得られた識別モデルを評価する評価用データセットを生成するデータセット生成部（２１）と、
前記データセット生成部（２１）が生成した前記学習用データセットに属する第１データ群の特徴、および前記データセット生成部（２１）が生成した前記評価用データセットに属する第２データ群の特徴を抽出する特徴抽出部（２２）と、
前記特徴抽出部（２２）が抽出した前記第１データ群の特徴と、前記第２データ群の特徴とに基づいて、前記データセット生成部（２１）が生成した前記学習用データセットが適正であるかどうかを判定する判定部（２３）と、を備えたデータセット検証装置（１）。

１…データセット検証装置
２…識別モデル構築装置
３…識別モデル評価装置
４…元データセット記憶データベース（元データセット記憶ＤＢ）
５…学習用データセット記憶データベース（学習用データセット記憶ＤＢ）
６…評価用データセット記憶データベース（評価用データセット記憶ＤＢ）
１１…制御ユニット
１２…データベースアクセス部（ＤＢアクセス部）
１３…学習用データセット供給部
１４…評価用データセット供給部
２１…データセット生成部
２２…特徴抽出部
２３…判定部

Claims (11)

1. 元データセットから、機械学習に用いる学習用データセット、および前記学習用データセットを用いた前記機械学習で得られた識別モデルを評価する評価用データセットを生成するデータセット生成部と、
   前記データセット生成部が生成した前記学習用データセットに属する第１データ群の特徴、および前記データセット生成部が生成した前記評価用データセットに属する第２データ群の特徴を抽出する特徴抽出部と、
   前記特徴抽出部が抽出した前記第１データ群の特徴と、前記第２データ群の特徴とに基づいて、前記データセット生成部が生成した前記学習用データセットが適正であるかどうかを判定する判定部と、を備え、
   前記特徴抽出部によって抽出される特徴の種類は、該当するデータセットに属するデータ群の尤度関数である、データセット検証装置。
2. 前記判定部は、前記第１データ群の特徴と、前記第２データ群の特徴とに類似性がなければ、前記データセット生成部が生成した前記学習用データセットが適正でないと判定する、請求項１に記載のデータセット検証装置。
3. 前記特徴抽出部は、前記元データセットに属する第３データ群についても、前記第１データ群、および前記第２データ群と同じ種類の特徴を抽出し、
   前記判定部は、前記特徴抽出部が抽出した前記第１データ群の特徴、前記第２データ群の特徴、および前記第３データ群の特徴に基づいて、前記データセット生成部が生成した前記学習用データセットが適正であるかどうかを判定する、請求項１、または２に記載のデータセット検証装置。
4. 前記判定部は、前記第１データ群、前記第２データ群、および前記第３データ群の中から選択した２つのデータ群の組合せのいずれかにおいて、特徴に類似性がなければ、前記データセット生成部が生成した前記学習用データセットが適正でないと判定する、請求項３に記載のデータセット検証装置。
5. 元データセットから、機械学習に用いる学習用データセットを生成するデータセット生成部と、
   前記データセット生成部が生成した前記学習用データセットに属する第１データ群の特徴、および前記元データセットに属する第３データ群の特徴を抽出する特徴抽出部と、
   前記特徴抽出部が抽出した前記第１データ群の特徴と、前記第３データ群の特徴とに基づいて、前記データセット生成部が生成した前記学習用データセットが適正であるかどうかを判定する判定部と、を備え、
   前記特徴抽出部によって抽出される特徴の種類は、該当するデータセットに属するデータ群の尤度関数である、データセット検証装置。
6. 前記判定部は、前記第１データ群の特徴と、前記第３データ群の特徴とに類似性がなければ、前記データセット生成部が生成した前記学習用データセットが適正でないと判定する、請求項５に記載のデータセット検証装置。
7. 前記判定部は、前記データセット生成部が生成した前記学習用データセットが適正でないと判定したとき、前記学習用データセットを前記データセット生成部に再生成させる、請求項１〜６のいずれかに記載のデータセット検証装置。
8. 元データセットから、機械学習に用いる学習用データセット、および前記学習用データセットを用いた前記機械学習で得られた識別モデルを評価する評価用データセットを生成するデータセット生成ステップと、
   前記データセット生成ステップで生成した前記学習用データセットに属する第１データ群の特徴、および前記データセット生成ステップで生成した前記評価用データセットに属する第２データ群の特徴を抽出する特徴抽出ステップと、
   前記特徴抽出ステップで抽出した前記第１データ群の特徴と、前記第２データ群の特徴とに基づいて、前記データセット生成ステップで生成した前記学習用データセットが適正であるかどうかを判定する判定ステップと、をコンピュータが実行し、
   前記特徴抽出ステップで抽出する特徴の種類は、該当するデータセットに属するデータ群の尤度関数である、データセット検証方法。
9. 元データセットから、機械学習に用いる学習用データセットを生成するデータセット生成ステップと、
   前記データセット生成ステップで生成した前記学習用データセットに属する第１データ群の特徴、および前記元データセットに属する第３データ群の特徴を抽出する特徴抽出ステップと、
   前記特徴抽出ステップで抽出した前記第１データ群の特徴と、前記第３データ群の特徴とに基づいて、前記データセット生成ステップで生成した前記学習用データセットが適正であるかどうかを判定する判定ステップと、をコンピュータが実行し、
   前記特徴抽出ステップで抽出する特徴の種類は、該当するデータセットに属するデータ群の尤度関数である、データセット検証方法。
10. 元データセットから、機械学習に用いる学習用データセット、および前記学習用データセットを用いた前記機械学習で得られた識別モデルを評価する評価用データセットを生成するデータセット生成ステップと、
    前記データセット生成ステップで生成した前記学習用データセットに属する第１データ群の特徴、および前記データセット生成ステップで生成した前記評価用データセットに属する第２データ群の特徴を抽出する特徴抽出ステップと、
    前記特徴抽出ステップで抽出した前記第１データ群の特徴と、前記第２データ群の特徴とに基づいて、前記データセット生成ステップで生成した前記学習用データセットが適正であるかどうかを判定する判定ステップと、をコンピュータに実行させ、
    前記特徴抽出ステップで抽出する特徴の種類は、該当するデータセットに属するデータ群の尤度関数である、データセット検証プログラム。
11. 元データセットから、機械学習に用いる学習用データセットを生成するデータセット生成ステップと、
    前記データセット生成ステップで生成した前記学習用データセットに属する第１データ群の特徴、および前記元データセットに属する第３データ群の特徴を抽出する特徴抽出ステップと、
    前記特徴抽出ステップで抽出した前記第１データ群の特徴と、前記第３データ群の特徴とに基づいて、前記データセット生成ステップで生成した前記学習用データセットが適正であるかどうかを判定する判定ステップと、をコンピュータに実行させ、
    前記特徴抽出ステップで抽出する特徴の種類は、該当するデータセットに属するデータ群の尤度関数である、データセット検証プログラム。

Images