JP6585654B2 - 判定装置、分析システム、判定方法および判定プログラム - Google Patents

Description

本発明は、判定装置、分析システム、判定方法および判定プログラムに関する。

近年、機械学習を用いたデータ分析の適用事例が増加している。一方、データ分析に不可欠な統計や機械学習の知識の習得には、中長期的な教育が必要となる。そこで、非専門家が、統計や機械学習の知識を習得しなくても容易にデータ分析に従事できるよう、データ分析を支援する技術が開示されている（非特許文献１，２参照）。

また、機械学習を用いて予測モデルを構築する際に、大半のデータの存在する領域から離れたデータすなわち外れ値が存在すると、データ本来の性質とは異なる傾向が学習されてしまうことにより、精度の低い予測モデルが構築されてしまう。そこで、外れ値を正しく検出してデータから消去することにより、機械学習を用いた予測モデルの精度を向上させることができる。

ここで、外れ値を検出するために、ＬＯＦ（Local Outlier Factor）と呼ばれる技術が開示されている（非特許文献３，４参照）。ＬＯＦでは、ある点の近傍に存在する点の数が少ないほど、すなわち、ある点の周りの密度が小さいほど大きな値となる異常スコアが、各点について算出される。

Matthias Feurer，Aaron Klein，Katharina Eggensperger，Jost Tobias Springenberg，Manuel Blum，Frank Hutter，"Efficient and Robust Automated Machine Learning"，NIPS'15 Proceedings of the 28th International Conference on Neural Information Processing Systems，2015年12月，PP.2755-2763 Lisha Li，Kevin Jamieson，Giulia DeSalvo，Afshin Rostamizadeh，Ameet Talwalkar，"Hyperband:A Novel Bandit-Based Approach to Hyperparameter Optimization"，2016年11月 Michael R.Smith，Tony Martinez，"Improving Classification Accuracy by Identifying and Removing Instances that Should Be Misclassified"，Neural Networks (IJCNN)，The 2011 International Joint Conference on，2011年 Clemens Reimann，Peter Filzmoser，Robert G.Garrett，"Background and threshold:critical comparison of methods of determination"，Science of the Total Environment 346，2005年，pp.1-16

しかしながら、上記のＬＯＦのような異常検出手法を用いて外れ値を検出する場合に、外れ値と判定するための閾値は、異常スコアの算出結果を人手により分析して決定する必要があった。そのため、分析スキルと多大な作業時間とを要していた。

本発明は、上記に鑑みてなされたものであって、外れ値を検出するための閾値を容易に設定することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る判定装置は、複数のデータを取得して、取得した全てのデータを用いて機械学習により予測モデルを構築し、該予測モデルを用いて、前記全てのデータについての異常スコアを算出する算出部と、前記異常スコアの平均値と標準偏差とを用いて、閾値を導出する導出部と、前記全てのデータのうち、前記異常スコアが、導出された前記閾値を超えるデータを外れ値と判定する判定部と、を備えることを特徴とする。

本発明によれば、外れ値を検出するための閾値を容易に設定することができる。

図１は、本発明の一実施形態に係る判定装置を含む分析システムの処理概要を説明するための説明図である。 図２は、本実施形態の判定装置の概略構成を例示する模式図である。 図３は、データの外れ値を説明するための説明図である。 図４は、閾値を説明するための説明図である。 図５は、分析装置の概略構成を例示する模式図である。 図６は、設定情報のデータ構成の一例を示す図である。 図７は、分析システムの処理を説明するための説明図である。 図８は、本実施形態の判定処理手順を示すフローチャートである。 図９は、本実施形態の判定処理の効果を説明するための説明図である。 図１０は、判定プログラムを実行するコンピュータを例示する図である。

以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

［分析システムの処理概要］

まず、図１を参照して、本実施形態に係る判定装置を含む分析システムの処理概要を説明する。図１に示すように、本実施形態において、分析システム１は、機械学習によるデータ分析を支援するためのシステムである。ここで、機械学習によるデータ分析を行う場合、予測モデルを構築する一連の処理であるパイプラインが決定される。例えば、パイプラインの決定は、予測モデルに関する複数の設定項目ごとの設定内容の候補を選択肢として用意しておき、選択肢の中から設定内容を順次決定することで行うことができる。

分析システム１は、予想モデルを構築する際に実行される複数の処理に対応するステップを順次実行することで、各設定項目の設定内容を決定する。例えば、分析システム１は、各ステップにおいて、学習に用いるデータに対する前処理等の前処理の方式と、データの学習からは決まらない予測モデルのハイパーパラメータとを逐次的に決定する。

ここで、前処理には、欠損値補完、正規化、特徴選択、外れ値除外等が挙げられる。欠損値補完とは、データの欠損値補完の方式を意味し、例えば、平均値、中央値、最頻値、あるいは削除等が選択肢となる。また、正規化とは、データの正規化の方式を意味し、例えば、最大値を１、最小値を０とする最大最小方式、標準化、平均値０、標準偏差１の標準正規分布に置き換えるＺスコア方式、あるいは無処理等が選択肢となる。特徴選択とは、データの特徴を選択する際の方式を意味し、例えば、決定木、Ｌ１正則化、分散分析あるいは無処理等が選択肢となる。外れ値除外については後述する。また、分析システム１は、前処理の方式の探索の後、予測モデルのハイパーパラメータの探索を行う。

図１には、前処理として、前処理１、前処理２、および前処理３の３ステップが例示されており、このうち、例えば、前処理１についての設定内容の候補が、選択肢１１、選択肢１２、選択肢１３および選択肢１４となっている。また、図１には、予測モデルのハイパーパラメータ探索として、予測アルゴリズムＡのパラメータＣを対象とする１ステップが例示され、その設定内容の候補が、０．１，１．０，１０および１００となっている。

分析システム１は、各ステップにおいて、データの一部を用いて学習し、残りのデータで精度を検証する交差検証を行いながら、選択肢の中から最も精度の高いものを採用する。これにより、分析システム１は、図１に実線矢印で表される採用された選択肢からなるパイプラインに従って、採用された方式で前処理を行う。

次に、分析システム１は、採用されたハイパーパラメータが設定された予測アルゴリズムＡを用いて学習を行って、予測モデルを構築する。これにより、分析システム１は、高精度であることが予測される予測モデルを用いて効率よくデータの学習を行って、精度の高い予測モデルを構築できる。

本実施形態において、分析システム１は、分析装置と判定装置とを含む。分析装置は、予測モデルを構築する際に実行される複数の処理に対応するステップを順次実行することにより、各設定項目の設定内容の決定を行う。例えば、分析装置は、各ステップにおいて、前処理の方式、予測モデルのアルゴリズムおよびハイパーパラメータ等を決定する。また、判定装置は、前処理の一つとして、データの外れ値の判定に用いられる閾値を設定し、データから外れ値を除外する処理を実行する。

［判定装置の構成］
次に、図２を参照して、本実施形態に係る判定装置の概略構成を説明する。図２に示すように、本実施形態に係る判定装置１０は、ワークステーションやパソコン等の汎用コンピュータで実現され、入力部１１と出力部１２と通信制御部１３と、記憶部１４と、制御部１５とを備える。

入力部１１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部１５に対して各種指示情報を入力する。出力部１２は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置、情報通信装置等によって実現され、後述する判定処理の結果等を操作者に対して出力する。

通信制御部１３は、ＮＩＣ（Network Interface Card）等で実現され、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介した管理サーバ等の外部の装置と制御部１５との通信を制御する。

記憶部１４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１４には、判定装置１０を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータなどが予め記憶され、あるいは処理の都度一時的に記憶される。記憶部１４は、通信制御部１３を介して制御部１５と通信する構成でもよい。

制御部１５は、ＣＰＵ（Central Processing Unit）等の演算処理装置がメモリに記憶された処理プログラムを実行することにより、図２に例示するように、算出部１５ａ、導出部１５ｂおよび判定部１５ｃとして機能する。なお、これらの機能部は、それぞれ、あるいは一部が異なるハードウェアに実装されてもよい。

算出部１５ａは、取得した全てのデータを用いて機械学習により予測モデルを構築し、該予測モデルを用いて、全てのデータについての異常スコアを算出する。具体的に、算出部１５ａは、入力部１１あるいは通信制御部１３を介して複数のデータを取得して、取得した全てのデータについて、異常スコアを算出する。

ここで、図３を参照して、データの外れ値について説明する。算出部１５ａは、図３（ａ）に例示するように、複数のデータの分布のうち、大半のデータが存在する領域から離れて存在するいわゆる外れ値を検出する。そこで、算出部１５ａは、データの異常度を算出するために、全てのデータを用いてＡｎｏｍａｌｙ予測モデルを構築する。また、算出部１５ａは、構築したＡｎｏｍａｌｙ予測モデルを用いて、各データの異常スコアを算出する。ここで、図３（ｂ）に例示するように、ある点Ａの近傍に存在する点が少ない場合、すなわち、この点Ａの周りの密度が他の点に比べて小さい場合、算出される異常スコアが大きくなる。

なお、全データを用いてＡｎｏｍａｌｙ予測モデルを構築すると、異常データの異常スコアの値が小さくなる。そこで、算出部１５ａは、全データからサンプル率を例えば１０％としてサンプルデータを抽出してＡｎｏｍａｌｙ予測モデルを構築する。そして、算出部１５ａは、構築されたＡｎｏｍａｌｙ予測モデルを全データに適用して、全データについての異常スコアを算出する。

図２の説明に戻る。導出部１５ｂは、異常スコアの平均値と標準偏差とを用いて、閾値を導出する。ここで、図４を参照して、閾値について説明する。図４に例示するように、算出された異常スコアが大きいほど外れ値となる。そこで、導出部１５ｂは、外れ値と判定するための閾値を、次式（１）を用いて導出する。

閾値＝異常スコアの平均値＋異常スコアの標準偏差×倍率 …（１）

ここで、倍率には任意の値を適用できるが、例えば、０．５，１．０，１．５，２．０の所定の各値が適用される。この場合に、導出部１５ｂは、倍率に対応した複数の閾値を導出する。

図２の説明に戻る。判定部１５ｃは、全てのデータのうち、異常スコアが、導出された閾値を超えるデータを外れ値と判定する判定処理を行う。また、判定部１５ｃは、外れ値を全てのデータから除外する。

具体的に、判定部１５ｃは、導出された複数の閾値のそれぞれについて、全てのデータのうち、異常スコアが閾値を超えるデータを、外れ値と判定して全てのデータから除外する処理を行う。

なお、判定装置１０は、取得した全てのデータの一部を抽出したサンプルデータを用いて閾値を導出してもよい。すなわち、算出部１５ａは、取得した全てのデータの一部であるサンプルデータを用いて機械学習により予測モデルを構築し、該予測モデルを用いて全てのデータの異常スコアを算出してもよい。

また、判定装置１０による判定処理は、分析システム１の前処理の１つとしての外れ値除外処理に適用される。その場合に、選択肢として、例えば上記式（１）の倍率の各値が設定される。そして、判定部１５ｃが、倍率の各値に対応して導出される各閾値に基づいて、外れ値を除外したデータによる予測モデルの精度が最大となるものを採用する。

［分析装置の構成］
次に、図５を参照して、本実施形態に係る分析装置の概略構成を説明する。図５に示すように、本実施形態に係る分析装置２０は、ワークステーションやパソコン等の汎用コンピュータで実現され、入力部２１と出力部２２と通信制御部２３と、記憶部２４と、制御部２５とを備える。

入力部２１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部２５に対して各種指示情報を入力する。出力部２２は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置、情報通信装置等によって実現され、データ分析の結果等を操作者に対して出力する。

通信制御部２３は、ＮＩＣ等で実現され、ＬＡＮやインターネットなどの電気通信回線を介した管理サーバ等の外部の装置と制御部２５との通信を制御する。

記憶部２４は、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部２４には、分析装置２０を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータなどが予め記憶され、あるいは処理の都度一時的に記憶される。記憶部２４は、通信制御部２３を介して制御部２５と通信する構成でもよい。また、記憶部２４は、設定情報２４ａを記憶する。

図６は、設定情報２４ａのデータ構成の一例を示す図である。設定情報２４ａは、ステップごとの実行順序、および設定内容候補を含む。設定内容候補は、各ステップに対応する設定項目の設定内容の候補である。本実施形態において、例えば、図１に示したステップ２に対応して、外れ値除外方式探索が行われるものとする。この場合に、図６に例示するように、実行順序２のステップに「外れ値除外方式探索」が設定される。また、設定内容候補として、倍率０．５、１．０、１．５および２．０が設定される。

制御部２５は、ＣＰＵ等の演算処理装置がメモリに記憶された処理プログラムを実行することにより、図５に例示するように、選択部２５ａ、計算部２５ｂ、決定部２５ｃおよび検証部２５ｄとして機能する。なお、これらの機能部は、それぞれ、あるいは一部が異なるハードウェアに実装されてもよい。

選択部２５ａは、予測モデルを構築する際に実行される複数の処理、すなわちパイプラインのそれぞれに対応し、対応する処理の設定内容を順次決定するステップにおいて、設定内容が決定されるたびに、次に実行されるステップを選択する。決定部２５ｃは、各ステップの設定内容を、設定情報２４ａに含まれる設定内容候補の中から決定する。このとき、選択部２５ａは、設定情報２４ａに示される実行順序に従って、設定内容が決定された次のステップを選択する。なお、いずれのステップも未実行である場合、選択部２５ａは実行順序が最も早いステップを選択する。

計算部２５ｂは、複数の処理のうち、設定内容が決定済みの処理を当該決定済みの設定内容を適用して行う。また、計算部２５ｂは、選択部２５ａによって選択されたステップに対応する処理を設定内容の候補のそれぞれを適用して行った場合に構築される予測モデルのそれぞれについて予測精度を計算する。その際、計算部２５ｂは、所定数に分割した学習用のデータを用いた交差検証を行うことで予測精度を計算する。また、計算部２５ｂは、予測モデル構築で用いられる予測アルゴリズムが決定されていない場合、複数の予測アルゴリズムの候補のそれぞれを用いて予測精度を計算する。

決定部２５ｃは、計算部２５ｂによって計算された各予測精度を比較し、設定内容の候補のうち予測精度が最も高くなる設定内容の候補を、選択部２５ａによって選択されたステップに対応する処理の設定内容に決定する。その後、選択部２５ａは、決定部２５ｃによって設定内容が決定されたステップの次に実行されるステップを選択する。

ここで、図７を参照して、分析システム１の処理について説明する。本実施形態において、例えば、図１に示したステップ２において、図７に例示するように、外れ値除外方式探索が行われる。図７の例では、図１に示したステップ１の前処理１方式探索において決定された方式を用いて前処理が行われた前処理１済みデータが生成されているものとする。

選択部２５ａは、ステップ２において、設定情報２４ａを参照して外れ値除外方式探索を選択する。また、計算部２５ｂは、設定内容候補である倍率０．５、１．０、１．５および２．０のそれぞれが適用された場合について、通信制御部２３を介して判定装置１０に外れ値を判定し除外する判定処理を実行させる。また、計算部２５ｂは、判定装置１０による判定処理の結果を受け取って、判定装置１０が外れ値と判定したデータを除外したデータを用いて構築される予測モデルのそれぞれについて、交差検証を用いて予測精度を計算する。この結果、図７に示す例では、決定部２５ｃは、予測精度が７８％と最も高くなった倍率１．５を、外れ値除外方式として決定する。

検証部２５ｄは、決定部２５ｃによって決定された設定内容が適用された一連の処理、すなわち、決定されたパイプラインに基づいて構築される予測モデルの検証を行う。これにより、本実施形態の分析システム１によれば、容易に外れ値を判定して除外して、高精度な予測モデルを効率よく構築することができる。

［判定処理］
次に、図８を参照して、判定装置１０の判定処理について説明する。図８は判定処理手順を例示するフローチャートである。図８のフローチャートは、例えば、判定処理の対象のデータが入力されたタイミングで開始される。

まず、算出部１５ａが、複数のデータからなるデータセットを取得して、任意のサンプル率で正常データの一部をサンプリングして、学習用データを抽出する（ステップＳ１）。また、算出部１５ａは、Ａｎｏｍａｌｙ予測アルゴリズムに学習用データを入力して学習することにより、Ａｎｏｍａｌｙ予測モデルを構築する（ステップＳ２）。

そして、算出部１５ａは、学習されたＡｎｏｍａｌｙ予測モデルにデータセットに含まれる各データを入力して、各データの異常スコアを算出する（ステップＳ３）。また、導出部１５ｂが、各データの異常スコアを用いて、上記式（１）により閾値を算出する（ステップＳ４）。

次に、判定部１５ｃが、データセットのｉ番目のデータについて、異常スコアが閾値を超えているか否かを確認する（ステップＳ５〜Ｓ６）。異常スコアが閾値を超えている場合に（ステップＳ６，Ｙｅｓ）、データセットからｉ番目のデータを削除する（ステップＳ７）。一方、異常スコアが閾値以下の場合には（ステップＳ６，Ｎｏ）、データセットの（ｉ＋１）番目のデータの処理に移行して（ステップＳ８）、ステップＳ６〜Ｓ８の処理を繰り返す。データセットの全データについての処理が終了した場合に（ステップＳ９）、判定部１５ｃが、データセットを入力元に返却する（ステップＳ１０）。これにより、一連の判定処理が終了する。

以上、説明したように、本実施形態の判定装置１０では、算出部１５ａが、取得した全てのデータを用いて機械学習により予測モデルを構築し、該予測モデルを用いて、全てのデータについての異常スコアを算出する。また、導出部１５ｂが、異常スコアの平均値と標準偏差とを用いて、閾値を導出する。また、判定部１５ｃが、全データのうち、異常スコアが、導出された閾値を超えるデータを外れ値と判定する。

これにより、本実施形態の判定装置１０の判定処理によれば、外れ値を検出するための閾値を自動的に導出することにより、容易に設定することができる。

また、算出部１５ａは、取得したデータの一部であるサンプルデータを用いて機械学習によりＡｎｏｍａｌｙ予測モデルを構築し、該Ａｎｏｍａｌｙ予測モデルを用いて全データについての異常スコアを算出する。また、導出部１５ｂが、異常スコアの平均値と標準偏差とを用いて、閾値を導出する。また、判定部１５ｃが、全てのデータのうち、異常スコアが、導出された閾値を超えるデータを外れ値と判定する。これにより、より効率よく異常スコアを算出して外れ値を検出するための閾値を設定することができる。

また、算出部１５ａは、取得したデータの一部を抽出したサンプルデータを用いて、各サンプルデータの異常スコアを算出し、導出部１５ｂは、抽出されたサンプルデータの全てについての前記異常スコアの平均値と標準偏差とを用いて、閾値を導出してもよい。これにより、より効率よく閾値を設定することが可能となる。

また、導出部１５ｂは、所定の倍率に対応した複数の閾値を導出する。また、判定部１５ｃが、各閾値に対応して外れ値を判定する。これにより、分析システム１におけるデータの前処理の１つとして、選択肢を設定して予測モデルの精度を比較してより精度の高い予測モデルを採用することができる。したがって、上記式（１）の任意の倍率の設定も予め設定することなく、入力されるデータに応じて柔軟かつ自動的に設定することが可能となる。

また、本実施形態の分析システム１において、分析装置２０では、選択部２５ａが、判定装置１０で実行される判定処理を含む、予測モデルを構築する際に実行される複数の処理のそれぞれに対応し、対応する処理の設定内容を順次決定するステップにおいて、設定内容が決定されるたびに、次に実行されるステップを選択する。また、計算部２５ｂが、複数の処理のうち、設定内容が決定済みの処理を当該決定済みの設定内容を適用して行うとともに、選択部２５ａによって選択されたステップに対応する処理を設定内容の候補のそれぞれを適用して行った場合に構築される予測モデルのそれぞれについて予測精度を計算する。また、決定部２５ｃが、計算部２５ｂによって計算された各予測精度を比較し、設定内容の候補のうち予測精度が最も高くなる設定内容の候補を、選択部２５ａによって選択されたステップに対応する処理の設定内容に決定する。

また、判定装置１０では、算出部１５ａが、取得した全てのデータを用いて機械学習により予測モデルを構築し、該予測モデルを用いて、全てのデータについての異常スコアを算出する。また、導出部１５ｂが、異常スコアの平均値と標準偏差とを用いて、所定の複数の倍率に対応した複数の閾値を導出する。また、判定部１５ｃが、各閾値に対応して、全てのデータのうち、異常スコアが、導出された閾値を超えるデータを外れ値と判定する。これにより、本実施形態の分析システム１によれば、容易に外れ値を判定して除外して、高精度な予測モデルを効率よく構築することができる。

［実施例］
図９は、本実施形態の判定処理の効果を説明するための説明図である。図９（ａ）に例示するように、学習に用いられるデータが数値データの場合には、外れ値を除外する処理を行わない無処理の場合に、構築される予測モデルの正解率すなわち精度が２１％であった。一方、上記式（１）の倍率が０．５の場合に正解率が２９％、倍率が１.０の場合に正解率が６１％、倍率が１．５の場合に正解率が４６％、倍率が２．０の場合に正解率が６１％であり、いずれも有効性が確認された。

同様に、図９（ｂ）に例示するように、学習に用いられるデータがテキストデータの場合、無処理の場合の正解率が９０％であった。一方、上記式（１）の倍率が０．５の場合に正解率が９２％、倍率が１.０の場合に正解率９１％、倍率が１．５の場合に正解率が９１％、倍率が２．０の場合に正解率が９２％であり、いずれも有効性が確認された。また、無処理の場合の正解率がより低い数値データが入力された場合に、外れ値を除外する処理がより有効であることが確認された。

［プログラム］
上記実施形態に係る判定装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、判定装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の判定処理を実行する判定プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の判定プログラムを情報処理装置に実行させることにより、情報処理装置を判定装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistants）などのスレート端末などがその範疇に含まれる。また、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の判定処理に関するサービスを提供するサーバ装置として実装することもできる。例えば、判定装置１０は、外れ値検出対象のデータを入力とし、検出した外れ値を出力する判定処理サービスを提供するサーバ装置として実装される。この場合、判定装置１０は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の判定処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。以下に、判定装置１０と同様の機能を実現する判定プログラムを実行するコンピュータの一例を説明する。

図１０に示すように、判定プログラムを実行するコンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１０５１およびキーボード１０５２が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１０６１が接続される。

ここで、図１０に示すように、ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各テーブルは、例えばハードディスクドライブ１０３１やメモリ１０１０に記憶される。

また、判定プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、ハードディスクドライブ１０３１に記憶される。具体的には、上記実施形態で説明した判定装置１０が実行する各処理が記述されたプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。

また、判定プログラムによる情報処理に用いられるデータは、プログラムデータ１０９４として、例えば、ハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

なお、判定プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、判定プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮやＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。

１ 分析システム
１０ 判定装置
１１ 入力部
１２ 出力部
１３ 通信制御部
１４ 記憶部
１５ 制御部
１５ａ 算出部
１５ｂ 導出部
１５ｃ 判定部
２０ 分析装置
２１ 入力部
２２ 出力部
２３ 通信制御部
２４ 記憶部
２４ａ 設定情報
２５ 制御部
２５ａ 選択部
２５ｂ 計算部
２５ｃ 決定部
２５ｄ 検証部

Claims (6)

1. 複数のデータを取得して、取得した全てのデータを用いて機械学習により予測モデルを構築し、該予測モデルを用いて、前記全てのデータについての異常スコアを算出する算出部と、
   前記異常スコアの平均値と標準偏差とを用いて、所定の複数の値に対応した複数の閾値を導出する導出部と、
   各閾値に対応して、前記全てのデータのうち、前記異常スコアが、導出された前記閾値を超えるデータを外れ値と判定する判定部と、
   を備えることを特徴とする判定装置。
2. 複数のデータを取得して、取得した全てのデータの一部であるサンプルデータを用いて機械学習により予測モデルを構築し、該予測モデルを用いて、前記全てのデータについての異常スコアを算出する算出部と、
   前記異常スコアの平均値と標準偏差とを用いて、所定の複数の値に対応した複数の閾値を導出する導出部と、
   各閾値に対応して、前記全てのデータのうち、前記異常スコアが、導出された前記閾値を超えるデータを外れ値と判定する判定部と、
   を備えることを特徴とする判定装置。
3. 前記導出部は、前記異常スコアの平均値と、前記異常スコアの標準偏差に任意の倍率を乗じた値とを加算することにより算出することを特徴とする請求項１または２に記載の判定装置。
4. 分析装置と判定装置とを有する分析システムであって、
   前記分析装置は、
   前記判定装置で実行される判定処理を含む、予測モデルを構築する際に実行される複数の処理のそれぞれに対応し、対応する処理の設定内容を順次決定するステップにおいて、設定内容が決定されるたびに、次に実行されるステップを選択する選択部と、
   前記複数の処理のうち、設定内容が決定済みの処理を当該決定済みの設定内容を適用して行うとともに、前記選択部によって選択されたステップに対応する処理を設定内容の候補のそれぞれを適用して行った場合に構築される予測モデルのそれぞれについて予測精度を計算する計算部と、
   前記計算部によって計算された各予測精度を比較し、前記設定内容の候補のうち予測精度が最も高くなる設定内容の候補を、前記選択部によって選択されたステップに対応する処理の設定内容に決定する決定部と、を備え、
   前記判定装置は、
   複数のデータを取得して、取得した全てのデータまたは取得した全てのデータの一部であるサンプルデータを用いて機械学習により予測モデルを構築し、該予測モデルを用いて、前記全てのデータについての異常スコアを算出する算出部と、
   前記異常スコアの平均値と標準偏差とを用いて、所定の複数の値に対応した複数の閾値を導出する導出部と、
   各閾値に対応して、前記全てのデータのうち、前記異常スコアが、導出された前記閾値を超えるデータを外れ値と判定する判定処理を実行する判定部と、を備える
   ことを特徴とする分析システム。
5. 判定装置で実行される判定方法であって、
   複数のデータを取得して、取得した全てのデータまたは取得した全てのデータの一部であるサンプルデータを用いて機械学習により予測モデルを構築し、該予測モデルを用いて、前記全てのデータについての異常スコアを算出する算出工程と、
   前記異常スコアの平均値と標準偏差とを用いて、所定の複数の値に対応した複数の閾値を導出する導出工程と、
   各閾値に対応して、前記全てのデータのうち、前記異常スコアが、導出された前記閾値を超えるデータを外れ値と判定する判定工程と、
   を含んだことを特徴とする判定方法。
6. 複数のデータを取得して、取得した全てのデータまたは取得した全てのデータの一部であるサンプルデータを用いて機械学習により予測モデルを構築し、該予測モデルを用いて、前記全てのデータについての異常スコアを算出する算出ステップと、
   前記異常スコアの平均値と標準偏差とを用いて、所定の複数の値に対応した複数の閾値を導出する導出ステップと、
   各閾値に対応して、前記全てのデータのうち、前記異常スコアが、導出された前記閾値を超えるデータを外れ値と判定する判定ステップと、
   をコンピュータに実行させることを特徴とする判定プログラム。

Images