JP6200076B2 - システムから取得される測定値を評価する方法及びシステム - Google Patents

Description

本発明は、エラーのない状態又はエラーのある状態の場合があるシステムＳから取得される測定値を評価する方法及びシステムに関する。このシステムは、少なくとも１つの通信ネットワーク、通信システムのネットワーク構成要素、及び／又は通信ネットワークのサービスを備える。

異常な又は非正常な測定値、いわゆる外れ値を検出する分野において、従来技術には、異常な又は非正常な測定値を見つける多数の方法が含まれている。非正常な測定値を見つけることは、「外れ値検出」と呼ばれるか、又は「異常検出」とも呼ばれる。

例えば、非特許文献１では、外れ値検出の使用は、データマイニングの分野における主要なステップのうちの１つとして説明されている。非特許文献１では、用いられる推定のロバスト性が特に注目され、距離測定、クラスター方法、及び空間的方法に基づく外れ値検出の様々な可能性が示されている。

非特許文献２では、外れ値検出の意味が、様々な応用分野及び科学分野の重要な問題として論述されている。

これらの従来技術から知られている外れ値検出方法は、先ず基本的な前提及び要件の観点が異なる。外れ値検出について、幾つかの方法は、基礎を成す分布及びそれらのパラメーターを必要とし、システムＳは、これらによって測定値を生成する。さらに、「局所的外れ値確率アルゴリズム（Local Outlier Probability Algorithm）」（ＬｏＯＰ、非特許文献３）によって、「局所的外れ値度アルゴリズム（Local Outlier Factor Algorithm）」（ＬＯＦ、非特許文献４）又は関連アルゴリズムに関係した確率値を計算する方法もある。

さらに、非特許文献５は、外れ値検出の任意の所望のスコア関数の出力として、スコア値に基づく確率値、すなわち［０，１］の区間にある値に関する変換を得る方法を開示している。この確率値は、集合Ｖからの測定値が、測定値の基礎を成す集合に対して外れ値である確率を示す。これらの確率は、外れ値である可能性が非常に高いものを含むリストを作成することに用いられる。

特許文献１は、機能的なトレンドライン外れ値バイアスを低減するデータフィルタリングのシステム及び方法に関するものである。

外れ値を検出する従来の方法では、正常な閾値又は制限値が用いられる。例えば、そのような閾値又は制限値の上又は下では、測定値を外れ値又は正常な測定値とみなすことができることを検出することが可能である。

閾値の使用は、そのような閾値を大部分、複雑な試験及び評価によって検出しなければならない点で不利である。さらに、測定値の大部分から非常に大きく逸脱しているが、Ｓの正常なシステム状態に属する集合Ｖからの測定値は、システムの状態を判断する割り当てられた確率に従って、それらの測定値を学習集合に入力する可能性もないままに、閾値の使用によってフィルタリング除去される。

米国特許出願公開第２０１３／０４６７２７号

Irad Ben Gal「Outlier detection」, in: Maimon O. and Rockach L. (Eds.)「Data Mining and Knowledge Discovery Handbook: A Complete Guide for Practitioners and Researchers」 Kluwer Academic Publishers, 2005 Varun Chandola, Arindam Banerjee, Vipin Kumar「Outlier Detection: A Survey」, 2007, (http://citeseerx.ist.psu.edu/viewdoc/summary?doi=l0.1.1.108.8502) Hans Peter Kriegel, P. Kroeger, E. Schubert, A. Zimek「LoOP: Local Outlier Probabilities」, in Proceedings of 18th ACM Conference on Information and Knowledge Management (CIKM), 2009 (http://www.dbs.ifi.1mu.de/Publikationen/Papers/LoOP1649.pdf). M. M. Breunig, Hans Peter Kriegel, R.T. Ng, J. Sander「LOF: Identifying Density-based Local Outliers」, in ACM SIGMOD Record. No. 29, 2000, (http://www.dbs.ifi.lmu.de/Publikationen/Papers/LOF.pdf) Hans Peter Kriegel, Peer Kroeger, Erich Schubert, Arthur Zimek「Interpreting and Unifying Outlier Scores」, in Proceedings of 11th SIAM International Conference on Data Mining. 2011, (http://siam.omnibooksonline.com/2011datamining/data/papers/018.pdf).

本発明の目的は、エラーのない状態／正常な状態又はエラーのある状態／非正常な状態の場合があるシステムＳから取得される測定値を評価する方法及びシステムを提供することである。

この目的は、独立請求項の特徴によって達成される。従属請求項は、本発明の好ましい実施の形態に関係している。

本発明は、好ましくは機械学習システムＬ又は統計的学習システムＬが、監視されるシステムＳからの無標示の測定値ｖに基づいて測定値を自動的に評価することができるという基本的なアイデアから出発している。非正常な測定値は、システムＳがエラーのある状態にあることを示すことができる。無標示は、測定値の観点から、測定値が取得された時点でシステムＳがエラーのない状態／エラーのある状態のいずれの状態にあるのかの情報がないことを意味する。

学習システムの使用に先立って、システムＳのエラーのある状態に起因する可能性が非常に高い測定値を、測定値の学習集合Ｖから削除するランダム化された方法／ランダムベースの方法が提供される。したがって、そのような測定値が、学習されたモデルＭが、その後の新たな測定値ｗを評価するときに、システムＳのエラーのある状態を正常であると誤って評価するという旨の悪影響を学習システムＬの学習プロセスに与えることが防止される。他方、そのような値は、学習システムの学習プロセスには価値があり、可能な場合には（完全に）削除されるべきでないことが知見として考慮される。これに関連して、本発明は、Ｖが、Ｖ内の他の測定値と比較して異常な値を有するが、システムＳのエラーのある状態で検出されておらず、したがって、正常であるとみなされるべきである測定値を含む可能性があることを考慮に入れる。

本発明は、エラーのない／正常状態又はエラーのある／非正常状態の場合があるシステムＳから取得される測定値を評価する方法に関する。システムＳは、少なくとも１つの通信ネットワーク、通信システムのネットワーク構成要素、及び／又は通信ネットワークのサービスを備え、本方法は、好ましくは以下の順序で、以下のステップ、すなわち、（ａ）システムＳからの無標示の測定値ｖの集合Ｖを形成するステップと、（ｂ）ランダムベースの方法を用いた集合Ｖからの測定値の削除及び／又は重み付けによって、学習システムＬの測定値ｖ’を含む修正学習集合Ｖ’を形成するステップと、（ｃ）システムＳからの測定値を評価するモデルＭを、学習システムＬによって修正学習集合Ｖ’から形成するステップと、（ｄ）システムＳからの測定値を、モデルＭを用いて評価システムＢによって評価するステップとを含む。

システムＳは、エラーのない／正常な状態及びエラーのある／非正常な状態の２つのシステム状態を有するシステムとすることができる。ただし、本方法は、異なるシステム状態、例えば複数のシステム状態を有する他のシステムＳにも適用することができる。

本発明によれば、それぞれの測定値が、システムＳがエラーのある状態にある時に測定されたのか又はエラーのない状態にある時に測定されたのかについての信頼できる情報は、システムＳの無標示の測定値ｖを考慮すると、存在する必要はない。測定値は、測定システムＳにおいて取得され、システム状態のインジケーターとすることができる。種々のタイプの測定値が存在する場合、測定値のタイプについての情報も、それぞれの測定値に割り当てることができる。測定値が時系列である場合、測定の時点についての情報を、個々の測定値ｖについて集合Ｖに追加して割り当てることができる。

本発明の一実施形態によれば、ステップ（ｂ）は、好ましくは以下の順序で、以下のステップ、すなわち、（ｂ１）スコア値ｑを含むスコア値集合Ｑを、少なくとも１つのスコア関数Ｆ：Ｖ→Ｑ，

によって、集合Ｖから形成するステップと、（ｂ２）確率ｐを含む確率集合Ｐを、少なくとも１つの変換関数Ｔ：Ｑ→Ｐ，

によって、スコア値集合Ｑから形成するステップと、（ｂ３）修正学習集合Ｖ’を測定値から形成するステップとを含み、測定値ｖ∈Ｖは、ｐ＝Ｔ（Ｆ（ｖ））である１−ｐのそれぞれの確率で修正学習集合Ｖ’内に含められ、及び／又は測定値ｖ∈Ｖは、少なくとも１つの重み関数Ｇによってそれぞれの重みを与えられる。

スコア関数Ｆは、集合Ｖからの個々の各測定値のスコア値、又は測定値の部分集合のスコア値、例えば、異なるタイプの測定値の場合には、或る時点又は或る特定の段階における測定値の部分集合のスコア値を学習集合Ｖから形成することができる。一般性を制限することなく、スコア値は実数とすることができる。例えば、低いスコア値は、エラーのない測定値と関連付けることができ、高いスコア値は、エラーのある測定値と関連付けることができる。

変換関数Ｔは、スコア値に、例えば実数、確率値、例えば［０，１］の区間内の実数を割り当てることができる。例えば、Ｔ（ｖ）＝０を有する測定値ｖは、確率０で集合Ｖから削除することができない。すなわち、修正学習集合Ｖ’に安全に移すことができるか又は留まることができる。これとは対照的に、Ｔ（ｖ）＝１を有する測定値ｖは、確率１で集合Ｖから削除することができる。すなわち、学習集合Ｖ’に移すことも留まることもできない。

重み関数Ｇは、測定値ｖの各確率ｐの重みを計算することができる。確率ｐは、Ｔによって求められる。関連した測定値ｖの重みは、学習プロセス中／Ｖ’への導入中に測定値ｖを重み付けすべき値を表すことができる。例えば、高い重みを有する測定値は、モデルＭに対して相対的に大きな影響を有することができる。この重み関数は、Ｇ（ｐ）＝１−ｐによって定義することもできる。

関数Ｆ、関数Ｔ、及び関数Ｇは、個々の測定値ｖ及び測定値の集合Ｖの双方について定義することができる。

本発明の更なる実施の形態によれば、本方法は、システムＳがエラーのない状態にあるのか又はエラーのある状態にあるのかを判断するステップを更に含む。

さらに、システムＳからの無標示の測定値ｗの別の集合Ｗについて、例えば、後の時点において、システムＳがそれぞれの時点においてエラーのない状態にあるのか又はエラーのある状態にあるのかを判断することが可能である。この判断は、学習されたモデルＭ及び／又は評価システムＢによって行うことができる。

本発明の更なる実施の形態によれば、スコア関数Ｆは、スコア値の出力を有する独立した、好ましくは機械学習システムＬ’及び機械評価システムＢ’とすることができる。さらに、スコア関数Ｆは、ｋ最近傍及び／又は四分位間乗率（interquartile multiplying factor）及び／又は局所的外れ値を考慮に入れることによって形成することができる。さらに、スコア関数Ｆは、集合Ｖからの測定値ｖごとに、最も近い近傍までの距離、すなわち、測定値ｖの最小距離ｄ（ｖ）を形成し、この最小距離をＶからの全ての測定値ｖの平均距離ｍによって除算し、次の式、すなわち、Ｆ：Ｖ→Ｑ，

が当てはまるようにすることができる。さらに、変換関数Ｔは、好ましくは、全ての

について０≦Ｔ（ｘ）≦１、特に好ましくは、正規分布、ワイブル分布、ベータ分布、又は連続等分布を有する連続増加関数とすることができる。重み関数Ｇは、Ｇ（ｐ）＝１−ｐ＝１−Ｔ（Ｆ（ｖ））として定義することができる。

変換関数Ｔの連続増加関数は、好ましくは、Ｔ（−∞）≧０及びＴ（＋∞）≦１を有するとともに、全ての

について特性０≦Ｔ（ｘ）≦１を有することができる。

さらに、測定値の基礎を成す分布を知ることなく動作することができるアルゴリズムをスコア関数Ｆに用いることができる。スコア関数Ｆは、局所的外れ値度アルゴリズム又は局所的外れ値確率アルゴリズムも有することができる。

本発明の更なる実施の形態によれば、ステップ（ｂ１）〜（ｂ３）は、反復的に連続して数回実行することができる。

ステップ（ｂ１）〜（ｂ３）を反復的に数回連続して実行することによって、スコア関数Ｆと、変換関数Ｔと、Ｖからの測定値のランダム削除及び／又はＶからの測定値の重み付けとを数回連続して適用することができる。

本発明の更なる実施の形態によれば、集合Ｖを、ステップ（ａ）において、

である部分集合Ｖ＿１，．．．，Ｖ＿Ｎに分割することができ、ステップ（ｂ）において、

である修正学習部分集合Ｖ＿１’，．．．，Ｖ＿Ｎ’を形成することができ、これらの修正学習部分集合Ｖ＿１’，．．．，Ｖ＿Ｎ’から学習集合Ｖ’を組み合わせることができる。

したがって、（ｂ１）において、少なくとも１つのスコア関数Ｆによって、

である対応するスコア値集合Ｑ＿１，．．．，Ｑ＿Ｎも部分集合Ｖ＿１，．．．，Ｖ＿Ｎから形成することができる。さらに、（ｂ２）において、少なくとも１つの変換関数Ｔによって、

である対応する確率集合Ｐ＿１，．．．，Ｐ＿Ｎを、対応するスコア値集合Ｑ＿１，．．．，Ｑ＿Ｎから形成することができる。

本発明の更なる実施の形態によれば、ステップ（ｂ）において、測定値ｖの削除及び／又は重み付けの間に、測定値ｖの少なくとも１つの最も近い近傍も集合Ｖから削除することができる。測定値ｖの最も近い近傍の削除は、値及び／又は時間の基準に従って実行することができる。例えば、測定値ｖに匹敵する値を有する最も近い近傍又は測定値ｖに非常に接近した最も近い近傍を削除することができる。さらに、例えば、最も近い近傍は、測定値に対するその時間的な近さに従って選択することができる。例えば、最も近い近傍は、実際に削除される測定値と同時に又はこの測定値の前後の或る制限時間内に測定されていた可能性がある。

本発明の更なる実施の形態によれば、測定値は、計算ユニットの稼働率、用いられている記憶空間及び空き記憶空間、入力チャネル及び出力チャネルの稼働率及び状態、エラーのないパケット又はエラーのあるパケットの数、送信キューの長さ、エラーのないサービス問い合わせ及びエラーのあるサービス問い合わせ、サービス問い合わせの処理時間を含む群から選択することができる。

本発明は、エラーのない状態又はエラーのある状態の場合があるシステムＳから取得される測定値を評価するシステムにも関する。システムＳは、少なくとも１つの通信ネットワーク、通信システムのネットワーク構成要素、及び／又は通信ネットワークのサービスを備え、本システムは、システムＳからの無標示の測定値ｖの集合Ｖを形成するデバイスと、ランダムベースの方法を用いた集合Ｖからの測定値の削除及び／又は重み付けによって、学習システムＬの測定値ｖ’を含む修正学習集合Ｖ’を形成するデバイスと、システムＳからの測定値を評価するモデルＭを、修正学習集合Ｖ’から形成することに適した学習システムＬと、システムＳからの測定値を、モデルＭを用いて評価することに適した評価システムＢとを備える。

本発明の更なる実施の形態によれば、修正学習集合Ｖ’を形成するデバイスは、スコア値ｑを含むスコア値集合Ｑを、少なくとも１つのスコア関数Ｆ：Ｖ→Ｑ，

によって、集合Ｖから形成するデバイスと、確率ｐを含む確率集合Ｐを、少なくとも１つの変換関数Ｔ：Ｑ→Ｐ，

によって、スコア値集合Ｑから形成するデバイスとを備えることができる。

修正学習集合Ｖ’を形成するデバイスは、ｐ＝Ｔ（Ｆ（ｖ））である１−ｐの対応する確率で測定値ｖ∈Ｖを修正学習集合Ｖ’内に導入することによって、測定値から修正学習集合Ｖ’を形成することに適することができる。さらに、修正学習集合Ｖ’を形成するデバイスは、少なくとも１つの重み関数Ｇによって測定値ｖ∈Ｖを重み付けすることによって、測定値から修正学習集合Ｖ’を形成することに適することができる。

本発明の更なる実施の形態によれば、システムＳから取得される測定値を評価するシステムは、システムＳがエラーのない状態にあるのか又はエラーのある状態にあるのかを判断するデバイスを更に備えることができる。

本発明の更なる実施の形態によれば、スコア値集合Ｑを形成するデバイスは、スコア値集合Ｑを数回形成することに適することができる。さらに、確率集合Ｐを形成するデバイスは、確率集合を数回形成することに適することができる。さらに、修正学習集合Ｖ’を形成するデバイスは、修正学習集合Ｖ’を数回形成することに適することができる。

本発明の更なる実施の形態によれば、システムＳからの無標示の測定値ｖの集合Ｖを形成するデバイスは、集合Ｖを、

である部分集合Ｖ＿１，．．．，Ｖ＿Ｎに分割することに適することができる。さらに、修正学習集合Ｖ’を形成するデバイスは、

である修正学習部分集合Ｖ＿１’，．．．，Ｖ＿Ｎ’を形成し、これらの修正学習部分集合Ｖ＿１’，．．．，Ｖ＿Ｎ’から学習集合Ｖ’を組み合わせることに適することができる。

本発明の更なる実施の形態によれば、修正学習集合Ｖ’を形成するデバイスは、測定値ｖの削除及び／又は重み付けの間に集合Ｖからの測定値ｖの少なくとも１つの最も近い近傍も削除することに適することができる。

本発明は、閾値を必要とせず、その代わりに、ランダム化された方法／ランダムベースの方法を用いる、システムＳから取得される測定値を評価する方法を提供する。ランダム化された方法／ランダムベースの方法を用いることによって、ユーザーは、複雑な試験及び評価によって閾値を求める必要がなく、また、測定値の大部分から非常に大きく逸脱しているが、Ｓの正常なシステム状態に属する集合Ｖからの測定値は、割り当てられた確率に従って、測定値の学習集合に含められる機会を有する。閾値を用いる方法では、この目的を達成することが困難又は不可能である。本発明による方法は、測定値の基礎を成す分布についての知識を必要としない。しかしながら、この知識は、それにもかかわらず、完全に又は部分的に存在する場合、スコア関数（複数の場合もある）Ｆ及び変換関数（複数の場合もある）Ｔの選択に用いることができる。従来技術の方法とは対照的に、本発明によれば、関数Ｔを用いてランダム化された方法によって計算された確率は、ランダム化された方法で学習集合を形成するのに用いられる。これに関して、現在の学習集合Ｖだけでなく、システムＳからの測定値の可能な挙動もそれにも増して重要である可能性がある。計算された確率値は、外れ値を含むリストを作成することに（のみに）用いられず、元の学習集合Ｖからの縮小された学習集合Ｖ’を求めるランダム化方法において用いられる。

以下では、例及び図面に基づいて本発明をより詳細に説明する。

従来技術の従来の方法によるシステムから取得される測定値を評価する方法の概略図である。 本発明によるシステムから取得される測定値を評価する方法の好ましい実施形態の概略図である。 本発明によるシステムＳから取得される測定値を評価するシステムの好ましい実施形態の概略図である。 本発明によるシステムから取得される測定値を評価する方法の好ましい実施形態の、変換関数として用いられるワイブル分布の概略図である。

図１は、従来技術によるシステムＳから取得される測定値を評価する従来方法の概略図である。

システムＳ、例えばネットワークにおいて、測定値ｖの集合Ｖが取得される。この集合Ｖは、学習システムＬの学習集合としての機能を果たすことになる。集合Ｖからの測定値ｖは無標示である。すなわち、測定値ｖがエラーを有するか否か、すなわち、測定値が取得されている間、システムＳがエラーのある状態にあるか否かについての記載がなされていない可能性がある。

所定の閾値によって、学習システムＬは、測定値の集合Ｖ又は測定値ｖを評価する。本場合には、閾値未満に位置する測定値ｖが、学習集合から削除され、それ以降考慮されることはない。このように求められた学習集合Ｖ’は、閾値よりも上の測定値ｖのみを含み、学習集合Ｌによって、モデルＭを形成するのに用いられる。このモデルＭは、学習された測定値の観点からエラーのないシステムＳを表したものである。モデルＭに基づくと、今後の新たな測定値ｗについて、システムＳがそれらの新たな測定値ｗに関してエラーのある状態にあるか否かについての記載がなされることになる。

この目的のために、モデルＭは、評価システムＢを形成することに用いられる。次に、評価される測定値の新たな集合Ｗからの測定値ｗが、この評価システムＢに供給される。その後、評価システムＢは、測定値の集合Ｗからの測定値ｗを評価し、それによって、形成されたモデルＭを考慮に入れ、測定値ｗがエラーを有するか否か、したがって、システムがエラーのある状態にあるか否かについての記載を行う。

図２は、本発明によるシステムＳから取得される測定値を評価する方法の好ましい実施形態の概略図である。この好ましい実施形態においても、測定値ｖは、システムＳにおいて取得され、学習集合として意図された測定値ｖの集合に組み合わされる。これらの測定値ｖにはスコア関数Ｆが適用され、したがって、スコア値ｑを含むスコア値の集合Ｑが形成される。次に、このスコア値集合Ｑに変換関数Ｔが適用され、したがって、確率ｐを含む確率集合Ｐが形成される。次に、ランダム選択によって、測定値の修正学習集合Ｖ’が形成される。測定値ｖは、１−ｐの対応する確率で修正学習集合Ｖ’内に含められる。測定値ｖには、適した重み関数Ｇによって、対応する重みも（又は重みのみを）与えることができ、したがって、全ての測定値ｖ∈Ｖは、対応する重みとともに修正学習集合Ｖ’内に含められる。

次に、学習集合Ｖ’を用いることによって、学習システムＬは、適したモデルＭを形成し、このモデルＭは、エラーのないシステムＳを表したものである。

次に、このモデルＭを用いることによって、評価システムＢが形成される。システムから新たに取得された測定値ｗ∈Ｗは、評価システムＢに提供され、評価システムは、この新たな測定値ｗ∈Ｗがエラーを有するのか又は正常であるのかを評価し、したがって、システムＳがエラーを有する状態にあるのか又は正常な状態にあるのかを評価する。

図３は、本発明によるシステムＳから取得される測定値を評価するシステムの好ましい実施形態の概略図である。システムＳから取得される測定値を評価するシステム１００は、システムＳからの無標示の測定値ｖの集合Ｖを形成するデバイス１１０と、修正学習集合Ｖ’を形成するデバイス１２０と、学習システムＬ １３０と、評価システムＢ １４０と、システムＳがエラーのある状態にあるのか否かを判断するデバイス１５０とを備える。

デバイス１１０は、システムＳによって取得された測定値ｖを受け取り、これらの取得された測定値に基づいて、無標示の測定値ｖの集合Ｖを形成する。次に、測定値ｖ’を含む修正学習集合Ｖ’が、以下のようにデバイス１２０において形成される。

デバイス１２１において、スコア値ｑを含むスコア値集合Ｑが、スコア関数Ｆによって、測定値ｖを含む集合Ｖから形成される。次に、デバイス１２１において、確率ｐを含む確率集合Ｐが、変換関数Ｔによって、スコア値ｑを含むスコア値集合Ｑから形成される。その後、デバイス１２０において、測定値ｖは、ｐ＝Ｔ（Ｆ（ｖ））である１−ｐの対応する確率で修正学習集合Ｖ’内に含められる。したがって、修正学習集合Ｖ’は、最初に取得された集合Ｖのランダム化／ランダムベースの処置によって得られる。

次に、修正学習集合Ｖ’は、学習システムＬ １３０において、システムＳのモデルＭを形成することに用いられる。このモデルＭは、エラーのないシステムＳを表したものである。

次に、このモデルＭによって、評価されるシステムからの新たな測定値集合Ｗの測定値ｗがエラーを有するか否かが評価システムＢ １４０において評価される。評価される測定値ｗを含む測定値集合Ｗも、デバイス１１０によって形成又は測定されている可能性がある。次に、システムＳがエラーのない状態にあるのか又はエラーのある状態にあるのかが、デバイス１５０において、測定値ｗの評価に基づいて判断される。測定値ｗがエラーを有するか否か、又はシステムＳがエラーのある状態にあるのか若しくはエラーのない状態にあるのかについて適宜判断された結果は、その後、それに応じて、例えば、更なるシステムにおいて更に処理することができる。

図４は、本発明によるシステムから取得される測定値を評価する方法の好ましい実施形態の、変換関数として用いられるワイブル分布の概略図である。現在説明している本発明の実施形態において、以下では、６つの測定値が、システムＳにおいて特定の測定量（タイプ）について測定され、後に、学習システムＬにおいて入力としての機能を果たすことになる。測定値ｖの測定値集合Ｖは、Ｖ＝（１０１，１０２，１，１００，１０３，１０５）である。

３番目の測定値ｖ＝１は、この測定値のリストにおいて外れ値である。しかしながら、学習システムＬは、この外れ値がエラーのある測定値であるのか又はエラーのない測定値であるのか、及びこの外れ値がシステムＳのエラーのある状態で測定されたのか又はエラーのない状態で測定されたのかを知らない。

学習システムＬが、学習集合Ｖについて、モデルＭとして、Ｖからの測定値の最小値及び最大値を形成していた場合、以下のことが適用される。
−測定値ｖ＝１を有する場合：最小値＝１、最大値＝１０５
−測定値ｖ＝１を有しない場合：最小値＝１００、最大値＝１０５。

これらの最大値及び最小値が、モデルＭとしてエラーのないシステムの記述に用いられた場合、本場合には、測定値１が追加されるか否かに応じて、２つの完全に異なる実現形態が達成される。最小値＝１及び最大値＝１０５の場合、新たな測定値の受け入れ範囲は、最小値＝１００及び最大値＝１０５の場合よりも大きい。

第１の場合には、第２の場合よりも多くの測定値が正常に受け入れられる。

したがって、本発明による本例では、スコア関数Ｆ（ｖ）として、むしろ、Ｖからの測定値ｖごとに、Ｖからの最も近い測定値までの距離を形成し、これらの距離をＶからの全ての測定値の平均距離ｍによって除算する関数が用いられる。

ｄ（ｖ）は、他の全ての測定値からの測定値ｖの最小距離を意味する。したがって、以下のことが適用される。

したがって、平均距離ｍは、この場合、以下のものとなる。

スコア関数Ｆによって、次に、Ｖからの測定値のスコア値を以下のように計算することができる。

本発明によれば、これらのスコア値は、次に、変換関数Ｔを用いて確率に変換される。本発明による例によれば、いわゆる形状パラメーターであるパラメーターｋ＝２と、いわゆるスケールパラメーターであるパラメーターλ＝２とを有するワイブル分布が変換関数として用いられる。

ワイブル分布Ｔは、以下のように定義される。

ここで、「＾」は累乗であり、ｅｘｐ（）は指数関数である。

図３は、これらのパラメーターを用いた本発明によるワイブル分布を示している。

Ｔによって変換されたスコア値は、以下のとおりである。

この時点で、計算された確率値に基づいて、個々の測定値が、ランダムに学習集合Ｖから削除されるか又は学習集合Ｖに保持される。

したがって、測定値１０１、１０２、１００，１０３、１０５は、Ｖに保持される可能性が非常に高く、測定値１は削除される。修正学習集合Ｖ’は、したがって、以下の測定値を非常に高い可能性で含む。

次に、学習集合Ｖ’を用いることによって、適したモデルＭが形成され、その後、このモデルＭを用いることによって、評価システムＢが形成される。

次に、システムから新たに取得された測定値ｗ∈Ｗを評価システムＢに提供することができ、評価システムＢは、この新たな測定値ｗ∈Ｗがエラーを有するのか又は正常であるのか及びシステムＳがそれに応じてエラーのある状態にあるのか又は正常な状態にあるのかを評価することができる。

本発明は、図に基づいて例示され、対応する説明に基づいて詳細に説明されているが、この例示及び詳細な説明は、例示及び例証として理解されるべきであり、本発明を限定するものと理解されるべきではない。当業者であれば、もちろん、添付の特許請求の範囲の範囲及び趣旨から逸脱することなく変更及び補正を行うことができる。特に、本発明は、様々な実施形態を考慮して、上記又は下記で言及又は図示している特徴の任意の組み合わせを含む実施形態も含む。

本発明は、図における個々の特徴が、それらの図において他の特徴と関係して示されている場合であっても、及び／又は上記及び下記において言及されていない場合であっても、これらの特徴も含む。さらに、図及び上記説明並びに個々の代替形態に記載された実施形態の代替形態並びにそれらの特徴は、本発明の主題及び／又は開示した主題から除外することができる。この開示は、特許請求の範囲及び／又は上記例に記載された特徴のみを含む実施形態だけなく、他の特徴を付加的に含むそのような実施形態も含む。

Claims (20)

1. エラーのない状態又はエラーのある状態の場合があるシステムＳから取得される測定値を評価する方法であって、前記システムＳは、少なくとも１つの通信ネットワーク、通信システムのネットワーク構成要素、又は通信ネットワークのサービスを備え、該方法は、好ましくは以下の順序で、以下のステップ、すなわち、
   （ａ）前記システムＳからの無標示の測定値ｖの集合Ｖを形成するステップと、
   （ｂ）ランダムベースの方法を用いた前記集合Ｖからの測定値の（ｉ）削除、又は（ｉｉ）重み付け、又は（ｉｉｉ）削除及び重み付けによって、学習システムＬの測定値ｖ’を含む修正学習集合Ｖ’を形成するステップと、
   （ｃ）前記システムＳからの測定値を評価するモデルＭを、前記学習システムＬによって前記修正学習集合Ｖ’から形成するステップと、
   （ｄ）前記システムＳからの測定値を、前記モデルＭを用いて評価システムＢによって評価するステップと、
   を含み、
   ステップ（ｂ）において、前記集合Ｖからの測定値ｖの（ｉ）削除、又は（ｉｉ）重み付け、又は（ｉｉｉ）削除及び重み付けの間に、前記測定値ｖの少なくとも１つの最も近い近傍が削除される、方法。
2. ステップ（ｂ）は、以下のステップ、すなわち、
   （ｂ１）スコア値ｑを含むスコア値集合Ｑを、少なくとも１つのスコア関数Ｆ：Ｖ→Ｑ，
   

   

   によって、前記集合Ｖから形成するステップと、
   （ｂ２）確率ｐを含む確率集合Ｐを、少なくとも１つの変換関数Ｔ：Ｑ→Ｐ，
   

   

   によって、前記スコア値集合Ｑから形成するステップと、
   （ｂ３）前記修正学習集合Ｖ’を測定値から形成するステップと、
   を含み、
   前記測定値ｖ∈Ｖは、ｐ＝Ｔ（Ｆ（ｖ））である１−ｐのそれぞれの確率で前記修正学習集合Ｖ’内に含められるか、又は
   前記測定値ｖ∈Ｖは、少なくとも１つの重み関数Ｇによってそれぞれの重みを与えられる、請求項１に記載の方法。
3. ステップ（ｂ）は、以下のステップ、すなわち、
   （ｂ１）スコア値ｑを含むスコア値集合Ｑを、少なくとも１つのスコア関数Ｆ：Ｖ→Ｑ，
   

   

   によって、前記集合Ｖから形成するステップと、
   （ｂ２）確率ｐを含む確率集合Ｐを、少なくとも１つの変換関数Ｔ：Ｑ→Ｐ，
   

   

   によって、前記スコア値集合Ｑから形成するステップと、
   （ｂ３）前記修正学習集合Ｖ’を測定値から形成するステップと、
   を含み、
   前記測定値ｖ∈Ｖは、ｐ＝Ｔ（Ｆ（ｖ））である１−ｐのそれぞれの確率で前記修正学習集合Ｖ’内に含められ、かつ
   前記測定値ｖ∈Ｖは、少なくとも１つの重み関数Ｇによってそれぞれの重みを与えられる、請求項１に記載の方法。
4. 前記方法は、ステップ（ｂ１）〜（ｂ３）を前記言及した順序で含む、請求項２又は３に記載の方法。
5. 前記スコア関数Ｆは、スコア値の出力を有する独立した学習システムＬ’及び評価システムＢ’を表すことができる、請求項２〜４のいずれか１項に記載の方法。
6. 前記スコア関数Ｆは、スコア値の出力を有する独立した機械学習システムＬ’及び評価システムＢ’を表すことができる、請求項５に記載の方法。
7. 前記スコア関数Ｆは、次のもの、すなわち、ｋ最近傍、四分位間乗率、局所外れ値度のうちの１つ又は複数を考慮に入れることによって形成される、請求項２〜６のいずれか１項に記載の方法。
8. 前記変換関数Ｔは連続増加関数である、請求項２〜７のいずれか１項に記載の方法。
9. 前記変換関数Ｔは、全ての
   

   

   について、０≦Ｔ（ｘ）≦１を有する連続増加関数である、請求項８に記載の方法。
10. 前記変換関数Ｔは、正規分布、ワイブル分布、ベータ分布、又は連続等分布である、請求項８又は９に記載の方法。
11. 前記重み関数Ｇは、Ｇ（ｐ）＝１−ｐ＝１−Ｔ（Ｆ（ｖ））として定義される、請求項２〜１０のいずれか１項に記載の方法。
12. ステップ（ｂ１）〜（ｂ３）は、反復的に連続して数回実行される、請求項２〜１１のいずれか１項に記載の方法。
13. ステップ（ａ）において、前記集合Ｖは、
    

    

    である部分集合Ｖ＿１，．．．，Ｖ＿Ｎに分割され、
    ステップ（ｂ）において、
    

    

    である修正学習部分集合Ｖ＿１’，．．．，Ｖ＿Ｎ’が形成され、前記修正学習集合Ｖ’は、前記修正学習部分集合Ｖ＿１’，．．．，Ｖ＿Ｎ’から組み合わされる、請求項１〜１２のいずれか１項に記載の方法。
14. 測定値は、計算ユニットの稼働率、用いられている記憶空間及び空き記憶空間、入力チャネル及び出力チャネルの稼働率及び状態、エラーのないパケット又はエラーのあるパケットの数、送信キューの長さ、エラーのないサービス問い合わせ及びエラーのあるサービス問い合わせ、サービス問い合わせの処理時間を含む群から選択される、請求項１〜１３のいずれか１項に記載の方法。
15. エラーのない状態又はエラーのある状態の場合があるシステムＳから取得される測定値を評価するシステムであって、前記システムＳは、少なくとも１つの通信ネットワーク、通信システムのネットワーク構成要素、又は通信ネットワークのサービスを備え、該システムは、
    前記システムＳからの無標示の測定値ｖの集合Ｖを形成するデバイスと、
    ランダムベースの方法を用いた前記集合Ｖからの測定値の（ｉ）削除、又は（ｉｉ）重み付け、又は（ｉｉｉ）削除及び重み付けによって、学習システムＬの測定値ｖ’を含む修正学習集合Ｖ’を形成するデバイスであって、前記（ｉ）削除、又は（ｉｉ）重み付け、又は（ｉｉｉ）削除及び重み付けの間に、前記測定値ｖの少なくとも１つの最も近い近傍が削除される、デバイスと、
    前記システムＳからの測定値を評価するモデルＭを、前記修正学習集合Ｖ’から形成することに適した学習システムＬと、
    前記システムＳからの測定値を、前記モデルＭを用いて評価することに適した評価システムＢと、
    を備える、システム。
16. 前記修正学習集合Ｖ’を形成するデバイスは、
    スコア値ｑを含むスコア値集合Ｑを、少なくとも１つのスコア関数Ｆ：Ｖ→Ｑ，
    

    

    によって、前記集合Ｖから形成するデバイスと、
    確率ｐを有する確率集合Ｐを、少なくとも１つの変換関数Ｔ：Ｑ→Ｐ，
    

    

    によって、前記スコア値集合Ｑから形成するデバイスと、
    を備え、
    前記修正学習集合Ｖ’を形成する前記デバイスは、ｐ＝Ｔ（Ｆ（ｖ））である１−ｐの対応する確率で前記測定値ｖ∈Ｖを前記修正学習集合Ｖ’内に導入するとともに、少なくとも１つの重み関数Ｇによって前記測定値ｖ∈Ｖを重み付けすることによって、測定値の前記修正学習集合Ｖ’を形成することに適しており、
    修正学習集合Ｖ’を形成する前記デバイスは、測定値ｖの（ｉ）削除、又は（ｉｉ）重み付け、又は（ｉｉｉ）削除及び重み付けの間に前記集合Ｖからの前記測定値ｖの少なくとも１つの最も近い近傍も削除することに適している、請求項１５に記載のシステム。
17. 前記修正学習集合Ｖ’を形成するデバイスは、
    スコア値ｑを含むスコア値集合Ｑを、少なくとも１つのスコア関数Ｆ：Ｖ→Ｑ，
    

    

    によって、前記集合Ｖから形成するデバイスと、
    確率ｐを有する確率集合Ｐを、少なくとも１つの変換関数Ｔ：Ｑ→Ｐ，
    

    

    によって、前記スコア値集合Ｑから形成するデバイスと、
    を備え、
    前記修正学習集合Ｖ’を形成するデバイスは、前記測定値ｖ∈Ｖを、ｐ＝Ｔ（Ｆ（ｖ））である１−ｐの対応する確率で前記修正学習集合Ｖ’内に導入するとともに、少なくとも１つの重み関数Ｇによって前記測定値ｖ∈Ｖを重み付けすることによって、測定値の前記修正学習集合Ｖ’を形成することに適している、請求項１５に記載のシステム。
18. スコア値集合Ｑを形成するデバイスは、前記スコア値集合Ｑを数回形成することに適しており、
    確率集合Ｐを形成するデバイスは、前記確率集合Ｐを数回形成することに適しており、
    前記修正学習集合Ｖ’を形成する前記デバイスは、前記修正学習集合Ｖ’を数回形成することに適している、請求項１５〜１７のいずれか１項に記載のシステム。
19. 前記システムＳからの無標示の測定値ｖの集合Ｖを形成する前記デバイスは、前記集合Ｖを、
    

    

    である部分集合Ｖ＿１，．．．，Ｖ＿Ｎに分割することに適しており、
    前記修正学習集合Ｖ’を形成するデバイスは、
    

    

    である修正学習部分集合Ｖ＿１’，．．．，Ｖ＿Ｎ’を形成し、該修正学習部分集合Ｖ＿１’，．．．，Ｖ＿Ｎ’から前記修正学習集合Ｖ’を組み合わせることに適している、請求項１５〜１８のいずれか１項に記載のシステム。
20. 測定値は、計算ユニットの稼働率、用いられている記憶空間及び空き記憶空間、入力チャネル及び出力チャネルの稼働率及び状態、エラーのないパケット又はエラーのあるパケットの数、送信キューの長さ、エラーのないサービス問い合わせ及びエラーのあるサービス問い合わせ、サービス問い合わせの処理時間を含む群から選択される、請求項１５〜１９のいずれか１項に記載のシステム。

Images