JP2024524050A - ハイブリッドクラウド環境における誤警告を減らすパフォーマンスデータ分析 - Google Patents

Abstract

コンピュータ実装方法が提供される。本方法は、コンピューティングシステムのロバストネスとパフォーマンスに対するランタイムデータポイントの影響を示すランタイムデータポイントを変換することを含む。ランタイムデータポイントはクラスタリングされ、各クラスタはそれぞれコンピューティングシステムの時間的状態を表す。各クラスタは、各クラスタのランタイムデータポイントの確率密度に基づいて３次元表現に変換される。タイムベースベクターが生成され、ベクターは第１の３次元表現から第２の３次元表現への遷移を表す。タイムベースベクターによって横断される各３次元表現は、コンピューティングシステムのそれぞれの状態を表す。タイムベースベクターは、ベースラインベクターと比較される。少なくとも部分的に比較に基づいて異常警告が発される。

Description

本発明は、一般に、プログラマブルコンピューティングシステムに関し、より具体的には、ハイブリッドクラウド環境において誤警告を減らすパフォーマンスデータ分析を実行するように構成されたプログラマブルコンピューティングシステムに関する。

データサイエンスは学際的な分野であり、コンピューティングシステムが大量の非構造化データの分析と分析からの洞察の生成のために複雑なアルゴリズムを使用する。データサイエンティストは、ビジネスセンス、数学、コンピュータサイエンスの知識、コミュニケーションスキルを駆使して、これらのアルゴリズムを生成し、さまざまなコンピューティング出力を解釈する。データサイエンスの一態様として、異常検出がある。これは、コンピュータシステムが標準とは異なるデータポイントやデータ傾向を特定するプロセスである。異常データは、例えばハイブリッドクラウドコンピューティング環境において、例外を特定し、もしくはコンピューティングモデルの動作変化の指標として活用することができる。

ハイブリッドクラウドコンピューティング環境とは、集中管理されたデータセンター（プライベートクラウドコンピューティング環境）と、１つ以上のパブリッククラウドコンピューティング環境を運用するサードパーティアプリケーションとの間でデータが共有され、処理される環境である。システム管理者は、スループット、キュー長、応答時間などのデータを使用して、ハイブリッドクラウドコンピューティング環境のパフォーマンスを測定する。システムデータは予測不可能で複雑であり、システム管理者は、異常を監視し、クラウドコンピューティング環境全体のアプリケーションのパフォーマンスを測定するために、多数のパフォーマンス指標の閾値を設定する必要がある。管理者は一般的に、異常警告のトリガーとして静的な閾値を設定することで、静的な異常検知を行う。しかし、閾値の設定が低すぎると、異常検知システムが誤った警告を発してしまう可能性がある。一方、閾値が高すぎる場合、異常検知システムは警告を発することができない。

本発明の実施形態は、ハイブリッドクラウド環境における誤警告を低減するためのパフォーマンス分析のためのコンピュータ実装方法に向けられている。コンピュータ実装方法の非限定的な例は、コンピューティングシステムのロバストネスとパフォーマンスに対するランタイムデータポイントの影響を示すランタイムデータポイントを変換することを含む。ランタイムデータポイントはクラスタリングされ、各クラスタはそれぞれコンピューティングシステムの時間的状態を表す。各クラスタは、各クラスタのランタイムデータポイントの確率密度に基づいて３次元表現に変換される。タイムベースベクターが生成され、ベクターは第１の３次元表現から第２の３次元表現への遷移を表す。タイムベースベクターによって横断される各３次元表現は、コンピューティングシステムのそれぞれの状態を表す。タイムベースベクターは、ベースラインベクターと比較される。異常警告は、少なくとも部分的に比較に基づいて発される。

本発明の実施形態はさらに、タイムベースベクターの第１レグの開始データポイントと終了データポイントとがそれぞれ、第１のクラスタおよび時間的に連続する第２のクラスタに含まれるか否かを判定することによって、ベースラインベクターからのタイムベースベクターの偏差が異常の偽陽性によるものであるか否かを判定することを含む。そして、タイムベースベクターの第１レグの軌道がベースラインベクターの第１レグの軌道と比較され、軌道が閾値偏差から大きく乖離しているか否かが判定される。

本発明の実施形態はさらに、タイムベースベクターによって表される状態遷移のシーケンスを、ベースラインベクターによって表される状態遷移のシーケンスと比較することによって、ベースラインベクターからのタイムベースベクターの偏差が、異常の偽陰性によるものであるか否かを判定することを含む。

本発明の実施形態は、本明細書で説明する技術的解決策を提供し、それに応じて、異常検知のために静的閾値を使用することの技術的課題に対処する。ハイブリッドクラウドシステムおよびＩＴ運用のための人工知能（ＡＩＯｐｓ）は、予測不可能で複雑な大量のデータを含む。システム管理者は、アプリケーションやシステムの状態を評価するために、多数のパフォーマンス指標を設定してデータを監視しなければならない。したがって、ここで説明する技術的解決策は、アプリケーションまたはシステムの時間的状態を表す３次元表現を生成する実用的なアプリケーションを提供する。さらに、ここで説明する技術的解決策は、静的なパフォーマンス指標閾値に依存するのではなく、アプリケーションまたはシステムのある時間的状態から次の時間的状態へのリアルタイムの軌道を連続的に監視することによって異常指標を生成する、関連する異常検出システムおよび他の技術的解決策を改善する。

本発明の実施形態は、ハイブリッドクラウド環境における誤警告を低減するためのパフォーマンス分析のためのシステムに向けられている。システムの非限定的な実施例は、コンピューティングシステムのロバストネスとパフォーマンスに対するランタイムデータポイントの影響を示すランタイムデータポイントを変換することを含む。システムはランタイムデータポイントをクラスタリングし、各クラスタはそれぞれコンピューティングシステムの時間的状態を表す。システムは、各クラスタのランタイムデータポイントの確率密度に基づいて、各クラスタを３次元表現に変換する。システムは、タイムベースベクターを生成し、ベクターは、第１の３次元表現から第２の３次元表現への遷移を表す。タイムベースベクターによって横断される各３次元表現は、コンピューティングシステムのそれぞれの状態を表す。システムは、タイムベースベクターをベースラインベクターと比較する。システムは、少なくとも部分的に比較に基づいて異常警告を発する。

本発明の実施形態は、ハイブリッドクラウド環境における誤警告を低減するためのパフォーマンス分析のためのコンピュータプログラム製品に向けられている。コンピュータプログラム製品の非限定的な例は、コンピューティングシステムのロバストネスとパフォーマンスに対するランタイムデータポイントの影響を示すランタイムデータポイントを変換することを含む。コンピュータプログラム製品は、ランタイムデータポイントをクラスタリングさせ、各クラスタはそれぞれコンピューティングシステムの時間的状態を表す。コンピュータプログラム製品は、各クラスタのランタイムデータポイントの確率密度に基づいて、各クラスタを３次元表現に変換させる。コンピュータプログラム製品は、タイムベースベクターを生成させ、ベクターは、第１の３次元表現から第２の３次元表現への遷移を表す。タイムベースベクターによって横断される各３次元表現は、コンピューティングシステムのそれぞれの状態を表す。コンピュータプログラム製品は、タイムベースベクターをベースラインベクターと比較させる。コンピュータプログラム製品は、少なくとも部分的に比較に基づいて異常警告を発する。

さらなる技術的特徴および利点は、本発明の技術によって実現される。本発明の実施形態および態様は、本明細書において詳細に説明され、特許請求の主題の一部とみなされる。より良く理解するために、詳細な説明および図面を参照されたい。

本明細書に記載された排他的権利の具体的内容は、明細書の最後に記載された特許請求の範囲において特に指摘され、明確に特許請求されている。本発明の実施形態の前述および他の特徴および利点は、添付の図面と併せて取られる以下の詳細な説明から明らかである。

本発明の１つ以上の実施形態による、ハイブリッドクラウド環境における誤警告を低減するためのパフォーマンス分析システムを示す図である。 本発明の１つ以上の実施形態による、クラスタリングされたパフォーマンス／ロバストネスデータポイントの２次元表現を示す図である。 本発明の１つ以上の実施形態による、パフォーマンス／ロバストネスデータポイントクラスターとタイムベースベクターの２次元表現を示す図である。 本発明の１つ以上の実施形態による、パフォーマンス／ロバストネスデータポイントクラスターとタイムベースベクターの３次元表現を示す図である。 本発明の１つ以上の実施形態による、ハイブリッドクラウド環境における誤警告を低減するためのフロー図である。 本発明の１つ以上の実施形態による、タイムベースベクターをベースラインベクターと比較するためのフロー図を示す。 本発明の１つ以上の実施形態によるクラウドコンピューティング環境を示す図である。 本発明の１つ以上の実施形態による抽象化モデルレイヤーを示す図である。 本発明の１つ以上の実施形態を実施する際に使用するコンピュータシステムのブロック図である。

ここに描かれた図は例示である。本発明の精神から逸脱することなく、図またはそこに記載された操作には多くの変形が可能である。例えば、動作を異なる順序で実行したり、動作を追加、削除、修正したりすることができる。また、「結合」という用語およびその変形は、２つの要素間に通信経路があることを説明するものであり、要素間に介在する要素／接続がなく、要素間が直接接続されていることを意味するものではない。これらの変形はすべて、本明細書の一部とみなされる。

本発明の１つ以上の実施形態は、コンピューティングシステムのリアルタイムパフォーマンスおよびロバストネスパターンと、コンピューティングシステムのベースラインパターンとの比較に基づく異常検出のための、コンピュータ実装方法、コンピューティングシステム、およびコンピュータプログラム製品を提供する。

本発明の１つ以上の実施形態は、システムデータを収集し、パフォーマンス／ロバストネスデータポイントのクラスタを生成する、異常検出のためのコンピュータ実装方法、コンピューティングシステム、およびコンピュータプログラム製品を提供することによって、上述の欠点の１つまたは複数に対処する。各クラスタは、ある時点におけるハイブリッドクラウドコンピューティング環境の状態を表す。データポイントの異なるクラスタは、２次元座標系にマッピングされる。クラスタリングされた２次元のパフォーマンス／ロバストネス値は、３次元表現に変換される。ある状態から次の時間的に連続した状態への遷移のタイムベースの軌道を表すベクターが生成される。生成されたタイムベースベクターは、異常警告を発するか否かを判定するためにベースラインベクターと比較される。

図１を参照すると、本発明の実施形態による異常検知のためのシステム１００が示されている。システム１００は、データからパフォーマンス／ロバストネスデータポイントを分析および計算するために、コンピューティングシステム１１２からシステムデータ１１０を収集するデータポイント生成ユニット１０２を含む。システム１００はさらに、パフォーマンス／ロバストネスデータポイントを２次元座標系に変換し、データポイントをクラスタリングし、異なるクラスタの次元を計算するデータポイントクラスタリングユニット１０４を含む。システム１００はさらに、データポイントの勾配と確率密度に基づいてクラスタを３次元表現に変換する３次元データポイント変換ユニット１０６を含む。システム１００はさらに、３次元表現を横断するタイムベースの経路を表すベクターを計算し、計算されたベクターをベースラインベクターと比較するためのパフォーマンスおよびロバストネスベクターユニット１０８を含む。比較に基づいて、パフォーマンスおよびロバストネスベクターユニット１０８は、システムデータが異常を示すか否かについての予測１１４を行う。システム１００の機能の一部または全部は、図６で示すようなクラウドコンピューティング環境５０および図８で示すような処理システム８００上で実行できることを理解されたい。

本発明の１つ以上の実施形態に従って、データポイント生成ユニット１０２は、コンピューティングシステム１１２からリアルタイムランタイムデータ形式のシステムデータ１１０を入力として受け取り、そのデータがコンピューティングシステム１１２のパフォーマンスおよびロバストネスに及ぼす影響を判定するように動作可能である。システムデータ１１０は、ＣＰＵパフォーマンス値、メモリパフォーマンス値、入出力（ＩＯ）パフォーマンス値、およびネットワークパフォーマンス値に関連するが、これらに限定されない、コンピュータハードウェアおよびソフトウェア関連データを含み得る。ハイブリッドクラウドコンピューティング環境では、システムデータ１１０は、任意の接続されたプライベートクラウド、パブリッククラウド、およびエッジデバイスから収集され得る。システムデータ１１０はさらに、サーバ側（パブリッククラウドからの要求に対するプライベートクラウドの応答時間）やエッジデバイス側（リソース負荷時間）などの複数の観点から収集される。

本発明の１つ以上の実施形態に従って、データポイント生成ユニット１０２は、例えば、ニューラルネットワークとして実装され、事前に訓練されたモデルを実行して、システムデータ１１０のデータポイントがコンピューティングシステム１１２のロバストネスおよびパフォーマンスに寄与する程度を表す値を生成する。ニューラルネットワークは、入力層を介してシステムデータ１１０をサンプリングし、隠れ層を介して特徴を抽出し、サンプリングされたデータポイントのロバストネス値およびパフォーマンス値を出力する。事実上、データポイント生成ユニット１０２は、システムデータ１１０からパフォーマンス／ロバストネスデータポイントを生成する。ロバストネスとは、コンピューティングシステムのハードウェアおよびソフトウェアが、コンピューティングシステムの動作中に発生するエラーに対する鈍感さである。パフォーマンスとは、コンピューティングシステム１１２によって実行される作業の尺度である。データポイント生成ユニット１０２は、時系列データに基づく予測のために設計された放射基底関数（ＲＢＦ）ネットワークとして構成することができる。ＲＢＦネットワークは、入力層、隠れ層、出力層を含むフィードフォワードネットワークである。ＲＢＦネットワークは、その普遍的な近似機能と学習速度に基づいて、他のニューラルネットワークと区別される。ＲＢＦネットワークは、項目の予測値目標値が予測変数の他の項目（例えば、パフォーマンス値やロバストネス値）と類似しているという概念で動作する活性化関数としてＲＢＦ関数を使用する。ＲＢＦネットワークは、各システムデータポイントがパフォーマンスとロバストネスの両方に与える影響度がどの程度低いか、またはどの程度高いかについて、値の範囲内で値を生成する。例えば、あるシステムデータポイントは、パフォーマンスへの影響力は低いが、ロバストネスへの影響力は高い場合がある。一方、別のシステムデータポイントは、パフォーマンスへの影響力は高いが、ロバストネスへの影響力は低いかもしれない。パフォーマンスとロバストネスの値をシステムデータポイントに割り当てることで、データポイント生成ユニット１０２はパフォーマンス／ロバストネスのデータポイントを生成する。

データポイントクラスタリングユニット１０４は、データポイント生成ユニット１０２からロバストネス／パフォーマンスデータポイントを受け取り、本発明の１つ以上の実施形態に従って、その点を２次元座標系（例えば、デカルト座標系）にマッピングする。例えば、データポイントクラスタリングユニット１０４は、ロバストネス／パフォーマンスデータポイントを２次元グリッドにマッピングすることができ、この場合、Ｘ軸は、ロバストネスに対するシステムデータポイントの影響について低い値から高い値までの範囲を表し、Ｙ軸は、パフォーマンスに対するシステムデータポイントの影響について低い値から高い値までの範囲を表す。

ロバストネス／パフォーマンスデータポイントが２次元座標系にマッピングされると、データポイントクラスタリングユニット１０４は、ロバストネス／パフォーマンスデータポイントをデータポイント群にクラスタリングする。例えば、データポイントクラスタリングユニット１０４は、各データポイントが最も近いクラスタ重心に向かって、ロバストネス／パフォーマンスデータポイントの最も近いクラスタの方向に反復的に割り当てられる平均シフトモデル（モードシーキングアルゴリズム）を使用することができる。各反復の後、データポイントクラスタリングユニット１０４は、各データポイントをクラスタ中心に近づける。多くの反復の後、データポイントクラスタリングユニット１０４はデータポイントの移動を停止し、データポイントはクラスタに割り当てられる。各クラスタは、各クラスタがある時点におけるコンピューティングシステム１１２の特徴であるように、コンピューティングシステム１１２の状態とみなされる。各クラスタを判定すると、データポイントクラスタリングユニット１０４は、各状態についてコンピューティングシステム１１２の側面を特徴付けることができる。たとえば、全体的なコンピューティングシステム１１２について、クラスタが高いパフォーマンスおよび低いロバストネスを示す場合、コンピューティングシステム１１２は高い同時実行性として特徴付けることができる。しかし、クラスタが低パフォーマンスおよび中程度のロバストネスとして特徴付けられる場合、コンピューティングシステム１１２はＣＰＵ競合によって特徴付けられることができる。重心クラスタから所定の距離だけ離れたデータポイントは外れ値とみなされ、どのクラスタにも割り当てられない。データポイントクラスタリングユニット１０４は、接続性クラスタリングモデル、密度クラスタリングモデル、セントロイドクラスタリングモデル、および分布クラスタリングモデルなど、さまざまな他のクラスタリングアルゴリズムを使用することもできる。

３次元データポイント変換ユニット１０６は、データポイントの２次元表現を３次元表現に変換する。３次元データポイント変換ユニット１０６は、各状態の「重心」を計算することから始める。本発明のいくつかの実施形態では、３次元データポイント変換ユニット１０６は以下の関係を使用する。

ここで、Ｐ_{Ｃ（ＳＫ）}はパフォーマンス軸に沿った点、Ｒ_{Ｃ（ＳＫ）}はロバストネス軸に沿った点（まとめて重心座標）であり、ｎ_ｋは状態ｋの点の数、ｍは状態の総数であり、ｐ_ｉはクラスタのデータポイントのパフォーマンス軸に沿った点であり、ｒ_ｉはクラスタのデータポイントのパフォーマンス軸に沿った点であり、Ｃｅｎｔｅｒは重心である。そして、３次元データポイント変換ユニット１０６は、以下の関係を用いて各状態の確率を算出する。

ここで、すべての状態の確率の和が１に等しい。

そして、３次元データポイント変換ユニット１０６は、以下の関係を用いて各状態の確率密度を算出する。

ここで、ｈ_ｋは状態ｋの最大の確率密度を示し、Ｄは状態ｋの面積を示す。

３次元データポイント変換ユニット１０６は、２次元のクラスタ（状態）を３次元表現に変換し、クラスタの局所的な高さはその局所的な確率密度によって定義される。視覚的には、この構造は、山が高い確率密度の領域として定義され、谷が低い確率密度の領域として定義される山岳地帯に似ている。

次に、パフォーマンスおよびロバストネスベクターユニット１０８は、コンピューティングシステム１１２の状態の進行の軌道を追跡するタイムベースの３次元ベクターを計算する。例えば、タイムベースベクターは、コンピューティングシステム１１２が高同時実行状態からリソース競合状態へ遷移することを表すことができる。次に、パフォーマンスおよびロバストネスベクターユニット１０８は、生成されたタイムベースベクターの軌道からの任意の偏差をベースラインベクターの軌道と比較し、エラー警告が発されるべきか否かを判定する。

本システム１００は、関連する異常検知システムよりも正確な異常警告を提供する。関連する異常検知システムは、コンピューティングシステムの時間における単一の時点に焦点を当てるのに対し、本明細書で説明するシステム１００は、コンピューティングシステム１１２の状態の遷移に目を向ける。３次元軌道は、ある状態から次の状態への遷移を表すことができるだけでなく、システム１００の３次元コンポーネントは、３次元構造の上昇を通じて、ランタイムデータポイントの局所的な集中を分析することを可能にする。

「ニューラルネットワーク」および「機械学習」という語句は、データから学習する電子システムの機能を広く説明する。機械学習システム、エンジン、またはモジュールは、外部のクラウド環境（例えば、クラウドコンピューティング環境５０）などにおいて、現在未知である入力と出力との間の機能的関係を学習するように訓練することができる機械学習アルゴリズムを含むことができる。１つ以上の実施形態において、機械学習機能は、現在未知の機能を実行するように訓練される能力を有する、データポイント生成ユニット１０２とパフォーマンスおよびロバストネスベクターユニット１０８とを使用して実装され得る。機械学習および認知科学において、ニューラルネットワークは、動物、特に脳の生物学的神経ネットワークに触発された統計的学習モデルのファミリーである。ニューラルネットワークは、多数の入力に依存するシステムや関数を推定または近似するために使用できる。

データポイント生成ユニット１０２とパフォーマンスおよびロバストネスベクターユニット１０８は、シミュレートされた「ニューロン」として機能し、電子信号の形で互いの間で「メッセージ」を交換する、相互接続されたプロセッサ要素のいわゆる「ニューロモーフィック」システムとして具現化することができる。生物学的ニューロン間のメッセージを伝達するシナプス神経伝達物質接続のいわゆる「可塑性」と同様に、模擬ニューロン間の電子メッセージを伝達するデータポイント生成ユニット１０２とパフォーマンスおよびロバストネスベクターユニット１０８との接続には、所与の接続の強さまたは弱さに対応する数値重みが提供される。トレーニング中、重みは経験に基づいて調整され、データポイント生成ユニット１０２とパフォーマンスおよびロバストネスベクターユニット１０８を入力に適応させ、学習できるようにすることができる。ネットワークの設計者によって決定された関数によって重み付けされ、変換された後、これらの入力ニューロンの活性化は、しばしば「隠れ」ニューロンと呼ばれる他の下流ニューロンに渡される。このプロセスは、出力ニューロンが活性化されるまで繰り返される。活性化された出力ニューロンは、どの文字が読み出されたかを判定する。

図２を参照すると、本発明の実施形態に従って、２次元座標系２００にマッピングされたパフォーマンス／ロバストネスデータポイントの図が示されている。第１のパフォーマンス／ロバストネスデータポイント２０２が、第１のクラスタ２０４の一部として示されている。外れ値データポイント２０６は、さらに、任意の示されたクラスタの外側に示されている。図示されているように、６つのクラスタＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、およびＳ６はそれぞれ、複数のパフォーマンス／ロバストネスデータポイント２０２を含み、２次元座標系２００の様々な位置に示されている。各クラスタは、所定の時点におけるコンピューティングシステム１１２の状態を表す。６つのクラスタＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、およびＳ６は、必ずしも時間的順序で番号付けされているわけではなく、むしろ説明の目的で番号付けされている。２次元座標系２００の軸は、ロバストネス軸（ｘ軸）およびパフォーマンス軸（ｙ軸）を含む。各軸が、パフォーマンスまたはロバストネスのいずれにも影響されないことを表す原点から遠ざかるにつれて、パフォーマンスまたはロバストネスのいずれかに及ぼす影響が増大する。例えば、Ｓ１クラスタ２０４は、９つのパフォーマンス／ロバストネスデータポイント２０２を含み、高いパフォーマンスと低いロバストネスを示す位置にある。

図３Ａを参照すると、本発明の実施形態に従って、２次元座標系３００にマッピングされた図２に示されたクラスタの図解が示されている。図示されているように、第１のタイムベースベクター３０４は、Ｓ１クラスタ３０２からＳ２クラスタ３０６まで延びている。第２のタイムベースベクター３１２は、Ｓ３クラスタ３０８からＳ４クラスタ３１０まで延びている。図３Ｂを参照すると、本発明の実施形態に従って、３次元座標系３２０にマッピングされた図２に示されたクラスタの図が示されている。図示されているように、第１のタイムベースベクター３２４は、Ｓ１クラスタ３２２からＳ２クラスタ３２６まで延びている。第２のタイムベースベクター３３２は、Ｓ３クラスタ３２８からＳ４クラスタ３３０まで延びている。各３次元構造の相対的な高さは、基礎となる各クラスタのパフォーマンス／ロバストネスデータポイントの確率密度に基づいている。見られるように、パフォーマンス／ロバストネスデータポイントの確率密度はＳ５クラスタ３３６よりもＳ６クラスタ３３４の方が大きく、したがってＳ６クラスタ３３４の高さはＳ５クラスタ３３６の高さよりも大きい。

図４を参照すると、ハイブリッドクラウド環境における誤警告を低減するためのパフォーマンス分析のための方法４００が示されている。説明された方法４００の一部または全部は、図６で示すようなクラウドコンピューティング環境５０および図８に示すような処理システム８００上で実行され得ることが理解されるべきである。ブロック４０２において、データポイント生成ユニット１０２は、コンピューティングシステム１１２からシステムデータ１１０を受信し、パフォーマンス／ロバストネスデータポイントを生成することができる。システムデータ１１０は、データポイント生成ユニット１０２のニューラルネットワークによって実行されるモデルの入力として入力することができる。データポイント生成ユニット１０２は、システムデータ１１０をサンプリングし、モデルを利用して、パフォーマンスおよびロバストネスを示す特徴を抽出することができる。データポイント生成ユニット１０２はさらに、２次元座標系（例えば、デカルト座標）に対するパフォーマンス／ロバストネスのデータポイントを生成する。

ブロック４０４において、データポイントクラスタリングユニット１０４は、生成されたパフォーマンス／ロバストネスデータポイントをクラスタリングする。各クラスタは、パフォーマンスおよびロバストネスを示すデータポイントを含み、さらに、特定の時間におけるコンピューティングシステム１１２の状態を表す。クラスタが識別されると、データポイントクラスタリングユニット１０４は、２次元座標系におけるクラスタの位置決めに基づいて、関連するクラスタによって表されるコンピューティングシステム１１２の状態を判定する。クラスタリングは、例えば、パフォーマンス／ロバストネスデータポイントを反復的にクラスタリングする平均シフトモデルなどのモデルを実行するニューラルネットワークによって実行することができる。

ブロック４０６では、３次元データポイント変換ユニット１０６が、パフォーマンス／ロバストネスデータポイントを２次元表現から３次元表現に変換する。３次元データポイント変換ユニット１０６は、各状態（クラスタ）の重心を計算する。次に、３次元データポイント変換ユニット１０６は、各状態の確率を計算し、これらの確率を用いて各状態の確率密度を計算する。確率密度には、局所的な極大値および極小値が含まれ、各３次元状態の局所的な標高は、局所的な極大値および極小値に比例する。

ブロック４０８において、パフォーマンスおよびロバストネスベクターユニット１０８は、ある状態から時間的に次の状態へのコンピューティングシステム１１２の進行を表す、３次元のタイムベースベクターを生成する。パフォーマンスおよびロバストネスベクターユニット１０８は、状態間の時間的関係の指標についてシステムデータ１１０を分析する。例えば、パフォーマンスおよびロバストネスベクターユニット１０８は、状態が発生した時間的順序を判定するために、タイムスタンプデータ、条件文、連続実行文を検索する。次に、パフォーマンスおよびロバストネスベクターユニット１０８は、ブロック４１０において、予測１１４を生成するために、生成されたタイムベースベクターの３次元軌道をベースラインベクターの軌道と比較する。ブロック４１２において、パフォーマンスおよびロバストネスベクターユニット１０８は、比較に基づいてエラー警告を評価する。ブロック４１０および４１２は、図５を参照してより具体的に説明される。

図５を参照すると、本発明の実施形態による、パフォーマンス／ロバストネスベクターを比較し、エラー警告を評価するための方法５００が示されている。説明される方法４００の一部または全部は、図６に示すようなクラウドコンピューティング環境５０および図８に示すような処理システム８００上で実行され得ることが理解されるべきである。ブロック５０２において、パフォーマンスおよびロバストネスベクターユニット１０８は、履歴データを収集し、履歴データからパフォーマンス／ロバストネスデータポイントを生成することによって、ベースラインベクターを事前学習する。次に、パフォーマンスおよびロバストネスベクターユニット１０８は、パフォーマンス／ロバストネスデータポイントの２次元クラスタのクラスタを生成する。各クラスタは、ある時点におけるコンピューティングシステム１１２の状態を表す。次に、パフォーマンスおよびロバストネスベクターユニット１０８は、クラスタのデータポイントの確率密度に基づいて、２次元クラスタを３次元表現に変換する。次に、パフォーマンスおよびロバストネスベクターユニット１０８は、ある状態からコンピューティングシステムの時間的に次の状態への遷移を記述するタイムベースのベースラインベクターを生成する。

ブロック５０４において、パフォーマンスおよびロバストネスベクターユニット１０８は、次に、生成されたタイムベースベクターの軌道をベースラインベクターの軌道と比較して、生成されたタイムベースベクターとベースラインベクターとが閾値偏差よりも大きく乖離しているか否かを判定する。例えば、閾値偏差は、過去のデータから導出された確率分布に基づく標準偏差とすることができる。したがって、偏差が標準偏差より大きく、一致しない場合、パフォーマンスおよびロバストネスベクターユニット１０８は、ブロック５０６に進み、偽陽性であるか否かを判定する。

ブロック５０６において、パフォーマンスおよびロバストネスベクターユニット１０８は、生成されたタイムベースベクターの各レグとベースラインベクターの各レグとを反復的に比較することによって、偽陽性であるか否かを判定するように進む。生成されたタイムベースベクターおよびベースラインベクターのそれぞれの第１のレグは、時間的に最初であるため、パフォーマンスおよびロバストネスベクターユニット１０８は、まず、このレグの組を分析し、次に、残りのレグを順次比較するように進む。パフォーマンスおよびロバストネスベクターユニット１０８は、レグの組が閾値偏差よりも大きく乖離していると判定した場合、その乖離が外れ値データの結果に基づくものであるか否かを判定する。開始データポイントと終了データポイントの両方がそれぞれのクラスタに関連付けられている場合、パフォーマンスおよびロバストネスベクターユニット１０８は偏差を検証することができる。しかし、レグの終了データポイントが外れ値データポイント（例えば、図２に示された外れ値データポイント２０６）である場合、パフォーマンスおよびロバストネスベクターユニット１０８は、さらに偏差を分析する。終了データポイントが外れ値データポイントである場合、パフォーマンスおよびロバストネスベクターユニット１０８は、外れ値データポイントを終了データポイントとして除去し、外れ値データポイントを終了データポイントとせずに、生成されたタイムベースベクターの新しいレグを再計算する。パフォーマンスおよびロバストネスベクターユニット１０８は、次の連続するレグからの終了データポイントを新しい終了データポイントとして使用する。事実上、パフォーマンスおよびロバストネスベクターユニット１０８は、外れ値データポイントを除去し、ベクターの２つの連続するレグを１つのレグに折りたたむ。次に、パフォーマンスおよびロバストネスベクターユニット１０８は、新たに生成されたレグをベースラインベクターのレグと比較して、それらの軌道が閾値偏差内にあるか否かを判定する。

生成されたタイムラインベクターおよびベースラインベクターまたは新たに生成されたタイムラインベクターおよびベースラインベクターの元のレグの少なくとも１つのレグが閾値偏差から大きく逸脱している場合、誤検出はなく、パフォーマンスおよびロバストネスベクターユニット１０８は、ブロック５１０において異常警告を発する。しかしながら、生成されたタイムラインベクターおよびベースラインベクター又は新たに生成されたタイムラインベクターおよびベースラインベクターの元のレグ部の各レグ部が閾値偏差から大きく乖離していない場合、パフォーマンスおよびロバストネスベクターユニット１０８は、ブロック５０８において、偽陰性であるか否かを判定する。パフォーマンスおよびロバストネスベクターユニット１０８は、生成されたタイムラインベクターの状態進行がベースラインベクターと一致することを検証する。例えば、生成されたタイムベースベクターの状態進行が状態１から状態３、状態４、状態５、状態６である場合、パフォーマンスおよびロバストネスベクターユニット１０８は、ベースラインベクターも状態１から状態３、状態４、状態５、状態６と進行することを検証する。パフォーマンスおよびロバストネスベクターユニット１０８が、比較が偽陰性を確立しないと判定した場合、プロセスはブロック５１２で終了する。しかしながら、パフォーマンスおよびロバストネスベクターユニット１０８が、比較が偽陰性を確立しないと判定した場合、パフォーマンスおよびロバストネスベクターユニット１０８は、ブロック５１０において異常警告を発する。警告は、ソフトウェアエンジニア、ソフトウェア開発者、または他の適切な人のディスプレイ上に表示される視覚的アイコンの形態とすることができる。

本発明のいくつかの実施形態では、システム１００は、複数のパブリッククラウドと動作可能な通信を行うプライベートクラウドを含むハイブリッドクラウドシステムのコンポーネントを監視している。例えば、システム１００は、プライベートクラウド、パブリッククラウド、アプリケーション、またはそれらの組み合わせを監視することができる。システム１００はさらに、異常警告が偽陽性または偽陰性の結果ではないと判定することに応答して、リソースが再ビジョニングされることを指示することができる。パフォーマンスおよびロバストネスベクターユニット１０８が、パフォーマンス／ロバストネスデータがハイブリッドクラウドコンピューティングシステムの１つのコンポーネントで異常が発生していることを示唆する異常予測１１４を生成した場合、クラウドコンピューティングシステムの他の側面におけるサービスの中断を制限するための措置を指示することができる。例えば、プライベートクラウドで異常が予測される場合、データポイント生成ユニット１０２は、収集されたシステムデータ１１０のいずれかがパブリッククラウド上で実行されているアプリケーションまたはパブリッククラウド自体に関連するか否かを判定する。異常は、パブリッククラウドまたはパブリッククラウド上で実行されているアプリケーションに対して利用可能な専用メモリまたは専用処理能力の予期せぬ減少を示唆する可能性がある。この状況では、パフォーマンスおよびロバストネスベクターユニット１０８は、１つ以上の他のパブリッククラウド専用の過剰なメモリまたは処理能力、または未使用のメモリまたは処理能力を、プライベートクラウドにおける異常に関連するパブリッククラウドまたはアプリケーションに向けてリダイレクトすることができる。代替案として、異常はパブリッククラウドで予測されてもよい。例えば、パフォーマンスおよびロバストネスベクターユニット１０８は、異常がプライベートクラウドのリソースの消耗をもたらすと判定することができる。この例では、パフォーマンスおよびロバストネスベクターユニット１０８は、プライベートクラウドに、より多くのリソースをパブリッククラウドにリダイレクトするように指示するか、またはプライベートクラウドまたはパブリッククラウドに、流出の原因となっているアプリケーションのサポートを中止するように指示し得る。システム１００は、ハイブリッドクラウドコンピューティングシステムのコア機能を維持するために、リソースの他のリダイレクトを引き起こし得ることが理解されるべきである。

本開示はクラウドコンピューティングに関する詳細な説明を含むが、本明細書に記載した教示の実装形態はクラウドコンピューティング環境に限定されない。むしろ、本発明の実施形態は、現在公知のまたは将来開発される他の任意の種類のコンピュータ環境と共に実施することができる。

クラウドコンピューティングは、設定可能なコンピューティングリソースの共有プール（例えばネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、記憶装置、アプリケーション、仮想マシンおよびサービス）へ、簡便かつオンデマンドのネットワークアクセスを可能にするためのサービス提供のモデルであり、リソースは、最小限の管理労力または最小限のサービスプロバイダとのやり取りによって速やかに準備（provision）およびリリースできるものである。このクラウドモデルは、少なくとも５つの特性、少なくとも３つのサービスモデル、および少なくとも４つの実装モデルを含むことがある。

特性は以下の通りである。

オンデマンド・セルフサービス：クラウドの消費者は、サービスプロバイダとの人的な対話を必要することなく、必要に応じて自動的に、サーバ時間やネットワークストレージなどのコンピューティング能力を一方的に準備することができる。

ブロード・ネットワークアクセス：コンピューティング能力はネットワーク経由で利用可能であり、また、標準的なメカニズムを介してアクセスできる。それにより、異種のシンまたはシッククライアントプラットフォーム（例えば、携帯電話、ラップトップ、ＰＤＡ）による利用が促進される。

リソースプーリング：プロバイダのコンピューティングリソースはプールされ、マルチテナントモデルを利用して複数の消費者に提供される。様々な物理リソースおよび仮想リソースが、需要に応じて動的に割り当ておよび再割り当てされる。一般に消費者は、提供されたリソースの正確な位置を管理または把握していないため、位置非依存（location independence）の感覚がある。ただし消費者は、より高い抽象レベル（例えば、国、州、データセンタ）では場所を特定可能な場合がある。

迅速な柔軟性（elasticity）：コンピューティング能力は、迅速かつ柔軟に準備することができるため、場合によっては自動的に、直ちにスケールアウトし、また、速やかにリリースされて直ちにスケールインすることができる。消費者にとって、準備に利用可能なコンピューティング能力は無制限に見える場合が多く、任意の時間に任意の数量で購入することができる。

測定されるサービス：クラウドシステムは、サービスの種類（例えば、ストレージ、処理、帯域幅、アクティブユーザアカウント）に適したある程度の抽象化レベルでの測定機能を活用して、リソースの使用を自動的に制御し最適化する。リソース使用量を監視、制御、および報告して、利用されるサービスのプロバイダおよび消費者の両方に透明性を提供することができる。

サービスモデルは以下の通りである。

サービスとしてのソフトウェア（ＳａａＳ）：消費者に提供される機能は、クラウドインフラストラクチャ上で動作するプロバイダのアプリケーションを利用できることである。当該そのアプリケーションは、ウェブブラウザ（例えばウェブメール）などのシンクライアントインターフェースを介して、各種のクライアント装置からアクセスできる。消費者は、ネットワーク、サーバ、オペレーティングシステム、ストレージや、個別のアプリケーション機能さえも含めて、基礎となるクラウドインフラストラクチャの管理や制御は行わない。

サービスとしてのプラットフォーム（ＰａａＳ）：消費者に提供される機能は、プロバイダによってサポートされるプログラム言語およびツールを用いて、消費者が作成または取得したアプリケーションを、クラウドインフラストラクチャに展開（deploy）することである。消費者は、ネットワーク、サーバ、オペレーティングシステム、ストレージを含む、基礎となるクラウドインフラストラクチャの管理や制御は行わないが、展開されたアプリケーションを制御でき、かつ場合によってはそのホスティング環境の構成も制御できる。

サービスとしてのインフラストラクチャ（ＩａａＳ）：消費者に提供される機能は、オペレーティングシステムやアプリケーションを含む任意のソフトウェアを消費者が展開および実行可能な、プロセッサ、ストレージ、ネットワーク、および他の基本的なコンピューティングリソースを準備することである。消費者は、基礎となるクラウドインフラストラクチャの管理や制御は行わないが、オペレーティングシステム、ストレージ、および展開されたアプリケーションを制御でき、かつ場合によっては一部のネットワークコンポーネント（例えばホストファイアウォール）を部分的に制御できる。

展開モデルは以下の通りである。

プライベートクラウド：このクラウドインフラストラクチャは、特定の組織専用で運用される。このクラウドインフラストラクチャは、当該組織または第三者によって管理することができ、オンプレミスまたはオフプレミスで存在することができる。

コミュニティクラウド：このクラウドインフラストラクチャは、複数の組織によって共有され、共通の関心事（例えば、ミッション、セキュリティ要件、ポリシー、およびコンプライアンス）を持つ特定のコミュニティをサポートする。このクラウドインフラストラクチャは、当該組織または第三者によって管理することができ、オンプレミスまたはオフプレミスで存在することができる。

パブリッククラウド：このクラウドインフラストラクチャは、不特定多数の人々や大規模な業界団体に提供され、クラウドサービスを販売する組織によって所有される。

ハイブリッドクラウド：このクラウドインフラストラクチャは、２つ以上のクラウドモデル（プライベート、コミュニティまたはパブリック）を組み合わせたものとなる。それぞれのモデル固有の実体は保持するが、標準または個別の技術によってバインドされ、データとアプリケーションの可搬性（例えば、クラウド間の負荷分散のためのクラウドバースティング）を実現する。

クラウドコンピューティング環境は、ステートレス性（statelessness）、低結合性（low coupling）、モジュール性（modularity）および意味論的相互運用性（semantic interoperability）に重点を置いたサービス指向型環境である。クラウドコンピューティングの中核にあるのは、相互接続されたノードのネットワークを含むインフラストラクチャである。

ここで図６を参照すると、例示的なクラウドコンピューティング環境５０が描かれている。図示されるように、クラウドコンピューティング環境５０は１つまたは複数のクラウドコンピューティングノード１０を含む。これらに対して、クラウド消費者が使用するローカルコンピュータ装置（例えば、パーソナルデジタルアシスタント（ＰＤＡ）もしくは携帯電話５４Ａ、デスクトップコンピュータ５４Ｂ、ラップトップコンピュータ５４Ｃ、もしくは自動車コンピュータシステム５４Ｎまたはこれらの組み合わせなど）は通信を行うことができる。ノード１０は互いに通信することができる。ノード１０は、例えば、上述のプライベート、コミュニティ、パブリックもしくはハイブリッドクラウドまたはこれらの組み合わせなど、１つまたは複数のネットワークにおいて、物理的または仮想的にグループ化（不図示）することができる。これにより、クラウドコンピューティング環境５０は、サービスとしてのインフラストラクチャ、プラットフォームもしくはソフトウェアまたはこれらの組み合わせを提供することができ、クラウド消費者はこれらについて、ローカルコンピュータ装置上にリソースを維持する必要がない。なお、図６に示すコンピュータ装置５４Ａ～Ｎの種類は例示に過ぎず、コンピューティングノード１０およびクラウドコンピューティング環境５０は、任意の種類のネットワークもしくはネットワークアドレス指定可能接続（例えば、ウェブブラウザの使用）またはその両方を介して、任意の種類の電子装置と通信可能であることを理解されたい。

ここで図７を参照すると、クラウドコンピューティング環境５０（図６）によって提供される一連の機能抽象化レイヤが示されている。なお、図７に示すコンポーネント、レイヤおよび機能は例示に過ぎず、本発明の実施形態はこれらに限定されないことをあらかじめ理解されたい。図示するように、以下のレイヤおよび対応する機能が提供される。

ハードウェアおよびソフトウェアレイヤ６０は、ハードウェアコンポーネントおよびソフトウェアコンポーネントを含む。ハードウェアコンポーネントの例には、メインフレーム６１、縮小命令セットコンピュータ（ＲＩＳＣ）アーキテクチャベースのサーバ６２、サーバ６３、ブレードサーバ６４、記憶装置６５、ならびにネットワークおよびネットワークコンポーネント６６が含まれる。いくつかの実施形態において、ソフトウェアコンポーネントは、ネットワークアプリケーションサーバソフトウェア６７およびデータベースソフトウェア６８を含む。

仮想化レイヤ７０は、抽象化レイヤを提供する。当該レイヤから、例えば以下の仮想エンティティを提供することができる：仮想サーバ７１、仮想ストレージ７２、仮想プライベートネットワークを含む仮想ネットワーク７３、仮想アプリケーションおよびオペレーティングシステム７４、ならびに仮想クライアント７５。

一例として、管理レイヤ８０は以下の機能を提供することができる。リソース準備８１は、クラウドコンピューティング環境内でタスクを実行するために利用されるコンピューティングリソースおよび他のリソースの動的な調達を可能にする。計量および価格設定８２は、クラウドコンピューティング環境内でリソースが利用される際のコスト追跡、およびこれらのリソースの消費に対する請求またはインボイス送付を可能にする。一例として、これらのリソースはアプリケーションソフトウェアのライセンスを含んでよい。セキュリティは、データおよび他のリソースに対する保護のみならず、クラウドコンシューマおよびタスクの識別確認を可能にする。ユーザポータル８３は、コンシューマおよびシステム管理者にクラウドコンピューティング環境へのアクセスを提供する。サービスレベル管理８４は、要求されたサービスレベルが満たされるように、クラウドコンピューティングリソースの割り当ておよび管理を可能にする。サービス品質保証（ＳＬＡ）の計画および履行８５は、ＳＬＡに従って将来必要になると予想されるクラウドコンピューティングリソースの事前手配および調達を可能にする。

ワークロードレイヤ９０は、クラウドコンピューティング環境が利用可能な機能の例を提供する。このレイヤから提供可能なワークロードおよび機能の例には、マッピングおよびナビゲーション９１、ソフトウェア開発およびライフサイクル管理９２、仮想化９３、データ分析処理９４、取引処理９５、ならびに、ハイブリッドクラウド環境における誤警告を減らすためのパフォーマンス分析９６が含まれる。

本発明の１つ以上の実施形態において、図１のシステム１００のハードウェア／ソフトウェアモジュールは、図８に示す処理システム８００上に実装することができる。ここで図８に目を向けると、実施形態に従ったコンピュータシステム８００が概して示されている。コンピュータシステム８００は、本明細書で説明されるように、様々な通信技術を利用する任意の数および組み合わせのコンピューティングデバイスおよびネットワークから構成され、もしくはそれらを採用する、またはその組み合わせの電子的なコンピュータフレームワークとすることができる。コンピュータシステム８００は、容易に拡張可能（scalable）であり、拡張可能（extensible）であり、モジュール化可能であり得、異なるサービスに変更する能力、または他の機能から独立していくつかの機能を再構成する能力を有し得る。コンピュータシステム８００は、例えば、サーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、またはスマートフォンであってもよい。いくつかの例では、コンピュータシステム８００は、図６のノード１０のようなクラウドコンピューティングノードであってもよい。コンピュータシステム８００は、プログラムモジュールなどのコンピュータシステム実行可能命令がコンピュータシステムによって実行されるという一般的な文脈で説明され得る。一般に、プログラムモジュールは、特定のタスクを実行する、または特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、ロジック、データ構造などを含み得る。コンピュータシステム８００は、通信ネットワークを介してリンクされるリモート処理デバイスによってタスクが実行される分散クラウドコンピューティング環境において実施され得る。分散型クラウドコンピューティング環境では、プログラムモジュールは、メモリ記憶デバイスを含むローカルおよびリモートのコンピュータシステムの記憶媒体の両方に配置されてもよい。

図８に示すように、コンピュータシステム８００は、１つまたは複数の中央処理装置（ＣＰＵ）８０１ａ、８０１ｂ、８０１ｃなど（集合的または一般的にプロセッサ８０１と呼ぶ）を有する。プロセッサ８０１は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、または任意の数の他の構成とすることができる。処理回路とも呼ばれるプロセッサ８０１は、システムバス８０２を介して、システムメモリ８０３および他の様々な構成要素に結合される。システムメモリ８０３は、リードオンリーメモリ（ＲＯＭ）８０４およびランダムアクセスメモリ（ＲＡＭ）８０５を含むことができる。ＲＯＭ８０４は、システムバス８０２に結合され、コンピュータシステム８００の特定の基本機能を制御する基本入出力システム（ＢＩＯＳ）を含むことができる。ＲＡＭは、プロセッサ８０１が使用するためにシステムバス８０２に結合された読み書きメモリである。システムメモリ８０３は、動作中の前記命令の動作のための一時的なメモリ空間を提供する。システムメモリ８０３は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ、フラッシュメモリ、または任意の他の適切なメモリシステムを含むことができる。

コンピュータシステム８００は、システムバス８０２に結合された入出力（Ｉ／Ｏ）アダプタ８０６および通信アダプタ８０７を含む。Ｉ／Ｏアダプタ８０６は、ハードディスク８０８もしくは任意の他の同様のコンポーネントと通信する小型コンピュータシステムインターフェース（ＳＣＳＩ）アダプタまたはその組み合わせであってもよい。Ｉ／Ｏアダプタ８０６およびハードディスク８０８は、本明細書では集合的に大容量記憶装置８１０と呼ばれる。

コンピュータシステム８００上で実行するためのソフトウェア８１１は、大容量記憶装置８１０に記憶され得る。大容量記憶装置８１０は、プロセッサ８０１によって読み取り可能な有形記憶媒体の一例であり、ソフトウェア８１１は、様々な図にあわせて本明細書で後述されるような、コンピュータシステム８００を動作させるためのプロセッサ８０１による実行のための命令として記憶される。コンピュータプログラム製品およびそのような命令の実行の例は、本明細書においてより詳細に説明される。通信アダプタ８０７は、システムバス８０２を、外部ネットワークであってもよいネットワーク８１２と相互接続し、コンピュータシステム８００が他のそのようなシステムと通信することを可能にする。一実施形態では、システムメモリ８０３および大容量記憶装置８１０の一部は、図８に示される様々な構成要素の機能を調整するために、ＩＢＭ Ｃｏｒｐｏｒａｔｉｏｎからのｚ／ＯＳまたはＡＩＸオペレーティングシステムなどの任意の適切なオペレーティングシステムであってよいオペレーティングシステムを集合的に記憶する。

追加の入出力デバイスは、ディスプレイアダプタ８１５およびインターフェースアダプタ８１６を介してシステムバス８０２に接続されているように示されている。一実施形態では、アダプタ８０６、８０７、８１５、および８１６は、中間バスブリッジ（不図示）を介してシステムバス８０２に接続される１つまたは複数のＩ／Ｏバスに接続され得る。ディスプレイ８１９（例えば、スクリーンまたはディスプレイモニタ）は、ディスプレイアダプタ８１５によってシステムバス８０２に接続され、このディスプレイアダプタ８１５は、グラフィックス集約型アプリケーションのパフォーマンスを向上させるためのグラフィックスコントローラおよびビデオコントローラを含むことができる。キーボード８２１、マウス８２２、スピーカ８２３などは、インターフェースアダプタ８１６を介してシステムバス８０２に相互接続することができ、このインターフェースアダプタ８１６は、例えば、複数のデバイスアダプタを単一の集積回路に統合したスーパーＩ／Ｏチップを含むことができる。ハードディスクコントローラ、ネットワークアダプタ、グラフィックスアダプタなどの周辺デバイスを接続するのに適したＩ／Ｏバスは、通常、ＰＣＩ（Peripheral Component Interconnect）などの共通プロトコルを含む。したがって、図８に構成されるように、コンピュータシステム８００は、プロセッサ８０１の形態の処理能力と、システムメモリ８０３および大容量記憶装置８１０を含む記憶能力と、キーボード８２１およびマウス８２２のような入力手段と、スピーカ８２３およびディスプレイ８１９を含む出力能力とを含む。

いくつかの実施形態では、通信アダプタ８０７は、特にインターネットスモールコンピュータシステムインターフェースなどの任意の適切なインターフェースまたはプロトコルを使用してデータを送信することができる。ネットワーク８１２は、特に、セルラーネットワーク、無線ネットワーク、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、またはインターネットであってもよい。外部のコンピューティングデバイスは、ネットワーク８１２を介してコンピュータシステム８００に接続することができる。いくつかの例では、外部コンピューティングデバイスは、外部ウェブサーバまたはクラウドコンピューティングノードであってもよい。

図８のブロック図は、コンピュータシステム８００が図８に示された構成要素のすべてを含むことを示すことを意図していないことを理解されたい。むしろ、コンピュータシステム８００は、図８に図示されていない任意の適切な少ない構成要素または追加の構成要素（例えば、追加のメモリ構成要素、組み込みコントローラ、モジュール、追加のネットワークインターフェースなど）を含むことができる。さらに、コンピュータシステム８００に関して本明細書で説明される実施形態は、任意の適切なロジックで実装され得、ここで、本明細書で言及されるロジックは、様々な実施形態において、任意の適切なハードウェア（例えば、プロセッサ、組み込みコントローラ、または特定用途向け集積回路など）、ソフトウェア（例えば、アプリケーションなど）、ファームウェア、またはハードウェア、ソフトウェア、およびファームウェアの任意の適切な組み合わせを含み得る。

本発明の様々な実施形態を、関連する図面を参照しながら本明細書で説明する。本発明の範囲から逸脱することなく、本発明の代替実施形態を考案することができる。様々な接続および位置関係（例えば、上、下、隣接など）が、以下の説明および図面において要素間に規定される。これらの連結もしくは位置関係またはその両方は、別段の指定がない限り、直接的であっても間接的であってもよく、本発明はこの点で限定することを意図していない。従って、エンティティの結合は、直接的な結合または間接的な結合のいずれかを指すことができ、エンティティ間の位置関係は、直接的な位置関係または間接的な位置関係とすることができる。さらに、本明細書に記載される様々なタスクおよびプロセスステップは、本明細書に詳細に記載されない追加のステップまたは機能性を有する、より包括的な手順またはプロセスに組み込むことができる。

本明細書で説明する方法の１つ以上は、それぞれ当該技術分野でよく知られている以下の技術のいずれかまたはその組み合わせで実施することができる：データ信号に論理機能を実装するための論理ゲートを有するディスクリート論理回路、適切な組み合わせ論理ゲートを有する特定用途向け集積回路（ＡＳＩＣ）、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など。

簡潔にするために、本発明の態様の作成および使用に関連する従来技術は、本明細書で詳細に説明される場合もあれば、説明されない場合もある。特に、本明細書に記載される様々な技術的特徴を実施するためのコンピューティングシステムおよび特定のコンピュータプログラムの様々な態様は周知である。従って、簡潔にするために、多くの従来の実施態様の詳細は、本明細書において簡単に言及されるだけであるか、または周知のシステムもしくはプロセスまたはその両方の詳細を提供することなく完全に省略される。

いくつかの実施形態では、様々な機能または行為が、所定の場所で、もしくは１つ以上の装置またはシステムの動作に関連して、またはその両方で行われ得る。いくつかの実施形態では、所定の機能または行為の一部を第１の装置または場所で実行し、機能または行為の残りを１つまたは複数の追加の装置または場所で実行することができる。

本明細書で用いる用語は、特定の実施形態を説明するためのものに過ぎず、本発明を限定することを意図したものではない。本明細書において、単数形「ある／１つの／一の（a）」、「ある／１つの／一の（an）」および「その／当該（the）」は、文脈からそうではないことが明らかでない限り、複数形を含む。さらに、本明細書で使用される場合、「含む（comprise）」もしくは「含んでいる(comprising)」またはその両方の用語は、記載された特徴、整数、工程、動作、要素もしくはコンポーネントまたはこれらの組み合わせの存在を特定するものであるが、１つ以上の他の特徴、整数、工程、動作、要素、コンポーネントもしくはそれらのグループまたはこれらの組み合わせが存在したり、追加されたりすることを排除するものではない。

以下の特許請求の範囲におけるすべての対応する構造、材料、行為、および同等物またはステッププラス関数要素は、特に主張されているように、他の請求された要素と組み合わせて機能を実行するための任意の構造、材料、または行為を含むことを意図している。本開示は、例示および説明の目的で提示されたが、網羅的であることを意図するものではなく、または開示された形態に限定されることを意図するものではない。多くの修正および変形は、本開示の範囲および精神から逸脱することなく、当業者には明らかであろう。実施形態は、本開示の原理および実際の適用を最もよく説明し、当業者が、企図される特定の使用に適した様々な修正を伴う様々な実施形態について本開示を理解できるようにするために選択および説明された。

本明細書に描かれた図は例示である。本開示の精神から逸脱することなく、図またはそこに記載されたステップ（または操作）には多くの変形が可能である。例えば、動作は、異なる順序で実行することができ、または動作は、追加、削除または変更することができる。また、「結合」という用語は、２つの要素間に信号経路があることを説明するものであり、間に介在する要素／接続がない要素間の直接的な接続を意味するものではない。これらの変形はすべて本開示の一部とみなされる。

以下の定義および略語は、特許請求の範囲および明細書の解釈のために使用される。本明細書で使用される場合、用語「からなる（comprises）」、「から構成されている（comprising）」、「含む（includes）」、「含んでいる（including）」、「有する（has）」、「有している（having）」、「含む（contains）」または「含んでいる（containing）」、またはそれらの他の変形は、非排他的な包含をカバーすることを意図している。例えば、要素のリストからなる組成物、混合物、プロセス、方法、成形品、又は装置は、必ずしもそれらの要素のみに限定されるものではなく、明示的に列挙されていない、又はそのような組成物、混合物、プロセス、方法、成形品、又は装置に固有の他の要素を含み得る。

さらに、「例示的（exemplary）」という用語は、本明細書では、「例、実例、または説明として役立つ」という意味で使用される。本明細書において「例示的」として記載される実施形態または設計は、必ずしも、他の実施形態または設計よりも好ましいまたは有利であると解釈されるものではない。用語「少なくとも１つの（at least one）」および「１つ以上の（one or more）」は、１以上の任意の整数、すなわち、１、２、３、４などを含むと理解される。「複数の（a plurality）」という用語は、２以上の整数、すなわち２、３、４、５などを含むと理解される。「接続（connection）」という用語は、間接的な「接続」と直接的な「接続」の両方を含むことができる。

「約（about）」、「実質的に（substantially）」、「およそ（approximately）」という用語およびその変形は，出願時に利用可能な機器に基づく特定の量の測定に関連する誤差の程度を含むことを意図している。例えば、「約（about）」は、所与の値の±８％、５％、又は２％の範囲を含むことができる。

本発明は、任意の可能な技術詳細レベルで統合されたシステム、方法もしくはコンピュータプログラム製品またはそれらの組み合せとすることができる。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を記憶したコンピュータ可読記憶媒体を含んでよい。

コンピュータ可読記憶媒体は、命令実行装置によって使用される命令を保持し、記憶することができる有形の装置とすることができる。コンピュータ可読記憶媒体は、一例として、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置またはこれらの適切な組み合わせであってよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な非網羅的な例としては、ポータブルコンピュータディスケット、ハードディスク、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ（またはフラッシュメモリ）、ＳＲＡＭ、ＣＤ－ＲＯＭ、ＤＶＤ、メモリスティック、フロッピーディスク、パンチカードまたは溝内の隆起構造などに命令を記録した機械的に符号化された装置、およびこれらの適切な組み合せが挙げられる。本明細書で使用されるコンピュータ可読記憶装置は、電波もしくは他の自由に伝播する電磁波、導波管もしくは他の伝送媒体を介して伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、またはワイヤを介して送信される電気信号のような、一過性の信号それ自体として解釈されるべきではない。

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理装置に、または、ネットワーク（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、もしくはワイヤレスネットワークネットワークまたはその組み合わせ）を介して外部コンピュータまたは外部記憶装置にダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバー、無線伝送、ルーター、ファイアウォール、スイッチ、ゲートウェイコンピュータ、もしくはエッジサーバーまたはその組み合わせで構成される。各コンピューティング／処理装置のネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理装置内のコンピュータ可読記憶媒体に格納するためにコンピュータ可読プログラム命令を転送する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、統合回路のための構成データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語と「Ｃ」プログラミング言語や類似のプログラミング言語などの手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかであってよい。コンピュータ可読プログラム命令は、スタンドアロンソフトウェアパッケージとして、完全にユーザのコンピュータ上で、または部分的にユーザのコンピュータ上で実行可能である。あるいは、部分的にユーザのコンピュータ上でかつ部分的にリモートコンピュータ上で、または完全にリモートコンピュータまたはサーバ上で実行可能である。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続され、または（例えば、インターネットサービスプロバイダーを使用したインターネット経由で）外部コンピュータに接続されてよい。いくつかの実施形態では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用してパーソナライズすることにより、コンピュータ可読プログラム命令を実行することができる。

本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図もしくはブロック図またはその両方を参照して本明細書に記載されている。フローチャート図もしくはブロック図またはその両方の各ブロック、およびフローチャート図もしくはブロック図またはその両方のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されよう。

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令がフローチャートもしくはブロック図またはその両方の１つまたは複数のブロックで指定された機能／動作を実装するための手段を生成するように、機械を生成するためにコンピュータのプロセッサまたは他のプログラム可能なデータ処理装置に提供されることができる。これらのコンピュータ可読プログラム命令はまた、フローチャートもしくはブロック図またはその両方の１つまたは複数のブロックで指定された機能／行為の態様を実装する命令を含む生成品の１つを命令が記憶されたコンピュータ可読プログラム命令が構成するように、コンピュータ、プログラム可能なデータ処理装置、もしくは特定の方法で機能する他のデバイスまたはその組み合わせに接続可能なコンピュータ可読記憶媒体の中に記憶されることができる。

コンピュータ、他のプログラム可能な装置、または他のデバイス上でフローチャートもしくはブロック図またはその両方の１つまたは複数のブロックで指定された機能／行為を実行する命令のように、コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスにロードされ、コンピュータ、他のプログラム可能な装置、または他のデバイス上で一連の操作ステップを実行し、コンピュータ実装された過程を生成することができる。

図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品が実行可能な実装の構成、機能、および動作を示している。これに関して、フローチャートまたはブロック図の各ブロックは、モジュール、セグメント、または命令の一部を表してよく、これは、指定された論理機能を実装するための１つまたは複数の実行可能命令を構成する。いくつかの代替の実施形態では、ブロックに示されている機能は、図に示されている順序とは異なる場合がある。例えば、連続して示される２つのブロックは、実際には、実質的に同時に、部分的または全体的に時間的に重複する方法で実行されるか、またはブロックは、関係する機能に応じて逆の順序で実行される場合がある。ブロック図もしくはフローチャート図またはその両方の各ブロック、およびブロック図もしくはフローチャート図またはその両方のブロックの組み合わせは、指定された機能または動作を実行する、または特別な目的のハードウェアとコンピュータ命令の組み合わせを実行する特別な目的のハードウェアベースのシステムによって実装できることにも留意されたい。

本発明の様々な実施形態の説明は、例示の目的で提示されているが、網羅的であることを意図するものではなく、開示される実施形態に限定されることを意図するものでもない。本発明の範囲および精神から逸脱することなく、多くの修正および変更が可能であることは当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、市場で見られる技術に対する実際の適用または技術的改善を最もよく説明するため、または当業者が本明細書に記載の実施形態を理解できるようにするために選択された。

Claims (20)

1. プロセッサにより、コンピューティングシステムのロバストネスとパフォーマンスに対するランタイムデータポイントの影響を示すランタイムデータポイントを変換することと、
   前記プロセッサにより、前記ランタイムデータポイントをクラスタリングすることであって、各クラスタはそれぞれ前記コンピューティングシステムの時間的状態を表す、クラスタリングすることと、
   前記プロセッサにより、各クラスタの前記ランタイムデータポイントの確率密度に基づいて、各クラスタを３次元表現に変換することと、
   前記プロセッサにより、第１の３次元表現から第２の３次元表現への遷移を表すタイムベースベクターを生成することであって、前記タイムベースベクターによって横断される各３次元表現は、前記コンピューティングシステムのそれぞれの状態を表す、生成することと、
   前記プロセッサにより、前記生成されたタイムベースベクターをベースラインベクターと比較することと、
   前記プロセッサにより、少なくとも部分的に前記比較に基づいて異常警告を発することと、を含むコンピュータ実装方法。
2. 少なくとも部分的に前記比較に基づいて前記ベースラインベクターからの前記タイムベースベクターの偏差が、異常の偽陽性によるものであるか否かを判定することと、
   少なくとも部分的に前記偽陽性の判定に基づいて、前記ベースラインベクターからの前記タイムベースベクターの偏差が、異常の偽陰性によるものであるか否かを判定することと、を含む請求項１に記載のコンピュータ実装方法。
3. 前記ベースラインベクターからの前記タイムベースベクターの前記偏差が、異常の偽陽性によるものであるか否かを判定することは、
   前記タイムベースベクターの第１レグの開始データポイントと終了データポイントが、それぞれ第１のクラスタおよび時間的に連続する第２のクラスタに含まれるか否かを判定することと、
   前記タイムベースベクターの前記第１レグの軌道と前記ベースラインベクターの第１レグの軌道とを、前記軌道が閾値偏差から大きく乖離しているか否かを判定するために比較することと、を含む請求項２に記載のコンピュータ実装方法。
4. 前記ベースラインベクターからの前記タイムベースベクターの前記偏差が、前記異常の偽陰性によるものであるか否かを判定することは、前記タイムベースベクターによって表される状態遷移のシーケンスを、前記ベースラインベクターによって表される状態遷移のシーケンスと比較することを含む、請求項２に記載のコンピュータ実装方法。
5. 前記偏差が偽陽性を示すものではないという前記判定に基づいて、前記異常警告を発するようにすることをさらに含む、請求項２に記載のコンピュータ実装方法。
6. 前記偽陰性の判定に基づいて前記異常警告を発するようにすることをさらに含む、請求項２に記載のコンピュータ実装方法。
7. 前記クラスタを３次元表現に変換することは、各クラスタの前記ランタイムデータポイントの確率分布に基づく、請求項１に記載のコンピュータ実装方法。
8. コンピュータ可読命令を有するメモリと、
   前記コンピュータ可読命令を実行するための１つまたは複数のプロセッサと、を含み、前記コンピュータ可読命令は、動作を実行するために前記１つまたは複数のプロセッサを制御し、前記動作は、
   コンピューティングシステムのロバストネスとパフォーマンスに対するランタイムデータポイントの影響を示すランタイムデータポイントを変換することと、
   前記ランタイムデータポイントをクラスタリングすることであって、各クラスタはそれぞれ前記コンピューティングシステムの時間的状態を表す、クラスタリングすることと、
   各クラスタの前記ランタイムデータポイントの確率密度に基づいて、各クラスタを３次元表現に変換することと、
   第１の３次元表現から第２の３次元表現への遷移を表すタイムベースベクターを生成することであって、前記タイムベースベクターによって横断される各３次元表現は、前記コンピューティングシステムのそれぞれの状態を表す、生成することと、
   前記生成されたタイムベースベクターをベースラインベクターと比較することと、
   少なくとも部分的に前記比較に基づいて異常警告を発することと、を含むシステム。
9. 前記動作は、
   少なくとも部分的に前記比較に基づいて前記ベースラインベクターからの前記タイムベースベクターの偏差が、異常の偽陽性によるものであるか否かを判定することと、
   少なくとも部分的に前記偽陽性の判定に基づいて、前記ベースラインベクターからの前記タイムベースベクターの偏差が、異常の偽陰性によるものであるか否かを判定することと、を含む請求項８に記載のシステム。
10. 前記ベースラインベクターからの前記タイムベースベクターの前記偏差が、異常の偽陽性によるものであるか否かを判定することは、
    前記タイムベースベクターの第１レグの開始データポイントと終了データポイントが、それぞれ第１のクラスタおよび時間的に連続する第２のクラスタに含まれるか否かを判定することと、
    前記タイムベースベクターの前記第１レグの軌道と前記ベースラインベクターの第１レグの軌道とを、前記軌道が閾値偏差から大きく乖離しているか否かを判定するために比較することと、を含む請求項９に記載のシステム。
11. 前記ベースラインベクターからの前記タイムベースベクターの前記偏差が、前記異常の偽陰性によるものであるか否かを判定することは、前記タイムベースベクターによって表される状態遷移のシーケンスを、前記ベースラインベクターによって表される状態遷移のシーケンスと比較することを含む、請求項９に記載のシステム。
12. 前記偏差が偽陽性を示すものではないという前記判定に基づいて、前記異常警告を発するようにすることをさらに含む、請求項９に記載のシステム。
13. 前記偽陰性の判定に基づいて警告を発することをさらに含む、請求項９に記載のシステム。
14. 前記クラスタを３次元表現に変換することは、各クラスタの前記パフォーマンス／ロバストネスデータポイントの確率分布に基づく、請求項８に記載のシステム。
15. プログラム命令を具現化したコンピュータ可読記憶媒体を含むコンピュータプログラム製品であって、前記プログラム命令は、プロセッサに動作を実行させるために前記プロセッサによって実行可能であり、前記動作は、
    コンピューティングシステムのロバストネスとパフォーマンスに対するランタイムデータポイントの影響を示すランタイムデータポイントを変換することと、
    前記ランタイムデータポイントをクラスタリングすることであって、各クラスタはそれぞれ前記コンピューティングシステムの時間的状態を表す、クラスタリングすることと、
    各クラスタの前記ランタイムデータポイントの確率密度に基づいて、各クラスタを３次元表現に変換することと、
    第１の３次元表現から第２の３次元表現への遷移を表すタイムベースベクターを生成することであって、前記タイムベースベクターによって横断される各３次元表現は、前記コンピューティングシステムのそれぞれの状態を表す、生成することと、
    前記生成されたタイムベースベクターをベースラインベクターと比較することと、
    少なくとも部分的に前記比較に基づいて異常警告を発することと、を含むコンピュータプログラム製品。
16. 前記動作は、
    少なくとも部分的に前記比較に基づいて前記ベースラインベクターからの前記タイムベースベクターの偏差が、異常の偽陽性によるものであるか否かを判定することと、
    少なくとも部分的に前記偽陽性の判定に基づいて、前記ベースラインベクターからの前記タイムベースベクターの偏差が、異常の偽陰性によるものであるか否かを判定することと、を含む請求項１５に記載のコンピュータプログラム製品。
17. 前記ベースラインベクターからの前記タイムベースベクターの前記偏差が、異常の偽陽性によるものであるか否かを判定することは、
    前記タイムベースベクターの第１レグの開始データポイントと終了データポイントが、それぞれ第１のクラスタおよび時間的に連続する第２のクラスタに含まれるか否かを判定することと、
    前記タイムベースベクターの前記第１レグの軌道と前記ベースラインベクターの第１レグの軌道とを、前記軌道が閾値偏差から大きく乖離しているか否かを判定するために比較することと、を含む請求項１６に記載のコンピュータプログラム製品。
18. 前記ベースラインベクターからの前記タイムベースベクターの前記偏差が、前記異常の偽陰性によるものであるか否かを判定することは、前記タイムベースベクターによって表される状態遷移のシーケンスを、前記ベースラインベクターによって表される状態遷移のシーケンスと比較することを含む、請求項１６に記載のコンピュータプログラム製品。
19. 前記偏差が偽陽性を示すものではないという前記判定に基づいて、前記異常警告を発するようにすることをさらに含む、請求項１６に記載のコンピュータプログラム製品。
20. 前記クラスタを３次元表現に変換することは、各クラスタの前記パフォーマンス／ロバストネスデータポイントの確率分布に基づく、請求項１５に記載のコンピュータプログラム製品。