JP7133714B2 - 履歴セキュリティデータの記憶および構造化検索 - Google Patents

Description

本開示は、履歴セキュリティデータの記憶および構造化検索のためのシステムに関する。

個人識別情報、アクセス、データ、およびリソースのセキュリティインシデントは急速に拡大し続けている。同様に、収集および分析に供される未処理のセキュリティ信号の量も指数関数的に増加している。これらのセキュリティ信号は、企業がセキュリティ違反およびダウンタイムから身を守るために必要な重要なリソースである。このニーズにより、人間のアナリストとセキュリティエンジニアは、このリソースを扱う際の効率と優先順位を上げるようになっている。

本開示は、履歴セキュリティデータの記憶および構造化検索のためのシステムに関する。

本開示の一態様によれば、データ処理ハードウェアによって、データ処理ハードウェアと通信する複数の異なるコンピューティングリソースによって取得された複数のイベントについて、ネットワークを介してイベントデータを取り込むことを含む方法が提供される。イベントデータは、イベントが複数の異なるコンピューティングリソースのうちの１つによって取得された時点を示す、イベントデータの各イベントのそれぞれのタイムスタンプを含む。イベントデータは、イベントデータの各イベントに関連付けられた少なくとも１つの取り込み属性であって、関連付けられたイベントの取り込みを許可するために必要な取り込み基準を満たす少なくとも１つの取り込み属性を含む。イベントデータの複数のイベントのそれぞれについて、方法は、データ処理ハードウェアによって、対応するイベントが、イベントのインデックス付けを行うためにユーザによって定義されたいずれかの複数のカスタムインデックス付け属性に関連付けられているかどうかを識別することを含む。方法は、データ処理ハードウェアによって、対応するイベントのそれぞれのタイムスタンプと、対応するイベントに関連付けられている少なくとも１つの取り込み属性と、対応するイベントに関連付けられている識別された複数のカスタムインデックス付け属性と、に基づいて、構造化データとして、データストアへと対応するイベントのインデックス付けを行うことを含む。方法は、データ処理ハードウェアによって、排除期間閾値を満たす期間において、データストアに構造化データとして、インデックス付けされていたイベントデータの複数のイベントのいずれかを排除することをさらに含む。方法は、データ処理ハードウェアにおいて、データストアに記憶されている構造化データについて取り出し要求を受信することであって、取り出し要求は、取り出し要求によって指定された時間範囲、取り出し要求によって指定された１つまたは複数の取り込み属性、または取り出し要求によって指定された１つまたは複数のカスタムインデックス付け属性のうちの少なくとも１つに関連付けられる構造化データを要求する、受信することをさらに含む。方法は、データ処理ハードウェアによって、取り出し要求によって指定された時間範囲、取り出し要求によって指定された１つまたは複数の取り込み属性、または取り出し要求によって指定された１つまたは複数のカスタムインデックス付け属性のうちの少なくとも１つに関連付けられる構造化データをデータストアから取り出すことをさらに含む。

本開示の実装形態は、以下の任意の特徴のうちの１つまたは複数を含み得る。一部の例では、複数のイベントのインデックス付けを行うためにユーザによって定義されたカスタムインデックス付け属性はそれぞれ、複数の異なるコンピューティングリソースの顧客によって定義されたそれぞれのキーと値のペアを含む。一部の例では、方法は、イベントデータの複数のイベントのそれぞれについて、データ処理ハードウェアによって、一組の有効性規則を適用して、対応するイベントが有効であるかどうかを判定することを含む。対応するイベントが、適用された一組の有効性規則に基づいて有効である場合、方法は、構造化データとしてデータストアへと対応するイベントのインデックス付けを行うことを含む。対応するイベントが適用された一組の有効性規則に基づいて無効である場合、方法は、データ処理ハードウェアによって、データストアへとインデックス付けを行うことに関し対応するイベントを拒否することを含む。一組の有効性規則は、対応するイベントの優先順位を判定するための一組の優先順位規則を含んでいてもよい。一部の実装形態では、取り出し要求を受信するとき、方法は、構造化データ取り出しオフセットを受信することを含み、構造化データ取り出しオフセットは、取り出される構造化データのリストにおける位置を示し、構造化データのリストにおける位置よりも後の構造化データのみが取り出される。方法は、データ処理ハードウェアによって、取り出された構造化データの一部と、ページトークンと、を送信することをさらに含んでいてもよく、ページトークンは、取り出された構造化データのリストにおける位置を示している。取り出された構造化データの一部は、リスト内のページトークンよりも前の位置からのデータのみを含む。一部の例では、データストアは、分散ストレージシステムを含む。他の例では、データストアは、リレーショナルデータベースを含む。イベントデータの複数のイベントのうちの少なくとも１つは、複数の異なるコンピューティングリソースのうちの対応する１つに係る測定された特性を示し得る。一組の優先順位規則に基づいて測定された特性の優先順位を判定してもよい。任意選択により、構造化データを要求する取り出し要求は、第１の時間範囲および第２の時間範囲に関連付けられており、第２の時間範囲は、第１の時間範囲とは異なる。一部の実装形態では、イベントデータを取り込むことは、アプリケーションプログラミングインターフェイスを介して、複数の異なるコンピューティングリソースからネットワークによってイベントデータを取得することを含む。方法は、データ処理ハードウェアにおいて、データを排除するための排除要求であって、排除要求によって指定された時間範囲、排除要求によって指定された１つまたは複数の取り込み属性、または排除要求によって指定された１つまたは複数のカスタムインデックス付け属性のうちの少なくとも１つに関連付けられ得るデータを排除するための排除要求を受信することをさらに含み得る。方法は、データ処理ハードウェアによって、排除要求によって指定された時間範囲、排除要求によって指定された１つまたは複数の取り込み属性、または排除要求によって指定された１つまたは複数のカスタムインデックス付け属性のうちの少なくとも１つに関連付けられる構造化データをデータストアから排除することをさらに含み得る。一部の実装形態では、イベントデータを取り込むことは、取り込み要求を受信すること、タイムスケジュールからの指示、またはイベントからの指示のうちの少なくとも１つに応じて行われる。構造化データを取り出すことは、取り出し要求に関連付けられる構造化データの許可の検証を含み得る。

本開示の別態様によれば、データ処理ハードウェアと、データ処理ハードウェアと通信するメモリハードウェアと、を備えるシステムが提供される。メモリハードウェアは命令を記憶し、命令は、データ処理ハードウェアによって実行されるとき、データ処理ハードウェアに動作を実行させる。動作は、データ処理ハードウェアと通信する複数の異なるコンピューティングリソースによって取得された複数のイベントについて、ネットワークを介してイベントデータを取り込むことを含む。イベントデータは、イベントが複数の異なるコンピューティングリソースのうちの１つによって取得された時点を示す、イベントデータの各イベントのそれぞれのタイムスタンプを含む。イベントデータは、イベントデータの各イベントに関連付けられた少なくとも１つの取り込み属性であって、関連付けられたイベントの取り込みを許可するために必要な取り込み基準を満たす少なくとも１つの取り込み属性を含む。イベントデータの複数のイベントのそれぞれについて、動作は、対応するイベントが、イベントのインデックス付けを行うためにユーザによって定義されたいずれかの複数のカスタムインデックス付け属性に関連付けられているかどうかを識別することを含む。動作は、対応するイベントについて、それぞれのタイムスタンプに基づいて、構造化データとしてデータストアへと対応するイベントのインデックス付けを行うことをさらに含む。少なくとも１つの取り込み属性は対応するイベントに関連付けられており、いずれかの識別された複数のカスタムインデックス付け属性も対応するイベントに関連付けられている。動作は、排除期間閾値を満たす期間において、データストアに構造化データとして、インデックス付けされていたイベントデータの複数のイベントのいずれかを排除することを含む。動作は、データストアに記憶されている構造化データの取り出し要求を受信することも含む。取り出し要求は、取り出し要求によって指定された時間範囲、取り出し要求によって指定された１つまたは複数の取り込み属性、または取り出し要求によって指定された１つまたは複数のカスタムインデックス付け属性のうちの少なくとも１つに関連付けられる構造化データを要求する。動作は、取り出し要求によって指定された時間範囲、取り出し要求によって指定された１つまたは複数の取り込み属性、または取り出し要求によって指定された１つまたは複数のカスタムインデックス付け属性のうちの少なくとも１つに関連付けられている構造化データをデータストアから取り出すことも含む。

本開示の実装形態は、以下の任意の特徴のうちの１つまたは複数を含み得る。一部の例では、複数のイベントのインデックス付けを行うためにユーザによって定義されたカスタムインデックス付け属性はそれぞれ、複数の異なるコンピューティングリソースの顧客によって定義されたそれぞれのキーと値のペアを含む。動作は、イベントデータの複数のイベントのそれぞれについて、一組の有効性規則を適用して、対応するイベントが有効であるかどうかを判定することをさらに含み得る。動作は、次いで、対応するイベントが、適用された一組の有効性規則に基づいて有効である場合、構造化データとしてデータストアへと対応するイベントのインデックス付けを行うことを含み得る。一組の有効性規則は、対応するイベントの優先順位を判定するための一組の優先順位規則を含んでいてもよい。一部の実装形態では、動作は、対応するイベントが適用された一組の有効性規則に基づいて無効である場合、データストアへとインデックス付けを行うことに関し対応するイベントを拒否することをさらに含む。取り出し要求は、構造化データ取り出しオフセットを受信することを含み、構造化データ取り出しオフセットは、取り出される構造化データのリストにおける位置を示していてもよい。構造化データのリストにおける位置の後の構造化データのみが取り出されてよい。一部の例では、動作は、取り出された構造化データの一部を送信することをさらに含む。動作は、次いで、ページトークンを送信することを含み、ページトークンは、取り出された構造化データのリストにおける位置を示している。動作は、取り出された構造化データの一部は、リスト内のページトークンよりも前の位置からのデータのみを含むといったことも含み得る。一部の例では、データストアは、分散ストレージシステムを含む。他の例では、データストアは、リレーショナルデータベースを含む。イベントデータの複数のイベントのうちの少なくとも１つは、複数の異なるコンピューティングリソースのうちの対応する１つに係る測定された特性を示し得る。動作は、一組の優先順位規則に基づいて測定された特性の優先順位を判定することをさらに含んでいてもよい。一部の実装形態では、構造化データを要求する取り出し要求は、第１の時間範囲および第２の時間範囲に関連付けられており、第２の時間範囲は、第１の時間範囲とは異なる。イベントデータを取り込むことは、アプリケーションプログラミングインターフェースを介して、複数の異なるコンピューティングリソースからネットワークを介してイベントデータを取得することを含み得る。一部の実装形態では、動作は、データを排除するための排除要求であって、排除要求によって指定された時間範囲、排除要求によって指定された１つまたは複数の取り込み属性、または排除要求によって指定された１つまたは複数のカスタムインデックス付け属性のうちの少なくとも１つに関連付けられるデータを排除するための排除要求を受信することをさらに含む。動作は、排除要求によって指定された時間範囲、排除要求によって指定された１つまたは複数の取り込み属性、または排除要求によって指定された１つまたは複数のカスタムインデックス付け属性のうちの少なくとも１つに関連付けられる構造化データをデータストアから排除することをさらに含む。一部の実装形態では、イベントデータを取り込むことは、取り込み要求を受信すること、タイムスケジュールからの指示、またはイベントからの指示のうちの少なくとも１つに応じて行われる。構造化データを取り出すことは、取り出し要求に関連付けられる構造化データの許可の検証を含み得る。

本開示の１つまたは複数の実装形態の詳細は、添付の図面および以下の説明に記載されている。他の態様、特徴、および利点は、説明、図面、および特許請求の範囲から明らかとなる。

構造化されたイベントデータを記憶および検索するための例示的なシステムの概略図。 構造化されたイベントデータを記憶および検索するための例示的なシステムの概略図。 図１Ａおよび図１Ｂのシステムの取り込みインターフェースの例示的な構成要素の概略図。 図１Ａおよび図１Ｂのシステムの永続性サブシステムの例示的な構成要素の概略図。 図１Ａおよび図１Ｂのシステムの取り出しインターフェースの例示的な構成要素の概略図。 イベントデータを記憶および構造化する方法の動作の例示的な構成のフローチャート。 本明細書で説明されるシステムおよび方法を実装するために使用され得る例示的なコンピューティングデバイスの概略図。

さまざまな図面での同様の参照番号は、同様の要素を示す。
収集および分析する必要のある利用可能な未処理のセキュリティ信号の量が指数関数的に増加するにつれて（たとえば、広大な分散コンピューティングシステム全体のリソースのセキュリティに係る発見またはイベント）、企業は、クラウド環境でのセキュリティ問題の検出と対応の効率を高める方法を模索している。

本開示の実装は、プログラムによる分析および人間による分析と、データの優先順位付けとを加速して、洞察を提供し、人間の理解と優先順位付けされた応答アクションを推進するため、以前において異なるソースにわたり大規模な現在および履歴の未処理のセキュリティデータのインデックス付けおよび結合を可能にするシステムと方法を対象とする。加えて、本開示の実装により、ユーザは、ユーザの資産、ワークロード、および関連する脅威の抽象化に基づいて、組織化、管理、調査、十分な情報に基づく意思決定、および行動を行うことができ、その一方ユーザの認知と労力の負荷をさらに軽減する。これらの貢献により、クラウドリソースについての構造化されたタイムスタンプ付き情報と、クラウドリソースに関連付けられるセキュリティ情報に関するの効率的な取り込みと取り出しを提供することによって、問題の検出と対処にかかる時間が短縮され、インシデントのリスクと影響範囲（ｂｌａｓｔ ｒａｄｉｕｓ）が最小限に抑えられる。

図１Ａおよび図１Ｂを参照して、一部の実装形態では、例示的なシステム１００は、リモートシステム１１２を含む。リモートシステム１１２は、スケーラブル／エラスティックコンピューティングリソース１１４（例えば、データ処理ハードウェア６１０（図６））および／またはストレージリソース１１６（例えば、メモリハードウェア６２０（図６））を有する単一のコンピュータ、複数のコンピュータ、または分散システム（例えば、クラウド環境）であり得る。リモートシステム１１２は、ネットワーク１２０を介して、複数の異なるコンピューティングリソースまたはクライアント１１８、１１８ａ～ｎに接続されている。ストレージ抽象化１５０（例えば、分散ストレージシステムまたはデータストア）は、ストレージリソース１１６上にオーバーレイされて、クライアントまたはコンピューティングリソース１１８のうちの１つまたは複数によるストレージリソース１１６のスケーラブルな使用を可能にする。リモートシステム１１２は、構造化データ検索システム１６０を実行する。検索システム１６０は、コンピューティングリソース１１８からイベントデータ１６２を取得して取り込む。イベントデータ１６２は、クラウドリソースに関連付けられるイベントを表す。一部の実装形態では、イベントデータ１６２または関連付けるイベントは、複数の異なるコンピューティングリソース１１８のうちの対応する１つに係る測定された特性を示す。例えば、イベントデータ１６２は、クラウドリソース、セキュリティおよびプライバシーの脆弱性、ならびに発信者が提供するアノテーションデータに関連付けられる特性を含む。一部の実装形態では、イベントデータ１６２は、親子関係を有する階層（例えば、クラウドリソースの階層）を形成する。システム１６０は、一組の優先順位規則に基づいて、測定された特性の優先順位を判定することができる。イベントデータ１６２はまた、要素間の１対多または多対多の関係を有するグラフを形成し得る。例えば、イベントデータ１６２は、クラウドリソースと、クラウドリソースに関連付けられる全てのセキュリティ問題とを表すことができる。

検索システム１６０によって受信されたイベントデータ１６２は、タイムスタンプ１６４と、少なくとも１つの取り込み属性１６６と、カスタムインデックス付け属性１６８とをさらに含む。カスタムインデックス付け属性１６８は、イベントデータ１６２に含まれる場合と含まれない場合がある。一部の例では、検索システム１６０は、取り込みインターフェース２００、永続性サブシステム３００、および取り出しインターフェース４００を含む。取り込みインターフェース２００は、イベントデータ１６２を受信し、データ１６２を処理し、そして取り込みを行ったデータ１６２を永続性サブシステム３００に渡す。永続性サブシステム３００は、イベントデータ１６２を構造化データとしてストレージ抽象化１５０に記憶する。ストレージ抽象化１５０は、コンピューティングリソース１１８からのイベントデータ１６２を記憶するように構成される。分散ストレージシステム１５０は、回復の目的で、記憶されたイベントデータ１６２をバックアップするように構成されたアーカイブ１９０（例えば、テープアーカイブ）を実装することができる。アーカイブ１９０は、長い保持期間（例えば、３年）を含み得る。取り出しインターフェース４００は、データ要求者１１９からの取り出し要求４１０に応じて、取り出しデータ４２０をデータ要求者１１９に提供する。データ要求者１１９は、イベントデータ１６２および対応する取り出しデータ４２０を所有するユーザ／顧客またはエンティティに関連付けられていてもよく、したがって、取り出しデータ４２０に含める内容を指定して取り出し要求４１０を送信することによって、取り出しデータ４２０にアクセスして取り出しデータ４２０の内容を検査することができる。

図１Ｂを参照して、一部の実装形態では、分散システム１４０は、緩く結合されたメモリホスト１１４、１１４ａ～ｎ（すなわち、データ処理ハードウェア）を含み、それぞれが、データをキャッシュするために使用することができるストレージリソース１１６（例えば、メモリハードウェア、フラッシュメモリ、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、相変化メモリ（ＰＣＭ）、および／またはディスク）と通信するコンピューティングリソース１２２（例えば、１つまたは複数のプロセッサまたは中央処理装置（ＣＰＵ））を有する。ストレージ抽象化１５０は、ストレージリソース１１６上にオーバーレイされて、１つまたは複数のクライアント１１８、１１９によるストレージリソース１１６のスケーラブルな使用を可能にする。クライアント１１８、１１９は、ネットワーク１２０を介して（例えば、リモートプロシージャコール（ＲＰＣ）を介して）メモリホスト１１４と通信することができる。一部の実装形態では、リモート分散システム１１２は「シングルサイド形態（ｓｉｎｇｌｅ－ｓｉｄｅｄ）」である。「シングルサイド形態」とは、メモリホスト１１４上での要求処理のほとんどが、メモリホスト１１４のＣＰＵ１２２上で実行されるソフトウェアによってではなく、ハードウェアにおいて実行され得る方法を指す。

分散システム１１２は、クライアント１１８、１１９から取得されたイベントデータ１６２を、リモートメモリホスト１１４のストレージリソース１１６（例えば、ストレージ抽象化１５０）に記憶することができるとともに、ネットワークインターフェースコントローラ（ＮＩＣ）１２６を介してリモートメモリホスト１１４から取り出しデータ４２０を得ることが可能である。ネットワークインターフェースコントローラ１２６（ネットワークインターフェースカード、ネットワークアダプタ、またはＬＡＮアダプタとしても知られている）は、コンピューティングデバイス／リソース１２２をネットワーク１２０に接続するコンピュータハードウェアコンポーネントであり得る。メモリホスト１１４ａ～ｎとクライアント１１８、１１９の両方は、それぞれ、ネットワーク通信のためのネットワークインターフェースコントローラ１２６を有することができる。各メモリロケーション１２４は、イベントデータ１６２を記憶するように構成される。本明細書で使用されるように、クライアント１１８、１１９は、構造化データシステム１６０によって取り込まれたイベントデータ１６２を収集／取得／測定する複数の異なるコンピューティングリソース１１８と、構造化データシステム１６０によって取り込みを行ったイベントデータ１６２、および、取り出し要求４１０の送信に応じて構造化データシステム１６０から取り出された対応する取り出しデータ４１０に関連付けられる顧客／ユーザに関連付けられるデータ要求者１１９と、を含み得る。

図２を参照して、取り込みインターフェース２００は、イベントデータ１６２を取り込む。取り込みインターフェース２００は、複数の異なるコンピューティングリソース１１８からイベントデータ１６２を受信することによって、および／または、複数の異なるコンピューティングリソースからネットワーク１２０を介して（例えば、アプリケーションプログラミングインターフェース（ＡＰＩ）を介して）イベントデータ１６２を能動的にフェッチすることによって、イベントデータ１６２を取り込むことができる。任意選択により、イベントデータ１６２は、ＡＰＩを介して書き込まれるか、または更新され得る。すなわち、クライアント１１８、１１９は、ＡＰＩを介してイベントデータ１６２を取り込みインターフェース２００にプッシュすることができる。取り込みインターフェース２００は、任意の数の刺激に応じてデータを取り込むことができる。例えば、イベントデータの取り込みは、取り込み要求の受信に応じて行われる場合がある。すなわち、ユーザまたはクライアントは、データを取り込むよう取り込みインターフェース２００に要求する。取り込みインターフェース２００はまた、タイムスケジュールからの指示に応じてデータを取り込むことができる。たとえば、取り込みインターフェースのタイムスケジュールでは、イベントデータを取り込む必要がある特定の時間または時間の範囲を指定できる。任意選択により、取り込みインターフェース２００は、イベントからの指示に応じてデータを取り込むことができる。すなわち、特定のイベントデータを取り込むことは、同じまたは異なるクライアント１１８からの追加のイベントデータ１６２の取り込みをトリガーすることができる。

前述のように、イベントデータ１６２は、タイムスタンプ１６４を含む。タイムスタンプ１６４は、それぞれのコンピューティングリソース１１８がそれぞれのイベントを取得した時点を示す。一部の例では、イベントは、クラウドリソースに関連付けられており、クラウドリソースの動作に関連付けられた特性またはその他の測定可能なパラメータを含む場合がある。例えば、イベントデータ１６２は、リモートコンピューティングリソース１１８をスキャンしたセキュリティスキャナからの結果を含み得る。別の例では、イベントデータ１６２は、リモートデータベースに関連付けられたコンピューティングリソース１１８にパスワードが設定されたという通知を含む。タイムスタンプ１６４は、イベントが発生した時刻を示し得る。すなわち、スキャナの上記例を参照して、タイムスタンプ１６４は、セキュリティスキャナがスキャンを完了したとき、またはリモートコンピューティングリソース１１８がスキャナからスキャン結果を受信したときを示し得る。一部の実装形態では、タイムスタンプ１６４は、イベントデータ１６２が構造化データ検索システム１６０によって取り込まれた時刻を示し得る。一部の実装形態では、取り込みインターフェース２００は、タイムスタンプ１６４を欠くイベントデータ１６２を取り込むときに、（例えば、現在の時刻の）タイムスタンプ１６４を提供する。

イベントデータ１６２はまた、１つまたは複数の取り込み属性１６６を含む。これらの属性１６６は、データ１６２の取り込みを許可するのに、取り込みインターフェース２００に必要である。例えば、イベントデータ１６２は、取り込み規則２１０（すなわち、有効性規則または取り込み基準）と比較することができる。規則２１０が満たされない場合（例えば、取り込み属性１６６が欠落している場合）、データ１６２は無効であると判定されることがあり、データ１６２は破棄される（すなわち、無視または拒否され）か、あるいは取り込まれない。規則２１０が満たされている場合（例えば、全ての取り込み属性１６６が存在し、適切なフォーマットである）、取り込みインターフェース２００は、データ１６２が有効であると判定し、データ１６２を取り込み、取り込まれたデータ１６２を永続性サブシステム３００に送信して、インデックス付けを行うことができる。一部の実装形態では、取り込み規則２１０は、取り込み属性１６６の単なる存在以上のものを検証する。例えば、取り込み規則２１０は、時間および／または帯域幅の制約（例えば、データ１６２の量またはデータ１６２が取得される速度）を加えることができる。別の例では、取り込み規則２１０は、データ１６２および／またはシステム１００へのアクセス制御（すなわち、許可）を実施する（すなわち、データ１６２がシステム１００へのアクセスまたは許可を有すること、および／またはシステム１００がデータ１６２へのアクセスまたは許可を有することを検証する）。さらに別の例では、取り込み規則２１０は順序付けを実施し、順序が正しくない更新を拒否する場合がある。取り込み規則は、対応するイベントの優先順位を判定する一組の優先順位規則を含む場合がある。データは、判定された優先順位に部分的に基づいて取り込まれるか、インデックス付けが行われてよい。取り込み属性１６６は、強い型付けであってもよい（つまり、属性の型とフォーマットを厳密に適用する）。取り込み属性１６６は、ペア（例えば、キー、値）として表すことができる。

図２の参照を続けて、イベントデータ１６２は、一部の実装形態では、カスタムインデックス付け属性１６８を含む。カスタムインデックス付け属性１６８は、取り込みインターフェース２００がデータ１６２を取り込むために必須ではないが、クライアント（例えば、データ要求者１１９）が、イベントデータ１６２にインデックス付けを行うときおよびイベントデータ１６２を取り出すときに、さらなる柔軟性およびカスタマイズを可能にする。すなわち、イベントデータ１６２は、カスタムインデックス付け属性１６８の存在に拘わらず取り込むことができる。例えば、クライアントによって定義された記述属性はオプションであってもよく、取り込みインターフェース２００は、記述を欠くイベントデータ１６２を依然として取り込むことができる。取り込み属性１６６のように、カスタムインデックス付け属性１６８は、顧客またはクライアントが定義するペア（キー、値）として表すことができる。一部の実装形態では、カスタムインデックス付け属性１６８は、発信者が提供する追加のタプル（例えば、キー、値、有効期間）でイベントデータ１６２を増強する。

図３を参照して、取り込まれたデータ１６２（依然としてタイムスタンプ１６４、少なくとも１つの取り込み属性１６６、および任意のカスタムインデックス付け属性１６８を含む）は、インデックス付け前データ１６２ａとして永続性サブシステム３００によって受信される。一部の実装形態では、永続性サブシステムは、データインデクス付け部３１０を含む。データインデクス付け部３１０は、インデックス付け前データ１６２ａを受け付けて、インデックス付け前データ１６２ａが、クライアント１１９（またはクライアントのユーザ）によって定義されたいずれかのカスタムインデックス付け属性１６８に関連付けられているかどうかを識別する。次に、データインデクス付け部３１０は、それぞれのタイムスタンプ１６４、取り込み属性１６６、およびいずれかのカスタムインデックス付け属性１６８に基づいて、取り込んだデータ１６２を構造化データ１６２ｂとしてデータストア（例えば、ストレージ抽象化）１５０へとインデクス付け（すなわち、構造化）する。すなわち、データインデクス付け部３１０は、永続ストレージでの効率的な更新および取り出しのためにデータ１６２を順序付けおよび組織化する。一部の実装形態では、データストア１５０は、リレーショナルデータベースに関連付けられており、データインデクス付け部３１０は、データ１６２をリレーショナルデータベースへとインデックス付けする。追加的にまたはこれに代えて、データストア１５０は、分散データベースに関連付けられていてもよく、データインデクス付け部３１０は、データ１６２ｂを分散データベースへとインデックス付けする。

一部の実装形態では、データインデクス付け部３１０は、データ１６２（例えば、インデックス付け前データ１６２ａ）を構造化するときに、カスタムインデックス付け属性１６８を追加する。例えば、データインデクス付け部３１０は、指定された期間にわたるそれぞれのデータ１６２の属性、プロパティ、拡張、および関係構造（例えば、親子関係）などのすべての変更を含むタイムライン属性を追加することができる。

一部の例では、永続性サブシステム３００は、データ排除部３２０を含む。データ排除部３２０は、保持閾値３２２を含み得る。永続性サブシステム３００は、データ排除部３２０を介して、構造化データ１６２ｂがデータストア１５０に記憶される期間を制限することができる。すなわち、構造化データ１６２ｂは、それぞれの保持閾値または排除期間閾値３２２（例えば、３ヶ月）を有していてもよく、データ１６２ｂがデータストア１５０に記憶されている時間が当該閾値３２２を満たすとき、データ１６２ｂは、データストア１５０から排除（すなわち、削除）され得る。データ１６２の異なる複数の要素は、互いに異なる保持閾値３２２を有し得る。構造化データ１６２ｂの要素に適用される閾値は、それぞれのタイムスタンプ１６４、取り込み属性１６６、およびいずれかのカスタムインデックス付け属性１６８のうちの１つまたは複数に依存し得る。例えば、取り込み属性１６６は、構造化データ１６２ｂの所有者（すなわち、構造化データ１６２ｂのイベントに関連付けられるクラウドリソースの所有者）を含み得る。保持閾値３２２は、所有者の取り込み属性１６６のステータスに基づいて、構造化データ１６２ｂに割り当てられ得る。

一部の実装形態では、構造化データ１６２ｂは、２つ以上のそれぞれの保持閾値３２２を有する。例えば、構造化データ１６２ｂは、最後修正保持閾値３２４および総保持閾値３２６に関連付けられ得る。構造化データ１６２ｂは、場合によっては、以前に受信された取り込まれたデータ１６２への更新であり得る。例えば、構造化データ１６２ｂは、クラウドリソースのステータス（例えば、可用性）を更新することができる。サブシステム３００は、構造化データ１６２ｂの古い「バージョン」を、総保持閾値３２６よりも短い時間で（すなわち、「最新の」バージョンよりも短い時間で）記憶する場合がある。例えば、最後修正保持閾値３２４は３ヶ月であってもよく、一方、総保持閾値３２６は１３ヶ月であり得る。構造化データ１６２ｂが更新されると、古いバージョンのデータ１６２（すなわち、それが更新される前のデータ）は、最後修正保持閾値３２４（３ヶ月）の間維持されることがあり、一方、最新の更新１６２ｂは、後で再度更新しない限り、総保持閾値３２６（１３か月）の間維持され得る。

図３の参照を続けて、一部の実装形態では、永続性サブシステム３００は、構造化データ検索システム１６０のユーザまたはクライアントから排除要求３２８を受信する。例えば、排除要求３２８を送信するユーザまたはクライアントは、データ要求者１１９に関連付けられた同じユーザまたはクライアントであり得る。排除要求３２８は、排除要求３２８によって指定された時間範囲１６５、排除要求３２８によって指定された１つまたは複数の取り込み属性１６６、または排除要求３２８によって指定された１つまたは複数のカスタムインデックス付け属性１６８のうちの少なくとも１つに関連付けられる構造化データ１６２ｂをデータストア１５０から排除することを要求する。データ排除部３２０は、排除要求３２８に基づいて、任意の量の構造化データ１６２ｂを排除することができる。例えば、ユーザまたはクライアント１１９は、対応する取り込み属性１６６による指定に従い、それぞれのクライアント１１９に関連付けられるすべてのデータの排除を要求することができる。別の例では、クライアント１１９は、排除要求３２８によって指定された時間範囲１６５内にあるタイムスタンプ１６４を有するすべてのデータの排除を要求することができる。データ排除部３２０は、要求者１１９が要求されたデータ１６２を排除することを許可されていることの検証（例えば、ユーザ名およびパスワード）を要求し得る。

図４を参照して、取り出しインターフェース４００（すなわち、クエリインターフェース）は、データストア１５０に記憶された構造化データ１６２ｂの取り出し要求４１０を受信する。取り出し要求４１０は、取り出し要求４１０がデータストア１５０からの取り出しデータ４２０として構造化データ１６２ｂの取り出しを要求していることを除いて、図３の排除要求３２８と実質的に同様であり得る。したがって、取り出し要求４１０は、取り出し要求４１０によって指定された時間範囲１６５、取り出し要求４１０によって指定された１つまたは複数の取り込み属性１６６、または取り出し要求４１０によって指定された１つまたは複数のカスタムインデックス付け属性１６８のうちの少なくとも１つに関連付けられる構造化データ１６２ｂをデータストア１５０から、要求し得る。取り出し要求４１０によって指定されたカスタムインデックス付け属性１６８は、データインデクス付け部３１０によって生成された属性（例えば、タイムライン属性）を含み得る。一部の例では、取り出し要求４１０は、特定の時点からデータを取り出す要求、またはそれぞれ時間範囲が異なる第１の時間範囲と第２の時間範囲との間でデータ１６２ｂを比較する（「差分（ｄｉｆｆ）」としても知られる）要求を含む。差分は、３つ以上の時間範囲による差分でもよい。比較により、追加の属性が生成される場合がある。例えば、比較により、データ１６２ｂがある時点または両方の時点で存在したかどうか、またはデータ１６２ｂの属性、プロパティ、または拡張のいずれかが２つの時点の間で変更されたかどうかを示す属性が生成される場合がある。別の例では、取り出し要求４１０は、特定のクラウドリソース１１８に関連付けられたすべてのデータ１６２ｂを要求することができる。取り出しインターフェース４００は、要求された構造化データ１６２ｂをデータストア１５０からフェッチし、データ１６２ｂを取り出しデータ４２０として要求者１１９に返す。一部の実装形態では、取り出しインターフェース４００は、属性１６６、１６８および／またはタイムスタンプ１６４に基づいて取り出しデータ４２０をソートおよび／またはグループ化する。

取り出しインターフェース４００はまた、拡張および関係構造（例えば、親子関係）などのデータ４２０の任意の要素で、取り出しデータ４２０をフィルタリング、ソート、またはグループ化することができる。フィルタリングは、標準化されたクエリ言語または独自のクエリ言語で指定されてよい。取り出しインターフェースは、取り出しデータ４２０を集約関数でさらにグループ化することができる。例えば、集約関数には、カウント、合計、および／または平均が含まれる場合がある。一部の実装形態では、取り出し要求４１０は、それぞれのタイムスタンプ１６４、属性１６６、１６８、または他のいずれかのイベントに関連付けられた構造化イベントデータ１６２ｂ間のクラスタリング、相関、および因果関係を明らかにするために、「連鎖」または他の方法で共に順序付けられ得る。

一部の実装形態では、取り出し要求４１０を受信することは、構造化データ取り出しオフセット４１２を受信することを含む。構造化データ取り出しオフセット４１２は、取り出される構造化データ１６２ｂのリストにおける位置を示す。次いで、構造化データ１６２ｂのリストにおける位置よりも後の構造化データ１６２ｂのみが取り出される。例えば、取り出し要求４１０が５０の構造化データ取り出しオフセット４１２を含み、取り出しインターフェース４００が取り出し要求４１０に対応する構造化データ１６２ｂの１００の要素のリストをフェッチする場合、取り出しインターフェース４００は、すべてのデータ要素ではなく、５０から１００の要素を返す。一部の実装形態では、構造化データ取り出しオフセット４１２は、一度に返す構造化データ１６２ｂの要素の量を示す。例えば、取り出し要求４１０は、取り出しインターフェース４００が一度に１０個の結果のみを返すことを要求することができる。任意選択により、取り出しインターフェース４００によって返される取り出しデータ４２０は、ページトークン４２２を含み得る。取り出しインターフェース４００が、取り出し要求４１０に対応する取り出しデータ４２０の一部のみを返す場合、ページトークン４２２は、返されたデータ４２０に対応するリストにおける位置を示し得る。すなわち、取り出しインターフェース４００が、返すリストにおいて１００個の取り出しデータ４２０の要素を有し、１０個の要素のみを返す場合、ページトークン４２２は、取り出しインターフェース４００が返すこととなる取り出しデータ４２０の次の要素が１１番目の要素であることを示し得る。次に、フォローアップ取り出し要求４１０は、要求者が次の「バッチ」またはデータのグループ４２０の準備ができていることを取り出しインターフェース４００に示すために、ページトークン４２２を含み得る。

したがって、システム１００は、顧客およびクライアントが高レベルの抽象化で自身をセキュアにすることを可能にする。すなわち、資産、脆弱性、脅威とリスクの評価と検出は、それぞれの顧客またはクライアントが展開した関連するクラスのビジネスおよびコンテキスト化されたアプリケーション（またはワークロード、サービスなど）に合わせて、大規模に優先順位が付けられ、パーソナライズされる。システム１００は、個々のリソースを戦術的に保護する代わりに、クライアントの環境を全体的にセキュアにする。具体的には、システム１００は、大規模において、ワークロードおよびその基礎となるサービスおよびリソースの宣言された関係および推論された関係の自動および支援された発見の両方を可能にする。システム１００は、大規模において、特定のワークロード（またはワークロードクラス）に従う静的および動的な振る舞いおよび関係の変化の自動および支援された理解およびベースライン化の両方を可能にする。システム１００はまた、大規模な統計および動的異常の自動および支援された検出の両方、ならびに特定のアプリケーション、ワークロード、およびワークロードクラスのコンテキストに存在するターゲットデータのタイプおよび／または値の理解を可能にする。システム１００は、特定のクライアントまたは顧客、クライアントの特定のビジネスコンテキスト、アプリケーション、ワークロード、およびワークロードクラスのためにパーソナライズされた一般的な脅威アクターの方法および脆弱性にマッピングされた自動または支援されたターゲティングおよび発見の優先順位付けを可能にする。

図５は、イベントデータを記憶および構造化するための例示的な方法５００のフローチャートである。フローチャートは、データ処理ハードウェア１１４によって、データ処理ハードウェア１１４と通信する複数の異なるコンピューティングリソース１１８によって取得された複数のイベントについて、ネットワーク１２０を介してイベントデータ１６２を取り込むことによって、動作５０２を開始する。一部の実装形態では、イベントデータを取り込むことは、取り込み要求を受信すること、タイムスケジュールからの指示、またはイベントからの指示のうちの少なくとも１つに応じて行われる。イベントデータ１６２は、イベントが複数の異なるコンピューティングリソース１１８のうちの１つによって取得された時点を示す、イベントデータ１６２の各イベントのそれぞれのタイムスタンプ１６４を含む。イベントデータ１６２は、イベントデータ１６２の各イベントに関連付けられた少なくとも１つの取り込み属性１６６をさらに含む。少なくとも１つの取り込み属性１６６は、関連付けられたイベントの取り込みを許可するために必要な取り込み基準２１０を満たす。一部の実装形態では、イベントデータ１６２を取り込むことは、アプリケーションプログラミングインターフェースを介して、複数の異なるコンピューティングリソース１１８からネットワーク１２０を介してイベントデータ１６２をフェッチすることを含む。

イベントデータ１６２の複数のイベントのそれぞれについて、方法５００は、ステップ５０４において、データ処理ハードウェア１１４によって、対応するイベントが、イベントのインデックス付けを行うためにユーザによって定義されたいずれかの複数のカスタムインデックス付け属性１６８に関連付けられているかどうかを識別することを含む。一部の例では、複数のイベントのインデックス付けを行うためにユーザによって定義されたカスタムインデックス付け属性１６８はそれぞれ、複数の異なるコンピューティングリソース１１８の顧客によって定義されたそれぞれのキーと値のペアを含む。ステップ５０６で、方法５００は、イベントデータ１６２の複数のイベントのそれぞれについて、データ処理ハードウェア１１４によって、対応するイベントのそれぞれのタイムスタンプ１６４と、対応するイベントに関連付けられている少なくとも１つの取り込み属性１６６と、対応するイベントに関連付けられている識別された複数のカスタムインデックス付け属性１６８と、に基づいて、構造化データ１６２ｂとして、データストア１５０へと対応するイベントのインデックス付けを行うこと、を含む。一部の例では、データストア１５０は、分散ストレージシステムを含む。他の例では、データストア１５０は、リレーショナルデータベースを含む。

ステップ５０８において、方法５００は、データ処理ハードウェア１１４によって、排除期間閾値３２２を満たす期間において、データストア１５０に構造化データ１６２ｂとして、インデックス付けされていたイベントデータ１６２の複数のイベントのいずれかを排除することを含む。方法５００は、ステップ５１０において、データ処理ハードウェア１１４において、データストア１５０に記憶されている構造化データ１６２ｂについて取り出し要求４１０を受信することであって、取り出し要求４１０は、取り出し要求４１０によって指定された時間範囲１６５、取り出し要求４１０によって指定された１つまたは複数の取り込み属性１６６、または取り出し要求４１０によって指定された１つまたは複数のカスタムインデックス付け属性１６８のうちの少なくとも１つに関連付けられる構造化データ１６２ｂを要求する、受信することを含む。構造化データ１６２ｂを要求する取り出し要求４１０は、第１の時間範囲１６５および第２の時間範囲１６５に関連付けられていてもよい。第２の時間範囲１６５は、第１の時間範囲１６５とは異なる。

ステップ５１２において、方法５００は、データ処理ハードウェア１１４によって、取り出し要求４１０によって指定された時間範囲１６５、取り出し要求４１０によって指定された１つまたは複数の取り込み属性１６６、または取り出し要求４１０によって指定された１つまたは複数のカスタムインデックス付け属性１６８のうちの少なくとも１つに関連付けられる構造化データ１６２ｂをデータストア１５０から取り出すことを含む。例えば、指定された時間範囲１６５内にある対応するタイムスタンプ１６４を構造化データ１６２ｂが含む場合、構造化データ１６２ｂは、取り出し要求４１０によって指定された時間範囲１６５に関連付けられ得る。一部の実装形態では、取り出し要求４１０を受信することは、構造化データ取り出しオフセットを受信することを含み、構造化データ取り出しオフセット４１２は、取り出される構造化データ１６２ｂのリストにおける位置を示し、構造化データ１６２ｂのリストにおける位置よりも後の構造化データ１６２ｂのみが取り出される。構造化データ１６２ｂを取り出すことは、取り出し要求４１０に関連付けられる構造化データの許可の検証を含み得る。

任意選択により、方法５００は、イベントデータ１６２の複数のイベントのそれぞれについて、データ処理ハードウェア１１４によって、一組の有効性規則２１０を適用して、対応するイベントが有効であるかどうかを判定することを含む。方法５００は、対応するイベントが、適用された一組の有効性規則２１０に基づいて有効である場合、構造化データ１６２ｂとしてデータストア１５０へと対応するイベントのインデックス付けを行うことをさらに含んでいてもよい。一組の有効性規則２１０は、対応するイベントの優先順位を判定するための一組の優先順位規則を含んでいてもよい。対応するイベントが、適用された一組の有効性規則に基づいて無効である場合、方法５００は、データ処理ハードウェア１１４によって、データストア１５０へとインデックス付けを行うことに関し対応するイベントを拒否することを含んでいてもよい。一部の例では、方法５００は、データ処理ハードウェア１１４によって、取り出された構造化データ１６２ｂの一部およびページトークン４２２を送信することを含む。ページトークン４２２は、取り出された構造化データ１６２ｂのリストにおける位置を示し、取り出された構造化データ１６２ｂの一部は、リストにおけるページトークン４２２よりも前の位置からのデータ１６２ｂのみを含む。イベントデータ１６２の複数のイベントのうちの少なくとも１つは、複数の異なるコンピューティングリソース１１８のうちの対応する１つに係る測定された特性を示していてもよい。任意選択により、方法５００は、一組の優先順位規則に基づいて、測定された特性の優先順位を判定することを含む。

ソフトウェアアプリケーション（すなわち、ソフトウェアリソース）は、コンピューティングデバイスにタスクを実行させるコンピュータソフトウェアを指す場合がある。いくつかの例では、ソフトウェアアプリケーションは、「アプリケーション」、「アプリ」、または「プログラム」を指す場合がある。アプリケーションの例には、システム診断アプリケーション、システム管理アプリケーション、システムメンテナンスアプリケーション、ワード処理アプリケーション、スプレッドシートアプリケーション、メッセージングアプリケーション、メディアストリーミングアプリケーション、ソーシャルネットワーキングアプリケーション、およびゲームアプリケーションが含まれるが、これらに限定されない。

図６は、この文書で説明されているシステムおよび方法を実装するために使用され得る例示的なコンピューティングデバイス６００の概略図である。コンピューティングデバイス６００は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的としている。ここに示されているコンポーネント、それらの接続と関係、およびそれらの機能は、例示のみを目的としており、本書で説明および／または主張されている発明の実装を制限することを意味するものではない。

コンピューティングデバイス６００は、プロセッサ６１０、メモリ６２０、記憶装置６３０、メモリ６２０に接続する高速インターフェース／コントローラ６４０、高速拡張ポート６５０、および低速バス６７０、および記憶装置６３０に接続する低速インターフェース／コントローラ６６０を含む。コンポーネント６１０、６２０、６３０、６４０、６５０、および６６０のそれぞれは、様々なバスを使用して相互接続されており、共通のマザーボードに、または必要に応じて他の方法で取り付けることができる。プロセッサ６１０は、メモリ６２０または記憶装置６３０に格納された命令を含む、コンピューティングデバイス６００内で実行するための命令を処理することができる。ハードウェア２０６、１４６は、高速インターフェース６４０に結合されたディスプレイ６８０などの外部入力／出力デバイス上のグラフィカルユーザインターフェース（ＧＵＩ）のグラフィカル情報を表示する。他の実装形態では、複数のメモリおよび／またはメモリのタイプとともに、必要に応じて、複数のプロセッサおよび／または複数のバスを使用することができる。また、複数のコンピューティングデバイス６００を接続することができ、各デバイスは、必要な操作の一部を提供する（例えば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）。

メモリ６２０は、コンピューティングデバイス６００内に非一時的に情報を格納する。メモリ６２０は、コンピュータ可読媒体、揮発性メモリユニット、または不揮発性メモリユニットであり得る。非一時的メモリ６２０は、コンピューティングデバイス６００によって使用するために一時的または永続的にプログラム（例えば、命令のシーケンス）またはデータ（例えば、プログラム状態情報）を格納するために使用される物理デバイスであり得る。不揮発性メモリの例には、フラッシュメモリおよび読み取り専用メモリ（ＲＯＭ）／プログラム可能な読み取り専用メモリ（ＰＲＯＭ）／消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）／電子的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）が含まれるが、これらに限定されない（例えば、通常、ブートプログラムなどのファームウェアに使用される）。揮発性メモリの例には、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ（ＰＣＭ）、およびディスクまたはテープが含まれるが、これらに限定されない。

記憶装置６３０は、コンピューティングデバイス６００に大容量記憶装置を提供することができる。いくつかの実装形態では、記憶装置６３０は、コンピュータ可読媒体である。様々な異なる実施形態では、記憶装置６３０は、フロッピー（登録商標）ディスク装置、ハードディスク装置、光ディスク装置、またはテープ装置、フラッシュメモリまたは他の同様のソリッドステートメモリ装置、またはストレージエリアネットワークまたはその他の構成における装置を含む装置のアレイであり得る。追加の実装では、コンピュータプログラム製品は、情報キャリアに具体的に具体化される。コンピュータプログラム製品は、実行されると、上記のような１つまたは複数の方法を実行する命令を含む。情報キャリアは、メモリ６２０、記憶装置６３０、またはプロセッサ６１０上のメモリなどの、コンピュータまたは機械で読み取り可能な媒体である。

高速コントローラ６４０は、コンピューティングデバイス６００の帯域幅集約型の動作を管理し、低速コントローラ６６０は、帯域幅集約型のより低い動作を管理する。このような役目の割り当ては例示に過ぎない。いくつかの実装形態では、高速コントローラ６４０は、メモリ６２０、ディスプレイ６８０（例えば、グラフィックプロセッサまたはアクセラレータを介して）、および様々な拡張カード（図示せず）を受け入れることができる高速拡張ポート６５０に結合される。いくつかの実装形態では、低速コントローラ６６０は、記憶装置６３０および低速拡張ポート６９０に結合されている。低速拡張ポート６９０は、様々な通信ポート（例えば、ＵＳＢ、ブルートゥース（登録商標）、イーサネット（登録商標）、イーサネットワイヤレス）を含んでいてもよく、例えばネットワークアダプタを介して、キーボード、ポインティングデバイス、スキャナなどの１つまたは複数の入力／出力デバイス、またはスイッチまたはルータなどのネットワークデバイスに結合することができる。

コンピューティングデバイス６００は、図に示されるように、いくつかの異なる形態で実装され得る。例えば、それは、標準サーバ６００ａとして、またはそのようなサーバ６００ａのグループ内での複数回のものとして、ラップトップコンピュータ６００ｂとして、またはラックサーバシステム６００ｃの一部として実装され得る。

本明細書に記載のシステムおよび技術の様々な実装は、デジタル電子および／または光回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせで実現することができる。これらの様々な実装は、記憶システム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータおよび命令を受信し、データおよび命令を送信するために結合された、特別または汎用であり得る少なくとも１つのプログラム可能なプロセッサを含むプログラム可能なシステム上で実行可能および／または解釈可能な１つまたは複数のコンピュータプログラムでの実装を含むことができる。

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとも呼ばれる）は、プログラム可能なプロセッサのマシン命令を含み、高レベルの手続き型および／またはオブジェクト指向プログラミング言語、および／またはアセンブリ／機械語で実装され得る。本明細書で使用される場合、「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械命令および／またはデータをプログラム可能なプロセッサに提供するために使用される、任意のコンピュータプログラム製品、非一時的なコンピュータ可読媒体、装置および／またはデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指す場合があり、機械命令を機械可読信号として受信する機械可読媒体が含まれる。「機械可読信号」という用語は、プログラム可能なプロセッサに機械命令および／またはデータを提供するために使用される任意の信号を指す。

本明細書に記載のプロセスおよび論理フローは、１つまたは複数のプログラム可能なプロセッサ（データ処理ハードウェアとも称される）によって実行でき、１つまたは複数のコンピュータプログラムを実行して、入力データを操作し、出力を生成することによって機能を実行する。プロセスとロジックフローは、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）やＡＳＩＣ（特定用途向け集積回路）などの特殊用途のロジック回路によっても実行できる。コンピュータプログラムの実行に適したプロセッサには、例として、汎用および特殊目的の両方のマイクロプロセッサ、および任意の種類のデジタルコンピュータの任意の１つまたは複数のプロセッサが含まれる。一般に、プロセッサは、読み取り専用メモリまたはランダムアクセスメモリ、あるいはその両方から命令とデータを受信する。コンピュータの重要な要素は、命令を実行するためのプロセッサと、命令とデータを格納するための１つまたは複数のメモリデバイスである。一般に、コンピュータはまた、データを格納するための１つまたは複数の大容量記憶装置、例えば、磁気、光磁気ディスク、または光ディスクを含むか、またはデータを受信するか、データを転送するか、またはその両方に動作可能に結合される。ただし、コンピュータにそのようなデバイスが必要としない。コンピュータプログラムの命令およびデータを格納するのに適したコンピュータ可読媒体には、不揮発性メモリ、メディア、およびメモリデバイスの全ての形態が含まれ、例として、半導体メモリデバイス（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス）、磁気ディスク（例えば、内蔵ハードディスクまたはリムーバブルディスク）光磁気ディスク、ＣＤＲＯＭおよびＤＶＤ－ＲＯＭディスクが含まれる。プロセッサとメモリは、特別な目的の論理回路によって補完または組み込むことができる。

ユーザとの対話を提供するために、本開示の１つまたは複数の態様は、ユーザに情報を表示するためのＣＲＴ（ブラウン管）、ＬＣＤ（液晶ディスプレイ）モニター、またはタッチスクリーン等のディスプレイデバイス、任意選択でユーザがコンピュータに入力を提供可能とするキーボードとポインティングデバイス（マウスやトラックボールなど）を有するコンピュータ上に実装することができる。他の種類のデバイスを使用して、ユーザとの対話を提供することもできる。例えば、ユーザに提供されるフィードバックは、視覚的フィードバック、聴覚的フィードバック、または触覚的フィードバックなど、任意の形態の感覚的フィードバックであり得る。また、ユーザからの入力は、音響、音声、または触覚入力を含む任意の形式で受信できる。さらに、コンピュータは、ユーザが使用するデバイスとの間でドキュメントを送受信することにより、ユーザと対話できる。例えば、Ｗｅｂブラウザから受信した要求に応答して、ユーザのクライアントデバイス上のＷｅｂブラウザにＷｅｂページを送信する。

いくつかの実装形態が説明されている。しかしながら、本開示の趣旨および範囲から逸脱することなく、様々な変更を行うことができることが理解されるであろう。したがって、他の実装形態は、以下の特許請求の範囲内にある。

Claims (32)

1. データ処理ハードウェア（１１４）によって、前記データ処理ハードウェア（１１４）と通信する複数の異なるコンピューティングリソース（１１８）によって取得された複数のイベントについて、ネットワーク（１２０）を介してイベントデータ（１６２）を取り込むことであって、前記イベントデータ（１６２）は、
   前記イベントが前記複数の異なるコンピューティングリソース（１１８）のうちの１つによって取得された時点を示す、前記イベントデータ（１６２）の各イベントのそれぞれのタイムスタンプ（１６４）と、
   前記イベントデータ（１６２）の各イベントに関連付けられた少なくとも１つの取り込み属性（１６６）であって、前記関連付けられたイベントの取り込みを許可するために必要な取り込み基準（２１０）を満たす前記少なくとも１つの取り込み属性（１６６）と、を含む、取り込むことと、
   前記イベントデータ（１６２）の前記複数のイベントのそれぞれについて、
   前記データ処理ハードウェア（１１４）によって、対応する前記イベントが、イベントのインデックス付けを行うためにユーザによって定義されたいずれかの複数のカスタムインデックス付け属性（１６８）に関連付けられているかどうかを識別することと、
   前記データ処理ハードウェア（１１４）によって、対応する前記イベントの前記それぞれのタイムスタンプ（１６４）と、対応する前記イベントに関連付けられている前記少なくとも１つの取り込み属性（１６６）と、対応する前記イベントに関連付けられている識別されたいずれかの前記複数のカスタムインデックス付け属性（１６８）と、に基づいて、構造化データ（１６２ｂ）として、データストア（１５０）へと対応する前記イベントのインデックス付けを行うことと、
   前記データ処理ハードウェア（１１４）によって、排除期間閾値（３２２）を満たす期間において、前記データストア（１５０）に構造化データ（１６２ｂ）として、インデックス付けされていた前記イベントデータ（１６２）の前記複数のイベントのいずれかを排除することと、
   前記データ処理ハードウェア（１１４）において、前記データストア（１５０）に記憶されている構造化データ（１６２ｂ）について取り出し要求（４１０）を受信することであって、前記取り出し要求（４１０）は、前記取り出し要求（４１０）によって指定された時間範囲（１６５）、前記取り出し要求（４１０）によって指定された１つまたは複数の取り込み属性（１６６）、または前記取り出し要求（４１０）によって指定された１つまたは複数のカスタムインデックス付け属性（１６８）のうちの少なくとも１つに関連付けられる構造化データ（１６２ｂ）を要求する、受信することと、
   前記データ処理ハードウェア（１１４）によって、前記取り出し要求（４１０）によって指定された前記時間範囲（１６５）、前記取り出し要求（４１０）によって指定された前記１つまたは複数の取り込み属性（１６６）、または前記取り出し要求（４１０）によって指定された前記１つまたは複数のカスタムインデックス付け属性（１６８）のうちの前記少なくとも１つに関連付けられる前記構造化データ（１６２ｂ）を前記データストア（１５０）から取り出すことと、
   を含む方法（５００）。
2. 複数のイベントのインデックス付けを行うために前記ユーザによって定義された前記カスタムインデックス付け属性（１６８）はそれぞれ、前記複数の異なるコンピューティングリソース（１１８）の顧客によって定義されたそれぞれのキーと値のペアを含む、
   請求項１に記載の方法（５００）。
3. 前記イベントデータ（１６２）の前記複数のイベントのそれぞれについて、
   前記データ処理ハードウェア（１１４）によって、一組の有効性規則（２１０）を適用して、対応する前記イベントが有効であるかどうかを判定することと、
   対応する前記イベントが、適用された前記一組の有効性規則（２１０）に基づいて有効である場合、構造化データ（１６２ｂ）として前記データストア（１５０）へと対応する前記イベントのインデックス付けを行うことと、をさらに含む、
   請求項１または２に記載の方法（５００）。
4. 前記一組の有効性規則（２１０）は、対応する前記イベントの優先順位を判定するための一組の優先順位規則（２１０）を含む、
   請求項３に記載の方法（５００）。
5. 対応する前記イベントが適用された前記一組の有効性規則（２１０）に基づいて無効である場合、前記データ処理ハードウェア（１１４）によって、前記データストア（１５０）へとインデックス付けを行うことに関し対応する前記イベントを拒否することをさらに含む、
   請求項３または４に記載の方法（５００）。
6. 前記取り出し要求（４１０）を受信することは、構造化データ（１６２ｂ）取り出しオフセットを受信することを含み、前記構造化データ（１６２ｂ）取り出しオフセットは、取り出される構造化データ（１６２ｂ）のリストにおける位置を示し、構造化データ（１６２ｂ）の前記リストにおける前記位置よりも後の構造化データ（１６２ｂ）のみが取り出される、
   請求項１から５のいずれか一項に記載の方法（５００）。
7. 前記データ処理ハードウェア（１１４）によって、
   取り出された前記構造化データ（１６２ｂ）の一部と、
   ページトークン（４２２）と、を送信することをさらに含み、前記ページトークン（４２２）は、取り出された前記構造化データ（１６２ｂ）のリストにおける位置を示しており、
   取り出された前記構造化データ（１６２ｂ）の前記一部は、前記リスト内の前記ページトークン（４２２）よりも前の位置からのデータのみを含む、
   請求項１から６のいずれか一項に記載の方法（５００）。
8. 前記データストア（１５０）は、分散ストレージシステムを含む、
   請求項１から７のいずれか一項に記載の方法（５００）。
9. 前記データストア（１５０）は、リレーショナルデータベースを含む、
   請求項１から８のいずれか一項に記載の方法（５００）。
10. 前記イベントデータ（１６２）の前記複数のイベントのうちの少なくとも１つは、前記複数の異なるコンピューティングリソース（１１８）のうちの対応する１つに係る測定された特性を示す、
    請求項１から９のいずれか一項に記載の方法（５００）。
11. 前記データ処理ハードウェア（１１４）によって、一組の優先順位規則（２１０）に基づいて前記測定された特性の優先順位を判定することをさらに含む、
    請求項１０に記載の方法（５００）。
12. 構造化データ（１６２ｂ）を要求する前記取り出し要求（４１０）は、第１の時間範囲（１６５）および第２の時間範囲（１６５）に関連付けられており、前記第２の時間範囲（１６５）は、前記第１の時間範囲（１６５）とは異なる、
    請求項１から１１のいずれか一項に記載の方法（５００）。
13. 前記イベントデータ（１６２）を取り込むことは、アプリケーションプログラミングインターフェースを介して、前記複数の異なるコンピューティングリソース（１１８）から前記ネットワーク（１２０）を介して前記イベントデータ（１６２）を取得することを含む、
    請求項１から１２のいずれか一項に記載の方法（５００）。
14. 前記データ処理ハードウェア（１１４）において、データを排除するための排除要求（３２８）であって、前記排除要求（３２８）によって指定された時間範囲（１６５）、前記排除要求（３２８）によって指定された１つまたは複数の取り込み属性（１６６）、または前記排除要求（３２８）によって指定された１つまたは複数のカスタムインデックス付け属性（１６８）のうちの少なくとも１つに関連付けられるデータを排除するための前記排除要求（３２８）を受信することと、
    前記データ処理ハードウェア（１１４）によって、前記排除要求（３２８）によって指定された時間範囲（１６５）、前記排除要求（３２８）によって指定された１つまたは複数の取り込み属性（１６６）、または前記排除要求（３２８）によって指定された１つまたは複数のカスタムインデックス付け属性（１６８）のうちの前記少なくとも１つに関連付けられる前記構造化データ（１６２ｂ）を前記データストア（１５０）から排除することと、をさらに含む、
    請求項１から１３のいずれか一項に記載の方法（５００）。
15. 前記イベントデータ（１６２）を取り込むことは、取り込み要求を受信すること、タイムスケジュールからの指示、またはイベントからの指示のうちの少なくとも１つに応じて行われる、
    請求項１から１４のいずれか一項に記載の方法（５００）。
16. 前記構造化データ（１６２ｂ）を取り出すことは、前記取り出し要求（４１０）に関連付けられる前記構造化データ（１６２ｂ）の許可を検証することを含む、
    請求項１から１５のいずれか一項に記載の方法（５００）。
17. データ処理ハードウェア（１１４）と、
    前記データ処理ハードウェア（１１４）と通信するメモリハードウェア（１１６）と、を備えるシステム（１００）であって、前記メモリハードウェア（１１６）は命令を記憶し、前記命令は、前記データ処理ハードウェア（１１４）上で実行されるとき、前記データ処理ハードウェア（１１４）に、
    前記データ処理ハードウェア（１１４）と通信する複数の異なるコンピューティングリソース（１１８）によって取得された複数のイベントについて、ネットワーク（１２０）を介してイベントデータ（１６２）を取り込むことであって、前記イベントデータ（１６２）は、
    前記イベントが前記複数の異なるコンピューティングリソース（１１８）のうちの１つによって取得された時点を示す、前記イベントデータ（１６２）の各イベントのそれぞれのタイムスタンプ（１６４）と、
    前記イベントデータ（１６２）の各イベントに関連付けられた少なくとも１つの取り込み属性（１６６）であって、前記関連付けられたイベントの取り込みを許可するために必要な取り込み基準（２１０）を満たす前記少なくとも１つの取り込み属性（１６６）と、を含む、取り込むことと、
    前記イベントデータ（１６２）の前記複数のイベントのそれぞれについて、
    対応する前記イベントが、イベントのインデックス付けを行うためにユーザによって定義されたいずれかの複数のカスタムインデックス付け属性（１６８）に関連付けられているかどうかを識別することと、
    対応する前記イベントの前記それぞれのタイムスタンプ（１６４）と、対応する前記イベントに関連付けられている前記少なくとも１つの取り込み属性（１６６）と、対応する前記イベントに関連付けられている識別されたいずれかの前記複数のカスタムインデックス付け属性（１６８）と、に基づいて、構造化データ（１６２ｂ）として、データストア（１５０）へと対応する前記イベントのインデックス付けを行うことと、
    排除期間閾値（３２２）を満たす期間において、前記データストア（１５０）に構造化データ（１６２ｂ）として、インデックス付けされていた前記イベントデータ（１６２）の前記複数のイベントのいずれかを排除することと、
    前記データストア（１５０）に記憶されている構造化データ（１６２ｂ）について取り出し要求（４１０）を受信することであって、前記取り出し要求（４１０）は、前記取り出し要求（４１０）によって指定された時間範囲（１６５）、前記取り出し要求（４１０）によって指定された１つまたは複数の取り込み属性（１６６）、または前記取り出し要求（４１０）によって指定された１つまたは複数のカスタムインデックス付け属性（１６８）のうちの少なくとも１つに関連付けられる構造化データ（１６２ｂ）を要求する、受信することと、
    前記取り出し要求（４１０）によって指定された前記時間範囲（１６５）、前記取り出し要求（４１０）によって指定された前記１つまたは複数の取り込み属性（１６６）、または前記取り出し要求（４１０）によって指定された前記１つまたは複数のカスタムインデックス付け属性（１６８）のうちの前記少なくとも１つに関連付けられる前記構造化データ（１６２ｂ）を前記データストア（１５０）から取り出すことと、を含む動作を実行させる、
    システム（１００）。
18. 複数のイベントのインデックス付けを行うために前記ユーザによって定義された前記カスタムインデックス付け属性（１６８）はそれぞれ、前記複数の異なるコンピューティングリソース（１１８）の顧客によって定義されたそれぞれのキーと値のペアを含む、
    請求項１７に記載のシステム（１００）。
19. 前記動作は、前記イベントデータ（１６２）の前記複数のイベントのそれぞれについて、
    一組の有効性規則（２１０）を適用して、対応する前記イベントが有効であるかどうかを判定することと、
    対応する前記イベントが、適用された前記一組の有効性規則（２１０）に基づいて有効である場合、構造化データ（１６２ｂ）として前記データストア（１５０）へと対応する前記イベントのインデックス付けを行うことと、をさらに含む、
    請求項１７または１８に記載のシステム（１００）。
20. 前記一組の有効性規則（２１０）は、対応する前記イベントの優先順位を判定するための一組の優先順位規則（２１０）を含む、
    請求項１９に記載のシステム（１００）。
21. 前記動作は、対応する前記イベントが適用された前記一組の有効性規則（２１０）に基づいて無効である場合、前記データストア（１５０）へとインデックス付けを行うことに関し対応する前記イベントを拒否することをさらに含む、
    請求項１９または２０に記載のシステム（１００）。
22. 前記取り出し要求（４１０）を受信することは、構造化データ（１６２ｂ）取り出しオフセットを受信することを含み、前記構造化データ（１６２ｂ）取り出しオフセットは、取り出される構造化データ（１６２ｂ）のリストにおける位置を示し、構造化データ（１６２ｂ）の前記リストにおける前記位置よりも後の構造化データ（１６２ｂ）のみが取り出される、
    請求項１７から２１のいずれか一項に記載のシステム（１００）。
23. 前記動作は、
    取り出された前記構造化データ（１６２ｂ）の一部と、
    ページトークン（４２２）と、を送信することをさらに含み、前記ページトークン（４２２）は、取り出された前記構造化データ（１６２ｂ）のリストにおける位置を示しており、
    取り出された前記構造化データ（１６２ｂ）の前記一部は、前記リスト内の前記ページトークン（４２２）よりも前の位置からのデータのみを含む、
    請求項１７から２２のいずれか一項に記載のシステム（１００）。
24. 前記データストア（１５０）は、分散ストレージシステムを含む、
    請求項１７から２３のいずれか一項に記載のシステム（１００）。
25. 前記データストア（１５０）は、リレーショナルデータベースを含む、
    請求項１７から２４のいずれか一項に記載のシステム（１００）。
26. 前記イベントデータ（１６２）の前記複数のイベントのうちの少なくとも１つは、前記複数の異なるコンピューティングリソース（１１８）のうちの対応する１つに係る測定された特性を示す、
    請求項１７から２５のいずれか一項に記載のシステム（１００）。
27. 前記動作は、一組の優先順位規則（２１０）に基づいて前記測定された特性の優先順位を判定することをさらに含む、
    請求項２６に記載のシステム（１００）。
28. 構造化データ（１６２ｂ）を要求する前記取り出し要求（４１０）は、第１の時間範囲（１６５）および第２の時間範囲（１６５）に関連付けられており、前記第２の時間範囲（１６５）は、前記第１の時間範囲（１６５）とは異なる、
    請求項１７から２７のいずれか一項に記載のシステム（１００）。
29. 前記イベントデータ（１６２）を取り込むことは、アプリケーションプログラミングインターフェースを介して、前記複数の異なるコンピューティングリソース（１１８）から前記ネットワーク（１２０）を介して前記イベントデータ（１６２）を取得することを含む、
    請求項１７から２８のいずれか一項に記載のシステム（１００）。
30. 前記動作は、
    データを排除するための排除要求（３２８）であって、前記排除要求（３２８）によって指定された時間範囲（１６５）、前記排除要求（３２８）によって指定された１つまたは複数の取り込み属性（１６６）、または前記排除要求（３２８）によって指定された１つまたは複数のカスタムインデックス付け属性（１６８）のうちの少なくとも１つに関連付けられるデータを排除するための前記排除要求（３２８）を受信することと、
    前記排除要求（３２８）によって指定された時間範囲（１６５）、前記排除要求（３２８）によって指定された１つまたは複数の取り込み属性（１６６）、または前記排除要求（３２８）によって指定された１つまたは複数のカスタムインデックス付け属性（１６８）のうちの前記少なくとも１つに関連付けられる前記構造化データ（１６２ｂ）を前記データストア（１５０）から排除することと、をさらに含む、
    請求項１７から２９のいずれか一項に記載のシステム（１００）。
31. 前記イベントデータ（１６２）を取り込むことは、取り込み要求を受信すること、タイムスケジュールからの指示、またはイベントからの指示のうちの少なくとも１つに応じて行われる、
    請求項１７から３０のいずれか一項に記載のシステム（１００）。
32. 前記構造化データ（１６２ｂ）を取り出すことは、前記取り出し要求（４１０）に関連付けられる前記構造化データ（１６２ｂ）の許可を検証することを含む、
    請求項１７から３１のいずれか一項に記載のシステム（１００）。

Images