JP5357777B2 - コンピュータネットワークセキュリティを支援するために、クエリーをサポートしながら効率的にログデータを記憶する技術 - Google Patents

コンピュータネットワークセキュリティを支援するために、クエリーをサポートしながら効率的にログデータを記憶する技術 Download PDF

Info

Publication number
JP5357777B2
JP5357777B2 JP2009544284A JP2009544284A JP5357777B2 JP 5357777 B2 JP5357777 B2 JP 5357777B2 JP 2009544284 A JP2009544284 A JP 2009544284A JP 2009544284 A JP2009544284 A JP 2009544284A JP 5357777 B2 JP5357777 B2 JP 5357777B2
Authority
JP
Japan
Prior art keywords
event
buffer
events
data
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009544284A
Other languages
English (en)
Other versions
JP2010515172A (ja
Inventor
ファン，ウェイ
タン，ウェンティン
ビージェン，クリスティアン，エフ．
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of JP2010515172A publication Critical patent/JP2010515172A/ja
Application granted granted Critical
Publication of JP5357777B2 publication Critical patent/JP5357777B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0686—Additional information in the notification, e.g. enhancement of specific meta-data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/835—Timestamp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/86—Event-based monitoring
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99951—File or database maintenance
    • Y10S707/99952—Coherency, e.g. same view to multiple users
    • Y10S707/99953—Recoverability

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)
  • Medicines That Contain Protein Lipid Enzymes And Other Medicines (AREA)

Description

関連出願の説明
本出願は、2006年12月28日に出願された米国特許仮出願No.60／882,289 (これは、その出典を記載することによって本明細書の一部とする)の優先権を主張するものである。
本発明は、セキュリティ情報／イベント管理(SIMまたはSIEM)に関し、特に、クエリーをサポートしながらセキュリティ情報／イベントを効率的に記憶する技術に関する。
セキュリティ情報／イベント管理(SIMまたはSIEM)の分野は、概ね、1)ネットワークおよびネットワークデバイスから、ネットワーク動作および／または前記デバイスの動作を示すデータを収集すること、ならびに、2)セキュリティを向上させるために前記データを分析することに関係している。例えば、前記データは、前記ネットワークまたはネットワークデバイスに対するアタックを特定し、どのユーザまたはマシーンに責任があるのかを判定するために分析されることができる。前記アタックが継続中である場合、前記アタックを阻止する、または、該アタックによる損害を軽減するための対策が実行可能である。前記収集されるデータは、一般的に、ネットワーク接続されたデバイスによって発生される(イベント、警報もしくは警告等の)メッセージ、または、ログファイルのエントリから生じるものである。典型的なネットワークデバイスは、ファイアウォール、侵入検出システムおよびサーバを含む。
各メッセージまたはログファイル入力(“イベント”)は、将来における使用のために記憶される。記憶されたイベントは、様々な方法で組織化可能である。各組織化法は、それぞれ、イベントデータを書き込むこと、イベントデータをサーチすることおよびイベントデータを削除することに関して利点および不利点を有する。
以下のシナリオについて考察する。各イベントは、イベント受信時間と呼ばれる属性を含む。該イベント受信時間属性の値はサーチのために頻繁に使用されるので、それぞれのイベント受信時間に基づいてイベントを記憶する。例えば、その日の毎分あたり1つのファイルを作成する。イベントを記憶するためには、該イベントのイベント受信時間を決定する。イベント受信時間の該当する分に対応するファイルに前記イベントを付加する。
後のイベントが到来すると、これらのイベント受信時間は、常に、単調に増加することになる。これは、前記後のイベントのデータを書き込むには付加処理のみが必要になることを意味する。記憶媒体を検索する必要はない。これにより、イベントデータの書き込み効率が上昇する。イベント受信時間に基づいてイベントデータをサーチするためには、最初のイベントが特定されたならば、前記媒体を順番に読み取ることによって前記前記後のイベントが入手、利用できる。記憶媒体を検索する必要はない。これにより、イベント受信時間に基づくイベントデータのサーチ効率が上昇する。最も旧いイベントデータを削除するためには、最も旧いファイルが削除される。常に最も旧いファイルが最初に削除される場合、前記記憶媒体の断片化が避けられる。これにより、イベントデータの削除効率が上昇する。
上記の方法の問題点は、イベント受信時間以外の属性に基づくイベントデータのサーチが大変時間のかかるものであるということである。例えば、各イベントが、該イベントを発生したデバイスまたはアプリケーション(“イベントソース”)を示す属性をも含む、と仮定する。前記イベントデータを検索して、特定のイベントソースを示すイベント(例えば、該イベントソース属性についての特定の値を含むイベント)を探し出すためには、前記記憶媒体全体が検査される必要がある。これは、大変非効率的である。
従って、従来より、様々異なるイベントソース属性についてのクエリーをサポートしながら(例えば、多次元インデキシングをサポートすることによって)セキュリティ情報／イベントを効果的に記憶するための方法が必要とされている。
ロギングシステムは、異なるイベント属性についてのクエリーをサポートしながらセキュリティ情報／イベントを記憶する。前記ロギングシステムは、セキュリティ情報／イベント管理(SIEM)システムと共に使用されることができる。様々なソース(デバイスおよびアプリケーション)によって生成可能なログデータは、任意のフォーマットであってよい。ログデータは、“イベント”と呼ばれる1または複数のデータインスタンスからなる。イベントは、例えば、ログファイルのエントリ(記録項目)、システムログサーバのエントリ、警報、警告、ネットワークパケット、イーメールまたは通知ページであってよい。一般的に、イベントは、一度だけ発生され、その後は変化しない。
前記ロギングシステムは、イベントレシーバと、記憶マネージャと、通信メカニズムとを含む。前記イベントレシーバはログデータを受信し、ログデータを処理し、データ“チャンク”を出力する。前記イベントレシーバは、制御システムと、バッファのセットと、メタデータ構造体とを有する。前記制御システムは、前記イベントレシーバの動作を制御する。前記バッファのセットは、１または複数のイベントを記憶する。前記メタデータ構造体は、前記バッファのセットの記憶内容についてのメタデータを記憶する。一実施の形態において、前記メタデータは、前記イベントレシーバに関連付けられたユニークな識別子、前記バッファのセット内におけるイベントの数、ならびに、各“対象フィールド”毎に、前記バッファのセットに記憶されたすべてのイベントにわたる前記フィールドの数値範囲を示す最小値および最大値を含む。イベントデータに対してクエリーを行う場合、前記メタデータ構造体は、検索インデックスとして機能する。
前記記憶マネージャは、データチャンクを受信し、クエリーできるよう該データチャンクを記憶する。前記記憶マネージャは、制御システム、データファイルテーブル、チャンクテーブル、および、１または複数のデータファイルを含む。前記制御システムは、前記記憶マネージャの動作を制御する。前記データファイルテーブルは、１または複数のデータファイルについての情報を記憶する。一実施の形態において、前記情報は、各データファイル毎に、前記データファイルに関連付けられたユニークな識別子、および、前記データファイルの位置を含む。前記チャンクテーブルは、前記記憶マネージャに記憶された(特に、１または複数のデータファイルに記憶された)１または複数のチャンクについての情報を記憶する。一実施の形態において、この情報は、各チャンク毎に、該チャンクに記憶されたメタデータ、および、該チャンクの位置を含む。データファイルは多数のチャンクを記憶する。前記通信メカニズムは、前記イベントレシーバと前記記憶マネージャとを通信可能に接続する。
前記イベントレシーバおよび前記記憶マネージャは、共働してログデータを記憶する方法を実行する。前記方法が開始する前に、前記バッファのセットおよび前記メタデータ構造体が初期化される。前記イベントレシーバはログデータを受信する。前記制御システムは、前記ログデータを１または複数のイベントに分け、各イベントデータが前記イベントレシーバによって何時受信されたかを判定する。前記制御システムは、イベント、および、各イベント毎に、該イベントが受信された時を示す時間／日付スタンプを前記バッファのセットに記憶する。前記制御システムは、前記メタデータ構造体をアップデートする。ある時点において、前記制御システムは、前記メタデータ構造体および前記バッファのセット記憶内容に基づいてデータチャンクを発生する。一実施の形態において、チャンクは、前記メタデータ構造体および前記バッファのセットの記憶内容の圧縮されたバージョンを含む。前記バッファおよびメタデータ構造体は再初期化され、これにより前記バッファのセットがフラッシュされる。前記制御システムは、前記記憶マネージャに対してチャンクを送信する。前記記憶マネージャは、前記チャンクを受信し、該チャンクをデータファイルに記憶し、チャンクテーブルをアップデートする。
前記記憶マネージャは、記憶スペースを再生利用するための方法を実行する。特定の保持ポリシーに関連付けられた最も旧いデータファイルが特定される。前記データファイルに含まれたすべてのチャンクに関する情報は、チャンクテーブルから除去される。前記データファイルテーブルにおける前記データファイルを示すエントリ(記録項目)が削除される。新たなエントリが前記データファイルテーブルに作成される。新たに再生されたデータファイルが、利用可能な予め割り当てられたデータファイルのリストに追加され、新たなチャンクを受信可能となる。
チャンクがデータファイルに記憶された後、該チャンク内のイベントに対するクエリーが行われる。クエリーは、イベントに対して評価され得る表現として示される。前記表現は、１または複数の検索語を含む。クエリーを行うために、該クエリーを満足させるイベントを含む可能性があるデータチャンクが特定される。具体的には、前記メタデータ構造体に含まれた情報を含む前記クエリー内の検索語が特定される。前記“メタデータ検索語”を使用して前記チャンクテーブルを検索する。このようにして、前記メタデータに記憶された情報に関する特定の数値に基づいて検索が制約され得る。特定されたチャンクは、それらを構成するイベントに分解される。前記クエリーを満足させるイベントが特定される。
本発明の一実施の形態に従うセキュリティ情報／イベントマネージメントシステムを有する環境を示すブロック図。
一実施の形態に係るセキュリティ情報／イベント管理システムのロギングシステムとして動作するコンピュータの高レベルブロック図。
一実施の形態に係るセキュリティ情報／イベント管理システムのロギングシステムを示すブロック図。
一実施の形態に従ってログデータを記憶する方法を示すフローチャート図。
一実施の形態に従って記憶装置を再生するための方法を示すフローチャート図。
一実施の形態に従ってクエリーを行うための方法を示すフローチャート図。
添付図面は例示目的でのみ実施の形態を示している。ここで説明される原理を逸脱することなく、ここで例示する構造および方法の他の実施の形態が採用されてよいことが、以下の説明から当業者に理解されるであろう。
ここに記載されているのは、コンピュータネットワークを介して様々異なるデバイスからデータを収集し、該データを共通のスキーム(構成)に正規化し、該正規化されたデータを統合するためのコンピュータに基づくシステムである。前記データ(“イベント”)は、モニタされ、分析され、ならびに、集中化された観点での調査および修正のために使用されることができる。イベントは、メタイベントを作成するためのルールと相互相関されることができる。相関は、例えば、イベント間の関係を見つけ出し、(例えば、メタイベントを発生することによって)これらの関係の意味を推測し、前記イベントおよびメタイベントを優先順位付けし、さらに、行動を取るためのフレームワークを提供することを含む。前記システム(その一実施の形態はコンピュータソフトウエアとして明白である)は、疑わしきネットワーク活動の集合、補正、検出および調査追跡を可能にする。前記システムは、さらに、裁判分析のための応答管理、その場その場での(アドホックな)クエリー分析、報告および再生、ならびに、ネットワークにおける脅威および活動のグラフィカルな可視化をサポートする。
以下本発明を様々な図示例を参照して説明するが、これらの例は本発明のより広い精神および範囲を制限するものとして解釈されるべきではない。例えば、ここで示される例は分散されたエージェント、マネージャおよびコンソールを説明しているが、これらは本発明の一実施の形態にすぎない。本発明の全体的な概念および範囲は、それよりはるかに広いものであり、いかなるコンピュータに基づくまたはネットワークに基づくセキュリティシステムにも及ぶものである。また、前記システムの構成要素に対して授受され得るメッセージの例、および、前記システムの構成要素によって使用され得る前記データ構成の例が本発明をさらに詳しく説明するために挙げられているが、これらの例は包括的なものではない。
以下の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータについての処理のアルゴリズムおよび記号表現の観点から説明されている。これらのアルゴリズムおよび記号表現は、当業者がかれらの作業内容を他の当業者に最も効果的に伝えるために使用される手段である。ここでは、また一般的には、アルゴリズムは、所望の結果にいたる首尾一貫したステップシーケンスであると考えられている。また、ステップとは、物理的な数量の物理的な操作を必要とするものである。必ずしもそうではないけれど、一般的には、これらの数量は、記憶され、伝送され、組み合わされ、比較されおよびその他の方法で処理されることが可能な電気的または磁気的な信号の形態をとる。主に共通使用可能という理由で、ビット、数値、図形要素、記号、文字、用語、数等としてこれらの信号に言及することが便利になることがある。しかしながら、これらの用語およびこれらに類似した用語のすべては、適当な物理的数量に対応付けられるものであり、これらの数量に適用される単に便利なラベルである。特にそうでないと明記する場合を除き、本発明の説明全体を通じて、"処理"、"計算"、"判定"、“表示”等の用語の使用は、コンピュータシステムのレジスタおよびメモリ内で物理的(電子的)な数量として表現されるデータを処理し、前記コンピュータシステムのメモリもしくはレジスタもしくはその他の情報記憶デバイス、伝送デバイスまたは表示デバイス内で同様に物理的な数量として表現されるデータに変換する動作および処理に言及するものである。
上述の如く、本発明の一実施の形態は、1または複数のコンピュータ／システムによって実現されるときプロセッサ／システムに対して指定された動作を行うよう指令するコンピュータソフトウエア、すなわち、コンピュータによって読み取り可能な命令として説明されている。このようなコンピュータプログラムは、ハードドライブ、CD-ROM、DVD-ROM、読み取り専用メモリ、読み書きメモリ等の1または複数のコンピュータによって読み取り可能に常駐していてよい。このようなソフトウエアは、1または複数の前記媒体に分散されていてもよく、または、1または複数のコンピュータネットワーク(例えばインターネット)を介してダウンロードされるようになっていてもよい。そのフォーマットに関わらず、ここで説明するコンピュータプログラミング、レンダリングおよび処理技術は、単に、本発明の特徴を実現するために使用可能なコンピュータプログラミング、レンダリングおよび処理技術の一例である。これらの例は本発明を制限するものではなく、本発明はこの明細書における発明の説明に続く特許請求の範囲を参照することによって最もよく理解される。
1. セキュリティ情報／イベントマネージメント(SIEM)システムアーキテクチャ
図1は、本発明の一実施の形態に従うセキュリティ情報／イベントマネージメントシステムを有する環境を示すブロック図である。図1は、セキュリティ情報／イベントマネージメント(SIEM)システム100と、1または複数のデータソース110とを示している。データソース110はネットワークノードであり、デバイスまたはソフトウエアアプリケーションであってよい。典型的なデータソース110は、侵入検出システム(IDS)、侵入阻止システム(IPS)、脆弱性評価ツール、ファイアウォール、アンチウィルスツール、アンチスパムツール、暗号化ツール、アプリケーション検査(audit)ログ、および、物理的セキュリティログを含む。
様々な種類のデータソース110は、セキュリティ検出およびプロキシシステムと、アクセスおよびポリシー制御システムと、コアサービスログおよびログコンソリデータ(consolidator)と、ネットワークハードウエアと、暗号化デバイスと、物理的セキュリティとを含む。典型的なセキュリティ検出およびプロキシシステムは、IDSと、IPSと、多目的セキュリティアプライアンスと、脆弱性評価およびマネージメントと、アンチウィルスと、ハニーポットと、脅威対応技術と、ネットワークモニタリングとを含む。典型的なアクセスおよびポリシー制御システムは、アクセスおよびアイデンティティマネージメントと、仮想プライベートネットワーク(VPN)と、キャッシュエンジンと、ファイアウォールと、セキュリティポリシーマネージメントとを含む。典型的なネットワークハードウエアは、ルータとスイッチとを含む。典型的な暗号化デバイスは、データセキュリティおよびデータ保全性を有する。典型的な物理的セキュリティシステムは、カードキーリーダと、バイオメトリックスと、強盗警報器と、火災警報器とを含む。
図示した実施の形態において、前記SIEMシステム100は、1または複数のエージェント120と、1または複数のマネージャ130と、1または複数のデータベース140と、1または複数のオンラインアーカイブ150と、1または複数のユーザインターフェース160と、1または複数のロギング(logging system)170とを含む。ある実施の形態において、これらのモジュールは、1つのプラットフォームにまとめられ、または、2つ、3つもしくは4つ以上のプラットフォーム(図1参照)に分散される。この多段アーキテクチャを使用することによって、コンピュータネットワークまたはシステムが大きくなるのに伴う拡張性をサポートする。前記SIEMシステム100は、2002年12月2日に出願された米国特許出願No.10／308,415(これは、その出典を記載することによって本明細書の一部とする)にさらに詳しく記載されている。
前記エージェント120は、データソース110に対するインターフェースを提供する。特に、前記エージェント120は、データソース110からデータ(“生イベント”)を収集し、該データを加工し、該加工されたデータ(“イベント”)をマネージャ130に送る。前記エージェント120は、例えば、simple network management protocol(SNMP)トラップのようなプロトコルを介して通信する個別のデバイス、前記ネットワーク内のコンソリデーションポイント、または、データソース110等のどこでも動作可能である。例えば、前記データソース110がソフトウエアアプリケーションである場合、前記エージェント120は、前記データソース110を提供するデバイス上で該データソース110と共に提供され得る。一実施の形態において、前記エージェント120は、カルフォルニア州CupertinoにあるArcSight, Inc.から入手可能なConnector製品である。
前記データの処理は、正規化、集約およびフィルタリングを含むことができる。例えば、個々のデータは、前記マネージャ130による使用のために、解析(パース)され、正規化される。該正規化は、数値(例えば、重大度、優先度および時間帯)を共通のフォーマットに正規化し、および／または、データ構造を共通のデータスキームに正規化することを含んでいてよい。このようなフォーマットにより、ユーザがイベントを理解し、フィルタ、ルールおよびデータモニタを使用して前記イベントを分析するのをより容易にする。一実施の形態において、前記共通のフォーマットは、ArcSight, Inc.から入手可能な共通イベントフォーマット(CEF: Common Event Format)ログ管理規格である。前記正規化については、2002年12月2日に出願された米国特許出願No.10／308,415(これは、その出典を記載することによって本明細書の一部とする)にさらに詳しく記載されている。
前記集約およびフィルタリングは、前記マネージャ130に送られるイベントの量を減少させ、これにより、ネットワーク帯域および記憶スペースを節約し、前記マネージャの効率および精度を向上し、イベント処理時間を減少させる。前記集約については、2002年12月2日に出願された米国特許出願No.10／308,584(これは、その出典を記載することによって本明細書の一部とする)にさらに詳しく記載されている。前記エージェント120は、期間満了に基づいてまたはイベントのしきい数に達したことに基づいて、イベントをバッチ式に前記マネージャ130に送る。前記マネージャ130に送信するイベントのバッチ処理については、2007年5月15日に発行された米国特許No.7,219,239(これは、その出典を記載することによって本明細書の一部とする)にさらに詳しく記載されている。
前記エージェント120は、さらに、コマンドを前記データソース110に送り、および／または、スキャナがスキャンを実行するよう指示するなどのコマンドをローカルホスト上で実行する。これらの動作は、ルールおよびデータモニタに基づいてマニュアルまたは自動的に実行され得る。コマンドサポートについては、2002年12月2日に出願された米国特許出願No.10／308,417(これは、その出典を記載することによって本明細書の一部とする)にさらに詳しく記載されている。前記エージェント120は、さらに、マネージャ130でのIP／ホストネーム検索を解決するためにインターネットプロトコル(IP)アドレスおよび／またはホストネームの検索を行うことなどによって、該エージェント120が収集したデータに情報を付加することができる。
前記エージェント120は、関連したコンフィギュレーション(構成設定)ファイル(図示せず)を介して構成されている。該エージェント120は、正規化要素、時間補正要素、集約要素、バッチ処理要素、レゾルバ要素、移送要素、および／または、追加要素を含む1または複数のソフトウエアモジュールを備えていてよい。これらの要素は、前記コンフィギュレーションファイル中の適当なコマンドを介して起動および／または作動停止されることができる。構成設定時において、前記エージェント120は、マネージャ130に登録され、そのデータソース110および所望の動作に基づく特性で構成設定される。前記エージェント120は、マニュアル処理および自動的な処理の両方によって構成設定される。例えば、前記マネージャ130は、コマンドまたはコンフィギュレーション更新版を前記エージェント120に送ることができる。エージェントの構成要素については、2002年12月2日に出願された米国特許出願No.10／308,548(これは、その出典を記載することによって本明細書の一部とする)にさらに詳しく記載されている。
マネージャ130は、分析機能、ケースマネージメントワークフロー機能およびサービス機能を提供する。前記マネージャ130とエージェント120との通信は、双方向(すなわち、前記マネージャ130が前記エージェント120を主催するプラットフォームにコマンドを送ることを可能にするような形態)であってよく、暗号化され得る。ある設定において、前記マネージャ130は、多数のエージェント120のためのコンセントレーター(concentrator)として動作可能であり、他のマネージャ130(例えば、企業本部で展開されるマネージャ)に情報を送ることができる。そのタスクを実行するために、前記マネージャ130は、様々なフィルタ、ルール、レポート、データモニタ、ダッシユボードおよびネットワークモデルを使用する。一実施の形態において、前記マネージャ130は、ArcSight,inc.から入手可能なEnterprise Security Manager (ESM)製品のようなJava（登録商標）に基づくサーバである。
分析は、検出、相関および拡大を含んでいてよい。例えば、前記マネージャ130は、ルールエンジン(図示せず)を使用して前記エージェント120から受け取ったイベントを相互相関するものであり、該ルールエンジンは、ネットワークモデルおよび脆弱性情報を使用して各イベントを評価することによって、リアルタイム脅威の概要を作成する。相関については、2002年12月2日に出願された米国特許出願No.10／308,767(これは、その出典を記載することによって本明細書の一部とする)にさらに詳しく記載されている。ケースマネージメントに関して、前記マネージャ130はセキュリティインシデントの状況およびその解明に関するレポートを維持することができる。インシデントレペートについては、2003年11月14日に出願された米国特許出願No.10／713,471(これは、その出典を記載することによって本明細書の一部とする)にさらに詳しく記載されている。前記サービスは、管理(administration)、通知および報告を含むことができる。前記マネージャ130は、さらに、知識ベースに対するアクセスを提供することができる。
前記マネージャ130がイベントを受信すると、該イベントはデータベース140に記憶される。該イベントを記憶することにより、後に該イベントを分析し、参照することが可能になる。一実施の形態において、前記データベース140は、カルフォルニア州のRedwood ShoreのOracle Corporationから入手可能なデータベースのようなリレーショナル・データベースである。
一実施の形態において、前記データベース140は、該データベース140の時間的なスライスであるパーティションにデータを記憶する。例えば、1つの新たなパーティションは、毎日その日のイベントを記憶するために作成される。パーティション管理については、2004年5月4日に出願された米国特許出願No.10／839,563(これは、その出典を記載することによって本明細書の一部とする)にさらに詳しく記載されている。一実施の形態において、パーティション管理は、ArcSight, Inc.から入手可能なSecurity Lifecycle Information Management (SLIM)のSmartStorageアーカイブおよび読み出し要素によって実現される。
ユーザは、ユーザインターフェース160を介して前記マネージャ130とインタラクトする。前記ユーザインターフェース160は、ユーザが前記マネージャ130の特徴および機能をナビゲートすることを可能にする。1つのマネージャ130は、多数のユーザインターフェースインスタンスをサポートすることができる。前記ユーザに利用可能な特徴および機能は、該ユーザの役割および許可内容および／または前記マネージャのコンフィギュレーションによって決まる。一実施の形態において、アクセス制御リストは、多数のセキュリティ専門家が同一のマネージャ130およびデータベース140を使用することを可能にするが、各専門家は、彼の責務に適した彼自身の見解、相関ルール、警戒、レポートおよび知識ベースを有する。前記マネージャ130と前記ユーザインターフェース160との間の通信は、双方向で、暗号化可能である。
一実施の形態において、2種類のユーザインターフェース160、すなわち、ワークステーションに基づくインターフェースとウエブブラウザに基づくインターフェースとがある。前記ワークステーションインターフェースは、Security Operations Center (SOC)または同様なセキュリティモニタリング環境におけるフルタイムのセキュリティスタッフによる使用を目的とする標準的なソフトウエアアプリケーションである。前記ワークステーションインターフェースは、フィルタ、ルール、レポート、パターン発見、ダッシュボードおよびデータモニタを作成し、修正するためのオーサリング・ツールを含む。また、前記ワークステーションインターフェースは、ユーザがユーザ、データベースパーティションおよびワークフロー(例えば、インシデント検査および報告)をすることを可能にする。例えば、前記ワークステーションインターフェースは、ユーザが日常的なモニタリングを実行し、複雑な相関および長いシーケントルールを構築し、日常的な管理機能を実行することを可能にする。一実施の形態において、前記ワークステーションインターフェースは、ArcSight, Inc.から入手可能なESM Console製品である。
前記ウェブインターフェースは、ウェブラウザクライアントに対して前記マネージャ130との安全なインターフェースを提供する。前記ウェブインターフェースは、Managed Service Security Providers (MSSP)の顧客、SOCオペレータ、および、前記保護されたネットワークの外部から前記マネージャ130にアクセスする必要があるユーザのための合理化されたインターフェースとして使用されることを目的としている。ウェブサーバは前記マネージャ130から離れた位置に設置可能であるので、前記ウェブサーバは、前記マネージャ130を保護するファイアウォールの外部で動作可能である。前記ウェブインターフェースは、イベントモニタリングおよびドリルダウン機能を提供する。一実施の形態においては、セキュリティ特徴として、前記ウェブインターフェースは、オーサリングまたは管理機能を可能にしない。一実施の形態において、前記ウェブインターフェースは、ArcSight, Inc.から入手可能なArcSight Web製品である。
一実施の形態において、ロギングシステム170は、極めて高いスループットを得るために最適化されるイベントデータ記憶装置である。前記ロギングシステム170は、セキュリティイベント("ログデータ"ともいう)を記憶する。一実施の形態において、セキュリティイベントは圧縮された状態で記憶される。しかしながら、前記ロギングシステム170は、裁判分析的品質のデータを得るためにこれらのデータをオンデマンド(無修正)で読み出すことができる。多数のロギングシステム170が、共働して、イベント記憶時における高い持続的入力速度をサポートできるようスケールアップすることができる。ユーザは、ユーザインターフェース(図示せず)を介して前記ロギングシステム170を構成設定できる。一実施の形態において、前記ロギングシステム170は、ArcSight, Inc.から入手可能なLogger製品である。
前記ロギングシステム170は、加工されたイベント(例えば、Common Event Formatに従うイベント)および生イベントの両方を受信できる。一実施の形態において、生イベントは(システムログメッセージおよびログファイルのような)データソース110から直接に受信され、加工されたイベントはエージェント120またはマネージャ130から受信される。前記ロギングシステム170は、さらに、生イベントおよび加工されたイベントを送ることができる。一実施の形態において、生イベントはシステムログメッセージとして(図示しない任意のデバイス)に送られ、加工されたイベントは前記マネージャ130に送られる。以下、前記ロギングシステム170ついてさらに詳述する。
上記のアーキテクチャにより、前記SIEMシステム100は、集中型または非集中型の環境をサポートすることができる。これは、ある組織がSIEMシステム100の1つのインスタンスを実現し、ユーザをパーティション(区分化)することを欲することがあるからである。あるいは、前記組織は、多数のグループの各々毎に異なるSIEMシステム100を展開し、その結果を“マスターレベル”で確立することがある。このような展開は、また、地理的に分散したピア(peer)グループが、現在通常の勤務時間で働いているグループに主要な監督責任をゆだねることによって、互いに共働する“フォローザサン(follow-the-sun)”構成を実現することができる。SIEMシステム100は、さらに、業務部門が個別に働き集中化された管理機能へのロールアップをサポートする企業内階層に展開可能である。
2. ログデータ
ここで記載されているのは、クエリーをサポートしながら効率的にログデータを記憶するシステムおよび方法である。ここで“ログデータ”とは、デバイスおよびアプリケーションの両方を含む様々なソースによって発生され得る。これらのソースは、例えば、ネットワークシステムのみならず上記データソース110、コンピュータ、オペレーティングシステム、アンチウィルスシステム、物理的インフラストラクチャ、識別管理システム、ディレクトリサービス、システムヘルス情報システム、ウェブトラフィック、レガシーシステム、プロプライアティシステム、メインフレーム、メインフレームアプリケーション、セキュリティシステム、物理的デバイス、および、(エージェント120およびマネージャ130等の)SIEMソースを含む。
システムは多くの方法でログデータを得ることができる。例えば、ログデータは、(例えば、システムログプロトコルに従って)受信可能である。あるいは、ログデータは、ローカル位置にまたは遠隔位置に記憶されたファイルを読み出すことによって)アクセス可能である。他の方法は、たとえば、Open Database Connectivity (ODBC)、Simple Network Management Protocol (SNMP)トラップ、NetFlow、および、固有のApplication Programming Interface(API)を含む。また、ログデータは、(例えば、コマンドラインインターフェース(CLI)を使用して)ユーザによって入力可能である。
ログデータは任意のフォーマットであってよい。該フォーマットの一例は上記のCommon Event Formatである。他のフォーマットは、たとえば、そのログデータを発生したデータソース110に固有のものである。
ログデータは、“イベント”と呼ばれる1または複数のデータインスタンスからなる。イベントは、例えば、ログファイルのエントリ、システムログサーバのエントリ、警報、警告、ネットワークパケット、イーメールまたは通知ページであってよい。一般的に、イベントは、一度だけ発生され、その後は変化しない。
一実施の形態において、イベントは、黙示的なメタデータおよびメッセージを含む。黙示的なメタデータは、例えば該イベントを発生したデバイスまたはアプリケーション(“イベントソース”)、および、該イベントがイベントソースから受信された時(受信時間)についての情報を含む。一実施の形態において、前記受信時間は日付／時間スタンプであり、前記イベントソースは、ネットワークエンドポイント識別子(例えば、IPアドレスまたはMedia Access Control(MAC)アドレス)、および／または、該製品の販売業者およびバージョンについての情報を含むソースについての記述である。
前記メッセージは、イベントソースから何が受信されたのかを示し、任意の形態(バイナリデータ、英数字データ等)であってよい。一実施の形態において、前記メッセージは、注目すべきシナリオまたは変化を記述する自由形態のテキストである。他の実施の形態において、前記メッセージは、さらに、黙示的なメタデータを含む。黙示的なメタデータは、例えば、前記メッセージを解析することによって得られる。イベントソースがイベントを発生する場合、該イベントは、該イベントが発生した時間(“イベント発生時間”)を示す情報を含む。通常の場合には日付／時間スタンプである該イベント発生時間は、黙示的なメタデータの一例であり、頻繁に分析のために使用される。異なるイベントソースは、しばしば、均一ではない明示的なメタデータ(例えば、イベントの優先度または重要度、イベントによって影響されるデバイス／アプリケーション／ユーザ、ならびに、どのユーザが該イベントを引き起こしたか)を発生する。
一実施の形態において、イベントが発生時間を含まない場合、イベントレシーバが該イベントを受信した時該レシーバによって発生された黙示的なタイムスタンプは、オリジナル発生時間スタンプとして扱われる。イベントが処理され、様々なシステムを介して送られる際、各システムは、通常、イベント受信時間の黙示的な記録を有する。
一実施の形態において、イベントは、各々が数値を含むことができる１または複数のフィールドを含むデータ構造体を示す。このデータ構造体のサイズは、通常100バイトから10キロバイトまでの範囲である。
3. ロギングシステムアーキテクチャ
図2は、一実施の形態に係るセキュリティ情報／イベント管理(SIEM)システム100のロギングシステム170として動作するコンピュータ200の高レベルブロック図である。図示されているのは、バス204に接続された少なくとも1つのプロセッサ202である。さらにバス204に接続されているのは、メモリ206、記憶装置208、キーパッド208、キーボード210、グラフィックスアダプタ212、ポインティングデバイス214、および、ネットワークアダプタ216である。一実施の形態において、前記バス204の機能は、接続用チップセットによって実現される。ディスプレイ218は、前記グラフィックアダプタ212に接続されている。
前記憶装置208は、ハードドライブ、コンパクトディスク読み取り専用メモリ(CD-ROM)、DVDまたはソリッドステートメモリデバイスなどの、データを保持可能な任意の装置である。前記メモリ206は、前記プロセッサ202によって使用される命令およびデータを保持する。前記ポインティング装置214は、マウス、トラックボールまたはその他のタイプのポインティング装置であり、前記キーボード210と共に使用されて前記コンピュータ200にデータを入力する。前記グラフィックスアダプタ212は、前記表示器218に画像およびその他の情報を表示する。前記ネットワークアダプタ216は、前記コンピュータ200をローカルまたは広域ネットワークに接続する。
当該技術分野で知られているように、コンピュータ200は、図2に示したものとは異なるおよび／またはそれ以外の構成要素を有することができる。さらに、前記コンピュータ200は、図2に示した構成要素のうちのあるものを欠いていてもよい。例えば、ロギングシステム107として機能するコンピュータ200は、キーボード210、ポインティング装置214、グラフィックスアダプタ212、および／または表示器218を欠いていてよい。さらに、前記憶装置208は、ローカルなおよび／または前記コンピュータ200から遠隔のもの(例えば、記憶領域ネットワーク(SAN)内に含まれるもの)であってよい。
図3は、一実施の形態に係るセキュリティ情報／イベント管理(SIEM)システム100のロギングシステム170を示すブロック図である。図示された実施の形態において、前記ロギングシステム170は、イベントレシーバ310、記憶マネージャ320、および、通信メカニズム330を含む。明確さのために1つのイベントレシーバ310のみが示されているが、前記システム170は、多くのイベントレシーバ310との多数の発生セッションをサポートすることができる。一実施の形態において、各イベントレシーバ310はユニークな(固有の)識別子と関連付けられている。
前記イベントレシーバ310は、ログデータ340を受信し、該ログデータ340を処理し、データの“塊(チャンク)”350を出力する。前記イベントレシーバ310は、制御システム355と、１または複数のバッファのセット360と、メタデータ構造体365とを含む。前記制御システム355は、前記１または複数のバッファのセット360およびメタデータ構造体365と通信可能に接続されている。
前記制御システム355は、前記イベントレシーバ310の動作を制御するものであり、図4を参照して以下に説明する。
前記１または複数のバッファのセット360は、１または複数のイベントを記憶する。該１または複数のバッファのセット360は、各イベント毎に、何時イベントレシーバ310によって該イベントが受信されたのかを示す時間／日付スタンプを記憶する。例えば、前記バッファのセット360は、各イベントにこの時間／日付スタンプの値を付加する(これにより、“ReceiptTime(受信時間)”フィールドを付加する)。
前記メタデータ構造体365は、前記バッファのセット360の記憶内容についてのメタデータを記憶する。一実施の形態において、このメタデータは、前記イベントを受信したイベントレシーバ310に関連付けられたユニークな識別子および前記バッファのセット360におけるイベントの数、ならびに、１または複数の“対象フィールド”の各々について、前記バッファのセット360におけるすべてのイベントにわたる前記フィールドの数値範囲を示す最小値および最大値を含む。前記メタデータ構造体365は、イベントデータに対するクエリーを行う(後述)サーチインデックスとして機能する。
例えば、イベントはその数値が該イベントが発生したOccurrence Time(発生時間)と呼ばれるフィールドを含む。Occurrence Timeが対象フィールドである場合、前記メタデータ構造体365は、Occurrence Timeの最小値およびOccurrence Timeの最大値を含む。前記Occurrence Timeの最小値は、前記バッファのセット360における最初に発生したイベントのOccurrence Timeである。また、前記Occurrence Timeの最大値は、前記バッファのセット360における最後に発生したイベントのOccurrence Timeである。
一実施の形態において、ReceiptTimeも対象フィールドである。故に、この実施の形態において、前記メタデータ構造体365は、さらに、前記バッファのセットにおけるすべてのイベントにわたる受信時間の数値範囲を示す最小値および最大値を記憶する。ReceiptTimeの最小値は、前記バッファのセット360における最初に受信されたイベントのReceiptTimeである。また、ReceiptTimeの最大値は、前記バッファのセット360における最後に受信されたイベントのReceiptTimeである。一実施の形態において、ReceiptTimeの最大値は記憶されない。これは記憶要件を減少させる。バッファ360がしばしばフラッシュされる(後述の如く、これはチャンクが発生されたときに起こる)場合、ReceiptTimeの最大値は、ReceiptTimeの最小値に近いものになる(例えば1秒後)。
一実施の形態において、対象フィールドそれ自体はイベントフィールドではない。その代わりに、対象フィールドは、イベントの１または複数のフィールドに記憶された数値に基づいて求められる“派生”値である。
前記記憶マネージャ320は、データチャンク350を受信して、クエリーされ得るよう該データチャンクを記憶する。該記憶マネージャ320は、制御システム370、データファイルテーブル375、チャンクテーブル380、および、１または複数のデータファイル385を含む。前記制御システム370は、データフィールド375、チャンクテーブル380および１または複数のデータファイル385に通信可能に接続される。
前記制御システム370は、前記記憶マネージャ320の動作を制御するものであり、図4を参照して以下に説明する。
前記データファイルテーブル375は、１または複数のデータファイル385についての情報を記憶する。一実施の形態において、データファイルテーブル375における各エントリは、スペースが割り当てられた1つのデータファイル385を示し、該エントリは、前記データファイルに関連付けられたユニークな識別子、および、前記データファイルの位置(例えば、ファイルシステム、該システム内のパス、および、ファイル名)を含む。データファイルテーブル375にリストされたデータファイル385は、(例えば、チャンク350等の)データを含んでいても含んでいなくてもよい。前記データファイルテーブル375は、例えば、(図示しない)データベースに記憶される。一実施の形態において、前記データファイル385は必要とされる前に割り当てられている。この実施の形態において、これらの前もって割り当てられたデータファイル385のリスト(“フリーリスト”という)が維持される。
前記チャンクテーブル380は、前記記憶マネージャ320に記憶された(特に、データファイル385に記憶された)１または複数のチャンク350についての情報を記憶する。一実施の形態において、この情報は、各チャンク350毎に、該チャンクに記憶されたメタデータ(後述)、および、該チャンクの位置(例えば、該チャンクを記憶しているデータファイルに関連付けられたユニークな識別子、および、該チャンクが記憶されたデータファイル内の位置(例えば、オフセットとして))を含む。前記チャンクテーブル380は、例えば、データベース(図示せず)に記憶されている。
データファイル385は多数のチャンク350を記憶する。一実施の形態において、前記データファイル385は、例えば、物理ディスクまたはファイルシステム(図示せず)のようなデータ記憶システムに記憶される。前記データファイル385が物理ディスクに記憶された場合、追加的な回り道が不要なので、データをより高速にアクセス可能になる。さらに、セキュリティが向上する。
前記通信メカニズム330は、前記イベントレシーバ310および記憶マネージャ320を通信可能に接続する。一実施の形態において、前記通信メカニズム330は、インターネットのような部分的に公的または全体的に公的なネットワークを含む。他の実施の形態において、前記通信メカニズム330は、プライベートネットワークまたは１または複数の区別されるまたは論理的なプライベートネットワーク(例えば、仮想プライベートネットワークまたはローカルエリアネットワーク)を含む。前記通信メカニズム330へのおよび前記通信メカニズム330からの通信リンクは、有線または無線(例えば、地上または衛星トランシーバ)であってよい。一実施の形態において、前記通信メカニズム330は、Ethernet（登録商標）プロトコルを使用するIPに基づくワイドまたはメトロポリタンエリアネットワークのようなパケット交換方式のネットワークである。
他の実施の形態において、前記通信メカニズム330は、(前記イベントレシーバ310の一部および前記記憶マネージャ320の一部が同じデバイス上で動作している場合)1つのコンピュータシステムに対してローカルな要素である。この実施の形態において、前記通信メカニズム330は、例えば、ローカルで、ソフトウエアオンリーのループバックデバイスを介して実現される。例えば、データはメモリの様々な位置にコピーされ、通信はAPIを介して行われる。
さらに他の実施の形態において、前記通信メカニズム330は、(前記イベントレシーバ310の一部および前記記憶マネージャ320の一部が同じデバイス上であって同じ処理で動作している場合)1つの処理に対してローカルな要素である。該実施の形態において、前記通信メカニズム330は、例えば、共用メモリおよび／またはポインタを介して実行される。
4. 初期記憶
図4は、本発明の実施の形態に従ってログデータを記憶する方法を示すフローチャート図である。一実施の形態において、図4の方法400は、前記イベントレシーバ310(例えば、その制御システム355)および前記記憶マネージャ320(例えば、その制御システム370)によって実行される。
一実施の形態において、方法400が開始する前に、前記バッファのセット360および前記メタデータ構造体365が初期化される。例えば、前記制御システム355は、前記イベントレシーバ310に関連付けられたユニークな識別子を前記メタデータ構造体365に記憶する。
前記方法400は、前記イベントレシーバ310がログデータ340を受信した(ステップ410)ときに開始する。一実施の形態において、前記ログデータ340は、ストリーム形態で受信される。
前記制御システム355は、前記ログデータを１または複数のイベントに分け(ステップ420)、各イベントデータが前記イベントレシーバ310によって受信された時を決定する(ステップ420)。
前記制御システム355は、イベント、および、各イベント毎に該イベントが受信された時を示す時間／日付スタンプを前記バッファ360に記憶する。前記制御システム355は、さらに、前記メタデータ構造体365をアップデート(更新)する(ステップ430)。例えば、前記バッファ360におけるイベントの数が増加している。対象フィールドの最小値および最大値もアップデートされる必要がある場合がある。一実施の形態において、データ書込み処理およびメタデータ書込み処理は、システムの機能停止が発生した場合の不一致を回避するために同期化される。例えば、イベントが前記バッファ360に記憶されるよう取引データベースシステムが使用され場合、2つのステップ間で内在するシステムの機能停止が発生した場合でも、前記前記メタデータ構造体365がアップデートされることが保証される。
ある時点(後述)において、前記制御システム355は、前記メタデータ構造体365および前記バッファ360の記憶内容に基づいてデータチャンク350を発生する(ステップ440)。一実施の形態において、チャンクは、前記メタデータ構造体365および前記バッファ360の記憶内容の圧縮されたバージョンを含む。前記圧縮されたバージョンは、任意のデータ圧縮アルゴリズム(例えば、GNUジップ(gジップ)によって使用されるもののような可逆圧縮)を使用して発生され得る。バッファ記憶内容を圧縮することによって、当該方法を、長期間のデータ記憶のための費用効率の高い選択とする。一実施の形態において、様々異なるチャンクは様々異なるサイズを有することができ、最大のサイズを指定できる。
一実施の形態において、前記チャンク350は、“マジックナンバ”およびバージョン識別子をも含む。ファイル署名とも呼ばれるマジックナンバは、前記チャンクのデータタイプを特定する短いバイトシーケンスである。例えば、前記マジックナンバは、他のチャンクを含む他のデータおよびファイルフォーマット中で適度にユニーク(すなわち、高い確率でユニーク)である。このようにして、チャンクが読み出される場合、該チャンクが予期されたフォーマットであるか否かを判定するのが容易となる。該チャンクの実際のマジックナンバが予期されたマジックナンバとは異なる場合、該チャンクは“誤”(例えば、破損している)である。該チャンクの実際のマジックナンバが予期されたマジックナンバと一致する場合、該チャンクにおいて後に発生するデータは依然として誤であるかもしれない。しかしながら、前記一致するマジックナンバは、通常の状況のうちの大多数についてこのような可能性を排除する。前記バージョン識別子は、変化したデータおよびファイルフォーマットの適応を可能にする。例えば、チャンクが読み出されるとき、前記バージョン識別子は、前記データおよびファイルフォーマットについての付加的な情報を示すために、前記マジックナンバと共に使用される。
他の実施の形態(これも図示せず)において、前記制御システム355は、前記バッファ360の記憶内容のメッセージダイジェストをも発生する。例えば、前記制御システム355は、前記バッファ360の記憶内容を示す文字列に暗号学的ハッシュを適用する。Message-Digestアルゴリズム5(MD5)またはSecure Hash Algorithm ファミリーのアルゴリズム(例えば、SHA-256)等の任意の暗号学的ハッシュを使用してよい。一実施の形態において、前記ダイジェストの値は、該チャンクが作成される前に前記メタデータ構造体365に記憶される。この値は、前記チャンクに(圧縮された状態で)に記憶されているバッファデータが変更されまたは改ざんされているか否かを判定する。これは、該イベントが変更された時を顕著にすることによって、記憶されたイベントの完全性を保証する。
そして、前記バッファ360およびメタデータ構造体365は再初期化され(ステップ440)、これにより前記バッファ360がフラッシュされる。一実施の形態において、前記バッファのセット360は多数のバッファを含む。この実施の形態により、1つのバッファが満杯またはフラッシュされている間、他のバッファが入力されるイベントを記憶するために使用される。
一実施の形態において、ステップ440は、バッファが満杯のときに実行される。他の実施の形態において、ステップ440は特定の期間(“タイムアウトウィンドウ”)が経過したとき実行され、その間前記バッファ360によってイベントの受信はなされない。
前記制御システム355は、前記記憶マネージャ320にデータチャンク350を送る(ステップ450)。
前記記憶マネージャ320は、チャンク350を受信する(ステップ460)。前記制御システム370は、該チャンクをデータファイル385に記憶する(ステップ470)。一実施の形態において、前記チャンクは、セキュリティ目的で、記憶される前に暗号化される。また、前記制御システム370は、前記チャンクテーブル380をアップデートする(ステップ470)。例えば、前記制御システム370は、前記データファイル385に記憶して前記チャンク350に関する情報を前記テーブルに追加する。
前記制御システム370は、各データファイル385内にチャンク350を“付加順”に書き込む。これは、“追記型ジャーナル”と呼ばれることがある。一実施の形態において、前記制御システムは、チャンクが書き込み可能なデータファイル内の位置を示す“書き込みポインタ”を維持する。チャンクがデータファイルに書き込まれた後、前記書き込みポインタは、同一のデータファイル内の他の位置(特に、書き込まれた前記チャンクの終り)を示すよう変更される。チャンクを書き込むことによってデータファイルが一杯になると、前記書き込みポインタは、他のデータファイル内の位置(特に、始め)を示すよう変更される。一実施の形態において、チャンクの書き込みはメモリ内に最初にチャンクをキャッシュすることによって遅延される。その後、RAID5ディスク記憶システムにおけるフルストライプ書き込みを最適化するために、多数の連続したチャンクが1つの書き込み処理に組み合わされる。書き込み等の大規模なシーケンシャルな入力処理を使用することによって、ハードウエアは高速、高スループットおよび同時並行性で駆動される。
(例えば、上記のフリーリストにリストされたような)予め割り当てられたデータファイルが存在する場合、前記制御システム370は、前記データファイルを使用し、前記フリーリストから該データファイルのユニークな識別子を除去する(該データファイルはもはや利用可能ではないので)。予め割り当てられたデータファイルが存在しない場合、前記制御システム370は、利用可能なスペースを探し出し、前記データファイルテーブル375をアップデートすることによって新たなデータファイルを作成する。例えば、前記制御システム370は、それが作成した新たなデータファイル385に関する情報を前記テーブルに追加する。一実施の形態において、前記新たなデータファイル385に割り当てられたユニークな識別子は、最も最近割り当てられたデータファイル385のユニークな識別子に1を加算した和に等しい。
前記方法400は、多くの望ましい特徴を有する。例えば、該方法は、極めて高い毎秒あたりイベント数(EPS)の受信をサポートできるので、拡張性が高い。多数のイベントレシーバ310を使用可能であり、該方法は検索処理を必要とせず付加処理のみを必要とする。該方法はデータに対する連続的なアクセスを実現するので、該方法400は利用可能性が高い。旧いイベントを削除しても記録媒体を断片化しないので、デフラグ(defragmentation)処理が不要であり、従って、メインテナンスウィンドウも不要である。クリーンアップタスクための黙示的なダウンタイム(休止時間)が不要である。さらに、ディスク書き込み処理を効率的に行うことができるので、クエリーを処理するための余裕を空けるためのオーバーヘッドを回避する。
5. 記憶スペース再生
ある時点(後述)において、１または複数のデータファイル385によって使用されている記憶スペースを将来の使用のために再生(利用)させられる。図5は、本発明の一実施の形態に従って記憶スペースを再生するための方法を示すフローチャート図である。一実施の形態において、図5の方法500は、記憶マネージャ320(例えば、その制御装置370)によって実行される。
特定の保持ポリシー(後述)に関連付けられた最も旧いデータファイル385が特定される(ステップ510)。データファイルは単純に増加する数に基づくユニークな識別子を有するので、データファイルテーブル375にクエリーを行って、保持ポリシーに関連付けられた最も旧いデータファイル(すなわち、最も低いユニークな識別子を有するデータファイル)を見つけるのは容易である。
前記データファイル385に含まれたすべてのチャンク350に関する情報は、チャンクテーブル380から除去される(ステップ520)。
前記データファイルテーブル375における前記データファイル385を示すエントリが削除される(ステップ530)。
a) 最も高い使用済みデータファイル識別子より1だけ高い新たなユニークな識別子およびb) 以前最も旧かったデータファイル(すなわち、ステップ510で特定されたデータファイル)の物理的位置に言及するパス属性を使用して、データファイルテーブル375に新たなエントリを作成する(ステップ540)。
新たに再生されるデータファイル385が、利用可能な予め割り当てられたデータファイルのリストに追加され(ステップ550)、新たなチャンクを受信可能となる。
図示した実施の形態において、データファイルの記憶スペースが再生されると、該データファイルは、削除される代わりに、リサイクル(例えば、再使用または上書き)される。
記憶スペース再生アルゴリズム(例えば、その実行時および記憶スペース再生量)を含む記憶スペース再生アルゴリズムの詳細は、データファイル385に関連付けられた保持ポリシーに依存する。保持ポリシーは、例えばディスクスペース使用しきい値またはチャンク350を保持する最大時間に基づいて、前記チャンク350の保持を制限する。記憶スペース再生アルゴリズムを実行するときの例としては、前記ポリシーに関連付けられたすべてのデータファイルが満杯で、更なるデータファイルが割り当てできないとき(例えば、記憶スペースが残っていないという理由により); 特定のしきい値に達したとき(例えば、前記ポリシーに関連付けられたデータファイルに残されているフリー記憶スペースの量に関して); 特定の期間が経過したとき; 前記ポリシーに関連付けられた特定の数のデータファイルが存在するとき; 前記ポリシーに関連付けられたデータファイルにおける最も旧いチャンクがしきい年齢に達したとき、がある。一実施の形態において、データファイルは、そのスペースが再生される前に、その他のシステムにバックアップされる。このようにして、既存のデータを維持しながら、更なる記憶スペースが利用可能になる。
一実施の形態において、すべてのデータファイル385が同一の保持ポリシーに関連付けられる。他の実施の形態においては、多数の保持ポリシーが存在し、各データファイルは、前記多数の保持ポリシーのうちのいずれか1つに関連付けられ得る。多数のデータファイルが同一の保持ポリシーに関連付けられ得る。保持ポリシーは、ユーザによって作成され、修正され得る。一実施の形態において、前記記憶マネージャ320は、各保持ポリシー毎に上述した記憶スペース再生アルゴリズムの1つのインスタンスを論理的に維持する。例えば、各データファイル385は、該データファイルに適用される保持ポリシーを示すメタデータを含み、チャンクは、そのチャンクの保持ポリシーに対応するデータファイルに記憶される。
多数の保持ポリシーが存在する場合、図3に示した前記システム170は、幾分変更される(図示せず)。特に、前記イベントレシーバ310は、各保持ポリシー毎に、1つのバッファのセット360と、1つのメタデータ構造体365とを有する。イベントが前記バッファのセットに記憶され、前記メタデータ構造体がアップデートされる(ステップ430)、前記制御システム355は、該イベントにどの保持ポリシーが適用されるべきかを判定する。この判定は、特定のイベントの属性または静的なマッピングに基づく。優先度またはイベントソースのような属性が使用され得る。この判定に基づき、前記制御システム355は、前記イベントを適当なバッファのセットに記憶し、適当なメタデータ構造体をアップデートする。このようにして、特定のバッファのセットにおけるすべてのイベントが同一の保持ポリシーに関連付けられる。
すなわち、前記バッファのセットに基づいて発生したチャンク350が同一の保持ポリシーに関連付けられるということになる。前記チャンクがデータファイル385が記憶される(ステップ470)前に、前記制御システム370は、前記チャンクの保持ポリシーを決定し、該チャンクを前記ポリシーに関連付けられたデータファイルに記憶する。このようにして、特定のデータファイルにおけるすべてのチャンクが同一の保持ポリシーに関連付けられることになる。
一実施の形態において、各保持ポリシーは、それ自身のデータファイル385のグループを有する。各データファイルには、ユニークな識別番号が付加される。該番号は、1つのグループ内におけるファイルの順序を決定する。前記データファイルは、付加された順序で書き込まれる。ファイルはアップデートされず、一度書きされ、付加のみのモードで操作され、これにより、ログデータの改ざんが阻止される。1つの保持ポリシー内のすべてのファイルが満杯になると、そのグループ内の最初の(すなわち、最も旧い)ファイルから記憶スペースが再生される。一実施の形態において、各保持ポリシー毎に異なるデータファイルテーブル373が維持され、該テーブル373は、前記保持ポリシーに割り当てられたデータファイル385のエントリを含む。フリーリストが維持される場合、いくつの保持ポリシーが存在するのかに関わらず、ただ1つの保持ポリシーのみが前記記憶マネージャ320のために使用される。
6. クエリーおよびデータ読み出し
チャンク350がデータファイル385に記憶された後、該チャンク内のイベントに対するクエリーが行われる。クエリーは、イベントに対して評価され得る表現として示される。前記表現は、１または複数の検索語を含む。一実施の形態において、クエリー処理は、多段階に行われる。第1の段階は、どのデータチャンク(もし有れば)が前記クエリーを満足させるイベントを含むのかを判定する。第2の段階は、前記見つけられたチャンクを連続したイベントに分解する。第3の段階は、これらのイベント(もし有れば)のどれが前記クエリーを満足させるかを判定する。これにより、第1の段階は、どのデータチャンク(およびそれらのイベント)がさらに調べられるべきか、および、どのデータチャンク(およびそれらのイベント)が無視されるべきかを判定するための“粗つなぎ”として作用する。ほとんどの場合、どの保持ポリシーがイベントを含むチャンクに適用されているのかは興味のある問題ではないので、イベントがクエリーされまたは読み出されるとき、チャンクに割り当てられた保持ポリシーは考慮されない。
前記第1の段階において、(前記イベントがデータファイル385におけるデータチャンク350の一部としてというよりも、前記バッファ360にイベントとして記憶された際)前記メタデータ構造体365に含まれた情報に関する前記クエリー内の検索語が特定される。このメタデータ情報は、関連付けられたイベントレシーバのユニークな識別子を含み、各対象フィールド毎に、多数のイベント(初期的には、同一バッファにおけるイベント、後には、同一のデータチャンク内のイベント)に亘る前記フィールドの数値範囲を示す最小値および最大値を含む。上述の如く、前記メタデータ情報は、チャンク150の一部として前記記憶マネージャ320に送信される。その後、前記メタデータ情報は、チャンクテーブル380に記憶される。従って、このメタデータに基づいて前記イベントを検索するために、前記“メタデータ検索語”を使用して前記チャンクテーブル380を検索する。これは、どのチャンク(もし有れば)が前記メタデータ検索語を満足させるイベントを含むのかを確認する。このようにして、(これらの値が前記チャンクテーブル380におけるメタデータに記憶されているので)イベントレシーバおよび／または対象フィールドに関する特定の数値(または数値範囲)に基づいて検索が制約され得る。
“対象フィールド”メタデータは数値範囲として表現されているので、チャンクがメタデータ検索語を満足させるという事実は、前記チャンクが前記メタデータ検索語を満足させるイベントを含むということを必ずしも意味しない。例えば、前記メタデータ検索語が10というフィールドの値であり、前記チャンクがそのフィールドの値が5および15であるイベントを含む場合、10が前記範囲内となり、前記チャンクは前記メタデータ検索語を満足させると判定されることになる。しかしながら、前記チャンクは10というフィールドの値を持つイベントを含まないかもしれない。(これは前記クエリーが2段階で発生する理由である。)しかしながら、チャンクが前記検索語を満足させたイベントを含む場合、該チャンクが前記検索語を満足させるものであると確認されることになる。
第2の段階において、前記確認されたチャンクはそれらを構成するイベントに分解される。チャンクのイベント部分が該イベントの圧縮バージョンを含む場合、該イベント部分は、それらを構成するイベントに分解される前に解凍される。
第3の段階において、前記イベントが前記検索語を満足させるものか否かを判定するために、各イベントが完全な検索語セットと比較される。例えば、前記イベントは、それらの受信時間に基づいて分析される。前記イベントを特定の順序で分析し、検索結果に一致イベントを付加することは、前記検索結果における前記イベントが常に前記特定の順序であることを意味する。前記イベントのソート(sort)は必要ではない。
第1の段階において、前記検索語のどれも前記メタデータ構造体365に含まれた情報に関するものではない可能性がある。この場合、(メタデータ検索語が存在しないので)すべてのチャンク350が、メタデータ検索語を満足させるイベントを含むと判定されることになる。これにより、前記クエリー処理は、前記メタデータ検索語のすべてを使用して各記憶されたイベントを単純にサーチするよう退化する。これは、上述した素朴で、非効率的な組織的方法に似ている。
上記アルゴリズムは、チャンク350に記憶されたイベントを検索する。しかしながら、前記ロギンクシステム170は、チャンクに記憶されなかった追加的なイベントを前記イベントレシーバ310内(例えば、バッファのセット360)に含んでいることがある。上述したアルゴリズムはこれらのイベントを検索しない。一実施の形態において、前記アルゴリズムが実行される前に、前記イベントが前記記憶マネージャ320に送信されてチャンクに記憶されるよう、前記バッファのセット360がフラッシュされる。このようにして、前記アルゴリズムが実行される際、前に前記バッファのセット360にあったイベントも検索されることになる。他の実施の形態において、上述したアルゴリズムと同様な前記メタデータ構造体365およびバッファのセット360の記憶内容を使用して、前記イベントレシーバ310について異なる検索が実行される。このようにして、すべてのイベントについて、それらのイベントが前記記憶マネージャ320に記憶されているのかまたは前記イベントレシーバ310に記憶されているのかに関わらず、すべてのイベントが検索されることになる。
図6は、本発明の実施の形態に従ってクエリーを行う方法を示すフローチャート図である。一実施の形態において、図6の方法600は、前記記憶マネージャ320(例えば、その制御システム370)によって実行される。前記方法600が開始される前に、検索クエリーが受信される。該検索クエリーは、１または複数の検索語を含む。
(受信された検索クエリー内の)メタデータ検索語が特定される(ステップ610)。
特定された前記メタデータ検索語を使用して、前記チャンクテーブル380が検索される(ステップ620)。上述の如く、前記チャンクテーブル380における各エントリはチャンク350に対応し、該エントリは、前記チャンクに記憶されたメタデータと、該チャンクの位置を含む。また、前記特定されたメタデータ検索語を使用して、前記チャンクテーブル380のメタデータ部分を検索する。
そのメタデータが前記メタデータ検索語を満足させる各チャンク350が、前記チャンクテーブル380における記憶位置を使用して読み出される(ステップ630)。
読み出された前記チャンクがそれらを構成するイベントに分解される(ステップ640)。
前記イベントが前記クエリーを満足させるか否かを判定するために、各イベントが前記検索クエリーに対して評価される(ステップ650)。
7. その他の実施の形態
一実施の形態において、前記ロギングシステム170は、データファイル385の機能を保存することをサポートする。例えば、データファイル385は、前記ロギングシステム170にインポートされ、前記ロギングシステム170からエクスポートされ得る。その他の例として、データファイル385は、他のシステムにバックアップされ、その後、前記ロギングシステム170に復元されることができる。イベントはチャンクに記憶され、チャンクはデータファイルに記憶されるので、イベントは容易にニアラインまたはオンライン記憶装置に伝送可能である。アーカイバル規準は、クエリーに使用される規準(例えば、メタデータ構造体に記憶された情報の値)に類似している。
以上本発明の好ましい実施の形態の動作について説明したが、ここでの説明は本発明の範囲を制限するものではない。本発明は、次の特許請求の範囲によってのみ限定されるものである。上記の説明から、本発明の精神および範囲に包含される多くの変更が可能であることが当業者に明らかであろう。

Claims (18)

  1. ログデータを処理するための方法であって、
    各々が複数のフィールドを有する複数のイベントを含むログデータを受信するステップと、
    前記複数のイベントの各イベント毎に、
    該イベントをバッファに記憶するステップと、
    前記バッファの記憶内容についての情報を含むメタデータ構造体をアップデートするステップであって、前記バッファの記憶内容についての情報は、該バッファに記憶されたすべてのイベントの第１のフィールドにおける最小値を示す第１の最小値を含む、ステップと、
    を具備し、
    前記バッファの記憶内容についての情報は、該バッファに記憶されたすべてのイベントの第２のフィールドにおける最小値を示す第２の最小値をさらに含む、方法。
  2. 前記バッファの記憶内容についての情報が、該バッファに記憶されたすべてのイベントの前記第１のフィールドにおける最大値を示す第１の最大値をさらに含む、請求項１に記載の方法。
  3. 前記バッファの記憶内容についての情報が、該バッファに記憶されたすべてのイベントの前記第２のフィールドにおける最大値を示す第２の最大値をさらに含む、請求項２に記載の方法。
  4. 前記バッファの記憶内容についての情報が、該バッファに記憶されたイベントの件数をさらに含む、請求項１に記載の方法。
  5. 第１のトリガ条件に応じて、前記メタデータ構造体の記憶内容に基づき、さらには前記バッファの記憶内容に基づき、データチャンクを生成するステップをさらに具備する、請求項１に記載の方法。
  6. 前記第１のトリガ条件が、バッファ使用しきい値に基づく、または、タイムアウトウィンドウに基づくものである、請求項５に記載の方法。
  7. 第２のトリガ条件に応じて、前記データチャンクによって使用された記憶スペースを再生するステップをさらに具備する、請求項５に記載の方法。
  8. 前記第２のトリガ条件が、前記データチャンクに関連付けられた保持ポリシーに基づくものである、請求項７に記載の方法。
  9. 前記第２のトリガ条件が、ディスクスペース使用しきい値に基づく、または、前記チャンクを保持する最大時間に基づくものである、請求項７に記載の方法。
  10. 前記複数のイベントの各イベント毎に、
    前記イベントが何時受信されたのかを判定するステップと、
    前記イベントが何時受信されたのかを示すタイムスタンプを前記バッファに記憶するステップと、
    をさらに具備する、請求項１に記載の方法。
  11. 前記イベントをバッファに記憶するステップが、該イベントを前記バッファの記憶内容に付加するステップを含む、請求項１に記載の方法。
  12. 前記メタデータ構造体の記憶内容を含むデータチャンク、および、前記バッファの記憶内容の圧縮バージョンを生成するステップをさらに具備する、請求項１に記載の方法。
  13. 前記データチャンクが、ファイル署名またはバージョン識別子をさらに含む、請求項１２に記載の方法。
  14. 前記データチャンクが、前記バッファの記憶内容のメッセージダイジェストをさらに含む、請求項１２に記載の方法。
  15. １つまたは複数の検索語のセットを含む検索クエリーを受信するステップと、
    前記検索語のセットから、前記メタデータ構造体に含まれた情報に関する１つまたは複数の検索語を特定するステップと、
    各データチャンク毎に、特定された前記検索語と前記データチャンク内に含まれる前記メタデータ構造体の記憶内容とを比較することによって、１つまたは複数のデータチャンクを検索するステップと、
    をさらに具備する、請求項１２に記載の方法。
  16. 前記特定された検索語を満足させる各データチャンク毎に、
    該データチャンクを複数のイベントに分解するステップと、
    前記複数のイベントの各イベント毎に、前記検索語のセットと前記イベントとを比較するステップと、
    をさらに具備する、請求項１５に記載の方法。
  17. ログデータを処理するためのコンピュータプログラムであって、該コンピュータプログラムは、方法を実行するためのコンピュータプログラムコードを含み、コンピュータ可読媒体に含まれ、該方法は、
    各々が複数のフィールドを含む複数のイベントを含むログデータを受信するステップと、
    前記複数のイベントの各イベント毎に、
    該イベントをバッファに記憶するステップと、
    前記バッファの記憶内容についての情報を含むメタデータ構造体をアップデートするステップであって、前記バッファの記憶内容についての情報は、該バッファに記憶されたすべてのイベントの第１のフィールドにおける最小値を示す第１の最小値を含む、ステップと、
    を具備し、
    前記バッファの記憶内容についての情報は、該バッファに記憶されたすべてのイベントの第２のフィールドにおける最小値を示す第２の最小値をさらに含む、コンピュータプログラム。
  18. ログデータを処理するための装置であって、
    各々が複数のフィールドを有する複数のイベントを含むログデータを受信する受信モジュールと、
    前記複数のイベントの各イベント毎に、該イベントをバッファに記憶するバッファモジュールと、
    前記複数のイベントの各イベント毎に、前記バッファの記憶内容についての情報を含むメタデータ構造体をアップデートするメタデータモジュールであって、前記バッファの記憶内容についての情報は、該バッファに記憶されたすべてのイベントの第１のフィールドにおける最小値を示す第１の最小値を含む、メタデータモジュールと、
    を具備し、
    前記バッファの記憶内容についての情報は、該バッファに記憶されたすべてのイベントの第２のフィールドにおける最小値を示す第２の最小値をさらに含む、装置。
JP2009544284A 2006-12-28 2007-12-28 コンピュータネットワークセキュリティを支援するために、クエリーをサポートしながら効率的にログデータを記憶する技術 Active JP5357777B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US88228906P 2006-12-28 2006-12-28
US60/882,289 2006-12-28
PCT/US2007/089027 WO2008083267A2 (en) 2006-12-28 2007-12-28 Storing log data efficiently while supporting querying to assist in computer network security

Publications (2)

Publication Number Publication Date
JP2010515172A JP2010515172A (ja) 2010-05-06
JP5357777B2 true JP5357777B2 (ja) 2013-12-04

Family

ID=39585506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009544284A Active JP5357777B2 (ja) 2006-12-28 2007-12-28 コンピュータネットワークセキュリティを支援するために、クエリーをサポートしながら効率的にログデータを記憶する技術

Country Status (12)

Country Link
US (1) US9031916B2 (ja)
EP (1) EP2097824B1 (ja)
JP (1) JP5357777B2 (ja)
KR (1) KR101451640B1 (ja)
AU (1) AU2007339801B2 (ja)
CA (1) CA2669197A1 (ja)
IL (1) IL198840A0 (ja)
NZ (1) NZ577198A (ja)
RU (1) RU2424568C2 (ja)
SG (1) SG177213A1 (ja)
TW (1) TWI434190B (ja)
WO (1) WO2008083267A2 (ja)

Families Citing this family (161)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7376969B1 (en) 2002-12-02 2008-05-20 Arcsight, Inc. Real time monitoring and analysis of events from multiple network security devices
US7219239B1 (en) 2002-12-02 2007-05-15 Arcsight, Inc. Method for batching events for transmission by software agent
US8176527B1 (en) 2002-12-02 2012-05-08 Hewlett-Packard Development Company, L. P. Correlation engine with support for time-based rules
US7607169B1 (en) 2002-12-02 2009-10-20 Arcsight, Inc. User interface for network security console
US7650638B1 (en) 2002-12-02 2010-01-19 Arcsight, Inc. Network security monitoring system employing bi-directional communication
US7899901B1 (en) 2002-12-02 2011-03-01 Arcsight, Inc. Method and apparatus for exercising and debugging correlations for network security system
US7788722B1 (en) 2002-12-02 2010-08-31 Arcsight, Inc. Modular agent for network security intrusion detection system
US7260844B1 (en) 2003-09-03 2007-08-21 Arcsight, Inc. Threat detection in a network security system
US8015604B1 (en) 2003-10-10 2011-09-06 Arcsight Inc Hierarchical architecture in a network security system
US9027120B1 (en) 2003-10-10 2015-05-05 Hewlett-Packard Development Company, L.P. Hierarchical architecture in a network security system
US7565696B1 (en) 2003-12-10 2009-07-21 Arcsight, Inc. Synchronizing network security devices within a network security system
US8528077B1 (en) 2004-04-09 2013-09-03 Hewlett-Packard Development Company, L.P. Comparing events from multiple network security devices
US7509677B2 (en) 2004-05-04 2009-03-24 Arcsight, Inc. Pattern discovery in a network security system
US7644438B1 (en) 2004-10-27 2010-01-05 Arcsight, Inc. Security event aggregation at software agent
US9100422B1 (en) 2004-10-27 2015-08-04 Hewlett-Packard Development Company, L.P. Network zone identification in a network security system
US7809131B1 (en) 2004-12-23 2010-10-05 Arcsight, Inc. Adjusting sensor time in a network security system
US7647632B1 (en) 2005-01-04 2010-01-12 Arcsight, Inc. Object reference in a system
US8850565B2 (en) * 2005-01-10 2014-09-30 Hewlett-Packard Development Company, L.P. System and method for coordinating network incident response activities
US7844999B1 (en) 2005-03-01 2010-11-30 Arcsight, Inc. Message parsing in a network security system
US9824107B2 (en) 2006-10-25 2017-11-21 Entit Software Llc Tracking changing state data to assist in computer network security
JP2009059160A (ja) * 2007-08-31 2009-03-19 Sony Corp サーバ装置、ネットワークシステム、コンテンツ発見通知方法、及びコンピュータ・プログラム
US8065342B1 (en) * 2008-02-22 2011-11-22 BorgSolutions, Inc. Method and system for monitoring a mobile equipment fleet
US20100049559A1 (en) * 2008-08-21 2010-02-25 International Business Machines Corporation Method and system for focused and scalable event enrichment for complex ims service models
CN102239472B (zh) * 2008-09-05 2017-04-12 惠普发展公司，有限责任合伙企业 在支持查询的同时高效地存储日志数据
US8762325B2 (en) * 2008-10-06 2014-06-24 Foxit Corporation Processing of files for electronic content management
JP5375281B2 (ja) * 2009-04-06 2013-12-25 日本電気株式会社 障害解析情報採取装置、障害解析情報採取方法、障害解析情報採取プログラム
US8285681B2 (en) 2009-06-30 2012-10-09 Commvault Systems, Inc. Data object store and server for a cloud storage environment, including data deduplication and data management across multiple cloud storage sites
US8290920B2 (en) * 2009-09-30 2012-10-16 Zynga Inc. System and method for remote updates
US8024462B1 (en) * 2009-10-05 2011-09-20 Mcafee, Inc. System, method, and computer program product for preventing communication of unwanted network traffic by holding only a last portion of the network traffic
TWI414958B (zh) * 2009-10-22 2013-11-11 Innostor Technology Corp Read - only protection of removable media
US8832259B1 (en) * 2009-10-30 2014-09-09 Hewlett-Packard Development Company, L.P. Virtual service mode methods for network remote monitoring and managing system
WO2011057259A1 (en) * 2009-11-09 2011-05-12 Arcsight, Inc. Enabling faster full-text searching using a structured data store
US9069954B2 (en) 2010-05-25 2015-06-30 Hewlett-Packard Development Company, L.P. Security threat detection associated with security events and an actor category model
EP2580692B1 (en) * 2010-06-10 2019-02-13 EntIT Software LLC Query pipeline
KR101137694B1 (ko) * 2010-07-12 2012-04-25 주식회사 윈스테크넷 디도스 발생 탐지분석 및 표시를 위한 통합보안관리시스템 및 이에 의한 디도스 발생탐지분석 및 표시방법
US8706697B2 (en) * 2010-12-17 2014-04-22 Microsoft Corporation Data retention component and framework
US10129072B1 (en) * 2010-12-30 2018-11-13 EMC IP Holding Company LLC Distributed security information and event management system with application-injected remote components
US8775389B2 (en) * 2011-03-06 2014-07-08 International Business Machines Corporation Implementing continuous control monitoring for audit purposes using a complex event processing environment
US8738768B2 (en) * 2011-03-31 2014-05-27 Meas, Llc Multiple destinations for mainframe event monitoring
EP2702522A4 (en) * 2011-04-29 2015-03-25 Hewlett Packard Development Co SYSTEMS AND METHOD FOR IN-STORAGE PROCESSING OF EVENTS
US8661456B2 (en) 2011-06-01 2014-02-25 Hewlett-Packard Development Company, L.P. Extendable event processing through services
US20140122461A1 (en) * 2011-06-30 2014-05-01 Anurag Singla Systems and methods for merging partially aggregated query results
US8983912B1 (en) * 2011-06-30 2015-03-17 Sumo Logic Data collection and transmission
US10678619B2 (en) 2011-07-27 2020-06-09 Pure Storage, Inc. Unified logs and device statistics
EP2737431A4 (en) * 2011-07-27 2015-03-25 Cleversafe Inc GENERATION OF DISTRIBUTED STORAGE NETWORK EVENT RECORDS
US11016702B2 (en) 2011-07-27 2021-05-25 Pure Storage, Inc. Hierarchical event tree
US20140280075A1 (en) * 2011-08-26 2014-09-18 Hewlett-Packard Development Company, L.P. Multidimension clusters for data partitioning
US9678921B2 (en) * 2012-03-21 2017-06-13 Owl Computing Technologies, Llc Method and apparatus for data transfer reconciliation
US8950009B2 (en) 2012-03-30 2015-02-03 Commvault Systems, Inc. Information management of data associated with multiple cloud services
RU2486587C1 (ru) * 2012-04-19 2013-06-27 Федеральное государственное унитарное предприятие "Научно-исследовательский институт "Восход" Система ведения реестра пользователей портала обеспечения законотворческой деятельности
EP2674876A1 (en) * 2012-06-14 2013-12-18 Alcatel Lucent Streaming analytics processing node and network topology aware streaming analytics system
US20130346876A1 (en) * 2012-06-26 2013-12-26 Gface Gmbh Simultaneous experience of online content
EP2698679A1 (en) 2012-08-16 2014-02-19 Siemens Aktiengesellschaft System and method for compressing production data stream and filtering compressed data with different criteria.
US10057726B2 (en) * 2012-10-02 2018-08-21 Razer (Asia-Pacific) Pte. Ltd. Managing user data on an electronic device
WO2014060033A1 (en) * 2012-10-17 2014-04-24 Telefonaktiebolaget L M Ericsson (Publ) Event management in telecommunications networks
US9106681B2 (en) 2012-12-17 2015-08-11 Hewlett-Packard Development Company, L.P. Reputation of network address
US10346259B2 (en) 2012-12-28 2019-07-09 Commvault Systems, Inc. Data recovery using a cloud-based remote data recovery center
RU2545516C2 (ru) * 2013-07-23 2015-04-10 Государственное казенное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) Устройство обнаружения атак в беспроводных сетях стандарта 802.11g
US9442967B2 (en) * 2013-07-25 2016-09-13 Facebook, Inc. Systems and methods for efficient data ingestion and query processing
TWI509456B (zh) 2014-03-31 2015-11-21 Ibm 電腦裝置以及與電腦裝置通訊連結的安全性管理裝置
TW201537378A (zh) 2014-03-31 2015-10-01 Ibm 電腦裝置以及與電腦裝置通訊連結的安全性管理裝置
KR20160010034A (ko) 2014-07-18 2016-01-27 주식회사 텔레칩스 액세스포인트의 위치 맵에 연동한 gps 내비게이션의 운용 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
FR3026586A1 (fr) 2014-09-30 2016-04-01 Orange Procede d’acces a des donnees relatives a au moins une operation mise en œuvre par un dispositif formant nœud d’un reseau
US11329892B2 (en) 2014-10-14 2022-05-10 Telefonaktiebolaget Lm Ericsson (Publ) Policies for analytics frameworks in telecommunication clouds
US10574675B2 (en) 2014-12-05 2020-02-25 T-Mobile Usa, Inc. Similarity search for discovering multiple vector attacks
US10216938B2 (en) * 2014-12-05 2019-02-26 T-Mobile Usa, Inc. Recombinant threat modeling
US9665585B2 (en) * 2015-01-23 2017-05-30 International Business Machines Corporation Preserving high value entries in an event log
US11252181B2 (en) 2015-07-02 2022-02-15 Reliaquest Holdings, Llc Threat intelligence system and method
US11609958B1 (en) * 2015-07-17 2023-03-21 EMC IP Holding Company LLC System and method for managing log records of elements of a distributed computing environment
US10057142B2 (en) * 2015-08-19 2018-08-21 Microsoft Technology Licensing, Llc Diagnostic framework in computing systems
US9876809B2 (en) * 2015-11-10 2018-01-23 Sap Se Standard metadata model for analyzing events with fraud, attack, or any other malicious background
RU2612275C1 (ru) * 2015-12-09 2017-03-06 Федеральное государственное казенное военное образовательное учреждение высшего образования "Академия Федеральной службы охраны Российской Федерации" (Академия ФСО России) Способ мониторинга сетей связи в условиях ведения сетевой разведки и информационно технических воздействий
US9838407B1 (en) 2016-03-30 2017-12-05 EMC IP Holding Company LLC Detection of malicious web activity in enterprise computer networks
US10242187B1 (en) * 2016-09-14 2019-03-26 Symantec Corporation Systems and methods for providing integrated security management
US11442935B2 (en) 2016-09-26 2022-09-13 Splunk Inc. Determining a record generation estimate of a processing task
US11580107B2 (en) 2016-09-26 2023-02-14 Splunk Inc. Bucket data distribution for exporting data to worker nodes
US11550847B1 (en) 2016-09-26 2023-01-10 Splunk Inc. Hashing bucket identifiers to identify search nodes for efficient query execution
US11126632B2 (en) 2016-09-26 2021-09-21 Splunk Inc. Subquery generation based on search configuration data from an external data system
US11243963B2 (en) 2016-09-26 2022-02-08 Splunk Inc. Distributing partial results to worker nodes from an external data system
US20180089324A1 (en) 2016-09-26 2018-03-29 Splunk Inc. Dynamic resource allocation for real-time search
US11620336B1 (en) 2016-09-26 2023-04-04 Splunk Inc. Managing and storing buckets to a remote shared storage system based on a collective bucket size
US11023463B2 (en) 2016-09-26 2021-06-01 Splunk Inc. Converting and modifying a subquery for an external data system
US10984044B1 (en) 2016-09-26 2021-04-20 Splunk Inc. Identifying buckets for query execution using a catalog of buckets stored in a remote shared storage system
US11232100B2 (en) 2016-09-26 2022-01-25 Splunk Inc. Resource allocation for multiple datasets
US11586627B2 (en) 2016-09-26 2023-02-21 Splunk Inc. Partitioning and reducing records at ingest of a worker node
US11314753B2 (en) 2016-09-26 2022-04-26 Splunk Inc. Execution of a query received from a data intake and query system
US11604795B2 (en) 2016-09-26 2023-03-14 Splunk Inc. Distributing partial results from an external data system between worker nodes
US11599541B2 (en) 2016-09-26 2023-03-07 Splunk Inc. Determining records generated by a processing task of a query
US11294941B1 (en) 2016-09-26 2022-04-05 Splunk Inc. Message-based data ingestion to a data intake and query system
US11567993B1 (en) 2016-09-26 2023-01-31 Splunk Inc. Copying buckets from a remote shared storage system to memory associated with a search node for query execution
US11222066B1 (en) 2016-09-26 2022-01-11 Splunk Inc. Processing data using containerized state-free indexing nodes in a containerized scalable environment
US10977260B2 (en) 2016-09-26 2021-04-13 Splunk Inc. Task distribution in an execution node of a distributed execution environment
US10353965B2 (en) 2016-09-26 2019-07-16 Splunk Inc. Data fabric service system architecture
US11593377B2 (en) 2016-09-26 2023-02-28 Splunk Inc. Assigning processing tasks in a data intake and query system
US11615104B2 (en) 2016-09-26 2023-03-28 Splunk Inc. Subquery generation based on a data ingest estimate of an external data system
US11321321B2 (en) 2016-09-26 2022-05-03 Splunk Inc. Record expansion and reduction based on a processing task in a data intake and query system
US11163758B2 (en) 2016-09-26 2021-11-02 Splunk Inc. External dataset capability compensation
US10956415B2 (en) 2016-09-26 2021-03-23 Splunk Inc. Generating a subquery for an external data system using a configuration file
US11281706B2 (en) 2016-09-26 2022-03-22 Splunk Inc. Multi-layer partition allocation for query execution
US11250056B1 (en) 2016-09-26 2022-02-15 Splunk Inc. Updating a location marker of an ingestion buffer based on storing buckets in a shared storage system
US11562023B1 (en) 2016-09-26 2023-01-24 Splunk Inc. Merging buckets in a data intake and query system
US11106734B1 (en) 2016-09-26 2021-08-31 Splunk Inc. Query execution using containerized state-free search nodes in a containerized scalable environment
US11663227B2 (en) 2016-09-26 2023-05-30 Splunk Inc. Generating a subquery for a distinct data intake and query system
US11860940B1 (en) 2016-09-26 2024-01-02 Splunk Inc. Identifying buckets for query execution using a catalog of buckets
US11874691B1 (en) 2016-09-26 2024-01-16 Splunk Inc. Managing efficient query execution including mapping of buckets to search nodes
US10942960B2 (en) * 2016-09-26 2021-03-09 Splunk Inc. Automatic triage model execution in machine data driven monitoring automation apparatus with visualization
US11461334B2 (en) 2016-09-26 2022-10-04 Splunk Inc. Data conditioning for dataset destination
US11003714B1 (en) 2016-09-26 2021-05-11 Splunk Inc. Search node and bucket identification using a search node catalog and a data store catalog
US11269939B1 (en) 2016-09-26 2022-03-08 Splunk Inc. Iterative message-based data processing including streaming analytics
US11416528B2 (en) 2016-09-26 2022-08-16 Splunk Inc. Query acceleration data store
US11108858B2 (en) 2017-03-28 2021-08-31 Commvault Systems, Inc. Archiving mail servers via a simple mail transfer protocol (SMTP) server
US11074138B2 (en) 2017-03-29 2021-07-27 Commvault Systems, Inc. Multi-streaming backup operations for mailboxes
US11221939B2 (en) 2017-03-31 2022-01-11 Commvault Systems, Inc. Managing data from internet of things devices in a vehicle
US11294786B2 (en) 2017-03-31 2022-04-05 Commvault Systems, Inc. Management of internet of things devices
US10552294B2 (en) 2017-03-31 2020-02-04 Commvault Systems, Inc. Management of internet of things devices
US10467083B2 (en) * 2017-06-08 2019-11-05 International Business Machines Corporation Event relationship analysis in fault management
RU2673711C1 (ru) * 2017-06-16 2018-11-29 Акционерное общество "Лаборатория Касперского" Способ обнаружения аномальных событий на основании набора сверток безопасных событий
US11989194B2 (en) 2017-07-31 2024-05-21 Splunk Inc. Addressing memory limits for partition tracking among worker nodes
US11921672B2 (en) 2017-07-31 2024-03-05 Splunk Inc. Query execution at a remote heterogeneous data store of a data fabric service
US11151137B2 (en) 2017-09-25 2021-10-19 Splunk Inc. Multi-partition operation in combination operations
US10896182B2 (en) 2017-09-25 2021-01-19 Splunk Inc. Multi-partitioning determination for combination operations
CN108959341B (zh) * 2018-04-04 2020-06-19 阿里巴巴集团控股有限公司 一种数据同步的方法、装置及设备
KR101964592B1 (ko) 2018-04-25 2019-04-02 한국전자통신연구원 보안위협 정보 공유 장치 및 방법
US11334543B1 (en) 2018-04-30 2022-05-17 Splunk Inc. Scalable bucket merging for a data intake and query system
US11113301B1 (en) * 2018-05-15 2021-09-07 Splunk Inc. Generating metadata for events based on parsed location information of data chunks of an isolated execution environment
US11238012B1 (en) 2018-05-15 2022-02-01 Splunk Inc. Log data extraction from data chunks of an isolated execution environment
US10735443B2 (en) 2018-06-06 2020-08-04 Reliaquest Holdings, Llc Threat mitigation system and method
US11709946B2 (en) 2018-06-06 2023-07-25 Reliaquest Holdings, Llc Threat mitigation system and method
US11537627B1 (en) 2018-09-28 2022-12-27 Splunk Inc. Information technology networked cloud service monitoring
GB2578320B (en) * 2018-10-23 2023-07-05 Advanced Risc Mach Ltd Graphics processing
CN109688198B (zh) * 2018-11-23 2022-05-13 四川九洲电器集团有限责任公司 分布式系统及故障检测方法
US10768971B2 (en) 2019-01-30 2020-09-08 Commvault Systems, Inc. Cross-hypervisor live mount of backed up virtual machine data
US11563754B2 (en) * 2019-02-25 2023-01-24 Micro Focus Llc Cyber attack prediction based on dark IP address space network traffic to plural client networks
US20200293654A1 (en) * 2019-03-12 2020-09-17 Universal City Studios Llc Security appliance extension
FR3094506B1 (fr) * 2019-03-29 2021-04-16 Thales Sa Système embarqué à bord d'un aéronef de détection et de réponse aux incidents avec enregistrement de logs
WO2020220216A1 (en) 2019-04-29 2020-11-05 Splunk Inc. Search time estimate in data intake and query system
US11715051B1 (en) 2019-04-30 2023-08-01 Splunk Inc. Service provider instance recommendations using machine-learned classifications and reconciliation
US11366723B2 (en) 2019-04-30 2022-06-21 Commvault Systems, Inc. Data storage management system for holistic protection and migration of serverless applications across multi-cloud computing environments
US11461184B2 (en) 2019-06-17 2022-10-04 Commvault Systems, Inc. Data storage management system for protecting cloud-based data including on-demand protection, recovery, and migration of databases-as-a-service and/or serverless database management systems
US11561866B2 (en) 2019-07-10 2023-01-24 Commvault Systems, Inc. Preparing containerized applications for backup using a backup services container and a backup services container-orchestration pod
US11494380B2 (en) 2019-10-18 2022-11-08 Splunk Inc. Management of distributed computing framework components in a data fabric service system
US11922222B1 (en) 2020-01-30 2024-03-05 Splunk Inc. Generating a modified component for a data intake and query system using an isolated execution environment image
US11467753B2 (en) 2020-02-14 2022-10-11 Commvault Systems, Inc. On-demand restore of virtual machine data
US11321188B2 (en) 2020-03-02 2022-05-03 Commvault Systems, Inc. Platform-agnostic containerized application data protection
US11422900B2 (en) 2020-03-02 2022-08-23 Commvault Systems, Inc. Platform-agnostic containerized application data protection
US11442768B2 (en) 2020-03-12 2022-09-13 Commvault Systems, Inc. Cross-hypervisor live recovery of virtual machines
US11500669B2 (en) 2020-05-15 2022-11-15 Commvault Systems, Inc. Live recovery of virtual machines in a public cloud computing environment
US11695787B2 (en) 2020-07-01 2023-07-04 Hawk Network Defense, Inc. Apparatus and methods for determining event information and intrusion detection at a host device
US11977655B2 (en) * 2020-08-25 2024-05-07 International Business Machines Corporation Security event association technology
US11314687B2 (en) 2020-09-24 2022-04-26 Commvault Systems, Inc. Container data mover for migrating data between distributed data storage systems integrated with application orchestrators
US11704313B1 (en) 2020-10-19 2023-07-18 Splunk Inc. Parallel branch operation using intermediary nodes
US11604706B2 (en) 2021-02-02 2023-03-14 Commvault Systems, Inc. Back up and restore related data on different cloud storage tiers
US11641371B2 (en) 2021-02-17 2023-05-02 Saudi Arabian Oil Company Systems, methods and computer-readable media for monitoring a computer network for threats using OLAP cubes
US11734012B2 (en) * 2021-03-31 2023-08-22 Bmc Software, Inc. Systems and methods for efficient transfer of log data
US11941421B1 (en) 2021-07-09 2024-03-26 Splunk Inc. Evaluating and scaling a collection of isolated execution environments at a particular geographic location
KR102351223B1 (ko) 2021-10-08 2022-01-14 주식회사 이글루시큐리티 로그를 분석하기 위한 연관 검색 조건들이 프로파일되어 패키징에 포함되는 siem 원클릭 설치 방법
CN114416723B (zh) * 2021-12-15 2023-01-20 北京达佳互联信息技术有限公司 一种数据的处理方法、装置、设备及存储介质
CN114666128B (zh) * 2022-03-23 2023-03-24 北京永信至诚科技股份有限公司 蜜罐威胁情报共享方法、装置、设备及可读存储介质
KR102598126B1 (ko) 2023-06-14 2023-11-03 주식회사 이글루코퍼레이션 클러스터 환경 내 중복된 보안 위협 데이터 관리 방법 및 이를 위한 장치
KR102585095B1 (ko) 2023-06-19 2023-10-06 주식회사 이글루코퍼레이션 분석 정책 생성 및 폐기 기능을 지원하는 통합 보안 관제 방법 및 이를 위한 장치
KR102583052B1 (ko) 2023-06-28 2023-09-26 주식회사 이글루코퍼레이션 대용량 데이터 실시간 필터링을 위한 과부하 방지 자가보호 방법 및 이를 위한 장치

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5537541A (en) * 1994-08-16 1996-07-16 Digital Equipment Corporation System independent interface for performance counters
JPH08106408A (ja) 1994-10-04 1996-04-23 Nippon Telegr & Teleph Corp <Ntt> 運用情報アクセスログ収集管理システム及び運用情報アクセスログ収集管理方法
JPH08263330A (ja) * 1995-03-20 1996-10-11 Fujitsu Ltd ログ蓄積システム
US5787249A (en) 1996-04-30 1998-07-28 International Business Machines Coporation Method for managing membership of a group of processors in a distributed computing environment
US6125368A (en) * 1997-02-28 2000-09-26 Oracle Corporation Fault-tolerant timestamp generation for multi-node parallel databases
US5964857A (en) 1997-05-30 1999-10-12 Quality Semiconductor, Inc. Priority encoder for a content addressable memory system
US5999929A (en) 1997-09-29 1999-12-07 Continuum Software, Inc World wide web link referral system and method for generating and providing related links for links identified in web pages
US7581077B2 (en) * 1997-10-30 2009-08-25 Commvault Systems, Inc. Method and system for transferring data in a storage operation
US6067565A (en) 1998-01-15 2000-05-23 Microsoft Corporation Technique for prefetching a web page of potential future interest in lieu of continuing a current information download
JPH11232145A (ja) * 1998-02-13 1999-08-27 Sharp Corp ログ情報記録装置
US6363372B1 (en) 1998-04-22 2002-03-26 Zenith Electronics Corporation Method for selecting unique identifiers within a range
JPH11327966A (ja) 1998-05-15 1999-11-30 Nec Eng Ltd イベントデータ蓄積管理検索システム
US6606645B1 (en) 1998-10-29 2003-08-12 At&T Corp. Method for preconnecting to a server on a network
US6728748B1 (en) 1998-12-01 2004-04-27 Network Appliance, Inc. Method and apparatus for policy based class of service and adaptive service level management within the context of an internet and intranet
US6516350B1 (en) 1999-06-17 2003-02-04 International Business Machines Corporation Self-regulated resource management of distributed computer resources
JP2001229051A (ja) 2000-02-16 2001-08-24 Hitachi Ltd シーケンス図表示方式
US6826613B1 (en) 2000-03-15 2004-11-30 3Com Corporation Virtually addressing storage devices through a switch
US6601101B1 (en) 2000-03-15 2003-07-29 3Com Corporation Transparent access to network attached devices
CA2415888C (en) 2000-08-04 2008-10-21 Avaya Technology Corporation Intelligent demand driven recognition of url objects in connection oriented transactions
US6807572B1 (en) 2000-08-31 2004-10-19 Intel Corporation Accessing network databases
US6996615B1 (en) 2000-09-29 2006-02-07 Cisco Technology, Inc. Highly scalable least connections load balancing
US6956836B2 (en) 2001-05-17 2005-10-18 Ericsson, Inc. Asymmetric frequency allocation for packet channels in a wireless network
US6744729B2 (en) 2001-08-17 2004-06-01 Interactive Sapience Corp. Intelligent fabric
JP2003131960A (ja) 2001-10-26 2003-05-09 Hitachi Ltd データ中継方法
JP4050497B2 (ja) * 2001-11-06 2008-02-20 インフォサイエンス株式会社 ログ情報管理装置及びログ情報管理プログラム
US7249118B2 (en) * 2002-05-17 2007-07-24 Aleri, Inc. Database system and methods
US7509418B2 (en) 2002-06-25 2009-03-24 Hewlett-Packard Development Company, L.P. Automatic management of e-services
US7152242B2 (en) * 2002-09-11 2006-12-19 Enterasys Networks, Inc. Modular system for detecting, filtering and providing notice about attack events associated with network security
US7376969B1 (en) * 2002-12-02 2008-05-20 Arcsight, Inc. Real time monitoring and analysis of events from multiple network security devices
US7219239B1 (en) * 2002-12-02 2007-05-15 Arcsight, Inc. Method for batching events for transmission by software agent
US7039773B2 (en) * 2003-04-29 2006-05-02 Oracle International Corporation Method and mechanism for efficient implementation of ordered records
US7284153B2 (en) 2003-11-17 2007-10-16 International Business Machines Corporation Apparatus, method, and system for logging diagnostic information
US20050114321A1 (en) 2003-11-26 2005-05-26 Destefano Jason M. Method and apparatus for storing and reporting summarized log data
EP1562120A1 (en) * 2004-02-09 2005-08-10 Sap Ag Data processing system with display of test data
US7536634B2 (en) * 2005-06-13 2009-05-19 Silver Creek Systems, Inc. Frame-slot architecture for data conversion
US7698686B2 (en) * 2005-04-15 2010-04-13 Microsoft Corporation Method and apparatus for performance analysis on a software program
US8001297B2 (en) * 2005-04-25 2011-08-16 Microsoft Corporation Dynamic adjusting send rate of buffered data
US7653836B1 (en) * 2005-06-10 2010-01-26 American Megatrends, Inc Logging metadata modifications in a data storage system
US20070100911A1 (en) 2005-11-03 2007-05-03 International Business Machines Corporation Apparatus and method for materialized query table journaling in a computer database system
US20080059412A1 (en) * 2006-08-31 2008-03-06 Tarin Stephen A Value-instance connectivity computer-implemented database
CN102239472B (zh) * 2008-09-05 2017-04-12 惠普发展公司，有限责任合伙企业 在支持查询的同时高效地存储日志数据

Also Published As

Publication number Publication date
TW200836080A (en) 2008-09-01
JP2010515172A (ja) 2010-05-06
EP2097824A2 (en) 2009-09-09
AU2007339801A1 (en) 2008-07-10
US9031916B2 (en) 2015-05-12
RU2009128959A (ru) 2011-02-10
EP2097824A4 (en) 2012-06-06
TWI434190B (zh) 2014-04-11
KR20090100344A (ko) 2009-09-23
EP2097824B1 (en) 2017-05-24
CA2669197A1 (en) 2008-07-10
NZ577198A (en) 2012-03-30
AU2007339801B2 (en) 2012-03-22
KR101451640B1 (ko) 2014-10-16
WO2008083267A3 (en) 2008-08-28
IL198840A0 (en) 2010-02-17
US20080162592A1 (en) 2008-07-03
SG177213A1 (en) 2012-01-30
RU2424568C2 (ru) 2011-07-20
WO2008083267A2 (en) 2008-07-10

Similar Documents

Publication Publication Date Title
JP5357777B2 (ja) コンピュータネットワークセキュリティを支援するために、クエリーをサポートしながら効率的にログデータを記憶する技術
US9762602B2 (en) Generating row-based and column-based chunks
US9009139B2 (en) Query pipeline
US9853986B2 (en) Clustering event data by multiple time dimensions
US10122575B2 (en) Log collection, structuring and processing
RU2417417C2 (ru) Идентификация в реальном времени модели ресурса и категоризация ресурса для содействия в защите компьютерной сети
CA2629279C (en) Log collection, structuring and processing
US20110314148A1 (en) Log collection, structuring and processing
US20120246303A1 (en) Log collection, structuring and processing
JP2008097484A (ja) ログ管理システムおよびフォレンジック調査方法
US8745010B2 (en) Data storage and archiving spanning multiple data storage systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121128

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130226

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130226

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130830

R150 Certificate of patent or registration of utility model

Ref document number: 5357777

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250