JP4759574B2 - ネットワークパケットキャプチャ分散ストレージシステムの方法及び機器 - Google Patents

ネットワークパケットキャプチャ分散ストレージシステムの方法及び機器 Download PDF

Info

Publication number
JP4759574B2
JP4759574B2 JP2007548320A JP2007548320A JP4759574B2 JP 4759574 B2 JP4759574 B2 JP 4759574B2 JP 2007548320 A JP2007548320 A JP 2007548320A JP 2007548320 A JP2007548320 A JP 2007548320A JP 4759574 B2 JP4759574 B2 JP 4759574B2
Authority
JP
Japan
Prior art keywords
slot
data
network
capture
volatile storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007548320A
Other languages
English (en)
Other versions
JP2008526109A (ja
Inventor
ジェフリー ヴィー マーキー
ブライアン ヴィー スパークス
Original Assignee
ソレラ ネットワークス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソレラ ネットワークス インコーポレイテッド filed Critical ソレラ ネットワークス インコーポレイテッド
Publication of JP2008526109A publication Critical patent/JP2008526109A/ja
Application granted granted Critical
Publication of JP4759574B2 publication Critical patent/JP4759574B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/02Capturing of monitoring data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/561Adding application-functional data or data for application control, e.g. adding metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/06Generation of reports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823Errors, e.g. transmission errors
    • H04L43/0829Packet loss
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/10Active monitoring, e.g. heartbeat, ping or trace-route
    • H04L43/106Active monitoring, e.g. heartbeat, ping or trace-route using time related information in packets, e.g. by adding timestamps

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)
  • Telephonic Communication Services (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本出願は、本明細書において引用により組み込まれている、2004年12月23日出願の米国特許仮出願出願番号第60/638、707号の継続出願である。
本発明は、コンピュータネットワークトラフィックをキャプチャしかつ保存することに関する。コンピュータユーザが互いに情報を通信し、共有することを可能にするネットワークは、事業体、政府、教育機関、及び家庭に遍在する。コンピュータは、小規模又は大規模ローカルエリアネットワーク(LAN)を通じて互いに通信し、これらのローカルエリアネットワークは、無線か又は「イーサネット(登録商標)」又は光ファイバのような有線技術に基づく場合がある。殆どのローカルネットワークは、ワイドエリアネットワーク(WAN)を通じて他のネットワークと通信する機能を有する。これらの様々なネットワークの相互接続性は、最終的に「インターネット」を通じて世界中で情報の共有を可能にする。従来のコンピュータに加えて、セルラー電話、携帯情報端末(PDA)、及びその機能を他の個人、装置、又はシステムとの通信によって高めることができる他の装置を含む他の情報共有装置は、これらのネットワークと相互作用することができる。
ネットワークを通じて交換される情報量の恒常的な増加は、ネットワーク管理をより重要かつより困難なものにしている。セキュリティの実施、監査、ポリシーコンプライアンス、ネットワーク性能、及び用途解析ポリシー、並びにデータ科学調査及びネットワークの総合管理は、以前のネットワークトラフィックへのアクセスを必要とする場合がある。一般的に、従来のストレージシステムは、磁気ハードディスクドライブ技術に基づいており、速度及びストレージ容量の限界のために拡大するネットワークトラフィック負荷に追従することができていない。複数ハードディスクのアレイの使用は、速度及び容量を増加させるが、従来のオペレーティングシステム及びネットワークプロトコル技術に基づく最も大規模なアレイでさえも、大規模ネットワーク上の全てのトラフィックをモノリシックにキャプチャかつ保存する機能を欠いている。現在の技術に基づくキャプチャ及び保存システムはまた、それらが機能しているネットワークの一部になり、それらを隠れた攻撃又は「ハッキンング」に対して脆弱にし、従って、科学的調査及び解析ツールとしてのそれらのセキュリティ及び有用性を制限する。
これらの制約を克服するために、強固なネットワークパケットキャプチャ及び保存システムは、最新ハードウエア技術の最大機能を利用すべきであり、既存技術に固有の隘路も回避すべきである。複数のギガビット「イーサネット(登録商標)」接続、大容量ハードディスクドライブのアレイ、及び様々な装置とのより直接的な通信によって従来の隘路を迂回するソフトウエアを用いることにより、最大規模ネットワークのトラフィックを処理することができるスケールで、パケットキャプチャ及び保存を達成することが可能である。
米国特許仮出願出願番号第60/638、707号
本発明は、「無限ネットワークパケットキャプチャシステム(INPCS)」を説明する。INPCSは、単一ネットワーク又は複数ネットワーク上に存在する全てのネットワークトラフィックをキャプチャかつ保存することができる高性能データキャプチャレコーダである。キャプチャデータは、拡張可能無限ディスクベースLRU(最長時間未使用)キャッシュシステム上に複数のギガビット(Gb)回線速度で保存される。INPCSは、ギガビット「イーサネット(登録商標)」ネットワーク上の全てのネットワークトラフィックをキャプチャしてディスクまで流す機能を有し、この格納データを「仮想ファイルシステム(VFS)」としてエンドユーザに呈示することを可能にする。このファイルシステムは、セキュリティ、科学的調査、コンプライアンス、解析、及びネットワーク管理アプリケーションを容易にする。INPCSはまた、パケットベースのカプセル化方法を利用するT1/T3及び他のネットワークトポロジーを通じてこの機能をサポートする。
INPCSは、ネットワークキャプチャ装置上でTCIP/IPのようなプロトコルスタックの構成を必要としない。その結果、INPCSは、「不可視」又は受動の状態に留まり、従って、キャプチャされているネットワーク装置からは検出可能又はアドレス可能ではない。検出不能及びアドレス不能であることにより、INPCSは、それが外部ネットワーク装置から修正又は「ハッキンング」されず、又はネットワーク上の他の装置からの攻撃に対する直接のターゲットになることができないので、セキュリティ及び科学的調査上の信頼性を高めるものである。
INPCSはまた、一式のツールを提供し、仮想ネットワークインタフェース又は仮想「イーサネット(登録商標)」装置として、外部ネットワークセグメントへの再生成パケットストリームとして、及びに工業規格LIBPCAP(TCPDUMP)ファイルフォーマットを動的に発生するVFSファイルシステムとしてキャプチャデータを時系列再生で公開する。これらのフォーマットは、LIBPCAPフォーマットをサポートする現在利用可能か又は特注のアプリケーション中にキャプチャデータをインポートすることを可能にする。装置が能動的にデータをキャプチャかつ保存している間に、INPCSを通じてライブネットワーク上でキャプチャしたデータの解析を実行することができる。
この基本的ハードウエア構成では、INPCSプラットフォームは、高性能「入出力(I/O)」システムアーキテクチャを有する「RAID 0」/「RAID 5」ディスクストレージの大規模アレイをサポートすることができるラック装着可能装置である。高密度ネットワークトラフィックの格納は、コピーレス「直接メモリアクセス(DMA)」を用いて達成される。INPCS装置は、350MB/s(メガバイト毎秒)を超えるキャプチャ及び格納速度を持続することができる。装置は、SPANポートルータ構成又は光スプリッタを通じて銅線又はファイバを通して「イーサネット(登録商標)」ネットワークに取り付けることができる。INPCSはまた、外部アクセスに向けて非対称経路指定ネットワークトラフィック並びに他の併合ストリームをサポートするためにデータの複数のキャプチャストリームを統一時間索引付きキャプチャストリームへと併合する機能をサポートし、効率的なネットワーク管理、解析、及び科学的調査のための使用を容易にする。
INPCSソフトウエアは、既存のLinuxネットワークインタフェースドライバに適合する独立型ソフトウエアパッケージとして独立に用いることができる。INPCS技術のこの提供がもたらす性能測定基準は、統合ハードウエア/ソフトウエア電子機器に利用可能なものよりも低いが、Linuxがサポートする既存のネットワークドライバの広い基盤にわたって移植性があるという利点を有する。INPCSに向けた独立型ソフトウエアパッケージは、上述したものを提供する電子機器によって利用可能なものと同じ特徴及びアプリケーションサポートの全てを提供するが、統合電子機器の高性能ディスクI/O及びコピーレス「直接メモリアクセス(DMA)」切り換え技術は提供しない。
キャプチャネットワークトラフィックは、3つの基本的方法、すなわち、PCAPフォーマットファイルを公開するVFSファイルシステム、仮想ネットワークインタフェース(イーサネット(登録商標))装置、及び外部電子機器に給送する外部ネットワークセグメントへ再生成パケットストリームを通すことを利用して、外部電子機器及び装置に対して又はINPCS電子機器上で実行される適切なアプリケーションに対して公開することができる。INPCSファイルシステムは、オンディスクLRU(最長時間未使用)キャッシュとして作用し、ストアが一杯になると最も古いキャプチャデータをリサイクルさせて連続キャプチャを発生させ、最も古いデータは、リサイクルされて上書きされるか、又はネットワークトラフィックをキャプチャした外部ストレージに転送されるかのいずれかである。このアーキテクチャは、無限キャプチャシステムを考慮するものである。オンディスクストアにあらゆる所定の時間にキャプチャされたパケットは、最も古いパケットから最も新しいものまでのキャプチャされた全てのパケットの時間的ビューを表している。ディスクアレイの容量を増加することにより、システムは、所定のトラフィック容量のネットワークからの全てのネットワークトラフィックに対する所定の時間窓を可能にするように構成することができる。例えば、事業体、政府機関、又は大学は、その前の24時間、48時間、又は他の所定の時間フレーム中の全てのトラフィックの試験及び解析を可能にするのに十分なディスクアレイストレージを用いて電子機器を構成することができる。
本発明の他の特徴及び利点は、添付図面と共に下記の「発明を実施するための最良の形態」に示す本発明の特定的な実施形態への参照から明らかになるであろう。
INPCSは、ネットワーク上又は複数のネットワーク上に存在する全てのネットワークトラフィックをキャプチャすることができ、かつキャプチャデータを当業技術で公知の拡張可能で無限のディスクベースLRU(最長時間未使用)キャッシュシステム上に複数のギガビット(Gb)回線速度で保存することができる高性能データキャプチャレコーダである。INPCSは、ギガビット「イーサネット(登録商標)」ネットワーク上の全てのネットワークトラフィックをキャプチャしてディスクにストリーミングし、更に、これらのデータを「仮想ファイルシステム(VFS)」として表す機能を有する。エンドユーザは、VFSから情報を検索することによってこれらの情報にアクセスすることができ、それによってネットワークセキュリティ、科学的調査、コンプライアンス、解析法、及びネットワーク管理アプリケーション、更には映像及び音声フォーマットを利用するメディアアプリケーションが容易になる。INPCSはまた、パケットベースのカプセル化法を利用する当業技術で公知のT1/T3及び他のトポロジーを通じてこの機能をサポートする。
INPCSは、キャプチャネットワーク装置上でTCP/IPのようなプロトコルスタック構成を必要としない。それによってINPCSは、「不可視」又は受動になり、キャプチャネットワークセグメントからアドレス不能になる。このようにして、この装置は、ネットワーク上でアドレス指定することができないために、攻撃のターゲットにすることができない。INPCSはまた、外部ネットワークセグメントへの再生成パケットストリームを仮想ネットワークインタフェース又は仮想「イーサネット(登録商標)」装置として、又はLIBPCAP(「パケットキャプチャ」ファイルフォーマット)及びTCPDUMP(TCPプロトコルダンプファイルフォーマット)、CAP、CAZ、及びフォーマットをサポートするあらゆる適切なアプリケーションの中にインポートすることができる工業規格フォーマットを動的に発生するVFSとしてキャプチャデータを時系列再生で検索するための一式のツールを提供する。LIBPCAPは、ユーザレベルのパケットキャプチャのためのシステム独立型インタフェースであり、低レベルのネットワークモニタリングに向けて移植性のあるフレームワークを提供する。アプリケーションは、ネットワーク統計収集、セキュリティモニタリング、ネットワークデバッグを含む。INPCSは、装置が能動的にデータをキャプチャかつ保存している間のキャプチャデータの解析を可能にする。
図1は、統合INPCS電子機器のハードウエア構成の一実施形態を表している。この構成におけるINPCSプラットフォームは、高性能「入出力(I/O)」システムアーキテクチャを有する大量の「RAID 0」/「RAID 5」/「RAID 0+1」、及び「RAID 1」ディスクストレージをサポートするラック装着可能装置である。INPCS装置は、350MB/s(メガバイト毎秒)を超えるキャプチャ及び格納速度を持続することができる。装置は、SPANポート(ミラーリングされたポート)101ルータ構成又は光スプリッタ102を通じて銅線又はSXファイバを通じて「イーサネット(登録商標)」ネットワークに取り付けることができる。本方法により、ギガビット「イーサネット(登録商標)」スイッチ103を含む複数のネットワークトラフィック源は、キャプチャ電子機器104に並列データ給送を提供することができ、集合データキャプチャ容量を実質的に増大する。非対称経路指定ネットワークトラフィック並びに外部消費に向けた他の併合ストリームをサポートするために、複数のキャプチャデータストリームが、統合時間索引付きキャプチャストリームへと併合される。
併合データストリームは、当業技術で公知である「FC−AL SAN(ファイバチャンネル調停ループストレージ領域ネットワーク)」に保存される。図1に示す「FC−AL」スイッチ105は、専用の非停止100MB/秒又は1GB/秒2地点間並列接続を有する8つのポートを提供する。これらのポートは、キャプチャネットワークトラフィックを複数の「FL−AL RAIDアレイ」106に向ける。図示のアレイは、各々が7テラバイトの合計ストレージ容量を提供し、当業技術で公知の標準RAID構成を用いて構成することができる。この実施形態は、好ましいストレージモードとして「RAID 0」(冗長性を伴わないストライピング)又は「RAID 5」(分散パリティ)、「RAID 0+1」(ストライプを有するミラー)、「RAID 1」(ミラー)をサポートするコントローラを提供する。図2は、8つまでの標準3インチハードディスクドライブ、並びに関連ハードウエア、ファームウエア、及びソフトウエアを保持するように設計された一般的な電子機器シャーシ(2U構成)を表している。本発明の現在の実施形態では、各シャーシは、8つの400GBハードディスクドライブを含むことになり、合計記憶容量は、シャーシ毎に3.2テラバイトになる。
INPCSプラットフォームは、UL/TUV及びEC公認プラットフォームであり、クラスAのFCC装置としてランク付けされている。INPCSユニットはまた、TUV−1002、1003、1004、及び1007静電放電電磁波耐性要件及びEMI電磁波耐性仕様を満たしている。INPCSプラットフォームは、SSH(「セキュアシェル」アクセス)によるコンソール管理を可能にし、並びに基本シリアルポートを通じて取り付けられたatty及びttyシリアルコンソールサポートによって装置へのセキュア接続を保証する。このユニットは、ディスクドライブのホットスワッピング及び「RAID 5」の耐障害性構成によるIDE装置の動的フェイルオーバーをサポートする。このユニットはまた、ディスクキャプチャのためのデュアル「1000 Base T」(1Gb)ストリームをサポートするための高性能「RAID 0」アレイ構成をサポートする。
SAN上に格納されたキャプチャネットワークトラフィックは、3つの基本的方法、すなわち、PCAPフォーマットファイルを公開するVFSファイルシステム、仮想ネットワークインタフェース(イーサネット(登録商標))装置、及び外部電子機器に給送する外部ネットワークセグメントへの再生成パケットストリームを通じることを利用して外部電子機器及び装置、又はINPCS電子機器上で作動する適切なアプリケーションに公開することができる。INPCSファイルシステムは、オンディスクLRU(最長時間未使用)キャッシュとして作用し、ストアが一杯になると最も古いキャプチャデータをリサイクルさせて連続キャプチャの発生を可能にし、最も古いデータは、リサイクルされて上書きされるか、又はキャプチャネットワークトラフィックの永久保存のために外部ストレージに転送されるかのいずれかである。このアーキテクチャは、無限キャプチャシステムを可能にする。
VFSファイルシステムでは、ファイルは、当業技術で公知の「Linux VFS」を実施することによって動的に発生され、このVFSは、ディスクにネットワークトラフィックをキャプチャするためにINPCSが用いるディスクLRUの上に常駐する。INPCSは、標準VFSを通じてデータを表すので、scp(セキュアコピー)、HTTPS(セキュア「ハイパーテキスト転送プロトコル」)、SMB(Microsoft製「サーバメッセージブロック」プロトコル)、又はNFS(Unix(登録商標)「ネットワークファイルシステム」プロトコル)のようなネットワーク規格を用いることで、これらのデータをアプリケーションが容易にインポート又はアクセスするか又は他のコンピュータシステムに容易にエクスポートすることが可能になる。それによってINPCS装置は、幅広く異なるネットワーク環境の中でインストールすることが可能になる。更に、ファイルシステムを通じてキャプチャネットワークトラフィックを公開することにより、データテープ、コンパクトディスク(CD)、及びデータDVDを含む外部装置への転送又はバックアップが容易になる。キャプチャトラフィックのためのファイルシステムインタフェースは、そのようなフォーマットを認識して読取る幅広い既存のアプリケーションへの容易な統合を可能にする。
INPCSは、標準「イーサネット(登録商標)」プロトコルを用いて保存データを「仮想ネットワークインタフェース」としてアクセスすることを可能にする。多くのセキュリティ、科学的調査、及びネットワーク管理アプリケーションは、このアプリケーションがオペレーティングシステムを回避し、ネットワークインタフェースカードを直接開くことを可能にするインタフェースを有する。それによってアプリケーションは、開かれた装置で示すネットワークセグメントからパケットをこのパケットの「未処理」形式で読取ることが可能になる。INPCS仮想インターネット装置は、キャプチャデータストアにマップすることができ、それによって格納データは、オペレーティングシステムに対して1つ又はそれよりも多くの物理ネットワーク装置として見え、刻時された格納データは、あたかもライブネットワークトラフィックであるかのように見える。それによって既存のアプリケーションは、このアプリケーションのネットワークインタフェース装置への固有の直接アクセスを模擬実行することが可能になるが、パケットは、INPCS内のキャプチャパケットから装置に給送される。このアーキテクチャは、実時間ネットワークデータにアクセスするように設計されたアプリケーションとの容易な統合を可能にし、これらのアプリケーションを履歴データと同じ機能を実行するツールに変えることによってこれらのアプリケーションの使用可能度を著しく改善する。
「仮想ネットワークインタフェース」はまた、INPCS仮想「イーサネット(登録商標)」装置が望ましい特定パケットのみを配信するように、アナリストがこの装置の挙動を設定することを可能にする。例えば、INPCS装置は仮想装置であるので、ユーザは、この装置の挙動をプログラムすることができる。プログラムされたフィルタ仕様(プロトコルID又は時間領域等による)に所定の要件を満たすパケットのみを一致させるツールが備えられる。更に、アプリケーションによって開かれる物理「イーサネット(登録商標)」装置は、他のアプリケーションに対しては利用不能とされるが、INPCSによって用いられる仮想インタフェースは、相互排他及び実時間ネットワーク性能へのいかなる影響をも伴わずに、複数のアプリケーションが仮想装置(これは、同じか又は異なるパケット部分集合を選択するようにプログラムすることができる)から読取ることを可能にする。
仮想インタフェースは、履歴データを調べるために用いることができるが、この仮想インタフェースの機能はまた、解析データの完全なデータ保存及びキャプチャと同時に作動する大きなネットワークバッファをアプリケーションに提供し、その一方で、独立型アプリケーションとして輻輳したネットワーク上で作動するパケット解析アプリケーションにおいて一般的に発生するパケット損失を伴わない警告及びライブネットワーク解析を提供することにより、これらのアプリケーションに向けてほぼ実時間のキャプチャデータモニタリングを可能にする。
INPCSはまた、再生成を通じてデータアクセスを容易にする。INPCSストア内のキャプチャパケットは、取り付けられたネットワークセグメント上の外部装置へと再伝送することができる。それによってストア内に含まれる「再生成」パケットを外部電子機器に送信することが可能になり、そのような電子機器又はアプリケーションによる実時間データの受信がエミュレートされる。INPCSは、再生成の挙動をプログラムするためのツールを含む。例えば、パケットは、所定のパケット速度で再伝送することができ、又は特定の所定の基準を満たすパケットを再生成ストリームから除外するか又はその中に含めることができる。
INPCS電子機器によって外部電子機器に向けて再生成されたパケットを受容するこの外部電子機器は、INPCS電子機器の存在に気付かず、従って、機密性及びセキュリティが最重要のものであるアプリケーションを含み、既存又は今後の電子機器との統合はスムーズであり、容易である。
この再生成法はまた、INPCS電子機器の中に受信されるパケットを実時間キャプチャ速度で調べることができない可能性がある外部装置に格納パケットストリームを再伝送することによって「負荷平準化」を容易にする。更に、本方法は、現在の解析に対して重要であるとユーザが判断するパケットのみに注目することによって外部電子機器をより生産的にすることができる。再生成は、所定のインタフェースからINPCS電子機器がパケットをキャプチャし、かつ格納を継続する間に達成することができるために、INPCSの基本機能には影響を与えない。
INPCSファイルシステムは、当業技術で公知のオンディスクLRU(最長時間未使用)キャッシュとして作用し、ストアが一杯になると最も古いキャプチャデータをリサイクルさせて連続キャプチャの発生を可能にし、最も古いデータは、リサイクルされて上書きされるか、又はキャプチャネットワークトラフィックの永久保存に向けて外部ストレージに押し出されるかのいずれかである。このアーキテクチャは、無限キャプチャシステムを可能にする。オンディスクストア内のあらゆる所定の時間におけるキャプチャパケットは、最も古いパケットから最も新しいものまでの全キャプチャパケットの時間内のビューを呈示する。
INPCSソフトウエアは、修正Linuxオペレーティングシステムカーネルの中にロードされるロード可能モジュールとして実施される。このモジュールは、上述のようにVFS、仮想ネットワーク装置ドライバ(イーサネット(登録商標))、及び外部ネットワークセグメントへのパケット再生成に向けたサービスを提供し、実施する。INPCSは、専有のファイルシステム及びデータストレージを用いる。INPCSモジュールによって利用されるLinuxドライバはまた、全パケットコピーを排除するコピーレスDMAスイッチ技術をサポートするように修正されている。コピーレス受信及び送信方法の使用は、INPCの望ましい処理機能を達成するために不可欠である。コピーレス送信は、送信機能がデータをコピーするのではなく、アプリケーションが送信の前にデータをメッセージバッファに追加することを可能にする。
キャプチャパケットは、従来のネットワークプロトコルスタックでは一般的なコピー又はヘッダ分解への必要性を伴わずにネットワークリングバッファからシステムストレージキャッシュの中に直接DMA(直接メモリアクセス)転送される。ディスクストレージへの書込みに向けてスケジュール化されるキャプチャパケットに対して同様の方法が用いられる。これらの方法は、極めて高いレベルの性能を可能にし、パケットデータを350MB/sを超える速度でキャプチャし、その後ディスクに書き込むことを可能にし、ギガビットネットワーク上での損失のないパケットキャプチャに対するサポートを可能にする。それによってINPCSユニットは、ライブネットワークデータのいかなるパケット損失も伴わずに最大回線速度のギガビットトラフィックをキャプチャすることが可能になる。このアーキテクチャは、重要データ(パケット)の損失を伴わずに、普及している「侵入検出システム(IDS)」ソフトウエアSnortのようなアプリケーションによるキャプチャデータの実時間事後解析を可能にする。更に、セッション再構成等に向けた更に別の研究が望ましいならば、エラーなしの再構成を容易にするデータの全格納が利用可能である。
これらの方法は、ユーザ及びネットワーク調査者が詳細なトリガを作成することを必要とし、イベントモニタがネットワーク上の特定イベントを検索することを必要とすると考えられるより従来型の「スニファー」及びネットワークトリガモデルよりも優れている。INPCSを用いると、全てのネットワークパケットは、ネットワークからキャプチャされ、解析作業は、単に大量のキャプチャデータの事後解析に過ぎないために精巧なトリガ及びイベントモニタ技術への要求は不用である。すなわち、INPCSは、アナリストにライブネットワークトラフィック及びフロー力学の無類の展望を与えるので、ネットワーク障害追求、並びにネットワーク科学的調査及び解析における新しいモデルを呈する。このユニットは、全てのネットワークトラフィックをキャプチャするために、ネットワーク上で時間内に発生したあらゆるイベントを再生することができる。この装置は、本質的にネットワークトラフィックの全体を含むモノリシックな「ネットワークバッファ」を作成する。
一実施形態では、INPCSは、VFSファイルシステム(DSFS)を通じてキャプチャデータをPCAPファイルとして公開する。装着されたDSFSファイルシステムは、ファイルをリスト化、閲覧、コピー、及び読取ることができる従来のファイルシステムのように振る舞う。これは、ファイルシステムであるために、LinuxのNFS又はSMBFSを通じて他の取り付けられたネットワークコンピュータにエクスポートすることができ、これらのネットワークコンピュータは、キャプチャデータをネットワーク上の全トラフィックの集合時間索引付きスロットファイル又は統合キャプチャファイルとしてダウンロードすることができる。それによってアナリストには、ローカル解析に向けて重要ファイルをローカルマシンに単純にコピーする機能が与えられる。これらのキャプチャPCAPファイルはまた、CDのようなより永久的なストレージに書き込むことができ、又は別のマシンにコピーすることができる。
「INPCSファイルシステム(DSFS)」はまた、キャプチャパケットデータ上にマップされる時間再生ベース及び実時間の両方の仮想ネットワークインタフェースを作成して公開し、パケットがDSFSキャッシュシステムの中に書き込まれる時に、これらのアプリケーションが実時間でキャプチャデータを処理することを可能にする。それによってセキュリティアプリケーションは、INPCSが割り込みなしに新しいネットワークトラフィックのキャプチャを継続する間に、例えば、実時間でキャプチャデータを連続的にモニタし、このINPCS装置からのIDS及び警告機能を備えることが可能になる。それによって既存のセキュリティ、科学的調査、コンプライアンス、解析、及びネットワーク管理アプリケーションは、これらのプログラムに必要とされるソフトウエア変更を伴わずにINPCS装置上でスムーズに作動することが可能になり、その一方で、これらのアプリケーションには、ネットワーク上の全てのトラフィックを解析する損失のない方法が与えられる。
INPCSユニットは、「スイッチポートアナライザ(SPAN)」又は標準LX又はSX光ファイバ接続のいずれかを通じた光スプリッタのいずれかを通じて接続される独立型電子機器として実施することができる。このユニットはまた、10/100/1000Mbの回線速度におけるUTPベースの「イーサネット(登録商標)」のキャプチャをサポートする。
INPCSユニットはまた、デュアルSXファイバを通じてギガビット「イーサネット(登録商標)」アダプタに非対称に経路指定されたネットワークをサポートするように構成することができ、光スプリッタは、TX/RXポートをINPCS装置の両方のRXポートに接続する。
SPAN構成では、INPCSユニットはルータに接続され、更に、ルータは、選択されたポートトラフィックをINPCSユニットに接続したポートの中にミラーリングするようになっている。図3は,SPAN構成におけるINPCS電子機器の使用を概略的に表している。この構成では、INPCS電子機器は、ルータのポートに接続され、このルータは、他の選択されたポートからのパケットをホストルータ上のSPAN構成に設定されたポートにミラーリング(すなわち、コピー)するようになっている。本方法は、確かにある程度までルータの性能を劣化させるが、モニタリング用途に向けてINPCS電子機器をネットワークに接続する最も平易で最も費用効果的な方法である。
SPAN構成を用いる1つの明瞭な利点は、大学又は大規模な事業所に存在するもののような大学構内規模のネットワーク化環境における多数のルータをホストするマルチルータネットワークに関する。大学構内規模の幅広いベースでデータを集積し、INPCSデータ記録電子機器をホストする特定ルータにこれらのデータを導くために、ルータは、ローカルトラフィックを特定ポート上にミラーリングし、このトラフィックを中央ルータバンクに向け直すように構成することができる。この実施は、ギガビット「イーサネット(登録商標)」セグメントを利用する非常に大規模なネットワークにおいてさえも、本方法が実施可能であり、かつ実用的であることを明らかにしている。30,000人又はそれよりも多くの学生がおり、Windows(登録商標)、Unix(登録商標)、Linux、及び他のオペレーティングシステムを用いてワークステーション及びサーバが教員、職員、実験室などにサービスを提供する大学では、大学内外の平均ネットワークトラフィックは、複数のギガビット「イーサネット(登録商標)」セグメントにわたって約55MB/sの持続速度で継続され、ピーク時には80MB/sに達すると予測することができる。SPAN構成を利用するINPCS電子機器の実施は、ネットワークへの顕著な影響を伴わずに達成することができ、INPCSは、これらの速度で全てのネットワークトラフィックを容易にキャプチャすることができ、すなわち、大学又は同様のサイズの企業の内外の全ネットワークトラフィックキャプチャを維持することができる。
INPCS電子機器は、インライン光スプリッタを通じたネットワークトラフィックキャプチャをサポートするように構成することができ、この光スプリッタは、INPCS電子機器内の2つのSXギガビット「イーサネット(登録商標)」アダプタの中に給送する構成の中でRX(受信)及びTX(送信)トラフィックの進路を変更する。図4は、そのような非対称経路指定構成におけるINPCS電子機器の使用を表している。この構成では、INPCS電子機器は、SX(マルチモード)又はLX(シングルモードの長距離)光ファイバギガビットケーブルのいずれかをサポートする光スプリッタに接続される。本方法は、非常に高レベルの性能を提供し、非侵入的である。このユニットは、あらゆる外側ネットワーク装置の視界から完全に遮蔽されるので、この構成法の非侵入的性質は、INPCS電子機器を顧客ネットワーク上で完全に不可視にする。
非対称経路指定のサポートに関する更に別の利点が存在する。ある程度大規模な商用ネットワークでは、ルータ間でネットワークトラフィックを伝播するRX及びTXチャンネルは、ネットワークのクロスセクション帯域幅を増加させる手段としてネットワーク基礎構造を通る独立経路を取るように構成することができる。例えば、大規模金融市場において維持されるネットワークは、この方式で構成することができる。この手法を用いると、ネットワークトラフィックを組み立て直し、論理着信順序で見ることができるように、1つ又はそれよりも多くのキャプチャチェーンからのキャプチャトラフィックを統合チェーンに再統合することを必要とする(光スプリッタ構成及びSPANポート実施を含む構成の両方において)。
INPCS電子機器は、これらのモードの両方をサポートし、更に、キャプチャネットワークトラフィックのビューを併合されて取り付けられたキャプチャパケットチェーンとして表す機能を提供する。図5は、光スプリッタ構成におけるINPCS電子機器を示している。デフォルトでは、INPCSは、電子機器シャーシにおいてSXファイバのみをサポートする。LXファイバサポートを必要とするユーザに対しては、外部ネットワークタップ装置を通じたLXからSXへのファイバ接続を可能にするために、この構成に光スプリッタ及びコンバータを追加することができる。
INPCSは、仮想インタフェースを構成し、物理的アダプタ上でのデータキャプチャを始動及び停止し、仮想ネットワークインタフェースをデータストア内のキャプチャデータ上にマッピングし、更に、ネットワークインタフェース及びキャプチャデータステータスをモニタすることを可能にするいくつかのユーティリティを提供する。更に、全てのキャプチャデータストアは、これらのキャプチャデータがキャプチャされる時に、これらのキャプチャデータからLIBPCAPファイルを動的に発生する仮想ファイルシステムを通じてエクスポートされ、キャプチャネットワークトラフィック対して「TCPDUMP LIBPCAP」ファイルフォーマットをサポートするあらゆるネットワーク科学的調査プログラムがこれらのファイルデータセットを閲覧及び科学的調査用途に向けて閲覧し、保存することを可能にする。
DSCAPTUREユーティリティは、ネットワークデータのキャプチャを構成してキャプチャを開始し、また「仮想ネットワークインタフェース」をマップすることを可能にし、パケットの索引、日付及び時間、又は特定のネットワークアダプタ又はネットワークセグメントから取り込んだパケットチェーン内のオフセットに基づいて特定の時間領域を選択することを可能にする。
このユーティリティは、指令ライン環境内に現れると考えられる以下の関数を提供する。
Figure 0004759574
関数「DSCAPTURE INIT」は、INPCSキャプチャストアを初期化することになる。「DSCAPTUE START」及び「DSCAPTURE STOP」は、それぞれ、ネットワークインタフェース名に基づいてローカルストア上へのネットワークトラフィックのパケットキャプチャを始動及び停止する。デフォルトでは、制御コードが以下のものに類似することになるように、Linuxは、インタフェースにeth0、eth1、eth2等と名付ける。
Figure 0004759574
「DSCAPTURE MAP」及び「DSCAPTURE MAP SHOW」関数は、特定の仮想ネットワークインタフェースを物理的ネットワークアダプタからストア内に位置するキャプチャデータ上にマップすることを可能にする。それによって当業技術で公知であるSNORT、TCPDUMP、ARGUS、及び他の科学的調査アプリケーションは、このアプリケーションの機能がライブネットワークアダプタ上で作動した場合と同様の方式でINPCSストア上で作動することが可能になる。それによってキャプチャトラフィックをほぼ実時間の性能レベルで同時に解析するための多数の既存又はカスタム設計の科学的調査アプリケーションの使用が容易になる。ライブネットワークストリームをエミュレートするキャプチャデータに対する仮想インタフェースは、物理的ネットワークアダプタからのキャプチャデータストリームの終端に遭遇すると「停止」イベントを生成し、新しいデータが着信するまで待機することになる。この理由から、以下の指令ラインシーケンスに示すように、データストアへのネットワークトラフィックの同時キャプチャと共にトラフィックがこれらのプログラムに連続して実時間でキャプチャされ、ストリーミングされる間に、これらのアプリケーションをINPCSストア上で無修正形態で用いることができる。
Figure 0004759574
DSCAPTURE関数はまた、以下の指令ラインシーケンス及び表示に示すように特定の仮想インタフェースを物理インタフェースにマップすることを可能にする。
Figure 0004759574
ここで、「DSCAPTURE MAP SHOW」関数は、以下のように表示することになる。
Figure 0004759574
INPCSによって提供される2つの明瞭な型の仮想ネットワークインタフェースが存在する。ifp<#>及びift<#>は、仮想ネットワークインタフェースと呼ばれる。ifp<#>という名称の仮想インタフェースは、ストアの終端に到達するまで最大速度でデータストアからデータを読取る機能を提供する。ift<#>という名称の仮想インタフェースは、データがネットワークからキャプチャされた同一の時間窓でキャプチャデータの時系列再生を提供する。この第2のクラスの仮想ネットワークインタフェースは、データがネットワーク源からライブでキャプチャされた時に呈したものと同じタイミング及び挙動を伴ってこれらのデータを再生することを可能にする。元のタイミング挙動が完全に保持されるために、上述したことは、ネットワーク攻撃及びアクセスの企てを閲覧し、解析することにおいて有用である。DSCAPTURE関数はまた、以下の指令ラインシーケンスのように調査者が検査するのに選択すると考えられる時間、パケット番号、又はデータオフセットのいずれかの点において仮想ネットワークインタフェースをストアの中に索引付けすることを可能にする。
Figure 0004759574
これらの指令は、仮想インタフェース内のどこでキャプチャパケットを読取ることを始動すべきかをユーザが設定することを可能にする。2テラバイトを超えるキャプチャデータを有する大規模システムでは、調査者は、ある一定の日付及び時間で始まるパケットを調べることのみが必要であろう。このユーティリティは、ユーザが仮想ネットワークインタフェースポインタをキャプチャストリーム内の特定位置に設定することを可能にする。従って、仮想装置が開かれると、この装置は、キャプチャストリームの開始点からではなく、これらの位置からパケットを読取り始めることになる。
DSMONユーティリティは、シリアルポート、SSH(セキュアシェルログイン)を通じてINPCS装置に接続した標準Linuxコンソール、atty、又はxtermウィンドウからのINPCS装置のモニタリング、又は当業技術で公知のxterm装置を通じた「Terminal Window」によるINPCS装置のモニタリングを可能にする。このプログラムは、データキャプチャステータス、ストア内のキャプチャデータ、ネットワークインタフェース統計値、及び仮想インタフェースマッピングの総合的なモニタリングを提供する。
図6は、DSMON関数のスクリーンコンソールにおけるメニュー選択肢を表している。ユーザは、ネットワークインタフェース、スロットキャッシュ、ディスクストレージ、スロットチェーン、利用可能な仮想インタフェース、及び併合チェーンに関連する情報を選択し、閲覧することができる。DSMONユーティリティは、全てのネットワークインタフェース、並びにパケット落ち、FIFO及びフレームエラー、受信パケット及びバイト数などを含む関連ハードウエア統計値のモニタリングをサポートする。更に、このユーティリティは、システム内のキャッシュ使用、ディスクストレージ使用、異常形態パケットを記録するキャプチャモニタリング、合計キャプチャパケット、ディスクチャンネルI/O性能統計値、物理ネットワークインタフェースへのスロットチェーンのマッピングを含むスロットチェーン情報、特定アダプタにチェーン接続したスロット数、パケットチェーンがスロット内に格納された日付及び時間及びそれらの関連チェーン、仮想インタフェースマッピング、仮想インタフェース設定、及び非対称経路指定キャプチャトラフィック、光スプリッタ構成からキャプチャされて併合されたトラフィックのサポートのための併合スロットチェーンをモニタする。
下記の説明は、このユーティリティによってINPCS電子機器及び独立型ソフトウエアパッケージからネットワーク管理者及び科学的調査の調査者に提供される情報の一部を詳述するいくつかのDSMONパネルからの一般的な抜粋である。
図7は、ネットワークインタフェースのステータスを示すDSMONユーティリティによって生成される一般的な表形式レポートを表している。この表示は、ネットワークインタフェースの識別、装置の型、「インターネット」アドレス、ハードウエアアドレス、同報通信の型、最大伝送単位(MTU)設定、割り込みステータス、回線/リンクステータス、パケット受信速度、バイト受信速度、受信パケット及びバイトにおける最大バースト速度、パケット落ち、合計キャプチャパケット及びバイト、バッファ落ちに関する総合情報を提供する。これらの情報を用いることにより、ユーザに対して、キャプチャデータの保全性のみならず、発生する可能性があるネットワーク問題の障害追求を保証することができる。
図8は、INPCSのディスクストレージのステータスを示すDSMONユーティリティによって生成された一般的な表形式レポートを表している。この表示は、刻時、ディスク情報、スロット情報、並びにクラスター及びブロック割り振り、データ及びスロットの開始点、論理ブロックアドレス指定に関するデータを含むディスクストレージに関する総合情報を提供する。
図9は、スロットチェーンのステータスを示すDSMONによって生成された一般的な表形式レポートを表しており、各スロットは、所定のキャプチャデータセグメントを呈している。この表示は、INPCSの作動時間、能動スロットチェーン、及びこれらの始動時間及びサイズに関する情報を提供する。
INPCSデータレコーダは、データストア内のスロット及びスロットチェーンからLIBPCAPフォーマットファイルを動的に発生するカスタム「仮想ファイルシステム(DSFS)」を通じてキャプチャデータを公開する。これらのデータは、標準のファイルシステムアクセス方法のあらゆるものを通じてアクセスすることができ、キャプチャデータをコピー、保存、及び検査するか又はLIBPCAPフォーマットをサポートするあらゆるプログラム又はアプリケーションの中にインポートすることを可能にする。デフォルトでは、INPCSシステムは、以下のように「Linux仮想ファイルシステム(VFS)」インタフェースの下で新しいファイルシステム型を公開する。
Figure 0004759574
DSFSは、装置ベースのファイルシステムとして登録され、標準「System V」Unix(登録商標)システム及び「System V」Unix(登録商標)の指令構造をエミュレートするためのシステムの下で装着指令を通じて標準ファイルシステムとして装着される。このファイルシステムは、NFS、SAMBA、InterMezzo、及びLinuxオペレーティングシステムの標準配分によって提供される他のリモートファイルシステムアクセス法のようなプロトコルを通じてリモートユーザに対して公開することができる。それによってDSFSファイルシステムは、Windows(登録商標)及びUnix(登録商標)ワークステーションクライアントが中央ロケーションからリモートにアクセスすることが可能になる。
DSFSは、下記の指令ラインシーケンスに示すようにオペレーティングシステム及びリモートユーザに対してLinuxオペレーティングシステムの下でサポートされる単に別の型のファイルシステムとして見える。
Figure 0004759574
図10は、DFSファイルシステム構造を概略的に表している。DSFSファイルシステムは、ユーザスペースからの読取専用ファイルシステムである。しかし、このDSFSファイルシステムは、確かに、このシステムの指定されたエンドユーザに対して特定のファイル許可を割り振るためにchmod及びchown指令をサポートする。それによって選択された個人がDSFSファイルシステムに含まれるファイルに個々のベースでアクセスすることを中央管理者が許可することが可能になり、1人よりも多い「ネットワーク科学的調査の調査者」を有する「ネットワークセキュリティオフィス」によって使用が目論まれる場合には、システムを構成し、管理するためのより高い自由度が許される。
下層のキャプチャエンジンサブシステムのみが、DSFSファイルシステム内のデータを書込み、変更することができる。特定ファイルへのユーザ許可の割り振りを超えては、DSFSは、システム管理者を含むあらゆるユーザによるキャプチャデータの変更を禁止する。証拠の原則が必須である犯罪又は民事法手続きにおいてキャプチャデータが用いられる場合には、上述のことによって格納の継続性を目的としてキャプチャデータの保全性が保証される。
デフォルトでは、DSFSファイルシステムの読取−書込の性質は、ユーザスペースからシステムにアクセスするユーザに対しては読取専用であり、以下の指令ラインシーケンス例に示すように、Unix(登録商標)の「df」指令は、書込みに対してストアを常にアクセス不可として報告することになる。
Figure 0004759574
DSFSファイルシステムは、以下のディレクトリ構造の中に編入される。
Figure 0004759574
デフォルトでは、DSFSは、ルートDSFSディレクトリ内のキャプチャスロットチェーンをシステム内のアダプタ番号及び名称によってLIBPCAPファイル内に含まれる完全なパケットチェーンとして公開する。キャプチャアダプタがチェーン内に複数のスロットを含む場合には、データは、PCAPフォーマットの大きな連続ファイルとして表され、個々のスロットは、透過的に互いにチェーン接続される。これらのファイルは、ローカル又はリモートのいずれからも開くことができ、LIBPCAPフォーマットデータを読取るように設計されたあらゆるプログラムに読取ることができる。
これらの主スロットチェーンは、実際には開始及び終了の日付及び時間によって注釈を付けられた個々のスロットのサブチェーンから成る。デフォルトでは、各アダプタに対して作成される2つのファイルが存在する。1つのファイルは、ネットワークトラフィックの完全なペイロードを含み、別のファイルは、フレームに分割されている。フレーム分割は、各キャプチャパケットの最初の96バイトのみを表し、殆どのネットワーク解析ソフトウエアは、ネットワークヘッダのペイロードだけに関心があり、パケット内の関連データには関心がない。完全なネットワークペイロードを必要としないアプリケーションに対しては、フレーム分割ファイルが利用可能であるために、両方のファイルを提供することにより、ネットワーク解析作業中にネットワークを通じてリモートに転送されるデータ量は減少する。
また、DSFSボリュームのルートディレクトリ内に示されている各スロットチェーンを含む個々のスロットを表すいくつかのサブディレクトリが存在する。これらのディレクトリは、キャプチャデータを考察するより大まかな方法を可能にし、スロット及びネットワークアダプタ名と共に各個々のスロット内に含まれるパケットに対する開始及び終了キャプチャ時間によって格納される。全てのパケットデータの完全なネットワークペイロードを表す「slots」と呼ばれるディレクトリ、及びフレーム分割フォーマットの同じスロットデータを表す「slice」と呼ばれるディレクトリが作成される。これらのスロットファイルは、下層のDSFSデータストアから作成される動的生成LIBPCAPファイルでもある。
eth1に対する完全なペイロードを有する個々のスロットを有するSLOTSディレクトリエントリは、以下の指令ラインシーケンスにおけるもののように表現されることになる。
Figure 0004759574
eth1に対するフレーム分割されたペイロードを有する個々のスロットを有するSLICEディレクトリエントリは、以下のように表現されることになる。
Figure 0004759574
これらのファイルは、以下のようにDSFSファイルシステムからTCPDUMP又は他のあらゆるLIBPCAPベースのアプリケーションの中にインポートすることができる。
Figure 0004759574
主スロットチェーンファイルもまた、以下の指令ライン例に示すように、同様の方式でルートDSFSディレクトリからインポートすることができ、後の科学的調査解析に向けて単純なシステムファイルとしてローカル又はリモートのターゲットディレクトリにコピー及び保存することができる。
Figure 0004759574
また、キャプチャネットワークトラフィックを保存するために、以下の指令を用いて他のあらゆるシステムファイルと同様にこれらのファイルをコピーすることができる。
Figure 0004759574
DSFSの「stats」ディレクトリは、DSMONユーティリティを通じて報告される情報と同様の特定の統計情報によって動的に更新されるテキストファイルを含む。これらのファイルは、開いてコピーすることができ、それによって次に示すように特定の時間間隔におけるINPCSシステムのキャプチャ状態の寸見を提供する。
Figure 0004759574
例えば、slot.txtというファイルは、DSFSシステム内の全てのスロットバッファの現在のキャッシュ状態を含み、以下の指令ラインシーケンスによって単純なテキストファイルとして表示及びコピーすることができる。
Figure 0004759574
Figure 0004759574
更に、既存の「merge」ディレクトリは、キャプチャデータの非対称経路指定トラフィック及び光タップ構成のサポートに向けて併合スロットチェーンを提供するためにファイルを動的に作成することを可能にする。
ネットワークインタフェース指令をサポートする標準アプリケーションの全ては、仮想ネットワークインタフェースの使用を通じてINPCSと共に実施することができる。図11は、当業技術で公知であるいくつかの標準ネットワーク解析及び科学的調査ツールに関連したINPCSの使用を表している。TCPDUMPは、以下の指令ラインシーケンスのように「仮想ネットワークインタフェース」を利用することによってINPCS上で作動するように構成することができる。
Figure 0004759574
SNORT侵入検出システムは、INPCS電子機器によって提供される仮想ネットワークインタフェースの同様の使用を通じてINPCSデータレコーダ上でソフトウエア変更なしで作動することができる。「仮想インタフェース」は、格納データの終端に到達すると停止するので、SNORTは、INPCS電子機器内にキャプチャされ、格納されたデータが蓄積する時に、このデータを実時間で読取りながら背景で作動することができる。SNORTを起動し、初期化するための手順は、以下の指令ラインシーケンス及び表示に示すように表現される。
Figure 0004759574
Figure 0004759574
Figure 0004759574
Figure 0004759574
Figure 0004759574
図12は、INPCSの内部システムアーキテクチャを表している。本発明のこの実施形態では、本発明は、ギガビット毎秒の回線速度でネットワークトラフィックをキャプチャして格納する不揮発性(ディスクに書き込まれる)キャッシュとして扱われるストレージセグメントの高速オンディスクLRUキャッシュとして設計される。このアーキテクチャは、ファイバチャンネル又は10GbE(10ギガビット)(SCSI)「イーサネット(登録商標)」ネットワーキング技術を利用してストレージクラスター内の複数のノードにわたってスロットキャッシュセグメントをストライピングし、分散させる機能を提供するように更に高められる。スロットストレージセグメントは、システムストレージ内のクラスターベースのマッピング層に相応にマップされる大きな個別のキャッシュ要素としてシステムメモリ内に割り振られ、維持される。これらのスロットキャッシュセグメントは、このセグメントが特定のネットワークセグメントからキャプチャされたパケット及びネットワークペイロードデータを含む対象であるネットワークインタフェースに基づいて、不揮発性(ディスク)ストレージ上の長いチェーン又はリンクリストの中に取り付けられる。
本発明はまた、標準ファイルシステム及びオペレーティングシステムの中へのネットワーク装置インタフェースを通じたキャプチャデータの高速トラフィック再生成及びキャプチャデータの検索を可能にする。この柔軟な設計は、特殊インタフェース及びAPI(アプリケーションプログラミングインタフェース)を必要とせずにユーザスペースアプリケーションがネイティブファイルフォーマット及びネイティブ装置サポートフォーマットのキャプチャデータにアクセスすることを可能にする。
データは、ネットワークアダプタのリングバッファメモリの直接DMAマッピングを通じてキャプチャアダプタから揮発性(メモリ)スロットキャッシュバッファの中にストリーミングされ、揮発性キャッシュが一杯になり、オーバーフローすると同時に不揮発性(ディスク)の中にフラッシュされる。各スロットキャッシュセグメントは、時間ベースであり、開始時間、終了時間、サイズ、及びチェーンリンケージメタタグを有し、更に、自己注釈付け及び自己説明のネットワークトラフィックストレージユニットである。スロットキャッシュセグメントが完全に占有されて、スロットキャッシュストレージシステムが一杯になると同時に、スロットチェーン内の古いセグメントは上書きされるか又は長期保存ストレージの中にプッシュ/プルされる。
本発明は、キャプチャネットワークトラフィックの格納及び保存のために2つの基本ディスクパーティションタイプを用いる。これらのオンディスクレイアウトは、キャプチャネットワークトラフィックをディスクに書き込むための不揮発性(オンディスク)ストレージキャッシュへの高速I/Oトランザクションを容易にする。本発明では3つの基本パーティションタイプを実施する。0×97、0×98パーティションタイプ、及び0×99パーティションタイプは、当業技術で公知である。
パーティションタイプ0×97パーティションは、ライブネットワーク媒体からキャプチャされている能動データを格納するためにシステムによって用いられる。パーティションタイプ0×98パーティションは、各「基本」キャプチャパーティションに対して128テラバイトまでのディスクストレージに及ぶことができる大きなオンディスクライブラリキャッシュの中にキャプチャネットワークトラフィックを保存するために用いられる長期ストレージである。タイプ0×97パーティションは、各パーティション上に位置する「ディスクスペース記録」ヘッダによって説明される。
「ディスクスペース記録ヘッダ」は、タイプ0×97パーティションのブロックサイズ、パーティションテーブルレイアウト、及びスロットストレージレイアウトを説明する。「ディスクスペース記録ヘッダ」は、タイプ0×97ストレージパーティション又はタイプ0×98ストレージパーティションのいずれかのストレージ範囲を定めるために以下のオンディスク構造を用いる。
Figure 0004759574
Figure 0004759574
Figure 0004759574
Figure 0004759574
「ディスクスペース記録」はまた、メンバーシップクラスターマップ内に格納される作成及びメンバーシップID情報に基づいて複数のタイプ0×97又はタイプ0×98パーティションからの「ディスクスペース記録」をチェーン接続することを可能にし、それによって複数のタイプ0×97パーティションの単一の論理ビューの作成が可能になる。それによってシステムは、設定済みのタイプ0×97パーティションをストライプセットの中に連結することが可能になり、複数の装置にわたってデータストライピングがサポートされ、それによってディスクチャンネル性能が劇的に改善する。
更に、「ディスクスペース記録」は、メタデータ及び仮想「ディスクスペース記録」セット内でスロットキャッシュバッファチェーンを管理するために用いられるチェーン接続テーブルのために内部テーブルレイアウトを定義する。「ディスクスペース」記録は、スロットストレージをスロットストレージ要素の論理ファイル及びファイルチェーンとして表すためにDSFSファイルシステムによって用いられるテーブルを定義するテーブルポインタを含む。
「ディスクスペース記録」ベースのストレージは、ストレージパーティションをスロットと呼ばれるディスクセクターの連続領域へと分割する。スロットは、16から2048までの512バイトセクターの64Kブロックを含むことができ、これらのストレージ要素は、順次方式でディスクに格納される。スロットは、索引0で開始し、特定のディスク装置パーティション上の物理ストレージによってバックアップされるスロット数に至るまでの順次位置依存付番手法を通じてアクセスされる。各「ディスクスペース記録」は、スペーステーブルを含む。スペーステーブルは、サイズにおいて、常に、「NUMBER_OF_SLOTS」*(SPACE_TABLE_ENTRY)のサイズである構造の線形リストである。スペーステーブルは、特定のスロットに関するサイズ、リンケージ、及びファイル属性情報を維持し、更に、論理スロットチェーン内の特定スロットの論理チェーン接続及び所有権を格納する。
図13は、物理64Kクラスターの連続リストとしてアドレス指定された「ディスクスペースストアパーティション」を表している。クラスターは、ディスク装置上の128の連続512バイトセクターから成る64K単位のストレージとして定義される。DSFSは、パーティションをクラスターベースのストレージの線形リストとして捉え、ストレージのアドレス指定は、0×97及び0×98パーティションタイプでは、クラスター単位で実行される。全てのディスクアドレスは、ストレージ及びキャッシュの論理64Kクラスター単位に基づいて生成され、マップされる。スロットは、64Kバッファのチェーンで構成され、このチェーンは、「ディスクスペースストア」パーティション又は「仮想ディスクストアパーティション」上の64のクラスターアドレスに相応にマップされる。ストライピングを実行する「ディスクスペース記録」は、DSFS「ディスクスペース記録」メンバのストライプセットを含む様々なパーティション間でクラスターアドレス割り振りをラウンドロビンするアルゴリズムを用いる。
以下のアルゴリズムを用いて、ストライプセットに対する「仮想クラスター」アドレスが生成される。
Figure 0004759574
ストライプメンバ数に対するクラスター番号のモジュールが実行され、ディスク装置パーティションテーブル内のパーティションオフセットの特定のディスクLBAオフセットテーブルの中への索引として用いられ、64Kクラスター番号の相対LBAオフセットが計算される。クラスター番号は、ストライピングされたメンバ数で割算され、特定のストライプセットパーティションの中への物理クラスターアドレス及びセクターLBAオフセットが決定される。
図14は、論理スロットが物理装置上にマップされた「ディスクスペース」記録を表している。「ディスクスペース」記録は、常にDSFSパーティション内の最初のストレージセクターである。DSFSパーティション内のストレージセクターは、設定済みのI/Oブロックサイズ(4K)ページ境界上に常に整合するように計算される。LBAセクターのアドレス指定に対して4K境界上に整合しないパーティションを作成することができる例が存在する。整合ブロックではないパーティションが作成された場合には、DSFSパーティションは、LBA0に対してアドレス可能な整合ブロックに従うように調節される。このアドレス指定整合を実行するアルゴリズムは、I/Oブロックサイズ(4K)整合を強制するために以下の計算を用いる。
Figure 0004759574
この最適化は、ディスクレイアウトに対する全てのI/O要求をディスクI/O層内の4Kページアドレスへと合体させることを可能にする。ディスク装置に対する全ての読取及び書込要求は、4KページとしてのI/O層を通じて実行される。図15は、16〜2048のセクターの連続実行として格納されたスロットキャッシュバッファを表している。セクター実行サイズは、コンパイル時間選択肢として構成することができる。DMAアドレスの単一の分散−集合リストを伝送する合体した要求で、かつセクター順にI/Oに対するスロットが提出され、その結果、物理装置上の最短ヘッド移動及び大きな合体したI/O機能を生じる。
「ディスクスペース記録」(DSR)は、調節済み「ディスクスペース記録」パーティションの最初のクラスターを占有することになる。DSRは、クラスターオフセットを「スペーステーブル」の位置の仮想「ディスクスペースストア」の中に記録し、任意的に0×98パーティションタイプでは、「名称及びマシンテーブル」の位置も同様である。また、「仮想ディスクスペースストアパーティション」上でスロットストレージ領域がどこで始まるかを示すクラスター記録が存在する。
DSRはまた、スロットチェーンヘッド及びテールポインタのテーブルを含む。このテーブルは、データを個々のスロットチェーンにストリーミングしている物理ネットワークアダプタにマップされるスロットチェーンを作成するために用いられる。このテーブルは、「ディスクスペース記録ストア」毎に最大で32のスロットチェーンをサポートする。これは、0×97基本キャプチャパーティションタイプは能動「キャプチャパーティション」毎に同時に32までのネットワークアダプタストリームを保存することができることを意味する。
タイプ0×98の「保存ストレージパーティション」は、「名称テーブル及びマシン」テーブルを用い、これらは、ネットワークトラフィックの長期の格納及び保存に向けて基本キャプチャパーティションからのスロットを格納するために用いられ、更に、ホストマシン名及び基本キャプチャパーティションからの名称付け及びメタタグ付け情報を記録する。図16は、タイプ0×98パーティションにおける「名称テーブル」及び「マシンテーブル」の使用を表している。スロットが基本キャプチャパーティションからストレージパーティションに保存される場合には、インタフェース名及びマシンホスト名が保存ストレージパーティション上の名称テーブル及びホスト名テーブルに追加される。これは、複数の基本キャプチャパーティションが、保存及びキャプチャ後の解析に向けて特定のセグメントからキャプチャされたネットワークトラフィックを大きなストレージプールの中に保存するために保存ストレージプールを利用することを可能にする。
保存ストレージは、共通のスロットセグメントのプールとして複数の「ネットワークキャプチャ電子機器」にマップすることができる。保存ストレージプールはまた、このアーキテクチャを用いてストレージ区域へと再分割することができ、ターゲットセグメントからの階層キャッシュ及び保存ネットワークトラフィックとして、数ヶ月又は数年に至るまで積み重ねることができる。
個々の「スロット」アドレスは、以下のアルゴリズムに基づくパーティションサイズ、スロット数、ストレージ記録クラスターサイズ、及びリザーブ済みスペースに基づいて「ディスクスペースストア」にマップされる。
Figure 0004759574
スロットデータの開始は、タイプ0×97パーティションでは、スペーステーブルの最終クラスターの直後、タイプ0×98パーティションでは、マシンテーブルの最終クラスターの直後の論理クラスターアドレスである。スロットは、スロット番号から導出されたマッピング済みスロットクラスターアドレスで始まるセクターの連続実行としてディスクストレージ装置から読み取られ、そこに書き込まれる。
スロットは、ネットワークストレージの単位を定義し、各スロットは、スロットヘッダ及び64Kクラスターのチェーンを含む。スロットのオンディスク構造は、キャッシュのインメモリ構造と同様であり、メモリ及びオンディスクスロットキャッシュの両方は、DSFSによってLRU(最長時間未使用)キャッシュの特殊形式として捉えられ、扱われる。
スロットヘッダは、スロットのコンテンツ及び構造並びに64のクラスターのこのスロットに対応するチェーンを説明するメタデータを格納する。図17は、64Kのクラスターを含むスロットストレージ要素レイアウトを表している。スロットヘッダは、文字バイトストリームとしてバッファを指し、更に、スロット内のバッファ索引の中への開始索引:オフセット対を維持する。図18は、データを含むスロットバッファへのスロットヘッダ及びポインタシステムを表している。スロット内のバッファは、スロットバッファセグメント内に含まれる最初のバッファ要素に対してゼロという索引が付けられる。スロットは、16〜2048のバッファ要素を有することができる。スロットはまた、パケット全探索のためにブロック指定の方法を提供し、それによってネットワークパケットは、索引:オフセット対に基づいて飛び越すことが可能になる。この索引:オフセット対は、ファイルシステム層によってスロットセグメントの中へのパケット毎の仮想索引として扱われる。
スロットバッファヘッダは、スロットセグメントバッファ内の最初の索引:オフセット対及び最終索引:オフセット対を指し、更に、有効スロットデータを含むことが公知であるバッファ索引のビットマップを含む。これらの索引は、まばらなスロット(ネットワークパケットデータによって完全に占有されていないスロット)をメモリの中に効率的に読取るためにI/Oキャッシュ層によって用いられる。
スロットバッファサイズは、アルゴリズムが適正に機能するために下層ハードウエアに適合すべきである。本発明の高い性能は、ネットワークアダプタ装置リングバッファの中への事前ロードアドレスの充填について説明する技術から導出される。ネットワークアダプタは、能動リング又はテーブルをアダプタ上に事前ロードすることによって作動し、バッファアドレスのメモリアドレスは、着信ネットワークパケットを受信する。アダプタは、受信するパケットがどれ程大きいかを予め把握することができないために、事前ロードされるアドレスは、少なくともアダプタがサポートすることになる最大パケットサイズと同程度であると仮定すべきである。ネットワークルータ又はスイッチによって生成されるVLAN(仮想LAN)ヘッダにより、バッファは、最大パケットサイズを超えることができるために、DSFSによって用いられるアルゴリズムは、少なくとも(PACKET_SIZE+1)の自由スペースが事前ロードバッファに対して利用可能でなければならないと常に仮定する。
ネットワークアダプタは、次に利用可能な索引:オフセット対に基づいてDSFSスロットキャッシュからアダプタの中にバッファを割り振る。バッファは、割り振り中に全体を通して循環される索引アドレスの線形リストとして維持され、それによって全てのリングバッファエントリをメモリ内のバッファアレイ(すなわち、スロットセグメント)から事前ロードすることが可能になる。すなわち、バッファ要素が受信され、放出されるに従って、上述のことを保証するためにスロットバッファ数は最小値において(NUMBER_OF_RING_BUFFERS*2)でなければならず、アダプタは、所定のリングバッファに対して割り振られた過剰なバッファを有するスロットセグメントを受けて停止することなく、常に新しい事前ロードバッファを取得することになる。
リングバッファのリングバッファ事前ロード/放出挙動は、ネットワークアダプタ内で常に連続的であるので、このモデルは、非常に良好に機能し、バッファチェーンが折り返すと、アダプタのリングバッファは、バッファを事前ロードし続けることになり、割り込みを受信して、自由な残留ネットワークパケットは、オペレーティングシステムに放出される。図19は、「e1000アダプタリングバッファ」からのLRUベースでのスロットキャッシュ要素の順次ロードを表している。これは、ネットワークアダプタ上のDMAエンジンを利用し、ネットワークデータをコピーせずにスロットバッファセグメントの中にネットワークトラフィックを移動させる影響を有する。
バッファがスロットキャッシュ要素から割り振られ、アダプタリングバッファメモリの中に事前ロードされると、バッファヘッダは、その特定のバッファに対するメモリ内で固定され、その後の割り振り要求は、アダプタから事前ロード要素を受信するまでは、このバッファを飛び越すことになる。
これは、受信バッファサイズが未知であることから必要である。事前ロードバッファをネットワークパケットの最大サイズ(MTU−最大伝送単位)にラウンドロビン割り振りすることは可能であるが、この方法は、スペースを浪費する。本発明では、バッファへのその後の割り振り要求がスペースをより効率的に用いることになるように、事前ロードは、受信までバッファヘッダを固定する。
図20に表しているように、スロットバッファは、スロットバッファリスト内の各バッファ要素からラウンドロビンパターンで割り振られる。次のバッファの中への各要素間でリンケージが維持され、上述のように索引:オフセット対を用いてアクセスされる。これらのリンケージは、格納データのバッファ位置に関する座標アドレスを含み、紛失バッファがキャプチャ装置のリングバッファの中にキャプチャアドレスを事前ロードすることを可能にし、それによってメモリ内にキャッシュされたスロットバッファ要素の中への非常に高いデータ速度での直接DMAアクセスがサポートされる。キャプチャデータを読取ることは、スロットをメモリ内に保持し、格納要素又はネットワークパケットに関する次の索引:オフセットのアドレスペアを指す各要素ヘッダ内の1組のリンケージを通じてこれらの要素を全探索することを必要とする。割り振りアルゴリズムは、以下のようになる。
Figure 0004759574
Figure 0004759574
Figure 0004759574
Figure 0004759574
Figure 0004759574
Figure 0004759574
図21は、パケットが可変サイズであり、スロットキャッシュ要素バッファチェーン内の全ての利用可能バッファスペースを用いるように効率的に格納されている、占有されたスロットバッファの例を表している。これは、アダプタが受信割り込みを通じて割り振り済みの事前ロードバッファを放出し、受信パケットのサイズを通知するまで、この割り振り済み事前ロードバッファからバッファ割り当てを割り振ることで達せられる。続いてバッファは、次の索引:オフセット対に設定され、アダプタのリングバッファの中への事前ロード割り振りに向けて利用可能であるというフラグが立てられる。この手法は、最大量の利用可能スロットキャッシュバッファメモリを浪費することなく用いて、ネットワークパケットを密に詰めることを可能にする。それによってディスクストレージスペースを用いてキャプチャデータのための書込みサイズのオーバーヘッドが低減し、従って、キャプチャ回線速度が改善される。このモデルでは、バイト/秒で表されるネットワークからキャプチャされたデータは、ディスクI/Oチャンネルを通じて書き込まれるデータの実際の書込みサイズとしてより正確に反映される。
「ディスクスペース記録」は、32のエントリのスロットチェーンテーブルを含む。「スロット」チェーンテーブルは、不揮発性システムキャッシュ(オンディスク)内に存在する占有されたキャッシュ要素のチェーンに関する開始及び終了スロット識別子を定義する。「スロットチェーン」テーブルはまた、開始スロットチェーン要素と終了スロットチェーン要素の間の経過時間の加算合計を含む時間領域内に存在するキャプチャネットワークパケットに関する日付範囲を記録する。
スロットが一杯になると、各スロットは、スロットキャッシュ要素内に含まれる最初及び最終のパケットに関する開始及び終了時間を記録する。スロットは、各受信パケットについてUTC時間のみならずマイクロ秒時間間隔で内部的に時間を記録するが、仮想ファイルシステム相互作用におけるこれらのレベルでは、マイクロ秒の時間測定精度を必要としないので、「スロットチェーン及びスペーステーブル」内では、UTC時間のみがエクスポートされ、記録される。
図22は、「スロットチェーンテーブル」及び「スロットスペーステーブル」を略式に表している。スロットチェーンは、ディスクスペース記録構造内に位置するスロットチェーンヘッドテーブル内に示されている。スロットは、スロットチェーン内の各スロットを指すスロットスペーステーブルと呼ばれる順方向リンケージテーブル内で互いにチェーン接続される。スロットがシステム内で互いにチェーン接続されると、ディスクスペース記録内に位置するスロットチェーンテーブル内に開始及び終了時間領域が記録され、これらは、スロットチェーン内に含まれる時間領域を反映する。DSFSファイルシステムは、所定のディスクスペース記録ストア内に存在する全ての格納スロットキャッシュ要素及びスロットチェーンに対して時間領域ベースのものである。不揮発性(オンディスク)スロットキャッシュが完全に占有状態になり、ネットワークトラフィックをキャプチャして保存し続けるためにストア内の最も古いスロットを再利用すべきである時には、スロットリサイクルは、どのスロットがシステムによって再使用されることになるかを判断するためにこれらのフィールドを用いる。
「スロットチェーンテーブル」は、各割り振りスロットチェーンに関する特定情報を記録するために図23に表す内部レイアウトを用いる。ディスクスペース記録は、キャプチャ要素スロットチェーンに関する開始及び終了スロット索引を記録するスロットチェーンテーブルを含む。このテーブルはまた、チェーン内のスロット数及び取り付けられたスロットチェーン内に格納されたデータに関する開始及び終了日付:時間を記録する。
「スロットチェーンテーブル」は、スロットチェーンに関する開始スロットアドレス、スロットチェーンに関する終了スロットアドレス、スロットチェーンを構成する合計スロット数、及びスロットチェーンに関する開始及び終了日付を記録する。日付は、「スロットチェーンテーブル」及び「システムスペーステーブル」の両方において標準UTC時間フォーマットで格納される。
スロットチェーンテーブルは、ディスクスペース記録ヘッダにおける以下のフィールド内に含まれる。
Figure 0004759574
「スペーステーブル」は、システム内の「スロットチェーン」に対するファイル割り振りテーブルとしての役割を達成する。図24は、「スペーステーブル」レイアウトを概略的に表している。「スロットチェーン」は、従来のファイルシステム内のファイルに類似している。「スペース」テーブルは、スロットチェーン内で次の論理スロットを指すフィールド、並びに「スロットキャッシュ要素」内に格納されたパケットに関する開始及び終了日付をUTC時間フォーマットで収容している。
スペーステーブルはまた、動的なファイル再構成のために用いられるメタデータを格納し、このメタデータは、スロットキャッシュ要素内に格納されるパケット数、スロットキャッシュ要素内の合計パケットバイト数、ファイル属性、所有者属性、メタデータヘッダサイズ、及びパケット分割バイトサイズ(デフォルトは96バイト)を含む。
「スペーステーブルエントリ」は、以下の内部構造を用いる。
Figure 0004759574
「スペーステーブルリンケージ」は、「ディスクスペース記録ストア」上のスロットに対応する次のスロットフィールドを変更することによって作成される。「スペーステーブル」エントリは、ストア内のスロット配置に基づいて連続して順序付けされる。「スペーステーブル」の中への索引0はスロット0に、索引1はスロット1に対応し、以下同様である。「スペーステーブル」情報は、2次「ミラースペース」テーブル内にミラーリングされ、同様にスロットに対するスロットキャッシュ要素ヘッダ内にも存在する。それによってたとえ基本及び2次「スペーステーブル」ミラーの両方が失われたとしても、「スペーステーブル」は、スロットストレージから再構成することが可能になり、耐障害性が増加する。
スロット番号アドレススペースは、32ビット値であり、これに対する一意的なディスクスペース記録ストアは、以下のように表現される。
(0xFFFFFFFF 1) = total number of slot addresses.
値0×FFFFFFFFは、EOF(ファイルの終端)マーカとして「スペーステーブル」の次のスロットエントリフィールドのためにリザーブされ、それによって0〜(0×FFFFFFFF−1)の許容スロットアドレス範囲が与えられる。「スロットチェーン」は、特定のスロットチェーンに属するスロットの「スペーステーブル」内でリンクリストとして作成され、維持される。開始及び終了スロット、並びにこれらの時間領域及び終了領域値は、DSR内の「スロットチェーン」テーブル内に格納され、スロット間の実際のリンケージは、スペーステーブル内で維持される。「スペーステーブル」全探索中に、値0×FFFFFFFFに遭遇した時には、このチェーン信号終端に到達している。
DSFSスペーステーブルは、DSFSファイルシステムパーティション内のスロット索引を説明する順方向リンクリストにおける配置チェーン要素を用いる割り振りテーブルを維持する。「ディスクスペース」記録は、メタテーブル及びスロットストレージに対するDSFSパーティションの中への実際のクラスターベースのオフセットを記録する。
図25は、「ディスクスペース」記録のストレージ及び格納スロットに連結した「スペーステーブル」を表している。この例は、要素0〜4を含むスロットチェーンを例示している。「スペーステーブル」索引0は、次のスロットエントリ1を有し、1は2を指し、2は3を、3は4を、更に、4は、0XFFFFFFFFを指す。
ディスクスペース記録ストアが完全に占有されていない通常作動中には、スロットは、特定のDSR上で次の自由スロットが利用可能であることを示しているDSR装着中に構築されたビットテーブルに基づいて割り振られる。スロットが割り振られ、ディスクスペース記録ストアが一杯になると、最も古いスロットキャッシュ要素をストアからリサイクルすることが必要になる。特定のスロットチェーンに関する時間領域情報は、「ディスクスペース記録」ヘッダ内に格納されるので、テーブル内の32のエントリを走査し、スロットチェーンヘッドにおいて最も古いスロットキャッシュ要素の参照先を判断するのは単純な事である。スロットキャッシュが完全に一杯なった場合には、最も古いスロットセグメントは、ターゲットスロットチェーンのヘッドから削除され、揮発性(インメモリ)スロット要素キャッシュからストレージに対して再度割り振られる。
「スロットチェーンヘッド」は、削除されたスロットを反映するために相応に更新され、ストレージは、スロットキャッシュ要素ストレージを割り振った能動スロットチェーンの終了スロットに付加される。図26は、最長時間未使用LRUリサイクル法を用いるオンディスクスロットキャッシュセグメントチェーンを表している。スロットチェーンテーブル内に位置する開始スロットは、スロットキャッシュストレージセグメントの所定の「ディスクスペース記録」における「スロットチェーンテーブル」内の最も古い開始スロットに基づいてスロットチェーンヘッドから削除される。
DSFSディスクスペース記録ストアの初期の装着及びロード中に、ストアは走査され、スペーステーブルは、不整合性に関して走査され、チェーン長及び整合性が検査される。この走査段階中に、システムは、スロットキャッシュ要素ストレージの割り振り及びチェーンを管理するために用いられるいくつかのビットテーブルを構築する。これらのテーブルは、割り振り及びチェーン位置の高速検索及び状態判断を可能にし、ファイルのメタデータ及びLIBPCAPヘッダを動的に発生するためにDSFS仮想ファイルシステムによって用いられる。これらのテーブルはまた、システムがデータ不整合性を修正し、不完全なシャットダウンからの迅速な再起動を行うことを可能にする。
「スペーステーブル」は、特定のDSR上の通常作動中にミラーリングされ、パーティションが一致していることを保証するために最初の装着中に検査される。システムはまた、スペーステーブル内の有効リンケージと共に存在するように反映されたスロットに基づいて割り振りマップを構築する。図27は、「割り振りビットマップ」及び「チェーンビットマップ」テーブル構造を表している。このテーブルが構築された後に、DSFSは、全てのスロットチェーンリンクを検証し、各チェーン要素が全探索される時に注釈を付けられるチェーンビットマップテーブルに対して割り振りを比較する。チェーンが既にビットマップテーブルの中に入っていることが判明した場合には、循環チェーンが検出されたことになり、チェーンは、0×FFFFFFFFの値へと切除される。チェーンリンケージの検証に続き、システムは、割り振りビットマップをチェーンビットマップと比較し、チェーンビットマップテーブル内で有効なリンケージを持たないスペーステーブル内のあらゆるスロットを放出する。それによってシステムは、不適正なシャットダウン又は電力障害によるデータ不正からオフライン(非装着)修理なしで動的に回復することが可能になる。各「スロットチェーンヘッド」は、現在のスロット割り振りのビットマップをその特定のチェーン内に維持する。このテーブルは、リサイクルイベントの後にチェーンの中に古くなったハンドル又はコンテキストを有する可能性があるDSFSに関して実行されるユーザスペース処理により、チェーン内のスロットのメンバーシップを検証するために用いられる。
ユーザスペースアプリケーションは、特定のスロットチェーンに対して開かれたスロットを保持することができ、チェーンは、通常作動中にユーザの下でスロットをリサイクルさせることができる。「スロットチェーン」ビットマップは、DSFS仮想ファイルシステムが既知のスロットオフセット位置を用いて読取りを再試行する前に、チェーン内のスロットのメンバーシップを検証することを可能にする。
揮発性(インメモリ)スロット要素キャッシュは、ディスク上で用いられるスロットキャッシュ要素構造をミラーリングするスロットキャッシュ要素のメモリベースのリンクリストとして設計される。そのフォーマットは、スロットキャッシュ要素を説明したインメモリフォーマットに等しいオンディスクのものである。このリストは、スロットキャッシュ要素に対するスロットバッファヘッダ内に組み合わされる3組のリンケージを通じて維持される。スロットキャッシュ要素の構造は、以下のようになる。
Figure 0004759574
Figure 0004759574
スロットキャッシュ要素を説明するスロットバッファヘッダは、4つの個別のリストのメンバである。第1のリストは、主割り振りリストである。このリストは、システム内の全てのスロットバッファヘッドのリンケージを維持する。このリストは、スロット要求のエージングを得るためにスロットLRUリストを全探索し、通知スロットのI/O処理依頼を書き込むために用いられる。スロットバッファヘッダはまた、スロットハッシュリスト内に存在することができる。図28は、スロットLRUバッファ要素をマップするためのスロットハッシュテーブルの使用を表している。このリストは、システム内で現在キャッシュされているスロットハッシュを保持するために拡張可能ハッシュアルゴリズムを利用する索引付きテーブルである。このリストは、システムからの番号によるスロットの高速参照を可能にし、更に、このリストは、ユーザスペースからDSFSファイルシステムへの主表示ポータルである。スロットが有効IDを有するハッシュリスト内に存在しない場合には、このリストは、スロットの初期開放作動中にはアクセスすることができない。
LRUリストは、どのスロットバッファヘッダが最後に接触されたかを判断するためにDSFSによって用いられる。スロットバッファヘッダへのより直近のアクセスの結果、そのスロットバッファヘッダは、リストの先頭に移動される。有効データを有し、ディスクにフラッシュされ、アクセスされていないスロットキャッシュ要素は、経時的にこのリストの最後尾に移動する傾向がある。システムが、新しいスロットに向けて揮発性スロットのLRUキャッシュに対する読取要求又は書込要求のいずれかのためにスロットキャッシュ要素及びその関連スロットバッファヘッダを再割り振りする必要がある場合には、キャッシュアルゴリズムは、固定されておらず、アクセスされてきておらず、ディスクへのフラッシュが完了しているスロット内の最も古いスロットを選択することになり、このスロットから日付を戻すことになる。ユーザスペースからの読取要求のイベントでは、スロットがスロットハッシュリスト内に存在しない場合は、このスロットは追加され、最も古いスロットバッファヘッダは、キャッシュから追い出され、キャッシュは、ユーザスペース読取装置から要求されるスロットをロードするために読取I/Oに向けてスケジュール化される。
図29は、揮発性及び不揮発性スロットキャッシュからスロットデータを読取るか又は書込む要求を表している。ネットワークパケットをユーザスペースアプリケーションの中に読取るためにスロットを開ける要求を処理依頼するために「p_handle」が用いられる。スロットが既にメモリ内に存在する場合には、「p_handle」は欠損部を開き、スロットデータの終端に到達するまでパケットを読取る。スロットがLRUキャッシュ内に存在しない場合には、最長時間未使用スロットキャッシュバッファはリサイクルされ、不揮発性(オンディスク)キャッシュストレージからスロットを充填するためにディスクに非同期読取の処理を依頼する。
開いており、かつネットワークパケットをキャプチャしているネットワークアダプタは、空のスロットバッファヘッダを割り振り、アダプタがキャッシュからスロットLRU要素を割り振る方法を示す図30に表されたアルゴリズムに基づいて、LRUキャッシュからスロットキャッシュ要素及びその関連バッファチェーンを参照する。これらのスロットバッファヘッダは、アダプタが割り振りバッファを放出するまでメモリ内に係止され、固定される。システムは、特定のアダプタリングバッファからアクセスされている現在の能動スロットキャッシュ要素を記録するアダプタスロットテーブルを通して割り振りスロットバッファヘッダを追跡する。
ユーザスペースからの読取装置が、ターゲットスロットのリサイクル段階の間にスロットバッファヘッダ及びその関連スロットキャッシュ要素バッファチェーンにアクセスする場合には、スロットLRUは、この層にあるネットワークアダプタが固有のスロットバッファヘッダ及びスロットキャッシュ要素内で同じスロットアドレスを再度割り振ることを可能にする。この処理は、特定のスロットアドレスへの最後のユーザスペース参照が放出されるまで、スロットidがスロットLRUにおいて複製されることを必要とする。これは、ユーザスペースアプリケーションがスロットチェーンからデータを読取っており、スロットストアが完全に一杯になることによってリサイクルされたチェーン内のスロットにアプリケーションが到達する場合にさえも発生する可能性がある。殆どの場合には、スロットは、スロットチェーンの終端に直近のデータを含み、最も古いデータは、スロットチェーンの開始点に位置するので、上述したことは、稀なイベントであると考えられる。
この場合に新しく割り振られたスロットチェーン要素は、LRU内のスロットハッシュリストにおいて基本エントリになり、全てのその後の開放要求は、このエントリに向け直される。このスロットアドレスに対する前のスロットLRUエントリは、−1の値のフラグが立てられてスロットハッシュリストから削除され、このリストは、このスロットLRUエントリをユーザスペースポータルビューからDSFS揮発性スロットキャッシュへと移動させる。前のスロットバッファヘッダへの最後の参照がユーザスペースから放出されると、この前のスロットバッファヘッダは、スロットLRUから追い出され、書込に向けてのアダプタによる再割り振り、又は上位層アプリケーションによるスロット読取に向けてのユーザスペース読取装置による再割り振りのために自由リスト上に置かれる。図31は、最も古いエントリが放出される時のこのエントリのリサイクルを表している。スロットキャッシュバッファがキャプチャストアによってリサイクルされる時に、「p_handle」アクセスからの何らかの参照が存在する場合には、最後の「p_handle」がバッファを放出するまで、前のスロットバッファは、スロットキャッシュ内に固定される。新しい要求は、同じスロット番号を有する新しく割り振られたスロットキャッシュバッファを指している。
オペレーティングシステムによって単一の処理デーモンが用いられ、スロットのLRUスロットバッファヘッダがダーティーであり、データコンテンツがディスクアレイにフラッシュされることを必要とする場合には、セマフォーを通じてこの処理デーモンに信号が送られる。このデーモンは、LRUスロットバッファヘッダ内のエージング刻時を更新し、通知LRU要素のための書込処理を依頼するために、主スロットリストを用いてスロットバッファヘッダチェーンを吟味する。デフォルトでは、LRUスロットバッファヘッダは、以下の状態を有することができる。
Figure 0004759574
「L_POST」又は「L_REPAIR」とフラグが立てられたエントリは、不揮発性ストレージに即時に書き込まれる。「L_DIRTY」とフラグが立てられたエントリは、システムストアに30秒間隔でフラッシュされる。「L_DIRTY」スロットバッファヘッダに関するスペーステーブルへのメタデータの更新は、特定スロットアドレスのフラッシュと同期される。「L_LOADING」とフラグが立てられたスロットバッファヘッダは、非同期読取I/Oを利用する読取要求である。「L_HASHED」は、スロットアドレスを意味し、スロットバッファヘッダは、スロットハッシュリスト内にマップされ、開放、読取、及び閉鎖要求においてユーザスペースアプリケーションによるアクセスが可能である。
図32は、DSFS仮想ファイルシステムを表している。DSFS「仮想ファイルシステム」は、スロットキャッシュ要素をファイルとし、更に、スロットキャッシュ要素チェーンをファイルとして、ユーザスペースオペレーティングシステム環境にマップする。DSFSはまた、ファイルシステムインタフェースを用いるユーザスペースアプリケーションに対してこれらのデータを未処理のスロットフォーマットで公開する機能を有し、又はLIBPCAPファイルフォーマットを動的に発生する。更に、DSFSは、ファイルシステム及びキャプチャの重要統計値を外部アプリケーションに対してバイナリ及びテキストベースのフォーマットで読取ることができる仮想ファイルとして公開する。「仮想」ファイルシステムは、特定スロットがユーザスペースに対してスロットデータの複数表示を公開することを可能にする仮想ディレクトリ構造を利用する。
ディレクトリレイアウトは、open()、read()、write()、lseek()、及びclose()システム呼び出しを通じて全てアクセス可能であり、すなわち、スロットチェーンはまた、仮想ファイルとして公開され、また、キャプチャネットワークトラフィックの全てのスロットチェーンを読取るために標準のシステム呼び出しを用いることもできる。LIBPCAPは、これらのデータを様々なユーザスペースアプリケーション、ネットワーク科学的調査モニタリング、及び障害追求ツールに対して動的にエクスポートすることを可能にする。
DSFSファイルシステムは、「P_HANDLE」構造を利用してスロットキャッシュ要素又はスロットキャッシュ要素チェーンの固有のビューを作成する。「P−HANDLE」構造は、個々のスロットキャッシュ要素ではなく、スロットチェーンがアクセスされている場合には、「スロットチェーン」テーブルの中へのネットワークインタフェースチェーン索引、及び現在のスロットアドレス、スロット索引アドレスを参照する特定のコンテキスト、並びにスロットチェーン内のオフセットを記録する。
「P_HANDLE」構造は、以下のように説明される。
Figure 0004759574
Figure 0004759574
「P_HANDLE」構造はまた、階層的であり、「P_HANDLE」コンテキストが複数のスロットキャッシュ要素に並列で動的にマップされることを可能にし、それによってキャプチャネットワークトラフィックの時間領域ベースの併合が容易になる。別々のネットワークセグメントにわたって非対称に経路指定されたTX/RXネットワークトラフィック、又は光スプリッタの使用を含む状況の場合には、ネットワークTX/RXトラフィックは、潜在的に2つの別々のネットワーク装置から格納することができ、これらの装置は、実際には単一のネットワークトラフィックストリームを呈している。
階層的「P_HANDLE」コンテキストでは、各々がスロットチェーンの中へのその固有のビューを有する一連の開放「p_handle」を用いて各スロットチェーンから最も古いパケットを選択することにより、いくつかのスロットチェーンを単一チェーンに動的に組合せることができる。それによって複数のネットワークからキャプチャされたネットワークトラフィックの併合が容易になる。本方法はまた、システム内の全てのネットワークインタフェースからの侵入検出システムのようなネットワーク科学的調査アプリケーションの実時間解析に向けて、システムによってキャプチャされる全てのネットワークトラフィックを単一のパケットストリームの中に集合させることを可能にする。
図33は、時間領域の索引付けに基づくスロット併合における「p_handle」コンテキストポインタの使用を表している。DSFSファイルシステムは、併合ディレクトリと呼ぶ特殊ディレクトリを提供し、このディレクトリは、単一のキャプチャスロットチェーンの中への固有のビューの中に「P_HANDLE」コンテキストポインタをマップするファイルをユーザスペースアプリケーションが作成することを可能にし、又は論理的に単一のスロットチェーンとして見えるように組み合わされたいくつかのスロットチェーンの併合ビューをユーザスペースアプリケーションが作成することを可能にする。
指令は、作成されるファイル名の中に直接組み込まれ、DSFS仮想ファイルシステムによって構文解析され、「P_HANDLE」コンテキストを指定されたスロットチェーン内の特定の索引位置に割り振ってマップするために用いられる。指令言語のフォーマットは、以下のようにより完全に定義される。
Figure 0004759574
ここで、<int0>は、スロットチェーンの名称又はチェーン索引番号であり、<D>dateは、以下の構文内でフォーマット設定される開始又は終了のいずれかの日付、又は併合された一連のスロットチェーンの日付及び終了サイズである。指定されたスロットチェーンの中へのビューを作成するためにタッチ指令を用いることができる。閲覧を望む開始及び終了日付範囲を用いてファイルを作成するには、以下のように入力する。
Figure 0004759574
開始日付を用いてある一定のサイズに制限されるファイルを作成するには、以下のように入力する。
Figure 0004759574
また、インタフェース名としてインタフェース番号を用いることもできる。これは、基本パーティション上にキャプチャされたデータを読取る機能を保持しながら、その一方で、インタフェースを改名することを可能にするためにサポートされており、例として以下のデータセット及びそれらのそれぞれの指令ラインエントリを含む。
eth1及びeth2上で2004年8月2日14:15:07から2004年8月2日14:15:08までの1秒間の期間にわたってキャプチャされた全パケット:
touch eth1:eth2−08.02.2004.14.15.07:d−08.02.2004.14.15.08:d
eth1上で2004年8月2日14:15:07から指定されたデータ範囲の<size>に至るまでの期間にわたってキャプチャされた全パケット:
touch eth1−08.02.2004.14.15.07:d−300000:s
eth1(11)において2004年8月2日14:15:07から2004年8月2日14:15:08までの1秒間の期間にわたってキャプチャされた全パケット:
touch 11−08.02.2004.14.15.07:d−08.02.2004.14.15.08:d
eth1(11)において2004年8月2日14:15:07から指定されたデータ範囲の<size>に至るまでの期間にわたってキャプチャされた全パケット:
touch 11−08.02.2004.14.15.07:d−300000:s
「P_HANDLE」コンテキスト構造はまた、ユーザスペースへの仮想ネットワークアダプタを作成するためにユーザスペースインタフェースを通じて用いられ、ユーザスペースアプリケーションに対しては、図34に表す物理アダプタとして見える。DSFSは、eth0のような物理ネットワークアダプタを得るために「p_handle」コンテキストをキャプチャスロットにマップすることを可能にし、キャプチャストアがあたかも物理ネットワークであるかのようにユーザスペースアプリケーションがこのキャプチャストアから読取ることを可能にする。この手法の利点は、パケット損失のない性能に関するものである。このアーキテクチャでは、DSFSキャプチャシステム内のI/Oサブシステムは、ユーザアプリケーションを通じたネットワークキャプチャに有利に働くように構築されている。仮想ネットワークインタフェースをエクスポートすることにより、ユーザスペース侵入検出システムは、アプリケーションをハードウエア装置に直接マップすることなく作動することが可能になる。また、それによってネットワークパケットがディスクアレイにストリーミングされるのに並行して、ユーザアプリケーションが背景でキャプチャネットワークパケットを処理することが可能になる。それによってシステム上のネットワーク負荷がより能動的になる時に、アプリケーションは、単純にスリープ状態に留まることができるので、侵入検出アプリケーションのパケット損失を伴わない著しい性能改善がもたらされる。
また、それによって標準ネットワーク及びファイルシステムインタフェースを用いる全ての公知のネットワーク科学的調査アプリケーションは、実時間性能レベルでのキャプチャデータへのスムーズで統合されたアクセスが可能になり、更に、永久保存のディスクにパケットをストリーミングするマルチテラバイトキャプチャストアを提供すると同時に、専有インタフェースを伴わない実時間解析及びフィルタリングアプリケーションをサポートする。仮想インタフェースは、下層のオペレーティングシステムのソケット層への呼び出しを用いて作成される。ソケットを開く呼び出しの結果、マップされた仮想装置を得るためにキャプチャスロットチェーンにマップされた「P_HANDLE」コンテキストポインタが作成される。「P_HANDLE」コンテキストをオペレーティングシステムソケットにマップするアルゴリズムは、以下のように説明される。
Figure 0004759574
Figure 0004759574
Figure 0004759574
Figure 0004759574
Figure 0004759574
Figure 0004759574
Figure 0004759574
Figure 0004759574
仮想装置に対するその後のIOCTL呼び出しは、ストリーム内の次のパケットを戻す。併合スロットチェーンでは、IOCTL呼び出しは、開放スロットチェーンの全アレイにおいて最も古いパケットを戻す。それによって仮想インタフェースifm0及びifm1は、仮想アダプタインタフェースを通じてキャプチャシステムの全ペイロードをユーザスペースアプリケーションに戻すことが可能になる。「P_HANDLE」コンテキストは一意的であり、デフォルトでは、キャプチャスロットチェーン内の時間領域配置に対する仮想インタフェースが開かれている現在の時間に索引付けされる。それによって物理ネットワークアダプタの実際の挙動がミラーリングされる。また、「P_HANDLE」コンテキストを通じて、仮想インタフェースが開かれた現在の時間よりも以前又は以後である時間索引においてスロットチェーン内の開始点を要求することができる。それによってユーザスペースアプリケーションは、キャプチャスロットチェーン上を時間において順方向又は逆方向に移動してネットワークトラフィックを再生することが可能になる。仮想インタフェースはまた、ネットワークデータをネットワークセグメントから実際に受信して保存した厳密なUTC/マイクロ秒タイミングでユーザスペースアプリケーションに対してデータを再生するように構成することができる。
再生は、下層のオペレーティングシステムの「sys_recvmsg」ソケット呼び出しにもフックされたスロット受信イベントにおいて実行され、recvmsgへの呼び出しは、ソケット読取をDSFSスロットキャッシュストアに向け直し、特定の仮想インタフェースアダプタを得るためにマップされたスロットチェーンから読取る。
仮想インタフェースからソケットを読取るというオペレーティングシステムのユーザスペース要求を向け直すための「sys_recvmsg」アルゴリズムは、以下のように説明される。
Figure 0004759574
Figure 0004759574
Figure 0004759574
Figure 0004759574
Figure 0004759574
Figure 0004759574
Figure 0004759574
仮想ネットワークインタフェースマッピングはまた、ポート/プロトコルフィルタの包含/除外マスクを用い、このマスクは、別のIOCTL呼び出しを通じてその構成が設定され、包含/除外ポートのビットテーブルを特定の仮想ネットワークインタフェースにマップする。図35は、スロットキャッシュ要素からのパケットデータを含めるか又は除外するためのフィルタテーブルの使用を表している。これをサポートするアルゴリズムは、ユーザスペースアプリケーションに戻される「sys_recvmsg」ソケットベースのパケットストリームから検索基準に適合しないネットワークパケットをフィルタリングすることになる。それによって所定のポート基準を満たすパケットのみを戻すように仮想インタフェースを構成することが可能になり、これは、HTTP(ウェブトラフィック)を解析することのみを必要とする場合があるアプリケーションにおいて有用である。実際の実施は、システム管理者がユーザスペース内で所定のビットテーブルを作成することを必要とし、次に、これらのテーブルは、DSFSのスロットキャッシュストアにコピーされ、特定の仮想インタフェースアダプタと関連付けられる。フィルタパラメータを満たさないパケットは、ストア内で省略され、ユーザスペースには戻されない。
開放スロットチェーンからのネットワークパケットのフィルタリングを実行するアルゴリズムは、以下のようにより完全に説明される。
Figure 0004759574
Figure 0004759574
Figure 0004759574
Figure 0004759574
Figure 0004759574
Figure 0004759574
Figure 0004759574
Figure 0004759574
仮想ネットワークインタフェースはまた、下流のIDSアプリケーション及びネットワーク障害追求コンソールに対する再生に向けて物理ネットワークセグメント上にキャプチャされたネットワークトラフィックを再生成するために用いることができる。図36は、特定のスロットチェーンにマップされた「仮想インタフェース」を表している。「仮想ネットワーク」インタフェースはまた、特定の包含/除外マスク基準に沿わないネットワークパケットをフィルタリングで除去するために、再生成中にフィルタビットテーブルを用いることができる。「仮想ネットワーク」インタフェースは、最大物理ネットワーク回線速度又はネットワークパケットがキャプチャされたUTC/マイクロ秒タイミングでネットワークトラフィックを再生成するように構成することができる。時間再生仮想ネットワークインタフェース(ift#)は、元のキャプチャタイミングにおけるトラフィックを受信する必要がある下流装置に対してキャプチャトラフィックを再生するために用いられる。未処理「仮想ネットワークインタフェース」(ifp#)は、物理インタフェースによってサポートされる最大回線においてキャプチャされ、フィルタリングされたコンテンツを再生することになる。
仮想インタフェースがストリームの終端(0xFFFFFFFF)に遭遇すると、呼び出しは、スロットチェーンの終端において更に別のパケットを受信するまで割り込み可能システムのセマフォーに基づいてブロックするように機能することになる。キャプチャネットワークトラフィックは、複数の仮想ネットワークインタフェースから単一の物理ネットワークインタフェース上に再生成することができ、フィルタを用いることができる。この実施は、ネットワークトラフィックの無限キャプチャ、下流のIDS電子機器に対する同時再生、及びユーザスペースアプリケーションによるキャプチャネットワークデータの実時間モニタリングを可能にする。
再生成は、物理インタフェースセッションに対する各再生成仮想ネットワークインタフェースのための固有の処理を作成する。この処理は、仮想ネットワーク装置から読取を行い、スロットチェーンを読取る要求からの各返信に基づいてデータを物理インタフェースに出力する。「P_HANDLE」コンテキストは、読取られているキャプチャスロットチェーンの中への固有のビューを有する各固有の再生成セッションにおいて維持される。
再生成処理は、物理セグメント上へのデータ出力を1mb/s(メガビット毎秒)増分に制限するように構成することができる。本発明のこの実施形態は、これらの増分が再生成スレッド毎に1〜10000mb/sの設定可能範囲に及ぶことを可能にする。
再生成段階は、「P_HANDLE」コンテキストを仮想インタフェースアダプタに対してマップする段階、このインタフェースがスロットチェーンの終端に到達するまで能動スロットチェーンからパケットを読取る段階、及び更に別のパケットトラフィックが着信するまでブロックする段階から成る。パケットがスロットチェーンから読み取られる時に、それらは、システム依存伝送単位(Linux上のskb)へとフォーマット設定され、ターゲット物理ネットワークインタフェース上で送信に向けてキューに入れられる。
再生成アルゴリズムは、再生成処理を開始したユーザスペースアプリケーションによって設定された最大バイト毎秒に対して定められた値に対してターゲット物理インタフェースを通じて伝送される合計バイトを測定する。パケット及びプロトコル再生成のこの実施形態は、イベント・ドリブン方法ではなくポーリング方法として装備される。
再生成アルゴリズムは、以下のようにより完全に説明される。
Figure 0004759574
Figure 0004759574
Figure 0004759574
Figure 0004759574
Figure 0004759574
Figure 0004759574
Figure 0004759574
DSFSシステムにおける基本キャプチャ(タイプ0×97)ディスクスペース記録は、FC−ALクラスター化ファイバチャンネル「システム領域ネットワーク」内の複数の「保存ストレージ」(タイプ0×98)パーティションにマップされるように構成することができる。図37は、FC−AL「レイドアレイ」内の複数の保存ストレージパーティション上にマップされたDSFS主キャプチャノードを表している。この構成では、能動スロットのLRUスロットキャッシュ要素は、基本ディスク記録ストアと同様にスロットストレージのリモートプールに並行してフラッシュするようにミラーリングすることができる。このアーキテクチャは、キャプチャスロットを長期ネットワークストレージの中に複製する段階的キャッシュとしての役割を達成する基本キャプチャパーティションを有するSANファイバチャンネルネットワークを通じて、キャッシュストレージの大きなプールを実施することを可能にする。DSFSはまた、当業技術で公知のIntermezzo、Coda、Unison、及び0×97タイプパーティションから0×98パーティションのrsyncのようなユーザスペース複製ファイルシステムをサポートする。
このアーキテクチャは、数日、週、数ヶ月、又は更に数年間までのネットワークパケットデータをオフライン事後解析作業、監査、及びネットワークトランザクション計数用途に向けて保存し、索引付けすることを可能にする。
基本「キャプチャ」パーティションは、スロットストレージを割り振るために用いることができるマップされた保存パーティションのテーブルを含む。スロットがアダプタによって割り振られ、固定され、その後充填される時に、特定の基本ストレージパーティションが保存ストレージパーティションの関連マップを有する場合には、基本キャプチャパーティションは、保存ストレージの中へのデュアルI/Oリンクを作成し、基本キャプチャパーティション及び保存ストレージパーティションの両方に同時に特定スロットのミラー書込みを開始する。保存ストレージパーティション上に位置するスロットチェーンは、2つの基本スロットチェーンのみをエクスポートする。VFSの力学は、複製チェーン(チェーン0)及び保存チェーン(1)内のスロットを表している。
スロットが「保存ストレージ」パーティションから割り振られる時に、それらは、複製パーティションの中に連結される。また、マシンの出所名及び特定スロットに関連するインタフェース情報を識別するために、起点インタフェース名、MACアドレス、及びマシンホスト名も、タイプ0×98パーティション上に存在する追加テーブル内で注釈を付けられる。保存パーティション上でスロットを読取専用に設定して属性を変更することにより、スロットは、複製スロットチェーン(0)から永久保存スロットチェーン(1)に移動する。保存ストレージパーティション上でのスロットリサイクルに向けて適格なターゲットを選択するためのスロット割り振りは、スロット再生に向けて常に複製チェーンを用いるように偏っている。保存スロットチェーン(1)上に格納されたスロットは、所定の保存ストレージパーティションの複製チェーン(0)内の全てのスロットが保存スロットチェーン(1)上のエントリに変換された場合にのみリサイクルされる。両方の場合に、保存ストレージパーティションが完全に占有状態になる時には、最も古いスロットがリサイクルへのターゲットである。それによって科学的調査の調査者には、永久保存に向けて保存チェーン内の特定の重要スロットを固定する機能が与えられる。
図38は、直接DMAを用いて2つの装置に同時にデータを書き込むミラーI/Oモデルの使用を表している。基本キャプチャパーティションは、保存ストレージパーティションへのI/O書込トランザクションの完了に成功したスロットのビットマップを維持する。スロットバッファヘッダ書込がデュアルストレージ位置にミラーリングされると、「書込I/O」作業は、「ディスクスペース記録」内に維持される能動ビットマップ内にタグ付けされる。このビットマップは、装着にわたって維持され、新しいスロットが基本キャプチャパーティション上に割り振られると、個々のエントリは、0にリセットされる。スロットが、基本キャプチャパーティション及び保存ストレージパーティションの両方に首尾よく書き込まれた場合は、ビットが設定される。
ストレージアレイが一時的にオフラインにされる場合には、スロットビットマップテーブルは、システムの利用不能性のためにミラーリングされなかったあらゆるスロットに対して0の値を記録し、オフラインのストレージが能動的になり、スロットキャッシュ要素をターゲット保存ストレージパーティション上に背景処理によって再ミラーリングする場合には、背景の再ミラー処理が生じる。システムはまた、キャプチャスロットを基本キャプチャパーティション上に単純に落とし、保存パーティション群に対してオフラインストレージの発生中に紛失したスロットのミラーリングを試みないように構成することができる。
再ミラーリング中のセクターの順序付けに対するエレベータ・スターベーションの場合を回避するために、スロットは、オペレーティングシステムのブロックI/O層における合体した読取及び書込セクター実行要求の過度の索引付けを阻止するように基本キャプチャパーティションの開始点ではなく最下点で開始される性能の最適化として、逆方向に再ミラーリングすることができる。
図39は、SAN(システム領域ネットワーク)環境におけるキャプチャデータのミラーリングを表している。保存ストレージパーティション(タイプ0×98)をホストするSANが取り付けられたストレージアレイにおけるスロット割り振りは、特定のディスクスペース記録基本キャプチャパーティションにおいてスロットのストライプ割り振り又は連続スロット割り振りが可能になるように構成することができる。ストライプ割り振りは、基本キャプチャパーティションが、この基本キャプチャパーティションにマップされた保存ストレージパーティションの基本キャプチャマップ内の各エントリに対するスロット割り振りをラウンドロビンすることを可能にする。それによっていくつかのリモートファイバチャンネルアレイにわたって平行に、ある一定のスロット細分性で分散書込をストライピングすることが可能になり、書込性能の向上がもたらされる。連続割り振りは、基本キャプチャパーティションを線形方式で保存ストレージパーティションにハードマップする。
オフライン索引付けは、各キャプチャパケットをグローバルに独特な識別子を用いてタグ付けすることによってサポートされ、それによってキャプチャネットワークパケットのパケット単位の高速探索及び検索が可能になる。図40は、キャプチャパケットをタグ付けする方法を表している。これらの索引は、キャプチャ中に構築され、キャプチャ中のネットワークアダプタの送信元MACアドレス、スロットアドレス、及びスロット内のパケット索引、並びにプロトコル及びレイヤ3アドレス情報を組み合わせる。これらの索引は、仮想ファイルシステム内の「/index」サブディレクトリを通じてスロット毎に公開され、スロットキャッシュ要素に位置する「スロットヘッダ」からチェーン接続された64K割り振りクラスター内に格納される。
オフライン索引は、外部アプリケーションがキャプチャネットワークトラフィックに関する索引付け情報をオフラインデータベースの中にインポートすることを可能にし、ユーザスペースの「P_HANDLE」コンテキストポインタを通じてキャプチャネットワークパケットの高速探索及び検索を可能にする。グローバルに独特な識別子は、それがパケットペイロードを取り込んだネットワークアダプタの固有のMACアドレスを組み込んでいるので、一意的であることが保証される。グローバルなパケット識別子はまた、パケット毎にIpv4及びIpv6アドレス情報を格納し、かつIpv4及びIpv6索引付けをサポートする。
INPCS電子機器のハードウエア構成を表す図である。 「INPCS 8×400 電子機器シャーシ」を表す図である。 スイッチポートアナライザ構成におけるINPCS電子機器を表す図である。 非対称経路指定構成におけるINPCS電子機器を表す図である。 インライン光スプリッタ構成におけるINPCS電子機器を表す図である。 DSMONユーティリティに対する一般的なメニューツリーを表す図である。 「ネットワークインタフェース」情報を示す、DSMONユーティリティによって生成された表形式レポートを表す図である。 ディスクスペース情報を示す、DSMONユーティリティによって生成された表形式レポートを表す図である。 スロットチェーン情報を示す、DSMONユーティリティによって生成された表形式レポートを表す図である。 DSFSファイルシステム編成を表す図である。 INPCS電子機器に関する標準の科学的調査及び解析ツールの使用を表す図である。 INPCSの内部システムアーキテクチャの図である。 物理的64Kクラスターの連続リストとしての「ディスクスペース格納パーティション」の図である。 論理スロットが物理装置上にマップされた「「ディスクスペース記録」」を表す図である。 連続実行として格納されたスロットキャッシュバッファを表す図である。 タイプ0×98パーティションにおける「名称テーブル」及び「マシンテーブル」の使用を表す図である。 64Kクラスターを含むスロットストレージ要素レイアウトを表す図である。 データを収容するスロットバッファへのスロットヘッダ及びポインタシステムを表す図である。 「e1000アダプタリングバッファ」からLRUベースでのスロットキャッシュ要素の順次ロードを表す図である。 スロットバッファリスト内の各バッファ要素からラウンドロビンパターンで割り振られたスロットバッファを表す図である。 スロットキャッシュ要素バッファチェーン内の全ての利用可能バッファスペースを用いるようにパケットが可変サイズでありかつ効率的に格納された、データ投入されたスロットバッファを表す図である。 「スロットチェーンテーブル」及び「スロットスペーステーブル」を略式に表す図である。 「スロットチェーンテーブル」を示す内部レイアウトを表す図である。 「スペーステーブル」レイアウトを概略的に表す図である。 「ディスクスペース」記録のストレージ及び格納されたスロットに連結した「スペーステーブル」を表す図である。 最長時間未使用LRUリサイクル法を用いるオンディスクスロットキャッシュセグメントチェーンを表す図である。 「割り振りビットマップ」及び「チェーンビットマップ」テーブル構造を表す図である。 スロットLRUバッファ要素をマップするためのスロットハッシュテーブルの使用を表す図である。 揮発性及び不揮発性スロットキャッシュからスロットデータを読取る又は書き込む要求を表す図である。 キャッシュからスロットLRU要素を割り振る「イーサネット(登録商標)」アダプタを表す図である。 最も古いエントリが放出される時のこのエントリの再利用を表す図である。 DSFS仮想ファイルシステムを表す図である。 時間領域の索引付けに基づくスロット併合における「p_handle」コンテキストポインタの使用を表す図である。 ユーザスペースアプリケーションに対して物理アダプタとして見える仮想ネットワークアダプタを作成するためのユーザスペースインタフェースを通じての「p_handle」コンテキスト構造の使用を表す図である。 スロットキャッシュ要素からのパケットデータを含めるか又は除外するためのフィルタテーブルの使用を表す図である。 特定のスロットチェーンにマップされた「仮想インタフェース」を表す図である。 複数の保存ストレージパーティション上にマップされたDSFS基本キャプチャノードを表す図である。 直接DMAを用いて2つの装置に同時にデータを書き込むミラーI/Oモデルの使用を表す図である。 SAN(システム領域ネットワーク)環境におけるキャプチャデータのミラーリングを表す図である。 キャプチャパケットにタグを付ける方法を表す図である。
符号の説明
101 SPANポート
102 光スプリッタ
103 「イーサネット(登録商標)」スイッチ
104 キャプチャ電子機器

Claims (4)

  1. データの予め選択したパケットをキャプチャし、格納し、かつ検索する方法であって、 少なくとも1つのキャプチャ電子機器を少なくとも1つの所定のデータ通信経路に接続する段階、
    を含み、
    前記キャプチャ電子機器は、
    a.マイクロプロセッサと内部クロックとを有するコンピュータシステムボード、
    b.揮発性ストレージにスペースを割り振るために最長時間未使用アルゴリズムを用いるのに十分な容量を有するデュアルポート/デュアルチャンネル揮発性ストレージ、
    c.少なくとも1つの入力/出力通信アダプタポート、
    d.所定のスロットサイズに対応する定義された所定のストレージセグメントに数値的にマップされた少なくとも1つの不揮発性ストレージ装置、
    e.電源、
    f.前記不揮発性ストレージ装置上にデータをマップするコントローラ、及び
    g.オペレーティングシステム、
    を含み、
    前記データ通信経路に沿って通信されたデータの所定の部分を無差別にキャプチャし、データの該所定の部分を前記揮発性ストレージに複製する段階と、
    a.各バッファが所定サイズを有する所定数のバッファから成る所定サイズのスロットを作成する段階、及び
    b.ストライピングを達成し、それによって前記コントローラが複数の不揮発性ストレージ装置に同時に書込むことを可能にする少なくとも1つの高性能並列コントローラファブリックを用い、前記スロット内の前記データを前記不揮発性ストレージにマップして、前記不揮発性ストレージシステムの連続セクターにわたって前記キャプチャしたデータのキャッシュイメージを作成する最長時間未使用キャッシュに基づいて該スロットを集合的に管理する段階、
    により、前記揮発性ストレージ内の前記キャプチャデータを前記所定スロットサイズのスロットの中に集合させる段階と、
    所定の経験則と、固定時間領域によって注釈を付けられ、かつ不揮発性ストレージへの転送に向けてマップされてアドレス指定された不揮発性ストレージ特性とに基づいて、前記集合したデータに注釈を付ける段階と、
    前記注釈付き集合データを検索するのに使用可能である1組の所定の特徴の少なくとも1つの索引を作成する無限ジャーナルの一度だけの書込の階層的ファイルシステムを用いて、該注釈付き集合データを前記不揮発性ストレージに格納する段階と、
    データ精度を保証するためにあらゆる不正データを再構成する手段を組み込む段階と、
    a.検索される前記データの1つ又はそれよりも多くの特徴を識別する段階、
    b.前記識別された特徴を有する前記データを収容する前記スロットの前記不揮発性ストレージ上の局所性を計算する段階、
    c.前記揮発性ストレージにスペースを割り振る前記最長時間未使用アルゴリズムを用いて、前記識別された特徴を有する前記データを前記スロットから該揮発性ストレージにコピーする段階、
    d.業界標準アクセス方法を用いてアクセス可能であるように、前記識別された特徴を有する前記データをパッケージ化して適合させる段階、及び
    e.ユーザが前記識別された特徴を有する前記データにアクセスして精査することを可能にする段階、
    により、前記格納したスロットからキャプチャデータの所定の部分を検索する段階と、
    を更に含むことを特徴とする方法。
  2. データパケットをキャプチャする方法であって、
    キャプチャ装置をデータ通信経路に接続する段階と、
    前記データ通信経路に沿って通信されたデータパケットをキャプチャする段階と、
    前記データパケットからの前記キャプチャデータを格納する段階と、
    前記格納データパケットを所定サイズのスロットの中に集合させる段階と、
    前記集合したデータパケットに注釈を付ける段階と、
    無限ジャーナルの一度だけの書込の階層的ファイルシステムを用いて前記注釈付きデータパケットを格納する段階と、
    データ精度を保証するためにあらゆる不正データを再構成する手段を組み込む段階と、
    キャプチャデータの所定の部分を前記スロットから検索する段階と、
    を含み、
    前記格納データパケットは、
    所定サイズのバッファを有するように前記所定サイズのスロットを作成する段階と、
    前記スロット内の前記データを不揮発性ストレージにマップし、それによって前記キャプチャデータのキャッシュイメージを作成するために、最長時間未使用キャッシュに基づいて該スロットを管理する段階と、
    によって集合させられる、
    ことを特徴とする法。
  3. 複数の不揮発性ストレージ装置に書込むことを可能にする並列コントローラを用いる段階を更に含むことを特徴とする請求項に記載の方法。
  4. データパケットをキャプチャする方法であって、
    キャプチャ電子機器をデータ通信経路に接続する段階と、
    前記データ通信経路に沿って通信されたデータをキャプチャする段階と、
    前記キャプチャしたデータを揮発性ストレージに複製する段階と、
    前記揮発性ストレージ内の前記キャプチャしたデータをスロットの中に集合させる段階と、
    無限ジャーナルの一度だけの書込の階層的ファイルシステムを用いて前記データを不揮発性ストレージに格納する段階と、
    を含み、
    前記データは
    前記スロットを作成する段階、及び
    最長時間未使用キャッシュに基づいて前記スロットを管理する段階、
    によって前記スロットの中に集合させられ、
    前記最長時間未使用キャッシュは、前記スロット内の前記データを前記不揮発性ストレージにマップし、ストライピングを用い、それによってコントローラが複数の不揮発性ストレージ装置に同時に書込むことを可能にすることにより、該不揮発性ストレージのセクターにわたって前記キャプチャしたデータのキャッシュイメージを作成することを特徴とする法。
JP2007548320A 2004-12-23 2005-12-16 ネットワークパケットキャプチャ分散ストレージシステムの方法及び機器 Expired - Fee Related JP4759574B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US63870704P 2004-12-23 2004-12-23
US60/638,707 2004-12-23
PCT/US2005/045566 WO2006071560A2 (en) 2004-12-23 2005-12-16 Network packet capture distributed storage system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011070214A Division JP2011222006A (ja) 2004-12-23 2011-03-28 ネットワークパケットキャプチャ分散ストレージシステムの方法及び機器

Publications (2)

Publication Number Publication Date
JP2008526109A JP2008526109A (ja) 2008-07-17
JP4759574B2 true JP4759574B2 (ja) 2011-08-31

Family

ID=36615393

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2007548320A Expired - Fee Related JP4759574B2 (ja) 2004-12-23 2005-12-16 ネットワークパケットキャプチャ分散ストレージシステムの方法及び機器
JP2011070214A Pending JP2011222006A (ja) 2004-12-23 2011-03-28 ネットワークパケットキャプチャ分散ストレージシステムの方法及び機器

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2011070214A Pending JP2011222006A (ja) 2004-12-23 2011-03-28 ネットワークパケットキャプチャ分散ストレージシステムの方法及び機器

Country Status (6)

Country Link
US (3) US7855974B2 (ja)
EP (1) EP1832054B1 (ja)
JP (2) JP4759574B2 (ja)
AU (1) AU2005322350B2 (ja)
CA (1) CA2619141C (ja)
WO (1) WO2006071560A2 (ja)

Families Citing this family (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9026674B1 (en) * 2010-03-22 2015-05-05 Satish K Kanna System and method for accurately displaying communications traffic information
US7899828B2 (en) 2003-12-10 2011-03-01 Mcafee, Inc. Tag data structure for maintaining relational data over captured objects
US7774604B2 (en) 2003-12-10 2010-08-10 Mcafee, Inc. Verifying captured objects before presentation
US8656039B2 (en) 2003-12-10 2014-02-18 Mcafee, Inc. Rule parser
US7984175B2 (en) 2003-12-10 2011-07-19 Mcafee, Inc. Method and apparatus for data capture and analysis system
US7814327B2 (en) 2003-12-10 2010-10-12 Mcafee, Inc. Document registration
US8548170B2 (en) 2003-12-10 2013-10-01 Mcafee, Inc. Document de-registration
US7930540B2 (en) 2004-01-22 2011-04-19 Mcafee, Inc. Cryptographic policy enforcement
US7962591B2 (en) 2004-06-23 2011-06-14 Mcafee, Inc. Object classification in a capture system
US8560534B2 (en) 2004-08-23 2013-10-15 Mcafee, Inc. Database for a capture system
US7949849B2 (en) 2004-08-24 2011-05-24 Mcafee, Inc. File system for a capture system
JP4759574B2 (ja) * 2004-12-23 2011-08-31 ソレラ ネットワークス インコーポレイテッド ネットワークパケットキャプチャ分散ストレージシステムの方法及び機器
US20100195538A1 (en) * 2009-02-04 2010-08-05 Merkey Jeffrey V Method and apparatus for network packet capture distributed storage system
US8351363B2 (en) * 2005-04-08 2013-01-08 Qualcomm Incorporated Method and apparatus for enhanced file distribution in multicast or broadcast
US7710969B2 (en) * 2005-05-13 2010-05-04 Texas Instruments Incorporated Rapid I/O traffic system
US7907608B2 (en) * 2005-08-12 2011-03-15 Mcafee, Inc. High speed packet capture
US20070058620A1 (en) * 2005-08-31 2007-03-15 Mcdata Corporation Management of a switch fabric through functionality conservation
US7818326B2 (en) 2005-08-31 2010-10-19 Mcafee, Inc. System and method for word indexing in a capture system and querying thereof
US9143841B2 (en) 2005-09-29 2015-09-22 Brocade Communications Systems, Inc. Federated management of intelligent service modules
US7730011B1 (en) 2005-10-19 2010-06-01 Mcafee, Inc. Attributes of captured objects in a capture system
US7925971B2 (en) * 2005-10-31 2011-04-12 Solace Systems, Inc. Transformation module for transforming documents from one format to other formats with pipelined processor having dedicated hardware resources
US20070115916A1 (en) * 2005-11-07 2007-05-24 Samsung Electronics Co., Ltd. Method and system for optimizing a network based on a performance knowledge base
US7657104B2 (en) 2005-11-21 2010-02-02 Mcafee, Inc. Identifying image type in a capture system
US7953866B2 (en) * 2006-03-22 2011-05-31 Mcdata Corporation Protocols for connecting intelligent service modules in a storage area network
US8504537B2 (en) 2006-03-24 2013-08-06 Mcafee, Inc. Signature distribution in a document registration system
US20070255866A1 (en) * 2006-05-01 2007-11-01 Eliezer Aloni Method and system for a user space TCP offload engine (TOE)
US20070258443A1 (en) * 2006-05-02 2007-11-08 Mcdata Corporation Switch hardware and architecture for a computer network
US20070258380A1 (en) * 2006-05-02 2007-11-08 Mcdata Corporation Fault detection, isolation and recovery for a switch system of a computer network
US8010689B2 (en) 2006-05-22 2011-08-30 Mcafee, Inc. Locational tagging in a capture system
US7958227B2 (en) 2006-05-22 2011-06-07 Mcafee, Inc. Attributes of captured objects in a capture system
US7689614B2 (en) 2006-05-22 2010-03-30 Mcafee, Inc. Query generation for a capture system
US7916170B2 (en) * 2006-06-07 2011-03-29 Robert Charles Soltysik CCTV pipeline inspection system data management system and computer-based monitoring/action application
US7653006B1 (en) 2007-03-12 2010-01-26 Deja Vu Networks, Inc. Network traffic capture and replay with transaction integrity and scaling
US9961094B1 (en) 2007-07-25 2018-05-01 Xangati, Inc Symptom detection using behavior probability density, network monitoring of multiple observation value types, and network monitoring using orthogonal profiling dimensions
US7913046B2 (en) * 2007-08-06 2011-03-22 Dell Global B.V. - Singapore Branch Method for performing a snapshot in a distributed shared file system
DE102007038338A1 (de) * 2007-08-14 2009-02-19 Rohde & Schwarz Gmbh & Co. Kg Verfahren und Vorrichtung zur Protokollierung von Kommunikationsverbindungen bei sehr hohen Datenraten
US20090144388A1 (en) * 2007-11-08 2009-06-04 Rna Networks, Inc. Network with distributed shared memory
US20090225767A1 (en) * 2008-03-05 2009-09-10 Inventec Corporation Network packet capturing method
US8190734B2 (en) * 2008-05-21 2012-05-29 Mcafee, Inc. System and method for network monitoring of internet protocol (IP) networks
US8004998B2 (en) * 2008-05-23 2011-08-23 Solera Networks, Inc. Capture and regeneration of a network data using a virtual software switch
US8521732B2 (en) 2008-05-23 2013-08-27 Solera Networks, Inc. Presentation of an extracted artifact based on an indexing technique
US8625642B2 (en) 2008-05-23 2014-01-07 Solera Networks, Inc. Method and apparatus of network artifact indentification and extraction
US20090292736A1 (en) * 2008-05-23 2009-11-26 Matthew Scott Wood On demand network activity reporting through a dynamic file system and method
US8205242B2 (en) 2008-07-10 2012-06-19 Mcafee, Inc. System and method for data mining and security policy management
JP2010034721A (ja) * 2008-07-28 2010-02-12 Fujitsu Ltd パケットキャプチャ装置,パケットキャプチャ方法およびパケットキャプチャプログラム
US8271748B2 (en) * 2008-08-12 2012-09-18 Intel Corporation Generating and/or receiving, at least one data access request
US9253154B2 (en) 2008-08-12 2016-02-02 Mcafee, Inc. Configuration management for a capture/registration system
US8359402B2 (en) * 2008-11-19 2013-01-22 Seachange International, Inc. Intercept device for providing content
US8850591B2 (en) 2009-01-13 2014-09-30 Mcafee, Inc. System and method for concept building
US8706709B2 (en) 2009-01-15 2014-04-22 Mcafee, Inc. System and method for intelligent term grouping
US8473442B1 (en) 2009-02-25 2013-06-25 Mcafee, Inc. System and method for intelligent state management
US8447722B1 (en) 2009-03-25 2013-05-21 Mcafee, Inc. System and method for data mining and security policy management
US8667121B2 (en) 2009-03-25 2014-03-04 Mcafee, Inc. System and method for managing data and policies
KR20100107801A (ko) * 2009-03-26 2010-10-06 삼성전자주식회사 무선 통신 시스템에서 안테나 선택을 위한 장치 및 방법
US8769589B2 (en) * 2009-03-31 2014-07-01 At&T Intellectual Property I, L.P. System and method to create a media content summary based on viewer annotations
US8762334B1 (en) * 2009-04-29 2014-06-24 Juniper Networks, Inc. Distributed network anomaly detection
US10992555B2 (en) 2009-05-29 2021-04-27 Virtual Instruments Worldwide, Inc. Recording, replay, and sharing of live network monitoring views
TWI389001B (zh) * 2009-06-01 2013-03-11 Mstar Semiconductor Inc 檔案系統及檔案系統轉換方法
US8977705B2 (en) * 2009-07-27 2015-03-10 Verisign, Inc. Method and system for data logging and analysis
US8479300B2 (en) * 2009-10-26 2013-07-02 Delta Electronics, Inc. Method for transmitting data and preventing unauthorized data duplication for human-machine interface device using mass storage class operating on universal serial bus
WO2011060368A1 (en) 2009-11-15 2011-05-19 Solera Networks, Inc. Method and apparatus for storing and indexing high-speed network traffic data
WO2011060377A1 (en) 2009-11-15 2011-05-19 Solera Networks, Inc. Method and apparatus for real time identification and recording of artifacts
US9501365B2 (en) * 2009-12-28 2016-11-22 Netapp, Inc. Cloud-based disaster recovery of backup data and metadata
US8472449B2 (en) * 2010-03-02 2013-06-25 Intrusion, Inc. Packet file system
US8448221B2 (en) * 2010-03-12 2013-05-21 Mcafee, Inc. System, method, and computer program product for displaying network events in terms of objects managed by a security appliance and/or a routing device
US20110296437A1 (en) * 2010-05-28 2011-12-01 Devendra Raut Method and apparatus for lockless communication between cores in a multi-core processor
US8838094B2 (en) 2010-07-30 2014-09-16 Agency For Science, Technology And Research Acquiring information from volatile memory of a mobile device
US8352777B2 (en) * 2010-10-04 2013-01-08 Hewlett-Packard Development Company, L.P. Replaying captured network traffic
US8806615B2 (en) 2010-11-04 2014-08-12 Mcafee, Inc. System and method for protecting specified data combinations
US20120143824A1 (en) * 2010-12-02 2012-06-07 Microsoft Corporation Protecting files that include editable metadata
US9824091B2 (en) 2010-12-03 2017-11-21 Microsoft Technology Licensing, Llc File system backup using change journal
US8849991B2 (en) 2010-12-15 2014-09-30 Blue Coat Systems, Inc. System and method for hypertext transfer protocol layered reconstruction
US8620894B2 (en) 2010-12-21 2013-12-31 Microsoft Corporation Searching files
CN103392314B (zh) * 2010-12-29 2016-06-15 思杰系统有限公司 用于可扩展的n核统计信息聚合的系统和方法
US20120185642A1 (en) 2011-01-18 2012-07-19 International Business Machines Corporation Assigning a data item to a storage location in a computing environment
US8666985B2 (en) 2011-03-16 2014-03-04 Solera Networks, Inc. Hardware accelerated application-based pattern matching for real time classification and recording of network traffic
US9219700B2 (en) * 2011-07-06 2015-12-22 Gigamon Inc. Network switch with traffic generation capability
US8732401B2 (en) 2011-07-07 2014-05-20 Atlantis Computing, Inc. Method and apparatus for cache replacement using a catalog
US9229818B2 (en) 2011-07-20 2016-01-05 Microsoft Technology Licensing, Llc Adaptive retention for backup data
US9524243B1 (en) * 2011-09-27 2016-12-20 Emc Ip Holdng Company Llc Scalable monolithic data storage system for cloud environment
US10318426B1 (en) * 2011-09-27 2019-06-11 EMC IP Holding Company LLC Cloud capable storage platform with computation operating environment for storage and generic applications
US8700691B2 (en) 2011-12-05 2014-04-15 Microsoft Corporation Minimal download and simulated page navigation features
US20130246334A1 (en) 2011-12-27 2013-09-19 Mcafee, Inc. System and method for providing data protection workflows in a network environment
US9846605B2 (en) * 2012-01-19 2017-12-19 Microsoft Technology Licensing, Llc Server-side minimal download and error failover
US10289743B2 (en) 2012-01-19 2019-05-14 Microsoft Technology Licensing, Llc Client-side minimal download and simulated page navigation features
US8655769B2 (en) * 2012-03-16 2014-02-18 Cape City Command, Llc Method and system for improving equity trade order acknowledgement times
CN102870377A (zh) * 2012-06-30 2013-01-09 华为技术有限公司 虚拟端口监控方法和设备
US9852073B2 (en) 2012-08-07 2017-12-26 Dell Products L.P. System and method for data redundancy within a cache
US8850182B1 (en) 2012-09-28 2014-09-30 Shoretel, Inc. Data capture for secure protocols
US20140101761A1 (en) * 2012-10-09 2014-04-10 James Harlacher Systems and methods for capturing, replaying, or analyzing time-series data
US9588874B2 (en) * 2012-12-14 2017-03-07 Microsoft Technology Licensing, Llc Remote device automation using a device services bridge
US9277010B2 (en) 2012-12-21 2016-03-01 Atlantis Computing, Inc. Systems and apparatuses for aggregating nodes to form an aggregated virtual storage for a virtualized desktop environment
US9069472B2 (en) 2012-12-21 2015-06-30 Atlantis Computing, Inc. Method for dispersing and collating I/O's from virtual machines for parallelization of I/O access and redundancy of storing virtual machine data
WO2014107147A1 (en) * 2013-01-03 2014-07-10 Hewlett-Packard Development Company, L.P. Identifying an analysis reporting message in network traffic
US9250946B2 (en) 2013-02-12 2016-02-02 Atlantis Computing, Inc. Efficient provisioning of cloned virtual machine images using deduplication metadata
US9372865B2 (en) 2013-02-12 2016-06-21 Atlantis Computing, Inc. Deduplication metadata access in deduplication file system
US9471590B2 (en) 2013-02-12 2016-10-18 Atlantis Computing, Inc. Method and apparatus for replicating virtual machine images using deduplication metadata
US9558199B2 (en) * 2013-03-07 2017-01-31 Jive Software, Inc. Efficient data deduplication
US10033609B1 (en) 2013-05-07 2018-07-24 Ca, Inc. Low impact passive monitoring of application performance
US20180081749A1 (en) * 2013-12-04 2018-03-22 International Business Machines Corporation Performance ranking of read requests in a distributed storage network
US9325639B2 (en) 2013-12-17 2016-04-26 At&T Intellectual Property I, L.P. Hierarchical caching system for lossless network packet capture applications
US20150341244A1 (en) * 2014-05-22 2015-11-26 Virtual Instruments Corporation Performance Analysis of a Time-Varying Network
US10250470B1 (en) 2014-08-24 2019-04-02 Virtual Instruments Worldwide Push pull data collection
US10009237B1 (en) 2014-08-24 2018-06-26 Virtual Instruments Worldwide Cross silo time stiching
US10079740B2 (en) 2014-11-04 2018-09-18 Fermi Research Alliance, Llc Packet capture engine for commodity network interface cards in high-speed networks
US10185830B1 (en) * 2014-12-31 2019-01-22 EMC IP Holding Company LLC Big data analytics in a converged infrastructure system
US9646350B1 (en) * 2015-01-14 2017-05-09 Amdocs Software Systems Limited System, method, and computer program for performing operations on network files including captured billing event information
US9703661B2 (en) 2015-02-05 2017-07-11 International Business Machines Corporation Eliminate corrupted portions of cache during runtime
US10733167B2 (en) * 2015-06-03 2020-08-04 Xilinx, Inc. System and method for capturing data to provide to a data analyser
US10691661B2 (en) 2015-06-03 2020-06-23 Xilinx, Inc. System and method for managing the storing of data
US10057142B2 (en) * 2015-08-19 2018-08-21 Microsoft Technology Licensing, Llc Diagnostic framework in computing systems
US9935858B1 (en) 2015-08-24 2018-04-03 Xangati, Inc Enhanched flow processing
CN107102695B (zh) * 2016-02-22 2020-07-24 佛山市顺德区顺达电脑厂有限公司 用于丛集式储存系统的判断异常硬盘之装设位置的方法
FI127335B (en) 2016-05-27 2018-04-13 Cysec Ice Wall Oy Logging of telecommunications on a computer network
US9892622B2 (en) 2016-05-27 2018-02-13 At&T Intellectual Property I, L.P. Emergency event virtual network function deployment and configuration
US9965211B2 (en) 2016-09-08 2018-05-08 Cisco Technology, Inc. Dynamic packet buffers with consolidation of low utilized memory banks
JP6839347B2 (ja) * 2016-11-02 2021-03-10 富士通株式会社 パケットキャプチャプログラム、パケットキャプチャ装置及びパケットキャプチャ方法
CN108337181B (zh) * 2017-01-20 2021-05-28 深圳市中兴微电子技术有限公司 一种交换网拥塞管理方法和装置
US10715433B2 (en) 2017-03-31 2020-07-14 Mitsubishi Electric Corporation Information processing apparatus and information processing method
US10437729B2 (en) 2017-04-19 2019-10-08 International Business Machines Corporation Non-disruptive clearing of varying address ranges from cache
JP7003562B2 (ja) 2017-10-16 2022-01-20 富士通株式会社 ミラーパケット制御プログラム、ミラーパケット制御方法、およびミラーパケット制御装置
US11416616B2 (en) 2017-11-30 2022-08-16 Forcepoint Llc Secure boot chain for live boot systems
US10838763B2 (en) * 2018-07-17 2020-11-17 Xilinx, Inc. Network interface device and host processing device
US10887251B2 (en) * 2018-09-13 2021-01-05 International Business Machines Corporation Fault-tolerant architecture for packet capture
CN111104047B (zh) * 2018-10-25 2023-08-25 伊姆西Ip控股有限责任公司 管理冗余磁盘阵列的方法、设备和计算机可读存储介质
KR102006475B1 (ko) * 2019-01-18 2019-08-01 넷마블 주식회사 침입 감지 방법 및 장치
US11080160B1 (en) 2019-01-29 2021-08-03 Virtual Instruments Worldwide, Inc. Self-learning and best-practice profiling and alerting with relative and absolute capacity
US11042483B2 (en) 2019-04-26 2021-06-22 International Business Machines Corporation Efficient eviction of whole set associated cache or selected range of addresses
KR20210016938A (ko) * 2019-08-06 2021-02-17 에스케이하이닉스 주식회사 데이터 처리 시스템 및 그것의 동작방법
CN112532412B (zh) * 2019-09-18 2022-12-13 纬联电子科技(中山)有限公司 网络故障检测方法以及网络故障检测装置
CN110647548B (zh) * 2019-09-23 2023-03-21 浪潮软件股份有限公司 一种基于NiFi及其状态值的流式数据转批量方法及系统
US11842057B2 (en) 2019-12-09 2023-12-12 Dell Products L.P. Seamless creation of raid arrays with optimized boot time
CN114070900B (zh) * 2020-07-27 2023-04-07 大唐移动通信设备有限公司 一种基于dpdk的抓包处理方法和装置
CN111953568B (zh) * 2020-08-19 2022-04-08 杭州迪普科技股份有限公司 丢包信息管理方法与装置
CN115604207B (zh) * 2022-12-12 2023-03-10 成都数默科技有限公司 一种面向会话的网络流量存储及索引方法
CN116431684B (zh) * 2023-04-18 2024-03-19 中船海神医疗科技有限公司 一种便携式生命支持系统诊疗数据存储与回放方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0397343A (ja) * 1989-09-11 1991-04-23 Matsushita Electric Ind Co Ltd データモニタ装置
JPH07162514A (ja) * 1993-12-10 1995-06-23 Anritsu Corp ネットワーク監視システムの情報検索装置
JPH11288387A (ja) * 1998-12-11 1999-10-19 Fujitsu Ltd ディスクキャッシュ装置
JP2002026935A (ja) * 2000-07-11 2002-01-25 Lac Co Ltd フレーム監視装置および記憶媒体
JP2002323959A (ja) * 2001-02-05 2002-11-08 Internatl Business Mach Corp <Ibm> 磁気ディスク制御装置のログ主体不揮発性書き込みキャッシュ・システム及び方法
JP2003298648A (ja) * 2002-03-29 2003-10-17 Yokogawa Electric Corp パケットログ記録装置

Family Cites Families (188)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US165052A (en) * 1875-06-29 Improvement in car-starters
US13222A (en) * 1855-07-10 Washing-machine
US162971A (en) * 1875-05-04 Improvement in processes for manufacture of sole-fastenings
US175167A (en) * 1876-03-21 Improvement in vehicle-seat locks
US92057A (en) * 1869-06-29 Improvement in hydraotiic presses
US116403A (en) * 1871-06-27 Improvement in steam-traps
US291757A (en) * 1884-01-08 Corn-planter
US291755A (en) * 1884-01-08 Straw-stacker
US28161A (en) * 1860-05-08 Machines
US28169A (en) * 1860-05-08 Improvement in plows
US73895A (en) * 1868-01-28 Benjamin illingworth
US147263A (en) * 1874-02-10 Improvement in burial-caskets
US103531A (en) * 1870-05-24 Improvement in machines for putting together and tiring wheels
US113217A (en) * 1871-03-28 Improvement in saw-mills
US165009A (en) * 1875-06-29 Improvement in pencil-cases
US122801A (en) * 1872-01-16 Improvement in harvester-cutters
US116470A (en) * 1871-06-27 Improvement in machinery for making roofing-felt
US85507A (en) * 1869-01-05 John d
US88040A (en) * 1869-03-23 Improvement in mechanical movement
US89937A (en) * 1869-05-11 Improvement in machine for cutting- mouldings in wood
US140295A (en) * 1873-06-24 Improvement in tassel-clips for curtains
JPS59127453A (ja) * 1983-01-10 1984-07-23 Nec Corp ラインモニタ装置
US5860136A (en) 1989-06-16 1999-01-12 Fenner; Peter R. Method and apparatus for use of associated memory with large key spaces
US5440719A (en) 1992-10-27 1995-08-08 Cadence Design Systems, Inc. Method simulating data traffic on network in accordance with a client/sewer paradigm
US5274643A (en) 1992-12-11 1993-12-28 Stratacom, Inc. Method for optimizing a network having virtual circuit routing over virtual paths
US5526283A (en) 1994-01-26 1996-06-11 International Business Machines Corporation Realtime high speed data capture in response to an event
EP0702473A1 (en) 1994-09-19 1996-03-20 International Business Machines Corporation A method and an apparatus for shaping the output traffic in a fixed length cell switching network node
US5758178A (en) * 1996-03-01 1998-05-26 Hewlett-Packard Company Miss tracking system and method
US6400681B1 (en) 1996-06-20 2002-06-04 Cisco Technology, Inc. Method and system for minimizing the connection set up time in high speed packet switching networks
US6108637A (en) 1996-09-03 2000-08-22 Nielsen Media Research, Inc. Content display monitor
US6101543A (en) 1996-10-25 2000-08-08 Digital Equipment Corporation Pseudo network adapter for frame capture, encapsulation and encryption
US6453345B2 (en) * 1996-11-06 2002-09-17 Datadirect Networks, Inc. Network security and surveillance system
US6643696B2 (en) 1997-03-21 2003-11-04 Owen Davis Method and apparatus for tracking client interaction with a network resource and creating client profiles and resource database
SE9702688D0 (sv) 1997-07-11 1997-07-11 Ericsson Telefon Ab L M A method and system for interconnicting ring networks
US6145108A (en) 1997-09-04 2000-11-07 Conexant Systems, Inc. Retransmission packet capture system within a wireless multiservice communications environment
US6041053A (en) 1997-09-18 2000-03-21 Microsfot Corporation Technique for efficiently classifying packets using a trie-indexed hierarchy forest that accommodates wildcards
US5956721A (en) 1997-09-19 1999-09-21 Microsoft Corporation Method and computer program product for classifying network communication packets processed in a network stack
US6434620B1 (en) 1998-08-27 2002-08-13 Alacritech, Inc. TCP/IP offload network interface device
US7450560B1 (en) 1998-03-05 2008-11-11 3Com Corporation Method for address mapping in a network access system and a network access device for use therewith
US7032242B1 (en) 1998-03-05 2006-04-18 3Com Corporation Method and system for distributed network address translation with network security features
US20070050465A1 (en) 1998-03-19 2007-03-01 Canter James M Packet capture agent for use in field assets employing shared bus architecture
GB2337903B (en) 1998-05-28 2000-06-07 3Com Corp Methods and apparatus for collecting storing processing and using network traffic data
US7154896B1 (en) 1998-07-24 2006-12-26 Ericsson, Ab ATM traffic having unknown characteristics including traffic with weighted priorities and traffic without weighted priorities
US6675218B1 (en) 1998-08-14 2004-01-06 3Com Corporation System for user-space network packet modification
US6628652B1 (en) * 1998-09-18 2003-09-30 Lucent Technologies Inc. Flexible telecommunications switching network
US6807667B1 (en) 1998-09-21 2004-10-19 Microsoft Corporation Method and system of an application program interface for abstracting network traffic control components to application programs
US6370622B1 (en) 1998-11-20 2002-04-09 Massachusetts Institute Of Technology Method and apparatus for curious and column caching
CA2299177C (en) 1999-02-25 2007-08-14 Nippon Telegraph And Telephone Corporation Traffic monitoring equipment and system and method for datagram transfer
US6628617B1 (en) 1999-03-03 2003-09-30 Lucent Technologies Inc. Technique for internetworking traffic on connectionless and connection-oriented networks
US6754202B1 (en) 1999-06-15 2004-06-22 Altigen Communications, Inc. Network call-back data capture method and apparatus
US6578084B1 (en) 1999-10-15 2003-06-10 Cisco Technology, Inc. Packet processing using encapsulation and decapsulation chains
DE60018799T2 (de) 1999-12-23 2006-01-26 Cetacean Networks, Inc. Netzwerkvermittlung mit paketfolgesteuerung
US7075927B2 (en) 2000-05-05 2006-07-11 Fujitsu Limited Method and system for quality of service (QoS) support in a packet-switched network
US6693909B1 (en) 2000-05-05 2004-02-17 Fujitsu Network Communications, Inc. Method and system for transporting traffic in a packet-switched network
US6789125B1 (en) 2000-05-10 2004-09-07 Cisco Technology, Inc. Distributed network traffic load balancing technique implemented without gateway router
US7162649B1 (en) 2000-06-30 2007-01-09 Internet Security Systems, Inc. Method and apparatus for network assessment and authentication
US7058015B1 (en) 2000-08-04 2006-06-06 Arbor Networks, Inc. Distributed solution for regulating network traffic
JP3474155B2 (ja) 2000-08-17 2003-12-08 日立電子サービス株式会社 ネットワークシステムおよびネットワーク監視方法
JP2002101128A (ja) 2000-09-26 2002-04-05 Kddi Corp トラヒック生成装置
US6522629B1 (en) 2000-10-10 2003-02-18 Tellicent Inc. Traffic manager, gateway signaling and provisioning service for all packetized networks with total system-wide standards for broad-band applications including all legacy services
US7027412B2 (en) 2000-11-10 2006-04-11 Veritas Operating Corporation System for dynamic provisioning of secure, scalable, and extensible networked computer environments
US20020089937A1 (en) 2000-11-16 2002-07-11 Srinivasan Venkatachary Packet matching method and system
US7002926B1 (en) 2000-11-30 2006-02-21 Western Digital Ventures, Inc. Isochronous switched fabric network
KR100379336B1 (ko) * 2000-12-01 2003-04-10 주식회사 하이닉스반도체 반도체 소자의 분리영역 제조방법
US7218632B1 (en) 2000-12-06 2007-05-15 Cisco Technology, Inc. Packet processing engine architecture
DE60129742T2 (de) 2000-12-19 2008-04-30 Azoteq (Proprietary) Ltd. Verfahren und vorrichtung zum datentransfer
US7130466B2 (en) 2000-12-21 2006-10-31 Cobion Ag System and method for compiling images from a database and comparing the compiled images with known images
US20020085507A1 (en) 2000-12-28 2002-07-04 Maple Optical Systems, Inc. Address learning technique in a data communication network
US6907520B2 (en) * 2001-01-11 2005-06-14 Sun Microsystems, Inc. Threshold-based load address prediction and new thread identification in a multithreaded microprocessor
US7061874B2 (en) 2001-01-26 2006-06-13 Broadcom Corporation Method, system and computer program product for classifying packet flows with a bit mask
AU2002243763A1 (en) 2001-01-31 2002-08-12 Internet Security Systems, Inc. Method and system for configuring and scheduling security audits of a computer network
US6999454B1 (en) 2001-02-09 2006-02-14 Nortel Networks Limited Information routing system and apparatus
US7120129B2 (en) 2001-03-13 2006-10-10 Microsoft Corporation System and method for achieving zero-configuration wireless computing and computing device incorporating same
US6993037B2 (en) 2001-03-21 2006-01-31 International Business Machines Corporation System and method for virtual private network network address translation propagation over nested connections with coincident local endpoints
US7526795B2 (en) 2001-03-27 2009-04-28 Micron Technology, Inc. Data security for digital data storage
US7009979B1 (en) 2001-03-30 2006-03-07 Agere Systems Inc. Virtual segmentation system and method of operation thereof
US7024609B2 (en) 2001-04-20 2006-04-04 Kencast, Inc. System for protecting the transmission of live data streams, and upon reception, for reconstructing the live data streams and recording them into files
US6928471B2 (en) * 2001-05-07 2005-08-09 Quest Software, Inc. Method and apparatus for measurement, analysis, and optimization of content delivery
US7065482B2 (en) 2001-05-17 2006-06-20 International Business Machines Corporation Internet traffic analysis tool
US6744739B2 (en) 2001-05-18 2004-06-01 Micromuse Inc. Method and system for determining network characteristics using routing protocols
US7237264B1 (en) 2001-06-04 2007-06-26 Internet Security Systems, Inc. System and method for preventing network misuse
US7126944B2 (en) 2001-07-05 2006-10-24 Intel Corporation Routing packets across multiple forwarding elements
US6958998B2 (en) 2001-07-09 2005-10-25 International Business Machines Corporation Traffic management in packet-based networks
US7162698B2 (en) 2001-07-17 2007-01-09 Mcafee, Inc. Sliding window packet management systems
US7047297B2 (en) * 2001-07-17 2006-05-16 Mcafee, Inc. Hierarchically organizing network data collected from full time recording machines and efficiently filtering the same
US7200122B2 (en) 2001-09-06 2007-04-03 Avaya Technology Corp. Using link state information to discover IP network topology
US7444679B2 (en) 2001-10-31 2008-10-28 Hewlett-Packard Development Company, L.P. Network, method and computer readable medium for distributing security updates to select nodes on a network
US7126954B2 (en) 2001-11-13 2006-10-24 General Instrument Corporation Virtual gateway
US6782444B1 (en) * 2001-11-15 2004-08-24 Emc Corporation Digital data storage subsystem including directory for efficiently providing formatting information for stored records
US7283478B2 (en) 2001-11-28 2007-10-16 Corrigent Systems Ltd. Traffic engineering in bi-directional ring networks
US7203173B2 (en) 2002-01-25 2007-04-10 Architecture Technology Corp. Distributed packet capture and aggregation
US7376731B2 (en) 2002-01-29 2008-05-20 Acme Packet, Inc. System and method for providing statistics gathering within a packet network
US7529242B1 (en) 2002-02-15 2009-05-05 Symantec Corporation Routing network packets for multi-processor network flow analysis
US7277399B1 (en) 2002-04-08 2007-10-02 Cisco Technology, Inc. Hardware-based route cache using prefix length
US7116643B2 (en) 2002-04-30 2006-10-03 Motorola, Inc. Method and system for data in a collection and route discovery communication network
JP4032816B2 (ja) 2002-05-08 2008-01-16 株式会社日立製作所 ストレージネットワークトポロジ管理システム
CA2387654A1 (en) 2002-05-24 2003-11-24 Alcatel Canada Inc. Partitioned interface architecture for transmission of broadband network traffic to and from an access network
US7177311B1 (en) 2002-06-04 2007-02-13 Fortinet, Inc. System and method for routing traffic through a virtual router-based network switch
US20030231632A1 (en) 2002-06-13 2003-12-18 International Business Machines Corporation Method and system for packet-level routing
US20060013222A1 (en) 2002-06-28 2006-01-19 Brocade Communications Systems, Inc. Apparatus and method for internet protocol data processing in a storage processing device
JP2004048267A (ja) 2002-07-10 2004-02-12 Sharp Corp リライタブルメディアの改竄防止署名方法、この方法を実行する改竄防止署名装置、この装置を備えた改竄防止署名システム、この方法を実現するための改竄防止署名プログラムおよびこの改竄防止署名プログラムを記録したコンピュータ読み取り可能な記録媒体
US7254562B2 (en) 2002-07-11 2007-08-07 Hewlett-Packard Development Company, L.P. Rule-based packet selection, storage, and access method and system
US7039018B2 (en) 2002-07-17 2006-05-02 Intel Corporation Technique to improve network routing using best-match and exact-match techniques
EP1387527A1 (en) 2002-07-30 2004-02-04 Agilent Technologies Inc. Identifying network routers and paths
WO2004014001A1 (en) 2002-08-02 2004-02-12 Nms Communications Methods and apparatus for network signal aggregation and bandwidth reduction
EP1531578A1 (en) 2002-08-08 2005-05-18 Matsushita Electric Industrial Co., Ltd. Encrypting/decrypting device and method, encrypting device and method, decrypting device and method, and transmitting/receiving device
US7440464B2 (en) 2002-08-29 2008-10-21 Nokia Corporation Server control plane connections recovery in a server-gateway architecture based telecommunication network
US7529276B1 (en) 2002-09-03 2009-05-05 Cisco Technology, Inc. Combined jitter and multiplexing systems and methods
US7457277B1 (en) 2002-09-20 2008-11-25 Mahi Networks, Inc. System and method for network layer protocol routing in a peer model integrated optical network
US7533256B2 (en) 2002-10-31 2009-05-12 Brocade Communications Systems, Inc. Method and apparatus for encryption of data on storage units using devices inside a storage area network fabric
GB0226249D0 (en) 2002-11-11 2002-12-18 Clearspeed Technology Ltd Traffic handling system
US7266120B2 (en) 2002-11-18 2007-09-04 Fortinet, Inc. System and method for hardware accelerated packet multicast in a virtual routing system
US7359930B2 (en) 2002-11-21 2008-04-15 Arbor Networks System and method for managing computer networks
US7433326B2 (en) 2002-11-27 2008-10-07 Cisco Technology, Inc. Methods and devices for exchanging peer parameters between network devices
US7376969B1 (en) 2002-12-02 2008-05-20 Arcsight, Inc. Real time monitoring and analysis of events from multiple network security devices
GB0304807D0 (en) 2003-03-03 2003-04-09 Cambridge Internetworking Ltd Data protocol
DE112004000817D2 (de) 2003-03-04 2006-01-19 Lukas Wunner Verfahren, System und Speichermedium zum Eintragen von Datennetzwerkerreichbarkeitsinformation
US7441267B1 (en) 2003-03-19 2008-10-21 Bbn Technologies Corp. Method and apparatus for controlling the flow of data across a network interface
US7525963B2 (en) 2003-04-24 2009-04-28 Microsoft Corporation Bridging subnet broadcasts across subnet boundaries
US7240166B2 (en) 2003-05-01 2007-07-03 International Business Machines Corporation Method and apparatus for implementing packet work area accesses and buffer sharing
US7522613B2 (en) 2003-05-07 2009-04-21 Nokia Corporation Multiplexing media components of different sessions
US7391769B2 (en) 2003-06-27 2008-06-24 Lucent Technologies Inc. Packet aggregation for real time services on packet data networks
JP4418286B2 (ja) 2003-07-14 2010-02-17 富士通株式会社 分散型ストレージシステム
US7525910B2 (en) 2003-07-16 2009-04-28 Qlogic, Corporation Method and system for non-disruptive data capture in networks
US7522594B2 (en) 2003-08-19 2009-04-21 Eye Ball Networks, Inc. Method and apparatus to permit data transmission to traverse firewalls
US7467202B2 (en) 2003-09-10 2008-12-16 Fidelis Security Systems High-performance network content analysis platform
JP3947146B2 (ja) 2003-09-18 2007-07-18 富士通株式会社 ルーティングループ検出プログラム及びルーティングループ検出方法
WO2005031731A1 (ja) 2003-09-25 2005-04-07 Fujitsu Limited 光記録媒体の記録方法
US6956820B2 (en) 2003-10-01 2005-10-18 Santera Systems, Inc. Methods, systems, and computer program products for voice over IP (VoIP) traffic engineering and path resilience using network-aware media gateway
US7408938B1 (en) 2003-10-15 2008-08-05 Microsoft Coporation System and method for efficient broadcast of information over a network
US7512078B2 (en) 2003-10-15 2009-03-31 Texas Instruments Incorporated Flexible ethernet bridge
JP2007533172A (ja) 2003-11-11 2007-11-15 サイトリックス ゲートウェイズ, インコーポレイテッド 偽サーバを備えた仮想プライベートネットワーク
US20070297349A1 (en) 2003-11-28 2007-12-27 Ofir Arkin Method and System for Collecting Information Relating to a Communication Network
KR100567320B1 (ko) 2003-11-28 2006-04-04 한국전자통신연구원 인터넷 트래픽 측정을 위한 플로우 생성 방법
US7984175B2 (en) 2003-12-10 2011-07-19 Mcafee, Inc. Method and apparatus for data capture and analysis system
CN100349408C (zh) 2004-02-12 2007-11-14 华为技术有限公司 实现网管系统和网元设备配置数据实时同步的方法
WO2005086418A1 (en) 2004-02-27 2005-09-15 Actix Limited Data storage and processing systems
US7457870B1 (en) 2004-02-27 2008-11-25 Packeteer, Inc. Methods, apparatuses and systems facilitating classification of web services network traffic
JP4323987B2 (ja) 2004-03-16 2009-09-02 キヤノン株式会社 リアルタイム性パケットのリアルタイム性を維持してパケットを中継するネットワークスイッチ及びパケット中継方法
US7532623B2 (en) 2004-03-24 2009-05-12 Bbn Technologies Corp. Methods for wireless mesh multicasting
US7292591B2 (en) 2004-03-30 2007-11-06 Extreme Networks, Inc. Packet processing system architecture and method
US7480255B2 (en) 2004-05-27 2009-01-20 Cisco Technology, Inc. Data structure identifying for multiple addresses the reverse path forwarding information for a common intermediate node and its use
US7609721B2 (en) 2004-07-23 2009-10-27 Citrix Systems, Inc. Systems and methods for adjusting the maximum transmission unit for encrypted communications
US8160076B1 (en) 2004-08-30 2012-04-17 Juniper Networks, Inc. Auto-discovery of multicast virtual private networks
US7489635B2 (en) 2004-09-24 2009-02-10 Lockheed Martin Corporation Routing cost based network congestion control for quality of service
US7840725B2 (en) 2004-09-28 2010-11-23 Hewlett-Packard Development Company, L.P. Capture of data in a computer network
US7457296B2 (en) 2004-09-30 2008-11-25 Intel Corporation Method and apparatus for sorting packets in packet schedulers using a connected trie data structure
US7493654B2 (en) 2004-11-20 2009-02-17 International Business Machines Corporation Virtualized protective communications system
US7496036B2 (en) 2004-11-22 2009-02-24 International Business Machines Corporation Method and apparatus for determining client-perceived server response time
US7974216B2 (en) 2004-11-22 2011-07-05 Cisco Technology, Inc. Approach for determining the real time availability of a group of network elements
US7529196B2 (en) 2004-12-07 2009-05-05 Hewlett-Packard Development Company, L.P. Routing a service query in an overlay network
US7548562B2 (en) 2004-12-14 2009-06-16 Agilent Technologies, Inc. High speed acquisition system that allows capture from a packet network and streams the data to a storage medium
JP4759574B2 (ja) 2004-12-23 2011-08-31 ソレラ ネットワークス インコーポレイテッド ネットワークパケットキャプチャ分散ストレージシステムの方法及び機器
US20060165009A1 (en) 2005-01-25 2006-07-27 Zvolve Systems and methods for traffic management between autonomous systems in the Internet
US7453804B1 (en) 2005-02-08 2008-11-18 Packeteer, Inc. Aggregate network resource utilization control scheme
US7418006B2 (en) 2005-03-08 2008-08-26 Microsoft Corporation Virtual endpoints
US7420992B1 (en) 2005-03-17 2008-09-02 Packeteer, Inc. Adaptive network traffic compression mechanism including dynamic selection of compression algorithms
US7480238B2 (en) 2005-04-14 2009-01-20 International Business Machines Corporation Dynamic packet training
US7561569B2 (en) 2005-07-11 2009-07-14 Battelle Memorial Institute Packet flow monitoring tool and method
US7522521B2 (en) 2005-07-12 2009-04-21 Cisco Technology, Inc. Route processor adjusting of line card admission control parameters for packets destined for the route processor
US7907608B2 (en) 2005-08-12 2011-03-15 Mcafee, Inc. High speed packet capture
US8077718B2 (en) 2005-08-12 2011-12-13 Microsoft Corporation Distributed network management
US7532633B2 (en) 2005-10-12 2009-05-12 Juniper Networks, Inc. Spoof checking within a label switching computer network
JP4648181B2 (ja) 2005-12-16 2011-03-09 富士通株式会社 データ解析装置、データ解析方法、及びそのプログラム
TWI301025B (en) 2005-12-28 2008-09-11 Ind Tech Res Inst Method for transmitting real-time streaming data and apparatus using the same
US7797740B2 (en) 2006-01-06 2010-09-14 Nokia Corporation System and method for managing captured content
JP4673752B2 (ja) 2006-01-13 2011-04-20 株式会社日立製作所 マルチキャストパケット制御装置
US7466694B2 (en) 2006-06-10 2008-12-16 Cisco Technology, Inc. Routing protocol with packet network attributes for improved route selection
CN100461732C (zh) 2006-06-16 2009-02-11 华为技术有限公司 一种以太技术交换和转发的方法、系统和设备
CN101297486B (zh) 2006-09-25 2010-05-19 华为技术有限公司 携带同步编码的信息和帧定时同步的方法
US20080117903A1 (en) 2006-10-20 2008-05-22 Sezen Uysal Apparatus and method for high speed and large amount of data packet capturing and replaying
US7836169B2 (en) 2007-01-24 2010-11-16 Cisco Technology, Inc. Method and system for identifying and reporting over-utilized, under-utilized, and bad quality trunks and gateways in internet protocol telephony networks
EP1971087A1 (en) 2007-03-12 2008-09-17 Nokia Siemens Networks Gmbh & Co. Kg Method for controlling data traffic between gateways
US8185355B2 (en) 2007-04-03 2012-05-22 Microsoft Corporation Slot-cache for caching aggregates of data with different expiry times
US8756350B2 (en) 2007-06-26 2014-06-17 International Business Machines Corporation Method and apparatus for efficiently tracking queue entries relative to a timestamp
US8897211B2 (en) 2007-06-29 2014-11-25 Alcatel Lucent System and methods for providing service-specific support for multimedia traffic in wireless networks
US8988995B2 (en) 2007-07-23 2015-03-24 Mitel Network Corporation Network traffic management
US20090028169A1 (en) 2007-07-27 2009-01-29 Motorola, Inc. Method and device for routing mesh network traffic
US8130656B2 (en) 2007-08-07 2012-03-06 Motorola Solutions, Inc. Method and device for routing mesh network traffic
US8250641B2 (en) 2007-09-17 2012-08-21 Intel Corporation Method and apparatus for dynamic switching and real time security control on virtualized systems
US20090092057A1 (en) 2007-10-09 2009-04-09 Latis Networks, Inc. Network Monitoring System with Enhanced Performance
US20090097418A1 (en) 2007-10-11 2009-04-16 Alterpoint, Inc. System and method for network service path analysis
US8625610B2 (en) 2007-10-12 2014-01-07 Cisco Technology, Inc. System and method for improving spoke to spoke communication in a computer network
US8559319B2 (en) 2007-10-19 2013-10-15 Voxer Ip Llc Method and system for real-time synchronization across a distributed services communication network
IL187046A0 (en) 2007-10-30 2008-02-09 Sandisk Il Ltd Memory randomization for protection against side channel attacks
DE102007052180A1 (de) 2007-10-31 2009-05-07 Fujitsu Siemens Computers Gmbh Verfahren, Rechnersystem und Computerprogrammprodukt
US9106450B2 (en) 2007-11-01 2015-08-11 International Business Machines Corporation System and method for communication management
US7529932B1 (en) 2008-03-31 2009-05-05 International Business Machines Corporation Removable medium and system and method for writing data to same

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0397343A (ja) * 1989-09-11 1991-04-23 Matsushita Electric Ind Co Ltd データモニタ装置
JPH07162514A (ja) * 1993-12-10 1995-06-23 Anritsu Corp ネットワーク監視システムの情報検索装置
JPH11288387A (ja) * 1998-12-11 1999-10-19 Fujitsu Ltd ディスクキャッシュ装置
JP2002026935A (ja) * 2000-07-11 2002-01-25 Lac Co Ltd フレーム監視装置および記憶媒体
JP2002323959A (ja) * 2001-02-05 2002-11-08 Internatl Business Mach Corp <Ibm> 磁気ディスク制御装置のログ主体不揮発性書き込みキャッシュ・システム及び方法
JP2003298648A (ja) * 2002-03-29 2003-10-17 Yokogawa Electric Corp パケットログ記録装置

Also Published As

Publication number Publication date
EP1832054A2 (en) 2007-09-12
AU2005322350A2 (en) 2006-07-06
WO2006071560A3 (en) 2006-08-17
AU2005322350B2 (en) 2010-10-21
AU2005322350A1 (en) 2006-07-06
CA2619141A1 (en) 2006-07-06
US7684347B2 (en) 2010-03-23
US7855974B2 (en) 2010-12-21
CA2619141C (en) 2014-10-21
EP1832054A4 (en) 2016-08-17
US20090219829A1 (en) 2009-09-03
WO2006071560A2 (en) 2006-07-06
JP2011222006A (ja) 2011-11-04
JP2008526109A (ja) 2008-07-17
EP1832054B1 (en) 2018-03-21
US20090182953A1 (en) 2009-07-16
US20070248029A1 (en) 2007-10-25

Similar Documents

Publication Publication Date Title
JP4759574B2 (ja) ネットワークパケットキャプチャ分散ストレージシステムの方法及び機器
US20100195538A1 (en) Method and apparatus for network packet capture distributed storage system
US8112395B2 (en) Systems and methods for providing a distributed file system utilizing metadata to track information about data stored throughout the system
JP5096441B2 (ja) 分散ファイルシステムにおけるファイルの再ストライピングのための方法
US7149189B2 (en) Network data retrieval and filter systems and methods
US7406473B1 (en) Distributed file system using disk servers, lock servers and file servers
US7047297B2 (en) Hierarchically organizing network data collected from full time recording machines and efficiently filtering the same
US7509524B2 (en) Systems and methods for a distributed file system with data recovery
JP5210176B2 (ja) 複数のノードを有するストレージ・システムの保護管理方法
US7673242B1 (en) Sliding window packet management systems
US20040220951A1 (en) System and method for synchronizing mirrored and striped disk writes
CN111522499B (zh) 运维数据读取装置及其读取方法
US20150381727A1 (en) Storage functionality rule implementation
Olker et al. Optimizing NFS Performance: Tuning and Troubleshooting NFS on HP-UX Systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110516

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110606

R150 Certificate of patent or registration of utility model

Ref document number: 4759574

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140610

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees