JP4533454B2 - 階層セグメント表現を含む記憶および伝送時のデータ圧縮に関するコンテント・ベースのセグメント化方式 - Google Patents
階層セグメント表現を含む記憶および伝送時のデータ圧縮に関するコンテント・ベースのセグメント化方式 Download PDFInfo
- Publication number
- JP4533454B2 JP4533454B2 JP2009112959A JP2009112959A JP4533454B2 JP 4533454 B2 JP4533454 B2 JP 4533454B2 JP 2009112959 A JP2009112959 A JP 2009112959A JP 2009112959 A JP2009112959 A JP 2009112959A JP 4533454 B2 JP4533454 B2 JP 4533454B2
- Authority
- JP
- Japan
- Prior art keywords
- segment
- file
- store
- data
- list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99943—Generating database or data structure, e.g. via user interface
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99951—File or database maintenance
- Y10S707/99952—Coherency, e.g. same view to multiple users
- Y10S707/99953—Recoverability
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Information Transfer Between Computers (AREA)
- Communication Control (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
「Transaction Accelerator for Client-Server Communication Systems」[Attorney Docket No: 021647-000100US](以下「McCanne I」)という名称の米国特許出願第10/285,315号は、本出願と同じ日付に出願され、参照としてすべての目的で本明細書に組み入れられる。
本発明は、概してデータ圧縮に関し、より具体的には圧縮に用いられるセグメント化に関する。
本発明の一態様による符号化システムでは、システム内の入力データが符号化される。入力データは、入力データ内で繰り返されるかまたはシステム内で符号化される他の入力データ内で発生する記号のシーケンスを含んでよい。符号化は、1つまたは複数のターゲット・セグメント・サイズを判定する段階と、1つまたは複数の窓サイズを判定する段階と、入力データ内のオフセットにおける記号の窓内のフィンガープリントを識別する段階と、オフセットをカット・ポイントとして指定すべきかどうかを判定する段階と、1組のカット・ポイントによって示されるように入力データをセグメント化する段階とを含む。識別すべき各セグメントごとに、エンコーダは、セグメントが参照されるセグメントであるかそれとも参照されないセグメントであるかを判定し、それぞれの参照されるセグメントのセグメント・データを参照ラベルで置き換え、必要に応じて、それぞれの参照されるセグメントの持続セグメント・ストアに参照バインディングを記憶する。このプロセスは、各階層において、参照ラベル・ストリングをグループとしてセグメント化し、グループ分けされた参照をグループ・ラベルで置き換え、グループ分けされた参照とグループ・ラベルとの間のバインディングがすでに存在していない場合にこのバインディングを記憶し、このプロセスを繰り返すことによって繰り返すことができる。階層レベルの数は、事前に固定することも、符号化されるコンテントから決定することもできる。
本発明は、本開示を読んだ後で明らかになる多数の用途を有する。本発明による圧縮システムの態様を説明するうえで、可能な変形態様のいくつかのみについて説明する。当業者には他の用途および変形態様が明らかになり、したがって、本発明は実施例ほど狭義に解釈すべきではなく、むしろ添付の特許請求の範囲に従って解釈すべきである。
図3のセグメント・デリミタ222などのセグメンタは、1組の入力データの一部(またはすべて)に作用する。セグメンタは、(現在のオフセットおよび窓サイズ・パラメータによって決定される)ある数の入力記号をまとめ、窓に対するハッシュ関数を算出する。これを窓のフィンガープリントと呼ぶ。確定的フィンガープリント・インジケータ関数は、オフセットをカット・ポイントとみなすべきかどうかを示す各フィンガープリントのブール値を返し、それによってセグメント境界を定義する。好ましくは、窓はアプリケーション・データ・ユニット(ADU)の各端部を越えて延びず、したがって、各窓寄与は、厳密に1つのADUから得られる。したがって、好ましくは、入力データ・ストリーム内の、あるADUが終わり別のADUが始まる表示が、エンコーダに与えられる。しかし、このような表示は、システムを正しく動作させるのに必要ではない。むしろ、このような表示は、エンコーダが、ADU境界が終わるセグメント化境界をストリーム内に強制的に配置するのを可能にし、したがって、到達しない可能性のあるデータを待つ余分な遅延のような実質的な非効率を防止する(たとえば、この代わりに、実現タイムアウトに依存してセグメント境界を強制的に配置する)。さらに、セグメント境界を単一のADU内に制限すると、セグメントが2つのADUにわたる場合のように将来繰り返される可能性の低いセグメントをシステムが検出し記憶するのが防止される。
大きいターゲット・ブロック・サイズの利点(高い圧縮比など)および小さいターゲット・ブロック・サイズの利点(微細な繰返しを認識させそのようにセグメント化させることなど)を得るには、階層参照を使用することができる。このようなシステムでは、小さいターゲット・ブロック・サイズを用いて、符号化すべき入力データをセグメント化し、多数の参照ラベルを生成することができる。参照ラベルは、グループ分けされ、グループ・ラベルで置き換えられ、参照バインディング(グループ・ラベル、グループを形成する参照ラベルのシーケンス)がPSSのような構造に記憶される。この場合、反復パターンが微細に生じるか、それとも粗に生じるかにかかわらず、様々な種類の反復データに対して単一の技術を使用することができる。微細な反復パターンを取り込む場合、ターゲット・ブロック・サイズとしては比較的小さいサイズが選択される。ターゲット・ブロック・サイズが小さいと、符号化参照ストリームはより冗長になるが、階層参照は、多数の参照ラベル・パターンを繰り返させ、実際上、最終結果において結果的に得られる各ラベルに、繰り返されていることが分かるほど大きいスパンの入力データを表させるオーバヘッドを低減させる傾向がある。この階層参照は、各レベルで、そのレベルでの参照名の相対サイズに調整された異なるターゲット・ブロック・サイズを使用するか、または同じサイズを使用することができる。同様に、階層参照は、階層内の各レベルで異なるフィンガープリント関数および/または異なるフィンガープリント窓サイズを使用するか、または全体にわたって一様に同じ関数を使用することができる。
固定レベルHCSでは、PSSは1組のN個の(1よりも大きなある確定整数)バインディング・テーブルPSS1, PSS2, ..., PSSNとして構造化される。バインディング・テーブルPSS2は、参照ラベルとセグメント・データとのバインディングを与える。他のバインディング・テーブルは、参照ラベルのグループ用のバインディングなどを与える。これを図6に示す。
参照グループ分けは、前述の例の固定されたN個のレベルの代わりに、実行時に決定される可変深さを有することができる。これによって、すべての種類およびサイズのデータに作用するNの値を選択する必要がある問題が解消される。
図12は、本明細書で説明するHCS符号化を使用できるシステムの例を示している。図12に示されているように、クライアント612は、ネットワーク616上でクライアント側トランザクション・アクセルレータ(「CTA」)620およびサーバ側トランザクション・アクセルレータ(「STA」)622を介してサーバ614に結合されている。1つのクライアントおよび1つのサーバしか示されていないが、CTAおよびSTAが複数のクライアントおよび/または複数のサーバと一緒に動作できることを理解されたい。
本発明の他の態様は、ファイル・システム内でHCSを使用する。ファイル・システムの設計にHCSを適切に適用することにより、ファイル・システム内のすべてのファイル(およびデータ構造)にわたって繰り返されるデータのパターンを認識し、したがって、任意の所与のデータ・パターンを一度しかディスク上に記憶しないことによって容量を実質的に増やすことができる。HCSをファイル・システムにこのように導入する1つの手法は、HCSエンコーダおよびHCSデコーダをネイティブ・ファイル・システムのネイティブ構成要素として組み込むことである。たとえば、ファイル・システムがディスク・ブロックを読み取るかまたは書き込むときはいつでも、これらのディスク・ブロックにHCSを適用することができる。しかし、この直接的な手法は、多数のアプリケーションが高性能ファイル入出力を要求しているが、HCS符号化プロセスが計算上のオーバヘッドを導入する可能性があるときに性能上の問題を生じさせる恐れがある。さらに、HCSは、アプリケーションまたはファイル・データの互いに隣接した広い領域が与えられたときに最も効率的に働き、ファイル・システムの多数の実現態様は通常、比較的小さい固定サイズ・ブロックを用いてファイルを操作する。
Claims (13)
- サーバでクライアントからのファイルを受信する段階;
ファイルを1又は複数の重なりのないセグメントにセグメント化する段階;
各セグメントが、セグメント・ストアに存在するかどうかを判定する段階であって、セグメント・ストアに存在するセグメントは割り当てられた参照ラベルを有している、段階と、
セグメント・ストア内に存在する各セグメントについて、リストに割り当てられた参照ラベルを加える段階と、及び
セグメント・ストア内に存在しない各セグメントについて、該セグメントに参照ラベルを割り当てる段階、該セグメントと該参照ラベルを記憶する段階、及び該参照ラベルをリストに加える段階
とを含む、リストを形成する段階;
ファイルとリストとの間の関連を記憶する段階
を含む、データを記憶するための方法。 - セグメントと割り当てられた参照ラベルがセグメント・ストアにともに記憶されている、請求項1記載の方法。
- 参照ラベルはセグメントのコンテントと部分的に無関係である、請求項1記載の方法。
- タイム・スタンプをリストに加える段階をさらに含む、請求項1記載の方法。
- サーバは、ユニックス・ファイル・システム(UFS)であり、ファイル用のUFSの辞書エントリがセグメント・ストアを参照する、請求項1記載の方法。
- セグメントの任意のシーケンスを参照グループとしてグループ分けするどうかを判定する段階を更に含み、
リストを形成する段階は、
参照グループが、セグメント・ストアに存在しているかどうかを判定する段階であって、該セグメント・ストアがセグメント・ストアに存在する参照グループの参照ラベルに対するグループ・ラベルを含む、段階;
セグメント・ストアに存在する各参照グループについて、グループ・ラベルをリストに加える段階;
セグメント・ストアに存在しない各参照グループについて、セグメント・ストアに存在しない参照グループセグメントに参照ラベルを割り当てる段階、参照グループセグメントと参照ラベルをセグメント・ストア内に記憶する段階、セグメント・ストア内のグループ・ラベルを記憶する段階、及びグループ・ラベルを参照グループの参照ラベルに割り当てる段階、セグメント・ストア内のグループ・ラベルを記憶する段階、及びグループ・ラベルをリストに加える段階
をさらに含む、
請求項1記載の方法。 - 以下を含む、データを記憶するためのシステム。
クライアントからのファイルを受信するためのサーバ;
ファイルを重なりのないセグメントにセグメント化するように構成されたセグメンタ;
リストを形成するためのエンコーダであって、
各セグメントがセグメント・ストア内に存在するかどうかを判定するように構成されたロジックであって、セグメント・ストア内に存在するセグメントは割り当てられた参照ラベルを有する、ロジック;
セグメント・ストア内に存在する各セグメントについて、リストに割り当てられた参照ラベルを加えるように構成されたロジック; 及び
セグメント・ストア内に存在しない各セグメントについて、セグメントに参照ラベルを割り当て、セグメントと参照ラベルを記憶し、参照ラベルをリストに加えるように構成されたロジック;
を含むエンコーダ; 及び
ファイルとリストとの間の関連を記憶するように構成されたロジック。 - セグメントと割り当てられたラベルはセグメント・ストアにともに記憶されている、請求項7記載のシステム。
- 以下を含む、データを検索するための方法。
クライアントからのファイルに対する要求をサーバで受信する段階;
ファイルの重なりのないセグメントに対する参照ラベルからなるリストを検索する段階であって、該リストはファイルに関連している、段階;
該参照ラベルとファイルの重なりのないセグメントのコンテントを置き換える段階を含む、リストを復号する段階及び
該ファイルをサーバからクライアントに送信する段階。 - 以下を含む、ファイルのバックアップを実行するための方法。
バックアップ・システムで、バックアップすべき複数のファイルを受信する段階;
ファイルのコンテントに基づいて実行される、バックアップ・システムのセグメンタによって、各ファイルを1または複数の重なりのないセグメントにセグメント化する段階;
以下の(a)〜(c)を含む、各ファイル用のリストを形成する段階;
(a)各セグメントがセグメント・ストアに存在するかどうかを判定する段階であって、セグメント・ストアに存在するセグメントが割り当てられた参照ラベルを有する、段階;
(b)セグメント・ストアに存在する各セグメントについて、リストに割り当てられた参照ラベルを加える段階;
(c)セグメント・ストアに存在しない各セグメントについて、該セグメントに参照ラベルを割り当てる段階、セグメントと参照ラベルを記憶する段階、及び参照ラベルをリストに加える段階; 及び
バックアップ・システムのデータベースで、各ファイルと対応するリストとの間の関連を記憶する段階。 - ファイルのバックアップを実行するためのバックアップ・システムであって、該バックアップ・システムは、以下を含む、バックアップ・システム。
バックアップすべき複数のファイルを受信するためのインターフェース;
各ファイルを重なりのないセグメントにセグメント化するように構成されたセグメンタ;
以下の(a)〜(c)を含む、各ファイル用のリストを形成するためのエンコーダ;
(a)各セグメントがセグメント・ストアに存在するかどうかを判定するように構成されたロジックであって、セグメント・ストアに存在するセグメントが割り当てられた参照ラベルを有する、ロジック;
(b)セグメント・ストアに存在する各セグメントについて、リストに割り当てられた参照ラベルを加えるように構成されたロジック;
(c)セグメント・ストアに存在しない各セグメントについて、該セグメントに参照ラベルを割り当て、セグメントと参照ラベルを記憶し、及び参照ラベルをリストに加えるように構成されたロジック; 及び
各ファイルと対応するリストとの間の関連を記憶するためのロジック。 - ファイルを1つ又は複数の重なりのないセグメントにセグメント化する段階は、ファイルのコンテントに基づいて実行される、請求項1〜6及び10の何れか1項記載の方法。
- セグメンタは、ファイルのコンテントに基づき、ファイルを重なりのないセグメントにセグメント化するように構成された、請求項7、8及び11の何れか1項記載のシステム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/285,330 US6667700B1 (en) | 2002-10-30 | 2002-10-30 | Content-based segmentation scheme for data compression in storage and transmission including hierarchical segment representation |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004550188A Division JP4512893B2 (ja) | 2002-10-30 | 2003-10-28 | 階層セグメント表現を含む記憶および伝送時のデータ圧縮に関するコンテント・ベースのセグメント化方式 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009171635A JP2009171635A (ja) | 2009-07-30 |
JP4533454B2 true JP4533454B2 (ja) | 2010-09-01 |
Family
ID=29735736
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004550188A Expired - Fee Related JP4512893B2 (ja) | 2002-10-30 | 2003-10-28 | 階層セグメント表現を含む記憶および伝送時のデータ圧縮に関するコンテント・ベースのセグメント化方式 |
JP2009112959A Expired - Fee Related JP4533454B2 (ja) | 2002-10-30 | 2009-05-07 | 階層セグメント表現を含む記憶および伝送時のデータ圧縮に関するコンテント・ベースのセグメント化方式 |
JP2009112964A Pending JP2009171636A (ja) | 2002-10-30 | 2009-05-07 | 階層セグメント表現を含む記憶および伝送時のデータ圧縮に関するコンテント・ベースのセグメント化方式 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004550188A Expired - Fee Related JP4512893B2 (ja) | 2002-10-30 | 2003-10-28 | 階層セグメント表現を含む記憶および伝送時のデータ圧縮に関するコンテント・ベースのセグメント化方式 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009112964A Pending JP2009171636A (ja) | 2002-10-30 | 2009-05-07 | 階層セグメント表現を含む記憶および伝送時のデータ圧縮に関するコンテント・ベースのセグメント化方式 |
Country Status (9)
Country | Link |
---|---|
US (7) | US6667700B1 (ja) |
EP (2) | EP1584139B1 (ja) |
JP (3) | JP4512893B2 (ja) |
CN (2) | CN1736030B (ja) |
AT (1) | ATE437477T1 (ja) |
AU (1) | AU2003288962A1 (ja) |
DE (1) | DE60328528D1 (ja) |
HK (1) | HK1076935A1 (ja) |
WO (1) | WO2004042930A2 (ja) |
Families Citing this family (217)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7509420B2 (en) * | 2000-02-18 | 2009-03-24 | Emc Corporation | System and method for intelligent, globally distributed network storage |
FR2813743B1 (fr) * | 2000-09-06 | 2003-01-03 | Claude Seyrat | Procede de compression/decompression de documents structures |
US6810398B2 (en) * | 2000-11-06 | 2004-10-26 | Avamar Technologies, Inc. | System and method for unorchestrated determination of data sequences using sticky byte factoring to determine breakpoints in digital sequences |
US7003479B2 (en) * | 2000-12-15 | 2006-02-21 | First Data Corporation | Systems and methods for ordering and distributing incentive messages |
US20020161860A1 (en) * | 2001-02-28 | 2002-10-31 | Benjamin Godlin | Method and system for differential distributed data file storage, management and access |
US6976081B2 (en) * | 2002-01-30 | 2005-12-13 | Motorola, Inc. | Session initiation protocol compression |
US7493911B2 (en) * | 2002-08-09 | 2009-02-24 | The Boeing Company | Shrouded valve apparatus and related methods |
US7120666B2 (en) | 2002-10-30 | 2006-10-10 | Riverbed Technology, Inc. | Transaction accelerator for client-server communication systems |
US7650416B2 (en) * | 2003-08-12 | 2010-01-19 | Riverbed Technology | Content delivery for client-server protocols with user affinities using connection end-point proxies |
US6667700B1 (en) * | 2002-10-30 | 2003-12-23 | Nbt Technology, Inc. | Content-based segmentation scheme for data compression in storage and transmission including hierarchical segment representation |
US8176186B2 (en) * | 2002-10-30 | 2012-05-08 | Riverbed Technology, Inc. | Transaction accelerator for client-server communications systems |
US8364815B2 (en) | 2005-03-18 | 2013-01-29 | Riverbed Technology, Inc. | Reliability and availability of distributed servers |
US7318100B2 (en) * | 2003-04-14 | 2008-01-08 | Riverbed Technology, Inc. | Cooperative proxy auto-discovery and connection interception |
WO2004070568A2 (en) | 2003-01-31 | 2004-08-19 | Viair, Inc. | Asynchronous real-time retrieval of data |
WO2004100420A2 (en) * | 2003-05-08 | 2004-11-18 | Sap Portals Israel Ltd. | A pattern driven message oriented compression apparatus and method |
CA2475186C (en) * | 2003-07-17 | 2010-01-05 | At&T Corp. | Method and apparatus for windowing in entropy encoding |
US8938595B2 (en) * | 2003-08-05 | 2015-01-20 | Sepaton, Inc. | Emulated storage system |
US7464331B2 (en) * | 2003-08-18 | 2008-12-09 | Microsoft Corporation | System and method for validating hierarchically-organized messages |
US8135683B2 (en) * | 2003-12-16 | 2012-03-13 | International Business Machines Corporation | Method and apparatus for data redundancy elimination at the block level |
US7002493B2 (en) * | 2004-01-08 | 2006-02-21 | Mathstar, Inc. | Boolean logic tree reduction circuit |
US20050169223A1 (en) * | 2004-01-16 | 2005-08-04 | Crocker Ronald T. | Method and apparatus for facilitating a PTT session initiation using an IP-based protocol |
US20060047855A1 (en) | 2004-05-13 | 2006-03-02 | Microsoft Corporation | Efficient chunking algorithm |
US7269689B2 (en) * | 2004-06-17 | 2007-09-11 | Hewlett-Packard Development Company, L.P. | System and method for sharing storage resources between multiple files |
US7613787B2 (en) * | 2004-09-24 | 2009-11-03 | Microsoft Corporation | Efficient algorithm for finding candidate objects for remote differential compression |
US20060085740A1 (en) * | 2004-10-20 | 2006-04-20 | Microsoft Corporation | Parsing hierarchical lists and outlines |
US7574409B2 (en) * | 2004-11-04 | 2009-08-11 | Vericept Corporation | Method, apparatus, and system for clustering and classification |
US7849462B2 (en) * | 2005-01-07 | 2010-12-07 | Microsoft Corporation | Image server |
US8073926B2 (en) * | 2005-01-07 | 2011-12-06 | Microsoft Corporation | Virtual machine image server |
US20070094348A1 (en) * | 2005-01-07 | 2007-04-26 | Microsoft Corporation | BITS/RDC integration and BITS enhancements |
US8332485B1 (en) | 2005-03-04 | 2012-12-11 | Cisco Technology, Inc. | Lock optimization and lock prediction approaches for reducing client-server messages |
US20060248194A1 (en) | 2005-03-18 | 2006-11-02 | Riverbed Technology, Inc. | Connection forwarding |
US7098815B1 (en) * | 2005-03-25 | 2006-08-29 | Orbital Data Corporation | Method and apparatus for efficient compression |
US7853962B1 (en) | 2005-05-31 | 2010-12-14 | Cisco Technology, Inc. | Method and apparatus for optimization of remote procedure call communications |
US8521752B2 (en) | 2005-06-03 | 2013-08-27 | Osr Open Systems Resources, Inc. | Systems and methods for arbitrary data transformations |
US8095774B1 (en) | 2007-07-05 | 2012-01-10 | Silver Peak Systems, Inc. | Pre-fetching data into a memory |
US8171238B1 (en) | 2007-07-05 | 2012-05-01 | Silver Peak Systems, Inc. | Identification of data stored in memory |
US8392684B2 (en) | 2005-08-12 | 2013-03-05 | Silver Peak Systems, Inc. | Data encryption in a network memory architecture for providing data based on local accessibility |
US8929402B1 (en) | 2005-09-29 | 2015-01-06 | Silver Peak Systems, Inc. | Systems and methods for compressing packet data by predicting subsequent data |
US8489562B1 (en) | 2007-11-30 | 2013-07-16 | Silver Peak Systems, Inc. | Deferred data storage |
US8811431B2 (en) | 2008-11-20 | 2014-08-19 | Silver Peak Systems, Inc. | Systems and methods for compressing packet data |
US7716307B1 (en) | 2005-10-21 | 2010-05-11 | Cisco Technology, Inc. | Method and apparatus for reducing client-server messages associated with opening a file |
US7844774B2 (en) * | 2005-11-16 | 2010-11-30 | Sun Microsystems, Inc. | Extensible fingerprinting functions and content addressed storage system using the same |
US7636767B2 (en) * | 2005-11-29 | 2009-12-22 | Cisco Technology, Inc. | Method and apparatus for reducing network traffic over low bandwidth links |
US9460060B2 (en) * | 2005-12-22 | 2016-10-04 | Xerox Corporation | System and method for managing dynamic document references |
US8509563B2 (en) * | 2006-02-02 | 2013-08-13 | Microsoft Corporation | Generation of documents from images |
US20070192086A1 (en) * | 2006-02-13 | 2007-08-16 | Linfeng Guo | Perceptual quality based automatic parameter selection for data compression |
US7844652B2 (en) * | 2006-04-11 | 2010-11-30 | Emc Corporation | Efficient computation of sketches |
US7562186B2 (en) * | 2006-04-11 | 2009-07-14 | Data Domain, Inc. | Efficient data storage using resemblance of data segments |
US7949824B2 (en) * | 2006-04-11 | 2011-05-24 | Emc Corporation | Efficient data storage using two level delta resemblance |
US8190742B2 (en) * | 2006-04-25 | 2012-05-29 | Hewlett-Packard Development Company, L.P. | Distributed differential store with non-distributed objects and compression-enhancing data-object routing |
EP3336707A1 (en) | 2006-05-05 | 2018-06-20 | Hybir Inc. | Group based complete and incremental computer file backup system, process and apparatus |
US20070276912A1 (en) * | 2006-05-05 | 2007-11-29 | Mike Rybak | Apparatus and method for forming and communicating a responsive data message |
WO2008005629A2 (en) | 2006-05-26 | 2008-01-10 | Riverbed Technology, Inc. | Throttling of predictive acks in an accelerated network communication system |
WO2007149687A2 (en) | 2006-05-30 | 2007-12-27 | Riverbed Technology, Inc. | Selecting proxies from among autodiscovered proxies |
US7504969B2 (en) * | 2006-07-11 | 2009-03-17 | Data Domain, Inc. | Locality-based stream segmentation for data deduplication |
US7979584B1 (en) * | 2006-07-14 | 2011-07-12 | Emc Corporation | Partitioning a data stream using embedded anchors |
CN1997011B (zh) * | 2006-07-26 | 2011-01-12 | 白杰 | 数据分割方法和数据分割装置 |
US8885632B2 (en) | 2006-08-02 | 2014-11-11 | Silver Peak Systems, Inc. | Communications scheduler |
US8755381B2 (en) | 2006-08-02 | 2014-06-17 | Silver Peak Systems, Inc. | Data matching using flow based packet data storage |
CN1928850B (zh) * | 2006-08-11 | 2011-04-13 | 白杰 | 基于数据字典的数据压缩方法、装置 |
US7950062B1 (en) * | 2006-08-15 | 2011-05-24 | Trend Micro Incorporated | Fingerprinting based entity extraction |
US7844581B2 (en) * | 2006-12-01 | 2010-11-30 | Nec Laboratories America, Inc. | Methods and systems for data management using multiple selection criteria |
US7733910B2 (en) * | 2006-12-29 | 2010-06-08 | Riverbed Technology, Inc. | Data segmentation using shift-varying predicate function fingerprinting |
US20080172430A1 (en) * | 2007-01-11 | 2008-07-17 | Andrew Thomas Thorstensen | Fragmentation Compression Management |
US8775663B1 (en) | 2007-04-25 | 2014-07-08 | Netapp, Inc. | Data replication network traffic compression |
WO2008138008A1 (en) * | 2007-05-08 | 2008-11-13 | Riverbed Technology, Inc | A hybrid segment-oriented file server and wan accelerator |
US7769729B2 (en) * | 2007-05-21 | 2010-08-03 | Sap Ag | Block compression of tables with repeated values |
US7836099B2 (en) * | 2007-07-31 | 2010-11-16 | Yahoo! Inc. | Mail compression scheme with individual message decompressability |
US8463759B2 (en) * | 2007-09-24 | 2013-06-11 | Ca, Inc. | Method and system for compressing data |
US8099573B2 (en) * | 2007-10-25 | 2012-01-17 | Hewlett-Packard Development Company, L.P. | Data processing apparatus and method of processing data |
WO2009054834A1 (en) * | 2007-10-25 | 2009-04-30 | Hewlett-Packard Development Company, L.P. | Data processing apparatus and method of processing data |
GB2466581B (en) * | 2007-10-25 | 2013-01-09 | Hewlett Packard Development Co | Data processing apparatus and method of deduplicating data |
US8332404B2 (en) * | 2007-10-25 | 2012-12-11 | Hewlett-Packard Development Company, L.P. | Data processing apparatus and method of processing data |
DE112007003693B4 (de) * | 2007-10-25 | 2014-05-15 | Hewlett-Packard Development Co., L.P. | Datenverarbeitungsvorrichtung und Verfahren zur Datenverarbeitung |
US8140637B2 (en) | 2007-10-25 | 2012-03-20 | Hewlett-Packard Development Company, L.P. | Communicating chunks between devices |
US8150851B2 (en) * | 2007-10-25 | 2012-04-03 | Hewlett-Packard Development Company, L.P. | Data processing apparatus and method of processing data |
US20090112861A1 (en) * | 2007-10-30 | 2009-04-30 | Honeywell International, Inc. | Non-word or non-number search |
US8307115B1 (en) | 2007-11-30 | 2012-11-06 | Silver Peak Systems, Inc. | Network memory mirroring |
US8452736B2 (en) | 2008-03-05 | 2013-05-28 | Ca, Inc. | File change detection |
GB2472520B (en) * | 2008-04-25 | 2012-11-21 | Hewlett Packard Development Co | Data processing apparatus and method of deduplicating data for data backup |
US8620877B2 (en) * | 2008-04-30 | 2013-12-31 | International Business Machines Corporation | Tunable data fingerprinting for optimizing data deduplication |
US8266114B2 (en) | 2008-09-22 | 2012-09-11 | Riverbed Technology, Inc. | Log structured content addressable deduplicating storage |
US10164861B2 (en) | 2015-12-28 | 2018-12-25 | Silver Peak Systems, Inc. | Dynamic monitoring and visualization for network health characteristics |
US10805840B2 (en) | 2008-07-03 | 2020-10-13 | Silver Peak Systems, Inc. | Data transmission via a virtual wide area network overlay |
US8743683B1 (en) | 2008-07-03 | 2014-06-03 | Silver Peak Systems, Inc. | Quality of service using multiple flows |
US8832034B1 (en) | 2008-07-03 | 2014-09-09 | Riverbed Technology, Inc. | Space-efficient, revision-tolerant data de-duplication |
US9717021B2 (en) | 2008-07-03 | 2017-07-25 | Silver Peak Systems, Inc. | Virtual network overlay |
US8370309B1 (en) | 2008-07-03 | 2013-02-05 | Infineta Systems, Inc. | Revision-tolerant data de-duplication |
US8788466B2 (en) * | 2008-08-05 | 2014-07-22 | International Business Machines Corporation | Efficient transfer of deduplicated data |
US8078593B1 (en) | 2008-08-28 | 2011-12-13 | Infineta Systems, Inc. | Dictionary architecture and methodology for revision-tolerant data de-duplication |
US8290915B2 (en) | 2008-09-15 | 2012-10-16 | International Business Machines Corporation | Retrieval and recovery of data chunks from alternate data stores in a deduplicating system |
US8369324B1 (en) * | 2008-09-29 | 2013-02-05 | Avaya Inc. | Variable compression queue |
US8495032B2 (en) | 2008-10-01 | 2013-07-23 | International Business Machines Corporation | Policy based sharing of redundant data across storage pools in a deduplicating system |
US7873060B2 (en) | 2008-10-18 | 2011-01-18 | Fortinet, Inc. | Accelerating data communication using tunnels |
US8117343B2 (en) * | 2008-10-28 | 2012-02-14 | Hewlett-Packard Development Company, L.P. | Landmark chunking of landmarkless regions |
US8751462B2 (en) * | 2008-11-14 | 2014-06-10 | Emc Corporation | Delta compression after identity deduplication |
US8849772B1 (en) * | 2008-11-14 | 2014-09-30 | Emc Corporation | Data replication with delta compression |
US8447740B1 (en) | 2008-11-14 | 2013-05-21 | Emc Corporation | Stream locality delta compression |
WO2010080591A2 (en) * | 2008-12-18 | 2010-07-15 | Sumooh Inc. | Methods and apparatus for content-aware data partitioning and data de-duplication |
US8161255B2 (en) * | 2009-01-06 | 2012-04-17 | International Business Machines Corporation | Optimized simultaneous storing of data into deduplicated and non-deduplicated storage pools |
WO2010090745A1 (en) * | 2009-02-06 | 2010-08-12 | Osr Open Systems Resources, Inc. | Methods and systems for data storage |
US8375182B2 (en) * | 2009-02-10 | 2013-02-12 | Hewlett-Packard Development Company, L.P. | System and method for segmenting a data stream |
US8001273B2 (en) * | 2009-03-16 | 2011-08-16 | Hewlett-Packard Development Company, L.P. | Parallel processing of input data to locate landmarks for chunks |
CN102439580A (zh) | 2009-03-20 | 2012-05-02 | 普林斯顿大学托管委员会 | 用于网络加速以及对高速缓存文件系统进行高效索引编制的系统及方法 |
US7979491B2 (en) * | 2009-03-27 | 2011-07-12 | Hewlett-Packard Development Company, L.P. | Producing chunks from input data using a plurality of processing elements |
US20100281077A1 (en) * | 2009-04-30 | 2010-11-04 | Mark David Lillibridge | Batching requests for accessing differential data stores |
US9141621B2 (en) * | 2009-04-30 | 2015-09-22 | Hewlett-Packard Development Company, L.P. | Copying a differential data store into temporary storage media in response to a request |
US8412848B2 (en) * | 2009-05-29 | 2013-04-02 | Exagrid Systems, Inc. | Method and apparatus for content-aware and adaptive deduplication |
US8762348B2 (en) * | 2009-06-09 | 2014-06-24 | Emc Corporation | Segment deduplication system with compression of segments |
US8731190B2 (en) * | 2009-06-09 | 2014-05-20 | Emc Corporation | Segment deduplication system with encryption and compression of segments |
US8401181B2 (en) * | 2009-06-09 | 2013-03-19 | Emc Corporation | Segment deduplication system with encryption of segments |
US9438413B2 (en) | 2010-01-08 | 2016-09-06 | Novell, Inc. | Generating and merging keys for grouping and differentiating volumes of files |
US9298722B2 (en) | 2009-07-16 | 2016-03-29 | Novell, Inc. | Optimal sequential (de)compression of digital data |
US8200641B2 (en) * | 2009-09-11 | 2012-06-12 | Dell Products L.P. | Dictionary for data deduplication |
US9164969B1 (en) * | 2009-09-29 | 2015-10-20 | Cadence Design Systems, Inc. | Method and system for implementing a stream reader for EDA tools |
US8423520B2 (en) * | 2009-11-23 | 2013-04-16 | Dell Products L.P. | Methods and apparatus for efficient compression and deduplication |
US8633838B2 (en) * | 2010-01-15 | 2014-01-21 | Neverfail Group Limited | Method and apparatus for compression and network transport of data in support of continuous availability of applications |
US8447741B2 (en) * | 2010-01-25 | 2013-05-21 | Sepaton, Inc. | System and method for providing data driven de-duplication services |
US8660994B2 (en) * | 2010-01-28 | 2014-02-25 | Hewlett-Packard Development Company, L.P. | Selective data deduplication |
WO2011093870A1 (en) * | 2010-01-29 | 2011-08-04 | Hewlett Packard Development Company, L.P. | Parallel test payload |
US8782734B2 (en) * | 2010-03-10 | 2014-07-15 | Novell, Inc. | Semantic controls on data storage and access |
US9292594B2 (en) * | 2010-03-10 | 2016-03-22 | Novell, Inc. | Harvesting relevancy data, including dynamic relevancy agent based on underlying grouped and differentiated files |
WO2011113042A2 (en) * | 2010-03-12 | 2011-09-15 | Copiun, Inc. | Distributed catalog, data store, and indexing |
CN102985911B (zh) * | 2010-03-16 | 2016-07-06 | 科派恩股份有限公司 | 高度可伸缩和分布式重复数据删除 |
US8832103B2 (en) | 2010-04-13 | 2014-09-09 | Novell, Inc. | Relevancy filter for new data based on underlying files |
US8217813B2 (en) * | 2010-04-29 | 2012-07-10 | Advanced Micro Devices, Inc. | System and method for low-latency data compression/decompression |
CN102143039B (zh) * | 2010-06-29 | 2013-11-06 | 华为技术有限公司 | 数据压缩中数据分段方法及设备 |
US9141831B2 (en) | 2010-07-08 | 2015-09-22 | Texas Instruments Incorporated | Scheduler, security context cache, packet processor, and authentication, encryption modules |
CN103229161B (zh) | 2010-08-24 | 2016-01-20 | 科派恩股份有限公司 | 连续接入网关和去重数据缓存服务器 |
US8682873B2 (en) | 2010-12-01 | 2014-03-25 | International Business Machines Corporation | Efficient construction of synthetic backups within deduplication storage system |
US9798732B2 (en) | 2011-01-06 | 2017-10-24 | Micro Focus Software Inc. | Semantic associations in data |
US20120185612A1 (en) * | 2011-01-19 | 2012-07-19 | Exar Corporation | Apparatus and method of delta compression |
US9122639B2 (en) | 2011-01-25 | 2015-09-01 | Sepaton, Inc. | Detection and deduplication of backup sets exhibiting poor locality |
US8732660B2 (en) | 2011-02-02 | 2014-05-20 | Novell, Inc. | User input auto-completion |
US8442986B2 (en) | 2011-03-07 | 2013-05-14 | Novell, Inc. | Ranking importance of symbols in underlying grouped and differentiated files based on content |
US9323769B2 (en) | 2011-03-23 | 2016-04-26 | Novell, Inc. | Positional relationships between groups of files |
CN103548020B (zh) * | 2011-05-12 | 2017-06-27 | 华为技术有限公司 | 用于由小树进行的大小可变分层名称的最长前缀匹配的方法和系统 |
US8756249B1 (en) * | 2011-08-23 | 2014-06-17 | Emc Corporation | Method and apparatus for efficiently searching data in a storage system |
US8825626B1 (en) | 2011-08-23 | 2014-09-02 | Emc Corporation | Method and system for detecting unwanted content of files |
US9130991B2 (en) | 2011-10-14 | 2015-09-08 | Silver Peak Systems, Inc. | Processing data packets in performance enhancing proxy (PEP) environment |
US8903874B2 (en) | 2011-11-03 | 2014-12-02 | Osr Open Systems Resources, Inc. | File system directory attribute correction |
US9626224B2 (en) | 2011-11-03 | 2017-04-18 | Silver Peak Systems, Inc. | Optimizing available computing resources within a virtual environment |
CN102684827B (zh) * | 2012-03-02 | 2015-07-29 | 华为技术有限公司 | 数据处理方法及数据处理设备 |
JP2013190891A (ja) * | 2012-03-13 | 2013-09-26 | Hitachi Ltd | データ転送システム |
US8639672B2 (en) * | 2012-03-27 | 2014-01-28 | International Business Machines Corporation | Multiplex classification for tabular data compression |
US20130279882A1 (en) * | 2012-04-23 | 2013-10-24 | Apple Inc. | Coding of Video and Audio with Initialization Fragments |
US9384218B2 (en) * | 2012-08-21 | 2016-07-05 | Emc Corporation | Format identification for fragmented image data |
US9351196B2 (en) | 2012-08-31 | 2016-05-24 | International Business Machines Corporation | Byte caching in wireless communication networks |
US9166620B2 (en) * | 2012-09-26 | 2015-10-20 | Qualcomm Incorporated | Method and apparatus for a memory based packet compression encoding |
US20140095605A1 (en) * | 2012-10-01 | 2014-04-03 | Matteo Varvello | Method and apparatus for increasing localization of peer-to-peer traffic for content distribution in communication network |
US10304047B2 (en) | 2012-12-07 | 2019-05-28 | Visa International Service Association | Token generating component |
US9699231B2 (en) * | 2012-12-27 | 2017-07-04 | Akamai Technologies, Inc. | Stream-based data deduplication using directed cyclic graphs to facilitate on-the-wire compression |
US9166619B2 (en) * | 2013-01-02 | 2015-10-20 | Verizon Patent And Licensing Inc. | Method and system for pattern-based compression |
US8704686B1 (en) | 2013-01-03 | 2014-04-22 | International Business Machines Corporation | High bandwidth compression to encoded data streams |
US9509736B2 (en) | 2013-01-16 | 2016-11-29 | Cisco Technology, Inc. | Method for optimizing WAN traffic |
US9300748B2 (en) * | 2013-01-16 | 2016-03-29 | Cisco Technology, Inc. | Method for optimizing WAN traffic with efficient indexing scheme |
US9306997B2 (en) | 2013-01-16 | 2016-04-05 | Cisco Technology, Inc. | Method for optimizing WAN traffic with deduplicated storage |
US9876507B2 (en) | 2013-02-22 | 2018-01-23 | Sap Se | Semantic compression of structured data |
US9887911B2 (en) | 2013-02-28 | 2018-02-06 | Xaptum, Inc. | Systems, methods, and devices for adaptive communication in a data communication network |
US9766832B2 (en) | 2013-03-15 | 2017-09-19 | Hitachi Data Systems Corporation | Systems and methods of locating redundant data using patterns of matching fingerprints |
US9237014B2 (en) * | 2013-05-28 | 2016-01-12 | Hong Kong Applied Science & Technology Research Institute Company, Limited | Partial CipherText updates using variable-length segments delineated by pattern matching and encrypted by fixed-length blocks |
US9256611B2 (en) | 2013-06-06 | 2016-02-09 | Sepaton, Inc. | System and method for multi-scale navigation of data |
CN103609091B (zh) * | 2013-06-24 | 2017-01-11 | 华为技术有限公司 | 一种数据传输的方法和装置 |
US9756347B2 (en) * | 2013-07-23 | 2017-09-05 | Futurewei Technologies, Inc. | Screen content coding systems and methods |
US9678973B2 (en) | 2013-10-15 | 2017-06-13 | Hitachi Data Systems Corporation | Multi-node hybrid deduplication |
US9830329B2 (en) | 2014-01-15 | 2017-11-28 | W. Anthony Mason | Methods and systems for data storage |
CN105099460B (zh) * | 2014-05-07 | 2018-05-04 | 瑞昱半导体股份有限公司 | 字典压缩方法、字典解压缩方法与字典建构方法 |
JP6318878B2 (ja) * | 2014-06-04 | 2018-05-09 | 富士通株式会社 | 通信装置、システム及び通信処理方法 |
US9948496B1 (en) | 2014-07-30 | 2018-04-17 | Silver Peak Systems, Inc. | Determining a transit appliance for data traffic to a software service |
US9999924B2 (en) | 2014-08-22 | 2018-06-19 | Sigma Labs, Inc. | Method and system for monitoring additive manufacturing processes |
US9875344B1 (en) | 2014-09-05 | 2018-01-23 | Silver Peak Systems, Inc. | Dynamic monitoring and authorization of an optimization device |
WO2016081651A1 (en) | 2014-11-18 | 2016-05-26 | Sigma Labs, Inc. | Multi-sensor quality inference and control for additive manufacturing processes |
US9594765B2 (en) | 2014-12-27 | 2017-03-14 | Ascava, Inc. | Performing keyword-based search and retrieval on data that has been losslessly reduced using a prime data sieve |
EP3245045A4 (en) | 2015-01-13 | 2018-10-31 | Sigma Labs, Inc. | Material qualification system and methodology |
KR20160133719A (ko) | 2015-05-13 | 2016-11-23 | 삼성에스디에스 주식회사 | 청크 파일 생성 장치 및 그 방법 |
US10416915B2 (en) * | 2015-05-15 | 2019-09-17 | ScaleFlux | Assisting data deduplication through in-memory computation |
GB2542707B (en) | 2015-07-03 | 2020-02-12 | Sisp Tech Ltd | Data processing method and apparatus |
TWI534619B (zh) * | 2015-09-11 | 2016-05-21 | 慧榮科技股份有限公司 | 動態邏輯分段方法以及使用該方法的裝置 |
US10207489B2 (en) | 2015-09-30 | 2019-02-19 | Sigma Labs, Inc. | Systems and methods for additive manufacturing operations |
US10042751B1 (en) * | 2015-09-30 | 2018-08-07 | EMC IP Holding Company LLC | Method and system for multi-tier all-flash array |
US10216748B1 (en) * | 2015-09-30 | 2019-02-26 | EMC IP Holding Company LLC | Segment index access management in a de-duplication system |
US10432484B2 (en) | 2016-06-13 | 2019-10-01 | Silver Peak Systems, Inc. | Aggregating select network traffic statistics |
EP3479485B1 (en) * | 2016-07-04 | 2022-03-16 | SISP Technologies Ltd | Data processing method and apparatus |
US9967056B1 (en) | 2016-08-19 | 2018-05-08 | Silver Peak Systems, Inc. | Forward packet recovery with constrained overhead |
CN106572090A (zh) * | 2016-10-21 | 2017-04-19 | 网宿科技股份有限公司 | 数据传输方法及系统 |
US10361997B2 (en) | 2016-12-29 | 2019-07-23 | Riverbed Technology, Inc. | Auto discovery between proxies in an IPv6 network |
CN106855930B (zh) * | 2017-01-04 | 2019-12-31 | 成都四方伟业软件股份有限公司 | 一种安全可靠的大数据存储系统及方法 |
US10771394B2 (en) | 2017-02-06 | 2020-09-08 | Silver Peak Systems, Inc. | Multi-level learning for classifying traffic flows on a first packet from DNS data |
US10892978B2 (en) | 2017-02-06 | 2021-01-12 | Silver Peak Systems, Inc. | Multi-level learning for classifying traffic flows from first packet data |
US10257082B2 (en) | 2017-02-06 | 2019-04-09 | Silver Peak Systems, Inc. | Multi-level learning for classifying traffic flows |
US11044202B2 (en) | 2017-02-06 | 2021-06-22 | Silver Peak Systems, Inc. | Multi-level learning for predicting and classifying traffic flows from first packet data |
US10795860B1 (en) * | 2017-04-13 | 2020-10-06 | EMC IP Holding Company LLC | WAN optimized micro-service based deduplication |
WO2019050418A1 (en) * | 2017-09-11 | 2019-03-14 | Nyriad Limited | COMPRESSION OF DATA BASED ON A DICTIONARY |
US11212210B2 (en) | 2017-09-21 | 2021-12-28 | Silver Peak Systems, Inc. | Selective route exporting using source type |
US11424760B2 (en) | 2017-10-30 | 2022-08-23 | AtomBeam Technologies Inc. | System and method for data compaction and security with extended functionality |
US11700013B2 (en) | 2017-10-30 | 2023-07-11 | Atombeam Technologies Inc | System and method for data compaction and security with extended functionality |
US11397707B2 (en) | 2017-10-30 | 2022-07-26 | AtomBeam Technologies Inc. | System and method for computer data type identification |
US20230385242A1 (en) * | 2017-10-30 | 2023-11-30 | AtomBeam Technologies Inc. | System and methods for bandwidth-efficient data encoding |
US11741051B2 (en) * | 2017-10-30 | 2023-08-29 | AtomBeam Technologies Inc. | System and methods for secure storage for data deduplication |
US10585626B2 (en) | 2017-12-07 | 2020-03-10 | International Business Machines Corporation | Management of non-universal and universal encoders |
US10128868B1 (en) * | 2017-12-29 | 2018-11-13 | Intel Corporation | Efficient dictionary for lossless compression |
US11057352B2 (en) | 2018-02-28 | 2021-07-06 | Xaptum, Inc. | Communication system and method for machine data routing |
US10637721B2 (en) | 2018-03-12 | 2020-04-28 | Silver Peak Systems, Inc. | Detecting path break conditions while minimizing network overhead |
US10965653B2 (en) | 2018-03-28 | 2021-03-30 | Xaptum, Inc. | Scalable and secure message brokering approach in a communication system |
US10805439B2 (en) | 2018-04-30 | 2020-10-13 | Xaptum, Inc. | Communicating data messages utilizing a proprietary network |
US10924593B2 (en) | 2018-08-31 | 2021-02-16 | Xaptum, Inc. | Virtualization with distributed adaptive message brokering |
US10454497B1 (en) | 2018-10-22 | 2019-10-22 | Dell Products L. P. | Reducing a size of multiple data sets |
US10963436B2 (en) | 2018-10-31 | 2021-03-30 | EMC IP Holding Company LLC | Deduplicating data at sub-block granularity |
US10938877B2 (en) | 2018-11-30 | 2021-03-02 | Xaptum, Inc. | Optimizing data transmission parameters of a proprietary network |
US10912053B2 (en) | 2019-01-31 | 2021-02-02 | Xaptum, Inc. | Enforcing geographic restrictions for multitenant overlay networks |
US11153119B2 (en) | 2019-10-15 | 2021-10-19 | Cisco Technology, Inc. | Dynamic discovery of peer network devices across a wide area network |
CN110830361B (zh) * | 2019-10-22 | 2021-12-07 | 新华三信息安全技术有限公司 | 邮件数据存储方法及装置 |
WO2021102673A1 (en) * | 2019-11-26 | 2021-06-03 | Citrix Systems, Inc. | Document storage and management |
US11366735B2 (en) | 2020-08-20 | 2022-06-21 | Bank Of America Corporation | Dynamic data storage management |
CN114328373A (zh) * | 2020-09-29 | 2022-04-12 | 伊姆西Ip控股有限责任公司 | 管理文件系统的方法、电子设备和计算机程序产品 |
US11681659B2 (en) * | 2021-05-21 | 2023-06-20 | Red Hat, Inc. | Hybrid file compression model |
US11687266B2 (en) | 2021-05-26 | 2023-06-27 | Red Hat, Inc. | Managing deduplication operations based on a likelihood of duplicability |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5990810A (en) * | 1995-02-17 | 1999-11-23 | Williams; Ross Neil | Method for partitioning a block of data into subblocks and for storing and communcating such subblocks |
US20020037035A1 (en) * | 2000-07-25 | 2002-03-28 | Singh Amit P. | System and method for incremental and continuous data compression |
Family Cites Families (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4377803A (en) * | 1980-07-02 | 1983-03-22 | International Business Machines Corporation | Algorithm for the segmentation of printed fixed pitch documents |
US4641274A (en) | 1982-12-03 | 1987-02-03 | International Business Machines Corporation | Method for communicating changes made to text form a text processor to a remote host |
US5414850A (en) * | 1991-08-23 | 1995-05-09 | Stac Electronics, Inc. | System for transparently compressing data files in a computer system |
US6076084A (en) | 1994-01-03 | 2000-06-13 | Norton-Lambert Corp. | File transfer method and apparatus utilizing delimiters |
DE4422648C2 (de) | 1994-06-28 | 1998-09-03 | Rene P Schmid | Sollriß-Fugenschiene |
US5737594A (en) | 1994-07-05 | 1998-04-07 | Trustus Pty Ltd. | Method for matching elements of two groups |
US5822746A (en) | 1994-07-05 | 1998-10-13 | Trustus Pty Ltd | Method for mapping a file specification to a sequence of actions |
US5561421A (en) * | 1994-07-28 | 1996-10-01 | International Business Machines Corporation | Access method data compression with system-built generic dictionaries |
EP0700229B1 (en) * | 1994-08-22 | 2006-06-28 | Fujitsu Limited | Connectionless communications system, test method, and intra-station control system |
US6341171B1 (en) * | 1995-01-10 | 2002-01-22 | De Lanauze Pierre | Method and apparatus for scanning and storing a low resolution optical representation of a finger's image |
JP3865775B2 (ja) * | 1995-04-11 | 2007-01-10 | キネテック インコーポレイテッド | データ処理システムにおけるデータの識別 |
US5754774A (en) | 1996-02-15 | 1998-05-19 | International Business Machine Corp. | Client/server communication system |
US6791947B2 (en) * | 1996-12-16 | 2004-09-14 | Juniper Networks | In-line packet processing |
US6075876A (en) * | 1997-05-07 | 2000-06-13 | Draganoff; Georgi Hristoff | Sliding yardsticks fingerprint enrollment and verification system and method |
US6301378B1 (en) * | 1997-06-03 | 2001-10-09 | R2 Technology, Inc. | Method and apparatus for automated detection of masses in digital mammograms |
US6148342A (en) * | 1998-01-27 | 2000-11-14 | Ho; Andrew P. | Secure database management system for confidential records using separately encrypted identifier and access request |
US6415329B1 (en) | 1998-03-06 | 2002-07-02 | Massachusetts Institute Of Technology | Method and apparatus for improving efficiency of TCP/IP protocol over high delay-bandwidth network |
US6452915B1 (en) * | 1998-07-10 | 2002-09-17 | Malibu Networks, Inc. | IP-flow classification in a wireless point to multi-point (PTMP) transmission system |
US6163811A (en) | 1998-10-21 | 2000-12-19 | Wildseed, Limited | Token based source file compression/decompression and its application |
US6178461B1 (en) | 1998-12-08 | 2001-01-23 | Lucent Technologies Inc. | Cache-based compaction technique for internet browsing using similar objects in client cache as reference objects |
US7409546B2 (en) * | 1999-10-20 | 2008-08-05 | Tivo Inc. | Cryptographically signed filesystem |
CN1174374C (zh) * | 1999-06-30 | 2004-11-03 | 国际商业机器公司 | 并发进行语音识别、说话者分段和分类的方法 |
US6915302B1 (en) * | 1999-10-01 | 2005-07-05 | International Business Machines Corporation | Method, system, and program for accessing files in a file system |
US6449658B1 (en) | 1999-11-18 | 2002-09-10 | Quikcat.Com, Inc. | Method and apparatus for accelerating data through communication networks |
DE19962278A1 (de) * | 1999-12-23 | 2001-08-02 | Heidenhain Gmbh Dr Johannes | Positionsmeßeinrichtung |
US6553141B1 (en) | 2000-01-21 | 2003-04-22 | Stentor, Inc. | Methods and apparatus for compression of transform data |
WO2001061563A1 (en) * | 2000-02-18 | 2001-08-23 | Avamar Technologies, Inc. | Hash file system and method for use in a commonality factoring system |
US7412462B2 (en) * | 2000-02-18 | 2008-08-12 | Burnside Acquisition, Llc | Data repository and method for promoting network storage of data |
US6704730B2 (en) | 2000-02-18 | 2004-03-09 | Avamar Technologies, Inc. | Hash file system and method for use in a commonality factoring system |
JP2002032236A (ja) * | 2000-07-13 | 2002-01-31 | Nec Commun Syst Ltd | データ通信装置及びそのデータ通信方法 |
US7047281B1 (en) | 2000-08-08 | 2006-05-16 | Fineground Networks | Method and system for accelerating the delivery of content in a networked environment |
US6883035B2 (en) | 2000-11-16 | 2005-04-19 | Telefonaktiebolaget Lm Ericsson (Publ) | System and method for communicating with temporary compression tables |
WO2002056478A1 (en) | 2001-01-11 | 2002-07-18 | Koninklijke Philips Electronics N.V. | Data compression method with identifier of regressive string reference |
US7310687B2 (en) | 2001-03-23 | 2007-12-18 | Cisco Technology, Inc. | Methods and systems for managing class-based condensation |
US7159014B2 (en) | 2001-06-04 | 2007-01-02 | Fineground Networks | Method and system for efficient and automated version management of embedded objects in web documents |
US7370120B2 (en) | 2001-12-07 | 2008-05-06 | Propel Software Corporation | Method and system for reducing network latency in data communication |
US7143191B2 (en) * | 2002-06-17 | 2006-11-28 | Lucent Technologies Inc. | Protocol message compression in a wireless communications system |
US6678828B1 (en) | 2002-07-22 | 2004-01-13 | Vormetric, Inc. | Secure network file access control system |
US6667700B1 (en) | 2002-10-30 | 2003-12-23 | Nbt Technology, Inc. | Content-based segmentation scheme for data compression in storage and transmission including hierarchical segment representation |
US7269689B2 (en) * | 2004-06-17 | 2007-09-11 | Hewlett-Packard Development Company, L.P. | System and method for sharing storage resources between multiple files |
US7366859B2 (en) * | 2005-10-06 | 2008-04-29 | Acronis Inc. | Fast incremental backup method and system |
CN101326492B (zh) * | 2005-10-06 | 2013-07-17 | 雷德本德有限公司 | 用于更新包括压缩版本的内容的方法和系统 |
US8321859B2 (en) * | 2005-12-22 | 2012-11-27 | Alan Joshua Shapiro | Method and apparatus for dispensing on a data-storage medium customized content comprising selected assets |
-
2002
- 2002-10-30 US US10/285,330 patent/US6667700B1/en not_active Expired - Lifetime
-
2003
- 2003-10-28 CN CN2003801049091A patent/CN1736030B/zh not_active Expired - Fee Related
- 2003-10-28 AT AT03781454T patent/ATE437477T1/de not_active IP Right Cessation
- 2003-10-28 EP EP03781454A patent/EP1584139B1/en not_active Expired - Lifetime
- 2003-10-28 CN CN200910145579XA patent/CN101599091B/zh not_active Expired - Fee Related
- 2003-10-28 EP EP09006966A patent/EP2093885A1/en not_active Ceased
- 2003-10-28 JP JP2004550188A patent/JP4512893B2/ja not_active Expired - Fee Related
- 2003-10-28 DE DE60328528T patent/DE60328528D1/de not_active Expired - Lifetime
- 2003-10-28 WO PCT/US2003/034327 patent/WO2004042930A2/en active Application Filing
- 2003-10-28 AU AU2003288962A patent/AU2003288962A1/en not_active Abandoned
- 2003-12-08 US US10/731,687 patent/US6828925B2/en not_active Expired - Lifetime
-
2004
- 2004-10-18 US US10/968,868 patent/US6961009B2/en not_active Expired - Lifetime
-
2005
- 2005-09-08 US US11/223,789 patent/US7116249B2/en not_active Expired - Lifetime
- 2005-12-07 HK HK05111175.9A patent/HK1076935A1/xx not_active IP Right Cessation
-
2006
- 2006-08-22 US US11/508,531 patent/US7477166B2/en not_active Expired - Lifetime
-
2008
- 2008-12-08 US US12/330,197 patent/US7852237B2/en not_active Expired - Lifetime
-
2009
- 2009-05-07 JP JP2009112959A patent/JP4533454B2/ja not_active Expired - Fee Related
- 2009-05-07 JP JP2009112964A patent/JP2009171636A/ja active Pending
-
2010
- 2010-11-04 US US12/940,017 patent/US8508389B2/en not_active Expired - Lifetime
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5990810A (en) * | 1995-02-17 | 1999-11-23 | Williams; Ross Neil | Method for partitioning a block of data into subblocks and for storing and communcating such subblocks |
US20020037035A1 (en) * | 2000-07-25 | 2002-03-28 | Singh Amit P. | System and method for incremental and continuous data compression |
Also Published As
Publication number | Publication date |
---|---|
AU2003288962A1 (en) | 2004-06-07 |
US20040174276A1 (en) | 2004-09-09 |
US7852237B2 (en) | 2010-12-14 |
US8508389B2 (en) | 2013-08-13 |
AU2003288962A8 (en) | 2004-06-07 |
CN1736030B (zh) | 2010-07-14 |
US20070018858A1 (en) | 2007-01-25 |
US20090079597A1 (en) | 2009-03-26 |
US6961009B2 (en) | 2005-11-01 |
WO2004042930A3 (en) | 2005-08-18 |
JP2009171636A (ja) | 2009-07-30 |
JP2009171635A (ja) | 2009-07-30 |
EP1584139A2 (en) | 2005-10-12 |
US20110267207A1 (en) | 2011-11-03 |
JP4512893B2 (ja) | 2010-07-28 |
DE60328528D1 (de) | 2009-09-03 |
US7116249B2 (en) | 2006-10-03 |
EP1584139A4 (en) | 2006-04-26 |
CN101599091A (zh) | 2009-12-09 |
HK1076935A1 (en) | 2006-01-27 |
CN101599091B (zh) | 2012-11-28 |
US6667700B1 (en) | 2003-12-23 |
US7477166B2 (en) | 2009-01-13 |
JP2006505217A (ja) | 2006-02-09 |
US20050162288A1 (en) | 2005-07-28 |
EP2093885A1 (en) | 2009-08-26 |
WO2004042930A2 (en) | 2004-05-21 |
ATE437477T1 (de) | 2009-08-15 |
EP1584139B1 (en) | 2009-07-22 |
CN1736030A (zh) | 2006-02-15 |
US6828925B2 (en) | 2004-12-07 |
US20060061495A1 (en) | 2006-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4533454B2 (ja) | 階層セグメント表現を含む記憶および伝送時のデータ圧縮に関するコンテント・ベースのセグメント化方式 | |
US6657565B2 (en) | Method and system for improving lossless compression efficiency | |
US5953503A (en) | Compression protocol with multiple preset dictionaries | |
US5850565A (en) | Data compression method and apparatus | |
AU721734B2 (en) | A lempel-ziv data compression technique utilizing a dictionary pre-filled with frequent letter combinations, words and/or phrases | |
US6233589B1 (en) | Method and system for reflecting differences between two files | |
US8244530B2 (en) | Efficient indexing of documents with similar content | |
US8120516B2 (en) | Data compression using a stream selector with edit-in-place capability for compressed data | |
US20160294410A1 (en) | Staged data compression, including block level long range compression, for data streams in a communications system | |
US20180152535A1 (en) | Storage, transfer and compresson of next generation sequencing data | |
US7379940B1 (en) | Focal point compression method and apparatus | |
US8244677B2 (en) | Focal point compression method and apparatus | |
Zhang | Transform based and search aware text compression schemes and compressed domain text retrieval | |
Mukherjee et al. | Text compression |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090604 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090604 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20090604 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20090626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090706 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20091006 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20091009 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100527 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100611 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130618 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |