JP5283952B2 - シングルインスタンス・ストレージプールの複製と再格納 - Google Patents

シングルインスタンス・ストレージプールの複製と再格納 Download PDF

Info

Publication number
JP5283952B2
JP5283952B2 JP2008089975A JP2008089975A JP5283952B2 JP 5283952 B2 JP5283952 B2 JP 5283952B2 JP 2008089975 A JP2008089975 A JP 2008089975A JP 2008089975 A JP2008089975 A JP 2008089975A JP 5283952 B2 JP5283952 B2 JP 5283952B2
Authority
JP
Japan
Prior art keywords
backup server
storage pool
backup
list
data segments
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008089975A
Other languages
English (en)
Other versions
JP2008251011A (ja
Inventor
ニック・クレメリー
ヨリス・カスターズ
コーン・ドホイエ
トム・デ・コニンク
Original Assignee
データ センター・テクノロジーズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by データ センター・テクノロジーズ filed Critical データ センター・テクノロジーズ
Publication of JP2008251011A publication Critical patent/JP2008251011A/ja
Application granted granted Critical
Publication of JP5283952B2 publication Critical patent/JP5283952B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2097Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements maintaining the standby controller/processing unit updated
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1456Hardware arrangements for backup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2038Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant with a single idle spare processing component
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99951File or database maintenance
    • Y10S707/99952Coherency, e.g. same view to multiple users
    • Y10S707/99955Archiving or backup

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Hardware Redundancy (AREA)

Description

本発明は、コンピュータシステムに関し、より詳細にはコンピュータシステム内のバックアップファイルの複製と再格納に関する。
組織が、何かしらのタイプのバックアップ機構によって様々なクライアント装置上にあるデータを保護する必要性が高まっている。例えば、多数台のクライアント装置が、1台又は複数台のバックアップサーバが結合されたネットワークに結合される。バックアップサーバは、更に、1台又は複数台のテープドライブや他のバックアップ媒体に結合されている。各クライアント装置上のバックアップエージェントは、バックアップ媒体に記憶するデータファイルを、様々なスケジュールやポリシーなどに従ってバックアップサーバに送る。例えば、大きなバックアップデータセットが、クライアント装置から、データを記憶し、後で取り出すことができるように構成された媒体サーバに移され、それによりデータは、ユーザエラー、システム障害、停電、災害などによる損失から保護される。更に、そのようなバックアップ手順は、法規制の遵守やワークフロー追跡などに利用される場合がある。
バックアップデータの記憶に必要なストレージプールの容量を最小にするために、各バックアップの場所で、シングルインスタンス・ストレージ(SIS:Single Instance Stroage)技術が使用されることがある。いくつかのSIS技術では、データがセグメントで記憶され、各セグメントは、セグメントを明確に識別するために使用されるフィンガープリントを有する。例えば、データファイルがセグメント化され、各セグメントごとにフィンガープリントが計算される。次に、データセグメントの複製されたコピーは、セグメントのシングルインスタンスと、そのシングルインスタンスに対する1組の参照とによって置き換えられる。バックアップファイルを取り出すときは、1組のフィンガープリントがバックアップサーバに送られ、そこで関連付けられたストレージプールに記憶されたデータのフィンガープリントと比較される。合致しているフィンガープリントがあるたびに、データセグメントが取り出される。得られたセグメントは、所望のファイルを作成するように再組み立てされる。
データを更に使い易くするために、ストレージプールの一部分を複製したい場合がある。例えば、ストレージプールの内容が複製され、その内容を取り出すことができるリモート位置に記憶される(例えば、壊滅的なデータ損失から回復するため)。あるいは、多国籍企業は、営業時間外にストレージプール又はその一部分を複製して、要求されたときに大量の情報を送信する必要なく、おそらく様々な大陸上の様々な場所から取り出しやすくすることができる。従来のシステムにおいて、複製は、一般に、ソース・ストレージプールに記憶されたそれぞれのデータセグメントから複製されたファイルを再組み立てするステップと、それらのファイルをSIS技術が再び適用されるターゲットストレージプールに送るステップを含む。残念ながら、この方法は、複数の参照があるデータを何度も再組み立てすることになる。更に、得られた大きなデータセットの送信は、時間と帯域幅を消費する。これらの問題は、サーバ故障が発生した場合など、データを複製してその元のソース・ストレージプールに戻さなければならないときにも起こる。以上の点を鑑みて、これらの問題を考慮したシングルインスタンス・ストレージプールを複製するための有効なシステム及び方法が望まれている。
コンピュータシステムの様々な実施態様を開示する。一実施態様において、コンピュータシステムは、少なくとも2つのシングルインスタンス・ストレージプールを含み、各ストレージプールは、1台又は複数台のバックアップサーバを含む。第1のバックアップサーバは、第1のストレージプールの1つ又は複数のデータセグメントを識別する第1の重複除外リスト(de-duplicated list)を、第2のストレージプールと関連付けられた第2のバックアップサーバに送るように構成される。第2のバックアップサーバは、第1のバックアップサーバからの第1のリストの受け取りに応じて、第1のリストを第2のストレージプールに対して重複除外(de-duplicate)して、1つ又は複数のデータセグメントの少なくともサブセットを識別する第2の重複除外リストを作成し、第2のリストを第1のバックアップサーバに送るように構成される。第1のバックアップサーバは、第2のリストを受け取り、かつ1つ又は複数のデータセグメントのサブセットを第2のバックアップサーバに送るように構成される。第2のバックアップサーバは、1つ又は複数のデータセグメントのサブセットの受け取りに応じて、サブセットを第2のストレージプールに追加するように構成される。
更に他の実施態様において、第1又は第2のシングルインスタンス・ストレージプールに記憶された各データセグメントごとに、(i)データセグメントを識別する関連付けられたフィンガープリントと、(ii)バックアップのためにデータセグメントのコピーを受け取る、1台又は複数台のクライアントのそれぞれへの参照も記憶される。一実施態様において、第1のリストは、各データセグメントの関連付けられた参照を含み、第2のバックアップサーバは、データセグメントと各データセグメントの関連付けられた参照を第2のシングルインスタンス・ストレージプールに対して重複除外するように構成される。
以上その他の実施態様は、以下の説明と添付図面を検討することにより明らかになるであろう。
本発明は様々な修正と代替形態が可能であるが、特定の実施形態が図面に例として示され、本明細書に詳細に説明されている。しかしながら、図面と詳細な説明は、本発明を開示した特定の形態に限定するものではなく、むしろ本発明が、添付の特許請求の範囲によって定義されたような本発明の精神と範囲内にあるすべての修正物、等価物、代替物を対象として含むことを理解されたよう。
図1は、計算処理システム100の一実施形態を示す。図示したように、システム100は、任意台数の固定クライアントコンピュータを表すデスクトップクライアント110、120を含む。システム100は、また、ラップトップコンピュータやハンドヘルドコンピュータなどの任意台数のモバイルクライアント計算処理装置を表すモバイルクライアント130、140を含む。システム100は、更に、バックアップ媒体155、165をそれぞれ含むバックアップサーバ150、160を含む。バックアップ媒体155、165は、テープやディスクなどのリムーバブルメディア、さらには、ハードディスク、メモリ、又はバックアップサーバ150、160と関連付けられた他の記憶装置でよい。代替の実施形態では、バックアップ媒体155、165は、バックアップサーバ150、160と別でもよい。クライアント110、120、130、140とサーバ150、160はそれぞれ、ネットワーク170に結合されている。ネットワーク170は、広域ネットワーク(WAN)/インターネット及び/又は1台又は複数台のモデムを介して公衆交換電話網(PSTN)に接続される1つ又は複数のローカルエリアネットワーク(LAN)を含む。
代替の実施形態において、クライアントの数とタイプは、デスクトップクライアント110,120や、モバイルクライアント130,140に限定されない。ほぼ任意の数と組み合わせのデスクトップクライアントとモバイルクライアントをネットワーク170に、モデムバンクの様々な組み合わせを介して、あるいはLAN接続、無線接続、WANリンクなどによって直接接続することができる。また、様々なときに1台又は複数台のクライアントがオフラインで動作することができる。更に、動作中、個々のクライアント接続のタイプは、モバイルユーザが場所を移動してネットワーク170に接続し、切断し、再接続するときに変化する。
示したシステム100は、クライアントとサーバで構成され、代替実施形態において、ネットワーク170に接続された各装置は、様々なときにクライアントとサーバのどちらかの役割をする。更に他の代替実施形態において、システム100は、集中制御サービスを含む場合と含まない場合があるピアツーピアネットワークを含んでもよい。
システム100内で、クライアント110、120、130、140のいずれかと関連付けられたデータを保護したい場合がある。クライアントデータを保護するために、様々なバックアップ操作が可能である。例えば、一実施形態において、バックアップサーバ150及び/又はバックアップ媒体155が、第1のストレージプール内の1台又は複数台のクライアントからデータを記憶する。1台又は複数台のクライアントからのデータの第2のコピーが、バックアップサーバ160及び/又はバックアップ媒体165上の第2のストレージプールに記憶される。動作の際、それぞれのクライアント110、120、130、140上にあるデータ保護ソフトウェアが、バックグラウンドで動作してデータバックアップを実行することができる。バックアップの頻度と記憶場所は、データ保護の緊急性、媒体格納スペースの可用性、ネットワーク接続状態、企業ポリシーを含む様々な要素に依存することがある。例えば、一実施形態において、バックアップサーバ150上のストレージプールからのデータは、バックアップサーバ160上のストレージプールに複製される。そのような複製は、スケジュールに従って、又は管理ポリシーやセキュリティポリシーによって決定された他の時間、あるいは企業の他の要件を満たすように行われる。更に、様々なときに、複製されたデータが、逆方向に複製されることがある。例えば、バックアップサーバ150上のストレージプールからバックアップサーバ160上のストレージプールに複製されたデータが、バックアップサーバ150上のストレージプールに逆方向に複製される。逆の複製は、不注意な削除、システム障害、災害などによって失われたデータの再格納などの様々な理由で行われる。
次に図2に移り、バックアップサーバ150、160の概略的なブロック図を示す。示したようなバックアップサーバ150は、シングルインスタンス・ストレージ(SIS)制御部210、バックアップ媒体220、複製SIS制御部240を含む。バックアップサーバ150は、第1のストレージプールを一緒に構成する1台又は複数台のバックアップサーバを表す。バックアップ媒体220は、データエントリー230A〜230Nを含む。本明細書で後に文字を付けて参照番号で示されている要素は、参照番号単独で集合的に示されることがある。例えば、データエントリー230A〜230Nは、データエントリー230と呼ばれる場合がある。各エントリ230は、データ234と関連したメタデータ232を含む。同様に、バックアップサーバ160は、シングルインスタンス・ストレージ制御部250、バックアップ媒体260、複製SIS制御部280を含む。バックアップサーバ160は、第2のストレージプールを共に構成する1台又は複数台のバックアップサーバを表す。バックアップ媒体260は、データエントリー270A〜270Nを含む。各エントリ270は、データ274と関連したメタデータ272を含む。
動作中、クライアントは、バックアップサーバ150にデータをバックアップする。例えば、クライアント上で動作するバックアップエージェントは、ネットワーク170を介してバックアップサーバ150にデータエンティティを送信する。データエンティティは、本明細書で使用されるとき、1つ又は複数のファイル及び/又はファイルのセグメントあるいは他のデータ構造を含む。バックアップサーバ150内で、SIS制御部210は、データエンティティを受け取り、受け取ったデータエンティティの重複除外(de-duplication)を実行し、得られたデータとメタデータを1つ又は複数のエントリ230として記憶する。重複除外は、本明細書で使用されるとき、データエンティティの複数のコピーを見つけるステップと、それらのコピーを、エンティティの単一コピーと各コピーのエンティティへの参照を加えたものに置き換えるステップとを含むプロセスを指す。データエンティティのコピーは、あるエンティティのデジタルフィンガープリントを別のエンティティのフィンガープリントと比較することにより識別することができる。フィンガープリントが合致した場合、2つのエンティティは、互いのコピーであると見る。データエンティティのデジタルフィンガープリントは、ハッシュ関数などの何らかの関数をデータエンティティに適用することによって作成することができる。一実施形態において、デジタルフィンガープリントは暗号化される。一実施形態では、フィンガープリント生成機能は、メッセージダイジェストアルゴリズム5(MID5)ハッシュ関数を含む。代替のハッシュ関数には、データエンティティを識別するためのセキュアハッシュアルゴリズム(SHA)、チェックサム、シグネチャデータ、その他適切な機能、暗号その他などがある。バックアップ媒体220内の各エントリ230は、データエンティティ234と、重複除外中に生成されたデータエンティティ234への参照を含む関連付けられたメタデータ232とを含む。エントリ230の更なる詳細は後述する。
データは、バックアップサーバ160上のバックアップ媒体260内に同じように記憶されてもよい。更に、データは、様々なときに、あるストレージプールから別のストレージプールに複製される。より具体的には、一実施形態において、複製SIS制御部240は、1組のデータエンティティを集めて、それらのデータエンティティをバックアップ媒体220からバックアップ媒体260に転送する。複製SIS制御部280が1組のデータエンティティを集め、そのデータエンティティをバックアップ媒体260からバックアップ媒体220に転送する逆の複製を実行することもできる。複製SIS制御部240と280の動作の更なる詳細は後述する。
図3は、図2のエントリ230又は270を表わすエントリ310の一実施形態の概略的なブロック図である。各エントリ310は、メタデータ部分320と関連するデータ部分330を含む。メタデータ320は、図示したような参照321〜323などの1つ又は複数のメタデータ参照を含む。各参照は、関連データ330について記述する情報を含む。例えば、参照321は、データエンティティ名341、データサイズ351、データ330のフィンガープリント361、バッチ番号371を含む。データ330に対する関連付けられた参照321が作成された特定のバックアップ操作を識別するために、バッチ番号371が使用される場合がある。参照322、323のための類似のデータを示す。各参照には、タイプ、バージョン番号、所有権、許可、修正時間、エラーコードなどの他の情報が含まれてもよい。他の形式のメタデータ及び/又は識別子は、当業者に明らかであろう。
図4は、バックアップサーバ150の一実施形態で詳細なブロック図である。SIS制御部210、バックアップ媒体220、複製SIS制御部240の他に、バックアップ履歴245が示されている。動作において、複製515制御部240は、SIS制御部210からのバックアップ更新を申し込み、対応するエントリをバックアップ履歴245に記憶する。より具体的には、バックアップ操作中に、SIS制御部210は、バッチ番号が付けられた一塊りのデータセグメントを受け取る。バッチ番号は、申し込んでいる複製SIS制御部240に送られる。一実施形態では、バックアップは増分的であり、即ちデータエンティティが修正されたときに新しいデータセグメントだけがバックアップサーバ150に送られる。受け取ったバッチ番号ごとに、複製SIS制御部240は、バックアップ履歴245内にエントリを作成してもよい。例えば、示した実施形態において、複製SIS制御部240は、バックアップ履歴245内にエントリ290〜292を作成する。各エントリはそれぞれのバッチ番号を含む。バックアップ履歴245内のエントリは、前回の複製操作以後受け取ったバックアップバッチに対応する。複製する際、バックアップ履歴245に記憶されたエントリは、すべてのバックアップ媒体220を複製するのではなく、複製すべきバッチを決定するために使用される。複製が完了した後で、バックアップ履歴245を消去することができる。
図5は、データセットを重複除外した後でそのデータセットをストレージプールに記憶するプロセス500の一実施形態を示す。プロセス500は、最初に、バックアップデータセットなどの一群のデータセグメントと関連付けられたフィンガープリントのリストを受け取る(ブロック510)。リスト内の各フィンガープリントは、1つ又は複数の参照を含む場合があり、各参照は、ソースがデータセグメントのコピーを有することを示す。例えば、複数のバックアップエージェントが、データセグメントのコピーをバックアップデータセットに提供すると、バックアップデータセットは、各ソースエージェントへの参照と共にセグメントのシングルインスタンスを含む。フィンガープリントのリストを受け取った後、フィンガープリントが選択される(ブロック520)。選択されたフィンガープリントは、ストレージプール内のフィンガープリントと比較される(ブロック530)。選択されたフィンガープリントが、ストレージプール内に既にあるどのデータセグメントのフィンガープリントとも合致しない場合(決定ブロック540)、フィンガープリントとその関連付けられた参照はリスト上に維持される(ブロック542)。選択されたフィンガープリントが、ストレージプール内に既にあるデータセグメントのフィンガープリントと合致した場合(決定ブロック540)、選択されたフィンガープリントと関連付けられた参照は、ストレージプールからの合致しているフィンガープリントと既に関連付けられている参照と比較される(決定ブロック550)。参照が、合致しているフィンガープリントに対するどの既存の参照とも合致しない場合、参照は、リスト上に維持される(ブロック552)。参照が、合致しているフィンガープリントに対するどれかの既存の参照と合致する場合、参照はリストから削除される。参照をすべて比較した後、合致しているフィンガープリントはリストから取り出され(ブロック560)、合致しなかった参照が保持される。選択されたフィンガープリントとその参照を比較し終わった後、選択されたフィンガープリントが、リスト上の最後のフィンガープリントである場合は(決定ブロック570)、リストの重複除外が完了し、重複除外リストが戻される(ブロック580)。他の状況では、別のフィンガープリントが選択され(ブロック575)、プロセス500は、フィンガープリントと参照の比較が各リストエントリごとに実行されるように、ブロック530に戻る。
図6は、シングルインスタンス・ストレージプールにバックアップデータセットを追加するプロセス600の一実施形態を示す。プロセス600は、最初に、重複除外されたバックアップデータバッチを受け取る(ブロック610)。例えば、クライアントサーバコンピュータネットワーク内のバックアップサーバが、ネットワーク内のクライアント上で動作するバックアップエージェントからバックアップストレージプールに記憶されるデータバッチを受け取ることができる。更に、バッチは、図5に示したようなプロセスに従ってフィルタリングされる場合がある。代替の実施形態において、バックアップデータバッチが送信クライアントによって重複除外されない場合は、バックアップデータバッチは、受信バックアップサーバによって受け取られたときに重複除外されてもよい。データバッチを受け取った後、バッチ内の各項目#が、申し込みリストに追加されてもよい(ブロック630)。申し込みリストの項目は、複製制御部に転送され(ブロック640)、そこでバックアップ履歴に記憶されてもよい(ブロック650)。更に、重複除外されたバッチからの新しいデータセグメントが、シングルインスタンス・ストレージプールに追加されてもよく(ブロック660)、重複除外されたバッチから既存のデータセグメントへの新しい参照が、シングルインスタンス・ストレージプール内の関連データセグメントに追加されてもよい(ブロック670)。すべての新しいデータセグメントと参照がシングルインスタンス・ストレージプールに追加された後、プロセス600は完了する(ブロック680)。
図7は、シングルインスタンス・ストレージプールを複製するプロセス700の一実施形態を示す。プロセス700では、複製ソース(図7の左側)からのストレージプールが、複製ターゲット上のターゲットプールに複製される(図7の右側)。複製ソースと複製ターゲットは、例えば2つのバックアップサーバでよい。プロセス700は、最初に、複製ソースに複製要求を受け取る(ブロック710)。複製ソースは、複製要求に応じて、データセグメントのリストと参照から成る履歴を複製ターゲットに送る(ブロック720)。一実施形態において、履歴は、前回複製されてからソースシングルインスタンス・ストレージプール内で変更されたデータセグメントのリストと参照を含んでもよい。複製ターゲットは、履歴の受け取りに応じて、ターゲットのシングルインスタンス・ストレージプールに対して履歴を重複除外し(ブロック730)、重複除外した履歴を複製ソースに戻す(ブロック740)。複製ソースは、重複除外された履歴の受け取りに応じて、対応する重複除外されたデータバッチを組み立て(ブロック750)、重複除外されたデータバッチを複製ターゲットに転送する(ブロック760)。複製ターゲットは、重複除外されたデータバッチの受け取りに応じて、重複除外されたデータバッチからターゲットのシングルインスタンス・ストレージプールにデータセグメントと参照を追加する(ブロック770)。すべてのバッチされたデータセグメントと参照が、ターゲットのシングルインスタンス・ストレージプールに追加された後、プロセス700は完了する(ブロック780)。
図8は、シングルインスタンス・ストレージプールを逆方向に複製するプロセス800の一実施形態を示す。プロセス800において、逆方向複製ソース(図8の左側)からのストレージプールが、逆方向複製ターゲット上のターゲットプールに逆方向に複製される(図8の右側)。逆方向複製ソースと逆方向複製ターゲットは、例えば、2つのバックアップサーバでもよい。プロセス800は、最初に、逆方向複製ソースに逆方向複製要求を受け取る(ブロック810)。逆方向複製ソースは、逆方向複製要求に応じて、重複除外したローカルのストレージプールエントリのリストを組み立て(ブロック820)、そのリストを逆方向複製ターゲットに送る(ブロック830)。一実施形態において、リストは、データセグメントと対応するエントリと、最後に逆方向に複製してからソースシングルインスタンス・ストレージプール内で変更された参照を含むことができる。リストの受け取りに応じて、逆方向複製ターゲットは、そのリストをターゲットのシングルインスタンス・ストレージプールに対して重複除外し(ブロック840)、重複除外リストを逆方向複製ソースに戻す(ブロック850)。逆方向複製ソースは、重複除外リストの受け取りに応じて、対応する重複除外したデータバッチを組み立て(ブロック860)、重複除外されたデータバッチを逆方向複製ターゲットに転送することができる(ブロック870)。逆方向複製ターゲットは、重複除外されたデータバッチの受け取りに応じて、重複除外されたデータバッチからターゲットのシングルインスタンス・ストレージプールにデータセグメントと参照を追加する(ブロック880)。バッチされたデータセグメントと参照がすべてターゲットのシングルインスタンス・ストレージプールに追加された後で、プロセス800は完了する(ブロック890)。
前述の実施形態が、ソフトウェアで構成することができることに注意されたい。そのような実施形態において、方法及び/又は手順を実現するプログラム命令は、コンピュータ可読媒体上に伝送又は記憶される。プログラム命令を記憶するように構成された多数のタイプの媒体が使用可能であり、そのような媒体には、ハードディスク、フロッピディスク、CD−ROM、DVD、フラッシュメモリ、プログラマブルROM(PROM)、ランダムアクセスメモリ(RAM)、その他の様々な形態の揮発性又は不揮発性記憶装置がある。
以上の実施形態を詳細に説明したが、上記の開示を完全に理解した後で多くの変更及び修正が当業者に明らかになるであろう。添付の特許請求の範囲はそのような変更と修正をすべて含むように意図されている。
コンピュータのシステムの一実施形態を示す図である。 1対のバックアップサーバの一実施形態の概略ブロック図である。 ストレージプールデータエントリーの一実施形態を示す図である。 バックアップサーバの一実施形態の詳細なブロック図である。 データセットをストレージプールに記憶する前に重複除外する方法の一実施形態を示す図である。 バックアップデータセットをシングルインスタンス・ストレージプールに追加する方法の一実施形態を示す図である。 シングルインスタンス・ストレージプールを複製する方法の一実施形態を示す図である。 シングルインスタンス・ストレージプールを逆方向に複製する方法の一実施形態を示す図である。
符号の説明
100 システム
110,120 デスクトップクライアント
130,140 モバイルクライアント
150,160 バックアップサーバ
155、165 バックアップ媒体
170 ネットワーク

Claims (14)

  1. 第1のストレージプールと、
    第2のストレージプールとを含み、
    第1のストレージプールの第1のバックアップサーバは、
    1つ又は複数のデータセグメントを識別する第1の重複除外リストを、第1のストレージプールから第2のストレージプールと関連付けられた第2のバックアップサーバに送り、
    第2のバックアップサーバから、1つ又は複数のデータセグメントの少なくともサブセットを識別する第2の重複除外リストを受け取り、
    1つ又は複数のデータセグメントのサブセットを第2のストレージプールに送るように構成され
    1台又は複数台のクライアントを更に含み、
    各クライアントは、
    第1のストレージプールにまだバックアップコピーが記憶されていないデータセグメントだけを含むデータセグメントのバッチを組み立て、
    組み立てたバッチを第1のバックアップサーバに送り、
    各クライアントは、組み立てたバッチ内のデータセグメントと参照にバッチ番号を割り当てるように構成され、
    第1のバックアップサーバは、更に、
    バッチ番号をバックアップ履歴に記憶し、
    バックアップ履歴に記憶されるバッチ番号を有する第1のリストに含まれるデータセグメントと参照だけを選択し、
    各複製後にバックアップ履歴を消去するように構成されたコンピュータシステム。
  2. 第1のバックアップサーバからの第1のリストの受け取りに応じて、第2のバックアップサーバは、
    第1のリストを第2のストレージプールに対して重複除外して第2の重複除外リストを作成し、
    第2の重複除外リストを第1のバックアップサーバに送るように構成され、
    1つ又は複数のデータセグメントの前記サブセットの受け取りに応じて、第2のバックアップサーバは、更に、第2のストレージプールに1つ又は複数のデータセグメントのサブセットを追加するように構成された請求項1に記載のシステム。
  3. 1台又は複数台のクライアントを含み、
    第1又は第2のストレージプールに記憶された各データセグメントごとに、データセグメントを識別するフィンガープリントと、バックアップのためにデータセグメントのコピーを受け取る各クライアントへの参照が記憶され、
    第1のリストを重複除外するために、第2のバックアップサーバは、更に、データセグメント及び各データセグメントの関連付けられた参照を第2のストレージプールに対して重複除外するように構成された請求項2に記載のシステム。
  4. データセグメントを識別するフィンガープリントが暗号化された請求項3に記載のシステム。
  5. 第2のストレージプールの少なくとも一部分を逆方向に複製する要求に応じて、第2のバックアップサーバは、
    1つ又は複数のデータセグメントを識別する第1の重複除外逆方向リストを第1のバックアップサーバに送り、
    第1のバックアップサーバから、第1の重複除外逆方向リストの1つ又は複数のデータセグメントの少なくともサブセットを識別する第2の重複除外逆方向リストを受け取り、
    1つ又は複数のデータセグメントの少なくともサブセットを第1のバックアップサーバに送るように構成され、
    第2のバックアップサーバからの第1の逆方向リストの受け取りに応じて、第1のバックアップサーバは、
    第1の逆方向リストを第1のストレージプールに対して重複除外し、
    第2の重複除外逆方向リストを第2のバックアップサーバに送るように構成され、
    1つ又は複数のデータセグメントの少なくともサブセットの受け取りに応じて、第1のバックアップサーバは、更に、1つ又は複数のデータセグメントの少なくともサブセットを第1のストレージプールに追加するように構成された請求項2に記載のシステム。
  6. シングルインスタンス・ストレージプールをバックアップサーバ間で複製する方法であって、
    第1のバックアップサーバを含み、それが
    1つ又は複数のデータセグメントを識別する第1の重複除外リストを、第1のストレージプールから第2のストレージプールと関連付けられた第2のバックアップサーバに送るステップと
    第2のバックアップサーバから、1つ又は複数のデータセグメントの少なくともサブセットを識別する第2の重複除外リストを受け取るステップと
    1つ又は複数のデータセグメントの少なくともサブセットを第2のバックアップサーバに送るステップと、
    第1のストレージプールにまだバックアップコピーが記憶されていないデータセグメントだけを含むデータセグメントのバッチを組み立てるステップと、
    組み立てたバッチを第1のバックアップサーバに送るステップと、
    組み立てたバッチ内のデータセグメントと参照にバッチ番号を割り当てるステップを含み、さらに
    組み立てたバッチの受け取りに応じて、
    バッチ番号をバックアップ履歴に記憶するステップと、
    バックアップ履歴に記憶されたバッチ番号を有する第1のリストに含まれるデータセグメントと参照だけを選択するステップと、
    各複製後にバックアップ履歴を消去するステップと、
    を含むシングルインスタンス・ストレージプールをバックアップサーバ間で複製する方法。
  7. 第1のバックアップサーバからの第1のリストの受け取りに応じて、第1の重複除外リストを第2のストレージプールに対して重複除外して、第2の重複除外リストを作成し、
    第2の重複除外リストを第1のバックアップサーバに送る第2のバックアップサーバを更に含み、
    第1のバックアップサーバは、前記サブセットの受け取りに応じて1つ又は複数のデータセグメントのサブセットを第1のストレージプールに追加する請求項に記載の方法。
  8. 第1と第2のストレージプールに記憶された各データセグメントごとに、データセグメントを識別するフィンガープリントと、バックアップのためにデータセグメントのコピーを受け取った1台又は複数台のクライアントへの参照とを記憶するステップを更に含み、
    第1のリストを第2のストレージプールに対して重複除外するステップは、更に、データセグメントと各データセグメントの関連付けられた参照を第2のストレージプールに対して重複除外するステップを含む請求項に記載の方法。
  9. データセグメントを識別するフィンガープリントが暗号化された請求項に記載の方法。
  10. 1つ又は複数のデータセグメントを識別する第1の重複除外逆方向リストを第2のストレージプールから第1のバックアップサーバに送り、
    第1のバックアップサーバから、第1の重複除外逆方向リストの1つ又は複数のデータセグメントの少なくともサブセットを識別する第2の重複除外逆方向リストを受け取り、
    1つ又は複数のデータセグメントの少なくともサブセットを第1のバックアップサーバに送る第2のバックアップサーバと、
    第2のバックアップサーバからの第1の逆方向リストの受け取りに応じて、第1の重複除外逆方向リストを第1のストレージプールに対して重複除外し、
    第2の重複除外逆方向リストを第2のバックアップサーバに送り、
    1つ又は複数のデータセグメントの少なくともサブセットの受け取りに応じて、1つ又は複数のデータセグメントの少なくともサブセットを第1のストレージプールに追加する第1のバックアップサーバとを更に含む請求項に記載の方法。
  11. 第1のバックアップサーバが、
    1つ又は複数のデータセグメントを識別する第1の重複除外リストを、第1のストレージプールから第2のストレージプールと関連付けられた第2のバックアップサーバに送り、
    第2のバックアップサーバから、1つ又は複数のデータセグメントの少なくともサブセットを識別する第2の重複除外リストを受け取り、
    1つ又は複数のデータセグメントの少なくともサブセットを第2のバックアップサーバに送り、
    第1のストレージプールにバックアップコピーがまだ記憶されていないデータセグメントだけを含むデータセグメントのバッチを組み立て、
    組み立てたバッチを第1のバックアップサーバに送り、
    データセグメントと組み立てたバッチ内の参照にバッチ番号を割り当て、
    組み立てたバッチの受け取りに応じて、
    バッチ番号をバックアップ履歴に記憶し、
    バックアップ履歴に記憶されたバッチ番号を有する第1のリストに含まれるデータセグメントと参照のみを選択し、
    各複製後にバックアップ履歴を消去するように、プロセッサによって実行可能なコンピュータ命令を記憶するコンピュータ可読媒体。
  12. 命令は、更に、第2のバックアップサーバが、
    第1のバックアップサーバからの第1のリストを受け取りに応じて、第1のリストを第2のストレージプールに対して重複除外し、
    第2の重複除外リストを第1のバックアップサーバに送り、
    1つ又は複数のデータセグメントの少なくともサブセットの受け取りに応じて、第1のバックアップサーバに、1つ又は複数のデータセグメントの少なくともサブセットを第1のストレージプールに追加させるように実行可能である請求項11に記載のコンピュータ可読媒体。
  13. 命令は、更に、
    第1又は第2のストレージプールに記憶された各データセグメントごとに、データセグメントを識別する関連付けられたフィンガープリントと、バックアップのためにデータセグメントのコピーを受け取った1台又は複数台のクライアントへの参照を記憶するように実行可能であり、リストは、各データセグメントの関連付けられた参照を含み、
    第1のリストを第2のストレージプールに対して重複除外するために、更に、データセグメントと、各データセグメントの関連付けられた参照を第2のストレージプールに対して重複除外するステップを含む請求項12に記載のコンピュータ可読媒体。
  14. データセグメントを識別するフィンガープリントは、暗号化された請求項13に記載のコンピュータ可読媒体。
JP2008089975A 2007-03-29 2008-03-31 シングルインスタンス・ストレージプールの複製と再格納 Active JP5283952B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/693,382 2007-03-29
US11/693,382 US7769971B2 (en) 2007-03-29 2007-03-29 Replication and restoration of single-instance storage pools

Publications (2)

Publication Number Publication Date
JP2008251011A JP2008251011A (ja) 2008-10-16
JP5283952B2 true JP5283952B2 (ja) 2013-09-04

Family

ID=39658813

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008089975A Active JP5283952B2 (ja) 2007-03-29 2008-03-31 シングルインスタンス・ストレージプールの複製と再格納

Country Status (5)

Country Link
US (1) US7769971B2 (ja)
EP (1) EP1975800B1 (ja)
JP (1) JP5283952B2 (ja)
CN (1) CN101441583B (ja)
AU (1) AU2008201241B2 (ja)

Families Citing this family (176)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7840537B2 (en) 2006-12-22 2010-11-23 Commvault Systems, Inc. System and method for storing redundant information
US7827137B2 (en) * 2007-04-19 2010-11-02 Emc Corporation Seeding replication
US20080282047A1 (en) * 2007-05-08 2008-11-13 Hitachi, Ltd. Methods and apparatus to backup and restore data for virtualized storage area
US8341121B1 (en) * 2007-09-28 2012-12-25 Emc Corporation Imminent failure prioritized backup
JP5392254B2 (ja) * 2008-05-30 2014-01-22 日本電気株式会社 データベースシステム、データベース管理方法、データベース構造およびコンピュータプログラム
US8484162B2 (en) * 2008-06-24 2013-07-09 Commvault Systems, Inc. De-duplication systems and methods for application-specific data
US8046329B2 (en) * 2008-06-30 2011-10-25 Symantec Operating Corporation Incremental backup of database for non-archive logged servers
US8468320B1 (en) 2008-06-30 2013-06-18 Symantec Operating Corporation Scalability of data deduplication through the use of a locality table
US8572055B1 (en) * 2008-06-30 2013-10-29 Symantec Operating Corporation Method and system for efficiently handling small files in a single instance storage data store
US9235577B2 (en) * 2008-09-04 2016-01-12 Vmware, Inc. File transfer using standard blocks and standard-block identifiers
US9015181B2 (en) 2008-09-26 2015-04-21 Commvault Systems, Inc. Systems and methods for managing single instancing data
CA2729078C (en) 2008-09-26 2016-05-24 Commvault Systems, Inc. Systems and methods for managing single instancing data
US7814149B1 (en) * 2008-09-29 2010-10-12 Symantec Operating Corporation Client side data deduplication
US8082228B2 (en) * 2008-10-31 2011-12-20 Netapp, Inc. Remote office duplication
US8315992B1 (en) * 2008-11-26 2012-11-20 Symantec Corporation Affinity based allocation for storage implementations employing deduplicated data stores
US8055614B1 (en) * 2008-12-23 2011-11-08 Symantec Corporation Method and apparatus for providing single instance restoration of data files
US8108638B2 (en) * 2009-02-06 2012-01-31 International Business Machines Corporation Backup of deduplicated data
US20110307457A1 (en) * 2009-03-05 2011-12-15 Hitachi Solutions, Ltd. Integrated duplicate elimination system, data storage device, and server device
US8401996B2 (en) 2009-03-30 2013-03-19 Commvault Systems, Inc. Storing a variable number of instances of data objects
US8229898B1 (en) * 2009-03-31 2012-07-24 Symantec Corporation Methods and systems for utilizing redundant data
US9419801B2 (en) * 2009-05-12 2016-08-16 Infrascale Inc. System and method for transmitting needed portions of a data file between networked computers
US8578120B2 (en) 2009-05-22 2013-11-05 Commvault Systems, Inc. Block-level single instancing
US9276935B2 (en) * 2009-05-27 2016-03-01 Microsoft Technology Licensing, Llc Domain manager for extending digital-media longevity
US8401181B2 (en) * 2009-06-09 2013-03-19 Emc Corporation Segment deduplication system with encryption of segments
US8731190B2 (en) * 2009-06-09 2014-05-20 Emc Corporation Segment deduplication system with encryption and compression of segments
US8762348B2 (en) * 2009-06-09 2014-06-24 Emc Corporation Segment deduplication system with compression of segments
US8930306B1 (en) 2009-07-08 2015-01-06 Commvault Systems, Inc. Synchronized data deduplication
JP5254141B2 (ja) * 2009-07-14 2013-08-07 富士通株式会社 アーカイブ装置、データ格納プログラムおよびデータ格納方法
US8180740B1 (en) * 2009-08-12 2012-05-15 Netapp, Inc. System and method for eliminating duplicate data by generating data fingerprints using adaptive fixed-length windows
US8037349B2 (en) * 2009-08-28 2011-10-11 International Business Machines Corporation Data replication based on capacity optimization
US8280854B1 (en) * 2009-09-01 2012-10-02 Symantec Corporation Systems and methods for relocating deduplicated data within a multi-device storage system
US8447726B2 (en) 2009-09-22 2013-05-21 Emc Corporation Performance improvement of a capacity optimized storage system including a determiner
JP5427533B2 (ja) * 2009-09-30 2014-02-26 株式会社日立製作所 階層ストレージ管理システムにおける重複ファイルの転送方法及びシステム
US8204862B1 (en) 2009-10-02 2012-06-19 Symantec Corporation Systems and methods for restoring deduplicated data
US8311964B1 (en) 2009-11-12 2012-11-13 Symantec Corporation Progressive sampling for deduplication indexing
US8213331B2 (en) 2009-12-13 2012-07-03 International Business Machines Corporation Managing data transfer in a network environment
US8458131B2 (en) 2010-02-26 2013-06-04 Microsoft Corporation Opportunistic asynchronous de-duplication in block level backups
US8473463B1 (en) 2010-03-02 2013-06-25 Symantec Corporation Method of avoiding duplicate backups in a computing system
JP5434705B2 (ja) * 2010-03-12 2014-03-05 富士通株式会社 ストレージ装置、ストレージ装置制御プログラムおよびストレージ装置制御方法
WO2011133443A1 (en) 2010-04-19 2011-10-27 Greenbytes, Inc. A method for optimizing the memory usage and performance of data deduplication storage systems
US9075532B1 (en) * 2010-04-23 2015-07-07 Symantec Corporation Self-referential deduplication
US8370315B1 (en) 2010-05-28 2013-02-05 Symantec Corporation System and method for high performance deduplication indexing
US8504526B2 (en) 2010-06-04 2013-08-06 Commvault Systems, Inc. Failover systems and methods for performing backup operations
US11449394B2 (en) 2010-06-04 2022-09-20 Commvault Systems, Inc. Failover systems and methods for performing backup operations, including heterogeneous indexing and load balancing of backup and indexing resources
US8983952B1 (en) 2010-07-29 2015-03-17 Symantec Corporation System and method for partitioning backup data streams in a deduplication based storage system
US8397080B2 (en) * 2010-07-29 2013-03-12 Industrial Technology Research Institute Scalable segment-based data de-duplication system and method for incremental backups
US8756197B1 (en) 2010-08-13 2014-06-17 Symantec Corporation Generating data set views for backup restoration
US8291170B1 (en) 2010-08-19 2012-10-16 Symantec Corporation System and method for event driven backup data storage
US8356147B2 (en) * 2010-08-20 2013-01-15 Hitachi, Ltd. Tiered storage pool management and control for loosely coupled multiple storage environment
US8495392B1 (en) * 2010-09-02 2013-07-23 Symantec Corporation Systems and methods for securely deduplicating data owned by multiple entities
US8392376B2 (en) 2010-09-03 2013-03-05 Symantec Corporation System and method for scalable reference management in a deduplication based storage system
US20120078931A1 (en) * 2010-09-29 2012-03-29 International Business Machines Corporation Methods for managing ownership of redundant data and systems thereof
US8539154B2 (en) 2010-09-29 2013-09-17 International Business Machines Corporation Methods for managing ownership of redundant data and systems thereof
US8612682B2 (en) 2010-09-29 2013-12-17 International Business Machines Corporation Methods for managing ownership of redundant data and systems thereof
US8645636B2 (en) 2010-09-29 2014-02-04 International Business Machines Corporation Methods for managing ownership of redundant data and systems thereof
US8539165B2 (en) 2010-09-29 2013-09-17 International Business Machines Corporation Methods for managing ownership of redundant data and systems thereof
US8572340B2 (en) 2010-09-30 2013-10-29 Commvault Systems, Inc. Systems and methods for retaining and using data block signatures in data protection operations
US8364652B2 (en) 2010-09-30 2013-01-29 Commvault Systems, Inc. Content aligned block-based deduplication
WO2012045023A2 (en) 2010-09-30 2012-04-05 Commvault Systems, Inc. Archiving data objects using secondary copies
US8825972B1 (en) 2010-11-19 2014-09-02 Symantec Corporation Method and system of producing a full backup image using an incremental backup method
US9122641B1 (en) 2010-11-30 2015-09-01 Symantec Corporation On-premise data deduplication for cloud environments
US8396841B1 (en) 2010-11-30 2013-03-12 Symantec Corporation Method and system of multi-level and multi-mode cloud-based deduplication
US8392384B1 (en) 2010-12-10 2013-03-05 Symantec Corporation Method and system of deduplication-based fingerprint index caching
US9020900B2 (en) * 2010-12-14 2015-04-28 Commvault Systems, Inc. Distributed deduplicated storage system
US9116850B2 (en) * 2010-12-14 2015-08-25 Commvault Systems, Inc. Client-side repository in a networked deduplicated storage system
US8898119B2 (en) * 2010-12-15 2014-11-25 Netapp, Inc. Fingerprints datastore and stale fingerprint removal in de-duplication environments
US8904120B1 (en) 2010-12-15 2014-12-02 Netapp Inc. Segmented fingerprint datastore and scaling a fingerprint datastore in de-duplication environments
US8495304B1 (en) * 2010-12-23 2013-07-23 Emc Corporation Multi source wire deduplication
US8635187B2 (en) 2011-01-07 2014-01-21 Symantec Corporation Method and system of performing incremental SQL server database backups
FR2972546B1 (fr) * 2011-03-07 2013-03-08 Bull Sas Procedes, dispositifs et programmes d'ordinateur pour optimiser la replication de donnees dans des systemes informatiques
US9058212B2 (en) * 2011-03-21 2015-06-16 Microsoft Technology Licensing, Llc Combining memory pages having identical content
US9317377B1 (en) * 2011-03-23 2016-04-19 Riverbed Technology, Inc. Single-ended deduplication using cloud storage protocol
US8589640B2 (en) 2011-10-14 2013-11-19 Pure Storage, Inc. Method for maintaining multiple fingerprint tables in a deduplicating storage system
US10324893B1 (en) * 2011-12-15 2019-06-18 Veritas Technologies Llc Backup application catalog analyzer
CN104081370A (zh) * 2012-03-15 2014-10-01 惠普发展公司,有限责任合伙企业 访问和复制备份数据对象
US9824131B2 (en) 2012-03-15 2017-11-21 Hewlett Packard Enterprise Development Lp Regulating a replication operation
US9020890B2 (en) 2012-03-30 2015-04-28 Commvault Systems, Inc. Smart archiving and data previewing for mobile devices
US9218376B2 (en) * 2012-06-13 2015-12-22 Commvault Systems, Inc. Intelligent data sourcing in a networked storage system
CN103020174B (zh) * 2012-11-28 2016-01-06 华为技术有限公司 相似性分析方法、装置及系统
GB2508659A (en) * 2012-12-10 2014-06-11 Ibm Backing up an in-memory database
US9465808B1 (en) 2012-12-15 2016-10-11 Veritas Technologies Llc Deduplication featuring variable-size duplicate data detection and fixed-size data segment sharing
CN103870208B (zh) * 2012-12-17 2017-08-25 联想(北京)有限公司 信息处理的方法及电子设备
US9633022B2 (en) * 2012-12-28 2017-04-25 Commvault Systems, Inc. Backup and restoration for a deduplicated file system
US9678971B2 (en) * 2013-01-10 2017-06-13 International Business Machines Corporation Packing deduplicated data in a self-contained deduplicated repository
US9665591B2 (en) 2013-01-11 2017-05-30 Commvault Systems, Inc. High availability distributed deduplicated storage system
CN103092995B (zh) * 2013-02-21 2016-03-30 用友网络科技股份有限公司 数据卸载装置和数据卸载方法
US10275397B2 (en) 2013-02-22 2019-04-30 Veritas Technologies Llc Deduplication storage system with efficient reference updating and space reclamation
JP6201340B2 (ja) * 2013-02-27 2017-09-27 日本電気株式会社 レプリケーションシステム
US8682870B1 (en) * 2013-03-01 2014-03-25 Storagecraft Technology Corporation Defragmentation during multiphase deduplication
US8732135B1 (en) * 2013-03-01 2014-05-20 Storagecraft Technology Corporation Restoring a backup from a deduplication vault storage
US20140250077A1 (en) * 2013-03-01 2014-09-04 Storagecraft Technology Corporation Deduplication vault storage seeding
US8874527B2 (en) * 2013-03-01 2014-10-28 Storagecraft Technology Corporation Local seeding of a restore storage for restoring a backup from a remote deduplication vault storage
US8738577B1 (en) 2013-03-01 2014-05-27 Storagecraft Technology Corporation Change tracking for multiphase deduplication
US9116849B2 (en) * 2013-03-13 2015-08-25 Intel Corporation Community-based de-duplication for encrypted data
US10339112B1 (en) * 2013-04-25 2019-07-02 Veritas Technologies Llc Restoring data in deduplicated storage
US9483362B2 (en) 2013-05-08 2016-11-01 Commvault Systems, Inc. Use of auxiliary data protection software in failover operations
EP2997496B1 (en) 2013-05-16 2022-01-19 Hewlett Packard Enterprise Development LP Selecting a store for deduplicated data
WO2014185918A1 (en) 2013-05-16 2014-11-20 Hewlett-Packard Development Company, L.P. Selecting a store for deduplicated data
US10146787B2 (en) * 2013-07-26 2018-12-04 Quest Software Inc. Transferring differences between chunks during replication
US10324897B2 (en) 2014-01-27 2019-06-18 Commvault Systems, Inc. Techniques for serving archived electronic mail
US8751454B1 (en) 2014-01-28 2014-06-10 Storagecraft Technology Corporation Virtual defragmentation in a deduplication vault
US20150227543A1 (en) * 2014-02-11 2015-08-13 Atlantis Computing, Inc. Method and apparatus for replication of files and file systems using a deduplication key space
US9779153B2 (en) * 2014-03-03 2017-10-03 Netapp, Inc. Data transfer between storage systems using data fingerprints
US10380072B2 (en) 2014-03-17 2019-08-13 Commvault Systems, Inc. Managing deletions from a deduplication database
US9633056B2 (en) 2014-03-17 2017-04-25 Commvault Systems, Inc. Maintaining a deduplication database
US20150268876A1 (en) * 2014-03-18 2015-09-24 Commvault Systems, Inc. Efficient information management performed by a client in the absence of a storage manager
US9811427B2 (en) 2014-04-02 2017-11-07 Commvault Systems, Inc. Information management by a media agent in the absence of communications with a storage manager
US11249858B2 (en) 2014-08-06 2022-02-15 Commvault Systems, Inc. Point-in-time backups of a production application made accessible over fibre channel and/or ISCSI as data sources to a remote application by representing the backups as pseudo-disks operating apart from the production application and its host
US9852026B2 (en) 2014-08-06 2017-12-26 Commvault Systems, Inc. Efficient application recovery in an information management system based on a pseudo-storage-device driver
US9575680B1 (en) 2014-08-22 2017-02-21 Veritas Technologies Llc Deduplication rehydration
US10423495B1 (en) 2014-09-08 2019-09-24 Veritas Technologies Llc Deduplication grouping
US9753955B2 (en) 2014-09-16 2017-09-05 Commvault Systems, Inc. Fast deduplication data verification
US20160100004A1 (en) * 2014-10-06 2016-04-07 International Business Machines Corporation Data replication across servers
US9575673B2 (en) 2014-10-29 2017-02-21 Commvault Systems, Inc. Accessing a file system using tiered deduplication
US10073878B1 (en) * 2015-01-05 2018-09-11 SK Hynix Inc. Distributed deduplication storage system with messaging
US10339106B2 (en) 2015-04-09 2019-07-02 Commvault Systems, Inc. Highly reusable deduplication database after disaster recovery
US9639274B2 (en) 2015-04-14 2017-05-02 Commvault Systems, Inc. Efficient deduplication database validation
US10324914B2 (en) 2015-05-20 2019-06-18 Commvalut Systems, Inc. Handling user queries against production and archive storage systems, such as for enterprise customers having large and/or numerous files
US20160350391A1 (en) 2015-05-26 2016-12-01 Commvault Systems, Inc. Replication using deduplicated secondary copy data
US9977716B1 (en) 2015-06-29 2018-05-22 Veritas Technologies Llc Incremental backup system
US9766825B2 (en) 2015-07-22 2017-09-19 Commvault Systems, Inc. Browse and restore for block-level backups
US20170192868A1 (en) 2015-12-30 2017-07-06 Commvault Systems, Inc. User interface for identifying a location of a failed secondary storage device
US10296368B2 (en) 2016-03-09 2019-05-21 Commvault Systems, Inc. Hypervisor-independent block-level live browse for access to backed up virtual machine (VM) data and hypervisor-free file-level recovery (block-level pseudo-mount)
US10795577B2 (en) 2016-05-16 2020-10-06 Commvault Systems, Inc. De-duplication of client-side data cache for virtual disks
US10846024B2 (en) 2016-05-16 2020-11-24 Commvault Systems, Inc. Global de-duplication of virtual disks in a storage platform
US11223537B1 (en) 2016-08-17 2022-01-11 Veritas Technologies Llc Executing custom scripts from the host during disaster recovery
US10417102B2 (en) 2016-09-30 2019-09-17 Commvault Systems, Inc. Heartbeat monitoring of virtual machines for initiating failover operations in a data storage management system, including virtual machine distribution logic
US10740193B2 (en) 2017-02-27 2020-08-11 Commvault Systems, Inc. Hypervisor-independent reference copies of virtual machine payload data based on block-level pseudo-mount
US10795859B1 (en) 2017-04-13 2020-10-06 EMC IP Holding Company LLC Micro-service based deduplication
US10795860B1 (en) 2017-04-13 2020-10-06 EMC IP Holding Company LLC WAN optimized micro-service based deduplication
CN107256184A (zh) * 2017-06-05 2017-10-17 郑州云海信息技术有限公司 一种基于存储池的数据灾难备份方法及装置
US10664352B2 (en) 2017-06-14 2020-05-26 Commvault Systems, Inc. Live browsing of backed up data residing on cloned disks
US10459633B1 (en) 2017-07-21 2019-10-29 EMC IP Holding Company LLC Method for efficient load balancing in virtual storage systems
US10936543B1 (en) 2017-07-21 2021-03-02 EMC IP Holding Company LLC Metadata protected sparse block set for SSD cache space management
US10949088B1 (en) 2017-07-21 2021-03-16 EMC IP Holding Company LLC Method or an apparatus for having perfect deduplication, adapted for saving space in a deduplication file system
US11461269B2 (en) 2017-07-21 2022-10-04 EMC IP Holding Company Metadata separated container format
US10860212B1 (en) 2017-07-21 2020-12-08 EMC IP Holding Company LLC Method or an apparatus to move perfect de-duplicated unique data from a source to destination storage tier
US11113153B2 (en) 2017-07-27 2021-09-07 EMC IP Holding Company LLC Method and system for sharing pre-calculated fingerprints and data chunks amongst storage systems on a cloud local area network
US10481813B1 (en) * 2017-07-28 2019-11-19 EMC IP Holding Company LLC Device and method for extending cache operational lifetime
US10929382B1 (en) 2017-07-31 2021-02-23 EMC IP Holding Company LLC Method and system to verify integrity of a portion of replicated data
US11093453B1 (en) 2017-08-31 2021-08-17 EMC IP Holding Company LLC System and method for asynchronous cleaning of data objects on cloud partition in a file system with deduplication
US10614045B2 (en) 2018-01-02 2020-04-07 International Business Machines Corporation In-flight processing of operations in a role mutable file system
US10884985B2 (en) 2018-01-02 2021-01-05 International Business Machines Corporation Role mutable file system
US11010258B2 (en) 2018-11-27 2021-05-18 Commvault Systems, Inc. Generating backup copies through interoperability between components of a data storage management system and appliances for data storage and deduplication
US11200124B2 (en) 2018-12-06 2021-12-14 Commvault Systems, Inc. Assigning backup resources based on failover of partnered data storage servers in a data storage management system
US11698727B2 (en) 2018-12-14 2023-07-11 Commvault Systems, Inc. Performing secondary copy operations based on deduplication performance
US10764135B2 (en) 2019-01-29 2020-09-01 Dell Products L.P. Method and system for solution integration labeling
US20200241780A1 (en) * 2019-01-29 2020-07-30 Dell Products L.P. Method and system for inline deduplication using accelerator pools
US10901641B2 (en) 2019-01-29 2021-01-26 Dell Products L.P. Method and system for inline deduplication
US10979312B2 (en) 2019-01-29 2021-04-13 Dell Products L.P. System and method to assign, monitor, and validate solution infrastructure deployment prerequisites in a customer data center
US10740023B1 (en) 2019-01-29 2020-08-11 Dell Products L.P. System and method for dynamic application access-based mapping
US11442642B2 (en) 2019-01-29 2022-09-13 Dell Products L.P. Method and system for inline deduplication using erasure coding to minimize read and write operations
US10911307B2 (en) 2019-01-29 2021-02-02 Dell Products L.P. System and method for out of the box solution-level configuration and diagnostic logging and reporting
US10972343B2 (en) 2019-01-29 2021-04-06 Dell Products L.P. System and method for device configuration update
US20200241781A1 (en) 2019-01-29 2020-07-30 Dell Products L.P. Method and system for inline deduplication using erasure coding
US20200327017A1 (en) 2019-04-10 2020-10-15 Commvault Systems, Inc. Restore using deduplicated secondary copy data
WO2020223099A2 (en) 2019-04-30 2020-11-05 Clumio, Inc. Cloud-based data protection service
US11463264B2 (en) 2019-05-08 2022-10-04 Commvault Systems, Inc. Use of data block signatures for monitoring in an information management system
US11294871B2 (en) 2019-07-19 2022-04-05 Commvault Systems, Inc. Deduplication system without reference counting
US11372730B2 (en) 2019-07-31 2022-06-28 Dell Products L.P. Method and system for offloading a continuous health-check and reconstruction of data in a non-accelerator pool
US11328071B2 (en) 2019-07-31 2022-05-10 Dell Products L.P. Method and system for identifying actor of a fraudulent action during legal hold and litigation
US11609820B2 (en) 2019-07-31 2023-03-21 Dell Products L.P. Method and system for redundant distribution and reconstruction of storage metadata
US10963345B2 (en) 2019-07-31 2021-03-30 Dell Products L.P. Method and system for a proactive health check and reconstruction of data
US11775193B2 (en) 2019-08-01 2023-10-03 Dell Products L.P. System and method for indirect data classification in a storage system operations
US11442896B2 (en) 2019-12-04 2022-09-13 Commvault Systems, Inc. Systems and methods for optimizing restoration of deduplicated data stored in cloud-based storage resources
US20210173815A1 (en) * 2019-12-04 2021-06-10 International Business Machines Corporation Automatically dispositioning of copies of data
US20210182160A1 (en) 2019-12-16 2021-06-17 EMC IP Holding Company LLC System and method for generating file system and block-based incremental backups using enhanced dependencies and file system information of data blocks
US11416357B2 (en) 2020-03-06 2022-08-16 Dell Products L.P. Method and system for managing a spare fault domain in a multi-fault domain data cluster
US11119858B1 (en) 2020-03-06 2021-09-14 Dell Products L.P. Method and system for performing a proactive copy operation for a spare persistent storage
US11175842B2 (en) 2020-03-06 2021-11-16 Dell Products L.P. Method and system for performing data deduplication in a data pipeline
US11301327B2 (en) 2020-03-06 2022-04-12 Dell Products L.P. Method and system for managing a spare persistent storage device and a spare node in a multi-node data cluster
US11281535B2 (en) 2020-03-06 2022-03-22 Dell Products L.P. Method and system for performing a checkpoint zone operation for a spare persistent storage
US11099956B1 (en) 2020-03-26 2021-08-24 Commvault Systems, Inc. Snapshot-based disaster recovery orchestration of virtual machine failover and failback operations
US11418326B2 (en) 2020-05-21 2022-08-16 Dell Products L.P. Method and system for performing secure data transactions in a data cluster
US11687424B2 (en) 2020-05-28 2023-06-27 Commvault Systems, Inc. Automated media agent state management
US11645175B2 (en) 2021-02-12 2023-05-09 Commvault Systems, Inc. Automatic failover of a storage manager

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995001599A1 (en) * 1993-07-01 1995-01-12 Legent Corporation System and method for distributed storage management on networked computer systems
JP4081858B2 (ja) * 1998-06-04 2008-04-30 ソニー株式会社 コンピュータシステム、コンピュータ端末装置、及び記録媒体
US6920537B2 (en) 1998-12-31 2005-07-19 Emc Corporation Apparatus and methods for copying, backing up and restoring logical objects in a computer storage system by transferring blocks out of order or in parallel
US6389433B1 (en) 1999-07-16 2002-05-14 Microsoft Corporation Method and system for automatically merging files into a single instance store
US6513051B1 (en) 1999-07-16 2003-01-28 Microsoft Corporation Method and system for backing up and restoring files stored in a single instance store
US7359920B1 (en) * 2001-04-18 2008-04-15 Intellisync Corporation Communication protocol for synchronization of personal information management databases
US6865655B1 (en) * 2002-07-30 2005-03-08 Sun Microsystems, Inc. Methods and apparatus for backing up and restoring data portions stored in client computer systems
US7424514B2 (en) 2002-11-08 2008-09-09 The Regents Of The University Of Michigan Peer-to-peer method and system for performing and managing backups in a network of nodes
US7155585B2 (en) * 2003-08-01 2006-12-26 Falconstor Software, Inc. Method and system for synchronizing storage system data
JP2005141526A (ja) * 2003-11-07 2005-06-02 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
US7200604B2 (en) 2004-02-17 2007-04-03 Hewlett-Packard Development Company, L.P. Data de-duplication
JP2006011903A (ja) * 2004-06-28 2006-01-12 Sony Corp 情報処理装置および方法、並びにプログラム
US7483929B2 (en) * 2005-02-08 2009-01-27 Pro Softnet Corporation Systems and methods for storing, backing up and recovering computer data files
JP4843976B2 (ja) * 2005-03-25 2011-12-21 日本電気株式会社 レプリケーションシステムと方法
US20070050423A1 (en) * 2005-08-30 2007-03-01 Scentric, Inc. Intelligent general duplicate management system
US7478113B1 (en) 2006-04-13 2009-01-13 Symantec Operating Corporation Boundaries

Also Published As

Publication number Publication date
CN101441583A (zh) 2009-05-27
EP1975800A3 (en) 2011-12-28
EP1975800A2 (en) 2008-10-01
US7769971B2 (en) 2010-08-03
EP1975800B1 (en) 2013-05-22
AU2008201241A1 (en) 2008-10-16
CN101441583B (zh) 2013-04-24
JP2008251011A (ja) 2008-10-16
AU2008201241B2 (en) 2013-04-18
US20080244204A1 (en) 2008-10-02

Similar Documents

Publication Publication Date Title
JP5283952B2 (ja) シングルインスタンス・ストレージプールの複製と再格納
JP4446738B2 (ja) コンピュータファイルを効率的にバックアップするシステムと方法
US8311985B2 (en) Remote backup and restore system and method
US7761425B1 (en) Low-overhead means of performing data backup
US20190205216A1 (en) Performing backup operations and indexing backup data
EP1975799B1 (en) Implementing read/write, multi-versioned file system on top of backup data
US9916198B2 (en) Erasure coding and replication in storage clusters
JP5685169B2 (ja) 独立ノード冗長アレイに対するポリシーに基づく管理
US7529785B1 (en) Efficient backups using dynamically shared storage pools in peer-to-peer networks
US6038665A (en) System and method for backing up computer files over a wide area computer network
JP2005538467A (ja) バックアップデータおよび障害回復データのデータ健全性を管理するための方法および装置
US7941459B1 (en) Selectable use of single-instance store backup methodology in combination with other methods
US20080243878A1 (en) Removal
US8255366B1 (en) Segment-based method for efficient file restoration
US10241870B1 (en) Discovery operations using backup data
US7979649B1 (en) Method and apparatus for implementing a storage lifecycle policy of a snapshot image
US20080250085A1 (en) Backup system having preinstalled backup data
US7827147B1 (en) System and method for automatically redistributing metadata across managers
US8315986B1 (en) Restore optimization
JP5018403B2 (ja) バックアップシステム、サーバ装置及びそれらに用いるバックアップ方法並びにそのプログラム
JP5136162B2 (ja) バックアップ管理システム、方法、及び、プログラム
US7472141B1 (en) System and method for controlling off-host policies
CN113728302B (zh) 用于删除重复的云分层的垃圾收集
Osuna et al. Implementing IBM storage data deduplication solutions
JP2004302573A (ja) データバックアップ方法及びバッアップシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110330

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120528

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121002

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121225

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130529

R150 Certificate of patent or registration of utility model

Ref document number: 5283952

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250