WO2013157103A1 - ストレージ装置及びストレージ制御方法 - Google Patents

ストレージ装置及びストレージ制御方法 Download PDF

Info

Publication number
WO2013157103A1
WO2013157103A1 PCT/JP2012/060504 JP2012060504W WO2013157103A1 WO 2013157103 A1 WO2013157103 A1 WO 2013157103A1 JP 2012060504 W JP2012060504 W JP 2012060504W WO 2013157103 A1 WO2013157103 A1 WO 2013157103A1
Authority
WO
WIPO (PCT)
Prior art keywords
file
chunk
deduplication
value
backup
Prior art date
Application number
PCT/JP2012/060504
Other languages
English (en)
French (fr)
Inventor
直光 田代
幹人 尾形
Original Assignee
株式会社日立製作所
株式会社日立情報通信エンジニアリング
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所, 株式会社日立情報通信エンジニアリング filed Critical 株式会社日立製作所
Priority to PCT/JP2012/060504 priority Critical patent/WO2013157103A1/ja
Priority to US13/516,961 priority patent/US20130282672A1/en
Publication of WO2013157103A1 publication Critical patent/WO2013157103A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G06F3/0641—De-duplication techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Definitions

  • FIG. 12 shows the operation of key-value store.
  • the coarse-grain deduplication control unit 2410 calls key-value store in storing or acquiring the FP list 2602.
  • FIG. 18 shows a deterrence threshold value table 2570.
  • the suppression threshold table 2570 is used for coarse-grained deduplication suppression processing that suppresses coarse-grained deduplication processing in order to reduce the load on the storage apparatus 200.
  • the suppression threshold table 2570 includes a file size threshold value 2571, a CPU usage rate threshold value 2572, an HDD usage rate threshold value 2573, a suppression file 2574, and a coarse-grained deduplication suppression flag 2575.
  • the coarse-grained deduplication control unit 2410 shifts the processing to S7026.
  • the target file is duplicated with a file in the previous generation backup.
  • the coarse-grained deduplication control unit 2410 registers the target file entry in the file pointer table 2520.
  • the coarse-grained deduplication control unit 2410 writes “2” to the deduplication flag 2522 of the target file, acquires the chunk list pointer 2545 associated with the meta pointer 2537 in the chunk pointer table 2540, and acquires the target The acquired chunk list pointer 2545 is written into the file pointer 2523 of the file.
  • Coarse-grained deduplication processing compares data in units of files and eliminates files that have not been duplicated with files that have been written to the LUT or LU2 in the past. Can be processed.
  • the coarse-grained deduplication control unit 2410 first calculates and compares the FP value of the first chunk of the target file, and if they match, the next chunk By calculating and comparing the FP values, it is possible to reduce the data for which the FP values are to be calculated, and to reduce the load on the coarse-grain deduplication processing.
  • the restore control unit 2450 sets the next chunk as the target chunk, acquires the chunk node 2547 of the target chunk from the acquired chunk list 2703, and acquires the FP value 2548 from the chunk node 2547.
  • the restore control unit 2450 acquires the chunk address 2555 corresponding to the acquired FP value 2548 from the fine-grained deduplication management table 2550.
  • the restore control unit 2450 reads the compressed data 820 of the target chunk from the acquired chunk address 2555.
  • the restore control unit 2450 restores the file by decompressing the read data.
  • the restore control unit 2450 acquires the chunk pointer 2705 in the acquired chunk node 2547.
  • the restore control unit 2450 determines whether the acquired chunk pointer 2705 is a null pointer.
  • Example 2 Receive multiple files, By performing inline deduplication processing under a predetermined condition, a file overlapping with a file received in the past is detected from among the plurality of files, and files other than the detected file among the plurality of files are temporarily stored. Save to the storage area, Dividing the saved file into a plurality of chunks; By performing post-process deduplication processing, a chunk that overlaps with a previously received chunk is detected from among the plurality of chunks, and chunks other than the detected chunk among the plurality of chunks are transferred to the transfer destination Save to storage area,
  • a storage control method comprising:

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

　インライン型重複排除処理とポストプロセス型重複排除処理を行うストレージ装置の負荷の低減と重複排除の精度の向上とを両立させる。　ストレージ装置は、記憶デバイスとコントローラとを備える。コントローラは、複数のファイルを受信し、所定条件下でインライン型重複排除処理を行うことにより複数のファイルの中から過去に受信されたファイルと重複するファイルを検出し、複数のファイルのうち検出されたファイル以外のファイルを一時格納領域へ保存し、保存されたファイルを複数のチャンクへ分割し、ポストプロセス型重複排除処理を行うことにより、複数のチャンクの中から過去に受信されたチャンクと重複するチャンクを検出し、複数のチャンクのうち検出されたチャンク以外のチャンクを転送先格納領域へ保存する。

Description

ストレージ装置及びストレージ制御方法
　本発明は、ストレージへ入力されるデータの重複排除を行う技術に関する。
　ソフトウェアベースの重複排除及び圧縮は、データをＨＤＤ（hard disk drive）等のバックアップメディアへ書き込む前に重複を特定するので、ＣＰＵ（central processing unit）負荷が掛かる。このようにデータをon-the-fly writingするインライン（In-line）型重複排除において、データストリーム多重度が高くなると、ＣＰＵ負荷の増大が顕著となる。
　ポストプロセス（Post-process）型重複排除において、取り込みバッファ（ingest buffer）のプットポインタがゲットポインタを追い越すオーバラン（overrun）を抑えるべく、取り込み（ingest）側プロセスを待機させると、直ちにバックアップ性能又はリストア性能の低下に繋がる。従って、取り込みバッファ容量を大きくする必要がある。
　重複排除ストレージの導入の主な目的は、バックアップ容量を抑え、バックアップに係るコストを下げることである。また、高性能なＨＤＤ及びＲＡＩＤ（Redundant Arrays of Inexpensive Disks、またはRedundant Arrays of Independent Disks）方式を採用する事で、取り込み性能（バックアップ性能又はリストア性能）を稼ごうとすれば、コストが割り増しとなってしまう。また、性能と費用の異なる記憶媒体の組合せに重複排除を適用することは、困難である。また、ストレージの容量設計や容量構成管理のコストが大きい。
　インライン型重複排除に加えてポストプロセス型重複排除を実行する技術や、最初にブロックレベルでの重複排除処理を行い、残ったコンテンツに対してのみコンテンツレベルでの重複排除処理を行う技術が知られている（例えば、特許文献１、２）。
米国特許出願公開第２０１１／０２８９２８１号明細書 国際公開第２０１０／１００７３３号パンフレット
　しかし、インライン型重複排除に加えてポストプロセス型重複排除を実行する技術において、ストレージ装置におけるインライン型重複排除処理の処理方式とポストプロセス型重複排除処理の処理方式とは同じである。この場合、インライン型重複排除処理によって、そのストレージ装置へアクセスする計算機のアクセス性能が低下する場合がある。逆に、ポストプロセス型重複排除処理によって、十分に重複排除を行うことができない場合がある。
　また、最初にブロックレベルでの重複排除処理を行い、残ったコンテンツに対してのみコンテンツレベルでの重複排除処理を行う技術において、コンテンツよりも細かいブロックレベルでの重複排除処理を実行してから、コンテンツレベルでの重複排除処理を行うと、ブロックレベルでの重複排除処理の方が細かく比較しなければならないため、負荷が高くなってしまうといった課題がある。
　上記課題を解決するため、本発明の一態様であるストレージ装置は、一時格納領域及び転送先格納領域を有する記憶デバイスと、記憶デバイスに接続されているコントローラとを備える。コントローラは、複数のファイルを受信し、所定条件下でインライン型重複排除処理を行うことにより複数のファイルの中から過去に受信されたファイルと重複するファイルを検出し、複数のファイルのうち検出されたファイル以外のファイルを一時格納領域へ保存し、保存されたファイルを複数のチャンクへ分割し、ポストプロセス型重複排除処理を行うことにより、複数のチャンクの中から過去に受信されたチャンクと重複するチャンクを検出し、複数のチャンクのうち検出されたチャンク以外のチャンクを転送先格納領域へ保存する。
　本発明の一態様によれば、インライン型重複排除処理とポストプロセス型重複排除処理を行うストレージ装置の負荷の低減と重複排除の精度の向上とを両立させることができる。
図１は、ストレージ装置の構成を示す。 図２は、ストレージ装置１００とストレージ装置２００とバックアップサーバ３００との夫々のハードウェア構成を示す。 図３は、管理計算機４００のハードウェア構成を示す。 図４は、ストレージ装置２００のソフトウェア構成を示す。 図５は、ストレージ装置１００のソフトウェア構成を示す。 図６は、バックアップサーバ３００のソフトウェア構成を示す。 図７は、管理計算機４００のソフトウェア構成を示す。 図８は、第１世代のバックアップを模式的に示す。 図９は、第２世代のバックアップを模式的に示す。 図１０は、ファイルポインタテーブル２５２０を示す。 図１１は、粗粒度判定用ＦＰテーブル２５３０を示す。 図１２は、key-value storeの動作を示す。 図１３は、named arrayの動作を示す。 図１４は、チャンクポインタテーブル２５４０を示す。 図１５は、細粒度重複排除管理テーブル２５５０を示す。 図１６は、バックアップ先における圧縮データ８２０の配置を示す。 図１７は、状態管理テーブル２５６０を示す。 図１８は、抑止用閾値テーブル２５７０を示す。 図１９は、第１バックアップ制御処理を示す。 図２０は、第２バックアップ制御処理を示す。 図２１は、抑止用閾値制御処理を示す。 図２２は、粗粒度重複排除処理を示す。 図２３は、関連付け処理を示す。 図２４は、スケジュール管理処理を示す。 図２５は、細粒度重複排除処理を示す。 図２６は、チャンク判定処理を示す。 図２７は、リストア制御処理を示す。
　幾つかの実施例を説明する。なお、本発明の技術的範囲が各実施例に限定されない。
　なお、以後の説明では、「＊＊＊テーブル」の表現にて各種情報を説明することがあるが、各種情報は、テーブル以外のデータ構造で表現されていてもよい。データ構造に依存しないことを示すために「＊＊＊テーブル」を「＊＊＊情報」と呼ぶことができる。
　また、以後の説明では、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ（Central Processing Unit））によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）及び通信制御装置（例えば通信ポート）を用いながら行うため、処理の主語がプロセッサとされてもよい。また、プログラムを主語として説明された処理は、コントローラが行う処理としても良い。また、プログラムの一部又は全ては専用ハードウェアによって実現されてもよい。このため、プログラムを主語として説明された処理は、コントローラが行う処理としても良い。コントローラは、プロセッサと、プロセッサに実行されるコンピュータプログラムを記憶する記憶資源とを含んでも良いし、上記の専用ハードウェアを含んでも良い。また、コンピュータプログラムは、プログラムソースから各計算機にインストールされても良い。プログラムソースは、例えば、プログラム配布サーバ又は記憶メディアであっても良い。
　また、以下の説明では、管理システムは、一以上の計算機、例えば、管理計算機、又は、管理計算機と表示用計算機との組み合わせである。具体的には、例えば、管理計算機が表示用情報を表示する場合は、管理計算機が管理システムである。また、処理の高速化や高信頼化のために、複数の計算機で管理計算機と同等の機能が実現されてもよく、この場合は、当該複数の計算機（表示を表示用計算機が行う場合は表示用計算機を含んで良い）が、管理システムである。
　以下、本発明の適用例であるストレージシステムについて説明する。
　本実施例のストレージシステムは、所定条件下でファイル単位のインライン型重複排除処理を行う。次にストレージシステムは、インライン型重複排除処理により重複を排除できなかったファイルを、ファイルより細かいチャンクへ分割する。次にストレージシステムは、チャンク単位のポストプロセス型重複排除処理を行う。
　インライン型重複排除処理がファイル単位で重複排除を行うことにより、ストレージシステムへアクセスするホスト計算機のアクセス性能の低下を防ぐことができる。また、ポストプロセス型重複排除処理がさらに細かくデータ比較をすることにより、十分に重複排除を行うことができる。さらに、インライン型重複排除処理で排除されたファイルは、ポストプロセス型重複排除処理の対象外となるため、ポストプロセス型重複排除処理の負荷を低減することができる。
　
――――ストレージシステム１０の構成――――
　以下、ストレージシステム１０の構成について説明する。
　図１は、ストレージシステム１０の構成を示す。このストレージシステム１０は、ストレージ装置１００と、ストレージ装置２００と、バックアップサーバ３００と、管理計算機４００とを有する。ストレージ装置１００と、ストレージ装置２００と、バックアップサーバ３００と、管理計算機４００とは、ＳＡＮ（Storage Area Network）やＬＡＮ（Local Area Network）等の通信ネットワーク５００を介して接続されている。
　ストレージ装置１００は、転送元格納領域（バックアップ元）のＬＵ（Logical Unit）であるＬＵ１を提供する。ＬＵ１は、バックアップにおいてコピー元となるファイルを格納する。ストレージ装置２００は、一時格納領域のＬＵであるＬＵＴと、転送先格納領域（バックアップ先）のＬＵであるＬＵ２とを提供する。ＬＵＴは、粗粒度重複排除処理後のファイルを格納する。ＬＵ２は、細粒度重複排除処理後のチャンクの圧縮データとメタ情報とを格納する。バックアップサーバ３００は、ストレージ装置１００からストレージ装置２００へのバックアップの指示を行う。管理計算機４００は、ストレージシステム１０を起動して管理する。
　図２は、ストレージ装置１００とストレージ装置２００とバックアップサーバ３００との夫々のハードウェア構成を示す。ストレージ装置１００とストレージ装置２００とバックアップサーバ３００との夫々は、コントローラ１８０と記憶デバイス１５０とを有する。コントローラ１８０は、ＣＰＵ１１０と、共用メモリ１２０と、キャッシュメモリ１３０と、データ転送部１４０と、通信インタフェース１６０と、デバイスインタフェース１７０を有する。記憶デバイス１５０は、プログラム及びデータを格納する。デバイスインタフェース１７０は、記憶デバイス１５０に接続されている。通信インタフェース１６０は、通信ネットワーク５００に接続されている。データ転送部１４０は、通信インタフェース１６０及び通信ネットワーク５００を介して、他の装置との間でデータ転送を行う。ＣＰＵ１１０は、記憶デバイス１５０内のプログラム及びデータを、共用メモリ１２０へ読み出し、読み出されたプログラム及びデータに従って、データ転送部１４０及び記憶デバイス１５０の制御等を行う。
　この実施例において記憶デバイス１５０は、ＨＤＤ（hard disk drive）であるが、不揮発性半導体メモリや磁気テープ等の記憶媒体であっても良い。また、記憶デバイス１５０は、一つの記憶媒体を有していても良いし、複数の記憶媒体を有していても良い。ＬＵ１は、ストレージ装置１００の記憶デバイス１５０により構成される。ＬＵＴ及びＬＵ２は、ストレージ装置２００の記憶デバイス１５０により構成される。なお、ＬＵＴ及びＬＵ２は、夫々異なる記憶媒体により構成されても良いし、同一の記憶媒体により構成されても良い。また、ＬＵ１、ＬＵＴ、ＬＵ２の夫々は、ＲＡＩＤやThin Provisioning等を用いる仮想記憶デバイスにより構成されても良い。
　キャッシュメモリ１３０は、外部の装置から受信したデータや、外部の装置へ送信するデータを一時的に保存する。キャッシュメモリ１３０は例えば、共用メモリ１２０より高速なメモリである。ＬＵ１は、ストレージ装置１００の記憶デバイス１５０により構成される。
　図３は、管理計算機４００のハードウェア構成を示す。管理計算機４００は、ＣＰＵ４１０と、メモリ４２０と、記憶デバイス４３０と、入力デバイス４４０と、出力デバイス４５０と、通信インタフェース４６０とを有する。記憶デバイス４３０は、プログラム及びデータを格納する。通信インタフェース４６０は、通信ネットワーク５００に接続されている。ＣＰＵ４１０は、記憶デバイス４３０内のプログラム及びデータを、メモリ４２０へ読み出し、読み出されたプログラム及びデータに従って、記憶デバイス４３０及び入力デバイス４４０及び出力デバイス４５０の制御等を行う。入力デバイス４４０は、管理計算機４００のユーザから入力されたデータをＣＰＵ４１０へ送る。出力デバイス４５０は、ＣＰＵ４１０からのデータをユーザへ出力する。
　図４は、ストレージ装置２００のソフトウェア構成を示す。バックアップ先のストレージ装置２００は、ＯＳ（operating system）２１００と、データＩ／Ｏ（input／output）部２２００と、ドライブ制御部２３００と、粗粒度重複排除制御部２４１０と、細粒度重複排除制御部２４２０と、スケジュール管理部２４３０と、バックアップ制御部２４４０と、リストア制御部２４５０と、ファイルポインタテーブル２５２０と、粗粒度判定用ＦＰ（finger print）テーブル２５３０と、チャンクポインタテーブル２５４０と、細粒度重複排除管理テーブル２５５０と、状態管理テーブル２５６０と、抑止用閾値テーブル２５７０とを有する。
　ＯＳ２１００は、ストレージ装置２００を管理する。データＩ／Ｏ部２２００は、ストレージ装置２００におけるデータの入出力を管理する。ドライブ制御部２３００は、ストレージ装置２００内の記憶デバイス１５０を制御する。
　粗粒度重複排除制御部２４１０は、インライン型重複排除処理である粗粒度重複排除処理を行う。粗粒度重複排除処理は、ファイル単位での重複排除処理である。細粒度重複排除制御部２４２０は、ポストプロセス型重複排除処理である細粒度重複排除処理を行う。細粒度重複排除処理は、チャンク単位での重複排除処理である。スケジュール管理部２４３０は、バックアップのスケジュールを管理する。バックアップ制御部２４４０は、バックアップサーバ３００からの指示に応じてバックアップを制御する。リストア制御部２４５０は、リストアの指示に応じてリストアを制御するリストア制御処理を行う。抑止用閾値制御部２４６０は、粗粒度重複排除処理の抑止のための閾値を制御する抑止用閾値制御処理を行う。
　また、粗粒度判定用ＦＰテーブル２５３０と、チャンクポインタテーブル２５４０と、細粒度重複排除管理テーブル２５５０とは、ＬＵ２内に格納されている。また、ファイルポインタテーブル２５２０は、ＬＵＴ内に格納されている。
　ファイルポインタテーブル２５２０は、ファイル毎に、重複排除の結果と位置とを示す。粗粒度判定用ＦＰテーブル２５３０は、重複排除されたファイル毎のＦＰ値群を示す。チャンクポインタテーブル２５４０は、バックアップ毎のファイル群、ファイル毎のメタ情報及びＦＰ値群を示す。細粒度重複排除管理テーブル２５５０は、ＦＰ値とチャンクの圧縮データの位置との対応付けを示す。状態管理テーブル２５６０は、バックアップ毎の状態を示す。抑止用閾値テーブル２５７０は、粗粒度重複排除処理の抑止のための情報を示す。
　図５は、ストレージ装置１００のソフトウェア構成を示す。バックアップ元のストレージ装置１００は、ＯＳ１１００と、データＩ／Ｏ部１２００と、ドライブ制御部１３００とを有する。これらの情報は、共用メモリ１２０に格納される。
　ＯＳ１１００は、ストレージ装置１００を管理する。データＩ／Ｏ部１２００は、ストレージ装置１００におけるデータの入出力を管理する。ドライブ制御部１３００は、ストレージ装置１００内の記憶デバイス１５０を制御する。
　図６は、バックアップサーバ３００のソフトウェア構成を示す。バックアップサーバ３００は、ＯＳ３１００と、データＩ／Ｏ部３２００と、ドライブ制御部３３００と、バックアップアプリケーション３４００とを有する。これらの情報は、共用メモリ１２０に格納される。
　ＯＳ３１００は、バックアップサーバ３００を管理する。データＩ／Ｏ部３２００は、バックアップサーバ３００におけるデータの入出力を管理する。ドライブ制御部３３００は、バックアップサーバ３００内の記憶デバイス１５０を制御する。バックアップアプリケーション３４００は、バックアップの指示、又はリストアの指示を行う。
　図７は、管理計算機４００のソフトウェア構成を示す。管理計算機４００は、ＯＳ４１００と、データＩ／Ｏ部４２００と、管理アプリケーション４３００とを有する。
　ＯＳ４１００は、管理計算機４００を管理する。データＩ／Ｏ部４２００は、管理計算機４００におけるデータの入出力を管理する。管理アプリケーション４３００は、ストレージシステム１０を管理する。
　
――――ストレージシステム１０によるバックアップの具体例――――
　以下、ストレージシステム１０によるバックアップの具体例について説明する。
　ここでは、ストレージシステム１０により、第１世代のバックアップと第２世代のバックアップが行われるとする。
　まず、第１世代のバックアップについて説明する。
　図８は、第１世代のバックアップを模式的に示す。バックアップ中に、粗粒度重複排除処理と細粒度重複排除処理が行われる。
　バックアップサーバ３００のバックアップアプリケーション３４００は、ストレージ装置１００、２００にバックアップの開始を指示し、ＬＵ１からファイル７２０であるＡ、Ｂ、Ｃを読み出し、Ａ、Ｂ、Ｃの先頭に夫々メタ情報２５４６であるＭＡ、ＭＢ、ＭＣを付加してデータストリーム６１０を生成し、通信ネットワーク５００を介してそのデータストリーム６１０をストレージ装置２００へ送信する。メタ情報２５４６は、バックアップの管理のための情報である。この例において、Ａ、Ｂ、Ｃの全てが新規のバックアップであり、且つ、互いに内容の異なるファイルであるとする。ファイルは、データブロックと呼ばれても良い。
　まず粗粒度重複排除制御部２４１０は、粗粒度重複排除処理（Ｓ１１～Ｓ１４）を行う。
　Ｓ１１において、粗粒度重複排除制御部２４１０は、バックアップサーバ３００から受信されてキャッシュメモリ１３０に格納されたデータストリーム６１０を、メタ情報２５４６とファイル７２０に分離する。
　次にＳ１２において、粗粒度重複排除制御部２４１０は、メタ情報２５４６と、そのメタ情報２５４６の位置を示すメタポインタ２５４４とを、ＬＵ２内のチャンクポインタテーブル２５４０へ登録する。
　次にＳ１３において、粗粒度重複排除制御部２４１０は、各ファイル７２０内のチャンクのＦＰ（finger print）値２５３５を計算し、それらのＦＰ値２５３５が粗粒度判定用ＦＰテーブル２５３０に登録済みであるか否かを判定する。粗粒度重複排除制御部２４１０は、例えばハッシュ関数によりＦＰ値２５３５を算出する。ＦＰ値２５３５を、ハッシュ値と呼ぶこともできる。この例において、Ａ、Ｂ、ＣのＦＰ値２５３５が、未だ粗粒度判定用ＦＰテーブル２５３０に登録されていないため、粗粒度重複排除制御部２４１０は、Ａ、Ｂ、Ｃから算出されたＦＰ値２５３５を粗粒度判定用ＦＰテーブル２５３０へ登録する。
　次にＳ１４において、粗粒度重複排除制御部２４１０は、Ａ、Ｂ、ＣをＬＵＴ内のファイルデータ格納領域７１０へ書き込み、各ファイル７２０の位置を示すファイルポインタ２５２３をＬＵＴ内のファイルポインタテーブル２５２０に登録する。
　次に細粒度重複排除制御部２４２０は、細粒度重複排除処理（Ｓ１５～Ｓ１９）を行う。ここでは、Ａについての細粒度重複排除処理を説明するが、Ｂ、ＣについてもＡと同様の細粒度重複排除処理が行われる。
　Ｓ１５において、細粒度重複排除制御部２４２０は、ＬＵＴ内のファイルポインタテーブル２５２０を参照することにより、細粒度重複排除処理の対象であるＡを認識し、ＬＵＴからＡを読み出す。
　次にＳ１６において、細粒度重複排除制御部２４２０は、Ａをチャンキングする。これにより、Ａは、複数のチャンクであるＡａ、Ａｂ、Ａｃに分割されるとする。即ち、チャンクのサイズは、ファイルのサイズより小さい。なお、チャンクは、セグメントと呼ばれても良い。
　次にＳ１７において、細粒度重複排除制御部２４２０は、各チャンクのＦＰ値２５４８を計算し、細粒度重複排除管理テーブル２５５０に登録済みであるか否かを判定する。ＦＰ値２５４８を、ハッシュ値と呼ぶこともできる。この例において、各チャンクのＦＰ値２５４８は、未だ細粒度重複排除管理テーブル２５５０に登録されていないため、細粒度重複排除制御部２４２０は、各チャンクのＦＰ値２５４８を細粒度重複排除管理テーブル２５５０に登録する。
　次にＳ１８において、細粒度重複排除制御部２４２０は、各チャンクの圧縮データ８２０をＬＵ２内のデータ格納領域８１０へ書き込み、各チャンクの圧縮データ８２０の位置を示すチャンクアドレス２５５５を細粒度重複排除管理テーブル２５５０内のＦＰ値２５４８に対応付ける。また、細粒度重複排除制御部２４２０は、ＦＰ値２５４８の位置を指すチャンクリストポインタ２５４５をチャンクポインタテーブル２５４０へ登録する。
　以上が第１世代のバックアップである。
　次に、第２世代のバックアップについて説明する。
　図９は、第２世代のバックアップを模式的に示す。バックアップサーバ３００のバックアップアプリケーション３４００は、ストレージ装置１００、２００にバックアップの開始を指示し、ＬＵ１からファイル７２０であるＺ、Ｂ、Ｃを読み出し、Ｚ、Ｂ、Ｃの先頭に夫々メタ情報２５４６であるＭＤ、ＭＥ、ＭＦを付加してデータストリーム６１０を生成し、そのデータストリーム６１０をストレージ装置２００へ送信する。この例においては、前述のＡ、Ｂ、Ｃのうち、ＡがＺに書き換えられており、且つＺがＢ、Ｃと異なるファイルであるとする。
　まず粗粒度重複排除制御部２４１０は、粗粒度重複排除処理（Ｓ２１～Ｓ２４）を行う。
　Ｓ２１において、粗粒度重複排除制御部２４１０は、バックアップサーバ３００から受信されてキャッシュメモリ１３０に格納されたデータストリーム６１０を、メタ情報２５４６とファイル７２０に分離する。
　次にＳ２２において、粗粒度重複排除制御部２４１０は、メタ情報２５４６と、そのメタ情報の位置を指すメタポインタ２５４４とを、ＬＵ２内のチャンクポインタテーブル２５４０へ登録する。
　次にＳ２３において、粗粒度重複排除制御部２４１０は、各ファイル７２０内のチャンクのＦＰ値２５３５を計算し、それらのＦＰ値２５３５が粗粒度判定用ＦＰテーブル２５３０に登録済みであるか否かを判定する。この例において、ＺのＦＰ値２５３５のみが、未だ粗粒度判定用ＦＰテーブル２５３０に登録されていないため、粗粒度重複排除制御部２４１０は、Ｚから算出されたＦＰ値２５３５を粗粒度判定用ＦＰテーブル２５３０へ登録する。
　次にＳ２４において、粗粒度重複排除制御部２４１０は、ＺをＬＵＴ内のファイルデータ格納領域７１０へ書き込み、そのファイル７２０の位置を指すファイルポインタをＬＵＴ内のファイルポインタテーブル２５２０に登録する。更に、粗粒度重複排除制御部２４１０は、ＬＵ２内のチャンクポインタテーブル２５４０におけるＢ、Ｃのチャンクリストポインタ２５４５をファイルポインタテーブル２５２０に登録する。
　次に細粒度重複排除制御部２４２０は、細粒度重複排除処理（Ｓ２５～Ｓ２９）を行う。ここで、Ｂ、Ｃは、粗粒度重複排除処理により重複すると判定されたことによりＬＵＴに格納されず、細粒度重複排除処理の対象にならない。
　Ｓ２５において、細粒度重複排除制御部２４２０は、ＬＵＴ内のファイルポインタテーブル２５２０を参照することにより、細粒度重複排除処理の対象であるＺを認識し、ＬＵＴからＺを読み出す。
　次にＳ２６において、細粒度重複排除制御部２４２０は、Ｚをチャンキングする。これにより、Ｚは、複数のチャンクであるＡａ、Ａｚ、Ａｃに分割されるとする。ここで、ＡとＺを比較すると、ＡｂだけがＡｚに書き換えられているとする。
　次にＳ２７において、細粒度重複排除制御部２４２０は、各チャンクのＦＰ値２５４８を計算し、細粒度重複排除管理テーブル２５５０に登録済みであるか否かを判定する。この例において、ＡｚのＦＰ値２５４８のみが、細粒度重複排除管理テーブル２５５０に登録されていないため、細粒度重複排除制御部２４２０は、ＡｚのＦＰ値２５４８を細粒度重複排除管理テーブル２５５０に登録する。
　次にＳ２８において、細粒度重複排除制御部２４２０は、Ａｚの圧縮データ８２０をＬＵ２内のデータ格納領域８１０へ書き込み、Ａｚの位置を指すチャンクアドレス２５５５を細粒度重複排除管理テーブル２５５０内のＦＰ値２５４８に対応付ける。また、細粒度重複排除制御部２４２０は、ＦＰ値２５４８の位置を指すチャンクリストポインタ２５４５をチャンクポインタテーブル２５４０へ登録する。
　以上が第２世代のバックアップである。
　
――――ストレージ装置２００内の情報――――
　以下、ストレージ装置２００内の情報について説明する。
　図１０は、ファイルポインタテーブル２５２０を示す。ファイルポインタテーブル２５２０は、ファイル毎のエントリを有する。各エントリは、ファイル番号２５２１と、重複排除フラグ２５２２と、ファイルポインタ２５２３とを有する。
　ファイル番号２５２１は、当該ファイルの番号を示す。
　重複排除フラグ２５２２は、当該ファイルが粗粒度重複排除処理により排除されたか否かを示す。重複排除フラグ２５２２の値が０である場合、当該ファイルが粗粒度重複排除処理により排除されていないことを示す。即ちこれは、当該ファイルが新規のバックアップであることを示す。重複排除フラグ２５２２の値が０以外である場合、当該ファイルが粗粒度重複排除処理により排除されたことを示す。重複排除フラグ２５２２の値が１である場合、当該ファイルが同一データストリーム６１０内の前方（粗粒度重複排除処理済み）のファイルと重複することにより排除されたことを示す。即ちこれは、当該ファイルと同じファイルがＬＵＴ内に存在することを示す。重複排除フラグ２５２２の値が２である場合、当該ファイルが過去のバックアップと重複することにより排除されたことを示す。即ちこれは、当該ファイルと同じファイルがＬＵ２内に存在することを示す。
　ファイルポインタ２５２３は、ＬＵＴにおける当該ファイルの位置、又は当該ファイルと重複するファイルを示す情報を指す。当該ファイルの重複排除フラグ２５２２が０である場合、ファイルポインタ２５２３は、ＬＵＴ内のファイルの位置を指す。当該ファイルの重複排除フラグ２５２２が１である場合、ファイルポインタ２５２３は、ファイルポインタテーブル２５２０内で当該ファイルと重複するファイルのファイルポインタ２５２３の位置を指す。当該ファイルの重複排除フラグ２５２２が２である場合、ファイルポインタ２５２３は、ＬＵ２内のチャンクポインタテーブル２５４０内で当該ファイルと重複するファイルのチャンクリストポインタ２５４５の位置を指す。
　図１１は、粗粒度判定用ＦＰテーブル２５３０を示す。粗粒度判定用ＦＰテーブル２５３０は、粗粒度重複排除処理により過去のファイルと重複していないと判定されたファイル毎に、走査キー２６０１と、ＦＰリストポインタ２５３３と、ファイル毎のＦＰリスト２６０２とを有する。
　走査キー２６０１は、チャンク数２５３１と先頭ＦＰ値２５３２とを有する。チャンク数２５３１は、当該ファイル内のチャンクの数である。先頭ＦＰ値２５３２は、当該ファイル内の先頭チャンクから計算されたＦＰの値である。なお、走査キー２６０１は、先頭ＦＰ値２５３２であっても良い。
　ＦＰリストポインタ２５３３は、当該ファイルのＦＰリスト２６０２の先頭の位置を指す。
　ＦＰリスト２６０２は、線形リストであり、幾つかのＦＰノード２５３４と、末尾のノードである末尾ノード２６０３とを有する。ＦＰノード２５３４の数は、チャンク数２５３１に等しい。
　ＦＰノード２５３４は、当該ファイル内の各チャンクに対応する。各チャンクに対応するＦＰノード２５３４は、ＦＰ値２５３５と、ＦＰポインタ２５３６とを有する。ＦＰ値２５３５は、当該チャンクから計算されたＦＰの値である。ＦＰポインタ２５３６は、次のＦＰノード２５３４の先頭の位置を指す。
　末尾ノード２６０３は、メタポインタ２５３７と、ファイルアドレス２５３８と、Ｎｕｌｌポインタ２５３９とを有する。メタポインタ２５３７は、ＬＵ２内で当該ファイルのメタ情報２５４６を格納する位置を指す。ファイルアドレス２５３８は、ＬＵＴ内で当該ファイルを格納する位置を指す。Ｎｕｌｌポインタ２５３９は、その位置がＦＰリスト２６０２の終端であることを示す。
　先頭ＦＰ値２５３２は、対応するＦＰリスト２６０２内の先頭のＦＰノード２５３４内のＦＰ値２５３５に等しい。
　ここで、粗粒度判定用ＦＰテーブル２５３０にkey-value storeを用いる場合について説明する。図１２は、key-value storeの動作を示す。粗粒度重複排除制御部２４１０は、ＦＰリスト２６０２の保存又は取得においてkey-value storeをコールする。
　ＦＰリスト２６０２を保存する場合、Ｓ３１において、コール元である粗粒度重複排除制御部２４１０は、key-value storeに対し、keyとして走査キー２６０１を、valueとしてＦＰリスト２６０２を渡す。次にＳ３２において、key-value storeは、渡されたkeyとvalueを保存する。
　ＦＰリスト２６０２を取得する場合、Ｓ３４において、コール元は、key-value storeに対し、keyとして走査キー２６０１を指定する。次にＳ３５において、key-value storeは、指定されたkeyを検索してvalueを特定する。次にＳ３６において、key-value storeは、特定されたvalueをコール元へ返答する。
　次に、粗粒度判定用ＦＰテーブル２５３０にnamed arrayを用いる場合について説明する。図１３は、named arrayの動作を示す。粗粒度重複排除制御部２４１０は、ＦＰリスト２６０２の保存又は取得においてnamed arrayをコールする。
　まずＳ４１において、named arrayとしてnaが定義される。ＦＰリスト２６０２を保存する場合、Ｓ４２において、コール元は、keyとして走査キー２６０１を、valueとしてＦＰリスト２６０２を、named arrayに保存する。ＦＰリスト２６０２を取得する場合、Ｓ４３において、コール元は、keyとして走査キー２６０１を指定し、指定されたkeyに対応するvalueを取得する。
　図１４は、チャンクポインタテーブル２５４０を示す。チャンクポインタテーブル２５４０は、複数の世代のバックアップを管理するバックアップ管理情報２７０１と、各バックアップ内の各ファイルの情報であるファイル情報２７０２とを有する。
　バックアップ管理情報２７０１は、バックアップ毎のエントリを有する。各エントリは、バックアップＩＤ２５４１と、先頭ポインタ２５４２と、末尾ポインタ２５４３とを有する。バックアップＩＤ２５４１は、バックアップの識別子である。先頭ポインタ２５４２は、当該バックアップに属するファイルのうち、先頭のファイルのファイル情報２７０２の位置を指す。末尾ポインタ２５４３は、当該バックアップに属するファイルのうち、末尾のファイルのファイル情報２７０２の位置を指す。
　ファイル情報２７０２は、メタポインタ２５４４と、チャンクリストポインタ２５４５と、メタ情報２５４６と、チャンクリスト２７０３とを有する。メタポインタ２５４４は、当該ファイルのメタ情報２５４６の位置を指す。また、前述のバックアップ管理情報２７０１の先頭ポインタ２５４２は、当該バックアップの先頭のファイルのファイル情報２７０２のメタポインタ２５４４の位置を指す。チャンクリストポインタ２５４５は、メタポインタ２５４４に対応付けられ、当該ファイルのチャンクリスト２７０３の位置を指す。メタ情報２５４６は、データストリーム６１０において、バックアップサーバ３００により当該ファイルに付加された情報である。メタ情報２５４６は、ＬＵ２内でチャンクポインタテーブル２５４０の外に格納されても良い。
　チャンクリスト２７０３は、当該ファイルのチャンク毎のチャンクノード２５４７を有する。チャンクノード２５４７は、ＦＰ値２５４８と、チャンクポインタ２７０５とを有する。ＦＰ値２５４８は、当該チャンクから算出されたＦＰの値である。ここで、前述のチャンクリストポインタ２５４５は、ファイルの先頭のチャンクに対応するチャンクノード２５４７のＦＰ値２５４８の位置を指す。
　チャンクポインタ２７０５は、次のチャンクのＦＰ値２５４８の位置を指す。或るファイルの末尾のチャンクに対応するチャンクノード２５４７は、チャンクポインタ２７０５の代わりに、Ｎｕｌｌポインタ２７０６を有する。Ｎｕｌｌポインタ２７０６は、その位置がチャンクリスト２７０３の終端であることを示す
　この例における複数のファイル情報２７０２は夫々、ファイルＦＡ、ＦＢ、ＦＣ、ＦＤ、ＦＥ、ＦＦを示す。ここで、今回のバックアップのデータストリーム６１０が、ＦＡ、ＦＢ、ＦＣ、ＦＤ、ＦＥを含み、前回のバックアップのデータストリームが、ＦＦを含むとする。
　ここで、ＦＢは、同一データストリーム６１０内の前方にあるＦＡと重複しているとする。この場合、ＦＢのチャンクリストポインタ２５４５は、ＦＡのチャンクリスト２７０３の先頭の位置を指す。これにより、ＦＢのファイル情報２７０２に、チャンクリスト２７０３はない。
　また、ＦＤは、同一データストリーム６１０内の前方にあるＦＣと重複しているとする。この場合、ＦＤのチャンクリストポインタ２５４５は、ＦＣのチャンクリスト２７０３の先頭の位置を指す。これにより、ＦＣのファイル情報２７０２に、チャンクリスト２７０３はない。
　また、ＦＥは、前回のバックアップ内のＦＦと重複しているとする。この場合、ＦＥのチャンクリストポインタ２５４５は、ＦＦのチャンクリスト２７０３の先頭の位置を指す。これにより、ＦＥのファイル情報２７０２に、チャンクリスト２７０３はない。
　図１５は、細粒度重複排除管理テーブル２５５０を示す。細粒度重複排除処理により重複排除された各チャンクのＦＰ値２５４８は、そのビットパターンの末尾のｎビットのビットパターンが同一であるグループに分類される。ｎビットのビットパターンを、グループ識別子２５５２とする。ｎが１２である場合、グループ識別子２５５２は、０、１、…、４０９５で表される。
　細粒度重複排除管理テーブル２５５０は、グループ識別子２５５２毎のバイナリツリー（二分木）２５５７を有する。バイナリツリー２５５７内のノード２５５８は、チャンクに対応する。各ノード２５５８は、ＦＰ値２５５３と、チャンクアドレス２５５５と、第１ＦＰポインタ２５５４と、第２ＦＰポインタ２５５６とを有する。
　ＦＰ値２５５３は、対応するグループに属するＦＰの値である。即ち、ＦＰ値２５５３の末尾のｎビットは、対応するグループのグループ識別子２５５２になる。チャンクアドレス２５５５は、ＬＵ２において、ＦＰ値２５５３に対応するチャンクを格納する位置を示す。チャンクアドレス２５５５は、物理アドレスであっても良いし、論理アドレスであっても良い。第１ＦＰポインタ２５５４は、当該ノードのＦＰ値２５５３より小さいＦＰ値２５５３を有するノードを指す。第２ＦＰポインタ２５５６は、当該ノードのＦＰ値２５５３より大きいＦＰ値２５５３を有するノードを指す。
　また、重複排除済みのＦＰ値２５５３が細粒度重複排除管理テーブル２５５０に登録されることにより、細粒度重複排除管理テーブル２５５０のサイズを抑えることができる。
　このデータ構造によれば、或る対象ＦＰ値を探索する場合、対象ＦＰ値からグループ識別子２５５２を認識し、グループ識別子２５５２に対応するバイナリツリー２５５７を選択する。次に選択されたバイナリツリー２５５７のルートノードから、対象ＦＰ値がノードのＦＰ値２５５３より小さい場合に第１ＦＰポインタ２５５４が指すノードへ移動し、対象のＦＰ値がＦＰ値２５５３より大きい場合に第２ＦＰポインタ２５５６が指すノードへ移動する。これを繰り返すことにより、対象ＦＰ値のノードに到達し、そのノードのチャンクアドレス２５５５を取得することができる。
　図１６は、バックアップ先における圧縮データ８２０の配置を示す。チャンクアドレス２５５５は、ＬＵ２内に格納される各チャンクの圧縮データ８２０の位置を指す。ここでの各チャンクは、重複排除済みである。従って、細粒度重複排除管理テーブル２５５０によれば、ＦＰ値２５４８に対応するチャンクアドレス２５５５を高速に特定することができる。これにより、ＦＰ値２５４８に基づいてＬＵ２内のチャンクの圧縮データ８２０へ高速にアクセスすることができる。なお、チャンクアドレス２５５５の代わりに、論理ページ番号等、ＬＵ２内の論理位置を示す管理番号が用いられても良い。
　図１７は、状態管理テーブル２５６０を示す。状態管理テーブル２５６０は、バックアップ毎のエントリを有する。各エントリは、バックアップＩＤ２５６１と、バックアップ状態２５６２と、細粒度重複排除状態２５６３とを有する。バックアップＩＤ２５６１は、バックアップＩＤ２５４１と同じバックアップの識別子である。バックアップ状態２５６２は、当該バックアップが完了している場合、そのバックアップの完了時刻を示し、当該バックアップが実行中である場合、「実行中」を示す。細粒度重複排除状態２５６３は、細粒度重複排除処理が完了している場合、その細粒度重複排除処理の完了時刻を示す。
　図１８は、抑止用閾値テーブル２５７０を示す。抑止用閾値テーブル２５７０は、ストレージ装置２００の負荷を低減するために粗粒度重複排除処理を抑止する粗粒度重複排除抑止処理に用いられる。抑止用閾値テーブル２５７０は、ファイルサイズ閾値２５７１と、ＣＰＵ使用率閾値２５７２と、ＨＤＤ使用率閾値２５７３と、抑止ファイル２５７４と、粗粒度重複排除抑止フラグ２５７５とを有する。
　ファイルサイズ閾値２５７１は、粗粒度重複排除処理を抑止するためのファイルサイズの閾値である。例えば、粗粒度重複排除抑止処理は、ストレージ装置２００により受信されたデータストリーム６１０内の或るファイルのサイズがファイルサイズ閾値２５７１を超えた場合、そのファイルを粗粒度重複排除処理の対象から外す。ＣＰＵ使用率閾値２５７２は、ファイルサイズ閾値２５７１を変更するためのＣＰＵ使用率の閾値である。ＨＤＤ使用率閾値２５７３は、ファイルサイズ閾値２５７１を変更するためのＨＤＤ使用率の閾値である。抑止ファイル２５７４は、粗粒度重複排除処理の対象にならないファイルの種類を示す。例えば、粗粒度重複排除抑止処理は、ストレージ装置２００により受信されたデータストリーム６１０内の或るファイルの種類が抑止ファイル２５７４に含まれている場合、そのファイルを粗粒度重複排除処理の対象から外す。抑止ファイル２５７４は、アクセス権やアクセス日時等の属性を示していても良い。粗粒度重複排除抑止フラグ２５７５は、粗粒度重複排除処理を抑止するか否かを設定するフラグである。
　
――――バックアップ制御処理――――
　以下、バックアップ制御部２４４０によるバックアップ制御処理について説明する。
　バックアップ制御部２４４０は、バックアップサーバ３００からのバックアップ制御処理の指示に応じて、バックアップ制御処理を実行する。バックアップ制御処理は、第１バックアップ制御処理と、その後に実行される第２バックアップ制御処理とを有する。
　
以下、第１バックアップ制御処理について説明する。
　図１９は、第１バックアップ制御処理を示す。Ｓ７３００において、バックアップ制御部２４４０は、バックアップサーバ３００のバックアップアプリケーション３４００からバックアップ制御処理の指示を受信すると、第１バックアップ制御処理を開始する。ここで、指示されたバックアップの世代を対象バックアップとする。
　次にＳ７３０１において、バックアップ制御部２４４０は、状態管理テーブル２５６０内の対象バックアップのバックアップＩＤ２５６１を設定する。次にＳ７３０２において、バックアップ制御部２４４０は、状態管理テーブル２５６０内の細粒度重複排除状態２５６３を初期化（クリア）する。次にＳ７３０３において、バックアップ制御部２４４０は、状態管理テーブル２５６０内のバックアップ状態２５６２を「実行中」に変更する。次にＳ７３０４において、バックアップ制御部２４４０は、チャンクポインタテーブル２５４０内の対象バックアップの先頭ポインタ２５４２を設定する。
　次にＳ７３０５において、ストレージ装置１００のＬＵ１からバックアップサーバ３００へファイルが転送され、バックアップサーバ３００からストレージ装置２００へデータストリーム６１０が転送されると、バックアップ制御部２４４０は、そのデータストリーム６１０を受信する。次にＳ７３０６において、バックアップ制御部２４４０は、抑止用閾値制御部２４６０をコールすることにより、後述の抑止用閾値制御処理を行う。次にＳ７３０７において、バックアップ制御部２４４０は、受信されたデータストリーム６１０から一つのメタ情報とそれに続くファイルとを取得する。次にＳ７３０８において、バックアップ制御部２４４０は、粗粒度重複排除制御部２４１０をコールすることにより、取得されたメタ情報とファイルについて後述の粗粒度重複排除処理を実行させる。次にＳ７３０９において、バックアップ制御部２４４０は、ＬＵ１から対象バックアップのデータの転送が終了したか否かを判定する。
　Ｓ７３０９の結果がＮである場合、即ち対象バックアップのデータストリーム６１０の転送が終了していない場合、バックアップ制御部２４４０は、処理を前述のＳ７３０５へ移行させる。
　Ｓ７３０９の結果がＹである場合、即ち対象バックアップのデータストリーム６１０の転送が終了した場合、バックアップ制御部２４４０は、処理をＳ７３１０へ移行させる。
　Ｓ７３１０において、バックアップ制御部２４４０は、チャンクポインタテーブル２５４０内の対象バックアップの末尾ポインタ２５４３を設定する。次にＳ７３１１において、バックアップ制御部２４４０は、状態管理テーブル２５６０内のバックアップ状態２５６２に完了時刻を書き込む。次にＳ７３１２において、バックアップ制御部２４４０は、待機する。
　以上が第１バックアップ制御処理である。
　第１バックアップ制御処理によれば、インライン型重複排除処理である粗粒度重複排除処理を実行することができる。
　
以下、第２バックアップ制御処理について説明する。
　図２０は、第２バックアップ制御処理を示す。Ｓ７３２０において、バックアップ制御部２４４０は、後述のスケジュール管理処理により再起動されると、第２バックアップ制御処理を開始する。
　次にＳ７３２１において、バックアップ制御部２４４０は、ＬＵＴからファイルポインタテーブル２５２０を読み出して共用メモリ１２０へ保存する。次にＳ７３２２において、バックアップ制御部２４４０は、ＬＵ２から状態管理テーブル２５６０を読み出して共用メモリ１２０へ保存する。次にＳ７３２２において、バックアップ制御部２４４０は、状態管理テーブル２５６０を参照することにより対象バックアップを認識する。次にＳ７３２４において、バックアップ制御部２４４０は、チャンクポインタテーブル２５４０から対象バックアップの先頭ポインタ２５４２及び末尾ポインタ２５４３を取得する。
　次にＳ７３２５において、バックアップ制御部２４４０は、ファイルポインタテーブル２５２０から重複排除されていないファイルを選択し、選択されたファイルをＬＵＴから読み出してキャッシュメモリ１３０へ保存する。次にＳ７３２６において、バックアップ制御部２４４０は、細粒度重複排除制御部２４２０をコールすることにより、読み出されたファイルについて後述の細粒度重複排除処理を実行させる。次にＳ７３２７において、バックアップ制御部２４４０は、全ての重複排除されていないファイルの細粒度重複排除処理が終了したか否かを判定する。
　Ｓ７３２７の結果がＮである場合、即ち全ての重複排除されていないファイルの細粒度重複排除処理が終了していない場合、バックアップ制御部２４４０は、処理を前述のＳ７３２５へ移行させる。
　Ｓ７３２７の結果がＹである場合、即ち全ての重複排除されていないファイルの細粒度重複排除処理が終了した場合、バックアップ制御部２４４０は、処理をＳ７３２８へ移行させる。Ｓ７３２８において、バックアップ制御部２４４０は、状態管理テーブル２５６０において対象バックアップの細粒度重複排除状態２５６３に完了時刻を設定する。
　以上が第２バックアップ制御処理である。
　第２バックアップ制御処理によれば、ポストプロセス型重複排除処理である細粒度重複排除処理を実行することができる。
　
以下、前述の第１バックアップ制御処理のＳ７３０６における抑止用閾値制御処理について説明する。
　図２１は、抑止用閾値制御処理を示す。Ｓ７２００において、抑止用閾値制御部２４６０がコールされると、抑止用閾値制御処理を開始する。
　次にＳ７２０１において、抑止用閾値制御部２４６０は、前回のコールから所定時間間隔以上の時間が経過したか否かを判定する。所定時間間隔は例えば、１分である。
　Ｓ７２０１の結果がＮである場合、即ち前回コールされてから所定時間間隔以上の時間が経過していない場合、抑止用閾値制御部２４６０は、このフローを終了させる。
　Ｓ７２０１の結果がＹである場合、即ち前回コールされてから所定時間間隔以上の時間が経過した場合、抑止用閾値制御部２４６０は、処理をＳ７２０２へ移行させる。Ｓ７２０２において、抑止用閾値制御部２４６０は、ストレージ装置２００のＣＰＵ使用率がＣＰＵ使用率閾値２５７２を超えたか否かを判定する。
　Ｓ７２０２の結果がＹである場合、即ちストレージ装置２００のＣＰＵ使用率がＣＰＵ使用率閾値２５７２を超えた場合、抑止用閾値制御部２４６０は、処理をＳ７２０３へ移行させる。Ｓ７２０３において、抑止用閾値制御部２４６０は、抑止用閾値テーブル２５７０内のファイルサイズ閾値２５７１を所定の減少ステップだけ小さくし、このフローを終了させる。所定の減少ステップは例えば、チャンクサイズやチャンクサイズの倍数であっても良い。
　Ｓ７２０２の結果がＮである場合、即ちストレージ装置２００のＣＰＵ使用率がＣＰＵ使用率閾値２５７２を超えていない場合、抑止用閾値制御部２４６０は、処理をＳ７２０５へ移行させる。Ｓ７２０５において、抑止用閾値制御部２４６０は、ストレージ装置２００内のＬＵＴのＨＤＤ使用率がＨＤＤ使用率閾値２５７３を超えたか否かを判定する。
　Ｓ７２０５の結果がＹである場合、即ちＨＤＤ使用率がＨＤＤ使用率閾値２５７３を超えた場合、抑止用閾値制御部２４６０は、処理をＳ７２０６へ移行させる。Ｓ７２０６において、抑止用閾値制御部２４６０は、抑止用閾値テーブル２５７０内のファイルサイズ閾値２５７１を所定の増加ステップだけ大きくし、このフローを終了させる。所定の増加ステップは例えば、チャンクサイズやチャンクサイズの倍数であっても良い。
　Ｓ７２０５の結果がＮである場合、即ちＨＤＤ使用率がＨＤＤ使用率閾値２５７３を超えていない場合、抑止用閾値制御部２４６０は、このフローを終了させる。
　以上が抑止用閾値制御処理である。
　抑止用閾値制御処理によれば、ストレージ装置２００の負荷に応じて粗粒度重複排除処理を抑止することにより、インライン型重複排除処理によるアクセス性能への影響を低減することができる。例えば、ストレージ装置２００の負荷が予め定められた負荷閾値を超える場合、粗粒度重複排除処理の対象のファイル数を減らすことにより、粗粒度重複排除処理の負荷を低減することができる。例えば、ストレージ装置２００の負荷が予め定められた負荷閾値以下である場合、粗粒度重複排除処理の対象のファイル数を増やすことにより、細粒度重複排除処理の負荷を低減することができる。
　なお、抑止用閾値制御部２４６０は、ストレージ装置２００の負荷の代わりに、Ｉ／Ｏ量に基づいて、ファイルサイズ閾値２５７１を変更しても良い。また、抑止用閾値制御部２４６０は、Ｉ／Ｏ量に基づいて、粗粒度重複排除処理を実施するか否かを決定しても良い。例えば、抑止用閾値制御部２４６０は、Ｉ／Ｏ量が予め定められたＩ／Ｏ量閾値を超える場合、粗粒度重複排除処理を実施しない。時々刻々と変化するＩ／Ｏ量に応じて粗粒度重複排除処理を実施することにより、アクセス性能に影響を与えない範囲で粗粒度重複排除処理を実施することができる。
　Ｉ／Ｏ量は、ホスト計算機からストレージシステム１０へのアクセスによるＩ／Ｏ量であっても良いし、ストレージ装置２００のＩ／Ｏ量であっても良い。Ｉ／Ｏ量は、所定時間当たりのライトデータ量（流入量）であっても良いし、所定時間当たりのリードデータ量であっても良いし、それらの組み合わせであっても良い。
　Ｉ／Ｏ量に応じて粗粒度重複排除処理を抑止することにより、インライン型重複排除処理によるアクセス性能への影響を低減することができる。
　
以下、前述の第１バックアップ制御処理のＳ７３０８における粗粒度重複排除処理について説明する。
　図２２は、粗粒度重複排除処理を示す。Ｓ７０００において、粗粒度重複排除制御部２４１０がコールされると、粗粒度重複排除処理を開始する。
　次にＳ７００１において、粗粒度重複排除制御部２４１０は、メタ情報及びファイルを取得し、ＬＵ２内でそのメタ情報を格納する位置を決定することにより、その位置を指すメタポインタを確定する。ここで、取得されたファイルを対象ファイルと呼ぶ。次にＳ７００２において、粗粒度重複排除制御部２４１０は、抑止用閾値テーブル２５７０に基づいて対象ファイルが粗粒度重複排除抑止条件を満たすか否かを判定する。ここで、粗粒度重複排除制御部２４１０は、対象ファイルのファイルサイズがファイルサイズ閾値２５７１以上である場合、又は対象ファイルの属性やファイル形式が抑止ファイル２５７４に一致する場合、又は粗粒度重複排除抑止フラグ２５７５がオンである場合に、対象ファイルが粗粒度重複排除抑止条件を満たすと判定する。例えば、粗粒度重複排除制御部２４１０は、対象ファイルのヘッダから、対象ファイルの属性やファイル形式を検出し、抑止ファイル２５７４に一致するか否かを判定する。
　Ｓ７００２の結果がＹである場合、即ち対象ファイルが粗粒度重複排除抑止条件を満たす場合、粗粒度重複排除制御部２４１０は、処理をＳ７００９へ移行させる。
　Ｓ７００２の結果がＮである場合、即ち対象ファイルが粗粒度重複排除抑止条件を満たさない場合、粗粒度重複排除制御部２４１０は、処理をＳ７００３へ移行させる。Ｓ７００３において、粗粒度重複排除制御部２４１０は、対象ファイルをチャンキングした場合のチャンク数を計算する。ここで、チャンクの代わりにチャンクと異なるサイズを有する部分データが用いられても良い。この場合の部分データのサイズはファイルのサイズより小さい。次にＳ７００４において、粗粒度重複排除制御部２４１０は、対象ファイルの先頭チャンクのＦＰ値を計算する。次にＳ７００５において、粗粒度重複排除制御部２４１０は、計算されたチャンク数と計算された先頭チャンクのＦＰ値とを対象ファイルの走査キーとし、粗粒度判定用ＦＰテーブル２５３０から対象ファイルの走査キーを探索し、対象ファイルの走査キーが粗粒度判定用ＦＰテーブル２５３０から検出されたか否かを判定する。ここで、粗粒度重複排除制御部２４１０は、前述のkey-value storeやnamed arrayを用いることができる。
　Ｓ７００５の結果がＮである場合、即ち対象ファイルの走査キーが粗粒度判定用ＦＰテーブル２５３０から検出されない場合、粗粒度重複排除制御部２４１０は、処理をＳ７００６へ移行させる。Ｓ７００６において、粗粒度重複排除制御部２４１０は、対象ファイルの残りのチャンクのＦＰ値を計算する。次にＳ７００７において、粗粒度重複排除制御部２４１０は、粗粒度判定用ＦＰテーブル２５３０の走査キー２６０１とＦＰリスト２６０２として、計算されたチャンク数と計算されたＦＰ値を登録する。次にＳ７００８において、粗粒度重複排除制御部２４１０は、ＬＵＴ内で対象ファイルを格納する位置を決定することにより、その位置を指すファイルアドレス２５３８を確定し、登録されたＦＰリスト２６０２の末尾へ末尾ノードを登録する。即ち、粗粒度重複排除制御部２４１０は、その末尾ノードへ、確定されたメタポインタ２５３７と確定されたファイルアドレス２５３８とＮｕｌｌポインタ２５３９とを書き込む。次にＳ７００９において、粗粒度重複排除制御部２４１０は、ファイルポインタテーブル２５２０へ対象ファイルのエントリを登録する。ここで、粗粒度重複排除制御部２４１０は、対象ファイルの重複排除フラグ２５２２へ「０」を書き込み、確定されたファイルポインタを対象ファイルのファイルポインタ２５２３へ書き込む。次にＳ７０１０において、粗粒度重複排除制御部２４１０は、対象ファイルをＬＵＴ内のファイルアドレス２５３８へ書き込み、処理をＳ７０１１へ移行させる。
　次にＳ７０１１において、粗粒度重複排除制御部２４１０は、ＬＵ２内のチャンクポインタテーブル２５４０内の対象ファイルのファイル情報２７０２内へ、メタ情報２５４６とメタポインタ２５４４を書き込み、このフローを終了させる。このように、メタ情報２５４６は、重複排除されることなく、ＬＵ２へ書き込まれる。ファイルに比べて、メタ情報２５４６のサイズは小さく、メタ情報２５４６同士が重複する可能性は低い。
　Ｓ７００５の結果がＹである場合、即ち対象ファイルの走査キーが粗粒度判定用ＦＰテーブル２５３０から検出された場合、粗粒度重複排除制御部２４１０は、処理をＳ７０１３へ移行させる。次にＳ７０１３において、粗粒度重複排除制御部２４１０は、次のチャンクを選択し、選択されたチャンクのＦＰ値を計算する。次にＳ７０１４において、粗粒度重複排除制御部２４１０は、検出された走査キーに対応するＦＰリスト２６０２を選択し、選択されたＦＰリスト２６０２の中から、選択されたチャンクの位置に対応するＦＰ値２５３５を選択し、計算されたＦＰ値と選択されたＦＰ値２５３５とを比較し、計算されたＦＰ値が選択されたＦＰ値２５３５に一致するか否かを判定する。
　Ｓ７０１４の結果がＮである場合、即ち計算されたＦＰ値が選択されたＦＰ値２５３５に一致しない場合、粗粒度重複排除制御部２４１０は、処理を前述のＳ７００６へ移行させる。
　Ｓ７０１４の結果がＹである場合、即ち計算されたＦＰ値が選択されたＦＰ値２５３５に一致した場合、粗粒度重複排除制御部２４１０は、処理をＳ７０１５へ移行させる。次にＳ７０１５において、粗粒度重複排除制御部２４１０は、対象ファイルの全チャンクのＦＰ値の比較が終了したか否かを判定する。
　Ｓ７０１５の結果がＮである場合、即ち対象ファイルの全チャンクのＦＰ値の比較が終了していない場合、粗粒度重複排除制御部２４１０は、処理を前述のＳ７０１３へ移行させる。
　Ｓ７０１５の結果がＹである場合、即ち対象ファイルの全てのチャンクのＦＰ値の比較が終了し、対象ファイルの全チャンクのＦＰ値が選択されたＦＰリスト２６０２に一致した場合、粗粒度重複排除制御部２４１０は、処理をＳ７０２０へ移行させる。次にＳ７０２０において、粗粒度重複排除制御部２４１０は、後述の関連付け処理を行い、処理を前述のＳ７０１１へ移行させる。
　以上が粗粒度重複排除処理である。
　ここで、前述の粗粒度重複排除処理のＳ７０２０における関連付け処理について説明する。
　図２３は、関連付け処理を示す。
　まずＳ７０２５において、粗粒度重複排除制御部２４１０は、粗粒度判定用ＦＰテーブル２５３０において、選択されたＦＰリスト２６０２の末尾ノード２６０３内のメタポインタ２５３７を取得し、取得されたメタポインタ２５３７が対象バックアップに属するか否かを判定する。ここで、粗粒度重複排除制御部２４１０は例えば、チャンクポインタテーブル２５４０から対象バックアップのバックアップＩＤ２５４１の先頭ポインタ２５４２及び末尾ポインタ２５４３を取得し、取得されたメタポインタ２５３７が、取得された先頭ポインタ２５４２から末尾ポインタ２５４３までの範囲内である場合、選択されたＦＰリスト２６０２の末尾のメタポインタ２５３７が対象バックアップに属すると判定する。
　Ｓ７０２５の結果がＮである場合、即ち取得されたメタポインタ２５３７が対象バックアップに属していない場合、粗粒度重複排除制御部２４１０は、処理をＳ７０２６へ移行させる。この場合、対象ファイルは過去の世代のバックアップ内のファイルと重複している。Ｓ７０２６において、粗粒度重複排除制御部２４１０は、ファイルポインタテーブル２５２０へ対象ファイルのエントリを登録する。ここで、粗粒度重複排除制御部２４１０は、対象ファイルの重複排除フラグ２５２２へ「２」を書き込み、チャンクポインタテーブル２５４０内でメタポインタ２５３７に対応付けられているチャンクリストポインタ２５４５を取得し、対象ファイルのファイルポインタ２５２３へ、取得されたチャンクリストポインタ２５４５を書き込む。
　次にＳ７０２７において、粗粒度重複排除制御部２４１０は、対象ファイルとファイルポインタテーブル２５２０とをＬＵＴへ書き込み、処理を前述のＳ７０１１へ移行させる。
　Ｓ７０２５の結果がＹである場合、即ち取得されたメタポインタ２５３７が対象バックアップに属している場合、粗粒度重複排除制御部２４１０は、処理をＳ７０２８へ移行させる。この場合、対象ファイルは、対象バックアップのデータストリーム６１０内の前方のファイルと重複している。Ｓ７０２８において、粗粒度重複排除制御部２４１０は、粗粒度判定用ＦＰテーブル２５３０から選択されたＦＰリスト２６０２の末尾ノード２６０３内のファイルアドレス２５３８を取得する。次にＳ７０２９において、粗粒度重複排除制御部２４１０は、ファイルポインタテーブル２５２０内の対象ファイルのエントリを変更する。ここで、粗粒度重複排除制御部２４１０は、対象ファイルの重複排除フラグ２５２２へ「１」を書き込み、対象ファイルのファイルポインタ２５２３へ、取得されたファイルアドレス２５３８を書き込む。
　以上が関連付け処理である。
　粗粒度重複排除処理によれば、ファイル単位でデータを比較し、過去にＬＵＴ又はＬＵ２へ書き込まれたファイルと重複しているファイルを排除することにより、重複していないファイルのみを細粒度重複排除処理の対象にすることができる。また、粗粒度重複排除制御部２４１０は、対象ファイルが過去のファイルと重複するか否かの判定において、まず対象ファイルの先頭のチャンクのＦＰ値を算出して比較し、一致すれば次のチャンクのＦＰ値を算出して比較することにより、ＦＰ値の算出の対象となるデータを削減することができ、粗粒度重複排除処理の負荷を低減することができる。
　従来のインライン型重複排除処理において、ファイルのサイズが大きい場合、インライン型重複排除処理は、時間が掛かり、ホスト計算機からストレージシステムへのアクセス性能を低下させることがある。本実施例の粗粒度重複排除処理によれば、ファイルサイズに応じて粗粒度重複排除処理を抑止することにより、アクセス性能への影響を低減することができる。
　従来のインライン型重複排除処理において、ファイル形式によっては、インライン型重複排除処理の効果が出ないものがある。また、この場合のインライン型重複排除処理は、アクセス性能を低下させることがある。本実施例の粗粒度重複排除処理によれば、ファイル形式に応じて粗粒度重複排除処理を抑止することにより、アクセス性能への影響を低減することができる。
　ホスト計算機からストレージシステムへのＩ／Ｏ量は時々刻々と変化するため、従来のインライン型重複排除処理において、ストレージシステムのＩ／Ｏ負荷が高い場合、インライン型重複排除処理は、アクセス性能を低下させることがある。本実施例の粗粒度重複排除処理によれば、ストレージ装置２００のＩ／Ｏ量に応じて粗粒度重複排除処理を抑止することにより、アクセス性能への影響を低減することができる。
　従来のインライン型重複排除処理において、ファイル単位でデータを比較することにより、アクセス性能を低下させることがある。本実施例の粗粒度重複排除処理によれば、ファイルの部分毎のＦＰ値を比較することにより、アクセス性能への影響を低減することができる。
　また、粗粒度重複排除処理が、メタ情報とファイルを分離し、メタ情報を一時格納領域であるＬＵＴへ書き込まずに、バックアップ先であるＬＵ２へ先行して書き込み、ファイルについて低負荷且つ高速な重複排除を行うことにより、によって一時格納領域の書き込み量を削減することができる。
　
以下、スケジュール管理部２４３０によるスケジュール管理処理について説明する。
　図２４は、スケジュール管理処理を示す。スケジュール管理部２４３０は、定期的にスケジュール管理処理を実行する。
　まずＳ７２０１において、スケジュール管理部２４３０は、状態管理テーブル２５６０内のバックアップ状態２５６２と細粒度重複排除状態２５６３を参照する。次にＳ７２０２において、スケジュール管理部２４３０は、細粒度重複排除処理の対象となるバックアップがあるか否かを判定する。ここで、スケジュール管理部２４３０は、或るバックアップのバックアップ状態２５６２に完了時刻が記録されており、且つ、細粒度重複排除状態２５６３に完了時刻が記録されていない場合、当該バックアップの細粒度重複排除処理を実行すべきであると判定する。
　Ｓ７２０２の結果がＮである場合、即ち細粒度重複排除処理を実行すべきバックアップがない場合、スケジュール管理部２４３０は、このフローを終了させる。
　Ｓ７２０２の結果がＹである場合、即ち細粒度重複排除処理を実行すべきバックアップがある場合、スケジュール管理部２４３０は、処理をＳ７３０３へ移行させる。Ｓ７２０３において、スケジュール管理部２４３０は、細粒度重複排除状態２５６３を「実行中」に変更する。Ｓ７３０４において、スケジュール管理部２４３０は、細粒度重複排除処理のために、バックアップ制御部２４４０を再起動することにより、前述の第２バックアップ制御処理を開始させる。
　以上がスケジュール管理処理である。
　スケジュール管理処理によれば、第１バックアップ制御処理と第２バックアップ制御処理を非同期で実行することができる。
　
以下、前述の第２バックアップ制御処理のＳ７３２６における細粒度重複排除処理について説明する。
　図２５は、細粒度重複排除処理を示す。
　まずＳ７１０１において、細粒度重複排除制御部２４２０は、対象ファイルが粗粒度重複排除処理により重複排除済みであるか否かを判定する。ここで、細粒度重複排除制御部２４２０は、ファイルポインタテーブル２５２０において対象ファイルのエントリを取得し、そのエントリから重複排除フラグ２５２２及びファイルポインタ２５２３を取得し、取得された重複排除フラグ２５２２が「０」以外である場合、対象ファイルが重複排除済みであると判定する。
　Ｓ７１０１の結果がＮである場合、即ち対象ファイルが重複排除済みでない場合、細粒度重複排除制御部２４２０は、処理をＳ７１０２へ移行させる。次にＳ７１０２において、細粒度重複排除制御部２４２０は、ファイルポインタテーブル２５２０において対象ファイルのファイルポインタ２５２３により示されている対象ファイルを取得する。次にＳ７１０３において、細粒度重複排除制御部２４２０は、対象ファイルをチャンキングし、これにより得られた各チャンクのＦＰ値を算出する。次にＳ７１０４において、細粒度重複排除制御部２４２０は、算出されたＦＰ値から対象ファイルのチャンクリスト２７０３を生成する。次にＳ７１２０において、細粒度重複排除制御部２４２０は、後述のチャンク判定処理を行う。
　次にＳ７１２１において、細粒度重複排除制御部２４２０は、ファイルポインタテーブル２５２０における対象ファイルのエントリを更新する。ここで、細粒度重複排除制御部２４２０は、対象ファイルの重複排除フラグ２５２２を「２」へ変更し、対象ファイルのチャンクリスト２７０３の位置を指すチャンクリストポインタ２５４５を取得し、対象ファイルのファイルポインタ２５２３を、取得されたチャンクリストポインタ２５４５へ変更する。次にＳ７１２３において、細粒度重複排除制御部２４２０は、取得されたチャンクリストポインタ２５４５と、生成されたチャンクリスト２７０３とを、ＬＵ２内のチャンクポインタテーブル２５４０へ書き込むことにより、チャンクポインタテーブル２５４０を更新し、このフローを終了する。
　Ｓ７１０１の結果がＹである場合、即ち対象ファイルが重複排除済みである場合、細粒度重複排除制御部２４２０は、処理をＳ７１１５へ移行させる。次にＳ７１１５において、細粒度重複排除制御部２４２０は、対象ファイルの重複排除フラグ２５２２が「１」であるか否かを判定する。
　Ｓ７１１６の結果がＮである場合、即ち対象ファイルの重複排除フラグ２５２２が「２」である場合、処理をＳ７１１７へ移行させる。この時、対象ファイルのファイルポインタ２５２３は、対象ファイルと重複しているファイルのチャンクリストポインタ２５４５の位置を指す。
　Ｓ７１１６の結果がＹである場合、即ち対象ファイルの重複排除フラグ２５２２が「１」である場合、細粒度重複排除制御部２４２０は、取得されたファイルポインタ２５２３に指されたファイルポインタ２５２３を取得する。この時、対象ファイルのファイルポインタ２５２３は、対象ファイルと同一データストリーム６１０内の前方にあって対象ファイルと重複しているファイルのファイルポインタ２５２３の位置を指す。また、対象ファイルと重複しているファイルのファイルポインタ２５２３は、先行してＳ７１２１が行われることにより、そのファイルのチャンクリストポインタ２５４５の位置を指す。
　次にＳ７１１７において、細粒度重複排除制御部２４２０は、取得されたファイルポインタ２５２３に指されたチャンクリストポインタ２５４５を取得する。次にＳ７１１８において、細粒度重複排除制御部２４２０は、取得されたチャンクリストポインタ２５４５を、ＬＵ２内のチャンクポインタテーブル２５４０内の対象ファイルのチャンクリストポインタ２５４５へ書き込み、このフローを終了する。
　以上が細粒度重複排除処理である。
　ここで、前述の細粒度重複排除処理のＳ７１２０におけるチャンク判定処理について説明する。
　図２６は、チャンク判定処理を示す。
　まずＳ７１３５において、細粒度重複排除制御部２４２０は、対象ファイル内の一つのチャンクを選択して対象チャンクとし、生成されたチャンクリスト２７０３から対象チャンクのチャンクノード２５４７を取得し、取得されたチャンクノード２５４７からＦＰ値２５４８及びチャンクポインタ２７０５を取得する。ここで、取得されたＦＰ値を対象ＦＰ値と呼ぶ。次にＳ７１３６において、細粒度重複排除制御部２４２０は、対象ＦＰ値が細粒度重複排除管理テーブル２５５０内に存在するか否かを判定する。ここで、細粒度重複排除制御部２４２０は、前述のように、対象ＦＰ値からグループ識別子２５５２を取得し、取得されたグループ識別子２５５２に対応するバイナリツリー２５５７により対象ＦＰ値のノードを探索し、そのノードのチャンクアドレス２５５５を取得する。
　Ｓ７１３６の結果がＹである場合、即ち取得されたＦＰ値が細粒度重複排除管理テーブル２５５０内に存在する場合、細粒度重複排除制御部２４２０は、処理をＳ７１４０へ移行させる。
　Ｓ７１３６の結果がＮである場合、即ち取得されたＦＰ値が細粒度重複排除管理テーブル２５５０内に存在しない場合、細粒度重複排除制御部２４２０は、処理をＳ７１３７へ移行させる。次にＳ７１３７において、細粒度重複排除制御部２４２０は、対象チャンクのデータを圧縮することにより圧縮データを生成する。次にＳ７１３８において、細粒度重複排除制御部２４２０は、ＬＵ２内で対象チャンクを格納するチャンクアドレスを決定し、対象ＦＰ値と決定されたチャンクアドレスとを含むノード２５５８を、細粒度重複排除管理テーブル２５５０へ追加する。次にＳ７１３９において、細粒度重複排除制御部２４２０は、対象チャンクの圧縮データを、決定されたチャンクアドレスへ書き込む。
　次に７１４０において、細粒度重複排除制御部２４２０は、取得されたチャンクポインタ２７０５がＮｕｌｌポインタ２７０６であるか否かを判定する。
　Ｓ７１３６の結果がＮである場合、即ち取得されたチャンクポインタ２７０５がＮｕｌｌポインタ２７０６でない場合、細粒度重複排除制御部２４２０は、処理を前述のＳ７１３５へ移行させる。
　Ｓ７１３６の結果がＹである場合、即ち取得されたチャンクポインタ２７０５がＮｕｌｌポインタ２７０６である場合、細粒度重複排除制御部２４２０は、このフローを終了する。
　以上がチャンク判定処理である。
　細粒度重複排除処理によれば、チャンク単位でデータを比較し、ＬＵＴに格納されているチャンクのうち、過去にＬＵ２へ書き込まれたチャンクと重複しているチャンクを排除することができる。
　
――――リストア制御処理――――
以下、リストア制御部２４５０によるリストア制御処理について説明する。
　リストア制御部２４５０は、バックアップサーバ３００からのリストア制御処理の指示に応じて、リストア制御処理を実行する。リストア制御処理は、ＬＵ２内の指定されたバックアップをＬＵ１へ復元する。
　図２７は、リストア制御処理を示す。Ｓ７４００において、リストア制御部２４５０は、バックアップサーバ３００のバックアップアプリケーション３４００からリストア制御処理の指示を受信すると、リストア制御処理を開始する。リストア制御処理の指示は、対象バックアップを指定する。対象バックアップは例えば、バックアップＩＤにより示される。
　次にＳ７４０１において、リストア制御部２４５０は、対象バックアップのバックアップＩＤを取得する。次にＳ７４０２において、リストア制御部２４５０は、ＬＵ２内のチャンクポインタテーブル２５４０のバックアップ管理情報２７０１から、対象バックアップのバックアップＩＤ２５４１に対応する先頭ポインタ２５４２及び末尾ポインタ２５４３を読み出すことにより、対象バックアップに属するファイル情報２７０２のアドレス範囲を取得する。
　次にＳ７４０４において、リストア制御部２４５０は、取得されたアドレス範囲から一つのファイル情報２７０２を取得し、そのファイルを対象ファイルとし、対象ファイルのチャンクリストポインタ２５４５を取得する。次にＳ７４０５において、リストア制御部２４５０は、取得されたチャンクリストポインタ２５４５に指されているチャンクリスト２７０３を取得する。
　次にＳ７４０６において、リストア制御部２４５０は、次のチャンクを対象チャンクとし、取得されたチャンクリスト２７０３から対象チャンクのチャンクノード２５４７を取得し、そのチャンクノード２５４７からＦＰ値２５４８を取得する。次にＳ７４０７において、リストア制御部２４５０は、取得されたＦＰ値２５４８に対応するチャンクアドレス２５５５を、細粒度重複排除管理テーブル２５５０から取得する。次にＳ７４０８において、リストア制御部２４５０は、取得されたチャンクアドレス２５５５から対象チャンクの圧縮データ８２０を読み出す。次にＳ７４０９において、リストア制御部２４５０は、読み出されたデータを解凍することにより、ファイルを復元する。次にＳ７４１０において、リストア制御部２４５０は、取得されたチャンクノード２５４７内のチャンクポインタ２７０５を取得する。次にＳ７４１１において、リストア制御部２４５０は、取得されたチャンクポインタ２７０５がＮｕｌｌポインタであるか否かを判定する。
　Ｓ７４１１の結果がＮである場合、即ち取得されたチャンクポインタ２７０５がＮｕｌｌポインタでない場合、リストア制御部２４５０は、処理を前述のＳ７４０６へ移行させる。
　Ｓ７４１１の結果がＹである場合、即ち取得されたチャンクポインタ２７０５がＮｕｌｌポインタである場合、リストア制御部２４５０は、処理をＳ７４１２へ移行させる。次にＳ７４１２において、リストア制御部２４５０は、対象ファイルのファイル情報２７０２からメタポインタ２５４４を取得し、メタポインタ２５４４に指されたメタ情報２５４６を取得し、取得されたメタ情報と復元されたファイルとをバックアップサーバ３００へ転送することにより、復元されたファイルをストレージ装置１００のＬＵ１へ転送する。次にＳ７４１３において、リストア制御部２４５０は、対象バックアップに属する全てのファイルの復元が終了したか否かを判定する。ここで、リストア制御部２４５０は、取得されたファイル情報２７０２が、読み出された末尾ポインタ２５４３に達した場合、対象バックアップに属する全てのファイルの復元が終了したと判定する。
　Ｓ７４１１の結果がＮである場合、即ち対象バックアップに属する全てのファイルの復元が終了していない場合、リストア制御部２４５０は、処理を前述のＳ７４０４へ移行させる。
　Ｓ７４１１の結果がＹである場合、即ち対象バックアップに属する全てのファイルの復元が終了した場合、リストア制御部２４５０は、このフローを終了させる。
　以上がリストア制御処理である。
　リストア制御処理によれば、粗粒度重複排除処理と細粒度重複排除処理により重複排除されＬＵ２へ格納されたファイルを、世代毎にＬＵ１へ復元することができる。また、リストア制御部２４５０は、チャンクポインタテーブル２５４０を用いることにより、対象バックアップに属するファイルのメタ情報２５４６及びＦＰ値２５４８を取得することができる。また、リストア制御部２４５０は、細粒度重複排除管理テーブル２５５０を用いることにより、ＦＰ値２５４８に対応するチャンクアドレス２５５５と、チャンクアドレス２５５５に対応する圧縮データ８２０を高速に取得することができる。
　本実施例のストレージ装置２００は、ファイルサイズ閾値以下のファイルサイズを有するファイルについてインライン型重複排除処理を実施し、ファイルサイズ閾値より大きいファイルサイズを有するファイルについてインライン型重複排除処理を実施しない。これにより、インライン型重複排除処理によるアクセス性能への影響を低減することができる。
　また、ストレージ装置２００は、予め設定されたファイル形式のファイルについてインライン型重複排除処理を実施しない。これにより、インライン型重複排除処理の効果が出やすいファイルのみについてインライン型重複排除処理を実施することができ、インライン型重複排除処理によるアクセス性能への影響を低減することができる。
　また、ストレージ装置２００は、ファイルの先頭から一定サイズのデータのハッシュをkeyとし、ファイルから一定サイズ毎に区切られたデータのハッシュをvalueとして、key-valueを用いてハッシュ比較を実施しても良い。これにより、データ比較の効率性と正確性を両立させることができる。
　また、本実施例によれば、ポストプロセス型重複排除処理の前にインライン型重複排除処理を行うことにより、高い実行効率と容量削減効率を低コストで実現することができる。また、バックアップの世代を重ねる度に、一時格納領域への書き込み量を削減することができる。
　また、抑止用閾値テーブル２５７０を設定することにより、インライン型重複排除処理とポストプロセス型重複排除処理の配分を変更することができ、ストレージシステム１０に対するユーザの要求の変化に適応させることができる。
　また、本実施例によれば、低コストだが性能オーバーヘッドのある仮想プール（Thin Provisioning、AST：Autonomic Storage Tieringなど）をストレージ装置１００、２００に適用することができ、容量設計及び容量構成管理のコストを削減することができる。
　なお、粗粒度重複排除処理において、ＦＰ値を算出する単位はチャンクでなくても良い。例えば、粗粒度重複排除制御部２４１０は、ファイルを複数の部分データに分割し、部分データのＦＰ値を算出する。この時、各部分データは、ファイルの先頭から所定サイズ毎の部分である。
　以上の実施例で説明された技術は、次のように表現することができる。
　（表現１）
　一時格納領域及び転送先格納領域を有する記憶デバイスと、
　前記記憶デバイスに接続されているコントローラと
　を備え、
　前記コントローラは、複数のファイルを受信し、所定条件下でインライン型重複排除処理を行うことにより前記複数のファイルの中から過去に受信されたファイルと重複するファイルを検出し、前記複数のファイルのうち前記検出されたファイル以外のファイルを前記一時格納領域へ保存し、前記保存されたファイルを複数のチャンクへ分割し、ポストプロセス型重複排除処理を行うことにより、前記複数のチャンクの中から過去に受信されたチャンクと重複するチャンクを検出し、前記複数のチャンクのうち前記検出されたチャンク以外のチャンクを前記転送先格納領域へ保存する、
　ストレージ装置。
　（表現２）
　複数のファイルを受信し、
　所定条件下でインライン型重複排除処理を行うことにより前記複数のファイルの中から過去に受信されたファイルと重複するファイルを検出し、前記複数のファイルのうち前記検出されたファイル以外のファイルを一時格納領域へ保存し、
　前記保存されたファイルを複数のチャンクへ分割し、
　ポストプロセス型重複排除処理を行うことにより、前記複数のチャンクの中から過去に受信されたチャンクと重複するチャンクを検出し、前記複数のチャンクのうち前記検出されたチャンク以外のチャンクを前記転送先格納領域へ保存する、
　ことを備えるストレージ制御方法。
　（表現３）
　複数のファイルを受信し、
　所定条件下でインライン型重複排除処理を行うことにより前記複数のファイルの中から過去に受信されたファイルと重複するファイルを検出し、前記複数のファイルのうち前記検出されたファイル以外のファイルを一時格納領域へ保存し、
　前記保存されたファイルを複数のチャンクへ分割し、
　ポストプロセス型重複排除処理を行うことにより、前記複数のチャンクの中から過去に受信されたチャンクと重複するチャンクを検出し、前記複数のチャンクのうち前記検出されたチャンク以外のチャンクを前記転送先格納領域へ保存する、
　ことをコンピュータに実行させるプログラムを格納するコンピュータ読み取り可能な媒体。
１０…ストレージシステム、　１００…ストレージ装置、　１２０…共用メモリ、　１３０…キャッシュメモリ、　１４０…データ転送部、　１５０…記憶デバイス、　１６０…通信インタフェース、　１７０…デバイスインタフェース、　１８０…コントローラ、　２００…ストレージ装置、　３００…バックアップサーバ、　４００…管理計算機、　２３００…ドライブ制御部、　２４１０…粗粒度重複排除制御部、　２４２０…細粒度重複排除制御部、　２４３０…スケジュール管理部、　２４４０…バックアップ制御部、　２４５０…リストア制御部、　２４６０…抑止用閾値制御部、　２５１０…メタ情報、　２５２０…ファイルポインタテーブル、　２５３０…粗粒度判定用ＦＰテーブル、　２５４０…チャンクポインタテーブル、　２５５０…細粒度重複排除管理テーブル、　２５６０…状態管理テーブル、　２５７０…抑止用閾値テーブル。

Claims (13)

  1. 　一時格納領域及び転送先格納領域を有する記憶デバイスと、
    　前記記憶デバイスに接続されているコントローラと
    　を備え、
    　前記コントローラは、複数のファイルを受信し、所定条件下でインライン型重複排除処理を行うことにより前記複数のファイルの中から過去に受信されたファイルと重複するファイルを検出し、前記複数のファイルのうち前記検出されたファイル以外のファイルを前記一時格納領域へ保存し、前記保存されたファイルを複数のチャンクへ分割し、ポストプロセス型重複排除処理を行うことにより、前記複数のチャンクの中から過去に受信されたチャンクと重複するチャンクを検出し、前記複数のチャンクのうち前記検出されたチャンク以外のチャンクを前記転送先格納領域へ保存する、
    　ストレージ装置。
  2. 　前記コントローラは、前記複数のファイルの中から、ファイルサイズ閾値を超えるファイルサイズを有するファイルを特定して前記一時格納領域へ保存し、前記インライン型重複排除処理により、前記複数のファイルのうち前記特定されたファイル以外のファイルの中から過去に受信されたファイルと重複するファイルを検出する、
    　請求項１に記載のストレージ装置。
  3. 　前記コントローラは、前記コントローラのＩ／Ｏ量に基づいて、前記ファイルサイズ閾値を変更する、
    　請求項２に記載のストレージ装置。
  4. 　前記コントローラは、前記複数のファイルの中から、予め設定されたファイル形式を有するファイルを特定して前記一時格納領域へ保存し、前記インライン型重複排除処理により、前記複数のファイルのうち前記特定されたファイル以外のファイルの中から過去に受信されたファイルと重複するファイルを検出する、
    　請求項１に記載のストレージ装置。
  5. 　前記コントローラは、前記複数のファイルの夫々のヘッダからファイル形式を検出することにより、前記複数のファイルの中から、予め設定されたファイル形式を有するファイルを特定する、
    　請求項４に記載のストレージ装置。
  6. 　前記コントローラは、前記コントローラのＩ／Ｏ量に基づいて、前記インライン型重複排除処理を行うか否かを判定する、
    　請求項１に記載のストレージ装置。
  7. 　前記コントローラは、前記コントローラのＩ／Ｏ量が予め設定された閾値を超える場合、前記インライン型重複排除処理を行わない、
    　請求項６に記載のストレージ装置。
  8. 　前記コントローラは、前記インライン型重複排除処理により第１ファイルを前記一時格納領域へ保存する場合、前記第１ファイルの先頭から所定サイズまでの部分データのハッシュ値に基づくkeyである第１keyを算出して、前記転送先格納領域へ保存し、
    　前記コントローラは、前記第１ファイルの後に前記第２ファイルを受信した場合、前記第２ファイルの先頭から前記所定サイズまでの部分データのハッシュ値に基づくkeyである第２keyを算出し、前記第１keyと前記第２keyとの比較に基づいて、前記第２ファイルが前記第１ファイルと重複するか否かを判定する、
    　請求項１に記載のストレージ装置。
  9. 　前記コントローラは、前記第１ファイルの前記所定サイズ毎の部分データのハッシュ値であるvalueを算出して第１valueとし、前記第１keyに対応付けて前記第１valueを前記転送先格納領域へ保存し、
    　前記コントローラは、前記第１keyが前記第２keyに一致する場合、前記第２ファイルの前記所定サイズ毎の部分データのハッシュ値であるvalueを算出して第２valueとし、前記第１valueと前記第２valueとを比較し、前記第１valueが前記第２valueに一致する場合、前記第２ファイルが前記第１ファイルと重複すると判定する、
    　請求項８に記載のストレージ装置。
  10. 　前記コントローラは、前記インライン型重複排除処理の対象のファイルの前記所定サイズ毎の部分データの数を算出し、前記対象のファイルの先頭から所定サイズまでの部分データのハッシュ値を算出し、前記算出された数と前記算出されたハッシュ値とを含むkeyを算出する、
    　請求項９に記載のストレージ装置。
  11. 　前記コントローラは、前記ポストプロセス型重複排除処理により第１チャンクを前記転送先格納領域へ保存する場合、前記第１チャンクのハッシュ値である第１ハッシュ値を算出して前記転送先格納領域へ保存し、
    　前記コントローラは、前記第１チャンクの後に前記第２チャンクを受信した場合、前記第２チャンクのハッシュ値である第２ハッシュ値を算出して前記第１ハッシュ値と比較し、前記第２ハッシュ値が前記第１ハッシュ値に一致する場合、前記第２チャンクが前記第１チャンクと重複すると判定する、
    　請求項１に記載のストレージ装置。
  12. 　前記コントローラは、前記第１ハッシュ値と前記転送先格納領域内の前記第１チャンクの位置とを対応付けて前記転送先格納領域へ保存する、
    　請求項１１に記載のストレージ装置。
  13. 　複数のファイルを受信し、
    　所定条件下でインライン型重複排除処理を行うことにより前記複数のファイルの中から過去に受信されたファイルと重複するファイルを検出し、前記複数のファイルのうち前記検出されたファイル以外のファイルを一時格納領域へ保存し、
    　前記保存されたファイルを複数のチャンクへ分割し、
    　ポストプロセス型重複排除処理を行うことにより、前記複数のチャンクの中から過去に受信されたチャンクと重複するチャンクを検出し、前記複数のチャンクのうち前記検出されたチャンク以外のチャンクを前記転送先格納領域へ保存する、
    　ことを備えるストレージ制御方法。
PCT/JP2012/060504 2012-04-18 2012-04-18 ストレージ装置及びストレージ制御方法 WO2013157103A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2012/060504 WO2013157103A1 (ja) 2012-04-18 2012-04-18 ストレージ装置及びストレージ制御方法
US13/516,961 US20130282672A1 (en) 2012-04-18 2012-04-18 Storage apparatus and storage control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/060504 WO2013157103A1 (ja) 2012-04-18 2012-04-18 ストレージ装置及びストレージ制御方法

Publications (1)

Publication Number Publication Date
WO2013157103A1 true WO2013157103A1 (ja) 2013-10-24

Family

ID=49381083

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/060504 WO2013157103A1 (ja) 2012-04-18 2012-04-18 ストレージ装置及びストレージ制御方法

Country Status (2)

Country Link
US (1) US20130282672A1 (ja)
WO (1) WO2013157103A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015068233A1 (ja) * 2013-11-07 2015-05-14 株式会社日立製作所 ストレージシステム
WO2015097757A1 (ja) * 2013-12-24 2015-07-02 株式会社日立製作所 ストレージシステム及び重複排除制御方法
WO2015125271A1 (ja) * 2014-02-21 2015-08-27 株式会社日立製作所 ファイルサーバ、その制御方法、およびストレージシステム
WO2016121024A1 (ja) * 2015-01-28 2016-08-04 富士通株式会社 通信方法、プログラム及び通信装置
US10387380B2 (en) 2016-11-21 2019-08-20 Fujitsu Limited Apparatus and method for information processing
JP2020135267A (ja) * 2019-02-18 2020-08-31 Ｎｅｃソリューションイノベータ株式会社 情報処理方法
JP2021170245A (ja) * 2020-04-16 2021-10-28 富士通株式会社 ストレージ制御装置、ストレージシステムおよびストレージ制御プログラム
US20220253222A1 (en) * 2019-11-01 2022-08-11 Huawei Technologies Co., Ltd. Data reduction method, apparatus, computing device, and storage medium
US20230418497A1 (en) * 2021-03-09 2023-12-28 Huawei Technologies Co., Ltd. Memory Controller and Method for Improved Deduplication

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9417891B2 (en) * 2012-06-11 2016-08-16 Vmware, Inc. Unified storage/VDI provisioning methodology
JPWO2014125582A1 (ja) * 2013-02-13 2017-02-02 株式会社日立製作所 ストレージ装置及びデータ管理方法
KR101505263B1 (ko) * 2013-03-07 2015-03-24 포항공과대학교 산학협력단 데이터 중복 제거 방법 및 장치
US10949382B2 (en) * 2014-01-15 2021-03-16 Commvault Systems, Inc. User-centric interfaces for information management systems
CN105630834B (zh) * 2014-11-07 2021-07-20 中兴通讯股份有限公司 一种实现重复数据删除的方法及装置
US9916320B2 (en) * 2015-04-26 2018-03-13 International Business Machines Corporation Compression-based filtering for deduplication
US10324914B2 (en) 2015-05-20 2019-06-18 Commvalut Systems, Inc. Handling user queries against production and archive storage systems, such as for enterprise customers having large and/or numerous files
US9665287B2 (en) * 2015-09-18 2017-05-30 Alibaba Group Holding Limited Data deduplication using a solid state drive controller
US10949308B2 (en) 2017-03-15 2021-03-16 Commvault Systems, Inc. Application aware backup of virtual machines
US11032350B2 (en) 2017-03-15 2021-06-08 Commvault Systems, Inc. Remote commands framework to control clients
US11010261B2 (en) 2017-03-31 2021-05-18 Commvault Systems, Inc. Dynamically allocating streams during restoration of data
US10860232B2 (en) * 2019-03-22 2020-12-08 Hewlett Packard Enterprise Development Lp Dynamic adjustment of fingerprints added to a fingerprint index
US12032537B2 (en) 2021-03-29 2024-07-09 Cohesity, Inc. Deduplicating metadata based on a common sequence of chunk identifiers
US11797220B2 (en) 2021-08-20 2023-10-24 Cohesity, Inc. Reducing memory usage in storing metadata
US11947497B2 (en) * 2021-08-24 2024-04-02 Cohesity, Inc. Partial in-line deduplication and partial post-processing deduplication of data chunks
CN114138198B (zh) * 2021-11-29 2024-05-28 苏州浪潮智能科技有限公司 一种数据重删的方法、装置、设备及可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007201861A (ja) * 2006-01-27 2007-08-09 Eastman Kodak Co ファイル管理方法
JP2009524882A (ja) * 2006-01-26 2009-07-02 ネットアップ，インコーポレイテッド 内容参照ストレージアレイ要素
WO2010100733A1 (ja) * 2009-03-05 2010-09-10 日立ソフトウエアエンジニアリング株式会社 統合重複排除システム、データ格納装置、及びサーバ装置
JP2010277374A (ja) * 2009-05-29 2010-12-09 Makoto Goto ファイル格納システム、サーバ装置及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007323218A (ja) * 2006-05-31 2007-12-13 Hitachi Ltd バックアップシステム
US20100088296A1 (en) * 2008-10-03 2010-04-08 Netapp, Inc. System and method for organizing data to facilitate data deduplication
WO2010045262A1 (en) * 2008-10-14 2010-04-22 Wanova Technologies, Ltd. Storage-network de-duplication
US20100257403A1 (en) * 2009-04-03 2010-10-07 Microsoft Corporation Restoration of a system from a set of full and partial delta system snapshots across a distributed system
US9239843B2 (en) * 2009-12-15 2016-01-19 Symantec Corporation Scalable de-duplication for storage systems
US8156306B1 (en) * 2009-12-18 2012-04-10 Emc Corporation Systems and methods for using thin provisioning to reclaim space identified by data reduction processes
US8250325B2 (en) * 2010-04-01 2012-08-21 Oracle International Corporation Data deduplication dictionary system
US8244992B2 (en) * 2010-05-24 2012-08-14 Spackman Stephen P Policy based data retrieval performance for deduplicated data
WO2012029258A1 (en) * 2010-08-31 2012-03-08 Nec Corporation Storage system
US8458145B2 (en) * 2011-01-20 2013-06-04 Infinidat Ltd. System and method of storage optimization
US8781800B2 (en) * 2011-11-01 2014-07-15 International Business Machines Corporation Data de-duplication in computer storage systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009524882A (ja) * 2006-01-26 2009-07-02 ネットアップ，インコーポレイテッド 内容参照ストレージアレイ要素
JP2007201861A (ja) * 2006-01-27 2007-08-09 Eastman Kodak Co ファイル管理方法
WO2010100733A1 (ja) * 2009-03-05 2010-09-10 日立ソフトウエアエンジニアリング株式会社 統合重複排除システム、データ格納装置、及びサーバ装置
JP2010277374A (ja) * 2009-05-29 2010-12-09 Makoto Goto ファイル格納システム、サーバ装置及びプログラム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015068233A1 (ja) * 2013-11-07 2015-05-14 株式会社日立製作所 ストレージシステム
US9720608B2 (en) 2013-11-07 2017-08-01 Hitachi, Ltd. Storage system
WO2015097757A1 (ja) * 2013-12-24 2015-07-02 株式会社日立製作所 ストレージシステム及び重複排除制御方法
WO2015125271A1 (ja) * 2014-02-21 2015-08-27 株式会社日立製作所 ファイルサーバ、その制御方法、およびストレージシステム
US9369527B2 (en) 2014-02-21 2016-06-14 Hitachi, Ltd. File server, file server control method, and storage system
WO2016121024A1 (ja) * 2015-01-28 2016-08-04 富士通株式会社 通信方法、プログラム及び通信装置
US10387380B2 (en) 2016-11-21 2019-08-20 Fujitsu Limited Apparatus and method for information processing
JP2020135267A (ja) * 2019-02-18 2020-08-31 Ｎｅｃソリューションイノベータ株式会社 情報処理方法
US20220253222A1 (en) * 2019-11-01 2022-08-11 Huawei Technologies Co., Ltd. Data reduction method, apparatus, computing device, and storage medium
US12079472B2 (en) * 2019-11-01 2024-09-03 Huawei Technologies Co., Ltd. Data reduction method, apparatus, computing device, and storage medium for forming index information based on fingerprints
JP2021170245A (ja) * 2020-04-16 2021-10-28 富士通株式会社 ストレージ制御装置、ストレージシステムおよびストレージ制御プログラム
JP7404988B2 (ja) 2020-04-16 2023-12-26 富士通株式会社 ストレージ制御装置、ストレージシステムおよびストレージ制御プログラム
US20230418497A1 (en) * 2021-03-09 2023-12-28 Huawei Technologies Co., Ltd. Memory Controller and Method for Improved Deduplication

Also Published As

Publication number Publication date
US20130282672A1 (en) 2013-10-24

Similar Documents

Publication Publication Date Title
WO2013157103A1 (ja) ストレージ装置及びストレージ制御方法
US10754550B2 (en) Optimized data placement for individual file accesses on deduplication-enabled sequential storage systems
JP5965541B2 (ja) ストレージ装置及びストレージ装置の制御方法
US8726070B2 (en) System and method for information handling system redundant storage rebuild
US8782005B2 (en) Pruning previously-allocated free blocks from a synthetic backup
US8965856B2 (en) Increase in deduplication efficiency for hierarchical storage system
JP5881859B2 (ja) ストレージ装置
US9740422B1 (en) Version-based deduplication of incremental forever type backup
US7681001B2 (en) Storage system
US20120137054A1 (en) Methods and systems for object level de-duplication for solid state devices
WO2014125582A1 (ja) ストレージ装置及びデータ管理方法
WO2014030252A1 (ja) ストレージ装置及びデータ管理方法
TW201619971A (zh) 耦合至主機dram之綠能與非固態硬碟（nand ssd）驅動器、gnsd應用程式及其操作方法和電腦系統主機、增加非揮發快閃記憶儲存器耐久性之方法
US9471245B1 (en) Method and apparatus for transferring modified data efficiently
CN103034592B (zh) 数据处理方法和装置
US9367256B2 (en) Storage system having defragmentation processing function
US10606499B2 (en) Computer system, storage apparatus, and method of managing data
KR101584760B1 (ko) 순서 모드 저널링 파일 시스템을 위한 블록 그룹 단위 저널링 방법 및 장치
US10613923B2 (en) Recovering log-structured filesystems from physical replicas
US10169161B2 (en) High speed backup
US10678431B1 (en) System and method for intelligent data movements between non-deduplicated and deduplicated tiers in a primary storage array
WO2015096847A1 (en) Method and apparatus for context aware based data de-duplication
US20170351608A1 (en) Host device
CN111338853B (zh) 一种基于Linux的数据实时存储系统及方法
US9032169B2 (en) Method for high performance dump data set creation

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 13516961

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12874387

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12874387

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP