JP4715774B2 - レプリケーション方法、レプリケーションシステム、ストレージ装置、プログラム - Google Patents

レプリケーション方法、レプリケーションシステム、ストレージ装置、プログラム Download PDF

Info

Publication number
JP4715774B2
JP4715774B2 JP2007052573A JP2007052573A JP4715774B2 JP 4715774 B2 JP4715774 B2 JP 4715774B2 JP 2007052573 A JP2007052573 A JP 2007052573A JP 2007052573 A JP2007052573 A JP 2007052573A JP 4715774 B2 JP4715774 B2 JP 4715774B2
Authority
JP
Japan
Prior art keywords
replication
file data
storage device
feature value
value information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007052573A
Other languages
English (en)
Other versions
JP2008217306A (ja
Inventor
秀明 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2007052573A priority Critical patent/JP4715774B2/ja
Publication of JP2008217306A publication Critical patent/JP2008217306A/ja
Application granted granted Critical
Publication of JP4715774B2 publication Critical patent/JP4715774B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、レプリケーション方法にかかり、特に、複数のストレージ装置が接続されており、マスター側ストレージ装置に記憶された所定のファイルデータを他のレプリカ側ストレージ装置に複製を行うレプリケーション方法に関する。
近年では、情報処理システムの普及により、種々の情報をデジタルデータにて保存・管理することが多く行われている。そして、重要なデータに関しては、災害対策のために、他のコンピュータにバックアップするといったレプリケーションが必須となっている。
通常、ファイルシステムのレプリケーションは、レプリケーション元のファイルシステムに行われた操作について、(1)更新情報を抽出し、(2)レプリケーション先に転送し、(3)レプリケーション先のファイルシステムに反映する、という手順にて実現される。そして、レプリケーション先へのデータの反映は、メタデータ(ファイルシステム構造)とファイルデータ(ファイルコンテンツ)について行う必要があるが、特にファイルデータ(ファイルコンテンツ)については更新情報が多くなるため、その抽出方法と反映タイミングがレプリケーションの性格をきめる重要な要素となっている。例えば、レプリケーションを行うシステムの一例が特許文献1に開示されている。
ここで、非同期方式のファイルシステム・レプリケーションとは、レプリケーション元のファイルシステムにおいて更新情報を蓄積し、レプリケーション先のファイルシステムに任意のタイミングで反映させる方式である。この場合、レプリケーション元ファイルシステムへの操作は即座に完了し、レプリケーション動作の完了を待ち合わせる事はない。
そして、非同期方式のレプリケーションでは、(1)データの更新情報を単純に全て蓄積し任意のタイミングで転送する方式、(2)冗長な更新情報をヒューリスティックやデータ構造の工夫により削減して転送する方式、(3)レプリケーション先ファイルシステムはレプリケーション元ファイルシステムにおけるデータに近似して十分に近いデータを持っていると仮定してレプリケーション先ファイルシステムのデータを活用するよう更新情報を抽出して転送する方式、さらには、(4)これらの組み合わせ方式、がある。
上記レプリケーション方式のうち、特に、(3)の方式については、操作反映時におけるレプリケーション先ファイルシステムの参照が更新情報の転送より十分に高速か、またはコストが低い場合、転送する更新情報を大幅に減らす事ができる有効な方法である。このように、転送する更新情報が減ると、非同期方式で一般的なネットワーク帯域が限られた環境では、効率の良いレプリケーションが可能となる。本方式の具体的な例として、Rsyncプロトコルをファイルデータの同期に用いたIntermezzoファイルシステムなどがある。
そして、上記Rsyncプロトコルでは、チェックサム計算によりレプリケーション元とレプリケーション先のファイルデータ差異を高速に算出し、差分データを転送することができる。このため、元となる更新情報は更新があったファイルのパス名だけであり、チェックサム結果もファイルデータ全体の数百分の1となっている。そして、レプリケーション元とレプリケーション先で共通のファイルデータについては、レプリケーション先のファイルシステムにあるデータが再利用される。
特開2005−301590号公報
しかしながら、上述したような従来のレプリケーションシステムでは、チェックサムの計算をファイルデータの同期のたびに行っており、同じ、もしくは僅かな差異しかないデータが何度も書き込まれた場合には、多くのチェックサム再計算とディスクアクセスが発生していた。このため、レプリケーション処理に時間がかかり、また、CPUやメモリBUS、HDDなどのハードウェアリソースは多く消費してしまう、という問題があった。かかる問題は、特に、ネットワーク共有を意識したアプリケーションが不慮のデータクラッシュに備えて、定期的(5〜10分おきなど)に元ファイルとほぼ同じ内容のテンポラリファイルを作成し、元ファイルをテンポラリファイルで置換する動作を行った場合に顕著となる。
このため、本発明では、上記従来例の有する不都合を改善し、特に、ハードウェアリソースの消費を抑制し、高速なレプリケーションを実現することができるシステムを提供することをその目的とする。
そこで、本発明の一形態は、
マスター側のストレージ装置に記憶されている所定のファイルデータをレプリカ側のストレージ装置に複製する複製工程を有するレプリケーション方法であって、
複製工程時に、マスター側ストレージ装置及びレプリカ側ストレージ装置が、複製対象ファイルデータを各ストレージ装置相互間で比較するために生成して使用した当該複製対象ファイルデータの特徴値情報をそれぞれ記憶保持する特徴値情報記憶工程を有し、
各ストレージ装置がそれぞれ記憶保持している特徴値情報を、後の複製工程時に、複製対象ファイルデータを比較するために使用する、
ことを特徴としている。
上記発明によると、まず、マスター側ストレージ装置に記憶されている複製対象ファイルデータが、レプリカ側ストレージ装置に複製される際には、複製対象ファイルデータの送受信時の誤り検出のためなどに使用されるチェックサムなどの特徴値情報が生成されるが、この特徴値情報が各ストレージ装置にそれぞれ記憶保持される。そして、その後にマスター側ストレージ装置からレプリカ側ストレージ装置に複製が行われる際には、既に記憶されている特徴値情報が、各ストレージ装置間でそれぞれファイルの内容等を比較するために使用される。従って、複製処理の都度、両ストレージ装置において各複製対象ファイルデータの特徴値情報を生成する必要が無く、処理負担が軽減され、レプリケーションの高速化を図ることができる。
また、複製工程は、マスター側ストレージ装置が、複製対象ファイルデータの特徴値情報をレプリカ側ストレージ装置に送信する複製対象通知工程を有し、
この複製対象通知工程は、マスター側ストレージ装置が複製対象ファイルデータの特徴値情報を記憶している場合にはその特徴値情報をレプリカ側ストレージ装置に送信し、記憶していない場合には特徴値情報を生成してレプリカ側ストレージ装置に送信する、
ことを特徴としている。
また、複製工程は、レプリカ側ストレージ装置が、複製対象通知工程にてマスター側ストレージ装置から送信された特徴値情報と自装置に記憶されている特徴値情報とに基づいて複製対象ファイルデータの複製処理を行うファイル複製工程を有する、
ことを特徴としている。
これにより、マスター側ストレージ装置及びレプリカ側ストレージ装置は、複製対象となったファイルデータの特徴値情報が既に記憶されている場合には、その記憶されている特徴値情報を使用して複製処理を行う。従って、新たに特徴値情報の再計算を行う必要がなく、処理負担の軽減、及び、処理の高速化を図ることできる。
また、ファイル複製工程は、レプリカ側ストレージ装置が、マスター側ストレージ装置から送信された特徴値情報に基づいて自装置に記憶されているファイルデータのうち複製対象ファイルデータに対応する候補ファイルデータを選択して、この選択された候補ファイルデータに基づいて複製対象ファイルデータの複製処理を行う、ことを特徴としている。
これにより、レプリカ側ストレージ装置は、受信した複製対象ファイルデータの特徴値情報から既に記憶されているファイルデータを候補ファイルデータとして選択し、この候補ファイルデータを利用して複製対象ファイルデータの複製処理を行う。従って、マスター側ストレージ装置から送信されるデータ容量の軽減を図ることができ、通信負荷を抑制し、処理の高速化を図ることができる。
また、ファイル複製工程は、レプリカ側ストレージ装置が、マスター側ストレージ装置から送信された特徴値情報と同一の特徴値情報を記憶している場合に、当該同一の特徴値情報に対応付けられた自装置に記憶されているファイルデータを前記複製対象ファイルデータとして複製処理を行う、ことを特徴としている。
そして、ファイル複製工程は、レプリカ側ストレージ装置が、マスター側ストレージ装置から送信された特徴値情報と同一の特徴値情報を記憶していない場合に、自装置に記憶されている選択された候補ファイルデータの特徴値情報に基づいて、マスター側ストレージ装置と交信して複製処理を行う、ことを特徴としている。
さらに、ファイル複製工程は、レプリカ側ストレージ装置が、候補ファイルデータの特徴値情報をマスター側ストレージ装置に送信し、マスター側ストレージ装置が、複製対象ファイルデータの特徴値情報とレプリカ側ストレージ装置から送信された候補ファイルデータの特徴値情報とに基づいて、複製対象ファイルデータと候補ファイルデータとの差分データを生成してレプリカ側ストレージ装置に送信し、レプリカ側ストレージ装置が、差分データを受信して当該差分データと候補ファイルデータとに基づいて複製対象ファイルデータの複製処理を行う、ことを特徴としている。
これにより、ファイル複製時には、マスター側ストレージ装置が、まず、複製対象となったファイルデータの特徴値情報を送信すると、レプリカ側ストレージ装置が同一の特徴値情報が記憶されているか否かを検索する。そして、レプリカ側ストレージ装置は、同一の特徴値情報が記憶されている場合には、対応するファイルデータを複製対象として認識し、当該ファイルデータをコピーすることで複製を実行する。一方、通知された特徴値情報が記憶されていない場合には、レプリカ側ストレージ装置は候補となるファイルデータを検索する。そして、この候補ファイルデータの特徴値情報をマスター側ストレージ装置に送信することで、マスター側ストレージ装置では複製対象ファイルデータと候補ファイルデータとの差分データが生成され、レプリカ側ストレージ装置に返送される。そして、レプリカ側ストレージ装置では、送信された差分データに基づいて複製対象ファイルデータの再現を行う。従って、各ストレージ装置間では、ファイルデータ自体よりも容量の少ない特徴値情報や差分データの送受信で済むため、データ転送量を削減でき、複製処理の高速化を図ることができる。
また、特徴値情報記憶工程は、レプリカ側ストレージ装置が、複製工程にて複製したファイルデータの特徴値情報を生成して当該特徴値情報を記憶保持する、ことを特徴としている。これにより、各ストレージ装置に記憶されているファイルデータの全ての特徴値情報が各装置内に記憶保持されるため、後の複製処理の高速化を図ることができる。
そして、上記各ストレージ装置に記憶される特徴値情報は、ファイルデータ自体の特徴を表すファイルチェックサムと、ファイルデータの内容の特徴を表すブロックチェックサムと、を含む、ことを特徴としている。
これにより、ファイルデータ自体を比較する場合にはファイルチェックサムを用い、ファイルデータの内容を比較する場合にはブロックチェックサムを用いることができるため、用途に応じてデータ転送量を最小限に抑制することができ、レプリケーションの高速化をはかることができる。
また、本発明の他の形態では、
少なくとも2台のストレージ装置が接続されて構成されており、マスター側のストレージ装置に記憶されている所定のファイルデータをレプリカ側のストレージ装置に複製する機能を有するレプリケーションシステムであって、
マスター側ストレージ装置及びレプリカ側ストレージ装置が、複製処理時に複製対象ファイルデータを各ストレージ装置相互間で比較するために生成して使用した当該複製対象ファイルデータの特徴値情報をそれぞれ記憶保持する特徴値情報記憶手段と、それぞれが記憶保持している特徴値情報を後の複製処理時に複製対象ファイルデータを比較するために使用して複製を行う複製処理手段と、をそれぞれ備えたことを特徴としている。
また、本発明の他の形態では、
少なくとも1台のレプリカ側ストレージ装置に接続され、自装置に記憶されている所定のファイルデータを前記レプリカ側ストレージ装置に複製する機能を有するマスター側ストレージ装置であって、
複製処理時に複製対象ファイルデータを各ストレージ装置相互間で比較するために生成して使用した当該複製対象ファイルデータの特徴値情報を記憶保持する特徴値情報記憶手段と、後の複製処理時に自装置内に記憶保持している特徴値情報を複製対象ファイルデータを比較するために使用して複製を行う複製処理手段と、を備えたことを特徴としている。
そして、複製処理手段は、複製対象ファイルデータの特徴値情報をレプリカ側ストレージ装置に送信する複製対象通知手段を有し、この複製対象通知手段は、複製対象となったファイルデータの特徴値情報を自装置内に記憶している場合にはその特徴値情報をレプリカ側ストレージ装置に送信し、記憶していない場合には特徴値情報を生成してレプリカ側ストレージ装置に送信する、ことを特徴としている。
また、複製処理手段は、複製対象通知手段にて通知した複製対象ファイルデータの特徴値情報に基づいてレプリカ側ストレージ装置に記憶されたファイルデータのうち当該レプリカ側ストレージ装置にて選択された候補ファイルデータの特徴値情報を受信して、この候補ファイルデータの特徴値情報と複製対象ファイルデータの特徴値情報とに基づいてこれらの差分データを生成してレプリカ側ストレージ装置に送信する、ことを特徴としている。
さらに、本発明の他の形態では、
マスター側ストレージ装置と接続され、当該マスター側ストレージ装置に記憶されている所定のファイルデータを自装置に複製する機能を有するレプリカ側ストレージ装置であって、
複製処理時に複製対象ファイルデータを各ストレージ装置相互間で比較するために生成して使用した当該複製対象ファイルデータの特徴値情報を記憶保持する特徴値情報記憶手段と、後の複製処理時に自装置内に記憶保持している特徴値情報を複製対象ファイルデータを比較するために使用して複製を行う複製処理手段と、を備えたことを特徴としている。
そして、複製処理手段は、マスター側ストレージ装置から送信された複製対象ファイルデータの特徴値情報と自装置に記憶されている特徴値情報とに基づいて複製対象ファイルデータの複製処理を行うファイル複製手段を備えた、ことを特徴としている。
さらに、ファイル複製手段は、マスター側ストレージ装置から送信された特徴値情報に基づいて自装置に記憶されているファイルデータのうち複製対象ファイルデータに対応する候補ファイルデータを選択して、この選択された候補ファイルデータに基づいて自装置に複製を行う、
ことを特徴としている。
また、ファイル複製手段は、マスター側ストレージ装置から送信された特徴値情報と同一の特徴値情報を記憶している場合に、当該同一の特徴値情報に対応付けられた自装置に記憶されているファイルデータを複製対象ファイルデータとして自装置に複製する、
ことを特徴としている。そして、さらに、ファイル複製手段は、マスター側ストレージ装置から送信された特徴値情報と同一の特徴値情報を記憶していない場合に、自装置に記憶されている選択された候補ファイルデータの特徴値情報に基づいて、マスター側ストレージ装置と交信して複製処理を行う、ことを特徴としている。
さらに、ファイル複製手段は、候補ファイルデータの特徴値情報をマスター側ストレージ装置に送信すると共に、これに応じて前記マスター側ストレージ装置にて生成され送信される前記複製対象ファイルデータと前記候補ファイルデータとの差分データを受信して当該差分データに基づいて複製対象ファイルデータの複製を行う、
ことを特徴としている。
また、本発明の他の形態であるプログラムは、
少なくとも1台のレプリカ側ストレージ装置に接続されたマスター側ストレージ装置に、自装置に記憶されている所定のファイルデータを前記レプリカ側ストレージ装置に複製する機能を実現させるためのプログラムであって、
複製処理時に複製対象ファイルデータを各ストレージ装置相互間で比較するために生成して使用した当該複製対象ファイルデータの特徴値情報を自装置に記憶保持する特徴値情報記憶処理手段と、後の複製処理時に自装置に記憶保持している特徴値情報を複製対象ファイルデータを比較するために使用して複製を行う複製処理手段と、を実現させる、ことを特徴としている。
さらに、本発明の他の形態であるプログラムは、
マスター側ストレージ装置と接続されたレプリカ側ストレージ装置に、マスター側ストレージ装置に記憶されている所定のファイルデータを自装置に複製する機能を実現させるためのプログラムであって、
複製処理時に複製対象ファイルデータを各ストレージ装置相互間で比較するために生成して使用した当該複製対象ファイルデータの特徴値情報を自装置に記憶保持する特徴値情報記憶処理手段と、後の複製処理時に自装置に記憶保持している特徴値情報を複製対象ファイルデータを比較するために使用して複製を行う複製処理手段と、を実現させる、ことを特徴としている。
上述した構成のレプリケーションシステム、ストレージ装置、プログラムの発明であっても、上記レプリケーション方法と同様に作用するため、上述した本発明の目的を達成することができる。
本発明は、以上のように構成され機能するので、これによると、レプリケーション時に一度作成されたファイルデータの特徴値情報がストレージ装置に記憶され、これが後のレプリケーション時に使用される。従って、レプリケーション処理の都度、両ストレージ装置において各複製対象ファイルデータの特徴値情報を生成する必要が無く、処理負担が軽減され、レプリケーションの高速化を図ることができる、という従来にない優れた効果を有する。
本発明では、複数のストレージ装置による非同期型のファイルシステム・レプリケーションにおいて、生成されたチェックサムなどのファイルデータの特徴値情報を記憶保持し、後のレプリケーション時に利用することに特徴を有する。これにより、同一もしくは類似のファイルデータを複数回レプリケーションする場合に、ファイルシステムのディレクトリ構造の変化や違いによらず高速かつ低コストにレプリケーションを実現することができる。以下、具体的な構成を、実施例を参照して説明する。
本発明の第1の実施例を、図1乃至図21を参照して説明する。図1乃至図2は、本実施例におけるレプリケーションシステム、つまり、レプリケーションを行うストレージ装置の構成を示すブロック図である。図3乃至図21は、レプリケーションの動作を示す説明図及びフローチャートである。
[構成]
図1に示すように、本実施例におけるレプリケーションシステムは、2台のストレージ装置1,2がネットワークNを介して接続されており、一方のストレージ装置1に記憶されているファイルデータを、他方のストレージ装置2に複製(レプリケーション)するよう構成されている。以下、符号1のストレージ装置1をマスター側ストレージ装置と呼び、他方のストレージ装置2をレプリカ側ストレージ装置と呼ぶ。なお、レプリケーションシステムには、さらに多くのレプリカ側ストレージ装置が接続されていて、マスター側ストレージ装置が複数のレプリカ側ストレージ装置に対してレプリケーションを行うよう構成されていてもよい。また、図1では、マスター側ストレージ装置1の構成を説明しているが、レプリカ側ストレージ装置2もほぼ同様の構成を採っているため、その図示は省略する。
図1に示すように、ストレージ装置1は、ハードディスクなどの記憶部1Aと、この記憶部1Aに対するデータの記録再生制御を行う制御部1Bと、を備えている。そして、制御部1Bには、レプリケーションを実現する機能が装備されているが、これについては後述する。
記憶部1Aには、メタデータ記憶部11が形成されており、ファイルシステムを利用するクライアント・アプリケーションにて提供されるファイルデータのアクセス情報(アクセスパスを構成するロケーション情報、ファイル作成日時、所有者、ACLなど)が記憶されている。そして、このメタデータ記憶部11に対応して制御部1Bにはメタデータ制御部14が構築されている。このメタデータ制御部14は、メタデータ記憶部11内のファイルデータのディレクトリ構造や名前を管理しており、後述するファイルデータと結びつけを行う。なお、マスター側ストレージ装置1とレプリカ側ストレージ装置2とでは、全く別のメタデータが管理されていてもよい。つまり、マスター側ストレージ装置1とレプリカ側ストレージ装置2とのメタデータは、通常、ファイルシステムのレプリケーション処理の一部で同期化されるが、本実施例によるファイルデータのレプリケーションは、メタデータの同期を前提とするものではない。
また、記憶部1Aには、上述したメタデータに関連付けられるファイルの内容自体であるファイルデータを記憶するファイルデータ記憶部12が形成されている。そして、このファイルデータ記憶部12に対応して制御部1Bにはファイルデータ制御部15が構築されており、メタデータ制御部14で指示されたファイルデータの内容を読み書きするよう制御している。
また、記憶部1Aには、上述したファイルデータをレプリケーションする際に、マスター側とレプリカ側の各ストレージ装置相互間で、複製するファイルデータを比較するためのチェックサムを記憶するキャッシュである検索テーブル13が形成されている。そして、この検索テーブル13に対応して、制御部1Bには検索テーブル制御部16が構築されている。この検索テーブル制御部16は、後述するように、各ファイルデータのチェックサムの計算結果をキャッシュして、そのファイルデータと結びつける処理を行う。また、後述するレプリケーション時には、メタデータ制御部14で指示されたファイルデータについて既に計算されたチェックサムがあるかを検索するよう作動する。なお、レプリケーションの初期段階では、チェックサムが未計算であるため検索テーブルには何もキャッシュされていなくてもよい。またキャッシュであるため、記憶容量の使用効率の都合で、使用したチェックサムデータは破棄されてもよい。
ここで、本実施例におけるチェックサムは、ファイルデータの特徴を表す値であって、ファイルデータ自体の特徴を表すファイル単位のファイルチェックサム、ファイルデータの内容の特徴を表すよう当該ファイルデータをブロックに分割して計算したブロック単位のブロックチェックサムなど、従来より用いられるチェックサムが用いられる。但し、チェックサムは、上記値のみに限定されず、ファイルデータの特徴を表す他の情報を含んでいてもよい。例えば、ファイルの類似性を表現する値(類似性ヒューリスティック値)を含んでいてもよく、上記メタデータに記憶されているようなファイルデータのアクセス情報(ローケーション情報など)を含んでいてもよい。これらの特徴値情報は、後述するように、レプリケーション実行時に使用され、特に、レプリカ側ストレージ装置2で複製対象ファイルデータに対応する候補ファイルデータを選択するときや、複製対象ファイルデータと候補ファイルデータとの差分を検出する際に使用される。
なお、上記では、マスター側ストレージ装置1の記憶部1A及び制御部1Bの構成として説明したが、同様の構成がレプリカ側ストレージ装置2にも備えられている。
そして、マスター側ストレージ装置1の制御部1B自体は、基本的に、上記記憶部1Aの動作を制御して、マスター側ストレージ装置1のファイルデータ記憶部12内に記憶されているファイルデータを、レプリカ側ストレージ装置2に複製するレプリケーション機能(複製処理手段)を有する。同様に、レプリカ側ストレージ装置2の制御部2Bは、マスター側ストレージ装置1に記憶されているファイルデータを自己の記憶部(図示せず)内に複製するレプリケーション機能(複製処理手段)を有する。以下、各ストレージ装置1,2の制御部1B,2Bが備えるレプリケーション機能についてさらに詳述する。
まず、マスター側ストレージ装置1では、複製対象となるファイルデータである複製対象ファイルデータの複製処理が開始されると、その複製対象ファイルデータを特定し、ファイル自体の特徴を表すファイルチェックサム(特徴値情報)を生成して、これをレプリカ側ストレージ装置2に送信する(複製対象通知手段)。このとき、生成され使用されたファイルチェックサムを、複製対象ファイルデータのファイルチェックサムとして、上述した検索テーブル13内に登録して記憶保持する(特徴値情報記憶手段)。なお、マスター側ストレージ装置1は、複製対象ファイルデータをレプリカ側ストレージ装置2に通知する際に、複製対象ファイルデータのファイルチェックサムが自装置内に記憶されているか否かをまず検索して、記憶されている場合には、そのファイルチェックサムをレプリカ側ストレージ装置2に送信して、レプリケーションに使用する。
さらに、マスター側ストレージ装置1は、複製処理時に、後述するように、レプリカ側ストレージ装置2から、複製対象ファイルデータに類似するファイルデータとして選択された候補ファイルデータの内容の特徴を表すブロックチェックサムが送信されるが、これに応じて、複製対象ファイルデータの内容の特徴を表すブロックチェックサムを生成し、その比較を行う。そして、各ブロックチェックサムの比較の結果、それらの差分データを検出して更新データを生成し、レプリカ側ストレージ装置2に送信する。なお、このときにも、レプリケーション処理に利用された複製対象ファイルデータのブロックチェックサムは、検索テーブル13に登録され、記憶保持される(特徴値情報記憶手段)。
また、レプリカ側ストレージ装置2では、まず、既に実行したマスター側ストレージ装置1とのレプリケーション処理にて使用されたファイルチェックサム、及び、ブロックチェックサムを、当該レプリカ側ストレージ装置の検索テーブル23に登録する(特徴値情報記憶手段)。そして、その後、レプリケーションが開始されると、上述したようにマスター側ストレージ装置1から送信された複製対象ファイルデータのファイルチェックサムを受信して、このファイルチェックサムに基づいてレプリケーション処理を実行する(ファイル複製手段)。
具体的には、受信したファイルチェックサムと同一のファイルチェックサムが検索テーブル23に存在するか否かを判断する。そして、同一のファイルチェックサムが登録されている場合には、そのファイルチェックサムに関連付けられているファイルデータが、複製対象ファイルデータと同一データであると判断され、ファイルデータ記憶部22内でその複製が行われる。また、ファイルチェックサムが記憶されていない場合には、このファイルチェックサム等に基づいて、複製対象ファイルデータに最も近似するファイルデータをファイルデータ記憶部22内から検索して、候補ファイルデータを選択する。このとき、マスター側ストレージ装置1からは、上記ファイルチェックサムと共に、例えば、複製対象ファイルデータのメタデータに含まれるアクセス情報(ロケーション情報やサイズ、ファイル作成日付、ファイル名など)などの情報といったファイル自体の特徴を表す情報が送信されており、かかる情報や、過去の選択結果における評価値(フィードバック)、ファイルシステムの負荷状況などにも基づいて、候補ファイルデータが選択されてもよい。例えば、ファイルチェックサムの値そのもの、ファイル名の類似性、ファイル作成日付の近似、などといったファイルの特徴値情報に基づいて、候補ファイルデータを選択する。
そして、選択された候補ファイルデータのブロックチェックサムが、レプリカ側ストレージ装置2の検索テーブル23に登録されていなければ新たに算出され、登録されていれば、そのブロックチェックサムをマスター側ストレージ装置1に送信する。なお、このとき、新たに算出されたブロックチェックサムは、検索テーブル23に登録され、後の使用に備えられる。すると、上述したように、マスター側ストレージ装置1から、複製対象ファイルデータとの差分を表す更新データが送信されるため、これを取得して、更新データ(差分データ)と候補ファイルデータとに基づいて、複製対象ファイルデータをレプリカ側ストレージ装置2内に再現する。このとき、復元されたファイルデータのブロックチェックサムを新たに生成して、検索テーブルに登録する(特徴値情報記憶手段)。
なお、上述した各ストレージ装置1,2の制御部1B,2Bにて実現されるレプリケーション機能は、当該制御部1B,2Bに所定のプログラムが組み込まれることによって実現される。但し、制御部1B,2Bによるレプリケーション機能は、上述したものに限定されず、後述する動作説明にて示す機能も有する。
また、各ストレージ装置1,2には、相互に通信するための通信部1Cが設けられており、具体的には、ある装置のファイルシステムが別装置のファイルシステムとInterconnectを通してデータを送受信する仕組みを備える。ただし、これらファイルシステムが物理的に同一装置に配置された場合、Interconnectを必要としない場合もある。
[動作]
次に、上記構成のレプリケーションシステムにおけるレプリケーション時の動作を、図2乃至図21を参照して説明する。なお、ファイルデータのレプリケーションは、検索、比較、再構成、終結の4フェーズに分けることができる。
まず、図2から図9を参照して、新規ファイルデータをレプリケーションする初回同期の動作について詳細に説明する。なお、図2乃至図8は、各ストレージ装置1,2におけるデータ処理の様子を示す説明図であり、図9は、各ストレージ装置1,2の動作を示すシーケンス図である。
図2において、マスター側ストレージ装置1と、レプリカ側ストレージ装置2と、はInterconnectを経由して接続されている。そして、それぞれのファイルシステムにあるファイルデータは未同期状態とする。
そして、マスター側ストレージ装置1に記憶されている複製対象となるファイルデータについて、レプリケーションの検索フェーズを開始する。はじめに、制御部1Bにてレプリケーション対象となるファイルを特定する。ここでは、図2に示す符号11aのメタデータに関連付けられた符号12aに示すファイルデータが、複製対象ファイルデータであることとする。
その後、検索テーブル13内にチェックサムが登録されているか探索するが、初回同期であるために登録されていない。そのため、ファイルデータ記憶部12から複製対象ファイルデータ12aを読み出し、そのファイルチェックサムの計算を行う(ステップS1、図3(1))。そして、計算されたファイルチェックサム13aを、検索テーブル13に登録し、記憶する(ステップS2、図3(2)、特徴値情報記憶工程)。その後、このファイルチェックサム13aを、通信部1Cからレプリカ側ストレージ装置2に送信する(ステップS3、図3(3))。
すると、レプリカ側ストレージ装置2では、マスター側ストレージ装置1から送信された複製対象ファイルデータ12aのファイルチェックサム13aを通信部2Cを介して受信し、検索テーブル23に既に登録されているファイルチェックサムであるか否かを探索する(ステップS4、図3(4))。探索の結果、初回同期であるため同じファイルチェックサムは登録されておらず、すでにレプリケーション済みのファイルデータがあると推定できない状態であると判断する。このとき、受信したファイルチェックサム13aは、図4の符号23aに示すように、検索テーブル23内に保持しておく。
続いて、レプリカ側ストレージ装置2では、上述した検索フェーズにて複製対象ファイルデータがレプリケーション済みのファイルデータはないと判断したため、比較フェーズにより差分データの特定処理を開始する。すると、レプリカ側ストレージ装置2では、受信したファイルチェックサム23aやこれと共に送信された複製対象ファイルデータのロケーション情報などを用いて、マスター側ストレージ装置1に記憶されている複製対象ファイルデータ12aと最も近いと思われるファイルデータを探索し、候補ファイルデータ22a’を選択する(ステップS5、図5(5))。そして、レプリカ側ストレージ装置2は、選択した候補ファイルデータ22a’のブロックチェックサム23b’を生成し(ステップS6、図4(6))、通信部2Cよりマスター側ストレージ装置2に送信する(ステップS7、図4(7))。
続いて、マスター側ストレージ装置1は、通信部1Cを介して候補ファイルデータ22a’のブロックチェックサム23b’を受信する。そして、複製対象ファイルデータ12aのブロックチェックサム13bを生成して(ステップS8、図5(8))、候補ファイルデータ22a’のブロックチェックサム23b’と、複製対象ファイルデータ12aのブロックファイルチェックサム13bとの比較を行う(ステップ9、図5(9))。この比較結果に基づいて、これら各ブロックファイルチェックサム23b’,13bとの差分データを含むブロックを特定する。そして、レプリカ側ストレージ装置2にて利用される更新データ13b’を生成して、レプリカ側ストレージ装置2に送信する(ステップS10、図5(10)。なお、ここでは、複製対象ファイルデータ12aのブロックチェックサム13bが、候補ファイルデータ22a’のブロックチェックサム23b’に一致したブロックに関しては、そのブロックを参照するリファレンス番号を更新データ13b’に含め、製対象ファイルデータ12aのブロックチェックサム13bが、候補ファイルデータ22a’のブロックチェックサム23b’に無い場合には、そのブロックデータそのものを更新データ13b’に含めて送信する。
続いて、比較フェーズにて差分データが特定され、更新データ13b’がレプリカ側ストレージ装置2に受信されると、再構成フェーズによりレプリカ側ストレージ装置2にて複製対象ファイルデータの再現が行われる。具体的には、更新データ13b’に含まれるリファレンス番号で参照されるブロックに関しては、候補ファイルデータ22a’から読み出し(図6(11))、これに更新データ13b’に含まれるブロックデータそのものを結合して(図6(12))、複製対象ファイルデータ12aと同一のファイルデータ22aを再現する(ステップS11)。このとき、マスター側ストレージ装置1から受信した更新データ13b’に含まれるブロックデータについてはブロックチェックサムを計算しておき、候補ファイルデータ22a’から計算したブロックチェックサムと合わせて、新たに生成した再現ファイルデータ22aそのもののブロックチェックサム23bを生成しておく(ステップS12、図6(13))。なお、このブロックチェックサム23bの生成は、後の終結フェーズで実行されてもよい。
続いて、上述したように、レプリカ側ストレージ装置2にて複製対象ファイルデータを再現した再現ファイルデータ22aを、レプリカ側ストレージ装置2内に登録する終結フェーズを開始する。まず、レプリカ側ストレージ装置2では、再現ファイルデータ22aを、ファイル記憶部22に候補ファイルデータ22a’と置き換えてして記憶する(ステップS13、図7(14))。そして、メタデータ記憶部21のメタデータ21aに再現ファイルデータ22aを関連付け、利用者からファイルシステムのデータとして参照可能にする(図7(15))。
また、上記再構成フェーズで生成された再現ファイルデータ22aのブロックチェックサム23bを、検索テーブル23に登録する(ステップS15、図8(16))。このとき、はじめに検索フェーズでマスター側ストレージ装置1から受信し保持していたファイルチェックサム23aも、再現ファイルデータ22aのファイルチェックサムとして検索テーブル23に登録する(ステップS14、図8(17))。さらに、マスター側ストレージ装置1では、任意のタイミングで、上記比較フェーズで生成された複製対象ファイルデータ12aのブロックチェックサム13bを検索テーブル13に記憶する(ステップS15、図7(18)、特徴値情報記憶工程)。
図9に、上述したように複製ファイルデータを初回同期したあとの完了状態を示す。この図に示すように、マスター側ストレージ装置1とレプリカ側ストレージ装置2の各検索テーブル13,23には、複製されたファイルデータ(複製対象ファイルデータ12a、及び、再現ファイルデータ22a)に関する、それぞれ同一内容のファイルチェックサム13a,23aおよびブロックチェックサム13b、23bが登録されている。そして、レプリカ側ストレージ装置2のファイルデータ記憶部22aには、レプリケーションされたファイルデータ22aが格納されており、そのファイルデータがメタデータ記憶部21aに登録され、利用者から参照可能となっている。
次に、図10乃至図13を参照して、上述したようにレプリケーションされたファイルデータ12aがマスター側ストレージ装置1内でコピーされ(ステップS21、図10(21))、その結果、コピーされたファイルデータ12bが複製対象となった場合の動作について詳細に説明する(複製工程)。つまり、以下では、コピーされたファイルデータ12bを複製対象ファイルデータ12bとして説明する。
まず、検索フェーズとして、上述同様に複製対象ファイルデータ12bのファイルチェックサムを生成し(ステップS22、図10(22))、検索テーブル13に登録されているかを探索する(ステップS23、図10(23))。このとき、検索テーブル13には、先ほど複製して同期したファイルデータ12aのチェックサム13aが登録されており、検索結果として得られる。従って、今後、この複製対象ファイル12bに対するブロックチェックサムが必要になった場合は、コピー元となったファイルデータ12aのブロックチェックサム13bを再利用できるように複製対象ファイル12bとコピー元ファイル12aを検索テーブル上、関連づけておく。
続いて、通信部1Cを介してファイルチェックサム13aをレプリカ側ストレージ装置2に送信する(ステップS24、図10(24)、複製対象通知工程)。すると、レプリカ側ストレージ装置2は、通信部2Cを介してファイルチェックサム13aを受信し、検索テーブル23内に受信したファイルチェックサム13aと同一のファイルチェックサム23aが存在するかを探索する(ステップS25)。ここでは、複製対象ファイルデータ12bのコピー元のファイルが、上述したように既にレプリケーションされているため、検索テーブル23に該当するファイルチェックサムを検出する(ステップS26)。このため、複製対象ファイルデータ12bに対応するファイルデータ22aが既にレプリカ側ストレージ装置2に存在すると判断できるため(図10(25))、初回同期の場合に行った比較フェーズは不要となる。
すると、ファイルチェックサム13a(23a)から既にレプリカ側ストレージ装置2に複製対象ファイルデータと同一データが存在すると判断できたため、再構成フェーズにてこのデータを用いた複製対象ファイルデータの再現をレプリカ側ストレージ装置2にて行う(ファイル複製工程)。具体的には、レプリカ側ストレージ装置2にて、ファイルデータ記憶部22に検索フェーズで得られた候補ファイルデータ22aをコピーする(ステップS27、図11(26))。そして、検索テーブル23のファイルチェックサム23aおよびブロックチェックサム23bの再利用ができるように符号22aに示すコピー元ファイルと、符号22bに示すコピー先ファイルを関連づけておく。
さらに、図12に示すように、終結フェーズとしてファイルデータ記憶部22bにコピーされたファイルデータ22bを、メタデータ記憶部21に登録し、利用者からアクセス可能とする(ステップS28、図12(27)、特徴値情報記憶工程)。
次に、図14乃至図21を参照して、上述したようにマスター側ストレージ装置1にてコピーされたファイルデータが、部分更新され上書き保存された結果(ステップS31)、再度、複製対象となった場合の動作について詳細に説明する。ここでは、図14のマスター側ストレージ装置1のファイルデータ記憶部12に記憶された符号12cに示すファイルデータが、複製対象ファイルデータとなる。
まず、検索フェーズとして、上述同様に、複製対象ファイルデータ12cのファイルチェックサム13cを生成し(ステップS32、図14(31))、検索テーブル制御部3に登録されているかを探索する(図14(32))。複製ファイルデータ12cは一部更新されているため、検索テーブルには登録済みのファイルチェックサムを発見できないため、上記図10の検索フェーズで関連づけた旧チェックサムとファイルデータの関係を一旦破棄し、検索テーブルに新しいファイルチェックサム13cとファイルデータ12cを関連づけて記憶する(ステップS33、図14(33)、特徴値情報記憶工程)。このとき、コピー元ファイルと旧チェックサムの関連づけは変化していないため変更する必要はない。
続いて、通信部1Cを介して計算されたファイルチェックサム13cをレプリカ側ストレージ装置2に送信する(ステップS34、図15(34)、複製対象通知工程)。すると、レプリカ側ストレージ装置2は、通信部2Cを介してマスター側ストレージ装置1から送信されたファイルチェックサム13cを受信する。そして、ファイル複製工程に進み、レプリカ側ストレージ装置2は、チェックサムの検索テーブルへの登録状況を探索する(ステップS35、図15(35))。しかし、複製対象ファイルデータ12cは更新されているので、記憶済みの同一のファイルチェックサムは発見できない。その結果、レプリカ側ストレージ装置2にレプリケーション済みのファイルデータが存在しているとは判断できない。
続いて、上述した検索フェーズで複製対象ファイルデータと同一のファイルデータはレプリカ側にないと判断したため、近似のファイルを選択し、比較フェーズにより差分データの特定処理を開始する。具体的には、レプリカ側ストレージ装置2にて、受信したファイルチェックサム13c(23c)や、同時に送信された複製対象ファイルデータ12cのロケーション情報などを用いて、マスター側の複製対象ファイルデータ12cと最も近いと思われるファイルデータを探索し、候補ファイルデータとして決定する(ステップS36)。ここでは、ファイル名の類似性から、上述した図12においてレプリケーションされた部分更新前のファイルデータ22bが候補ファイルデータとして選択されたとする(図16(36))。そして、候補ファイルデータ22bはレプリケーション済みであるため、そのブロックチェックサム23bは検索テーブル23に既に記憶されている(ステップS37、図16(37))。従って、レプリカ側ストレージ装置2は、検索テーブル23から得た記憶済みのブロックチェックサム23bを、マスター側ストレージ装置1に送信する(ステップS38、図16(38))。
続いて、マスター側ストレージ装置1は、通信部1Cを介して候補ファイルデータ22bのブロックチェックサム23bを受信し(図17(39))、複製対象ファイルデータ12cのブロックチェックサム13dを生成して(ステップS39、図17(40))、と比較を行う(ステップS40、図17(41))。この比較結果に基づいて、これら各ブロックファイルチェックサム13d,23bとの差分データを含むブロックを特定する。そして、レプリカ側ストレージ装置2にて利用される更新データ13d’を生成して、レプリカ側ストレージ装置2に送信する(ステップS41、図18(42)。なお、ここでは、複製対象ファイルデータ12cのブロックチェックサム13dが、候補ファイルデータ22bのブロックチェックサム23bに一致したブロックに関しては、そのブロックを参照するリファレンス番号を更新データ13d’に含め、複製対象ファイルデータ12cのブロックチェックサム13dが、候補ファイルデータ22bのブロックチェックサム23bに無い場合には、そのブロックデータそのものを更新データ13d’に含めて送信する。
続いて、比較フェーズにて差分データが特定され、更新データ13d’がレプリカ側ストレージ装置2に受信されると、再構成フェーズによりレプリカ側ストレージ装置2にて複製対象ファイルデータの再現が行われる。具体的には、更新データ13d’に含まれるリファレンス番号で参照されるブロックに関しては、候補ファイルデータ22bから読み出し(図18(43))、これに更新データ13d’に含まれるブロックデータそのものを結合して(図18(42))、複製対象ファイルデータ12cと同一のファイルデータ22cを再現する(ステップS42)。このとき、マスター側ストレージ装置1から受信した更新データ13d’に含まれるブロックデータについてはブロックチェックサムを計算しておき、候補ファイルデータ22bから計算したブロックチェックサムと合わせて、新たに生成した再現ファイルデータ22cそのもののブロックチェックサム23dを生成しておく(ステップS43、図18(44))。なお、このブロックチェックサム23dの生成は、後の終結フェーズで実行されてもよい。
続いて、レプリカ側ストレージ装置2にて複製対象ファイルデータを再現した再現ファイルデータ22cを、レプリカ側ストレージ装置2内に登録する終結フェーズを開始する。まず、レプリカ側ストレージ装置2では、再現ファイルデータ22cを、ファイル記憶部22に候補ファイルデータ22bと置き換えてして記憶する(ステップS44、図19(45))。そして、メタデータ記憶部21のメタデータ21bに再現ファイルデータ22cを関連付け、利用者からファイルシステムのデータとして参照可能にする(図19(46))。
また、上記再構成フェーズで生成された再現ファイルデータ22cのブロックチェックサム23dを、検索テーブル23に登録する(ステップS45、図20(47))。このとき、はじめに検索フェーズでマスター側ストレージ装置1から受信し保持していたファイルチェックサム23cも、再現ファイルデータ22cのファイルチェックサムとして検索テーブル23に登録する(ステップS45、図20(48))。さらに、マスター側ストレージ装置1では、任意のタイミングで、上記比較フェーズで生成された複製対象ファイルデータ12cのブロックチェックサム13dを検索テーブル13に記憶する(ステップS46、図20(49)、特徴値情報記憶工程)。
以上のように、上記構成のストレージ装置によるレプリケーションシステム、レプリケーション方法によると、ファイルデータのレプリケーションが実行されるたびに生成され使用されたチェックサムなどの特徴値データが各ストレージ装置に記憶保持されるため、これらを後のレプリケーション時に使用することができる。つまり、複製対象となるファイルデータが変更されていなければ、レプリケーション元とレプリケーション先でのファイル比較のためのチェックサムを再計算する必要はなく、また、ファイルのコピー・移動・リネームといった操作についても、操作元となったファイルのレプリケーションが既に済んでいれば、チェックサムの再計算は必要ない。そして、例えば、一般的なパーソナルコンピュータで用いられるアプリケーションに装備されているファイル自動セーブ機能とファイルシステム・レプリケーションを併用した場合に特に有効である。従って、複製処理の都度、両ストレージ装置においてチェックサムなどの特徴値情報を再計算して生成する必要が無く、処理負担が軽減され、レプリケーションの高速化を図ることができる。
また、上記ブロックチェックサムを用いて、複製対象ファイルデータと候補ファイルデータとの差分を抽出して、これをマスター側からレプリカ側に送信することで更新を実行しているため、データ転送量を削減でき、複製処理の高速化を図ることができる。
ここで、上記では、レプリケーションを行うストレージ装置が1対1の場合を例示したが、本発明の原理は、マスター側ストレージ装置が1台であるのに対してレプリカ側ストレージ装置が複数台接続されているような1:Nのレプリケーションにも利用可能である。つまり、マスター側ストレージ装置が1台のレプリカ側ストレージ装置にレプリケーションする際に一度計算したチェックサムを記憶しておくことで、このチェックサムを他のレプリカ側にレプリケーションを行う際に利用することができる。これにより、従来例の場合では、N台のレプリカ側ストレージ装置にレプリケーションする毎にチェックサム計算が必要となり、CPU時間やメモリ、ディスクI/O回数が増大するという問題があったが、本発明では、チェックサムを複数回冗長に計算する処理が不要となる。従って、大規模ファイルサーバにおける性能の向上を図ることができる。
本発明は、ビデオストリームなどのコンテンツ配信や、災害対策における遠隔地レプリケーション、バックアップや他業務利用を目的とする装置内データミラーリングといった機能を有するコンピュータ装置のストレージ装置に適用でき、産業上の利用可能性を有する。
ストレージ装置の構成を示す機能ブロック図である。 ストレージ装置のレプリケーション時におけるデータ処理の様子を示す説明図である。 ストレージ装置のレプリケーション時におけるデータ処理の様子を示す説明図であり、図2の続きを示す。 ストレージ装置のレプリケーション時におけるデータ処理の様子を示す説明図であり、図3の続きを示す。 ストレージ装置のレプリケーション時におけるデータ処理の様子を示す説明図であり、図4の続きを示す。 ストレージ装置のレプリケーション時におけるデータ処理の様子を示す説明図であり、図5の続きを示す。 ストレージ装置のレプリケーション時におけるデータ処理の様子を示す説明図であり、図6の続きを示す。 ストレージ装置のレプリケーション時におけるデータ処理の様子を示す説明図であり、図7の続きを示す。 ストレージ装置のレプリケーション時の動作を示すシーケンス図である。 ストレージ装置のレプリケーション時におけるデータ処理の様子を示す説明図である。 ストレージ装置のレプリケーション時におけるデータ処理の様子を示す説明図であり、図10の続きを示す。 ストレージ装置のレプリケーション時におけるデータ処理の様子を示す説明図であり、図11の続きを示す。 ストレージ装置のレプリケーション時の動作を示すシーケンス図である。 ストレージ装置のレプリケーション時におけるデータ処理の様子を示す説明図である。 ストレージ装置のレプリケーション時におけるデータ処理の様子を示す説明図であり、図14の続きを示す。 ストレージ装置のレプリケーション時におけるデータ処理の様子を示す説明図であり、図15の続きを示す。 ストレージ装置のレプリケーション時におけるデータ処理の様子を示す説明図であり、図16の続きを示す。 ストレージ装置のレプリケーション時におけるデータ処理の様子を示す説明図であり、図17の続きを示す。 ストレージ装置のレプリケーション時におけるデータ処理の様子を示す説明図であり、図18の続きを示す。 ストレージ装置のレプリケーション時におけるデータ処理の様子を示す説明図であり、図19の続きを示す。 ストレージ装置のレプリケーション時の動作を示すシーケンス図である。
符号の説明
1 マスター側ストレージ装置
2 レプリカ側ストレージ装置
11,21 メタデータ記憶部
12,22 ファイルデータ記憶部
13,23 検索テーブル記憶部
1A 記憶部
1B,2B 制御部

Claims (10)

  1. マスター側のストレージ装置に記憶されている所定のファイルデータをレプリカ側のストレージ装置に複製する複製工程を有するレプリケーション方法であって、
    前記複製工程時に、前記マスター側ストレージ装置及び前記レプリカ側ストレージ装置が、複製対象ファイルデータを各ストレージ装置相互間で比較するために生成して使用した当該複製対象ファイルデータの特徴値情報をそれぞれ記憶保持する特徴値情報記憶工程を有し、
    前記各ストレージ装置がそれぞれ記憶保持している前記特徴値情報を、後の複製工程時に、複製対象ファイルデータを比較するために使用し、
    前記複製工程は、前記マスター側ストレージ装置が、複製対象ファイルデータの特徴値情報を前記レプリカ側ストレージ装置に送信する複製対象通知工程を有し、
    この複製対象通知工程は、前記マスター側ストレージ装置が複製対象ファイルデータの特徴値情報を記憶している場合にはその特徴値情報を前記レプリカ側ストレージ装置に送信し、記憶していない場合には特徴値情報を生成して前記レプリカ側ストレージ装置に送信し、
    前記複製工程は、前記レプリカ側ストレージ装置が、前記複製対象通知工程にて前記マスター側ストレージ装置から送信された特徴値情報と同一の特徴値情報を記憶している場合に、当該同一の特徴値情報に対応付けられた前記レプリカ側ストレージ装置に記憶されているファイルデータを用いて複製対象ファイルデータの複製処理を行うファイル複製工程を有する、
    ことを特徴とするレプリケーション方法。
  2. 前記ファイル複製工程は、前記レプリカ側ストレージ装置が、前記マスター側ストレージ装置から送信された特徴値情報に基づいて前記レプリカ側ストレージ装置に記憶されているファイルデータのうち前記複製対象ファイルデータに対応する候補ファイルデータを選択すると共に、前記レプリカ側ストレージ装置が、前記マスター側ストレージ装置から送信された特徴値情報と同一の特徴値情報を記憶していない場合に、前記レプリカ側ストレージ装置に記憶されている前記選択された候補ファイルデータの特徴値情報に基づいて、前記マスター側ストレージ装置と交信して複製処理を行う、
    ことを特徴とする請求項記載のレプリケーション方法。
  3. 前記ファイル複製工程は、前記レプリカ側ストレージ装置が、前記候補ファイルデータの特徴値情報を前記マスター側ストレージ装置に送信し、前記マスター側ストレージ装置が、複製対象ファイルデータの特徴値情報と前記レプリカ側ストレージ装置から送信された前記候補ファイルデータの特徴値情報とに基づいて、前記複製対象ファイルデータと前記候補ファイルデータとの差分データを生成して前記レプリカ側ストレージ装置に送信し、前記レプリカ側ストレージ装置が、前記差分データを受信して当該差分データと前記候補ファイルデータとに基づいて複製対象ファイルデータの複製処理を行う、
    ことを特徴とする請求項記載のレプリケーション方法。
  4. 前記特徴値情報記憶工程は、前記レプリカ側ストレージ装置が、前記複製工程にて複製したファイルデータの特徴値情報を生成して当該特徴値情報を記憶保持する、
    ことを特徴とする請求項1,2又は3記載のレプリケーション方法。
  5. 前記各ストレージ装置に記憶される前記特徴値情報は、ファイルデータ自体の特徴を表すファイルチェックサムと、ファイルデータの内容の特徴を表すブロックチェックサムと、を含む、ことを特徴とする請求項1,2,3又は4記載のレプリケーション方法。
  6. 少なくとも2台のストレージ装置が接続されて構成されており、マスター側の前記ストレージ装置に記憶されている所定のファイルデータをレプリカ側の前記ストレージ装置に複製する機能を有するレプリケーションシステムであって、
    前記マスター側ストレージ装置及び前記レプリカ側ストレージ装置が、複製処理時に複製対象ファイルデータを各ストレージ装置相互間で比較するために生成して使用した当該複製対象ファイルデータの特徴値情報をそれぞれ記憶保持する特徴値情報記憶手段と、それぞれが記憶保持している前記特徴値情報を後の複製処理時に複製対象ファイルデータを比較するために使用して複製を行う複製処理手段と、をそれぞれ備えると共に、
    前記マスター側ストレージ装置の前記複製処理手段は、複製対象ファイルデータの特徴値情報を前記レプリカ側ストレージ装置に送信する複製対象通知手段を有し、この複製対象通知手段は、複製対象となったファイルデータの特徴値情報を前記マスター側ストレージ装置内に記憶している場合にはその特徴値情報を前記レプリカ側ストレージ装置に送信し、記憶していない場合には特徴値情報を生成して前記レプリカ側ストレージ装置に送信し、
    前記レプリカ側ストレージ装置の前記複製処理手段は、前記マスター側ストレージ装置から送信された前記複製対象ファイルデータの特徴値情報と同一の特徴値情報を前記レプリカ側ストレージ装置に記憶している場合に、当該同一の特徴値情報に対応付けられた前記レプリカ側ストレージ装置に記憶されているファイルデータを前記複製対象ファイルデータとして自装置に複製するファイル複製手段を備えた、
    ことを特徴とするレプリケーションシステム。
  7. マスター側ストレージ装置と接続され、当該マスター側ストレージ装置に記憶されている所定のファイルデータを自装置に複製する機能を有するレプリカ側ストレージ装置であって、
    複製処理時に複製対象ファイルデータを各ストレージ装置相互間で比較するために生成して使用した当該複製対象ファイルデータの特徴値情報を記憶保持する特徴値情報記憶手段と、後の複製処理時に自装置内に記憶保持している前記特徴値情報を複製対象ファイルデータを比較するために使用して複製を行う複製処理手段と、を備え、
    前記複製処理手段は、前記マスター側ストレージ装置から送信された前記複製対象ファイルデータの特徴値情報と同一の特徴値情報を自装置に記憶している場合に、当該同一の特徴値情報に対応付けられた自装置に記憶されているファイルデータを前記複製対象ファイルデータとして自装置に複製するファイル複製手段を備えた、
    ことを特徴とするレプリカ側ストレージ装置。
  8. 前記ファイル複製手段は、前記マスター側ストレージ装置から送信された特徴値情報に基づいて自装置に記憶されているファイルデータのうち前記複製対象ファイルデータに対応する候補ファイルデータを選択すると共に、前記マスター側ストレージ装置から送信された特徴値情報と同一の特徴値情報を自装置に記憶していない場合に、自装置に記憶されている前記選択された候補ファイルデータの特徴値情報に基づいて、前記マスター側ストレージ装置と交信して複製処理を行う、
    ことを特徴とする請求項記載のレプリカ側ストレージ装置。
  9. 前記ファイル複製手段は、前記候補ファイルデータの特徴値情報を前記マスター側ストレージ装置に送信すると共に、これに応じて前記マスター側ストレージ装置にて生成され送信される前記複製対象ファイルデータと前記候補ファイルデータとの差分データを受信して当該差分データに基づいて複製対象ファイルデータの複製を行う、
    ことを特徴とする請求項記載のレプリカ側ストレージ装置。
  10. マスター側ストレージ装置と接続されたレプリカ側ストレージ装置に、前記マスター側ストレージ装置に記憶されている所定のファイルデータを自装置に複製する機能を実現させるためのプログラムであって、
    複製処理時に複製対象ファイルデータを各ストレージ装置相互間で比較するために生成して使用した当該複製対象ファイルデータの特徴値情報を自装置に記憶保持する特徴値情報記憶処理手段と、後の複製処理時に自装置に記憶保持している前記特徴値情報を複製対象ファイルデータを比較するために使用して複製を行う複製処理手段と、を実現させると共に、
    前記複製処理手段に、前記マスター側ストレージ装置から送信された前記複製対象ファイルデータの特徴値情報と同一の特徴値情報を自装置に記憶している場合に、当該同一の特徴値情報に対応付けられた自装置に記憶されているファイルデータを前記複製対象ファイルデータとして自装置に複製するファイル複製手段を実現させる、
    ためのプログラム。
JP2007052573A 2007-03-02 2007-03-02 レプリケーション方法、レプリケーションシステム、ストレージ装置、プログラム Active JP4715774B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007052573A JP4715774B2 (ja) 2007-03-02 2007-03-02 レプリケーション方法、レプリケーションシステム、ストレージ装置、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007052573A JP4715774B2 (ja) 2007-03-02 2007-03-02 レプリケーション方法、レプリケーションシステム、ストレージ装置、プログラム

Publications (2)

Publication Number Publication Date
JP2008217306A JP2008217306A (ja) 2008-09-18
JP4715774B2 true JP4715774B2 (ja) 2011-07-06

Family

ID=39837290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007052573A Active JP4715774B2 (ja) 2007-03-02 2007-03-02 レプリケーション方法、レプリケーションシステム、ストレージ装置、プログラム

Country Status (1)

Country Link
JP (1) JP4715774B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7895573B1 (en) 2006-03-27 2011-02-22 Mcafee, Inc. Execution environment file inventory
US9424154B2 (en) 2007-01-10 2016-08-23 Mcafee, Inc. Method of and system for computer system state checks
US8332929B1 (en) 2007-01-10 2012-12-11 Mcafee, Inc. Method and apparatus for process enforced configuration management
JP5339432B2 (ja) 2009-02-25 2013-11-13 日本電気株式会社 ストレージシステム
US8938800B2 (en) 2010-07-28 2015-01-20 Mcafee, Inc. System and method for network level protection against malicious software
US8925101B2 (en) 2010-07-28 2014-12-30 Mcafee, Inc. System and method for local protection against malicious software
US9112830B2 (en) 2011-02-23 2015-08-18 Mcafee, Inc. System and method for interlocking a host and a gateway
US9594881B2 (en) 2011-09-09 2017-03-14 Mcafee, Inc. System and method for passive threat detection using virtual memory inspection
US8713668B2 (en) 2011-10-17 2014-04-29 Mcafee, Inc. System and method for redirected firewall discovery in a network environment
US8739272B1 (en) 2012-04-02 2014-05-27 Mcafee, Inc. System and method for interlocking a host and a gateway
US8973146B2 (en) 2012-12-27 2015-03-03 Mcafee, Inc. Herd based scan avoidance system in a network environment
WO2015060857A1 (en) 2013-10-24 2015-04-30 Mcafee, Inc. Agent assisted malicious application blocking in a network environment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200208A (ja) * 1999-01-06 2000-07-18 Fujitsu Ltd ファイルバックアップ方法,装置およびそのプログラム記録媒体
JP2004086721A (ja) * 2002-08-28 2004-03-18 Nec Corp データ複製システム、中継装置、データ送受信方法およびストレージ内のデータを複製するためのプログラム
JP2005173726A (ja) * 2003-12-08 2005-06-30 Nomura Research Institute Ltd 差分ファイル作成プログラム及び方法
JP2005316715A (ja) * 2004-04-28 2005-11-10 Fuji Xerox Co Ltd 文書管理システムおよび方法およびプログラム
JP2006134042A (ja) * 2004-11-05 2006-05-25 Canon Inc 画像処理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200208A (ja) * 1999-01-06 2000-07-18 Fujitsu Ltd ファイルバックアップ方法,装置およびそのプログラム記録媒体
JP2004086721A (ja) * 2002-08-28 2004-03-18 Nec Corp データ複製システム、中継装置、データ送受信方法およびストレージ内のデータを複製するためのプログラム
JP2005173726A (ja) * 2003-12-08 2005-06-30 Nomura Research Institute Ltd 差分ファイル作成プログラム及び方法
JP2005316715A (ja) * 2004-04-28 2005-11-10 Fuji Xerox Co Ltd 文書管理システムおよび方法およびプログラム
JP2006134042A (ja) * 2004-11-05 2006-05-25 Canon Inc 画像処理システム

Also Published As

Publication number Publication date
JP2008217306A (ja) 2008-09-18

Similar Documents

Publication Publication Date Title
JP4715774B2 (ja) レプリケーション方法、レプリケーションシステム、ストレージ装置、プログラム
KR100843652B1 (ko) 데이터 동기화 방법 및 시스템
JP6309103B2 (ja) スナップショットおよびクローンの複製
US8060714B1 (en) Initializing volumes in a replication system
US7779295B1 (en) Method and apparatus for creating and using persistent images of distributed shared memory segments and in-memory checkpoints
US8464101B1 (en) CAS command network replication
US7353335B2 (en) Storage control method for database recovery in logless mode
JP5559821B2 (ja) データを記憶する方法、データをミラーリングする方法、命令シーケンスを担持する機械読み取り可能な媒体、および、当該方法をコンピュータに実行させるためのプログラム
JP5178822B2 (ja) データベースマネジメントシステム(dbms)におけるデータ複製方法およびシステム
JP5339432B2 (ja) ストレージシステム
US20150213100A1 (en) Data synchronization method and system
US7685385B1 (en) System and method for satisfying I/O requests before a replica has been fully synchronized
US20060218203A1 (en) Replication system and method
US20150347250A1 (en) Database management system for providing partial re-synchronization and partial re-synchronization method of using the same
JP2009518747A (ja) リソースのフレッシュさおよび複製
JP2006023889A (ja) リモートコピーシステム及び記憶装置システム
JP5292351B2 (ja) メッセージキュー管理システム及びロックサーバ及びメッセージキュー管理方法及びメッセージキュー管理プログラム
JP5201133B2 (ja) 二重化システム、システム制御方法およびシステム制御プログラム
CN100409197C (zh) 用于通过块复制增加文件系统可用性的方法和目标服务器
US7730351B2 (en) Per file dirty region logging
JP6196389B2 (ja) 分散型ディザスタリカバリファイル同期サーバシステム
JP5292350B2 (ja) メッセージキュー管理システム及びロックサーバ及びメッセージキュー管理方法及びメッセージキュー管理プログラム
WO2019109256A1 (zh) 一种日志管理方法、服务器和数据库系统
JP2007293821A (ja) データベースシステム管理方法及びデータベースシステム
US8918364B1 (en) Online mirror state transitioning in databases

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20100610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101130

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110314

R150 Certificate of patent or registration of utility model

Ref document number: 4715774

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3