JP6520448B2 - 情報処理システム、情報処理装置及び情報処理装置制御方法 - Google Patents

情報処理システム、情報処理装置及び情報処理装置制御方法 Download PDF

Info

Publication number
JP6520448B2
JP6520448B2 JP2015123243A JP2015123243A JP6520448B2 JP 6520448 B2 JP6520448 B2 JP 6520448B2 JP 2015123243 A JP2015123243 A JP 2015123243A JP 2015123243 A JP2015123243 A JP 2015123243A JP 6520448 B2 JP6520448 B2 JP 6520448B2
Authority
JP
Japan
Prior art keywords
synchronization
data
metadata
storage unit
management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015123243A
Other languages
English (en)
Other versions
JP2017010172A (ja
Inventor
増田 浩二
浩二 増田
明雅 吉田
明雅 吉田
一範 小橋
一範 小橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015123243A priority Critical patent/JP6520448B2/ja
Priority to US15/133,253 priority patent/US10445189B2/en
Publication of JP2017010172A publication Critical patent/JP2017010172A/ja
Application granted granted Critical
Publication of JP6520448B2 publication Critical patent/JP6520448B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • G06F11/1451Management of the data involved in backup or backup restore by selection of backup contents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1464Management of the backup or restore process for networked environments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094Redundant storage or storage space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2097Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements maintaining the standby controller/processing unit updated
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/119Details of migration of file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/214Database migration support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/955Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0619Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647Migration mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065Replication mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0689Disk arrays, e.g. RAID, JBOD
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80Database-specific techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/835Timestamp

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、情報処理システム、情報処理装置及び情報処理装置制御方法に関する。
近年、クラウドコンピューティングの普及により、各企業はサーバやストレージなどのリソースを所有するのではなく、クラウドサービス事業者が提供するデータセンタのリソースを利用するという企業形態が増えてきている。また、データセンタの形態としては、1つの国の国内だけに留まるのではなく、複数の国に跨って配置されるケースも増加している。
そして、データセンタには、地理的及び物理的な制約を受けることなく、ワンストップで各種サービスを提供する機能を有するアウトソーシングサービス(以下では、「ワンストップサービス」という。)の実現が望まれている。ここで、ワンストップとは、1つの場所でさまざまなサービスが受けられる状態を指す。ワンストップサービスの実現には、例えば、サービスマネジメント、運用、サービスプラットフォーム、ファシリティ及びネットワークなどが統一されたコンセプトと標準化されたサービスマネジメントを基にしたシステムが考えられる。
また、ワンストップサービスでは、複数の国又は地域に分散するシステムを効率的に運用及び管理することが望まれる。そのような構成をとる場合、データセンタが稼働している国の治安悪化などが発生した場合にも、データセンタの運用レベルが下がらないような仕組みを構築することが好ましい。
データセンタによるアウトソーシングサービスとして、例えば、複数のデータセンタがあり、アウトソーシングサービス提供者は顧客の利用形態に応じてサービスを稼働させるデータセンタを決定するシステムがある。顧客は、単にデータセンタから提供されるサービスを利用すればよく、サービスを提供する仮想マシンがどのデータセンタで稼働しているかを意識しなくてよい。
さらに、各データセンタでは、効率の良いサービス提供のために、各仮想マシンの状態を監視し、顧客の性質や用途、又は、データセンタの稼働状況に応じて適切なデータセンタにサービスを移行させる場合がある。1つには、顧客都合によるデータセンタの移行がある。例えば、顧客の主要通信経路に変化があり、回線経路を見直す場合、通信経路の都合上、回線速度が有利なデータセンタにサービスを移行することが考えられる。また、他の状況としては、提供者都合によるデータセンタの移行がある。例えば、データセンタの新設や、トラブルなどにより、サービスを提供するデータセンタを見直す場合、顧客への提供サービスレベルを下げないように配慮しつつ、新設データセンタや他のデータセンタへサービスを移行することが考えられる。以下では、あるデータセンタから他のデータセンタにサービスを移行することを「マイグレーション」と呼ぶ。そして、いずれの場合にも、マイグレーション先のデータセンタへのデータの移設及びサービスの切り替えは、柔軟かつ高速に行うことが重要といえる。
ここで、ワンストップサービスでは複数のデータセンタが存在する場合があるが、その場合、サービス提供者は、顧客の要望を満たすために、提供するサービスを適切なデータセンタに配置し、状況に応じて柔軟に変更することが好ましい。
そこで、あるデータセンタが提供するサービスのデータを他のデータセンタにバックアップとして確保し、実際にマイグレーションを行う場合に、そのバックアップデータを用いることで、他のデータセンタにサービスを移行する方法が考えられる。そして、データセンタ間でデータのバックアップを行う手法として、ある程度の時間おきにデータのコピーを取得する通常のバックアップと、別のディスクに対し同じデータ内容をコピーする方式がある。以下では、後者の手法をミラーリングと呼ぶ。ミラーリングには、元のデータ内容と常に同じ内容となるように、元のデータとミラーリング先のデータ両方が更新完了するまでデータ更新を有効としない完全同期ミラーと、ミラーリング先の更新完了を待たずにデータ更新を有効とする非同期ミラーがある。
ここで、データのバックアップの技術として、バックアップの基準時点でメタデータを書き込み、次の基準時点までに書き込みが発生した場合にメタデータの後ろに時系列に書き込む従来技術がある。また、データの種類を表す識別子をバックアップ対象のメタデータとファイルに設定し、その識別子に応じてバックアップ先サーバを決定してファイルを送信する従来技術がある。
特開2010−49488号公報 特開2005−92282号公報
しかしながら、通常のバックアップの場合、バックアップ採取に一定の間隔がある。そのため、データ更新性能に与える影響は少ないが、採取からの時間差によって運用データの差分が生じてしまう。また、同期ミラーでは、データの完全性は保証されるが、データ更新コストが高く、システムの応答性能の低下を招きやすい。また、非同期ミラーでは、データの応答性能への影響は低くなるが、データの完全性を保証することは困難である。このように、バックアップ元とバックアップ先との間のデータ同期のタイミングと、バックアップに必要なコストはトレードオフの関係にある。そこで、柔軟なマイグレーションの実現に向けて、コストを下げつつデータの完全性を保証するためにバックアップを高速で実行することが好ましい。
ただし、高速なバックアップを実現したとしても、バックアップ先が1つでは、マイグレーション先の選択肢が狭まってしまう。そこで、バックアップを複数個所に行うことが考えられるが、バックアップ先の増加に応じてバックアップのコストが上昇してしまう。
また、基準時点で書き込んだメタデータの後ろに時系列にデータを書き込む従来技術を用いても、バックアップ元は運用データであるため、複数個所にバックアップを行う場合、サービス提供中のデータセンタの負荷が増加しコストを抑えることは困難である。また、データの種類を表す識別子を用いてバックアップ先を決定する従来技術を用いても、バックアップ元は運用データであり、複数個所にバックアップを行う場合、サービス提供中のデータセンタの負荷が増加しコストを抑えることは困難である。
開示の技術は、上記に鑑みてなされたものであって、低コストで柔軟なマイグレーションを実現する情報処理システム、情報処理装置及び情報処理装置制御方法を提供することを目的とする。
本願の開示する情報処理システム、情報処理装置及び情報処理装置制御方法は、一つの態様において、第1情報処理装置、第2情報処理装置及び運用管理装置を有する。前記第1情報処理装置は、更新日時を含む管理データ及び前記管理データに対応する実データを有する運用データを記憶する第1記憶部を備える。前記第2情報処理装置は、第2記憶部と、前記管理データを前記第1記憶部から第1頻度で取得し、前記第2記憶部に記憶させる第1管理データ取得部と、前記第1管理データ取得部による前記管理データの更新履歴を基に、前記第2記憶部に記憶された前記実データの最終取得日時以降に更新された前記管理データを特定し、特定した前記管理データに対応する前記実データを、前記第1記憶部から前記第1頻度より低い第2頻度で取得し、前記第2記憶部に記憶させる第1実データ取得部とを備える。前記運用管理装置は、前記第1記憶部に記憶された前記運用データを用いて実行される読出書込処理を、前記第2記憶部に記憶された前記管理データ及び前記実データを用いて実行されるように切り替える切替部を備える。
本願の開示する情報処理システム、情報処理装置及び情報処理装置制御方法の一つの態様によれば、低コストで柔軟なマイグレーションを実現することができるという効果を奏する。
図1は、実施例に係る情報処理システムの概略を示す構成図である。 図2は、運用ストレージ装置のブロック図である。 図3は、待機ストレージ装置のブロック図である。 図4は、メタデータ更新リスト及びメタデータ更新差分のデータ格納状態を説明するための図である。 図5Aは、運用側同期制御情報の概略図である。 図5Bは、バックアップ側同期制御情報の概略図である。 図6は、運用管理サーバのブロック図である。 図7は、優先度管理表の一例を示す図である。 図8は、ポリシー定義表の一例を示す図である。 図9は、初期同期時の運用管理サーバの処理のシーケンス図である。 図10は、初期同期時の運用ストレージ装置及び待機ストレージ装置の処理のシーケンス図である。 図11は、I/O処理発生時の運用ストレージ装置及び待機ストレージ装置の処理のシーケンス図である。 図12は、定期同期時の運用ストレージ装置及び待機ストレージ装置の処理のシーケンス図である。 図13は、定期同期時の待機ストレージ装置同士の処理のシーケンス図である。 図14は、マイグレーション実行時の運用管理サーバの処理のシーケンス図である。 図15は、マイグレーション実行時の運用ストレージ装置及び待機ストレージ装置の処理のシーケンス図である。
以下に、本願の開示する情報処理システム、情報処理装置及び情報処理装置制御方法の実施例を図面に基づいて詳細に説明する。なお、以下の実施例により本願の開示する情報処理システム、情報処理装置及び情報処理装置制御方法が限定されるものではない。
図1は、実施例に係る情報処理システムの概略を示す構成図である。図1に示すように、本実施例に係る情報処理システムは、データセンタ10及び20、顧客サイト30及び運用管理サイト40を有する。データセンタ10及び20は、それぞれデータベースなどの複数のサービスを提供している。以下では、データセンタ10及び20が提供するサービスの中の、所定のサービスの提供に関する処理について説明する。
データセンタ10は、顧客サイトに対して所定のサービスを提供する側のデータセンタである。以下では、所定のサービスを提供する側のデータセンタを「運用側データセンタ」という。また、データセンタ20は、所定のサービスの提供は行わず、所定のサービスを提供するためのデータのバックアップを保持する。そして、データセンタ20は、データセンタ10の所定のサービスの提供を止める場合に、所定のサービスの提供をデータセンタ10に変わって提供するサービス提供の切替先の候補となるデータセンタとなる。以下では、バックアップを保持しサービス提供の切り替え先の候補となるデータセンタを、「待機側データセンタ」という。ただし、ここでは、所定のサービスについて着目したために、データセンタ10及び20の役割は上述のようになっているが、他のサービスについては、役割が逆になる場合もある。また、図1では、2つのデータセンタ10及び20のみ記載したが、データセンタは他にもあってもよい。
データセンタ10は、スイッチ11、物理サーバ12、スイッチ14及びストレージ装置100を有する。
スイッチ11は、物理サーバ12と外部の装置との通信を中継するスイッチである。このように、物理サーバ12はスイッチ11を介して他の装置との通信を行うが、以下では説明の都合上、スイッチ11を省略して物理サーバ12が直接他の装置と通信を行うように説明する場合がある。
物理サーバ12は、CPU及びメモリなどを有するコンピュータである。物理サーバ12では、複数の仮想マシン(VM:Virtual Machine)13が稼働している。ここで、仮想マシン13の数には特に制限はなく、1つでも複数でもよい。そして、本実施例では、仮想マシン13がそれぞれサービスを顧客サイト30に対して提供する。すなわち、顧客端末31から見た場合、物理サーバ12ではなく、仮想マシン13と通信を行っているように見える。このように実際には物理サーバ12が通信や処理を行うが、仮想的に仮想マシン13が処理を行っているといえるので、以下では、仮想マシン13が通信や処理を行っているように説明する場合がある。
スイッチ14は、物理サーバ12同士、並びに、物理サーバ12、ストレージ装置100及び運用管理サーバ41との間の通信を仲介するスイッチである。以下の説明では、このスイッチ14の通信の仲介も省略して説明する場合がある。
ストレージ装置100は、図示しないが、CPU(Central Processing Unit)、メモリ及びハードディスクを有する。ハードディスクには、以下に説明する機能を実現するためのプログラムを含む各種プログラムが格納される。そして、CPUは、ハードディスクに格納された各種プログラムを読み出してメモリ上に展開し実行することで、以下に説明する機能を実現する。
ストレージ装置100は、ハードディスクで実現されるデータ記憶部101を有する。このデータ記憶部101が、「第1記憶部」の一例にあたる。データ記憶部101は、メタデータ111及びファイルデータ112を保持する。メタデータ111及びファイルデータ112は、所定のサービスを提供するためのデータである。具体的には、ファイルデータ112は、データの内容そのものである。このファイルデータ112が、「実データ」の一例にあたる。メタデータ111は、ファイルデータ112の配置場所、所有者、最終更新日時などのデータ管理のための補足情報を保持する。このメタデータ111が、「管理データ」の一例にあたる。すなわち、ストレージ装置100が保持するメタデータ111及びファイルデータ112は、仮想マシン13による顧客端末31へのサービス提供に用いられるデータである。以下では、所定のサービスを提供する側のストレージ装置を「運用ストレージ装置」という。
さらに、ストレージ装置100は、バックアップ及びマイグレーションの制御に用いる情報である、メタデータ更新リスト105、メタデータ更新差分106、運用側同期制御情報107をハードディスク内に有する。メタデータ更新リスト105、メタデータ更新差分106、運用側同期制御情報107については、後で詳細に説明する。
また、ストレージ装置100では、CPUがプログラムを実行することによって実現されるマネージャ102、エージェント103、同期エージェント104が稼働する。マネージャ102は、ストレージ装置100が有するハードディスクに対してRAID(Redundant Arrays of Inexpensive Disks)の設定などのストレージ装置100が動作するための環境の構築や管理を行う。
また、エージェント103は、ストレージ装置100におけるデータの読み出し及び書き込みの処理の制御を行う。また、同期エージェント104は、ストレージ装置200がバックアップを行う際に運用ストレージ装置側の処理を行う。同期エージェント104については後で詳細に説明する。ここで、同期とは、データを一致させる処理であり、バックアップと同意である。そこで、以下では、同期とバックアップとを同じ意味として用いる。
データセンタ20は、スイッチ21、物理サーバ22、スイッチ24及びストレージ装置200を有する。スイッチ21、物理サーバ22及びスイッチ24は、データセンタ10のスイッチ11、物理サーバ12及びスイッチ14と同様の機能を有する。また、物理サーバ12で稼働する仮想マシン23も、データセンタ10の仮想マシン13と同様の機能を有する。ただし、仮想マシン23は、所定のサービスの顧客端末30への提供は行っていない。
ストレージ装置200も、図示しないが、CPU、メモリ及びハードディスクを有する。ハードディスクには、以下に説明する機能を実現するためのプログラムを含む各種プログラムが格納される。そして、CPUは、ハードディスクに格納された各種プログラムを読み出してメモリ上に展開し実行することで、以下に説明する機能を実現する。
ストレージ装置200は、ハードディスクで実現されるデータ記憶部201を有する。このデータ記憶部201が、「第2記憶部」の一例にあたる。データ記憶部201は、メタデータ211及びファイルデータ212を保持する。メタデータ211は、メタデータ111のバックアップのデータである。また、ファイルデータ212は、ファイルデータ112のバックアップのデータである。バックアップの取り方については後で詳細に説明する。所定のサービスを提供するためのバックアップデータを保持するストレージ装置を以下では、「待機ストレージ装置」という。
また、ストレージ装置200は、バックアップ及びマイグレーションの制御に用いる情報である、メタデータ更新差分206及びバックアップ側同期制御情報207をハードディスク内に有する。メタデータ更新差分206及びバックアップ側同期制御情報207についても後で詳細に説明する。
さらに、ストレージ装置200は、CPUがプログラムを実行することによって実現されるマネージャ202、エージェント203及び同期エージェント204が動作する。マネージャ202及びエージェント203は、ストレージ装置100のマネージャ102及びエージェント103と同様の機能を有する。
同期エージェント204は、ストレージ装置200がバックアップを行う際に待機ストレージ側の処理を行う。同期エージェント204については後で詳細に説明する。
また、システム運用開始時など、運用ストレージ装置(例えば、ストレージ装置100)及び待機ストレージ装置(例えば、ストレージ装置200)の間でデータの同期が取られていない場合、ストレージ装置100及び200の間で初期同期が実行される。その後、ストレージ装置100及び200において、メタデータ111及びファイルデータ112の内容を同期するための定期同期処理が実行される。さらに、ストレージ装置100からストレージ装置200に所定のサービスの提供元を切り替える場合、マイグレーション処理が実行される。
運用管理サイト40は、管理端末44及び運用管理サーバ41を有する。運用管理サーバ41と管理端末44とは、データの送受信が行えるように接続される。
管理端末44は、データセンタ10及び20の管理者の運用管理サーバ41に対するインタフェースである。管理端末44は、データセンタ10及び20の管理を行うための情報の入力を管理者から受けて、運用管理サーバ41へ出力する。また、管理端末44は、データセンタ10及び20に対する制御の結果などの情報の入力を運用管理サーバ41から受ける。
運用管理サーバ41は、図示しないがCPU、メモリ及びハードディスクを有する。ハードディスクには、以下に説明する各機能を実現するプログラムを含む各種プログラムが格納されている。そして、CPUは、ハードディスクに格納された各種プログラムを読み出してメモリ上に展開し実行することで、以下に説明する機能を実現する。運用管理サーバ41は、管理端末44から入力された情報を用いて、データセンタ10及び20の運用及び管理を行う。
具体的には、運用管理サーバ41は、管理マネージャ42及び同期情報記憶部43を有する。同期情報記憶部43は、ストレージ装置100及び200間でのバックアップに使用する各種情報を保持する。管理マネージャ42は、同期情報記憶部43に格納された情報を用いて、ストレージ装置100及び200間でのバックアップの統括的な管理を行う。
顧客サイト30は、コンピュータである顧客端末31を有する。顧客は、顧客端末31を用いることで、業務サーバとしての仮想マシン13に接続し所定のサービスの提供を受ける。顧客端末31は、顧客から入力された情報を仮想マシン13へ出力する。また、顧客端末31は、仮想マシン13から入力された情報をモニタに表示するなどして顧客へ提供する。
次に、図2及び3を参照して、ストレージ装置100及び200のI/O処理、バックアップ処理及びマイグレーション処理に係る機能について説明する。図2は、運用ストレージ装置のブロック図である。また、図3は、待機ストレージ装置のブロック図である。ここで、図1で示したマネージャ102及び202は、ここでの説明に用いないので図2及び3では省略している。
データ記憶部101は、メタデータ111及びファイルデータ112を保持する記憶装置である。また、メタデータ更新リスト105、メタデータ更新差分106及び運用側同期制御情報107は、同期情報記憶部120に格納される。同期情報記憶部120は、ハードディスクで実現される。ここで、データ記憶部101と同期情報記憶部120とは同じハードディスクに格納されてもよいし、異なるハードディスクに格納されてもよい。
メタデータ更新リスト105は、業務サーバである仮想マシン13からの指示により運用上でメタデータ111が更新されると、図4に示すように各メタデータ111の更新された内容を表すメタデータ更新内容を更新された順に格納する。図4は、メタデータ更新リスト及びメタデータ更新差分のデータ格納状態を説明するための図である。図4の左側の矢印は、メタデータ更新内容の格納順を表す。すなわち、図4は、下に向かうにしたがい新しく格納されたメタデータ更新内容を示す。更新順に格納されていくので、格納順はすなわちメタデータ111の更新が行われた順番も示す。したがって、メタデータ更新リスト105では、後から格納されたメタデータ更新内容に対応するメタデータ111がより新しく更新されたことを表す。このメタデータ更新リスト105が、「運用データ更新履歴格納部」の一例にあたる。
メタデータ更新差分106も、メタデータ更新リスト105と同様に図4で示される形式でデータを格納する。メタデータ更新差分106は、バックアップ実行時にメタデータ111が更新されると、メタデータ更新内容を更新された順に格納する。
メタデータ更新内容は、例えば、リストID、更新日時、更新対象ファイル、更新メタデータの種類、更新前の内容及び更新後の内容などが格納される。リストIDは、メタデータ更新内容の整理のための番号である。例えば、リストIDは、符号なし64ビットのような大きな数値で管理される。更新日時は、年、月、日、時、分、秒、マイクロ秒の各時間で表される。この更新日時は、後述するようにバックアップ対象であるか否かの判定に用いられる。
更新対象ファイルは、更新対象であるメタデータ111を特定するための情報である。更新対象ファイルは、メタデータ111のパスを含めたファイル名やiノード番号などで管理される。更新メタデータの種類は、どのメタデータ111を変更したのかを表す種別である。例えば、更新メタデータの種類は、メタデータ111の所有者やファイル名などで表される。更新前の内容は、更新されたメタデータ111の種類において更新前に対象が記録していた内容である。更新後の内容は、更新されたメタデータ111の種類において更新した内容である。
ただし、これらは、メタデータ更新内容として格納されるデータの一例であり、メタデータ111及びファイルデータ112に対する更新内容によって変更されてもよい。例えば、ファイルデータ112のサイズが変わった場合などは、メタデータ更新内容として更新前後のサイズが登録されてもよい。
図5Aは、運用側同期制御情報の概略図である。運用側同期制御情報107は、図5Aに示すように、同期先ストレージ情報及び不足データ取得先ストレージ情報を格納する。同期先ストレージ情報は、メタデータ111を同期するストレージ装置の接続情報及び各同期先の同期のポリシーが格納される。ここでは、ストレージ装置200が同期先ストレージ情報となる。また、同期のポリシーは、同期の頻度を含む。不足データ取得先ストレージ情報は、マイグレーションにより所定のサービスの提供元の切り替えを以前に行い、全ての情報が未だ運用ストレージ装置であるストレージ装置100に同期できていない場合に不足情報を入手するためのストレージの接続先の情報である。
エージェント103は、I/O処理部131を有する。I/O処理部131は、読み込み及び書き込みの命令を業務サーバである仮想マシン13から受ける。そして、I/O処理部131は、読出命令の場合、指定されたデータのメタデータ111及びファイルデータ112をデータ記憶部101から読み出す。そして、I/O処理部131は、読み出したメタデータ111及びファイルデータ112を仮想マシン13へ出力する。
また、書込命令の場合、I/O処理部131は、書き込み命令の受信をメタデータ処理部143へ通知する。その後、I/O処理部131は、更新差分の情報をメタデータ処理部143から取得する。そして、I/O処理部131は、取得した更新差分にしたがいメタデータ111を更新する。
さらに、ファイルデータ112の更新が有る場合、I/O処理部131は、ファイルデータ112の更新をファイルデータ処理部144に通知する。その後、I/O処理部131は、データ記憶部101に更新対象の最新のファイルデータ112がある場合、更新の指示をファイルデータ処理部144から受ける。そして、I/O処理部131は、データ記憶部101に格納されているファイルデータ112を更新する。これに対して、データ記憶部101に更新対象の最新のファイルデータ112が無い場合、最新のファイルデータ112の入力をファイルデータ処理部144から受ける。そして、I/O処理部131は、取得した最新のファイルデータ112を更新した上で、更新したファイルデータ112をデータ記憶部101に書き込む。
また、マイグレーションの実行時、I/O処理部131は、I/O処理の停止指示をメタデータ処理部143から受ける。そして、I/O処理部131は、I/O処理の停止を仮想マシン13に通知する。その後、マイグレーションが完了すると、I/O処理部131は、I/O処理部131は、切替先のストレージ装置200のファイルデータ処理部244からI/O再開の指示を受ける。そして、I/O処理部131は、I/O処理の再開を仮想マシン13に通知する。
同期エージェント104は、接続制御部141及び同期処理実行部142を有する。接続制御部141は、バックアップ及びマイグレーションにおける他のストレージとの接続を制御する。同期処理実行部142は、バックアップ時及びマイグレーション時における他のストレージ装置200からのメタデータ111及びファイルデータ112の取得及び書き込みを制御する。以下に、接続処理部141及び同期処理実行部142の詳細を説明する。
接続制御部141は、管理端末44を用いて管理者により同期先の情報及び同期のポリシーが運用管理サーバ41へ入力された場合、同期先の情報及び同期のポリシーを運用管理サーバ41から受ける。そして、接続制御部141は、同期先の情報及び同期のポリシーを運用側同期制御情報107へ格納する。ここで、本実施例では、バックアップ先として、ストレージ装置200を例に挙げているが、バックアップ先は複数であってもよい。例えば、接続制御部141は、接続先としてストレージ装置200及び他のストレージ装置を同期先ストレージ情報として運用側同期制御情報107に登録してもよい。その場合、ストレージ装置200と他のストレージ装置とは、同期のポリシーが異なってもよい。
また、接続制御部141は、初期同期を実行する場合、同期開始指示を運用管理サーバ41から受ける。次に、接続制御部141は、接続先の情報を運用側同期制御情報107から取得する。そして、接続制御部141は、接続先であるストレージ装置200の接続制御部241と通信を行い、接続先を確認する。接続先が確認できると、接続制御部141は、メタデータ処理部143に同期の開始を指示する。
また、マイグレーションの実行にあたり、接続制御部141は、所定のサービスの提供元の切替先となる切替先データセンタの情報、切り替え後の同期先の情報及び切り替え後の同期のポリシーの入力を運用管理サーバ41から予め受ける。そして、接続制御部141は、切替先データセンタの情報、切り替え後の同期先の情報及び切り替え後の同期のポリシーを運用側同期制御情報107へ登録する。ここでは、切替先データセンタがデータセンタ20の場合で説明する。
マイグレーションの実行時、接続制御部141は、運用データセンタの切り替え指示を運用管理サーバ41から受ける。そして、接続制御部141は、切替先データセンタとしてデータセンタ20の情報を運用側同期制御情報107から取得する。そして、接続先管理部141は、データセンタ20に配置されたストレージ装置200を接続先として特定する。その後、接続制御部141は、接続先であるストレージ装置200の接続制御部241と通信を行い、接続先を確認する。接続先が確認できると、接続制御部141は、ストレージ装置200へのマイグレーションの開始をメタデータ処理部143に指示する。
さらに、接続制御部141は、マイグレーション処理完了の通知をファイルデータ処理部144から受ける。そして、接続制御部141は、ハードディスクの解体及び再構築を行う。すなわち、接続制御部141は、所定のサービスを提供していたデータを格納していたハードディスクを運用ストレージ装置として他のストレージ装置と同期をとる設定を解除する。そして、接続制御部141は、いままで所定のサービスを提供していたデータを格納していたハードディスクに対して新たに同期の設定などを行う。
同期処理実行部142は、バックアップである同期処理の制御を行う。同期処理実行部142は、メタデータ処理部143及びファイルデータ処理部144を有する。
メタデータ処理部143は、初期同期時、同期の開始の指示を接続制御部141から受けるとメタデータ111の同期を開始する。以下では、メタデータ111の同期処理を、「メタ同期」という場合がある。メタデータ処理部143は、データ記憶部101に格納されているメタデータ111を取得する。そして、メタデータ処理部143は、取得したメタデータをストレージ装置200の同期エージェント204へ送信する。
メタデータ処理部143は、データ記憶部101に格納されている全てのメタデータ111の送信が完了すると、メタ同期の完了をストレージ装置200の同期エージェント204へ通知する。その後、メタデータ処理部143は、メタデータバックアップ日時の登録完了の通知を同期エージェント204から受ける。そして、メタデータ処理部143は、ファイルデータ112の同期の実行をファイルデータ処理部144に指示する。以下では、ファイルデータ112の同期処理を、「データ同期」という場合がある。
また、メタデータ処理部143は、I/O処理が実行された場合、メタデータ111の更新の通知をI/O処理部131から受ける。そして、メタデータ処理部143は、メタデータ更新差分106に残っているメタデータ更新内容の中に更新対象であるメタデータ111のデータ更新内容が存在するか否かを判定する。更新対象であるメタデータ111のデータ更新内容がある場合、メタデータ処理部143は、今回の更新内容と更新差分とをマージする。そして、メタデータ処理部143は、マージした更新内容でメタデータ111を更新する。これに対して、更新対象であるメタデータ111のデータ更新内容が無い場合、メタデータ処理部143は、今回の更新内容でメタデータ111を更新する。さらに、メタデータ処理部143は、更新した更新情報をメタデータ更新リスト105に保存する。
ここで、メタデータ111に関して同期ミラーを行う場合で説明する。メタデータ処理部143は、メタデータ111の更新を行った後、運用側同期制御情報107からメタ同期の同期先を運用側同期制御情報107から取得する。同期先がある場合、メタデータ処理部143は、メタデータ111を同期先のストレージ装置200のメタデータ処理部243へ送信する。その後、メタデータ処理部143は、同期先のストレージ装置200のメタデータ処理部243からメタデータの更新完了の通知を受信する。その後、メタデータ処理部143は、更新完了の通知を仮想マシン13へ送信する。一方、同期先が無い場合、メタデータ処理部143は、そのまま更新完了の通知を仮想マシン13へ送信する。
これに対して、メタデータ111に関して非同期ミラーを行う場合、メタデータ処理部143は、メタ同期の開始タイミングが到来すると、前回のタイミングから今回のタイミングまでに更新されたメタデータ111をメタデータ更新リスト105から特定する。そして、メタデータ処理部143は、特定したメタデータ111をデータ記憶部101から取得する。そして、メタデータ処理部143は、取得したメタデータ111を同期先のストレージ装置200のメタデータ処理部243へ送信する。
また、ストレージ装置100が定期同期における同期元のストレージの場合、メタデータ処理部143は、定期同期時、同期先のストレージ装置200のメタデータバックアップ日時以降のメタデータ111の取得要求を他のストレージ装置から受ける。続いて、メタデータ処理部243は、ストレージ装置100のメタデータバックアップ日時以降のメタデータ更新内容をメタデータ更新リスト105から取得する。そして、メタデータ処理部243は、取得したメタデータ更新内容にあたるメタデータ111をデータ記憶部101から取得する。そして、メタデータ処理部143は、取得したメタデータ111を同期先のストレージ装置100へ送信する。
ただし、ここではメタデータ111に対して非同期ミラーを行う場合で説明したが、メタデータ111に対して同期ミラーを実行してもよい。その場合、ストレージ装置100におけるメタデータ111が更新されるとストレージ装置200のメタデータ211も更新され、さらにメタデータ更新差分206も更新されるので、上述のような定期的な同期処理を行わなくてもよい。
また、メタデータ処理部143は、マイグレーション実行時、ストレージ装置200へのマイグレーションの開始の指示を接続制御部141から受ける。そして、メタデータ処理部143は、I/O処理の停止指示をI/O処理部131に通知する。次に、メタデータ処理部143は、メタ同期の開始を切替先のストレージ装置200の同期エージェント204に通知する。
その後、メタデータ処理部143は、メタバックアップ日時以降のメタデータ111の取得要求をストレージ装置200のメタデータ処理部243から受ける。そして、メタデータ処理部143は、メタデータ更新リスト105を取得する。次に、メタデータ処理部143は、メタデータ更新リスト105をストレージ装置200へ送信する。
ファイルデータ処理部144は、初期同期時、ファイルデータ112の同期先のストレージ200との同期の実行の指示をメタデータ処理部143から受ける。そして、ファイルデータ処理部144は、データ同期を開始する。ファイルデータ処理部144は、データ記憶部101からファイルデータ112を取得する。そして、ファイルデータ処理部144は、ファイルデータ112をストレージ装置200のファイルデータ処理部244へ送信する。その後、ファイルデータ処理部144は、ファイルデータバックアップ日時の登録完了の通知をファイルデータ処理部244から受ける。そして、ファイルデータ処理部144は、同期完了の通知を運用管理サーバ41へ通知する。
I/O処理が実行される場合、ファイルデータ処理部144は、ファイルデータ112の更新の指示をI/O処理部131から受ける。そして、ファイルデータ処理部144は、ファイルデータバックアップ日時を運用側同期制御情報107から取得する。そして、ファイルデータ処理部144は、メタデータ更新差分106の中にファイルデータバックアップ日時より後に追加されたメタデータ更新内容があるか否かを判定する。これにより、データ記憶部101に更新対象のファイルデータ112の最新のものがあるか否かを判定する。すなわち、メタデータ更新差分106の中にファイルデータバックアップ日時より後に追加されたメタデータ更新内容がある場合、そのメタデータ更新内容の日時において、運用中のファイルデータ112が更新されている。そこで、この場合、ファイルデータ処理部144は、データ記憶部101には更新対象のファイルデータ112の最新のものが無いと判定する。逆に、メタデータ更新差分106の中にファイルデータバックアップ日時より後に追加されたメタデータ更新内容が無ければ、その後に運用中のファイルデータの更新は行われていないといえる。そこで、この場合、ファイルデータ処理部144は、データ記憶部101には更新対象のファイルデータ112の最新のものがあると判定する。
データ記憶部101に更新対象のファイルデータ112の最新のものがある場合、ファイルデータ処理部144は、今回の更新内容でデータ記憶部101に格納されている更新対象のファイルデータ112を更新する。これに対して、データ記憶部101に更新対象のファイルデータ112の最新のものが無い場合、ファイルデータ処理部144は、運用側同期制御情報107の不足データ取得先ストレージ情報を確認し、最新の更新対象のファイルデータ112が格納されているストレージ装置の情報を取得する。ここでは、不足データ取得先ストレージとしてストレージ装置200が指定されている場合で説明する。
ファイルデータ処理部144は、ストレージ装置200のデータ記憶部201からファイルデータ212を取得する。そして、ファイルデータ処理部144は、取得したファイルデータ212に今回の更新を加える。その後、ファイルデータ処理部144は、更新を加えたファイルデータ212をデータ記憶部101に書き込む。
また、同期元としてストレージ装置200と定期同期をする場合、ファイルデータ処理部144は、ストレージ装置200のファイルデータバックアップ日時以降のメタデータ更新内容に対応するファイルデータ112の取得要求をストレージ装置200から受ける。次に、ファイルデータ処理部144は、取得要求での指定に該当するファイルデータ112を取得する。そして、ファイルデータ処理部144は、取得したファイルデータ112をストレージ装置100へ送信する。
次に、図3に戻って、待機ストレージ装置であるストレージ装置200について説明する。ストレージ装置200は、同期エージェント204、エージェント203及びデータ記憶部201を有する。
バックアップ側同期制御情報207及びメタデータ更新差分206は、同期情報記憶部220の中に格納される。図5Bは、バックアップ側同期制御情報の概略図である。バックアップ側同期制御情報207は、図5Bに示すように、同期元ストレージ情報、メタデータバックアップ日時、メタデータ同期間隔、ファイルデータバックアップ日時及びファイルデータ同期間隔を有する。同期元ストレージ情報は、メタデータ211及びファイルデータ212の同期元となるストレージ装置100の接続情報である。メタデータバックアップ日時は、メタデータ211の最終同期日時である。メタデータ同期間隔は、メタ同期を行う周期である。ファイルデータ同期間隔は、データ同期を行う周期を保存する。
さらに、同期情報記憶部220は、マイグレーションが実行され運用ストレージとして動作する場合に生成されるメタデータ更新リスト205を格納する。メタデータ更新リスト205は、ストレージ装置200が待機ストレージ装置として動作している場合には同期情報記憶部220に存在していないので、図3では点線で表す。
同期エージェント204は、接続制御部241、同期処理実行部242を有する。そして、同期処理実行部242は、メタデータ処理部243及びファイルデータ処理部244を有する。
接続制御部241は、管理端末44を用いて管理者により同期先の情報及び同期のポリシーが運用管理サーバ41へ入力された場合、同期先の情報及び同期のポリシーを運用管理サーバ41から受ける。そして、接続制御部241は、同期先の情報及び同期のポリシーをバックアップ側同期制御情報207へ格納する。
また、接続制御部241は、初期同期を実行する場合、同期開始指示を運用管理サーバ41から受ける。次に、接続制御部241は、接続先の情報をバックアップ側用側同期制御情報207から取得する。そして、接続制御部241は、接続先であるストレージ装置100の接続制御部141と通信を行い、接続先を確認する。接続先が確認できると、接続制御部241は、メタデータ処理部243に初期同期の開始を通知する。
また、マイグレーションの実行にあたり、接続制御部241は、所定のサービスの提供元の切替元となる切替元データセンタの情報、切り替え後の同期先の情報及び切り替え後の同期のポリシーの入力を運用管理サーバ41から予め受信する。切替元データセンタとは、所定のサービスを提供している運用側データセンタである。また、接続制御部241は、運用管理サーバ41の運用側データセンタ管理表を参照し、現在の運用側データセンタがデータセンタ10であることを確認する。そして、接続制御部241は、切替元データセンタの情報、切り替え後の同期先の情報及び切り替え後の同期のポリシーをバックアップ側同期制御情報207へ登録する。ここでは、切替元データセンタがデータセンタ10の場合で説明する。
マイグレーションの実行時、接続制御部241は、運用データセンタの切り替え指示を運用管理サーバ41から受ける。そして、接続制御部241は、切替元データセンタとしてデータセンタ10の情報を運用側同期制御情報107から取得する。そして、接続先制御部241は、データセンタ10に配置されたストレージ装置100を接続先として特定する。その後、接続制御部241は、接続先であるストレージ装置100の接続制御部141と通信を行い、接続先を確認する。接続先が確認できると、接続制御部241は、ストレージ装置100へのマイグレーションの開始をメタデータ処理部243に通知する。
さらに、接続制御部241は、マイグレーション完了の通知をファイルデータ処理部244から受ける。そして、接続制御部241は、ハードディスクの解体及び再構築を行う。すなわち、マネージャ102は、所定のサービスのためのデータを格納したハードディスクの設定を初期化し、バックアップ同期側制御情報207において指定されたストレージ装置と同期をとるように設定する。
メタデータ処理部243は、初期同期時、初期同期の開始の通知を接続制御部241から受ける。その後、メタデータ処理部243は、メタデータ111をストレージ装置100のメタデータ処理部143から受信する。そして、メタデータ処理部243は、受信したメタデータ111をデータ記憶部201にメタデータ211として格納する。その後、メタデータ処理部243は、メタ同期の完了の通知をメタデータ処理部143から受ける。そして、メタデータ処理部243は、メタ同期完了の日時をメタデータバックアップ日時としてバックアップ側同期制御情報207に登録する。その後、メタデータ処理部243は、メタデータバックアップ日時の登録完了をメタデータ処理部143に通知する。
また、メタデータ処理部243は、メタデータ211に対して同期ミラーが設定されている場合、I/O処理の実行時に更新されたメタデータ111の入力をメタデータ処理部143から受ける。そして、メタデータ処理部243は、取得したメタデータ111をデータ記憶部201にメタデータ211として書き込む。さらに、メタデータ処理部243は更新したメタデータ211のメタデータ更新内容をメタデータ更新差分206に登録する。その後、メタデータ処理部243は、メタデータ211の更新完了をメタデータ処理部143に通知する。
また、定期同期として他のストレージ装置とメタデータ211及びファイルデータ212の同期をとる場合のメタデータ処理部243の動作について説明する。まず、定期同期の同期先となる場合について説明する。ここで、他のストレージ装置もストレージ装置200と同様の構成を有している。
メタデータ処理部243は、同期のポリシー及び同期先のストレージ装置である他のストレージ装置の情報をバックアップ側同期制御情報207から取得する。そして、メタデータ処理部243は、メタ同期周期になるまで待機する。メタ同期周期が到来すると、メタデータ処理部243は、メタデータバックアップ日時をバックアップ側同期制御情報207から取得する。そして、メタデータ処理部243は、メタデータバックアップ日時以降のメタデータ211の取得要求を他のストレージ装置へ送信する。その後、メタデータ処理部243は、メタデータバックアップ日時以降のメタデータ211を他のストレージ装置から取得する。
次に、メタデータ処理部243は、取得したメタデータ211をデータ記憶部201に書き込むことでメタデータ211を更新する。また、メタデータ処理部243は、更新したメタデータ211のメタデータ更新内容をメタデータ更新差分206に追加する。
さらに、メタデータ処理部243は、このタイミングでのメタデータ211を更新した日時をメタデータバックアップ日時としてバックアップ側同期制御情報207へ登録する。そして、メタデータ処理部243は、メタデータ211の定期同期を終了する。この待機ストレージ装置同士の同期における同期先のメタデータ処理部243が、「第2管理データ取得部」の一例にあたる。
また、定期同期における同期元のストレージの場合、メタデータ処理部243は、同期先の他のストレージ装置のメタデータバックアップ日時以降のメタデータ211の取得要求を他のストレージ装置から受ける。続いて、メタデータ処理部243は、自装置におけるメタデータバックアップ日時をバックアップ側同期制御情報207から取得する。そして、メタデータ処理部243は、他のストレージ装置のメタデータバックアップ日時から自装置におけるメタデータバックアップ日時までのメタデータ211をデータ記憶部201から取得する。そして、メタデータ処理部243は、取得したメタデータ211を同期先の他のストレージ装置へ送信する。
また、メタデータ処理部243は、マイグレーション実行時、ストレージ装置100へのマイグレーションの開始の通知を接続制御部241から受ける。その後、メタデータ処理部243は、メタ同期の開始の通知をストレージ装置100のメタデータ処理部143から受ける。そして、メタデータ処理部243は、メタデータバックアップ日時をバックアップ側同期制御情報207から取得する。続いて、メタデータ処理部243は、メタデータバックアップ日時以降のメタデータ111の取得要求をメタデータ処理部143へ送信する。
その後、メタデータ処理部243は、メタデータ更新リスト105をメタデータ処理部143から受信する。そして、メタデータ処理部243は、受信したメタデータ更新リスト105を同期情報記憶部220へ格納し自装置が運用ストレージ装置となるためのメタデータ更新リスト205を作成する。メタデータ処理部243は、切替時点で残っている運用ストレージ装置のメタデータ111と切替先のストレージ装置100のメタデータ211の差分は、作成したメタデータ更新リスト205とメタデータ更新差分206とを比較して取得する。メタデータ処理部243は、メタデータ111の不足分をバックアップ側同期制御情報207にしたがってストレージ装置100から取得する。
その後、メタデータ処理部243は、メタデータ更新リスト205の作成完了通知をメタデータ処理部143に通知する。このメタデータ処理部243が、「第1管理データ取得部」の一例にあたる。
ファイルデータ処理部244は、初期同期時、ファイルデータ112の入力を同期元のストレージ装置100のファイルデータ処理部144から受ける。そして、ファイルデータ処理部244は、取得したファイルデータ112をデータ記憶部201にファイルデータ212として格納する。その後、ファイルデータ処理部244は、データ同期の完了の通知をファイルデータ処理部144から受ける。そして、ファイルデータ処理部244は、データ同期の完了の通知を受けた日時をファイルデータバックアップ日時としてバックアップ側同期制御情報207に登録する。次に、ファイルデータ処理部244は、ファイルデータバックアップ日時の登録完了をファイルデータ処理部144に通知する。その後、ファイルデータ処理部244は、同期完了の通知を運用管理サーバ41に通知する。
また、同期先として他のストレージ装置と定期同期をする場合、ファイルデータ処理部244は、同期のポリシー及び同期先のストレージ装置である他のストレージ装置の情報をバックアップ側同期制御情報207から取得する。そして、ファイルデータ処理部244は、データ同期周期が到来するまで待機する。データ同期周期が到来すると、ファイルデータ処理部244は、バックアップ側同期制御情報207からファイルデータバックアップ日時を取得する。次に、ファイルデータ処理部244は、ファイルデータバックアップ日時以降のメタデータ更新内容をメタデータ更新差分206から取得する。そして、ファイルデータ処理部244は、取得したメタデータ更新内容に対応するファイルデータ212の取得要求を他のストレージ装置に送信する。
その後、ファイルデータ処理部244は、ファイルデータバックアップ日時以降のメタデータ更新内容に対応するファイルデータ212を他のストレージ装置から受信する。そして、ファイルデータ処理部244は、受信したファイルデータ212をデータ記憶部201に格納し更新する。さらに、ファイルデータ処理部244は、バックアップ側同期制御情報207のファイルデータバックアップ日時をその時点の日時に更新する。そして、ファイルデータ処理部244は、ファイルデータバックアップ日時以降のメタデータ更新内容に対応する全てのファイルデータ212の更新が完了したか否かを判定する。更新されていないファイルデータ212が有る場合、ファイルデータ処理部244は、ファイルデータ212の更新の処理を繰り返す。全てのファイルデータ212の更新が完了した場合、ファイルデータ処理部244は、ファイルデータ212の更新処理を終了する。この待機ストレージ装置同士の同期における同期先のファイルデータ処理部244が、「第2実データ取得部」の一例にあたる。
また、同期元として他のストレージ装置と定期同期をする場合、ファイルデータ処理部244は、他のストレージ装置のファイルデータバックアップ日時以降のメタデータ更新内容に対応するファイルデータ212の取得要求を他のストレージ装置から受ける。次に、ファイルデータ処理部244は、取得要求での指定に該当するファイルデータ212を取得する。そして、ファイルデータ処理部244は、取得したファイルデータ212を他のストレージ装置へ送信する。このファイルデータ処理部244は、「第1実データ取得部」の一例にあたる。
また、エージェント203は、I/O処理部231を有する。I/O処理部231は、マイグレーションでストレージ装置200が運用ストレージとなった場合、所定のサービスに対してI/O処理部131と同様の処理を行う。
次に、図6を参照して、運用管理サーバ41について説明する。図6は、運用管理サーバのブロック図である。図6に示すように、運用管理サーバ41の管理マネージャ42は、設定情報管理部421及び同期管理部422を有する。また、同期情報記憶部43は、優先度管理表431、ポリシー定義表432、運用側データセンタ管理表433を保持する。
優先度管理表431は、バックアップにおける同期先とする各データセンタのそれぞれの優先度を表す表である。優先度管理表431は、例えばサービス毎に生成される。
優先度管理表431は、例えば、図7に示すようなフォーマットを有する。図7は、優先度管理表の一例を示す図である。図7は、A国にあるA国データセンタに格納されたデータをB〜E国のB〜E国データセンタにバックアップする場合に利用する優先度管理表である。
図7では、B国データセンタの優先度が最も高く、その後順にC,D,E国と優先度が低くなる。ここでは、データセンタがA〜Eの各国におかれ、データセンタ識別情報として国の名前を付加した情報を用いている。
さらに、優先度管理表431には、各データのセンタのそれぞれに対して、どのような同期のポリシーを適用するかが登録されている。例えば、B国データセンタには、ポリシー#1が割り当てられ、C及びD国には、ポリシー#2が割り当てられ、E国データセンタには、ポリシー#3が割り当てられる。ポリシーの定義についてはそれぞれ後で説明する。この優先度管理表431が、「優先度記憶部」の一例にあたる。
ポリシー定義表432は、各データセンタに割り当てる同期のポリシーの設定が登録された表である。ポリシー定義表432は、例えば、図8に示すようなフォーマットを有する。図8は、ポリシー定義表の一例を示す図である。
図8では、ポリシー#1〜#3という3つの同期のポリシーが設定されている。図8では、同期の頻度は、最も高い頻度が完全同期であり、以下、高中低で頻度が下がるように設定されている。ポリシー#1は、メタ同期頻度が完全同期であり、データ同期頻度が高である。また、ポリシー#2は、メタ同期が高であり、データ同期頻度が高である。また、ポリシー#3は、メタ同期頻度が高であり、データ同期頻度が中である。ポリシー#1から順に#2、#3と同期頻度が下がっており、バックアップの重要度が低くなるといえる。さらに、図8のポリシー定義表432は、ポリシー毎にそのポリシーを適用するデータセンタの数が登録されている。図7では、ここで決められた同期のポリシーが各データセンタ毎に割り当てられている。例えば、図7のB国データセンタでは、メタ同期頻度が完全同期であり、データ同期頻度が高である。
同期頻度を表すレベルである高中低のそれぞれをどのような頻度にするかは、設計時の環境によって適宜設定することが好ましい。例えば、運用データの更新頻度が低く、コストが低いのであれば、1時間毎の同期を高頻度とし、24時間毎の同期を中頻度とする。また、運用データの更新頻度が高く、コストが高いのであれば、24時間毎の同期を高頻度とし、72時間毎の同期を中頻度とする。
同期頻度の値を決める要素としては、例えば以下のような要素がある。1つには、メタデータ111及びファイルデータ112の更新頻度がある。この更新頻度が低ければ、メタデータ111及びファイルデータ112の差分が少なくなり、バックアップのコストが下がる。そのため、メタデータ111及びファイルデータ112の更新頻度が低い場合は、同期頻度を高く設定することが好ましい。
また、他の1つとして、バックアップコストの許容レベルがある。同期(バックアップ)の際は、同期元のデータが参照されるので、運用側データセンタであるデータセンタ10のデータの同期を行った場合、データセンタ10の運用性能に負荷がかかる。そこで、運用性能の一定量の劣化を許容できる環境であれば、同期頻度を高く設定することが好ましい。
また、他の1つとして、マイグレーション時の目標切り替え時間がある。マイグレーション時の切り替え時間を短くするには、同期頻度を高く設定し、データ差分を少なくした方が良い。仮に5分での切り替えを目標とするのであれば、バックアップデータである待機側データセンタ20に格納されたメタデータ211及びファイルデータ212の完全同期化も5分以内に完了できることが好ましい。この例でいえば、同期頻度は、完全同期を5分以内に完了できるデータ差分量の範囲で決定されることになる。
また、他の1つとして、ハードウェアの性能がある。ストレージ装置100及び200などのハードウェアの性能が高ければ、同期の時間は短くなり負荷が軽減される。そこで、ハードウェアの性能が高い場合、同期頻度を高く設定することができる。
また、他の1つとして、ストレージ装置100及び200の間のネットワークなどといった、同期するデータの送受信を行うネットワークの性能がある。同期するデータの送受信を行うネットワークの帯域の広さや応答の速さで同期による負荷が決定される。例えば、ネットワークの性能が高ければ、同期頻度を高く設定することができる。
図6に戻って説明を続ける。運用側データセンタ管理表433は、所定のサービスの提供を行う運用側データセンタがどのデータセンタであるかを表す。例えば、運用側データセンタ管理表433は、過去5世代の履歴を管理する。運用側データセンタ管理表433は、マイグレーションを行う場合に、マイグレーション先の同期エージェント204がマイグレーション元を確認する場合に使用される。
設定情報管理部421は、初期同期以前に、同期に用いるポリシーの定義の入力を管理端末44から受ける。そして、設定情報管理部421は、入力されたポリシーの定義をポリシー定義表432に登録する。また、設定情報管理部421は、入力された各データベースの優先度を優先度管理表431に登録する。
さらに、設定情報管理部421は、各サービスのデータを同期するための接続先の情報、各接続先の優先度及び各接続先に割り当てられたポリシーの入力を管理端末44から受ける。そして、設定情報管理部421は、サービス毎に、同期時の接続先、接続先の優先度及び割り当てられたポリシーを登録して優先度管理表431を作成する。ここで、同期元は運用ストレージ装置とは限らない。すなわち、運用ストレージからバックアップを取っているストレージ装置、例えばストレージ装置200を同期元として他のストレージ装置へバックアップを取ってもよい。したがって、優先度管理表431は、各サービスにおいて同期元毎に作成される。以下では、同期元をストレージ装置100とし、同期先をストレージ装置200とした場合で説明する。
さらに、設定情報管理部421は、各サービスのデータを同期するための接続先の情報、各接続先の優先度及び各接続先に割り当てられたポリシーを、同期元となるストレージ装置100へ送信する。さらに、設定情報管理部421は、同期先となるストレージ装置200に同期元の情報及びストレージ装置200の同期のポリシーを通知する。
また、設定情報管理部421は、マイグレーション時、切り替え対象とするサービス及び切替先の情報の入力を受ける。さらに、設定情報管理部421は、マイグレーション後の同期のための接続先の情報、各接続先の優先度及び各接続先に割り当てられたポリシーの入力を管理端末44から受ける。そして、設定情報管理部421は、マイグレーションの切り替え先の情報を運用側データセンタ管理表433に格納する。
さらに、設定情報管理部421は、マイグレーション後の各サービスのデータを同期するための接続先の情報、各接続先の優先度及び各接続先に割り当てられたポリシーを、マイグレーション後に同期元となるストレージ装置200へ送信する。さらに、設定情報管理部421は、マイグレーション後に同期先となるストレージ装置100に同期元の情報及びストレージ装置100の同期のポリシーを通知する。その後、設定情報管理部421は、同期ポリシーの配布完了を同期管理部422へ通知する。
同期管理部422は、初期同期時、初期同期の開始指示の入力を管理端末44から受ける。そして、初期同期の開始指示を受けて、同期管理部422は、同期先のデータセンタの情報を優先度管理表431から取得する。
次に、同期管理部422は、同期開始の指示を同期元のストレージ及び同期先のストレージに行う。ここでは、同期元がストレージ装置100であり、同期先がストレージ装置200である。その後、同期管理部422は、同期処理が終了したストレージ装置100であり、同期先がストレージ装置200から同期完了通知を取得する。
次に、同期管理部422は、所定のサービスについてのデータの同期であって、同期元が異なる同期の同期先データセンタの情報を優先度管理部431から取得する。例えば、所定のサービスを提供するストレージ装置100と同期をとったストレージ装置200を同期元として、他のストレージ装置と同期をとる場合などである。その後、同期管理部422は、同期元及び同期先のストレージ装置から同期完了の通知を受ける。そして、同期管理部422は、同期完了の通知を管理端末44へ送信する。
また、同期管理部422は、マイグレーション時、同期ポリシーの配布完了の通知を設定情報管理部421から受ける。そして、同期管理部422は、マイグレーションの開始を、切替元であるストレージ装置100及び切替先であるストレージ装置200へ指示する。その後、同期管理部422は、切替完了通知をマイグレーションの切替先であるストレージ装置200から受ける。この同期管理部422が、「切替部」の一例にあたる。
次に、図9を参照して、初期同期時の運用管理サーバ41の処理の流れについて説明する。図9は、初期同期時の運用管理サーバの処理のシーケンス図である。
管理マネージャ42は、初期同期開始以前に、同期に用いるポリシーの定義の入力を管理端末44から受ける(ステップS101)。このポリシーの定義には、接続先となる各データベースの優先度も含まれる。そして、管理マネージャ42は、入力されたポリシーの定義をポリシー定義表432に登録し保存する(ステップS102)。また、管理マネージャ42は、優先度管理表431も作成する。
さらに、管理マネージャ42は、各サービスのデータを同期するための接続先の情報、各接続先の優先度及び各接続先に割り当てられたポリシーを、同期元となるストレージ装置100へ配布する。さらに、管理マネージャ42は、同期先となるストレージ装置200及び300に同期元の情報及び同期のポリシーを配布する(ステップS103)。その後、管理マネージャ42は、設定完了の通知を管理端末44へ送信する(ステップS104)。
その後、管理マネージャ42は、初期同期の開始指示を管理端末44から受ける(ステップS105)。次に、管理マネージャ42は、同期先データセンタ(DC:Data Center)の情報を同期情報記憶部43の優先度管理表431から取得する(ステップS106)。ここでは、ストレージ装置200がストレージ装置100の同期先であり、ストレージ装置300がストレージ装置200の同期先である場合で説明する。この場合、ストレージ装置100がサービスを提供するための元のデータを有するため、最初にストレージ装置100とストレージ装置200の同期が行われ、その後、ストレージ装置200とストレージ装置300の同期が行われる。したがって、管理マネージャ42は、まずストレージ装置100の同期先の情報としてデータセンタ20の情報を取得する。そして、管理マネージャ42は、同期開始指示をストレージ装置100及び200へ送信する(ステップS107)。
その後、ストレージ装置100とストレージ装置200との間で同期処理が行われる(ステップS108)。そして、管理マネージャ42は、ストレージ装置100及び200から同期完了の通知を取得する(ステップS109)。
さらに、管理マネージャ42は、次の同期先のデータセンタの情報を取得する(ステップS110)。すなわち、管理マネージャ42は、ストレージ装置200の同期先の情報としてストレージ装置300が配置されたデータセンタの情報を取得する。そして、管理マネージャ42は、同期開始指示をストレージ装置200及び300へ送信する(ステップS111)。
その後、ストレージ装置200とストレージ装置300との間で同期処理が行われる(ステップS112)。そして、管理マネージャ42は、ストレージ装置200及び300から同期完了の通知を取得する(ステップS113)。その後、管理マネージャ42は、同期完了の通知を管理端末44へ送信する(ステップS114)。
次に、図10を参照して、初期同期時の運用ストレージ装置であるストレージ装置100及び待機ストレージ装置であるストレージ装置200の処理の流れについて説明する。図10は、初期同期時の運用ストレージ装置及び待機ストレージ装置の処理のシーケンス図である。図10のシーケンス図で表される処理は、図9のステップS108の一例にあたる。
同期エージェント104及び204は、同期開始の指示を運用管理サーバ41から取得する(ステップS120)。次に、同期エージェント104は、運用側同期制御情報107から接続先の情報を取得する(ステップS121)。また、同期エージェント204は、バックアップ側同期制御情報207から接続先の情報を取得する(ステップS122)。そして、同期エージェント104は、ストレージ装置200を接続先として確認する(ステップS123)。同様に、同期エージェント204は、ストレージ装置100を接続先として確認する(ステップS124)。
次に、同期エージェント104は、メタ同期を開始する(ステップS125)。まず、同期エージェント104は、メタデータ111をデータ記憶部101から取得する(ステップS126)。そして、同期エージェント104は、取得したメタデータ111を同期エージェント204へ送信する(ステップS127)。同期エージェント204は、同期エージェント104から受信したメタデータ111をメタデータ211としてデータ記憶部201に格納する(ステップS128)。
同期エージェント104は、所定のサービスを運用するための全てのメタデータ111を送信するとメタ同期完了の通知を同期エージェント204へ送信する(ステップS129)。メタ同期完了の通知を受けて、同期エージェント204は、メタデータバックアップ日時をバックアップ側同期制御情報207に登録する(ステップS130)。その後、同期エージェント204は、日時登録完了の通知を同期エージェント104へ送信する(ステップS131)。
同期エージェント104は、日時登録完了の通知を受けると、データ同期を開始する(ステップS132)。まず、同期エージェント104は、ファイルデータ112をデータ記憶部101から取得する(ステップS133)。そして、同期エージェント104は、ファイルデータ112を同期エージェント204へ送信する(ステップS134)。同期エージェント204は、同期エージェント104から受信したファイルデータ112をファイルデータ212としてデータ記憶部201へ格納する(ステップS135)。
同期エージェント104は、所定のサービスを運用するための全てのファイルデータ112を送信するとデータ同期完了の通知を同期エージェント204へ送信する(ステップS136)。データ同期完了の通知を受けて、同期エージェント204は、ファイルデータバックアップ日時をバックアップ側同期制御情報207に登録する(ステップS137)。その後、同期エージェント204は、日時登録完了の通知を同期エージェント104へ送信する(ステップS138)。
その後、同期エージェント204は、同期管理用の通知を運用管理サーバ41へ送信する(ステップS139)。また、同期エージェント104も、同期管理用の通知を運用管理サーバ41へ送信する(ステップS140)。
また、図9のステップS113で示したストレージ装置200とストレージ装置300との間の同期も、同期元及び同期先が変わるだけで上述した初期同期時の処理と同様の処理により同期が行われるので、ここでは説明を省略する。
次に、図11を参照して、I/O処理発生時の運用ストレージ装置であるストレージ装置100及び待機ストレージ装置であるストレージ装置200の処理の流れについて説明する。図11は、I/O処理発生時の運用ストレージ装置及び待機ストレージ装置の処理のシーケンス図である。
顧客による顧客端末31を用いた入力により業務用サーバである仮想マシン13においてI/O処理が開始される(ステップS201)。仮想マシン13は、メタデータ111の更新を同期エージェント104に指示する(ステップS202)。同期エージェント104は、更新の指示を受けて、メタデータ更新差分106に格納されたメタデータ更新内容の内のファイルデータ112の更新が終わっていない更新差分を確認する(ステップS203)。
同期エージェント104は、更新を指示されたメタデータ111が更新差分に該当するか否かを判定する(ステップS204)。更新差分に該当しない場合(ステップS204:否定)、同期エージェント104は、ステップS206へ進む。これに対して、更新差分に該当する場合(ステップS204:肯定)、同期エージェント104は、今回指示されたメタデータ111の更新内容をメタデータ更新差分106に登録し、更新差分をマージする(ステップS205)。そして、同期エージェント104は、今回指示された内容でメタデータ111を更新する(ステップS206)。さらに、同期エージェント104は、今回のメタデータ111の更新情報をメタデータ更新リスト105へ保存する(ステップS207)。
続いて、同期エージェント104は、運用側同期制御情報107によりメタ同期の同期先であるメタ同期先を確認する(ステップS208)。そして、メタ同期先が無い場合(ステップS209:否定)、同期エージェント104は、ステップS214へ進む。
これに対して、メタ同期先がある場合(ステップS209:肯定)、同期エージェント104は、メタデータ111を同期エージェント204へ送信する(ステップS210)。ここでは、メタデータ111に対して同期ミラーを行う場合で説明する。同期エージェント204は、受信したメタデータ111をデータ記憶部201にメタデータ211として書き込み更新する(ステップS211)。次に、同期エージェント204は、今回更新した内容でメタデータ更新差分206を更新する(ステップS212)。その後、同期エージェント204は、更新完了の通知を同期エージェント104へ送信する(ステップS213)。
同期エージェント104は、更新完了の通知を仮想マシン13へ送信する(ステップS214)。次に、仮想マシン13は、ファイルデータ112の更新を同期エージェント104に指示する(ステップS215)。同期エージェント104は、更新の指示を受けて、ファイルデータバックアップ日時を運用側同期制御情報107から取得する(ステップS216)。そして、更新が指示されたファイルデータ112の最新データを持っているか否かを判定する(ステップS217)。例えば、マイグレーションが行われストレージ装置100が未だ運用ストレージ装置として稼働したばかりであれば、ストレージ装置100には最新のファイルデータ112が存在しない場合がある。その場合、最新のファイルデータ112は、マイグレーション前の同期先のストレージ装置に保持されている。
最新のファイルデータ112を有する場合(ステップS217:肯定)、同期エージェント104は、ステップS220へ進む。これに対して、最新のファイルデータ112を有さない場合(ステップS217:否定)、同期エージェント104は、最新のファイルデータ112に対応するデータを保持するデータ格納ストレージを運用側同期制御情報107により確認する(ステップS218)。ここでは、データ格納ストレージがストレージ装置200の場合で説明する。同期エージェント104は、更新が指示されたファイルデータ112に対応するストレージ装置200のデータ記憶部201に格納されたファイルデータ212を取得する(ステップS219)。
そして、同期エージェント104は、ファイルデータ112を更新する(ステップS220)。その後、同期エージェント104は、更新完了の通知を仮想マシン13へ送信する(ステップS221)。仮想マシン13は、更新完了の通知を受けて、I/O処理を完了する(ステップS222)。
次に、図12を参照して、定期同期時の運用ストレージ装置であるストレージ装置100及び待機ストレージ装置であるストレージ装置200の処理の流れについて説明する。図12は、定期同期時の運用ストレージ装置及び待機ストレージ装置の処理のシーケンス図である。ここでは、メタデータ111に対して非同期ミラーを行う場合で説明する。
ストレージ装置100及び200は、定期的にスリープ状態から復帰する(ステップS301)。そして、同期エージェント204は、同期のポリシーをバックアップ側同期制御情報207から取得する(ステップS302)。そして、同期エージェント204は、メタ同期周期が到来したか否かを判定する(ステップS303)。メタ同期周期が到来していない場合(ステップS303:否定)、同期エージェント204は、ステップS312へ進む。
これに対して、メタ同期周期が到来した場合(ステップS303:肯定)、同期エージェント204は、メタデータバックアップ日時をバックアップ側同期制御情報207から取得する(ステップS304)。そして、同期エージェント204は、メタデータバックアップ日時以降のメタデータ111の取得要求を同期エージェント104へ送信する(ステップS305)。同期エージェント104は、同期元のデータバックアップ日時以降に更新されたメタデータ111の情報をメタデータ更新リスト105から取得する(ステップS306)。次に、同期エージェント104は、取得した情報を用いて、同期元のデータバックアップ日時以降に更新されたメタデータ111をデータ記憶部101から取得する(ステップS307)。そして、同期エージェント104は、取得したメタデータ111を同期エージェント204へ送信する(ステップS308)。
同期エージェント204は、同期エージェント104から受信したメタデータ111をデータ記憶部201に書き込みメタデータ211を更新する(ステップS309)。さらに、同期エージェント204は、今回のメタデータ211の更新内容をメタデータ更新差分206に追加する(ステップS310)。次に、同期エージェント204は、バックアップ側同期制御情報207におけるメタデータバックアップ日時を更新する(ステップS311)。
次に、同期エージェント204は、データ同期周期が到来したか否かを判定する(ステップS312)。データ同期周期が到来していない場合(ステップS312:否定)、ストレージ装置100及び200はスリープ状態に遷移し、処理はステップS301へ戻る。
これに対して、データ同期周期が到来した場合(ステップS312:肯定)、同期エージェント204は、ファイルデータバックアップ日時をバックアップ側同期制御情報207から取得する(ステップS313)。そして、同期エージェント204は、ファイルデータバックアップ日時以降に更新されたメタデータ211の情報をメタデータ更新差分206から取得する(ステップS314)。次に、同期エージェント204は、ファイルデータバックアップ日時以降に更新されたメタデータ211に対応するファイルデータ112の取得要求を同期エージェント104へ送信する(ステップS315)。同期エージェント104は、ファイルデータバックアップ日時以降に更新されたメタデータ211に対応するファイルデータ112をデータ記憶部101から取得する(ステップS316)。そして、同期エージェント104は、取得したファイルデータ112を同期エージェント204へ送信する(ステップS317)。
同期エージェント204は、同期エージェント104から受信したファイルデータ112をデータ記憶部201に書き込みファイルデータ212を更新する(ステップS318)。さらに、同期エージェント204は、バックアップ側同期制御情報207におけるファイルデータバックアップ日時を更新する(ステップS319)。そして、同期エージェント204は、全てのファイルデータ212について同期が終了したか否かを判定する(ステップS320)。同期していないファイルデータ212がある場合(ステップS320:否定)、同期エージェント204は、ステップS313へ戻る。これに対して、全てのファイルデータ212の同期が完了した場合(ステップS320:肯定)、ストレージ装置100及び200はスリープ状態に遷移し、処理はステップS301へ戻る。
ここで、メタデータ111に対して同期ミラーが行われる場合は、ステップS303からステップS311までを飛ばして、ステップS312からステップS320までが行われることになる。
ここで説明したように、ストレージ装置100を同期元とし、ストレージ装置200を同期先とした場合のメタデータの同期頻度が「第1頻度」の一例にあたり、ファイルデータの同期頻度が「第2頻度」の一例にあたる。
次に、図13を参照して、定期同期時の待機ストレージ装置であるストレージ装置200及び300の処理の流れについて説明する。図13は、定期同期時の待機ストレージ装置同士の処理のシーケンス図である。ここでは、メタデータ211に対して非同期ミラーを行う場合で説明する。また、ここでは、待機ストレージ装置であるストレージ装置300がストレージ装置200と同様の構成を有する場合で説明する。この場合、ストレージ装置200のデータ記憶部201が、「特定の第2記憶部」の一例にあたる。また、ストレージ装置300のデータ記憶部202が、「他の第2記憶部」の一例にあたる。
ストレージ装置200及び300は、定期的にスリープ状態から復帰する(ステップS321)。そして、ストレージ装置300の同期エージェント204は、同期のポリシーをストレージ装置300のバックアップ側同期制御情報207から取得する(ステップS322)。そして、ストレージ装置300の同期エージェント204は、メタ同期周期が到来したか否かを判定する(ステップS323)。メタ同期周期が到来していない場合(ステップS323:否定)、ストレージ装置300の同期エージェント204は、ステップS332へ進む。
これに対して、メタ同期周期が到来した場合(ステップS323:肯定)、ストレージ装置300の同期エージェント204は、メタデータバックアップ日時をストレージ装置300のバックアップ側同期制御情報207から取得する(ステップS324)。そして、ストレージ装置300の同期エージェント204は、メタデータバックアップ日時以降のメタデータ211の取得要求をストレージ装置200の同期エージェント204へ送信する(ステップS325)。ストレージ装置200の同期エージェント204は、メタデータバックアップ日時をストレージ装置200のバックアップ側制御情報207から取得する(ステップS326)。次に、ストレージ装置200の同期エージェント204は、取得した情報を用いて、同期元のデータバックアップ日時以降から自装置のメタデータバックアップ日時までのメタデータ211をデータ記憶部201から取得する(ステップS327)。そして、ストレージ装置200の同期エージェント204は、取得したメタデータ211をストレージ装置300の同期エージェント204へ送信する(ステップS328)。
ストレージ装置300の同期エージェント204は、受信したメタデータ211をストレージ装置300のデータ記憶部201に書き込みメタデータ211を更新する(ステップS329)。さらに、ストレージ装置300の同期エージェント204は、今回のメタデータ211の更新内容をストレージ装置300のメタデータ更新差分206に追加する(ステップS330)。次に、ストレージ装置300の同期エージェント204は、バックアップ側同期制御情報207におけるストレージ装置300のメタデータバックアップ日時を更新する(ステップS331)。
次に、ストレージ装置300の同期エージェント204は、データ同期周期が到来したか否かを判定する(ステップS332)、データ同期周期が到来していない場合(ステップS332:否定)、ストレージ装置200及び300はスリープ状態に遷移し、処理はステップS321へ戻る。
これに対して、データ同期周期が到来した場合(ステップS332:肯定)、ストレージ装置300の同期エージェント204は、ファイルデータバックアップ日時をストレージ装置300のバックアップ側同期制御情報207から取得する(ステップS333)。そして、ストレージ装置300の同期エージェント204は、ファイルデータバックアップ日時以降に更新されたメタデータ211の情報をストレージ装置300のメタデータ更新差分206から取得する(ステップS334)。次に、ストレージ装置300の同期エージェント204は、ファイルデータバックアップ日時以降に更新されたメタデータ211に対応するファイルデータ212の取得要求をストレージ装置200の同期エージェント204へ送信する(ステップS335)。ストレージ装置200の同期エージェント204は、ファイルデータバックアップ日時以降に更新されたメタデータ211に対応するファイルデータ212をストレージ装置200のデータ記憶部201から取得する(ステップS336)。そして、ストレージ装置200の同期エージェント204は、取得したファイルデータ212をストレージ装置300の同期エージェント204へ送信する(ステップS337)。
ストレージ装置300の同期エージェント204は、受信したファイルデータ212をストレージ装置300のデータ記憶部201に書き込みファイルデータ212を更新する(ステップS338)。さらに、ストレージ装置300の同期エージェント204は、ストレージ装置300のバックアップ側同期制御情報207におけるファイルデータバックアップ日時を更新する(ステップS339)。そして、ストレージ装置300の同期エージェント204は、全てのファイルデータ212について同期が終了したか否かを判定する(ステップS340)。同期していないファイルデータ212がある場合(ステップS340:否定)、ストレージ装置300の同期エージェント204は、ステップS333へ戻る。これに対して、全てのファイルデータ212の同期が完了した場合(ステップS340:肯定)、ストレージ装置200及び300はスリープ状態に遷移し、処理はステップS321へ戻る。
ここで、メタデータ111に対して同期ミラーが行われる場合は、ステップS323からステップS331までを飛ばして、ステップS332からステップS340までが行われることになる。
例えばここで説明したように、待機ストレージ装置であるストレージ装置200を同期元とし、他の待機ストレージ装置であるストレージ装置300を同期先とした場合のメタデータの同期頻度が「第3頻度」の一例にあたる。また、ファイルデータの同期頻度が「第4頻度」の一例にあたる。
次に、図14を参照して、マイグレーション実行時の運用管理サーバ41の処理の流れについて説明する。図14は、マイグレーション実行時の運用管理サーバの処理のシーケンス図である。ここでは、ストレージ装置100からストレージ装置200へ運用ストレージ装置を切り替える場合で説明する。
管理マネージャ42は、切替元及び切替先のデータセンタの情報、切替後の同期先及び同期のポリシーを含む切替情報の入力を管理端末44から受ける(ステップS401)。そして、管理マネージャ42は、切替後の各ストレージ100及び300の同期先のデータセンタの情報を同期管理情報記憶部43に格納する(ステップS402)。また、管理マネージャ42は、ストレージ装置100及び300が配置された各データセンタの同期のポリシーを同期管理情報記憶部43に保存する(ステップS403)。
次に、管理マネージャ42は、同期先、各同期先の優先度を含む各同期先のポリシーをストレージ装置100〜300へ配布する(ステップS404)。その後、管理マネージャ42は、同期先のデータセンタの変更指示をストレージ装置100及び300へ送信する(ステップS405)。
ストレージ装置100及び200は、マイグレーションにおける運用ストレージ装置の切替処理を実行する(ステップS406)。その後、管理マネージャ407は、切替完了の通知をストレージ装置200から取得し、マイグレーション処理を終了する(ステップS407)。
次に、図15を参照して、マイグレーション実行時の運用ストレージ装置であるストレージ装置100及び待機ストレージ装置であるストレージ装置200の処理の流れについて説明する。図15は、マイグレーション実行時の運用ストレージ装置及び待機ストレージ装置の処理のシーケンス図である。ここでは、ストレージ装置100からストレージ装置200へ所定のサービス提供元の切り替えを行う場合で説明する。この図15に示す処理は、図14におけるステップS406で実行される処理の一例にあたる。
同期エージェント104及び204は、所定のサービスを提供するデータセンタをデータセンタ10からデータセンタ20へ切り替える指示を運用管理サーバ41から受信する(ステップS410)。同期エージェント104は、運用側同期制御情報107を用いて切替先のデータセンタを確認する(ステップS411)。同期エージェント204は、バックアップ側同期制御情報207を用いて切替元のデータセンタを確認する(ステップS412)。そして、同期エージェント104は、ストレージ装置200を接続先として確認する(ステップS413)。また、同期エージェント204は、ストレージ装置100を接続先として確認する(ステップS414)。
次に、同期エージェント104は、業務サーバである仮想マシン13にI/O停止指示を行う(ステップS415)。これを受けて、仮想マシン13は、I/O処理を停止する。次に、同期エージェント104は、メタ同期の開始を同期エージェント204に通知する(ステップS416)。
同期エージェント204は、メタ同期開始の通知を受けて、メタデータバックアップ日時をバックアップ側同期制御情報207から取得する(ステップS417)。そして、同期エージェント204は、メタデータバックアップ日時以降のメタデータ111の取得要求を同期エージェント104へ送信する(ステップS418)。
同期エージェント104は、メタデータ111の取得要求を受けて、ストレージ装置200のメタデータバックアップ日時以降のメタデータ111をデータ記憶部101から取得する(ステップS419)。そして、同期エージェント104は、取得したストレージ装置200のメタデータバックアップ日時以降のメタデータ111を同期エージェント204へ送信する(ステップS420)。同期エージェント204は、受信したメタデータ111をデータ記憶部201へ格納してメタデータ211を更新する(ステップS421)。
さらに、同期エージェント104は、メタデータ更新リスト105を取得する(ステップS422)。そして、同期エージェント104は、メタデータ更新リスト105を同期エージェント204へ送信する(ステップS423)。同期エージェント204は、メタデータ更新リスト105をメタデータ更新リスト205として同期情報記憶部220へ格納する(ステップS424)。ここで、切り替え時点で更新されていないメタデータ211が存在する場合、同期エージェント204は、メタデータ更新リスト205とメタデータ更新差分206とを比較して、切り替え時点で更新されていないメタデータ211を特定する。そして、同期エージェント204は、切り替え時点で更新されていないメタデータ211をバックアップ側同期制御情報207に指定されている同期元から取得する。その後、同期エージェント204は、メタデータ更新完了通知を同期エージェント104へ通知する(ステップS425)。
同期エージェント104は、所定のサービスのデータが格納されていたディスクを解体、すなわち同期の設定の解除などを行う(ステップS426)。さらに、同期エージェント104は、解体したディスクを、I/O時に運用ストレージ装置としてストレージ装置200と同期をとらないように再構築する(ステップS427)。その後、同期エージェント104は、ディスク再構築の完了を同期エージェント204へ通知する(ステップS428)。
同期エージェント204は、所定のサービスのデータを格納したディスクを解体する(ステップS429)。さらに、同期エージェント204は、解体したディスクを、再構築する(ステップS430)。例えば、ストレージ装置300と同期をとる場合には、同期エージェント204は、I/O時にストレージ装置300と同期をとるように設定する。
その後、同期エージェント204は、I/O再開を仮想マシン13に指示する(ステップS431)。さらに、同期エージェント204は、切替完了の通知を運用管理サーバ41へ送信する(ステップS432)。
以上に説明したように、本実施例に係る情報処理システムは、メタデータを優先して同期させておき、後からファイルデータの同期を行う。そして、本実施例に係る情報処理システムは、同期先のメタデータ及びファイルデータを用いてマイグレーションを行い、切替先で不足しているメタデータは切替先のストレージ装置が同期元としていたストレージ装置から取得する。そして、マイグレーションにおける切替先のストレージ装置は、不足しているファイルデータを後から取得する。これにより、バックアップ時間が短縮できるとともに、マイグレーション時間が短縮できる。さらに、更新されたメタデータに対応するファイルデータを後から取得することで、同期におけるデータの完全性を保証することができる。さらに、バックアップ先を複数持つことができ、また、各ストレージ装置はバックアップのバックアップを取ることができる。これにより、マイグレーション先を複数確保することができ、安全性が向上できるとともに、バックアップコストを抑えることができる。
さらに、以上で説明した情報システムは、ワンストップサービスだけではなく、バックアップをとっておき、そのバックアップを有するストレージに切り替えて運用を継続する構成であれば他の構成に用いることもできる。例えば、災害対策のための情報処理システムとして用いることもできる。
10,20 データセンタ
11,21 スイッチ
12,22 物理サーバ
13,23 仮想マシン
14,24 スイッチ
30 顧客サイト
31 顧客端末
40 運用管理サイト
41 運用管理サーバ
42 管理マネージャ
43 同期情報記憶部
44 管理端末
101,201 データ記憶部
102,202 マネージャ
103,203 エージェント
104,204 同期エージェント
105,205 メタデータ更新リスト
106,206 メタデータ更新差分
107 運用側同期制御情報
131,231 I/O処理部
141,241 接続制御部
142,242 同期処理実行部
143,243 メタデータ処理部
144,244 ファイルデータ処理部
207 バックアップ側同期制御情報
111,211 メタデータ
112,212 ファイルデータ

Claims (7)

  1. 第1情報処理装置、第2情報処理装置及び運用管理装置を有する情報処理システムであって、
    前記第1情報処理装置は、
    更新日時を含む管理データ及び前記管理データに対応する実データを有する運用データを記憶する第1記憶部を備え、
    前記第2情報処理装置は、
    第2記憶部と、
    前記管理データを前記第1記憶部から第1頻度で取得し、前記第2記憶部に記憶させる第1管理データ取得部と、
    前記第1管理データ取得部による前記管理データの更新履歴を基に、前記第2記憶部に記憶された前記実データの最終取得日時以降に更新された前記管理データを特定し、特定した前記管理データに対応する前記実データを、前記第1記憶部から前記第1頻度より低い第2頻度で取得し、前記第2記憶部に記憶させる第1実データ取得部とを備え、
    前記運用管理装置は、
    前記第1記憶部に記憶された前記運用データを用いて実行される読出書込処理を、前記第2記憶部に記憶された前記管理データ及び前記実データを用いて実行されるように切り替える切替部を備えた
    ことを特徴とする情報処理システム。
  2. 前記第1情報処理装置は、
    前記第1記憶部に記憶された前記管理データの更新履歴を記憶する運用データ更新履歴格納部をさらに備え、
    前記第1実データ取得部は、前記切替部による切り換え時に、前記運用データ更新履歴格納部に格納された更新履歴及び前記第1管理データ取得部による前記管理データの更新履歴を基に、未更新の前記管理データを特定し、特定した前記管理データを取得する
    ことを特徴とする請求項1に記載の情報処理システム。
  3. 第3記憶部と、
    前記第2記憶部から前記管理データを第3頻度で取得し、前記第3記憶部に記憶させる第2管理データ取得部と、
    前記第2管理データ取得部による前記管理データの更新履歴を基に、前記第3記憶部に記憶された前記実データの最終取得日時以降に更新された前記第3記憶部内の前記管理データを特定し、特定した前記管理データに対応する前記実データを、前記第2記憶部から前記第3頻度より低い第4頻度で取得し、前記第3記憶部に記憶させる第2実データ取得部とを有する第3情報処理装置をさらに備えた
    ことを特徴とする請求項1又は2に記載の情報処理システム。
  4. 前記第2情報処理装置は複数あり、
    前記運用管理装置は、
    各前記第2情報処理装置の優先度を記憶する優先度記憶部と、
    前記優先度を基に、各前記第2情報処理装置の前記第1管理データ取得部に対して、各前記第1管理データ取得部が用いる前記第1頻度及び前記第2頻度を通知する
    ことを特徴とする請求項1〜3のいずれか一つに記載の情報処理システム。
  5. 更新日時を含む管理データ及び前記管理データに対応する実データを有する運用データを記憶する第1記憶部から前記管理データを第1頻度で取得し、第2記憶部に記憶させる第1管理データ取得部と、
    前記第1管理データ取得部による前記管理データの更新履歴を基に、前記第2記憶部に記憶された前記実データの最終取得日時以降に更新された前記管理データを特定し、特定した前記管理データに対応する前記実データを、前記第1記憶部から前記第1頻度より低い第2頻度で取得し、前記第2記憶部に記憶させる第1実データ取得部と、
    を備えたことを特徴とする情報処理装置。
  6. 前記第1記憶部に記憶された前記運用データを用いて実行される読出書込処理が、前記第2記憶部に記憶された前記管理データ及び前記実データを用いて実行されるように切り替えられることを特徴とする請求項5に記載の情報処理装置。
  7. 更新日時を含む管理データ及び前記管理データに対応する実データを有する運用データを記憶する第1記憶部から前記管理データを第1頻度で取得し、
    取得した前記管理データを第2記憶部に記憶させ、
    前記第2記憶部における前記管理データの更新履歴を格納し、
    前記第1記憶部から取得した実データを前記第2記憶部に記憶させた最終取得日時を保持し、
    前記第1頻度より低い第2頻度で、前記更新履歴を基に、前記最終取得日時以降に更新された前記管理データを特定し、
    特定した前記管理データに対応する前記実データを取得し、
    取得した前記実データを前記第2記憶部に記憶させる
    処理をコンピュータに実行させることを特徴とする情報処理装置制御方法。
JP2015123243A 2015-06-18 2015-06-18 情報処理システム、情報処理装置及び情報処理装置制御方法 Active JP6520448B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015123243A JP6520448B2 (ja) 2015-06-18 2015-06-18 情報処理システム、情報処理装置及び情報処理装置制御方法
US15/133,253 US10445189B2 (en) 2015-06-18 2016-04-20 Information processing system, information processing apparatus, and information processing apparatus control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015123243A JP6520448B2 (ja) 2015-06-18 2015-06-18 情報処理システム、情報処理装置及び情報処理装置制御方法

Publications (2)

Publication Number Publication Date
JP2017010172A JP2017010172A (ja) 2017-01-12
JP6520448B2 true JP6520448B2 (ja) 2019-05-29

Family

ID=57588201

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015123243A Active JP6520448B2 (ja) 2015-06-18 2015-06-18 情報処理システム、情報処理装置及び情報処理装置制御方法

Country Status (2)

Country Link
US (1) US10445189B2 (ja)
JP (1) JP6520448B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10168920B2 (en) * 2015-08-21 2019-01-01 International Business Machines Corporation Duplexing file system data
JP6662131B2 (ja) * 2016-03-17 2020-03-11 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP6371017B1 (ja) * 2018-01-12 2018-08-08 株式会社アドイン研究所 情報処理システム、情報処理方法及びプログラム
JP7373314B2 (ja) * 2019-07-01 2023-11-02 キヤノンメディカルシステムズ株式会社 通信制御装置および通信制御方法
JP7361508B2 (ja) * 2019-07-03 2023-10-16 アズビル株式会社 情報記憶装置、情報出力方法、および、冗長化システム
CN113485981B (zh) * 2021-08-12 2024-06-21 北京青云科技股份有限公司 数据迁移方法、装置、计算机设备和存储介质
US11914883B2 (en) 2022-03-04 2024-02-27 International Business Machines Corporation Copy from LTFS to disk

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4349871B2 (ja) * 2003-09-09 2009-10-21 株式会社日立製作所 ファイル共有装置及びファイル共有装置間のデータ移行方法
JP4404246B2 (ja) 2003-09-12 2010-01-27 株式会社日立製作所 データ特性に基づくバックアップシステム及び方法
JP4313650B2 (ja) * 2003-11-07 2009-08-12 株式会社日立製作所 ファイルサーバ、冗長度回復方法、プログラム及び記録媒体
JP4477950B2 (ja) * 2004-07-07 2010-06-09 株式会社日立製作所 リモートコピーシステム及び記憶装置システム
JP4369471B2 (ja) * 2006-12-27 2009-11-18 富士通株式会社 ミラーリングプログラム、ミラーリング方法、情報記憶装置
JP5183300B2 (ja) * 2008-05-28 2013-04-17 株式会社日立製作所 ファイルシステムの移行方法、移行計算機及びプログラム
JP5023018B2 (ja) 2008-08-21 2012-09-12 株式会社日立製作所 ストレージシステム及びデータ管理方法
US8171060B2 (en) * 2008-12-03 2012-05-01 Hitachi, Ltd. Storage system and method for operating storage system
US8688632B2 (en) * 2011-11-09 2014-04-01 Hitachi, Ltd. Information processing system and method of controlling the same
US9213490B2 (en) * 2012-06-18 2015-12-15 Hitachi, Ltd. Computer system and data migration method

Also Published As

Publication number Publication date
US20160371151A1 (en) 2016-12-22
US10445189B2 (en) 2019-10-15
JP2017010172A (ja) 2017-01-12

Similar Documents

Publication Publication Date Title
JP6520448B2 (ja) 情報処理システム、情報処理装置及び情報処理装置制御方法
US9984140B1 (en) Lease based leader election system
US11663085B2 (en) Application backup and management
US20200034210A1 (en) Maintaining two-site configuration for workload availability between sites at unlimited distances for products and services
US10084858B2 (en) Managing continuous priority workload availability and general workload availability between sites at unlimited distances for products and services
US9529550B2 (en) Managing access of multiple executing programs to non-local block data storage
US8918392B1 (en) Data storage mapping and management
US20080244552A1 (en) Upgrading services associated with high availability systems
US8930364B1 (en) Intelligent data integration
US20140281317A1 (en) Providing executing programs with reliable access to non-local block data storage
JP2005196683A (ja) 情報処理システム、情報処理装置、及び情報処理システムの制御方法
JP2005242403A (ja) 計算機システム
JP2007079885A (ja) データ入出力負荷分散方法、データ入出力負荷分散プログラム、計算機システムおよび管理サーバ
CN101136728A (zh) 群集系统和用于备份群集系统中的副本的方法
JP2009157785A (ja) 待機系計算機の追加方法、計算機及び計算機システム
CN103593387A (zh) 在多个阶段高效地存储和检索数据和元数据的方法和系统
US20220100618A1 (en) Anti-entropy-based metadata recovery in a strongly consistent distributed data storage system
US9201740B2 (en) Computer system, cluster management method, and management computer
JP2007249776A (ja) データベース複製プログラム、データベース複製装置およびデータベース複製方法
JP5724735B2 (ja) データベース更新制御装置、データベース管理システムおよびデータベース更新制御プログラム
US9396076B2 (en) Centralized version control system having high availability
CN110413262A (zh) 一种业务功能的管理方法、装置及系统
WO2007094041A1 (ja) サーバ管理装置及びサーバ管理プログラム
JP6954693B2 (ja) フォールトトレラントシステム、サーバ、それらの運用方法、及びプログラム
US20240028611A1 (en) Granular Replica Healing for Distributed Databases

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190415

R150 Certificate of patent or registration of utility model

Ref document number: 6520448

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150