JP4272465B2 - バックアップデータ復旧方法、並びに、ネットワーク蓄積装置及びネットワーク蓄積プログラム - Google Patents

バックアップデータ復旧方法、並びに、ネットワーク蓄積装置及びネットワーク蓄積プログラム Download PDF

Info

Publication number
JP4272465B2
JP4272465B2 JP2003132668A JP2003132668A JP4272465B2 JP 4272465 B2 JP4272465 B2 JP 4272465B2 JP 2003132668 A JP2003132668 A JP 2003132668A JP 2003132668 A JP2003132668 A JP 2003132668A JP 4272465 B2 JP4272465 B2 JP 4272465B2
Authority
JP
Japan
Prior art keywords
data
storage device
backup
area
association information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003132668A
Other languages
English (en)
Other versions
JP2004334739A (ja
Inventor
治夫 横田
隆志 小林
明嗣 渡邊
知広 花井
宗慶 山口
亮 田口
直人 林
年博 上原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Institute of Technology NUC
Japan Broadcasting Corp
Original Assignee
Tokyo Institute of Technology NUC
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Institute of Technology NUC, Japan Broadcasting Corp filed Critical Tokyo Institute of Technology NUC
Priority to JP2003132668A priority Critical patent/JP4272465B2/ja
Publication of JP2004334739A publication Critical patent/JP2004334739A/ja
Application granted granted Critical
Publication of JP4272465B2 publication Critical patent/JP4272465B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、ネットワーク上で、原データとその原データのバックアップデータとを分散させて蓄積するデータの蓄積技術に関する。
【0002】
【従来の技術】
近年、コンピュータで利用するデータ量は増加し続けており、それに伴いデータを蓄積する蓄積装置(ディスク)の容量も増大している。しかし、蓄積装置は故障する可能性があるため、蓄積装置の故障によるデータの損失は、蓄積装置の容量の増大に伴い大きくなっている。
【0003】
そこで、従来では、データを複数の蓄積装置に分散させるとともに、バックアップデータを元となる原データとは異なる蓄積装置に蓄積(作成)することでデータの多重化を行い、ある蓄積装置が故障した場合のデータの障害回復の時間を低減させる技術が提案されている(例えば、非特許文献1参照。)。
【0004】
ここで、図9を参照して、従来のバックアップデータの作成について説明を行う。図9は、複数の自律蓄積装置(自律ディスク)をネットワークに接続してデータの多重化を行う、従来の自律分散蓄積システムの構成を示す構成図である。図9に示すように、自律分散蓄積システム100Cは、ここでは、ネットワークNに接続された4台の自律蓄積装置1C(1C1〜1C4)で構成されている。この自律分散蓄積システム100Cは、図示していないクライアントコンピュータ等からデータの書き込み要求があったときに、各々の自律蓄積装置1C(1C1〜1C4)間でデータの分散を行い、分散化されたデータを蓄積装置2C(2C1〜2C4)に蓄積するものである。
【0005】
自律蓄積装置1Cは、蓄積装置2Cとコントローラ3Cとで構成されている。
蓄積装置2Cは、ハードディスク等の一般的な記録媒体であって、ここでは、原データを蓄積するプライマリ領域Pと、バックアップデータを蓄積するバックアップ領域Bとに論理的に分割されている。
コントローラ3Cは、CPUやメモリ等を備えたコンピュータであって、各コントローラ3C(3C1〜3C4)間で、データの分散や障害回復を行うものである。
【0006】
このように、自律分散蓄積システム100Cを構成することで、クライアントコンピュータ等からデータの書き込み要求があったときに、自律蓄積装置1Cは、各コントローラ3C(3C1〜3C4)間でデータの分散を行い、蓄積装置2C(2C1〜2C4)のプライマリ領域Pにデータ(原データ:P1〜P4)を分散して書き込む。また、このとき、自律蓄積装置1Cは、各コントローラ3C(3C1〜3C4)を介して、原データを蓄積した蓄積装置とは異なる蓄積装置のバックアップ領域Bに、原データのバックアップデータを書き込む。例えば、蓄積装置2C1のプライマリ領域Pに蓄積されている原データP1は、蓄積装置2C2のバックアップ領域BにバックアップデータB1として書き込まれる。
【0007】
次に、図10を参照(適宜図9参照)して、従来のデータの回復処理について説明を行う。図10は、従来の自律分散蓄積システムにおいて、ある自律蓄積装置内の蓄積装置が故障したときの、データの回復処理の手順を示した模式図である。なお、ここでは、説明を簡略化するため、自律蓄積装置1Cの蓄積装置2C(2C1〜2C4)のみを図示して説明を行うこととする。また、ここでは、蓄積装置2C2が故障したこととする。
【0008】
図10(a)に示すように、蓄積装置2C2が故障した場合、原データP2とバックアップデータB1とが消失したことになる。そこで、コントローラ3C3(図9)が、原データP2のバックアップデータB2を、蓄積装置2C3内でバックアップ領域Bからプライマリ領域Pに記憶し直し(昇格)、原データP2を復旧させる。
【0009】
そして、図10(b)に示すように、蓄積装置2C3のプライマリ領域Pに記憶した原データP2を、蓄積装置2C4のバックアップ領域BにバックアップデータB2として転送し記憶する。さらに、蓄積装置2C1のプライマリ領域Pに記憶されている原データP1を、蓄積装置2C3のバックアップ領域BにバックアップデータB1として転送し記憶する。これによって、原データP1及びP2のバックアップデータB1及びB2が作成されたことになる。
【0010】
【非特許文献1】
伊藤大輔,「自律ディスク上の分散ディレクトリの負荷均衡機構を用いたクラスタ再構成」、第13回データ工学ワークショップ論文集、DEWS2002 C3−3、電子情報通信学会データ工学研究専門委員会(2002)
【0011】
【発明が解決しようとする課題】
しかし、前記従来の技術では、故障した自律蓄積装置に蓄積されている原データは、故障した自律蓄積装置とは異なる、他の一つの自律蓄積装置の蓄積装置内(例えば、図10においては蓄積装置2C3)にのみバックアップデータを蓄積している。また、そのバックアップデータは、バックアップ領域からプライマリ領域へ、原データとして復旧(昇格)するまで、読み出すことができない。
このため、従来の自律分散蓄積システムにおいては、ある自律蓄積装置が故障した場合、データが読み出し可能状態になるまでに時間がかかってしまうという問題があった。
【0012】
また、前記従来の自律分散蓄積システムにおいて、故障した自律蓄積装置に蓄積されているデータ(原データ及びバックアップデータ)が回復した段階で、各々の自律蓄積装置間で蓄積しているデータの偏りが大きくなってしまう。例えば、図10(b)に示したように、プライマリ領域Pにおいては蓄積装置2C3における原データのみが増大することになり、データの読み出し時に蓄積装置2C3に過度の負荷がかかってしまうという問題があった。
【0013】
本発明は、以上のような問題点に鑑みてなされたものであり、複数の蓄積装置でデータの多重化を行う際に、バックアップデータを復旧させるまでの時間を短縮し、データ復旧時に蓄積装置間のデータの偏りを小さくすることを可能にしたデータのバックアップ方法及びバックアップデータ復旧方法、並びに、ネットワーク蓄積装置及びネットワーク蓄積プログラムを提供することを目的とする。
【0014】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項1に記載のバックアップデータ復旧方法は、複数の蓄積装置間で、原データとその原データのバックアップデータとを分散させて蓄積するバックアップデータ復旧方法であって、前記蓄積装置に、前記原データを記憶するプライマリ領域と、前記バックアップデータを記憶するバックアップ領域とからなる複数の論理記憶区分を設定し、前記論理記憶区分と他の蓄積装置の論理記憶区分とを関連付け、その関連付けられた関連付け情報に基づいて、前記論理記憶区分間で、お互いにプライマリ領域に記憶される原データを、他の論理記憶区分のバックアップ領域にバックアップデータとして記憶させることを特徴とする。
【0015】
この方法によれば、蓄積装置に、原データを記憶するプライマリ領域と、バックアップデータを記憶するバックアップ領域とからなる複数の論理記憶区分を設定するため、個々の論理記憶区分内のプライマリ領域に原データを分散して記憶することができる。また、この方法は、個々の論理記憶区分と他の蓄積装置の論理記憶区分とを関連付けし、一方の蓄積装置の論理記憶区分のプライマリ領域に記憶されている原データを、関連付けられている他方の蓄積装置の論理記憶区分のバックアップ領域にお互いにバックアップデータを記憶し合う。
これによって、原データが同一蓄積装置内で分散され、その分散された原データが、異なる他の蓄積装置にそれぞれバックアップデータとして記憶されるため、バックアップデータを複数の蓄積装置に分散して記憶することが可能になる。
【0016】
また、請求項に記載のバックアップデータ復旧方法は、原データとその原データのバックアップデータとを分散させた状態で、前記蓄積装置の一つに障害が発生したときに、前記バックアップデータを復旧させるバックアップデータ復旧方法であって、通信ステップと、データ書き込みステップと、バックアップデータ転送ステップと、稼動判定ステップと、記憶領域変更ステップと、関連付け情報更新ステップとを含んでいることを特徴とする。
【0017】
この方法によれば、原データを記憶するプライマリ領域と、バックアップデータを記憶するバックアップ領域とからなる複数の論理記憶区分を設定した複数の蓄積装置で、お互いにバックアップデータを記憶し合った状態で、蓄積装置の一つに障害が発生したときに、記憶領域変更ステップで、障害が発生した蓄積装置の論理記憶区分に予め関連付け情報で関連付けられている他の蓄積装置の論理記憶区分内で、バックアップ領域に記憶されているバックアップデータを、原データとしてプライマリ領域に記憶し直す。これによって、障害が発生した蓄積装置に記憶されていた原データが復旧される。
【0018】
そして、関連付け情報更新ステップで、関連付け情報を更新する。この関連付け情報更新ステップでは、障害が発生した蓄積装置に関連付けられている蓄積装置の論理記憶区分同士を関連付ける。そして、バックアップデータ転送ステップで、更新された関連付け情報に基づいて、記憶領域変更ステップで記憶し直されたプライマリ領域の原データを、他の蓄積装置のバックアップ領域にバックアップデータとして記憶する。これによって、復旧された原データのバックアップデータが作成されることになる。
【0019】
さらに、請求項に記載のバックアップデータ復旧方法は、請求項に記載のバックアップデータ復旧方法の記憶領域変更ステップにおいて、前記バックアップ領域に記憶されているバックアップデータを、原データとして前記プライマリ領域に記憶し直すときに、すでに前記プライマリ領域に記憶されていた原データを、同一蓄積装置内の他の論理記憶区分のプライマリ領域に記憶し直すことを特徴とする。
【0020】
この方法によれば、障害が発生した蓄積装置に関連付けられた蓄積装置のプライマリ領域に記憶されていた原データを、同一蓄積装置内における他の論理記憶区分のプライマリ領域に記憶し直すため、その論理記憶区分に関連付けられている他の蓄積装置のバックアップ領域に原データのバクアップが作成される。これによって、バックアップデータを分散して記憶させることができる。
【0021】
また、請求項に記載のネットワーク蓄積装置は、ネットワークに複数接続されて、原データとその原データのバックアップデータとを分散させて蓄積するネットワーク蓄積装置であって、蓄積装置と、関連付け情報記憶手段と、通信手段と、プライマリ領域書き込み手段及びバックアップ領域書き込み手段から構成されるデータ書き込み手段と、バックアップデータ転送手段と、を備える構成とした。
【0022】
かかる構成によれば、ネットワーク蓄積装置は、原データを記憶するプライマリ領域と、バックアップデータを記憶するバックアップ領域とからなる複数の論理記憶区分を設定した蓄積装置を備え、その複数の論理記憶区分と他のネットワーク蓄積装置とは、関連付け情報記憶手段によって関連付け情報で関連付けられている。
【0023】
そして、ネットワーク蓄積装置は、プライマリ領域書き込み手段によって、入力された原データを、複数の論理記憶区分のプライマリ領域に分散して書き込む。また、ネットワーク蓄積装置は、バックアップデータ転送手段によって、プライマリ領域に書き込まれた原データを、関連付け情報で関連付けられている他のネットワーク蓄積装置にバックアップデータとして転送する。
また、ネットワーク蓄積装置は、バックアップ領域書き込み手段によって、他のネットワーク蓄積装置から転送されるバックアップデータを、関連付け情報で関連付けられている論理記憶区分のバックアップ領域に書き込む。
【0024】
このように、一旦原データを複数の論理記憶区分に分散させて書き込み、その分散されたデータを、それぞれの論理記憶区分に関連付けられている他のネットワーク蓄積装置にバックアップデータとして転送するため、バックアップデータそのものを、ネットワーク上で分散させることができる。
【0025】
さらに、請求項に記載のネットワーク蓄積装置は、稼動判定手段と、記憶領域変更手段と、関連付け情報更新手段とを備え、前記バックアップデータ転送手段が、前記プライマリ領域に記憶されている原データを、前記関連付け情報に基づいて、稼動している他のネットワーク蓄積装置にバックアップデータとして転送することを特徴とする。
【0026】
かかる構成によれば、ネットワーク蓄積装置は、稼動判定手段によって、他のネットワーク蓄積装置の稼動状態を判定する。そして、ネットワーク蓄積装置は、稼動判定手段で稼動していないと判定した他のネットワーク蓄積装置に関連付けられている論理記憶区分内で、バックアップ領域に記憶されているバックアップデータを、原データとしてプライマリ領域に記憶し直す。これによって、障害が発生した他のネットワーク蓄積装置の原データを読み出し可能状態に復旧させることができる。
【0027】
そして、ネットワーク蓄積装置は、関連付け情報更新手段によって、稼動判定手段で判定した稼動状態に基づいて、関連付け情報を更新する。これによって、バックアップデータ転送手段が、障害が発生していない正常に動作しているネットワーク蓄積装置に対してバックアップデータを送信することができる。
【0028】
また、請求項に記載のネットワーク蓄積装置は、請求項に記載のネットワーク蓄積装置において、記憶領域変更手段が、すでにプライマリ領域に記憶されていた原データを他の論理記憶区分のプライマリ領域に記憶し直し、バックアップデータ転送手段が、各々のプライマリ領域の原データを、関連付け情報に基づいて、他のネットワーク蓄積装置にバックアップデータとして転送することを特徴とする。
【0029】
かかる構成によれば、ネットワーク蓄積装置は、記憶領域変更手段が、すでにプライマリ領域に記憶されていた原データを、他の論理記憶区分のプライマリ領域に記憶し直すため、バックアップ領域のバックアップデータからプライマリ領域に記憶し直した原データとは、異なる論理記憶区分に記憶されることになる。これによって、各々の論理記憶区分で異なるネットワーク蓄積装置にバックアップデータを転送することが可能になり、バックアップデータを分散させることができる。
【0030】
さらに、請求項に記載のネットワーク蓄積プログラムは、原データを記憶するプライマリ領域と、バックアップデータを記憶するバックアップ領域とからなる複数の論理記憶区分を設定した蓄積装置を備えた複数のネットワーク蓄積装置で、前記複数の論理記憶区分と前記複数のネットワーク蓄積装置とを関連付けた関連付け情報に基づいて、前記原データとその原データのバックアップデータとを、ネットワーク上で分散させて蓄積するために、前記ネットワーク蓄積装置において、コンピュータを、以下の各手段として機能させる構成とした。
すなわち、通信手段、プライマリ領域書き込み手段及びバックアップ領域書き込み手段から構成されるデータ書き込み手段、バックアップデータ転送手段、稼動判定手段、記憶領域変更手段、関連付け情報更新手段として機能させることとした。
【0031】
かかる構成によれば、ネットワーク蓄積プログラムは、プライマリ領域書き込み手段によって、入力された原データを、複数の論理記憶区分のプライマリ領域に分散して書き込む。また、ネットワーク蓄積プログラムは、バックアップデータ転送手段によって、プライマリ領域に書き込まれた原データを、関連付け情報で関連付けられている他のネットワーク蓄積装置にバックアップデータとして転送する。
また、ネットワーク蓄積プログラムは、バックアップ領域書き込み手段によって、他のネットワーク蓄積装置から転送されるバックアップデータを、関連付け情報で関連付けられている論理記憶区分のバックアップ領域に書き込む。
【0032】
このように、一旦原データを複数の論理記憶区分に分散させて書き込み、その分散されたデータを、それぞれの論理記憶区分に関連付けられている他のネットワーク蓄積装置にバックアップデータとして転送するため、バックアップデータそのものを、ネットワーク上で分散させることができる。
【0033】
そして、ネットワーク蓄積プログラムは、稼動判定手段によって、他のネットワーク蓄積装置の稼動状態を判定する。そして、ネットワーク蓄積プログラムは、稼動判定手段で稼動していないと判定した他のネットワーク蓄積装置に関連付けられている論理記憶区分内で、バックアップ領域に記憶されているバックアップデータを、原データとしてプライマリ領域に記憶し直す。これによって、障害が発生した他のネットワーク蓄積装置の原データを読み出し可能状態に復旧させることができる。
【0034】
そして、ネットワーク蓄積プログラムは、関連付け情報更新手段によって、稼動判定手段で判定した稼動状態に基づいて、関連付け情報を更新する。これによって、バックアップデータ転送手段が、障害が発生していない正常に動作しているネットワーク蓄積装置に対してバックアップデータを送信することができる。
【0035】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【0036】
[第一の実施の形態]
(ネットワーク蓄積装置〔自律蓄積装置〕)の構成)
図1は、本発明における第一の実施の形態であるネットワーク蓄積装置の構成を示したブロック図である。ネットワーク蓄積装置1Aは、ネットワークNを介して他の複数のネットワーク蓄積装置と協調して、データの分散と多重化(バックアップ)を行うものである。また、ネットワーク蓄積装置1Aは、他のネットワーク蓄積装置が故障等によって、データを消失した場合、他の稼動しているネットワーク蓄積装置と自律協調してデータの復旧を行うものでもある。以下、ネットワーク蓄積装置を自律蓄積装置と呼ぶこととする。
ここでは、図1に示すように、自律蓄積装置1Aを蓄積装置2Aとコントローラ3Aとで構成した。
【0037】
蓄積装置2Aは、ハードディスク等の一般的な記録媒体であって、クライアントコンピュータ5等から送信されるデータを、コントローラ3Aを介して蓄積するものである。この蓄積装置2Aは、データを蓄積する領域を、原データを蓄積するプライマリ領域Pと、バックアップデータを蓄積するバックアップ領域Bとからなる複数の論理記憶区分(2a1、2a2)に設定(論理的に分割)して構成している。
【0038】
プライマリ領域Pは、自律蓄積装置1Aに蓄積される原データを書き込む領域である。なお、原データは、複数の論理記憶区分(2a1、2a2)に原データP1と原データP2とに分散されて蓄積される。
【0039】
バックアップ領域Bは、ネットワークNに接続された、自律蓄積装置1A以外の自律蓄積装置(1Am、1An、…)に蓄積されている原データのバックアップデータを書き込む領域である。例えば、ネットワークNに接続された、他の2つの自律蓄積装置(1Am、1An)のそれぞれのプライマリ領域に書き込まれている原データのバックアップデータを、バックアップデータBm及びバックアップデータBnとして蓄積する。
【0040】
なお、これらのプライマリ領域P及びバックアップ領域Bには、それぞれ、データが書き込まれている位置情報を有するインデックスを含んでいる。
また、ここでは、蓄積装置2Aに、関連付け情報20を保持(記憶)することとした。
【0041】
関連付け情報20は、蓄積装置2A内の複数の論理記憶区分(2a1、2a2)と、他の自律蓄積装置(1Am、1An)とを関連付けた情報(ルール)である。例えば、個々の論理記憶区分を特定する番号と、他の自律蓄積装置(1Am、1An)の識別子(IPアドレス等)を関連付けておく。これによって、後記するコントローラ3Aが、論理記憶区分2a2のプライマリ領域Pの原データP1及び原データP2を、どの自律蓄積装置にバックアップデータとして転送するかを判断することができる。
【0042】
ここでは、特許請求の範囲に記載の関連付け情報記憶手段を、蓄積装置2Aと同一の記憶手段として構成している。
なお、ここでは、蓄積装置2Aにおいて、データを蓄積する領域を、2つの論理記憶区分(2a1、2a2)に分割しているが、この分割の個数は、これに限定されるものではない。
【0043】
ここで、図4を参照(適宜図1参照)して、関連付け情報20によって、複数の蓄積装置で論理記憶区分を関係付けた状態を具体的に説明する。図4は、複数の自律蓄積装置をネットワークで接続した自律分散蓄積システムの一例を示す構成図である。なお、図4では、蓄積装置2A内における関連付け情報20の図示を省略している。
【0044】
図4に示すように、自律分散蓄積システム100Aは、ここでは、ネットワークNに接続された4台の自律蓄積装置1A(1A1〜1A4)で構成されている。なお、個々の自律蓄積装置1Aは、蓄積装置2Aのデータを蓄積する領域を、2つの論理記憶区分に設定してあるものとする。例えば、自律蓄積装置1A1には、蓄積装置2A1内に2つの論理記憶区分2a1及び2a2を設定している。
【0045】
そして、個々の自律蓄積装置1Aの関連付け情報20(図1)によって、論理的に隣接した自律蓄積装置1A毎に、相互に論理記憶区分を関連付けている。なお、「論理的に隣接」とは、例えば、個々の自律蓄積装置1A固有の識別子(例えば、IPアドレス)等の順番によって、順序付けられた関係において、仮想的に隣接関係を設定したものである。
【0046】
ここでは、自律蓄積装置1A1の蓄積装置2A1内の論理記憶区分2a2と、自律蓄積装置1A2の蓄積装置2A2内の論理記憶区分2a3とを関連付ける。これによって、論理記憶区分2a2のプライマリ領域Pに記憶されている原データP2のバックアップデータを、論理記憶区分2a3のバックアップ領域BにバックアップデータB2として記憶する。また、論理記憶区分2a3のプライマリ領域Pに記憶されている原データP3のバックアップデータを、論理記憶区分2a2のバックアップ領域BにバックアップデータB3として記憶する。
【0047】
これによって、原データを、個々の自律蓄積装置(例えば、1A1)の蓄積装置(2A1)内で、論理記憶区分毎(2a1及び2a2)に分散し、その分散された原データ(P1及びP2)を他の自律蓄積装置(1A4及び1A2)にバックアップデータとして記憶することが可能になる。
図1に戻って説明を続ける。
【0048】
コントローラ3Aは、ネットワークNを介して、他の自律蓄積装置(1Am、1An、…)のコントローラ(図示せず)との間で、データの多重化、並びに、障害回復を行う制御を行うものである。ここでは、コントローラ3Aを通信手段30と、データ書き込み手段31と、バックアップデータ転送手段32と、稼動判定手段33と、記憶領域変更手段34と、関連付け情報更新手段35とを備えて構成した。
【0049】
通信手段30は、ネットワークNを介して、クライアントコンピュータ5や他の自律蓄積装置(1Am、1An、…)と、データの送受信を行うものである。例えば、通信手段30は、TCP/IP(Transmission Control Protocol/Internet Protocol)の通信プロトコルによってデータの送受信を行う。
【0050】
データ書き込み手段31は、通信手段30で受信したデータ(入力データ)を蓄積装置2Aに書き込むものであって、プライマリ領域書き込み部31aと、バックアップ領域書き込み部31bとを備えて構成した。
なお、データ書き込み手段31は、入力データに付加される制御情報に基づいて、その入力データが原データであるかどうかを判断する。入力データが原データである場合は、プライマリ領域書き込み部31aが入力データを処理する。また、入力データが原データでない場合、すなわち、他の自律蓄積装置(1Am、1An、…)から送信されるバックアップデータである場合は、バックアップ領域書き込み部31bが入力データを処理する。
【0051】
プライマリ領域書き込み部(プライマリ領域書き込み手段)31aは、通信手段30で受信したデータ(原データ)を、蓄積装置2Aの論理記憶区分(2a1、2a2)のプライマリ領域Pに分散し、原データP1及び原データP2として書き込むものである。論理記憶区分(2a1、2a2)にデータを分散するには、例えば、データを所定のバイト数毎に、あるいは、複数のファイル(整理されたデータの集まり)を記憶容量がほぼ等しくなるように分け、順次論理記憶区分(2a1、2a2)に書き込むことによって行う。
【0052】
また、このプライマリ領域書き込み部31aは、論理記憶区分へのデータの書き込みが終了した段階で、書き込んだデータのバックアップを他の自律蓄積装置(1Am等)にバックアップデータとして転送する命令(バックアップデータ転送指示)を、バックアップデータ転送手段32に通知する。
【0053】
バックアップ領域書き込み部(バックアップ領域書き込み手段)31bは、通信手段30で受信したデータ(バックアップデータ)を、蓄積装置2Aのバックアップ領域Bに書き込むものである。このバックアップ領域書き込み部31bは、入力データに付加される制御情報に記述されている送信元を確認し、関連付け情報20を参照して、送信元の自律蓄積装置に関連付けられている論理記憶区分のバックアップ領域Bにバックアップデータを書き込む。
【0054】
例えば、関連付け情報20で、論理記憶区分2a1が、自律蓄積装置1Amに関連付けられている場合、バックアップ領域書き込み部31bは、自律蓄積装置1Amから送信されるバックアップデータを、論理記憶区分2a1のバックアップ領域BにバックアップデータBmとして書き込みを行う。
【0055】
バックアップデータ転送手段32は、プライマリ領域書き込み部31aから通知されるバックアップデータ転送指示に基づいて、プライマリ領域Pの原データ(P1等)を、他の自律蓄積装置(1Am等)にバックアップデータとして転送するものである。
【0056】
例えば、プライマリ領域書き込み部31aが、プライマリ領域に原データP1と、原データP2とを書き込んだ場合、バックアップデータ転送手段32は、関連付け情報20を参照して、原データP1を、その原データP1を書き込んだ論理記憶区分2a1に関連付けられている他の自律蓄積装置(例えば、1Am)にバックアップデータとして転送する。また、同様に、原データP2を、その原データP2を書き込んだ論理記憶区分2a2に関連付けられている他の自律蓄積装置(例えば、1An)にバックアップデータとして転送する。
なお、バックアップデータ転送手段32は、障害復旧時に後記する記憶領域変更手段34から、バックアップデータ転送指示を通知された場合、その指示に基づいて、バックアップデータを他の自律蓄積装置に転送する。
【0057】
稼動判定手段33は、他の自律蓄積装置(1Am、1An、…)が稼動しているかどうかを判定するものである。ここでは、関連付け情報20を参照して、論理記憶区分(2a1、2a2)に関連付けられている自律蓄積装置(1Am、1An)に対して、稼動の判定を行うこととする。
【0058】
この稼動の判定は、定期的に他の自律蓄積装置(1Am、1An)に対して、応答を要求する命令を発行し、その応答の有無によって行う。例えば、TCP/IPのIPレベルで通信を行うことができるかどうかを確認するpingコマンドによって稼動の判定を行うことができる。これによって、稼動判定手段33は、本体の故障、ネットワークケーブルの抜け等による自律蓄積装置(1Am、1An)の障害を検知する。あるいは、他の自律蓄積装置(1Am、1An)に対して、データの書き込みができるか等によっても稼動の判定を行うことができる。
【0059】
ここで、稼動判定手段33が、他の自律蓄積装置(1Am又は1An)に障害が発生したと判断したときは、障害の回復を行う命令(障害回復指示)を記憶領域変更手段34に通知する。また、稼動判定手段33は、他の自律蓄積装置(1Am又は1An)の稼動状態を関連付け情報更新手段35に通知する。例えば、障害が発生した自律蓄積装置の識別子(例えばIPアドレス)を、関連付け情報更新手段35に通知することで稼動状態を通知する。
【0060】
記憶領域変更手段34は、稼動判定手段33から障害回復指示を通知されたときに、関連付け情報20を参照して、障害が発生した自律蓄積装置(1Am又は1An)に関連付けられている論理記憶区分(2a1又は2a2)のバックアップデータ(Bm又はBn)を、プライマリ領域Pに原データとして記憶し直す(昇格させる)ものである。
ここで、「記憶し直す」とは、バックアップデータ(Bm又はBn)をプライマリ領域Pにコピー(コピー元のデータは削除)することで行ってもよいし、インデックスを更新することで、仮想的に領域の変更を行ってもよい。
【0061】
また、記憶領域変更手段34は、バックアップデータ(Bm又はBn)を、プライマリ領域Pに原データとして記憶し直した後に、関連付け情報20の更新を指示する命令(関連付け情報更新指示)を関連付け情報更新手段35に通知する。さらに、記憶領域変更手段34は、関連付け情報20の更新後、プライマリ領域Pに記憶し直した(昇格した)原データのバックアップデータを他の自律蓄積装置に作成する旨の命令(バックアップデータ作成指示)を、バックアップデータ転送手段32に通知する。
【0062】
関連付け情報更新手段35は、稼動判定手段33から通知される他の自律蓄積装置の稼動状態(例えば、障害の発生した自律蓄積装置の識別子)に基づいて、蓄積装置2Aの関連付け情報20を更新するものである。
【0063】
例えば、図4において、自律蓄積装置1A1の論理記憶区分2a2と、自律蓄積装置1A2の論理記憶区分2a3とが関連付けられている状態で、自律蓄積装置1A2に障害が発生した場合、関連付け情報更新手段35は、自律蓄積装置1A1の論理記憶区分2a2と、自律蓄積装置1A3の論理記憶区分2a5とを関連付ける。
【0064】
以上、一実施の形態として自律蓄積装置1Aの構成について説明したが、自律蓄積装置1Aのコントローラ3Aは、コンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させるネットワーク蓄積プログラムとして構成することができる。
【0065】
(ネットワーク蓄積装置〔自律蓄積装置〕の動作)
次に、自律蓄積装置1Aの動作について説明する。ここでは、自律蓄積装置1Aにおけるデータのバックアップの動作と、バックアップデータの復旧動作について説明する。
【0066】
<データのバックアップ>
まず、図2及び図4を参照(適宜図1参照)して、自律蓄積装置1Aにおけるデータのバックアップ動作について説明する。図2は、自律蓄積装置1Aにおけるデータのバックアップ動作を示すフローチャートである。また、ここでは複数の自律蓄積装置1Aにおいて、図4で説明した関連付けが行われているものとする。
【0067】
まず、自律蓄積装置1Aは、通信手段30によって、ネットワークNを介して、データを受信する(ステップS10)。そして、自律蓄積装置1Aは、データ書き込み手段31によって、入力されたデータが、原データであるかどうかを判断する(ステップS11)。なお、原データであるかどうかの判断は、入力データに付加される制御情報に基づいて行う。
ここで、入力されたデータが原データである場合(ステップS11でYes)、プライマリ領域書き込み部31aが、原データを論理記憶区分(2a1、2a2)の個々のプライマリ領域Pに分散して原データの書き込み(記憶)を行う(ステップS12)。
【0068】
そして、バックアップデータ転送手段32が、蓄積装置2A内の関連付け情報20を参照し(ステップS13)、ステップS12でプライマリ領域Pに分散して書き込まれた原データを、それぞれの論理記憶区分(2a1、2a2)に関連付けられた他の自律蓄積装置へバックアップデータとして転送する(ステップS14)。
【0069】
例えば、図4において、自律蓄積装置1A1の論理記憶区分2a1のプライマリ領域に書き込まれた原データP1は、自律蓄積装置1A4の論理記憶区分2a8のバックアップ領域にバックアップデータB1として転送される。また、自律蓄積装置1A1の論理記憶区分2a2のプライマリ領域に書き込まれた原データP2は、自律蓄積装置1A2の論理記憶区分2a3のバックアップ領域にバックアップデータB2として転送される。
【0070】
一方、ステップS11において、入力されたデータが原データでない場合(ステップS11でNo)、すなわち、入力されたデータが他の自律蓄積装置から送信されたバックアップデータである場合、バックアップ領域書き込み部31bが、以下の動作を行う。
【0071】
バックアップ領域書き込み部31bは、入力されたデータ(バックアップデータ)に付加される制御情報に記述されている送信元に基づいて、蓄積装置2A内の関連付け情報20を参照する(ステップS15)。そして、当該自律蓄積装置1A内で関連付けられている論理記憶区分のバックアップ領域にバックアップデータの書き込み(記憶)を行う(ステップS16)。
【0072】
例えば、図4において、自律蓄積装置1A1は、自律蓄積装置1A2から送信されてくるデータ(バックアップデータ)を、関連付けられている論理記憶区分2a2のバックアップ領域にバックアップデータB3として書き込む。また、自律蓄積装置1A1は、自律蓄積装置1A4から送信されてくるデータ(バックアップデータ)を、関連付けられている論理記憶区分2a1のバックアップ領域にバックアップデータB8として書き込む。
以上の動作によって、自律蓄積装置1Aは、バックアップデータを、ネットワークNを介して、複数の自律蓄積装置に分散して記憶することが可能になる。
【0073】
<バックアップデータの復旧>
次に、図3及び図5を参照(適宜図1参照)して、自律蓄積装置1Aにおけるバックアップデータの復旧動作について説明する。図3は、自律蓄積装置1Aにおけるバックアップデータの復旧動作を示すフローチャートである。図5は、バックアップデータ復旧時における蓄積装置2A内のデータの流れを模式的に表した図である。図5(a)は、バックアップデータをプライマリ領域に記憶し直す記憶領域変更の動作を示している。図5(b)は、図5(a)でプライマリ領域に記憶し直されたデータのバックアップデータを作成する動作(バックアップ作成)を示している。なお、図5は、図4で説明した関連付けが行われている状態で、蓄積装置2A2が故障したものと想定している。
【0074】
まず、自律蓄積装置1Aは、稼動判定手段33によって、蓄積装置2Aのプライマリ領域Pに記憶している原データ(P1及びP2)のバックアップを行っている他の自律蓄積装置の稼動を確認する(ステップS20)。例えば、pingコマンドによって稼動の判定を行う。
【0075】
そして、稼動判定手段33が、他の自律蓄積装置の稼動状態(障害発生の有無)を判定する(ステップS21)。例えば、稼動判定手段33は、pingコマンドに対して応答がないことによって、他の自律蓄積装置に障害が発生していることを判定する。
ここで、他の自律蓄積装置に障害が発生していないと判定した場合(ステップS21でNo)は、以降のバックアップデータの復旧を行わず処理を終了する。
【0076】
一方、他の自律蓄積装置に障害が発生したと判定した場合(ステップS21でYes)、自律蓄積装置1Aは、記憶領域変更手段34によって、関連付け情報20で障害の発生した自律蓄積装置に関連付けられている論理記憶区分のバックアップデータを、バックアップ領域Bからプライマリ領域Pに記憶し直す(昇格させる)(ステップS22)。なお、このステップS22が完了した段階で、バックアップデータは復元され読み出し可能状態になる。
【0077】
例えば、図5(a)に示したように、蓄積装置2A2の論理記憶区分2a3に記憶されていた原データP3は、故障によって消失したことになる。そこで、論理記憶区分2a3に関連付けられている蓄積装置2A1の論理記憶区分2a2のバックアップ領域に記憶されている原データP3のバックアップデータB3をプライマリ領域に記憶し直す(昇格させる)。同様に、蓄積装置2A3において、論理記憶区分2a4に記憶されていた原データP4のバックアップデータB4を、プライマリ領域に記憶し直す(昇格させる)。
【0078】
図3のフローチャートに戻って、説明を続ける。
このようにステップS22でバックアップデータをプライマリ領域に昇格後、自律蓄積装置1Aは、関連付け情報更新手段35によって、蓄積装置2A内の関連付け情報20を更新する(ステップS23)。
【0079】
そして、関連付け情報20の更新後、自律蓄積装置1Aは、バックアップデータ転送手段32によって、障害の発生した自律蓄積装置に関連付けられている論理記憶区分のプライマリ領域の原データを、新しく関連付け情報20で関連付けられた他の自律蓄積装置へ転送する(ステップS24)。
【0080】
例えば、図5(b)に示したように、障害(故障)が発生した蓄積装置2A2の論理記憶区分2a3に関連付けられていた蓄積装置2A1における論理記憶区分2a2のプライマリ領域の原データ(P2及びP3)を、新しく関連付けられた蓄積装置2A3における論理記憶区分2a5のバックアップ領域にバックアップデータ(B2及びB3)として転送(バックアップ作成)する。同様に、蓄積装置2A3における論理記憶区分2a5の原データ(P4及びP5)を、新しく関連付けられた蓄積装置2A1における論理記憶区分2a2のバックアップ領域にバックアップデータ(B4及びB5)として転送(バックアップ作成)する。
【0081】
以上、説明したように自律蓄積装置1Aを動作させることで、複数の自律蓄積装置1Aで構成した自律分散蓄積システム100Aにおいて、バックアップデータの昇格が、個々の自律蓄積装置内で、並列して行われるため、読み出し可能状態になる時間を従来に比べて短くすることができる。また、バックアップデータ復旧後のデータが分散され、データの偏りを小さくすることができる。
【0082】
なお、ここでは、複数の自律蓄積装置1Aによって自律分散システム100Aを構成した例で、データのバックアップ及びバックアップデータ復旧の動作について説明したが、本動作は、一台のコンピュータに複数の蓄積装置を接続した構成で実現することも可能である。この場合、関連付け情報は、蓄積装置の論理記憶区分と、他の蓄積装置の論理記憶区分とを関連付けておき、コンピュータが読み書き可能な記憶媒体に記憶しておくことで実現することができる。
【0083】
[第二の実施の形態]
次に、図1を参照して、本発明における第二の実施の形態でネットワーク蓄積装置(自律蓄積装置)について説明する。
【0084】
(ネットワーク蓄積装置〔自律蓄積装置〕の構成)
図1は、本発明における第二の実施の形態であるネットワーク蓄積装置(自律蓄積装置)の構成を示したブロック図である。自律蓄積装置1Bは、自律蓄積装置1Aと同様に、ネットワークNを介して他の複数の自律蓄積装置と協調して、データの分散と多重化(バックアップ)を行うものである。また、自律蓄積装置1Bは、他の自律蓄積装置が故障等によって、データを消失した場合、他の稼動しているネットワーク蓄積装置と自律協調してデータの復旧を行うものでもある。
【0085】
図1に示したように、自律蓄積装置1Bの構成は、第一の実施の形態で説明した自律蓄積装置1Aと同様の構成であるが、記憶領域変更手段34の機能のみを変更している(記憶領域変更手段34B)。そこで、ここでは、記憶領域変更手段34Bの機能についてのみ説明し、他の構成については説明を省略する。
【0086】
記憶領域変更手段34Bは、稼動判定手段33から障害回復指示を通知されたときに、関連付け情報20を参照して、障害が発生した自律蓄積装置(1Am又は1An)に関連付けられている論理記憶区分(2a1又は2a2)のバックアップデータ(Bm又はBn)を、プライマリ領域Pに原データとして記憶し直す(昇格させる)ものである。
【0087】
ここで、記憶領域変更手段34Bが記憶領域変更手段34と異なるのは、論理記憶区分(例えば2a1)内で、バックアップデータ(例えばBm)を、プライマリ領域Pに原データとして昇格させる際に、すでに論理記憶区分(例えば2a1)内のプライマリ領域Pに存在していた原データ(例えばP1)を、蓄積装置2A内における他の論理記憶区分(例えば2a2)のプライマリ領域Pに記憶し直すことである。
【0088】
このとき、記憶領域変更手段34Bは、他の論理記憶区分(例えば2a2)のプライマリ領域Pにおいて、記憶し直す原データ(例えばP1)と、元から存在する原データ(例えばP2)とを結合する。すなわち、インデックスの更新を行い、同一の論理記憶区分内に存在するものとする。
【0089】
そして、記憶領域変更手段34Bは、個々の論理記憶区分(2a1及び2a2)において、更新されたプライマリ領域Pの原データを、関連付け情報20によって関連付けられている他の自律蓄積装置に転送する旨の命令(バックアップデータ作成指示)を、バックアップデータ転送手段32に通知する。
【0090】
(ネットワーク蓄積装置〔自律蓄積装置〕の動作:バックアップデータの復旧)
次に、図6、図7及び図8を参照(適宜図1参照)して、自律蓄積装置1Bをネットワークに複数接続したシステムにおいて、バックアップデータを復旧する動作について説明する。図6は、自律蓄積装置1Bにおけるバックアップデータの復旧動作を示すフローチャートである。図7は、複数の蓄積装置で論理記憶区分を関係付けたシステム(自律分散蓄積システム100B)の一例を示す構成図である。なお、図7では、蓄積装置2A内における関連付け情報20の図示を省略している。
【0091】
図7に示すように、自律分散蓄積システム100Bは、ここでは、ネットワークNに接続された5台の自律蓄積装置1B(1B1〜1B5)で構成している。なお、個々の自律蓄積装置1Bは、蓄積装置2Aのデータを蓄積する領域を、2つの論理記憶区分に設定してあるものとする。例えば、自律蓄積装置1B1には、蓄積装置2A1内に2つの論理記憶区分2a1及び2a2を設定している。
【0092】
そして、個々の自律蓄積装置1B1の関連付け情報20(図1)によって、論理的に隣接した自律蓄積装置1B毎に、相互に論理記憶区分を関連付けている。これによって、自律分散蓄積システム100Bは、隣接する自律蓄積装置1B間で、お互いにバックアップデータを記憶した構成となっている。
【0093】
図8は、バックアップデータ復旧時における蓄積装置2A内のデータの流れを模式的に表した図である。図8(a)は、バックアップデータをプライマリ領域に記憶し直すとともに、プライマリ領域のデータ結合を行う、記憶領域変更の動作を示している。図8(b)は、図8(a)でプライマリ領域に記憶し直されたデータのバックアップデータを作成する動作(バックアップ作成)を示している。なお、図8は、図7で説明した関連付けが行われている状態で、蓄積装置2A3が故障したものと想定している。
【0094】
以下、図6のフローチャートを参照して説明を行う。
自律蓄積装置1Bは、稼動判定手段33によって、蓄積装置2Aのプライマリ領域Pに記憶している原データ(P1及びP2)のバックアップを行っている他の自律蓄積装置の稼動を確認する(ステップS30)。
そして、稼動判定手段33が、他の自律蓄積装置の稼動状態(障害発生の有無)を判定する(ステップS31)。ここで、他の自律蓄積装置に障害が発生していないと判定した場合(ステップS31でNo)は、以降のバックアップデータの復旧を行わず処理を終了する。
【0095】
一方、他の自律蓄積装置に障害が発生したと判定した場合(ステップS31でYes)、自律蓄積装置1Bは、記憶領域変更手段34Bによって、障害の発生した自律蓄積装置に関連付けられている論理記憶区分のプライマリ領域の原データを、同一蓄積装置内における他の論理記憶区分のプライマリ領域に記憶し直し、すでに存在する原データと結合する(ステップS32)。
【0096】
さらに、自律蓄積装置1Bは、記憶領域変更手段34Bによって、障害の発生した自律蓄積装置に関連付けられている論理記憶区分のバックアップデータを、バックアップ領域Bからプライマリ領域Pに記憶し直す(昇格させる)(ステップS33)。なお、このステップS33が完了した段階で、バックアップデータは復元され読み出し可能状態になる。
【0097】
例えば、図8(a)に示したように、蓄積装置2A3が故障することで、原データP5及びP6と、バックアップデータB4及びB7が消失したことになる。そこで、論理記憶区分2a5に関連付けられている蓄積装置2A2の論理記憶区分2a4のプライマリ領域に記憶されている原データP4を、同一蓄積装置2A2内における他の論理記憶区分2a3のプライマリ領域に記憶し直す。そして、論理記憶区分2a4のバックアップ領域に記憶されている原データP5のバックアップデータB5をプライマリ領域に記憶し直す(昇格させる)。同様に、蓄積装置2A4において、論理記憶区分2a7のプライマリ領域に記憶されている原データP7を、同一蓄積装置2A4内における他の論理記憶区分2a8のプライマリ領域に記憶し直し、論理記憶区分2a7のバックアップ領域に記憶されている原データP6のバックアップデータB6をプライマリ領域に記憶し直す(昇格させる)。
【0098】
図6のフローチャートに戻って、説明を続ける。
このように、ステップS32及びステップS33で、原データの結合及びバックアップデータの昇格を行った後、自律蓄積装置1Bは、関連付け情報更新手段35によって、蓄積装置2A内の関連付け情報20を更新する(ステップS34)。
そして、関連付け情報20の更新後、自律蓄積装置1Bは、バックアップデータ転送手段32によって、プライマリ領域において記憶し直された原データを、新しく関連付け情報20で関連付けられた他の自律蓄積装置へ転送する(ステップS35)。
【0099】
例えば、図8(b)に示したように、原データの結合によって記憶し直された論理記憶区分2a3のプライマリ領域の原データP4を、論理記憶区分2a2のバックアップ領域に転送(バックアップ作成)する。また、障害(故障)が発生した蓄積装置2A3の論理記憶区分2a5に関連付けられていた蓄積装置2A2における論理記憶区分2a4のプライマリ領域の原データP5を、新しく関連付けられた蓄積装置2A4における論理記憶区分2a7のバックアップ領域にバックアップデータB5として転送(バックアップ作成)する。
【0100】
同様に、原データの結合によって記憶し直された論理記憶区分2a8のプライマリ領域の原データP7を、論理記憶区分2a9のバックアップ領域に転送し、障害(故障)が発生した蓄積装置2A3の論理記憶区分2a6に関連付けられていた蓄積装置2A4における論理記憶区分2a7のプライマリ領域の原データP6を、新しく関連付けられた蓄積装置2A2における論理記憶区分2a4のバックアップ領域にバックアップデータB6として転送(バックアップ作成)する。
【0101】
以上、説明したように自律蓄積装置1Bを動作させることで、複数の自律蓄積装置1Bで構成した自律分散蓄積システム100Bにおいて、バックアップデータの昇格が、個々の自律蓄積装置内で、並列して行われるため、読み出し可能状態になる時間を従来に比べて短くすることができる。また、バックアップデータ復旧後のデータを自律分散蓄積システム100Aに比べてさらに分散させることができる。
【0102】
【発明の効果】
以上説明したとおり、本発明に係るバックアップデータ復旧方法、並びに、ネットワーク蓄積装置及びネットワーク蓄積プログラムでは、以下に示す優れた効果を奏する。
【0103】
請求項1乃至請求項6に記載の発明によれば、複数の蓄積装置間で、バックアップデータを分散して蓄積することができるため、ある蓄積装置に障害が発生した場合であっても、その復旧に要する時間を短縮することができる。
【0104】
さらに、バックアップデータを復旧させる際に、複数の蓄積装置が個々に並列して復旧動作を行うことができるため、データの読み出し可能状態になるまでの時間を短縮することができる。さらに、バックアップデータ復旧後、特定の蓄積装置にデータが集中しないため、データの読み出しの負荷を分散させることができる。
【図面の簡単な説明】
【図1】本発明のネットワーク蓄積装置(自律蓄積装置)の構成を示すブロック図である。
【図2】本発明のネットワーク蓄積装置(自律蓄積装置)におけるデータのバックアップ動作を示すフローチャートである。
【図3】本発明の第一の実施の形態に係るネットワーク蓄積装置(自律蓄積装置)におけるバックアップデータの復旧動作を示すフローチャートである。
【図4】本発明の第一の実施の形態において、複数のネットワーク蓄積装置(自律蓄積装置)をネットワークで接続した自律分散蓄積システムの一例を示す構成図である。
【図5】本発明の第一の実施の形態において、バックアップデータ復旧時における蓄積装置内のデータの流れを説明するための説明図である。
【図6】本発明の第二の実施の形態に係るネットワーク蓄積装置(自律蓄積装置)におけるバックアップデータの復旧動作を示すフローチャートである。
【図7】本発明の第二の実施の形態において、複数のネットワーク蓄積装置(自律蓄積装置)をネットワークで接続した自律分散蓄積システムの一例を示す構成図である。
【図8】本発明の第二の実施の形態において、バックアップデータ復旧時における蓄積装置内のデータの流れを説明するための説明図である。
【図9】従来の技術において、複数のネットワーク蓄積装置(自律蓄積装置)をネットワークで接続した自律分散蓄積システムの一例を示す構成図である。
【図10】従来の技術において、バックアップデータ復旧時における蓄積装置内のデータの流れを説明するための説明図である。
【符号の説明】
1A、1B、1C ネットワーク蓄積装置(自律蓄積装置)
2A、2C 蓄積装置(関連付け情報記憶手段)
2a1、2a2、… 論理記憶区分
20 関連付け情報
3A、3B、3C コントローラ
30 通信手段
31 データ書き込み手段
31a プライマリ領域書き込み部(プライマリ領域書き込み手段)
31b バックアップ領域書き込み部(バックアップ領域書き込み手段)
32 バックアップデータ転送手段
33 稼動判定手段
34、34B 記憶領域変更手段
35 関連付け情報更新手段
5 クライアントコンピュータ
N ネットワーク
P プライマリ領域
B バックアップ領域

Claims (6)

  1. 原データを記憶するプライマリ領域とバックアップデータを記憶するバックアップ領域とからなる複数の論理記憶区分を設定した蓄積装置と、前記論理記憶区分と他のネットワーク蓄積装置とを関連付けた関連付け情報を記憶した関連付け情報記憶手段と、通信手段と、プライマリ領域書き込み手段及びバックアップ領域書き込み手段を備えるデータ書き込み手段と、バックアップデータ転送手段と、稼動判定手段と、記憶領域変更手段と、関連付け情報更新手段と、を備えたネットワーク蓄積装置をネットワークに複数接続し、バックアップデータを復旧させるバックアップデータ復旧方法であって、
    前記ネットワーク蓄積装置が、前記通信手段によって、データの送受信を行う通信ステップと、
    前記ネットワーク蓄積装置が、前記データ書き込み手段によって、前記通信ステップで受信した入力データが前記原データであるか前記バックアップデータであるかを、当該入力データに付加される制御情報に基づいて判断し、前記蓄積装置に書き込むデータ書き込みステップと、
    前記ネットワーク蓄積装置が、前記バックアップデータ転送手段によって、前記プライマリ領域に書き込まれた原データを、当該プライマリ領域を含む前記論理記憶区分と前記関連付け情報で関連付けられている他のネットワーク蓄積装置にバックアップデータとして転送するバックアップデータ転送ステップと、
    前記ネットワーク蓄積装置が、前記稼動判定手段によって、前記他のネットワーク蓄積装置の稼動状態を判定する稼動判定ステップと、
    前記ネットワーク蓄積装置が、前記記憶領域変更手段によって、前記稼動判定ステップで稼動していないと判定された他のネットワーク蓄積装置と前記関連付け情報で関連付けられている前記論理記憶区分内で、前記バックアップ領域に記憶されているバックアップデータを、原データとして前記プライマリ領域に記憶し直す記憶領域変更ステップと、
    前記ネットワーク蓄積装置が、前記関連付け情報更新手段によって、前記記憶領域変更ステップで記憶し直された前記論理記憶区分に係る前記関連付け情報において、関連付けられている前記稼動していないと判定された他のネットワーク蓄積装置に代えて、前記稼動判定ステップで稼動していると判定された他のネットワーク蓄積装置を関連付ける関連付け情報更新ステップと、
    を含み、
    前記データ書き込みステップは、
    前記ネットワーク蓄積装置が、前記プライマリ領域書き込み手段によって、前記原データを、前記複数の論理記憶区分のプライマリ領域に分散して書き込むプライマリ領域書き込みステップと、
    前記ネットワーク蓄積装置が、前記バックアップ領域書き込み手段によって、前記バックアップデータを、当該データに付加された前記制御情報に記述されている送信元のネットワーク蓄積装置と前記関連付け情報で関連付けられている前記論理記憶区分のバックアップ領域に書き込むバックアップ領域書き込みステップと、から構成され、
    前記バックアップデータ転送ステップは、
    前記プライマリ領域書き込みステップによって、前記原データが書き込まれたとき、及び、前記記憶領域変更ステップによって、前記原データが記憶しなおされ、前記関連付け情報更新ステップによって、前記関連付け情報が更新されたときに、前記バックアップデータを転送する
    ことを特徴とするバックアップデータ復旧方法。
  2. 原データを記憶するプライマリ領域とバックアップデータを記憶するバックアップ領域とからなる複数の論理記憶区分を設定した蓄積装置と、前記論理記憶区分と他のネットワーク蓄積装置とを関連付けた関連付け情報を記憶した関連付け情報記憶手段と、通信手段と、プライマリ領域書き込み手段及びバックアップ領域書き込み手段を備えるデータ書き 込み手段と、バックアップデータ転送手段と、稼動判定手段と、記憶領域変更手段と、関連付け情報更新手段と、を備えたネットワーク蓄積装置をネットワークに複数接続し、バックアップデータを復旧させるバックアップデータ復旧方法であって、
    前記ネットワーク蓄積装置が、前記通信手段によって、データの送受信を行う通信ステップと、
    前記ネットワーク蓄積装置が、前記データ書き込み手段によって、前記通信ステップで受信した入力データが前記原データであるか前記バックアップデータであるかを、当該入力データに付加される制御情報に基づいて判断し、前記蓄積装置に書き込むデータ書き込みステップと、
    前記ネットワーク蓄積装置が、前記バックアップデータ転送手段によって、前記プライマリ領域に書き込まれた原データを、当該プライマリ領域を含む前記論理記憶区分と前記関連付け情報で関連付けられている他のネットワーク蓄積装置にバックアップデータとして転送するバックアップデータ転送ステップと、
    前記ネットワーク蓄積装置が、前記稼動判定手段によって、前記他のネットワーク蓄積装置の稼動状態を判定する稼動判定ステップと、
    前記ネットワーク蓄積装置が、前記記憶領域変更手段によって、前記稼動判定ステップで稼動していないと判定された他のネットワーク蓄積装置と前記関連付け情報で関連付けられている第1の論理記憶区分の前記プライマリ領域に記憶されていた原データを、第2の論理記憶区分のプライマリ領域に記憶し直すと共に、前記第1の論理記憶区分のバックアップ領域に記憶されているバックアップデータを、原データとして当該論理記憶区分のプライマリ領域に記憶し直す記憶領域変更ステップと、
    前記ネットワーク蓄積装置が、前記関連付け情報更新手段によって、前記記憶領域変更ステップで記憶し直された前記第1の論理記憶区分に係る前記関連付け情報において、関連付けられている前記稼動していないと判定された他のネットワーク蓄積装置に代えて、前記稼動判定ステップで稼動していると判定された他のネットワーク蓄積装置を関連付ける関連付け情報更新ステップと、
    を含み、
    前記データ書き込みステップは、
    前記ネットワーク蓄積装置が、前記プライマリ領域書き込み手段によって、前記原データを、前記複数の論理記憶区分のプライマリ領域に分散して書き込むプライマリ領域書き込みステップと、
    前記ネットワーク蓄積装置が、前記バックアップ領域書き込み手段によって、前記バックアップデータを、当該データに付加された前記制御情報に記述されている送信元のネットワーク蓄積装置と前記関連付け情報で関連付けられている前記論理記憶区分のバックアップ領域に書き込むバックアップ領域書き込みステップと、から構成され、
    前記バックアップデータ転送ステップは、
    前記プライマリ領域書き込みステップによって、前記原データが書き込まれたとき、並びに、前記記憶領域変更ステップによって、前記原データが前記第2の論理記憶区分及び前記第1の論理記憶区分のプライマリ領域に記憶しなおされ、前記関連付け情報更新ステップによって、前記関連付け情報が更新されたときに、前記バックアップデータを転送する
    ことを特徴とするバックアップデータ復旧方法。
  3. ネットワークに複数接続されて、原データとその原データのバックアップデータとを分散させて蓄積するネットワーク蓄積装置であって、
    前記原データを記憶するプライマリ領域と、前記バックアップデータを記憶するバックアップ領域とからなる複数の論理記憶区分を設定した蓄積装置と、
    記論理記憶区分と他のネットワーク蓄積装置とを関連付けた関連付け情報を記憶した関連付け情報記憶手段と、
    データの送受信を行う通信手段と、
    前記通信手段が受信した入力データが前記原データであるか前記バックアップデータであるかを、当該入力データに付加される制御情報に基づいて判断し、前記蓄積装置に書き込むデータ書き込み手段と、
    前記プライマリ領域に書き込まれた原データを、当該プライマリ領域を含む前記論理記憶区分と前記関連付け情報で関連付けられている他のネットワーク蓄積装置にバックアップデータとして転送するバックアップデータ転送手段と、
    前記他のネットワーク蓄積装置の稼動状態を判定する稼動判定手段と、
    この稼動判定手段で稼動していないと判定された他のネットワーク蓄積装置と前記関連付け情報で関連付けられている前記論理記憶区分内で、前記バックアップ領域に記憶されているバックアップデータを、原データとして前記プライマリ領域に記憶し直す記憶領域変更手段と、
    この記憶領域変更手段で記憶し直された前記論理記憶区分に係る前記関連付け情報において、関連付けられている前記稼動していないと判定された他のネットワーク蓄積装置に代えて、前記稼動判定手段で稼動していると判定された他のネットワーク蓄積装置を関連付ける関連付け情報更新手段と、
    を備え、
    前記データ書き込み手段は、
    前記原データを、前記複数の論理記憶区分のプライマリ領域に分散して書き込むプライマリ領域書き込み手段と、
    記バックアップデータを、当該データに付加された前記制御情報に記述されている送信元のネットワーク蓄積装置と前記関連付け情報で関連付けられている前記論理記憶区分のバックアップ領域に書き込むバックアップ領域書き込み手段と、から構成され、
    前記バックアップデータ転送手段は、
    前記プライマリ領域書き込み手段によって、前記原データが書き込まれたとき、及び、前記記憶領域変更手段によって、前記原データが記憶しなおされ、前記関連付け情報更新手段によって、前記関連付け情報が更新されたときに、前記バックアップデータを転送する
    ことを特徴とするネットワーク蓄積装置。
  4. ネットワークに複数接続されて、原データとその原データのバックアップデータとを分散させて蓄積するネットワーク蓄積装置であって、
    前記原データを記憶するプライマリ領域と、前記バックアップデータを記憶するバックアップ領域とからなる複数の論理記憶区分を設定した蓄積装置と、
    記論理記憶区分と他のネットワーク蓄積装置とを関連付けた関連付け情報を記憶した関連付け情報記憶手段と、
    データの送受信を行う通信手段と、
    前記通信手段が受信した入力データが前記原データであるか前記バックアップデータであるかを、当該入力データに付加される制御情報に基づいて判断し、前記蓄積装置に書き込むデータ書き込み手段と、
    前記プライマリ領域に書き込まれた原データを、当該プライマリ領域を含む前記論理記憶区分と前記関連付け情報で関連付けられている他のネットワーク蓄積装置にバックアップデータとして転送するバックアップデータ転送手段と、
    前記他のネットワーク蓄積装置の稼動状態を判定する稼動判定手段と、
    この稼動判定手段で稼動していないと判定された他のネットワーク蓄積装置と前記関連付け情報で関連付けられている第1の論理記憶区分前記プライマリ領域に記憶されていた原データを、第2の論理記憶区分のプライマリ領域に記憶し直すと共に、前記第1の論理記憶区分のバックアップ領域に記憶されているバックアップデータを、原データとして当該論理記憶区分のプライマリ領域に記憶し直す記憶領域変更手段と、
    この記憶領域変更手段で記憶し直された前記第1の論理記憶区分に係る前記関連付け情報において、関連付けられている前記稼動していないと判定された他のネットワーク蓄積 装置に代えて、前記稼動判定手段で稼動していると判定された他のネットワーク蓄積装置を関連付ける関連付け情報更新手段と、
    を備え、
    前記データ書き込み手段は、
    前記原データを、前記複数の論理記憶区分のプライマリ領域に分散して書き込むプライマリ領域書き込み手段と、
    記バックアップデータを、当該データに付加された前記制御情報に記述されている送信元のネットワーク蓄積装置と前記関連付け情報で関連付けられている前記論理記憶区分のバックアップ領域に書き込むバックアップ領域書き込み手段と、から構成され、
    前記バックアップデータ転送手段は、
    前記プライマリ領域書き込み手段によって、前記原データが書き込まれたとき、並びに、前記記憶領域変更手段によって、前記原データが前記第2の論理記憶区分及び前記第1の論理記憶区分のプライマリ領域に記憶しなおされ、前記関連付け情報更新手段によって、前記関連付け情報が更新されたときに、前記バックアップデータを転送する
    ことを特徴とするネットワーク蓄積装置。
  5. 原データを記憶するプライマリ領域と、バックアップデータを記憶するバックアップ領域とからなる複数の論理記憶区分を設定した蓄積装置を備えた複数のネットワーク蓄積装置で、前記複数の論理記憶区分と前記複数のネットワーク蓄積装置とを関連付けた関連付け情報に基づいて、前記原データとその原データのバックアップデータとを、ネットワーク上で分散させて蓄積するために、前記ネットワーク蓄積装置において、コンピュータを、
    データの送受信を行う通信手段、
    前記通信手段が受信した入力データが前記原データであるか前記バックアップデータであるかを、当該入力データに付加される制御情報に基づいて判断し、前記蓄積装置に書き込むデータ書き込み手段、
    前記プライマリ領域に書き込まれた原データを、当該プライマリ領域を含む前記論理記憶区分と前記関連付け情報で関連付けられている他のネットワーク蓄積装置にバックアップデータとして転送するバックアップデータ転送手段、
    前記他のネットワーク蓄積装置の稼動状態を判定する稼動判定手段、
    この稼動判定手段で稼動していないと判定された他のネットワーク蓄積装置と前記関連付け情報で関連付けられている前記論理記憶区分内で、前記バックアップ領域に記憶されているバックアップデータを、原データとして前記プライマリ領域に記憶し直す記憶領域変更手段、
    この記憶領域変更手段で記憶し直された前記論理記憶区分に係る前記関連付け情報において、関連付けられている前記稼動していないと判定された他のネットワーク蓄積装置に代えて、前記稼動判定手段で稼動していると判定された他のネットワーク蓄積装置を関連付ける関連付け情報更新手段、
    として機能させ
    前記データ書き込み手段は、
    前記原データを、前記複数の論理記憶区分のプライマリ領域に分散して書き込むプライマリ領域書き込み手段と、
    記バックアップデータを、当該データに付加された前記制御情報に記述されている送信元のネットワーク蓄積装置と前記関連付け情報で関連付けられている前記論理記憶区分のバックアップ領域に書き込むバックアップ領域書き込み手段と、から構成され、
    前記バックアップデータ転送手段は、
    前記プライマリ領域書き込み手段によって、前記原データが書き込まれたとき、及び、前記記憶領域変更手段によって、前記原データが記憶しなおされ、前記関連付け情報更新手段によって、前記関連付け情報が更新されたときに、前記バックアップデータを転送する
    ことを特徴とするネットワーク蓄積プログラム。
  6. 原データを記憶するプライマリ領域と、バックアップデータを記憶するバックアップ領域とからなる複数の論理記憶区分を設定した蓄積装置を備えた複数のネットワーク蓄積装置で、前記複数の論理記憶区分と前記複数のネットワーク蓄積装置とを関連付けた関連付け情報に基づいて、前記原データとその原データのバックアップデータとを、ネットワーク上で分散させて蓄積するために、前記ネットワーク蓄積装置において、コンピュータを、
    データの送受信を行う通信手段、
    前記通信手段が受信した入力データが前記原データであるか前記バックアップデータであるかを、当該入力データに付加される制御情報に基づいて判断し、前記蓄積装置に書き込むデータ書き込み手段、
    前記プライマリ領域に書き込まれた原データを、当該プライマリ領域を含む前記論理記憶区分と前記関連付け情報で関連付けられている他のネットワーク蓄積装置にバックアップデータとして転送するバックアップデータ転送手段、
    前記他のネットワーク蓄積装置の稼動状態を判定する稼動判定手段、
    この稼動判定手段で稼動していないと判定された他のネットワーク蓄積装置と前記関連付け情報で関連付けられている第1の論理記憶区分前記プライマリ領域に記憶されていた原データを、第2の論理記憶区分のプライマリ領域に記憶し直すと共に、前記第1の論理記憶区分のバックアップ領域に記憶されているバックアップデータを、原データとして当該論理記憶区分のプライマリ領域に記憶し直す記憶領域変更手段、
    この記憶領域変更手段で記憶し直された前記第1の論理記憶区分に係る前記関連付け情報において、関連付けられている前記稼動していないと判定された他のネットワーク蓄積装置に代えて、前記稼動判定手段で稼動していると判定された他のネットワーク蓄積装置を関連付ける関連付け情報更新手段、
    として機能させ
    前記データ書き込み手段は、
    前記原データを、前記複数の論理記憶区分のプライマリ領域に分散して書き込むプライマリ領域書き込み手段と、
    記バックアップデータを、当該データに付加された前記制御情報に記述されている送信元のネットワーク蓄積装置と前記関連付け情報で関連付けられている前記論理記憶区分のバックアップ領域に書き込むバックアップ領域書き込み手段と、から構成され、
    前記バックアップデータ転送手段は、
    前記プライマリ領域書き込み手段によって、前記原データが書き込まれたとき、並びに、前記記憶領域変更手段によって、前記原データが前記第2の論理記憶区分及び前記第1の論理記憶区分のプライマリ領域に記憶しなおされ、前記関連付け情報更新手段によって、前記関連付け情報が更新されたときに、前記バックアップデータを転送する
    ことを特徴とするネットワーク蓄積プログラム。
JP2003132668A 2003-05-12 2003-05-12 バックアップデータ復旧方法、並びに、ネットワーク蓄積装置及びネットワーク蓄積プログラム Expired - Lifetime JP4272465B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003132668A JP4272465B2 (ja) 2003-05-12 2003-05-12 バックアップデータ復旧方法、並びに、ネットワーク蓄積装置及びネットワーク蓄積プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003132668A JP4272465B2 (ja) 2003-05-12 2003-05-12 バックアップデータ復旧方法、並びに、ネットワーク蓄積装置及びネットワーク蓄積プログラム

Publications (2)

Publication Number Publication Date
JP2004334739A JP2004334739A (ja) 2004-11-25
JP4272465B2 true JP4272465B2 (ja) 2009-06-03

Family

ID=33507444

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003132668A Expired - Lifetime JP4272465B2 (ja) 2003-05-12 2003-05-12 バックアップデータ復旧方法、並びに、ネットワーク蓄積装置及びネットワーク蓄積プログラム

Country Status (1)

Country Link
JP (1) JP4272465B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006259945A (ja) * 2005-03-16 2006-09-28 Nec Corp 冗長システム及びその構成制御方法並びにプログラム
JP2006330779A (ja) * 2005-05-23 2006-12-07 Nippon Hoso Kyokai <Nhk> 自律ストレージ装置、コンテンツ記憶装置及びコンテンツ分散プログラム
JP2007065713A (ja) * 2005-08-29 2007-03-15 Nippon Hoso Kyokai <Nhk> 自律ストレージ装置および自律分散型サーバ、ならびに、多重データ読み出し制御装置およびそのプログラム
JP4893214B2 (ja) 2006-10-06 2012-03-07 富士通株式会社 記憶制御装置、記憶制御方法および記憶制御プログラム
WO2011102429A1 (ja) * 2010-02-19 2011-08-25 国立大学法人 東京工業大学 ストレージ装置、その制御方法およびシステム管理プログラム
EP2541418B1 (en) * 2011-06-30 2019-01-23 Axis AB Method for increasing reliability in monitoring systems
JP5670935B2 (ja) * 2012-02-27 2015-02-18 日本電信電話株式会社 分散データ管理システムおよびその動作方法
KR101625637B1 (ko) 2015-03-11 2016-05-30 주식회사 우리기술 메모리 사중화를 통한 데이터 복구 장애 방지 시스템

Also Published As

Publication number Publication date
JP2004334739A (ja) 2004-11-25

Similar Documents

Publication Publication Date Title
US7958372B1 (en) Method and apparatus to convert a logical unit from a first encryption state to a second encryption state using a journal in a continuous data protection environment
US9501542B1 (en) Methods and apparatus for volume synchronization
US7840536B1 (en) Methods and apparatus for dynamic journal expansion
US8108634B1 (en) Replicating a thin logical unit
US8332687B1 (en) Splitter used in a continuous data protection environment
US8335771B1 (en) Storage array snapshots for logged access replication in a continuous data protection system
US8694700B1 (en) Using I/O track information for continuous push with splitter for storage device
US8335761B1 (en) Replicating in a multi-copy environment
US8935537B2 (en) Storage device and its control method
US7516287B2 (en) Methods and apparatus for optimal journaling for continuous data replication
US7882286B1 (en) Synchronizing volumes for replication
US8060714B1 (en) Initializing volumes in a replication system
US7797358B1 (en) Methods and apparatus for continuous data protection system having journal compression
US6282610B1 (en) Storage controller providing store-and-forward mechanism in distributed data storage system
US7627612B2 (en) Methods and apparatus for optimal journaling for continuous data replication
EP2400382B1 (en) Storage system
JP3968207B2 (ja) データ多重化方法およびデータ多重化システム
CN106407040A (zh) 一种远程数据复制方法及系统
CN107924354A (zh) 动态镜像
US20070101083A1 (en) Virtual storage system control apparatus, virtual storage system control program and virtual storage system control method
EP1873645A1 (en) Storage system and data replication method
CN103777897A (zh) 用于在主要存储位置和辅助存储位置之间复制数据的方法和系统
WO2005072179A2 (en) Multicast protocol for a redundant array of storage areas
JP4272465B2 (ja) バックアップデータ復旧方法、並びに、ネットワーク蓄積装置及びネットワーク蓄積プログラム
JP2015005037A (ja) 情報処理装置、情報処理装置の制御プログラム、および情報処理装置の制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20030610

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20030610

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20040521

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20040812

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090210

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090227

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4272465

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130306

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130306

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140306

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term