JPH11120057A - ファイルバックアップ方法 - Google Patents

ファイルバックアップ方法

Info

Publication number
JPH11120057A
JPH11120057A JP9284904A JP28490497A JPH11120057A JP H11120057 A JPH11120057 A JP H11120057A JP 9284904 A JP9284904 A JP 9284904A JP 28490497 A JP28490497 A JP 28490497A JP H11120057 A JPH11120057 A JP H11120057A
Authority
JP
Japan
Prior art keywords
backup
file
program
request
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9284904A
Other languages
English (en)
Inventor
Naoki Utsunomiya
直樹 宇都宮
Koji Sonoda
浩二 薗田
Hiroyuki Kumazaki
裕之 熊崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP9284904A priority Critical patent/JPH11120057A/ja
Publication of JPH11120057A publication Critical patent/JPH11120057A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】バックアップ用ファイルログ情報量を減らし、
ファイル単位のバックアップ処理とファイルアクセスの
同時実行を可能にする。 【解決手段】ファイル管理プログラム20はアプリケー
ションプログラムからの入出力要求31をメタデータ3
2として記録し、バックアッププログラムは、バックア
ップの開始時にファイルのロックを取得し、ファイル管
理プログラムから取得したメタデータに基づいてバック
アップ処理を行う。バックアップ処理終了後はロックを
開放する。ファイル管理プログラム20はロックのかか
ったファイルに対して、バックアッププログラム以外か
ら更新要求があった場合は、新たなディスク領域を用意
して、上書きを防ぎ、バックアップするファイルの整合
性を崩さないように制御する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数のディスク装
置上に分散配置されたファイルに対する、並列入出力制
御方法に係わり、特にファイルをバックアップする場
合、ファイルバックアップ処理とファイルへアクセス処
理の同時実行を可能とするバックアップ方法に関する。
【0002】
【従来の技術】ディスク装置の故障などによるファイル
の破壊を防ぐために、定期的にファイルシステム全体を
バックアップする方法は広く利用されている。常にファ
イルシステム全体をバックアップすることも可能ではあ
るが、通常運用上は、差分バックアップ方法を利用す
る。差分バックアップ方法とは、初回に全ファイルシス
テムのバックアップを行い、次回からは、変更のあった
ファイルのみをバックアップする方法である。近年、フ
ァイル入出力高速化のニーズや、それに答える並列ファ
イルシステムの登場により、1ファイルで扱うデータ量
は2GBを超える規模となってきている。ファイルシス
テム全体のバックアップと同様に、単一ファイルのバッ
クアップ処理も膨大な時間を要する。従って、ファイル
システム全体をバックアップする機能以上に、ファイル
単位で差分バックアップする機能が重要となってきてい
る。
【0003】UNIXファイルシステムの場合、ファイ
ルシステム全体をバックアップするdump コマンドな
ど、ファイルシステムの差分バックアップや、1つのフ
ァイルをバックアップするプログラムは存在する。しか
し、ファイル単位で差分バックアップを行う機能はな
い。また、特願平6−306268、「ロギングによる
ファイル復旧方法及び装置」では、差分データを用いて
ファイルの復旧を行うが、差分データとして、個々の要
求に対する入出力データを全て保持する必要がある。こ
の方法では、途中の入出力データをすべてログとして残
す必要があり、入出力単位が大きくなると、容量的に無
駄が生じる問題がある。ログストラクチャーファイルシ
ステム(artical entitiled ”Th
e Design and Implementati
on of a Log−Structured Fi
le System”,in ACM Transac
tion for Computer System
s, Vol.10, 1992)も同様な問題があ
る。
【0004】
【発明が解決しようとする課題】ファイル単位で差分バ
ックアップを行う場合、更新要求をすべてログ情報(履
歴)として保持し、このログ情報に基づいて差分ダンプ
行うことは可能である。しかし、ファイル入出力単位が
大きい場合、全ての入出力ログ情報量は、元のファイル
容量以上に膨大になる可能性がある。また、差分バック
アップに用いる場合は、前回バックアップを行った時点
のデータとバックアップを行うデータの差分が必要なの
であって、途中のログデータ全てが必要ではない。例え
ば、同じ領域に対してデータAを書き込んだ後に、デー
タBを書き込む場合、始めのデータAは失われてしまっ
て良いが、ログ方式の場合は、このデータをも保存す
る。従って、ログ方式における不要ログデータを省く必
要がある。
【0005】バックアップ動作中にバックアップするフ
ァイルへのアクセスを許可し、書き込みを行うと、デー
タの整合性が崩れてしまう。従って、通常バックアップ
動作中は、バックアップを行うファイルやファイルシス
テムに対して、他のプログラムからのアクセスは禁止で
ある。しかし、ファイルシステムや、ファイルのデータ
量の膨大化に伴うバックアップ時間の増大により、バッ
クアップ中のアクセスを禁止することは、運用上問題と
なる。
【0006】また、通常のバックアップは自動バックア
ップを行う場合、時間によってバックアッププログラム
を起動する。この場合、ファイルに対して更新処理が発
生していなかったとしても自動的にバックアップされて
しまい、効率的なバックアップを行う上では問題であ
る。
【0007】本発明の目的は、ファイルのログ情報を限
定し、従来のログ機能で問題であったログ情報の無駄を
省き、そのログ情報を利用するバックアップ方法を提供
することにある。
【0008】本発明の他の目的は、ファイル管理プログ
ラムのアクセス制御機能により、データの整合性を崩す
ことなく、バックアップ動作とファイルアクセス動作の
同時実行を可能とする、バックアップ方法を提供するこ
とにある。
【0009】本発明のさらに他の目的は、実際のファイ
ル入出力要求量によって自動バックアップを行うことに
より、時間による自動バックアップの際に生じる無駄の
バックアップ処理を削減することにある。
【0010】
【課題を解決するための手段】本発明は、バックアップ
を行うファイルに対して、ファイル管理プログラムは、
ファイルに対する入出力要求履歴をメタデータとして保
存し、バックアッププログラムは、バックアップ処理開
始時に、当該要求履歴を取得し、要求履歴に基づいてフ
ァイル上の、差分バックアップを行う領域を特定し、そ
の領域上のデータのみをバックアップする。
【0011】また本発明では、バックアップ処理開始時
に、バックアッププログラムはファイル管理プログラム
に対してロック取得要求を発行する。ファイル管理プロ
グラムは、ロック中にバックアッププログラム以外のプ
ログラムからの書き込み要求が、バックアップ領域と重
なっている場合、新たなディスク領域を割り付けて、そ
こに書き込み要求を反映する。これにより、バックアッ
プ処理と他プログラムからのアクセスとの同時実行を可
能とする。
【0012】また本発明では、ミラーファイルのバック
アップ処理時に、ファイル管理プログラムは、ミラーを
行う複製のうち一つを選択する。バックアッププログラ
ムからの読み込み要求は、選択した複製に対して処理す
る。他のプログラムからの読み書き要求がバックアップ
中に発生した場合は、選択した複製以外の複製に対して
反映する。これにより、バックアップ処理と他プログラ
ムからのアクセスとの同時実行を可能とする。
【0013】また本発明では、蓄積する入出力履歴量に
敷居値を設け、この敷居値を超えたときに、ファイル管
理プログラムはファイルサーバにバックアップ要求を発
行することにより、自動バックアップ処理を行う。これ
により、時間による自動バックアップでは、ファイル入
出力要求量が少量の時でも発生する、無駄なバックアッ
プ処理を省くことが可能となる。
【0014】
【発明の実施の形態】図1に全体の構成と、バックアッ
ププログラムの簡単な手順を示す。全体は、計算ノード
1と入出力ノード3〜6が高速ネットワーク15を介し
て接続する。アプリケーションプログラムはいずれのノ
ード上でも実行可能である。各入出力ノードは物理ディ
スク装置(10〜13)とテープ装置14が接続する。
入出力ノード2〜6上のアプリケーションプログラムか
らは、高速ネットワーク15を介さずに直接上記入出力
装置にアクセス可能である。例えば、ディスク10は入
出力ノード3から、テープ装置14は入出力ノード2か
ら直接アクセス可能である。上記の各ノードと高速ネッ
トワークで1つの計算機システムを構成する。この計算
機システムは、アプリケーションプログラムからは、単
一の計算機として見える。即ち、アプリケーションプロ
グラムはノードの違いや、接続する入出力装置の接続場
所などを意識することなく、各入出力装置にアクセス可
能である。全ノードには、ファイル管理プログラム(フ
ァイルサーバ、FSと略記する)が動作し、どのノード
上のプログラムからもファイルにアクセスすることが可
能となっている。アプリケーションプログラムがファイ
ルにアクセスする場合、このアプリケーションプログラ
ムが動作するノード上のファイル管理プログラム(ロー
カルファイル管理プログラム)が要求を受け付ける。次
に、ローカルファイル管理プログラムは、他のノード上
で動作するファイル管理プログラムと協調して、ファイ
ル入出力処理を実行する。
【0015】ファイル管理プログラムが管理するファイ
ルは、2部分から成る。1つはデータ部で、アプリケー
ションプログラムが読み書きすることが可能である。も
う1つはメタデータで、ファイルの属性を保持する。フ
ァイルの属性は、ファイルサイズ、ファイル作成時刻、
アクセスモードなどである。メタデータもディスク装置
中に存在して、ファイル管理プログラムはファイル入出
力要求に応じてメタデータを更新する。
【0016】入出力ノード2にはバックアッププログラ
ムが動作し、テープ装置14に対してファイルのバック
アップを行う。計算ノードにはアプリケーションプログ
ラム30(AP)が動作し、ファイル管理プログラム
(20)を介してファイルにアクセスする。1ファイル
は、複数のディスク装置10〜13に分散配置されてお
り、上記複数ディスクへの並列アクセスにより、アプリ
ケーションプログラム30は、高速ファイルアクセスが
可能である。
【0017】本実施例では、バックアッププログラム4
0とファイル管理プログラムとが協調して、1ファイル
に対する差分バックアップ機能を提供する。バックアッ
ププログラムは出力装置への差分データの書き込み、お
よび、前回のバックアップから新たに更新されたファイ
ル上の領域(更新領域)の特定を行う。ファイル管理プ
ログラムは、バックアッププログラムに更新領域特定の
ために必要な入出力要求履歴を与え、バックアップ時
は、バックアッププログラムと他のプログラムの同時ア
クセスを可能とするための制御を行う。
【0018】次に、アプリケーションプログラムからの
ファイルアクセスとバックアッププログラムの動作概要
を述べる。図1ではアプリケーションプログラムが、フ
ァイル上の領域Aへの読み込みに続き、領域Bへの書き
込みを実行している。ファイルサーバ20は、アプリケ
ーションプログラムが送った要求31を、入出力要求履
歴33、34とし、これをメタデータ32としてディス
ク装置10に記録するとともに、ディスク装置への入出
力を実行する。このように、ファイルシステムはファイ
ルに対する入出力要求履歴を、メタデータとして記録す
る。
【0019】バックアッププログラムは、次に述べる手
続きにしたがって、テープ装置14にファイルの内容を
バックアップする。まず、前処理(100)の後にユー
ザが指定したファイルに対する入出力要求履歴(メタデ
ータの一部)を取得し(110)、その履歴を解析して
最適化を行う(120)。次に、最適化した入出力要求
履歴に従って更新された領域のデータのみを読み込み
(130)、それをテープ装置へ書き出す(140)。
これにより、ユーザが指定するファイルの差分ダンプを
得ることができる。
【0020】以降は、バックアップと同時実行する入出
力処理がない場合のバックアッププログラムの処理(単
純バックアップ処理)、および、入出力処理とバックア
ップ処理が同時に動作する場合の処理について詳細に説
明する。まず始めに、通常の入出力時、ファイル管理プ
ログラムによるメタデータのロギングについて説明す
る。
【0021】通常の入出力処理に伴う要求履歴の作成 通常の入出力動作に伴う要求履歴作成処理を、図2、図
3を用いて説明する。図2は入出力動作に関連するコン
ポーネントの構成図で、図3はファイル管理プログラム
20の入出力動作を示す。ファイル管理プログラムは、
アプリケーションプログラムからの要求を受け付ける要
求受け付け部(50)と、メタデータを管理するメタデ
ータ管理部(51)、並列入出力を実行する並列入出力
実行部(52)から成る。入出力要求履歴に関するメタ
データ32は、アプリケーションプログラムの入出力要
求に対応して、ファイル領域Aの読み込み要求33と、
ファイル領域Bへの書き込み要求34を保持する。メタ
データは、通常ファイル管理プログラムがメモリ上にキ
ャッシュし、更新時、定めたディスク装置(メタデータ
格納用ディスク装置)に書き込む。ディスク上のメタデ
ータ全体60は固定メタデータ61と動的メタデータ6
2から成る。固定メタデータのサイズは、メタデータ作
成後変化しない。動的メタデータは、時間に伴いサイズ
が変化する。固定メタデータはファイルのサイズ、ファ
イルの作成時刻、ファイルのアクセス時刻、アクセスモ
ードなどを保持し、動的メタデータは入出力要求履歴、
ストライプ情報を保持する。入出力要求履歴は単調にサ
イズが増加する。
【0022】次に、入出力時の処理について説明する。
アプリケーションプログラム30は始めに、ファイル領
域Aからの読み込みを行う。この要求は、アプリケーシ
ョンプログラム30が動作する計算ノード1上のファイ
ル管理プログラム20が受理する。ファイル管理プログ
ラム20は図3に示すFSの処理手続き(80)に従っ
て、要求を処理する。まず、上述のようにアプリケーシ
ョンプログラムからの要求を受け取り(81)、この要
求に対する要求IDを決定する(82)。要求IDは、
アプリケーションプログラムからの要求に対してファイ
ル管理プログラムが与えるIDで、全計算機システムで
一意に決まり、しかも、単調増大である。次に、受け取
った要求を入出力実行部が実行する(83)。84で実
行が成功したかどうかを判断し、成功の場合は、要求I
Dと共に入出力要求履歴をメタデータ格納用ディスク装
置(10)に保存する(85)。入出力要求が失敗した
場合は、入出力要求履歴を保存せずに結果を返す。これ
により、入出力要求履歴には成功した要求の記録のみが
残る。
【0023】入出力要求履歴は、図5に示すレコードと
してメタデータ格納用ディスク装置上の動的メタデータ
格納エリアに記録される。各レコードが含むフィールド
は、要求ID(90)、要求種別(91)、オフセット
(92)、長さ(93)である。例えば、オフセット1
024バイトからの128バイトデータの読み込み要求
は、95のように要求種別はread、オフセットは1
024、長さは128となる。
【0024】単純バックアップ実施例 以下に、バックアッププログラムの動作を説明する。始
めにプログラム起動時の動作を説明し、次に、バックア
ップの手順について説明する。本実施例では、バックア
ッププログラム動作時、他のプログラムが、ユーザが指
定したバックアップファイルにアクセスすることはない
と仮定する。
【0025】図4はバックアッププログラム起動時の構
成を示す。ユーザ70は入出力ノード7に接続する端末
71を介して本計算機システムにアクセスする。ユーザ
がバックアップ実行を指示すると、バックアッププログ
ラムは、決められたノード上で実行が始まる。どのノー
ド上で実行するかは、計算機システムの運用により定ま
る。起動したバックアッププログラムは、計算機システ
ムの機器構成情報を取得し、テープ装置が接続する入出
力ノードを特定する。バックアッププログラムに対して
ユーザが出力装置を指定した場合は、その出力装置が存
在するノードを特定する。特定が終了すると、バックア
ッププログラムはOSが提供するリモートプロセス生成
機能により、特定したノード上に移動する。
【0026】図4では、バックアッププログラム40は
入出力ノード7で動作開始し、テープ装置14が接続す
る入出力ノード2を特定する。その後、バックアッププ
ログラムは入出力ノード2へ移動し、そこでバックアッ
プ処理を実行する。この処理により、バックアッププロ
グラムが入出力ノード7にあった場合に発生する、ノー
ド7からノード2へのデータ転送オーバヘッドを削除す
ることが可能となる。
【0027】次に、バックアップ処理手順を説明する。
ファイルバックアップ処理は、前処理、メタデータの取
得、最適化、データの読み込み、データの書き込みの各
手順から成る。
【0028】前処理では、ファイル全体をバックアップ
するかどうかを判断する。ファイル全体のバックアップ
は、ユーザの指定により行うことも可能である。バック
アッププログラムは、書き込みディバイス上の出力媒体
のヘッダを参照し、ヘッダ情報が有効でないならば、フ
ァイル全体のバックアップを行う。有効なヘッダであっ
た場合は、差分バックアップを実行する。1ファイルが
1つの出力媒体に収まりきらない場合、バックアッププ
ログラムは複数の出力媒体にファイルのデータを出力す
る。この場合、各出力媒体をボリュームと呼ぶ。
【0029】図6に出力媒体上のデータ(バックアップ
データ)フォーマットを示す。全体はヘッダ部とデータ
部に分かれる。ヘッダ部は更に、固定部と可変部に分か
れる。ヘッダ固定部は、マジック番号200、ファイル
情報201、ボリューム情報202、ディレクトリ情報
203を有す。マジック番号は、出力装媒体中のデータ
がバックアップデータであることを示す。バックアップ
プログラムは、マジック番号のチェックによりヘッダが
有効であるかどうかを判断する。ファイル情報は、バッ
クアップを行ったファイルに関する情報を保持し、ファ
イル名などを含む。ボリューム情報は、この出力媒体固
有のデータで、通し番号(ボリューム番号)やヘッダ可
変部の長さを含む。例えば、あるファイルが4つのテー
プにバックアップされた場合、各テープには1から4の
ボリューム番号が与えられ、これはボリューム情報中に
記録される。ディレクトリ情報は、バックアップ履歴を
保持する。バックアップ履歴は、ボリューム番号(20
5)、ボリューム中のオフセット(206)、長さ(2
07)、日付(208)から成るレコードの集まりであ
る。ボリューム番号とオフセットで、このレコードが表
す差分データの格納場所が分かる。例えば、履歴として
ボリューム番号3、オフセット295である場合、ボリ
ューム番号3のテープ中、295テープブロックから、
差分データが格納されていることを示す。ヘッダ可変部
は、バックアップするファイルに固有の情報を含む。例
えば、バックアップするファイルが複数ディスク装置上
に分散は位置されている場合、ファイル上の領域とその
領域が格納されたディスク装置との対応を記録する装置
割り付けマップ(図10)の情報を格納する。これによ
り、上記ファイルのディスク装置上への分散情報が保存
できる。データ部には、バックアップした差分データが
収まる。特定差分データの媒体上の位置特定は、ファイ
ルのリストア時、ディレクトリ情報を参照して行う。
【0030】前処理ステップ(100)でバックアップ
プログラムがファイル全体のバックアップを行うと判断
した場合は、直ちにデータの書き込みステップ(14
0)に進む。通常初めてバックアップを行う時が、この
場合に相当する。そうでない場合は、メタデータの取得
ステップ(110)に進む。
【0031】バックアッププログラムは、メタデータの
取得ステップ(120)で、ファイル管理プログラム2
2に対して要求を発行し、メタデータを取得する(図1
参照)。本要求を受理したファイル管理プログラム22
は、メタデータがキャッシュ上にあれば、それをバック
アッププログラムに返す。キャッシュ上にない場合は、
メタデータを管理するノード1上のファイル管理プログ
ラム20からメタデータを受け取り、それをバックアッ
ププログラム40に返す。ファイル管理プログラム20
はメタデータをファイル管理プログラム22に転送した
後、記録されているメタデータを破棄する。
【0032】最適化ステップ(120)では、取得した
入出力要求履歴をスキャンし、不要な要求を削除し、最
終的にバックアップ時点で更新された領域を特定する。
図8は横軸にファイルのオフセットをとり、縦軸に時間
をとったグラフ上に書き込み要求範囲をプロットした図
である。要求210が最初の書き込み要求で、要求21
4が最後の書き込み要求である。例えば、要求214と
要求213が重なる領域220は、要求214に従って
ファイル管理プログラムが、要求213による書き込み
データ上に新たなデータを上書きする。これにより、要
求213の該当領域データは失われる。この2つの要求
により更新された領域は、216となる。このようにし
て、履歴中の全ての要求を調べて、前回のバックアップ
から今回のバックアップまでに更新された領域215を
得る。
【0033】図7は上記最適化を行う手順を示す。入出
力要求履歴中には読み込み要求も含まれているので、こ
れを除去する(121)。次に、最新要求から履歴をス
キャンして行く。まず始めに、最新要求を変数cove
rに記憶し(122)、一つ古い要求を変数reqに記
憶する(123)。ステップ124でreqがcove
rが示す領域に完全に含まれるかどうかを調べる。含ま
れる場合は、reqが表す要求以降の要求によりreq
が示す範囲は上書きされてしまっているので、reqが
示す要求を捨てるために、何もせずにステップ126に
進む。完全に含まれない場合は、coverが示す領域
にマージする(125)。次にスキャンが終了であるか
どうかをチェックし(126)、そうであるならば終了
する(127)。まだスキャンする要求が残っている場
合は、ステップ123からの手順を繰り返す。
【0034】14が最後の書き込み要求である。例え
ば、要求214と要求213が重なる領域220は、要
求214に従ってファイル管理プログラムが、要求21
3による書き込みデータ上に新たなデータを上書きす
る。これにより、要求213の該当領域データは失われ
る。この2つの要求により更新された領域は、216と
なる。このようにして、履歴中の全ての要求を調べて、
前回のバックアップから今回のバックアップまでに更新
された領域215を得る。
【0035】図7は上記最適化を行う手順を示す。入出
力要求履歴中には読み込み要求も含まれているので、こ
れを除去する(121)。次に、最新要求から履歴をス
キャンして行く。まず始めに、最新要求を変数cove
rに記憶し(122)、一つ古い要求を変数reqに記
憶する(123)。ステップ124でreqがcove
rが示す領域に完全に含まれるかどうかを調べる。含ま
れる場合は、reqが表す要求以降の要求によりreq
が示す範囲は上書きされてしまっているので、reqが
示す要求を捨てるために、何もせずにステップ126に
進む。完全に含まれない場合は、coverが示す領域
にマージする(125)。次にスキャンが終了であるか
どうかをチェックし(126)、そうであるならば終了
する(127)。まだスキャンする要求が残っている場
合は、ステップ123からの手順を繰り返す。
【0036】上記の手順を図8の例にあてはめた場合に
ついて説明する。まず、coverに要求214を記憶
し、reqに、要求213を記憶する。ステップ124
でreqはcoverに完全に含まれていないことがわ
かるので、ステップ125でマージする。ステップ12
3に戻って、reqに要求212を記憶する。要求21
2はマージされてできたcoverに含まれていないの
で、これもcoverにマージする。要求211の場合
は、coverに完全に含まれるので、何もしないで次
に進む。要求210はマージされて、最終的に215を
得る。
【0037】最適化の後、バックアッププログラムは最
適化ステップで得られた最適化要求215に基づいて、
該当する部分のデータを読み込む(130)。次にデー
タの書き込みステップ(140)で、データをテープ装
置14のテープに書き込む。以上でバックアップが完了
する。
【0038】別な実装方法として、最適化ステップに相
当する処理を、ファイル管理プログラムが、入出力要求
履歴を保存するときに行うことも可能である。この場
合、バックアッププログラムが受理した入出力要求履歴
は、既に更新領域を示しているので、バックアッププロ
グラムは最適化手順を省くことができる。
【0039】最後に、リストア処理を簡単に説明する。
リストア処理は、リストアを行うユーザが専用のプログ
ラムを起動することにより実行する。図6のディレクト
リ情報(203)が示すように、バックアップデータを
含む出力媒体は、通常複数の差分データを含んでいる。
従って、リストア時はどの時点のデータをリストアする
かを指定する必要がある。もし、指定がないときは最新
データをリストアする。リストアプログラムは、ヘッダ
情報に従って、指定された時点のファイルをリストアす
る。ディレクトリ部の最初のエントリは一番古い差分デ
ータを示す。一番古い差分データには、元のファイルす
べてがリストアされている。従って、リストアプログラ
ムは、まずこの差分データを読み込み、ファイルを作成
する。次に、指定された時点までの差分データを、上記
ファイルに反映することにより、指定された時点でのフ
ァイルをリストアする。ヘッダ可変部205に装置割り
付けマップが存在する場合は、同マップが示す分散配置
情報に基づいてファイルを作成する。但し、正確に指定
された物理ディスク装置に配置するか、あるいは、配置
形状のみを反映するかはリストアプログラムのオプショ
ンである。
【0040】次に、バックアッププログラムとファイル
アクセスが同時に動作する場合の処理について説明す
る。
【0041】ファイルアクセスとバックアップの同時実
行実施例 単純バックアップ方法は、従来のバックアップ方法と同
様に、他プログラムによるバックアップを行うファイル
(バックアップファイル)への入出力を許さないバック
アップ方法である。従って、何らかの形で他プログラム
による出力要求を抑制する必要があり、適応範囲が限ら
れる。本実施例では、上記の制約を外し、ファイルアク
セスとバックアップを同時に行うことを許すバックアッ
プ方法について述べる。
【0042】図9は、本バックアップ方法の概略を示す
図である。単純バックアップ処理との違いは、バックア
ッププログラムの開始時にバックアップするプログラム
に対してロックを取得し、バックアップ処理終了後に同
ロックを開放する点である。ファイル管理プログラム
は、バックアップ中に発生するバックアップファイルへ
の更新によって、バックアップデータの整合性が崩れる
ことを防ぐ必要がある。従って、ファイル管理プログラ
ムは更新要求を受け付けると、新たなディスク領域を割
り付けて、そこに更新要求を反映する。即ち、ファイル
管理プログラムは、この領域に関して一時的に2バージ
ョンを用意し、一方はバックアッププログラム用に元デ
ータを残し、他方には、同時アクセスプログラム用に更
新データを反映する。以下に、本実施例の場合のバック
アッププログラムの動作と、ファイル管理プログラムの
動作について述べる。
【0043】バックアッププログラムは、図9に示すよ
うに処理の始めで、ファイル管理プログラム(22)に
対して、バックアップファイルに対するロックを要求す
る(150)。このロックの取得により、入出力履歴を
固定し、バックアップを行う時点を決定すると共に、こ
れ以降のファイルに対する要求がバックアップ処理に影
響しないことをファイル管理プログラムは保証する。以
降のバックアッププログラム処理は、前実施例と同じで
ある。但し、メタデータとして取得するのは、ロックを
かけた時点の要求履歴である33、34である。要求1
53、154はロック要求後の入出力要求であるため、
バックアッププログラムが処理する履歴情報には含めな
い。前実施例と同様のバックアップ処理終了後、ステッ
プ151で、ファイルバックアッププログラムはロック
の開放をファイル管理プログラムに対して発行し、処理
を完了する。
【0044】ファイル管理プログラム22は、本実施例
では、入出力履歴情報の固定処理、および、バックアッ
ププログラムからのデータアクセスに対して、同時発生
する他のファイル入出力要求が影響を及ぼさないことを
保証する処理を行う。バックアップ時点の入出力履歴固
定のために、バックアッププログラムが発行したロック
要求を受理したファイル管理プログラムは、図11に示
すロック処理(160)を実行する。ステップ161
で、ロックするファイルの履歴を更新する可能性のある
要求を一時的に停止する。ロック要求受け付け時、ロッ
クするファイルに対する処理が途中の場合は、それを完
了させる。ロック要求受け付け以降に到着した新たな要
求に対しては、その処理を一時的に停止する。このよう
に、このファイルに対するロック以外の処理を一時中断
する。次に、メタデータに仕切り(152)を入れる
(162)。仕切りにより、バックアップの対象とする
入出力要求履歴を、仕切り以前の履歴に制限する。次
に、バックアッププログラムの最適化手順(120)と
同様の処理を行い、仕切り以前の履歴によって更新され
たファイル上の領域(更新領域)を特定する(16
3)。最後に、一時停止を解除する。停止解除後ファイ
ル管理プログラムは、当ファイルに関するファイル入出
力要求を履歴として保存するが、それは仕切りによっ
て、それ以前の履歴と区別可能である。
【0045】更新領域特定処理(163)の際、ファイ
ル管理プログラムは、装置割り付けマップの分割を行
う。装置割り付けマップは、図10に示す構造をしてお
り、ファイル上の領域とその領域のデータを収める物理
装置との対応を示す。例えば、図10では、領域170
のデータはディスク装置10に格納されることを示す。
分割処理では、特定された更新領域と元の装置割り付け
マップから、新しい装置割り付けマップ172を作成す
る。この処理では、装置割り付けマップの各領域につい
て、その領域が更新領域を含んでいれば、更新領域を含
む部分と含まない部分に分割する。例えば、領域173
(ディスク装置11に割り付けられている)は更新領域
を含んでいるので、これを含む領域(174)と含まな
い領域(175)に分割する。装置割り付けマップ17
2は、ストライプするディスク装置(10〜13)上の
ファイル管理プログラムに転送される。以上で、ロック
処理は終了である。
【0046】次に、バックアップ最中にバックアップを
行うファイルへの書き込み要求があった場合の処理につ
いて述べる。ファイル管理プログラムは、バックアップ
プログラム以外のプログラムによる書き込み要求処理時
に、装置割り付けマップ172を参照し、書き込み要求
領域が更新領域を含んでいる場合、更新領域への上書き
をせずに、新たなディスク領域を割り付けてそこにデー
タを書き込む。ディスク装置10が接続するノード3上
のファイル管理プログラム21の処理を図12を用いて
説明する。書き込み要求を受理したファイル管理プログ
ラム21は、保持する装置割り付けマップを参照し、デ
ィスク装置10への書き込み要求領域180が更新領域
を含むこと特定する。その場合、要求を分割し、更新領
域を含まない部分に関しては、上書きする。そうでない
部分に関しては、新たなディスク領域184を割り付け
て、そこに要求を書き込む。これにより、バックアップ
用のデータは、ディスク領域182、183に存在し、
バックアップ中に更新された最新データは、ディスク領
域184,183上に存在する。
【0047】領域185に対しては、ディスク上の領域
182と184の2つが対応するので、読み込み時は、
どちらか一方の領域を選ぶ必要がある。これは、以下に
述べるように、バックアッププログラムと、それと並列
動作するアプリケーションプログラムとで、異なるディ
スク領域にアクセスするように、ファイル管理プログラ
ムが制御する。バックアッププログラムがファイル上の
領域170を読み込む場合は、ディスク装置上の領域と
して181、182、183のデータにアクセスする。
これに対して、アプリケーションプログラムが領域17
0にアクセスする場合は、ディスク上の領域181、1
84、183にアクセスする。この機能により、バック
アッププログラムは、並列動作する他のアプリケーショ
ンプログラムによる書き込み要求が発生した場合でも、
矛盾なく元のデータにアクセスできる。
【0048】他のディスク装置上のデータに対しても、
上記と同様な管理を行う。バックアップ終了時は、バッ
クアッププログラムがロックの開放要求を発行する。こ
れを受け取ったファイル管理プログラムは、バックアッ
プファイルに関するファイル入出力を一時停止し、ディ
スク領域184のようなバックアップ開始後に更新され
たデータを反映する。例えば、ディスク装置10に関し
ては、ディスク領域184の内容をディスク領域182
にコピーする。この場合、データ量が大きい場合は、実
際にコピーするのではなく、管理ポインタを張り替える
だけでも良い。次に、仕切りを削除し、一時停止を解除
してロック開放処理を終了する。
【0049】自動バックアップ実施例 ここでは、自動バックアップ機能の実施例について説明
する。自動バックアップは、通常ある一定の時間間隔で
バックアッププログラムを起動する。例えば、OSが一
定時間間隔でコマンドを起動する機能を有していた場
合、コマンドとしてバックアッププログラムを指定する
ことにより、自動バックアップ機能を実現することがで
きる。この場合、ファイルに対する入出力動作が行われ
ていない場合でも、バックアップ処理が実行され、無駄
なバックアップ処理を行う可能性がある。本実施例で
は、バックアップ処理は一定量のファイルの更新により
起動するので、時間による起動に比べて効率的である。
【0050】図13は自動バックアップ時の構成を示
す。前記ファイルアクセスとバックアップ同時実行実施
例の構成に加え、入出力ノード2にバックアップサーバ
190が動作する。自動バックアップ機能を有効にする
ために、ユーザやシステム管理者の指定によって、ファ
イル管理プログラムはメタデータ中の入出力要求履歴敷
居値191とバックアップサーバ情報を設定する。入出
力要求履歴量はファイル入出力に従って単調増加するの
で、ある時点でこの量が設定した敷居値を超える。この
時、ファイル管理プログラムはバックアップサーバ情報
を参照してバックアップサーバを特定し、そのバックア
ップサーバに対してバックアップ要求192を送信す
る。バックアップ要求を受信したバックアップサーバ1
90は、ユーザが起動する場合と同様に、バックアップ
プログラム40を起動する。バックアッププログラム
は、ファイルアクセスとバックアップ同時実行実施例と
同様に、バックアップデータをテープ装置14に出力す
る(193)。一方、アプリケーションプログラム30
は、バックアップ処理と同時にファイルに対するアクセ
スを行うことが可能である。
【0051】さらに、自動バックアップ機能を有効にす
る時、出力データ先としてファイルを指定することも可
能である。これにより、ファイルのチェックポイントデ
ータを自動作成することが可能である。
【0052】ミラーファイルのバックアップ実施例 ここでは、バックアップファイルがミラーファイルであ
る場合の、バックアップ実施例について述べる。ミラー
ファイルの場合、ファイルは複数の複製を有し、ファイ
ル管理プログラムは、通常、このファイルに対する更新
を全ての複製に対して行う。バックアップ時、ファイル
管理プログラムは、あらかじめ選択した複製からデータ
を読み込む。同時実行する他のプログラムからの入出力
要求は他の複製に対して実行する。以下に各手順につい
て説明する。
【0053】始めに、バックアッププログラムからのロ
ック取得要求受信時に、ファイル管理プログラムは入出
力要求履歴に仕切りを入れた後、複製の選択を行う。複
製の選択では、指定されたファイルに関する複数の複製
から、一つ複製を選択し、それをバックアップ用複製と
し、これ以外の複製を更新用複製とする。次に、ロック
処理の完了をバックアッププログラムに通知する。以
降、バックアッププログラムからの読み込み要求に対し
ては、常にバックアップ用複製からデータを読み込む。
バックアッププログラムからの書き込み要求はエラーと
する。バックアッププログラム以外のプログラムからの
要求は、更新用複製に対して要求を反映する。バックア
ップ処理が完了し、バックアッププログラムがロック開
放を要求した時、ファイル管理プログラムは当該ファイ
ルに関する要求を一時停止し、仕切り以降の要求履歴を
参照して、更新用複製の更新内容をバックアップ用複製
に反映する。次に、ロック開放完了をバックアッププロ
グラムに通知する。以降、このファイルに関する要求
は、通常どおりすべての複製に反映する。以上の方法に
より、バックアップ処理と同時にファイル入出力が可能
となる。
【0054】
【発明の効果】本発明によれば、入出力要求の履歴を残
し、これを利用することによりファイル単位の差分バッ
クアップが可能である。また、ログデータとして入出力
要求のみを収集するので、通常の入出力データも収集す
るファイルロギング方法に比べて、少容量のログ情報で
バックアップ処理を行うことが可能である。また、バッ
クアップ処理とファイルアクセスとの同時実行機能によ
り、バックアップを行いながらファイルにアクセスする
ことが可能であるので、ファイルのバックアップ処理を
待つことなくそのファイルに対する入出力を実行するこ
とが可能である。
【図面の簡単な説明】
【図1】実施形態のファイルバックアップ処理が動作す
る計算機システムの構成図である。
【図2】実施形態のファイル管理プログラムの構成図で
ある。
【図3】ファイル管理プログラムの通常の入出力処理の
流れを示す図である。
【図4】バックアッププログラム起動時の動作を示す図
である。
【図5】メタデータとして記録される入出力要求履歴を
示す図である。
【図6】出力媒体上のバックアップデータのフォーマッ
トを示す図である。
【図7】バックアッププログラムの最適化処理の流れを
示す図である。
【図8】更新履歴を時系列的に示す図である。
【図9】ファイルアクセスとバックアップの同時実行を
示す図である。
【図10】装置割り付けマップの構成を示す図である。
【図11】ファイル管理プログラムによるロック処理の
流れを示す図である。
【図12】新たなディスク領域の割り付け処理を示す図
である。
【図13】自動バックアップ処理時の構成を示す図であ
る。
【符号の説明】
1…計算ノード、 2〜6…入出力
ノード、30…アプリケーションプログラム、20〜2
2…ファイル管理プログラム、 15…高速ネットワー
ク、10〜13…ディスク装置、 14…テ
ープ装置、40…バックアッププログラム、 10
0…前処理ステップ、110…メタデータの取得ステッ
プ、 120…最適化ステップ、130…データの読
み込みステップ、 140…データ書き込みステップ。

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】ディスク装置とテープ装置が接続する複数
    の入出力ノードと、当該装置が接続しない複数の計算ノ
    ードが、専用高速ネットワークで接続した並列計算機シ
    ステム上で、ファイル単位のバックアップを行うバック
    アッププログラムと、当該プログラムからのファイルア
    クセス要求に応答して、入出力を制御するファイル管理
    プログラムによるファイルバックアップ方法において、
    ファイルは複数のディスク装置に分散格納されいて、フ
    ァイル管理プログラムは、当該ファイルの更新時に、更
    新情報をメタデータとして記録し、バックアッププログ
    ラムは、指定された当該ファイルのバックアップが最初
    である場合は、全ファイルをバックアップし、そうでな
    い場合は、ファイル管理プログラムから更新情報メタデ
    ータを取得し、更新情報の最適化を行い、更新されたフ
    ァイル上の領域についてのみバックアップを行い、バッ
    クアップ終了後更新情報メタデータを消去することを特
    徴とするファイルバックアップ方法。
  2. 【請求項2】請求項1のファイルバックアップ方法にお
    いて、バックアップを行う前にファイルに読み書きロッ
    クをかけて更新記録に仕切りを入れ、バックアッププロ
    グラムがバックアップを行っている最中に、更新要求が
    あり、当該更新要求がバックアップを行う領域と重なっ
    ている場合は、上記更新要求を更新情報メタデータに残
    すとともに、更新要求用データを新たなディスクブロッ
    クに記録し、バックアップの終了時、メタデータは仕切
    りより前を消去し、新たなディスクブロック上の更新デ
    ータをマージすることを特徴とするファイルバックアッ
    プ方法。
  3. 【請求項3】請求項2のファイルバックアップ方法にお
    いて、ミラーされているファイルに対して、バックアッ
    プ最中に他プログラムによる更新要求があった場合、ミ
    ラー用の複数の複製から一つを選びバックアップ用複製
    とし、バックアップ要求処理はバックアップ用複製を用
    いて行い、当該更新要求はバックアップ用複製以外の複
    製に反映し、バックアップ終了時にバックアップ用複製
    にそれ以外の複製の内容を反映することを特徴とするフ
    ァイルバックアップ方法。
  4. 【請求項4】請求項1〜3のファイルバックアップ方法
    において、起動されたバックアッププログラムはバック
    アップ処理を行う前に、物理装置の構成情報を取得し、
    指定されたバックアップ出力装置が直接接続するノード
    にバックアッププログラムが移動することを特徴とする
    ファイルバックアップ方法。
  5. 【請求項5】請求項1〜4のファイルバックアップ方法
    において、バックアップ管理プログラムがあるノード上
    で動作し、ファイル管理プログラムは、ある一定量メタ
    データが蓄積された時点でバックアップサーバに対して
    バックアップ要求を送り、バックアップサーバは、該当
    要求にしたがってバックアッププログラムを自動的に起
    動しバックアップを行うことを特徴とするファイルバッ
    クアップ方法。
  6. 【請求項6】請求項5のファイルバックアップ方法にお
    いて、ファイル管理プログラムは、ある一定量メタデー
    タが蓄積された時点で別のディスクに対して、バックア
    ップを行うことにより、チックポイントデータを自動的
    に作成することを特徴とするファイルバックアップ方
    法。
JP9284904A 1997-10-17 1997-10-17 ファイルバックアップ方法 Pending JPH11120057A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9284904A JPH11120057A (ja) 1997-10-17 1997-10-17 ファイルバックアップ方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9284904A JPH11120057A (ja) 1997-10-17 1997-10-17 ファイルバックアップ方法

Publications (1)

Publication Number Publication Date
JPH11120057A true JPH11120057A (ja) 1999-04-30

Family

ID=17684562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9284904A Pending JPH11120057A (ja) 1997-10-17 1997-10-17 ファイルバックアップ方法

Country Status (1)

Country Link
JP (1) JPH11120057A (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003536157A (ja) * 2000-06-06 2003-12-02 サンライト・インコーポレイテッド データ記憶システムおよびプロセス
JP2005301980A (ja) * 2004-03-30 2005-10-27 Hitachi Ltd ストレージ装置に保存されたデータの真正さの保証
WO2007026998A1 (en) * 2005-07-05 2007-03-08 Samsung Electronics Co., Ltd. Apparatus and method for backing up broadcast files
KR100695188B1 (ko) * 2003-12-15 2007-03-19 레노보 (싱가포르) 피티이. 엘티디. 타겟 파일 액세스 방법 및 이 방법을 수행하는 컴퓨터판독 가능 기록 매체
KR100708159B1 (ko) 2005-07-05 2007-04-17 삼성전자주식회사 방송 파일 백업 장치 및 방법
JP2008027163A (ja) * 2006-07-20 2008-02-07 Fujitsu Ltd データ記録装置、データ記録プログラムおよびデータ記録方法
JP2008217641A (ja) * 2007-03-07 2008-09-18 Nec Corp レプリケーション方法及びストレージ装置並びにプログラム
WO2009154272A1 (ja) * 2008-06-20 2009-12-23 日本電気株式会社 版管理システム、方法、及び、プログラム
US7650328B2 (en) 2002-07-25 2010-01-19 Sanyo Electric Co., Ltd. Data storage device capable of storing multiple sets of history information on input/output processing of security data without duplication
US7716746B2 (en) 2002-03-05 2010-05-11 Sanyo Electric Co., Ltd. Data storing device for classified data
US7752461B2 (en) 2002-01-15 2010-07-06 Sanyo Electric Co., Ltd. Storage apparatus that can properly recommence input and output of classified data
US9104620B2 (en) 2012-05-10 2015-08-11 Fujitsu Limited Backup method and information processing apparatus
JP2016038784A (ja) * 2014-08-08 2016-03-22 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 情報処理装置、情報処理システム、バックアップ方法、およびプログラム

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003536157A (ja) * 2000-06-06 2003-12-02 サンライト・インコーポレイテッド データ記憶システムおよびプロセス
US7752461B2 (en) 2002-01-15 2010-07-06 Sanyo Electric Co., Ltd. Storage apparatus that can properly recommence input and output of classified data
US7716746B2 (en) 2002-03-05 2010-05-11 Sanyo Electric Co., Ltd. Data storing device for classified data
US7650328B2 (en) 2002-07-25 2010-01-19 Sanyo Electric Co., Ltd. Data storage device capable of storing multiple sets of history information on input/output processing of security data without duplication
KR100695188B1 (ko) * 2003-12-15 2007-03-19 레노보 (싱가포르) 피티이. 엘티디. 타겟 파일 액세스 방법 및 이 방법을 수행하는 컴퓨터판독 가능 기록 매체
JP2005301980A (ja) * 2004-03-30 2005-10-27 Hitachi Ltd ストレージ装置に保存されたデータの真正さの保証
WO2007026998A1 (en) * 2005-07-05 2007-03-08 Samsung Electronics Co., Ltd. Apparatus and method for backing up broadcast files
KR100708159B1 (ko) 2005-07-05 2007-04-17 삼성전자주식회사 방송 파일 백업 장치 및 방법
JP2008027163A (ja) * 2006-07-20 2008-02-07 Fujitsu Ltd データ記録装置、データ記録プログラムおよびデータ記録方法
KR100802235B1 (ko) 2006-07-20 2008-02-11 후지쯔 가부시끼가이샤 데이터 기록 장치, 데이터 기록 매체, 및 데이터 기록 방법
US7937544B2 (en) 2006-07-20 2011-05-03 Fujitsu Limited Apparatus, method and computer product for data backup and synchronization
JP2008217641A (ja) * 2007-03-07 2008-09-18 Nec Corp レプリケーション方法及びストレージ装置並びにプログラム
WO2009154272A1 (ja) * 2008-06-20 2009-12-23 日本電気株式会社 版管理システム、方法、及び、プログラム
US9104620B2 (en) 2012-05-10 2015-08-11 Fujitsu Limited Backup method and information processing apparatus
JP2016038784A (ja) * 2014-08-08 2016-03-22 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 情報処理装置、情報処理システム、バックアップ方法、およびプログラム
US9852030B2 (en) 2014-08-08 2017-12-26 International Business Machines Corporation Data backup using metadata mapping
US9916204B2 (en) 2014-08-08 2018-03-13 International Business Machines Corporation Data backup using metadata mapping
US10049018B2 (en) 2014-08-08 2018-08-14 International Business Machines Corporation Data backup using metadata mapping
US10049019B2 (en) 2014-08-08 2018-08-14 International Business Machines Corporation Data backup using metadata mapping
US10705919B2 (en) 2014-08-08 2020-07-07 International Business Machines Corporation Data backup using metadata mapping

Similar Documents

Publication Publication Date Title
JP4199993B2 (ja) スナップショット取得方法
US7047380B2 (en) System and method for using file system snapshots for online data backup
US6694413B1 (en) Computer system and snapshot data management method thereof
JP4108973B2 (ja) バックアップシステム
US6957362B2 (en) Instantaneous restoration of a production copy from a snapshot copy in a data storage system
JP5274772B2 (ja) データ・ストレージ内の時相データを維持するためのシステムおよび方法
US8074035B1 (en) System and method for using multivolume snapshots for online data backup
US7500246B2 (en) Sharing objects between computer systems
US6205450B1 (en) Computer system capable of restarting system using disk image of arbitrary snapshot
JP4292882B2 (ja) 複数のスナップショット維持方法及びサーバ装置及びストレージ装置
US8161007B2 (en) System and method for supporting asynchronous data replication with very short update intervals
US6792518B2 (en) Data storage system having mata bit maps for indicating whether data blocks are invalid in snapshot copies
KR101137299B1 (ko) 스냅샷을 제공하는 파일 시스템에 대한 계층적 저장 관리
JP3792258B2 (ja) ディスク記憶システムのバックアップ装置および方法
US8392681B2 (en) Journal volume backup to a storage device
JP2003280964A (ja) スナップショット取得方法、ストレージシステム及びディスク装置
JP2001101044A (ja) トランザクショナルファイル管理方法、トランザクショナルファイルシステム及び複合トランザクショナルファイルシステム
US7921093B2 (en) Information processing apparatus and information processing method
US7783598B1 (en) Avoiding frozen-volume write penalties
JPH0683677A (ja) データの増分タイム・ゼロ・バックアップ・コピーの方法及びシステム
JP2004038929A (ja) 複数のスナップショットを管理するシステム及び方法
KR19980024086A (ko) 컴퓨터 시스템 및 화일 관리 방법
JPH04299748A (ja) ファイルの管理方法及び装置
US7290100B2 (en) Computer system for managing data transfer between storage sub-systems
JPH11120057A (ja) ファイルバックアップ方法