JP4859605B2 - 情報処理システム - Google Patents
情報処理システム Download PDFInfo
- Publication number
- JP4859605B2 JP4859605B2 JP2006254067A JP2006254067A JP4859605B2 JP 4859605 B2 JP4859605 B2 JP 4859605B2 JP 2006254067 A JP2006254067 A JP 2006254067A JP 2006254067 A JP2006254067 A JP 2006254067A JP 4859605 B2 JP4859605 B2 JP 4859605B2
- Authority
- JP
- Japan
- Prior art keywords
- journal
- storage device
- checkpoint
- log
- identification information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1469—Backup restoration techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1456—Hardware arrangements for backup
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/80—Database-specific techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/84—Using snapshots, i.e. a logical point-in-time copy of the data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
図1は、第1の実施の形態のデータベース管理システム(以下、DBMS)が動作する情報処理システムのハードウェア構成図である。図1の情報処理システムは、ホスト1、記憶装置システム2、管理端末3、ユーザ端末4、ネットワーク5、及びネットワーク6を備える。
図4は、第2の実施の形態の情報処理システムのソフトウェア構成図である。第2の実施の形態の情報処理システムのハードウェア構成は、第1の実施の形態と同じである。
制御装置20は、キャッシュメモリ21に該当するジャーナルが存在しない場合には(S213の結果が「N」)、要求された書き込みデータに関するジャーナルを上書き可能状態として作成し、キャッシュメモリ21の新たな領域に格納する(S216)。制御装置20は、格納したジャーナルに関する情報をジャーナル格納情報210に登録し、処理を終了する。
図10は、第3の実施の形態の情報処理システムのソフトウェア構成図である。第3の実施の形態の情報処理システムのハードウェア構成は、第1の実施の形態と同じである。
図15は、第3の実施の形態の機能設定画面の一例を示す図である。第3の実施の形態の機能設定画面は、ジャーナル永続化判定部300及びチェックポイント管理部301の有効又は無効を設定するユーザインタフェースである。機能設定画面は、制御装置20のジャーナル設定部202によって、ホスト1又は管理端末3などに表示される。機能設定画面は、第2の実施の形態の図9に示した機能設定画面と同じく、ジャーナル上書き判定部200及びジャーナル永続化部201の有効又は無効を設定することも可能である。
2 記憶装置システム
3 管理端末
10 DBMS
11 トランザクション管理部
16 ログ解析部
17 ログ適用部
20 制御装置
21 キャッシュメモリ
23 ジャーナル制御部
24 記憶装置
25 ジャーナル取得記憶装置
26 ジャーナル記憶装置
30 DBファイル
31 制御ファイル
32 ログファイル
33 一時ファイル
200 ジャーナル上書き判定部
201 ジャーナル永続化部
202 ジャーナル設定部
300 ジャーナル永続化判定部
301 チェックポイント管理部
Claims (2)
- データベース管理システムを実行する計算機と、前記計算機に接続される記憶装置システムと、を有する情報処理システムであって、
前記記憶装置システムは、前記計算機から送信されるアクセス要求を処理する制御部と、第1の記憶装置と、第2の記憶装置と、第3の記憶装置と、を備え、
前記第1の記憶装置は、前記データベース管理システムによってアクセスされるデータを格納するデータベースファイルと、前記データベース管理システムの制御情報を含む制御ファイルと、を格納し、
前記第2の記憶装置は、前記第1の記憶装置に格納されたデータの更新履歴であるジャーナルを格納し、
前記第3の記憶装置は、前記データベース管理システムによって生成され、前記データベースファイルの更新履歴であるログを記録するログファイルを格納し、
前記制御部は、
前記記憶装置システムと前記計算機との間で送受信されるデータ及び前記ジャーナルが、一時的に格納されるキャッシュメモリを備え、
前記第1の記憶装置に格納されたデータに対する更新指示を受信したとき、前記ジャーナルを上書き可能状態として新たに生成するジャーナル制御部と、
前記第1の記憶装置に格納されたデータに対する更新指示を受信したとき、前記更新対象のデータが格納されたアドレスと同じアドレスのデータが更新されることによって生成された同アドレスに対応するジャーナルが、前記キャッシュメモリに既に存在し、かつ、上書き可能状態であるか否かを判定するジャーナル上書き判定部と、
前記計算機から、前記データベースファイルの回復の基点となるチェックポイントが生成されたことが前記チェックポイントの識別情報とともに通知されたとき、前記キャッシュメモリに格納された上書き可能状態のジャーナルを、上書き不可状態に変更するジャーナル永続化部と、を備え、
所定のタイミングに前記キャッシュメモリに格納されているデータを前記第1の記憶装置又は前記第2の記憶装置又は第3の記憶装置に反映させるための書き込みを行い、
前記ジャーナル制御部は、
前記第1の記憶装置に格納されたデータに対する更新指示を受信したとき、前記同アドレスに対応するジャーナルが、前記キャッシュメモリに既に存在し、かつ、上書き可能状態である場合には、前記新たに生成されたジャーナルを前記同アドレスに対応するジャーナルに上書きし、前記同アドレスに対応するジャーナルが、前記キャッシュメモリに存在しない場合、又は、上書き不可状態である場合には、前記新たに生成されたジャーナルを前記キャッシュメモリの新たな領域に格納し、
前記計算機から前記チェックポイントが生成されたことを通知されたとき、前記ジャーナル永続化部による処理の後、前記生成されたチェックポイントの識別情報と対応させた上書き不可状態のジャーナルを生成して前記キャッシュメモリに格納し、
前記計算機から前記チェックポイントの識別情報を含むリストア指示を受信したとき、前記受信したリストア指示に含まれるチェックポイントの識別情報に対応するジャーナルより前に前記第2の記憶装置に記録されたジャーナルを用いて、前記データベースファイルと前記制御ファイルを含む前記第1の記憶装置に格納されたデータを復元し、
前記データベース管理システムは、
前記チェックポイントが生成されたとき、前記生成されたチェックポイントの識別情報と対応付けて前記ログファイルにログを記録し、前記生成されたチェックポイントの識別情報を前記制御ファイルに記録し、前記チェックポイントが生成されたことを前記チェックポイントの識別情報とともに前記記憶装置システムに通知する管理部と、
回復時点を含むリカバリ指示を受け付けたとき、前記リカバリ指示に含まれる回復時点に対応するログを前記ログファイルから検索し、前記検索された回復時点に対応するログが記録された時点よりも前に記録され、かつ、最も新しいチェックポイントの識別情報を含むログを取得し、前記取得されたログに含まれるチェックポイントの識別情報を前記リストア指示とともに前記記憶装置システムに送信するログ解析部と、
前記記憶装置システムによって復元された制御ファイルに記録されたチェックポイントの識別情報に対応するログから前記回復時点に対応するログまでを、前記記憶装置システムによって復元されたデータベースファイルに適用するログ適用部と、を備えることを特徴とする情報処理システム。 - 前記制御部は、
前記計算機から前記チェックポイントが生成されたことを通知されたとき、前記キャッシュメモリに格納された上書き可能状態のジャーナルの量が所定の閾値以上であって、かつ、前記第2の記憶装置の空き容量が所定の閾値以上であるか否か、を判定するジャーナル永続化判定部と、
前記ジャーナル永続化判定部による判定結果に基づいて、前記チェックポイント生成の通知を有効又は無効に設定するチェックポイント管理部と、をさらに備え、
前記ジャーナル永続化部は、前記ジャーナル永続化判定部による判定結果に基づいて、前記キャッシュメモリに格納された上書き可能状態のジャーナルを上書き不可状態に変更し、
前記ジャーナル制御部は、前記計算機から前記リストア指示を受信したとき、前記受信したリストア指示に含まれるチェックポイントの識別情報によって特定されるチェックポイント生成の通知が有効か否かを判定し、
前記特定されたチェックポイント生成の通知が有効の場合には、前記受信したリストア指示に含まれるチェックポイントの識別情報に対応するジャーナルより前に前記第2の記憶装置に記録されたジャーナルを用いて、前記第1の記憶装置に格納されたデータを復元し、
前記特定されたチェックポイント生成の通知が無効の場合には、前記特定されたチェックポイント生成の通知よりも前に受信し、かつ、最も新しい有効なチェックポイント生成の通知に対応するチェックポイントの識別情報を取得し、前記取得されたチェックポイントの識別情報に対応するジャーナルより前に前記第2の記憶装置に記録されたジャーナルを用いて、前記第1の記憶装置に格納されたデータを復元する、ことを特徴とする請求項1に記載の情報処理システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006254067A JP4859605B2 (ja) | 2006-09-20 | 2006-09-20 | 情報処理システム |
US11/708,012 US7698320B2 (en) | 2006-09-20 | 2007-02-20 | Database management system to reduce capacity of storage volume |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006254067A JP4859605B2 (ja) | 2006-09-20 | 2006-09-20 | 情報処理システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011220167A Division JP5291166B2 (ja) | 2011-10-04 | 2011-10-04 | 記憶装置システム及びデータ回復方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008077287A JP2008077287A (ja) | 2008-04-03 |
JP4859605B2 true JP4859605B2 (ja) | 2012-01-25 |
Family
ID=39189940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006254067A Expired - Fee Related JP4859605B2 (ja) | 2006-09-20 | 2006-09-20 | 情報処理システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US7698320B2 (ja) |
JP (1) | JP4859605B2 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7627619B1 (en) * | 2003-12-29 | 2009-12-01 | Emc Corporation | Data verification following database write |
US7536529B1 (en) | 2005-06-10 | 2009-05-19 | American Megatrends, Inc. | Method, system, apparatus, and computer-readable medium for provisioning space in a data storage system |
US7925630B1 (en) * | 2007-03-30 | 2011-04-12 | Symantec Corporation | Method of inserting a validated time-image on the primary CDP subsystem in a continuous data protection and replication (CDP/R) subsystem |
US8006061B1 (en) | 2007-04-13 | 2011-08-23 | American Megatrends, Inc. | Data migration between multiple tiers in a storage system using pivot tables |
US9495370B1 (en) * | 2007-07-19 | 2016-11-15 | American Megatrends, Inc. | Data recovery point review in a continuous data protection system |
US8543789B2 (en) * | 2008-05-05 | 2013-09-24 | Dell Products L.P. | System and method for managing a storage array |
US8706694B2 (en) * | 2008-07-15 | 2014-04-22 | American Megatrends, Inc. | Continuous data protection of files stored on a remote storage device |
US8996826B2 (en) * | 2009-04-28 | 2015-03-31 | Symantec Corporation | Techniques for system recovery using change tracking |
JP5432596B2 (ja) * | 2009-05-29 | 2014-03-05 | 日本電信電話株式会社 | ログファイル管理装置、ログファイル管理システム、ログファイル管理方法及びそのプログラム |
JP5607355B2 (ja) * | 2009-12-28 | 2014-10-15 | キヤノン株式会社 | 情報処理装置及び情報処理装置の制御方法 |
US11449394B2 (en) * | 2010-06-04 | 2022-09-20 | Commvault Systems, Inc. | Failover systems and methods for performing backup operations, including heterogeneous indexing and load balancing of backup and indexing resources |
JP5344711B2 (ja) * | 2010-08-05 | 2013-11-20 | 日本電信電話株式会社 | ジャーナルデータ管理方法及びジャーナルデータ管理装置 |
WO2014106871A1 (en) * | 2013-01-07 | 2014-07-10 | Hitachi, Ltd. | Storage system which realizes asynchronous remote copy using cache memory composed of flash memory, and control method thereof |
US9489336B2 (en) * | 2013-07-15 | 2016-11-08 | Oracle International Corporation | Method and system for record access in a distributed system |
US10417190B1 (en) * | 2014-09-25 | 2019-09-17 | Amazon Technologies, Inc. | Log-structured file system for zone block devices with small zones |
JP6891533B2 (ja) * | 2017-02-23 | 2021-06-18 | 日本電気株式会社 | データベース装置 |
CN110209642A (zh) * | 2018-02-05 | 2019-09-06 | 北京智明星通科技股份有限公司 | 信息处理的方法、装置、服务器及计算机可读介质 |
CN109542682B (zh) * | 2018-11-16 | 2021-03-30 | 上海达梦数据库有限公司 | 一种数据备份方法、装置、设备和存储介质 |
KR102085608B1 (ko) * | 2018-12-21 | 2020-03-06 | 주식회사 티맥스데이터 | 복구 서버 및 컴퓨터 프로그램 |
CN109871388A (zh) * | 2019-02-19 | 2019-06-11 | 北京字节跳动网络技术有限公司 | 数据缓存方法、装置、终电子设备及存储介质 |
US11237960B2 (en) * | 2019-05-21 | 2022-02-01 | Arm Limited | Method and apparatus for asynchronous memory write-back in a data processing system |
CN114371810B (zh) * | 2020-10-15 | 2023-10-27 | 中国移动通信集团设计院有限公司 | Hdfs的数据存储方法及装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05265828A (ja) * | 1992-03-18 | 1993-10-15 | Mitsubishi Electric Corp | バッチ処理プログラムのジャーナル採取装置 |
JPH1139273A (ja) * | 1997-07-17 | 1999-02-12 | Chubu Nippon Denki Software Kk | 遠隔地でのバックアップ方式 |
US6898688B2 (en) * | 2001-12-28 | 2005-05-24 | Storage Technology Corporation | Data management appliance |
US6839819B2 (en) * | 2001-12-28 | 2005-01-04 | Storage Technology Corporation | Data management appliance |
US7778958B2 (en) * | 2002-04-11 | 2010-08-17 | Quantum Corporation | Recovery of data on a primary data volume |
US6947956B2 (en) * | 2002-06-06 | 2005-09-20 | International Business Machines Corporation | Method and apparatus for selective caching of transactions in a computer system |
US7844577B2 (en) * | 2002-07-15 | 2010-11-30 | Symantec Corporation | System and method for maintaining a backup storage system for a computer system |
JP3974538B2 (ja) * | 2003-02-20 | 2007-09-12 | 株式会社日立製作所 | 情報処理システム |
JP4426262B2 (ja) * | 2003-11-26 | 2010-03-03 | 株式会社日立製作所 | ディスクアレイ装置及びディスクアレイ装置の障害回避方法 |
JP2006004031A (ja) * | 2004-06-16 | 2006-01-05 | Hitachi Ltd | データ処理方法およびシステム並びにストレージ装置方法およびその処理プログラム |
US7529966B2 (en) * | 2004-08-20 | 2009-05-05 | Hewlett-Packard Development Company, L.P. | Storage system with journaling |
JP4839091B2 (ja) * | 2006-01-27 | 2011-12-14 | 株式会社日立製作所 | データベース回復方法及び計算機システム |
JP2007280323A (ja) * | 2006-04-12 | 2007-10-25 | Hitachi Ltd | 記憶システム及びデータ管理方法 |
-
2006
- 2006-09-20 JP JP2006254067A patent/JP4859605B2/ja not_active Expired - Fee Related
-
2007
- 2007-02-20 US US11/708,012 patent/US7698320B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20080071842A1 (en) | 2008-03-20 |
JP2008077287A (ja) | 2008-04-03 |
US7698320B2 (en) | 2010-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4859605B2 (ja) | 情報処理システム | |
US7865678B2 (en) | Remote copy system maintaining consistency | |
JP4800056B2 (ja) | ストレージシステム及びその制御方法 | |
US8001344B2 (en) | Storage control apparatus, storage control program, and storage control method | |
US7774565B2 (en) | Methods and apparatus for point in time data access and recovery | |
US7398422B2 (en) | Method and apparatus for data recovery system using storage based journaling | |
US7472139B2 (en) | Database recovery method applying update journal and database log | |
US11157370B2 (en) | Consistent backup of a distributed database system | |
JP4152373B2 (ja) | リモートミラーキャッシュ内の論理オブジェクトの完全性を保つシステム | |
KR101322991B1 (ko) | 빈번한 애플리케이션-일관성있는 백업의 효율적인 생성 | |
US8024292B2 (en) | Creation of a single snapshot using a server job request | |
US8352422B2 (en) | Data restore systems and methods in a replication environment | |
EP2161661B1 (en) | Computer system and backup method therefor | |
JP4741371B2 (ja) | システム、サーバ装置及びスナップショットの形式変換方法 | |
US7640276B2 (en) | Backup system, program and backup method | |
US20080243954A1 (en) | Generating and indicating incremental backup copies from virtual copies of a data set | |
JP4419884B2 (ja) | データ複製装置、方法及びプログラム並びに記憶システム | |
JP2007226347A (ja) | 計算機システム、計算機システムの管理装置、及びデータのリカバリー管理方法 | |
CN109542682B (zh) | 一种数据备份方法、装置、设备和存储介质 | |
JP2003223287A (ja) | 記憶装置、この記憶装置のバックアップ方法及びプログラム | |
JP2008225616A (ja) | ストレージシステム、リモートコピーシステム、及びデータ復元方法 | |
JP5291166B2 (ja) | 記憶装置システム及びデータ回復方法 | |
JP2008033527A (ja) | ストレージ装置、ディスク装置及びデータ復元方法 | |
US11809385B1 (en) | Efficient data backup in a distributed storage system | |
JP2021033671A (ja) | ストレージシステムおよびリストア方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110809 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111004 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111025 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111101 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4859605 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141111 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |