JP7395227B2 - データバックアップ方法、装置、サーバ及びコンピュータプログラム - Google Patents
データバックアップ方法、装置、サーバ及びコンピュータプログラム Download PDFInfo
- Publication number
- JP7395227B2 JP7395227B2 JP2021518656A JP2021518656A JP7395227B2 JP 7395227 B2 JP7395227 B2 JP 7395227B2 JP 2021518656 A JP2021518656 A JP 2021518656A JP 2021518656 A JP2021518656 A JP 2021518656A JP 7395227 B2 JP7395227 B2 JP 7395227B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- backup
- historical
- snapshot
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 134
- 238000004590 computer program Methods 0.000 title claims description 6
- 230000007704 transition Effects 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 18
- 238000012217 deletion Methods 0.000 description 7
- 230000037430 deletion Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 101100182136 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) loc-1 gene Proteins 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000000053 physical method Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 101100334010 Drosophila melanogaster sotv gene Proteins 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1466—Management of the backup or restore process to make the backup process non-disruptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
- G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1461—Backup scheduling policy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
- G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/80—Database-specific techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/84—Using snapshots, i.e. a logical point-in-time copy of the data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Retry When Errors Occur (AREA)
Description
ターゲットデータテーブルのデータ項目をバックアップするための、バックアップタスクを受信するステップと、
当該バックアップタスクのバックアップタイミングは履歴時間帯である場合、第1履歴トランザクションスナップショットと第2履歴トランザクションスナップショットとの間の第1スナップショット差分を取得するステップであって、当該第1履歴トランザクションスナップショットと当該第2履歴トランザクションスナップショットとはそれぞれ、当該履歴時間帯の開始時点と終了時点とのトランザクションスナップショットであるステップと、
当該第1スナップショット差分に応じて、当該バックアップタスクを実行することで、少なくとも当該ターゲットデータテーブルのうちのデータ項目の可視バージョンが含まれたバックアップデータを取得するステップと、を有する。
ターゲットデータテーブルのデータ項目をバックアップするための、バックアップタスクを受信する受信ためのモジュールステップと、
当該バックアップタスクのバックアップタイミングは履歴時間帯である場合、第1履歴トランザクションスナップショットと第2履歴トランザクションスナップショットとの間の第1スナップショット差分を取得するための取得モジュールであって、当該第1履歴トランザクションスナップショットと当該第2履歴トランザクションスナップショットとはそれぞれ、当該履歴時間帯の開始時点と終了時点とのトランザクションスナップショットである取得モジュールと、
当該第1スナップショット差分に応じて、当該バックアップタスクを実行することで、少なくとも当該ターゲットデータテーブルのうちのデータ項目の可視バージョンが含まれたバックアップデータを取得するためのバックアップモジュールと、を備える。
BEGIN;
Set BACKUPNAME=‘/usr/bak/my_first_backup_01’READVIEW'20180109000000';//履歴トランザクションスナップショットのバックアップに基づき、論理バックアップを行う
BACKUP TYPE LO FROM my_table;
Set BACKUPNAME=‘/usr/bak/my_first_backup_02’READVIEW FROM'20180109000000'TO'20180119000000';//スナップショット差分の方式で論理バックアップを行う
BACKUP TYPE LO FROM my_table;
Set BACKUPNAME=‘/usr/bak/my_first_backup_03’READVIEW default;//通常トランザクションスナップショットに基づき、論理バックアップを行う
BACKUP TYPE LO FROM my_table WHERE pk>10;
END;
ただし、BACKUPNAMEは、バックアップデータパケットの名称を指定し、my_tableは、今回のバックアップタスクのバックアップターゲットデータテーブルを指定し、BACKUPフィールド後のTYPE LOは、バックアップのタイプが論理バックアップであることを示し、TYPE PHは、バックアップのタイプが物理バックアップであることを示し、デフォルトは、バックアップのタイプが物理バックアップであることを示し、WHEREステートメントは、バックアップタスクのバックアップ条件を指定するために用いる。
一、論理バックアップ
論理バックアップは、履歴トランザクションスナップショットまたは/及び通常トランザクションスナップショットに基づき、全状態データのうちのある時点におけるデータ値を便利に読み取ることができ、その具体的な実現ポリシーは、以下の3種のポリシー、即ち、(1)通常トランザクションスナップショットに基づき、現在状態データをバックアップする策、(2)履歴トランザクションスナップショットに基づき、履歴状態データと遷移状態データをバックアップする策、及び、(3)履歴トランザクションスナップショットと通常トランザクションスナップショットに基づき、同一のデータ項目の複数のバージョンに対する同時バックアップを実現する策である。
当該物理バックアップは、伝統的なデータベースシステムにおける物理バックアップを指し、バックアップタスクのために、履歴時間帯におけるトランザクションスナップショットを指定することができない。そのため、現在状態データしかバックアップすることできない。つまり、そのバックアップにより取得されたデータは、履歴状態データを含まず、現在状態データのみを含む。物理バックアップにより取得されたバックアップデータパケットにおいて、データファイル名はPhData_00000001などの方式で命名してもよく、その対応しているメタ情報ファイルはPhMeta_00000001などの方式で命名してもよい。
前述した第1の部分及び第2の部分での説明を踏まえて、以下に、本出願の実施例にかかる混合バックアップ方法を説明する。なお、バックアップタスクによっては、バックアップターゲットデータが異なってもよく、バックアップターゲットデータに応じて、以下の4タイプに分けることができる。
第1のタイプは、現在状態データ点値のバックアップであって、即ち、通常トランザクションスナップショットに基づいて、現在状態データをバックアップすることができ、そのバックアップデータパケットにメタ情報ファイル、現在状態のデータファイル、及びREDOログファイルを含む。以下に、図2に示されたデータバックアップ方法のフロチャートを利用して、現在状態データ点値に対するバックアップを例として説明し、具体的に、当該データバックアップ方法は以下のプロセスを含む。即ち、
201において、サーバはターゲットデータテーブルにおけるデータ項目をバックアップするためのバックアップタスクを受信する。
前記バックアップタスクにより指示されたバックアップタイミングは、現時点である。
なお、ディレクトリに各種のファイルが保存されるバックアップデータパケット形式において、ファイルはタイプに応じて、それぞれ異なるファイル名に命名される。例えば、メタ情報ファイルはMeta_00000001、Meta_00000002などで命名され、データファイルはData_00000001、Data_00000002などで命名され、ログファイルはLog_00000001、Log_00000002などで命名される。「00000002」などのフォーマットにおいて、文字毎に十六進法で示され、示されるファイルの数は最多、「16^8=4 294 967 296」である。
301において、サーバは、ターゲットデータテーブルのデータ項目をバックアップするためのバックアップタスクを受信する。
(一):当該バージョンは挿入操作による生成であり、当該作成タイミングと当該提出タイミングとも当該履歴時間帯にある場合、当該バージョンが可視であると特定する。
第3つのタイプは、全状態データ帯値に対するバックアップであって、履歴トランザクションスナップショット及び通常トランザクションスナップショットに基づいて、同一のデータ項目の複数のバージョンの同時バックアップを実現し、そのバックアップデータパケットには、メタ情報ファイル、履歴状態データ、遷移状態データのデータファイル、現在状態データ及びログファイルが含まれる。以下に図4に示されるデータバックアップ方法のフロチャートにより、全状態データ帯値のバックアップに対するバックアップを例として説明し、具体的には、当該データバックアップ方法は以下のプロセスを含む。
401において、サーバはターゲットデータテーブルにおけるデータ項目をバックアップするためのバックアップタスクを受信する。
501において、サーバはターゲットデータテーブルにおけるデータ項目をバックアップするためのバックアップタスクを受信する。
例示1:論理バックアップ方式
BEGIN;
Set BACKUPNAME=‘/usr/bak/my_first_backup_02’READVIEW FROM'20180109000000'TO'20180119000000';//スナップショット差分方式で論理バックアップを行う
BACKUP TYPE LO FROM my_table;
END;
BEGIN;
Set BACKUPNAME=‘/usr/bak/my_first_backup_04’READVIEW default;//通常トランザクションスナップショットに基づき物理バックアップを行う
BACKUP ALL;//システム全体をバックアップし、あるテーブルをバックアップすれば、「BACKUP FROM my_table;」になる
END;
BEGIN;
Set BACKUPNAME=‘/usr/bak/my_first_backup_04’READVIEW FROM'20180109000000'TO now();//スナップショット差分方式で混合バックアップを行って、履歴の時間'20180109000000'から、本トランザクションの可視の提出された全てのデータまで、バックアップする必要がある
BACKUP FROM my_table01,my_table02,my_table03;//指定された3つのテーブルをバックアップし、システム全体をバックアップしてもよい
第1の状況とは、ページに跨ることなく、あるデータブロックにおける条件に満足しているデータが、当該ページにおける空間において十分に記憶され得る場合を指す。
第2の状況とは、ページクに跨り、あるデータブロックにおける条件に満足しているデータが、当該ページにおける空間において十分に記憶され得ず、連続しているページに存在する場合を指す。
(一):当該バージョンは挿入操作による生成であり、当該作成タイミングは当該履歴時間帯の開始時点の前にあり、当該提出タイミングは当該履歴時間帯にある場合、当該バージョンは可視であると特定し、または、当該作成タイミングと当該提出タイミングとも当該履歴時間帯にある場合、当該バージョンは可視であると特定する。
(二):当該バージョンは削除操作による生成であり、当該削除タイミングは当該履歴時間帯の開始時点の前にあり、当該提出タイミングは当該履歴時間帯にある場合、当該バージョンは可視であると特定し、または、当該削除タイミングと当該提出タイミングとも当該履歴時間帯にある場合、当該バージョンは可視であると特定する。
(三):当該バージョンは更新操作による生成であり、当該作成タイミングは当該履歴時間帯の開始時点の前にあり、当該提出タイミングは当該履歴時間帯にある場合、当該バージョンは可視であると特定し、または、当該作成タイミングは当該履歴時間帯の開始時点の後にあり、当該提出タイミングは当該履歴時間帯にある場合、当該バージョンは可視であると特定する。
ターゲットデータテーブルのデータ項目をバックアップするためのバックアップタスクを受信するための受信モジュール701と、
当該バックアップタスクのバックアップタイミングは履歴時間帯である場合、第1履歴トランザクションスナップショットと第2履歴トランザクションスナップショットとの間の第1スナップショット差分を取得するための取得モジュール702と、
当該第1スナップショット差分に基づいて、当該バックアップタスクを実行し、少なくとも当該ターゲットデータテーブルにおけるデータ項目の可視バージョンが含まれるバックアップデータを取得するためのバックアップモジュール703と、を備え、
当該第1履歴トランザクションスナップショット及び当該第2履歴トランザクションスナップショットは、それぞれ当該履歴時間帯の開始時点と終了時点におけるトランザクションスナップショットである。
当該ターゲットデータテーブルの履歴状態データが記憶されている第1データブロックを特定し、
当該第1スナップショット差分に基づいて、当該第1データブロックに記憶されている履歴状態データの全ては可視バージョンであると特定した場合、ブロックコピーの形式で、当該第1データブロックをバックアップし、バックアップデータを取得する。
当該第1スナップショット差分に基づいて、当該第1データブロックにおける可視バージョンの割合が第1所定割合以上であると特定した場合、ブロックコピーの形式で当該第1データブロックをバックアップし、当該第1データブロックにおける不可視の履歴状態データをマークし、バックアップデータを取得するステップと、
当該第1スナップショット差分に基づいて、当該第1データブロックに記憶されている履歴状態データのうちの可視バージョンの割合が当該第1所定割合よりも小さいと特定した場合、論理的読取形式で、当該第1データブロックにおける可視バージョンを読み取って、バックアップデータを取得するステップとを含む。
当該バックアップタスクのバックアップタイミングは現時点である場合、当該現時点における通常トランザクションスナップショットを取得するステップと、
当該通常トランザクションスナップショットに基づいて、ブロックコピーの形式で現在状態データの所在しているデータブロックをバックアップし、バックアップデータを取得するステップとを含む。
当該バックアップタスクのバックアップターゲットには現在状態データが含まれる場合、バックアッププロセスの開始時点から当該バックアッププロセスの終了時点まで、当該現在状態データのログファイルをセグメント化してバックアップするステップを含む。
当該バックアップタスクのバックアップタイミングは1つの履歴時点である場合、当該履歴時点におけるトランザクションスナップショットである第3履歴トランザクションスナップショットを取得するステップと、
当該第3履歴トランザクションスナップショットに基づいて、当該バックアップタスクを実行し、少なくとも当該ターゲットデータテーブルにおけるデータ項目の可視バージョンが含まれるバックアップデータを取得するステップとを含む。
当該バックアップタスクのバックアップタイミングは、現時点を終了点とする時間帯を有する場合、第4履歴トランザクションスナップショット及び第5履歴トランザクションスナップショットとの間の第2スナップショット差分を取得するステップと、
当該第2スナップショット差分に基づいて、現在状態データと当該ターゲットデータテーブルにおける可視バージョンをバックアップするステップとを含み、
当該第4履歴トランザクションスナップショット及び当該第5履歴トランザクションスナップショットはそれぞれ当該時間帯の開始時点におけるトランザクションスナップショット、及び当該現時点における通常トランザクションスナップショットであり、
当該バックアップデータには少なくとも当該ターゲットデータテーブルにおけるデータ項目の可視バージョンが含まれる。
バックアップ過程で、当当該ターゲットデータテーブルにおける第1データファイルのデータ項目の全ては当該バックアップタスクのバックアップ条件に満足する場合、当該第1 データファイルをバックアップするステップと、
当該ターゲットデータテーブルにおける第1データファイルの一部のデータ項目が当該バックアップタスクのバックアップ条件に満足し、且つ当該一部のデータ項目の割合が第2所定割合以上である場合、当該第1データファイルをバックアップし、当該第1データファイルにおける無効データをマークするステップと、
当該ターゲットデータテーブルにおける第1データファイルの一部のデータ項目が、当該バックアップタスクのバックアップ条件に満足し、且つ当該一部のデータ項目の割合が当該第2所定割合よりも小さい場合、論理的読取形式で当該第1データファイルにおけるデータ項目を読み取るステップとを含む。
当該バックアップタスクのバックアップターゲットには複数のデータテーブルが含まれる場合、当該複数のデータテーブルを並行にバックアップするようにサポートする方式と、
当該バックアップタスクのバックアップターゲットには複数のデータファイルが含まれる場合、当該複数のデータファイルを並行にバックアップするようにサポートする方式と、
当該バックアップタスクのバックアップターゲットには複数のデータブロックが含まれる場合、当該複数のデータブロックを並行にバックアップするようにサポートする方式とのうちの少なくとも1つの方式で実現される。
800 サーバ
801 プロセッサー
802 メモリ
Claims (15)
- サーバが実行するデータバックアップ方法であって、
ターゲットデータテーブルのデータ項目をバックアップするためのバックアップタスクを受信するステップと、
前記バックアップタスクのバックアップタイミングが履歴時間帯である場合、第1履歴トランザクションスナップショットと第2履歴トランザクションスナップショットとの間の第1スナップショット差分を取得するステップと、
前記第1スナップショット差分に基づいて、前記バックアップタスクを実行し、少なくとも前記ターゲットデータテーブルにおけるデータ項目の可視バージョンが含まれるバックアップデータを取得するステップであって、前記バックアップデータは、少なくとも前記ターゲットデータテーブルにおける前記データ項目の履歴状態データ及び遷移状態データを含み、
前記ターゲットデータテーブルの履歴状態データが記憶されている第1データブロックを特定するサブステップと、
前記第1スナップショット差分に基づいて、前記第1データブロックにおける可視バージョンの割合が第1所定割合以上であると特定した場合、ブロックコピーの形式で前記第1データブロックをバックアップし、前記第1データブロックにおける不可視の履歴状態データをマークし、前記バックアップデータを取得するサブステップを含む、ステップとを含み、
前記第1履歴トランザクションスナップショット及び前記第2履歴トランザクションスナップショットは、それぞれ前記履歴時間帯の開始時点及び終了時点におけるトランザクションスナップショットであることを特徴とする方法。 - 前記第1スナップショット差分に基づいて、前記バックアップタスクを実行し、少なくとも前記ターゲットデータテーブルにおけるデータ項目の可視バージョンが含まれるバックアップデータを取得するステップが、
前記第1スナップショット差分に基づいて、前記第1データブロックに記憶されている履歴状態データのうちの可視バージョンの割合が前記第1所定割合よりも小さいと特定した場合、論理読み取りの形式で前記第1データブロックにおける可視バージョンを読み取り、前記バックアップデータを取得するサブステップをさらに含むことを特徴とする請求項1に記載の方法。 - 前記バックアップタスクのバックアップタイミングが現時点である場合、前記現時点における通常トランザクションスナップショットを取得するステップと、
前記通常トランザクションスナップショットに基づいて、現在状態データの所在しているデータブロックをブロックコピーの形式でバックアップし、前記バックアップデータを取得するステップとをさらに含むことを特徴とする請求項1に記載の方法。 - 前記バックアップタスクのバックアップターゲットが現在状態データを含む場合、バックアッププロセスの開始時点から前記バックアッププロセスの終了時点まで、前記現在状態データのログファイルをセグメント化してバックアップするステップをさらに含むことを特徴とする請求項3に記載の方法。
- 前記バックアップタスクのバックアップタイミングが1つの履歴時点である場合、前記履歴時点のトランザクションスナップショットである第3履歴トランザクションスナップショットを取得するステップと、
前記第3履歴トランザクションスナップショットに基づいて、前記バックアップタスクを実行し、少なくとも前記ターゲットデータテーブルにおけるデータ項目の可視バージョンが含まれるバックアップデータを取得するステップとをさらに含むことを特徴とする請求項1に記載の方法。 - 前記バックアップタスクのバックアップタイミングが、現時点を終了点とする時間帯を含む場合、第4履歴トランザクションスナップショットと第5履歴トランザクションスナップショットとの間の第2スナップショット差分を取得するステップと、
前記第2スナップショット差分に基づいて、現在状態データ及び前記ターゲットデータテーブルにおける可視バージョンをバックアップするステップとをさらに含み、
前記第4履歴トランザクションスナップショット及び前記第5履歴トランザクションスナップショットは、それぞれ前記時間帯の開始時点におけるトランザクションスナップショット及び前記現時点における通常トランザクションスナップショットであり、
前記バックアップデータには少なくとも前記ターゲットデータテーブルにおけるデータ項目の可視バージョンが含まれることを含むことを特徴とする請求項1に記載の方法。 - 前記バックアップタスクのバックアップターゲットに履歴状態データ及び遷移状態データを含む場合、前記バックアップデータに、前記履歴状態データ及び遷移状態データのメタ情報ファイル及びデータファイルを含み、
前記バックアップタスクのバックアップターゲットが現在状態データを含む場合、前記バックアップデータに、さらに、前記現在状態データのメタ情報ファイル、データファイル及びログファイルを含むことを特徴とする請求項1~6の何れか1項に記載の方法。 - 前記バックアップデータのうちの履歴状態データと遷移状態データとのメタ情報が関連付けられ、関連付けられたメタ情報は、ファイル命名が関連付けられたメタ情報ファイルに記憶されることを特徴とする請求項1~7の何れか1項に記載の方法。
- 前記第1スナップショット差分に基づいて、前記バックアップタスクを実行し、バックアップデータを取得するステップは、
メタ情報をバックアップする場合、バックアップターゲットのメタ情報及び前記バックアップターゲットの関連付けられたメタ情報に基づいてメタ情報リストを作成し、前記メタ情報リストに基づいてバックアップし、メタ情報ファイルを取得するサブステップを含むことを特徴とする請求項1~8の何れか1項に記載の方法。 - バックアッププロセスにおいて、前記ターゲットデータテーブルにおける第1データファイルのデータ項目の全てが前記バックアップタスクのバックアップ条件を満たしている場合、前記第1データファイルをバックアップするステップと、
前記ターゲットデータテーブルにおける第1データファイルの一部のデータ項目が前記バックアップタスクのバックアップ条件を満たしており、且つ前記一部のデータ項目の割合が第2所定割合の以上である場合、前記第1データファイルをバックアップし、前記第1データファイルにおける無効データをマークするステップとをさらに含むことを特徴とする請求項1~9の何れか1項に記載の方法。 - 前記ターゲットデータテーブルにおける第1データファイルの一部のデータ項目が前記バックアップタスクのバックアップ条件を満たしており、且つ前記一部のデータ項目の割合が前記第2所定割合よりも小さい場合、論理読み取りの形式で前記第1データファイルにおけるデータ項目を読み取るステップをさらに含むことを特徴とする請求項10に記載の方法。
- 前記バックアップタスクを実行する際に、
前記バックアップタスクのバックアップターゲットが複数のデータテーブルを含む場合、前記複数のデータテーブルを並行にバックアップすることをサポートする方式と
前記バックアップタスクのバックアップターゲットが複数のデータファイルを含む場合、前記複数のデータファイルを並行にバックアップすることをサポートする方式と
前記バックアップタスクのバックアップターゲットが複数のデータブロックを含む場合、前記複数のデータブロックを並行にバックアップすることをサポートする方式のうちの少なくとも1つの方式で実現することを特徴とする請求項1~11の何れか1項に記載の方法。 - データバックアップ装置であって、
ターゲットデータテーブルのデータ項目をバックアップするためのバックアップタスクを受信するための受信モジュールと、
前記バックアップタスクのバックアップタイミングは履歴時間帯である場合、第1履歴トランザクションスナップショットと第2履歴トランザクションスナップショットとの間の第1スナップショット差分を取得するための取得モジュールと、
前記第1スナップショット差分に基づいて、前記バックアップタスクを実行し、少なくとも前記ターゲットデータテーブルにおけるデータ項目の可視バージョンが含まれるバックアップデータを取得するためのバックアップモジュールであって、前記バックアップデータは、少なくとも前記ターゲットデータテーブルにおける前記データ項目の履歴状態データ及び遷移状態データを含み、
前記ターゲットデータテーブルの履歴状態データが記憶されている第1データブロックを特定することと、
前記第1スナップショット差分に基づいて、前記第1データブロックにおける可視バージョンの割合が第1所定割合以上であると特定した場合、ブロックコピーの形式で前記第1データブロックをバックアップし、前記第1データブロックにおける不可視の履歴状態データをマークし、前記バックアップデータを取得することを行う、バックアップモジュールとを含み、
前記第1履歴トランザクションスナップショット及び前記第2履歴トランザクションスナップショットはそれぞれ前記履歴時間帯の開始時点及び終了時点におけるトランザクションスナップショットであることを特徴とする装置。 - プロセッサーとメモリとを有するサーバであって、
前記メモリには少なくとも1つのコマンドが記憶され、前記少なくとも1つのコマンドは当該プロセッサーによってロードされて実行されると、
ターゲットデータテーブルのデータ項目をバックアップするためのバックアップタスクを受信するステップと、
前記バックアップタスクのバックアップタイミングは履歴時間帯である場合、第1履歴トランザクションスナップショットと第2履歴トランザクションスナップショットとの間の第1スナップショット差分を取得するステップと、
前記第1スナップショット差分に基づいて、前記バックアップタスクを実行し、少なくとも前記ターゲットデータテーブルにおけるデータ項目の可視バージョンが含まれるバックアップデータを取得するステップであって、前記バックアップデータは、少なくとも前記ターゲットデータテーブルにおける前記データ項目の履歴状態データ及び遷移状態データを含み、
前記ターゲットデータテーブルの履歴状態データが記憶されている第1データブロックを特定するステップと、
前記第1スナップショット差分に基づいて、前記第1データブロックにおける可視バージョンの割合が第1所定割合以上であると特定した場合、ブロックコピーの形式で前記第1データブロックをバックアップし、前記第1データブロックにおける不可視の履歴状態データをマークし、前記バックアップデータを取得するステップを含む、ステップとを、前記サーバに実行させ、
前記第1履歴トランザクションスナップショット及び前記第2履歴トランザクションスナップショットはそれぞれ前記履歴時間帯の開始時点及び終了時点のトランザクションスナップショットであることを特徴とするサーバ。 - コンピュータにより実行されると、請求項1~12の何れか1項に記載のデータバックアップ方法を実施することを特徴とするコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811459580.5 | 2018-11-30 | ||
CN201811459580.5A CN110209528B (zh) | 2018-11-30 | 2018-11-30 | 数据备份方法、装置、服务器以及存储介质 |
PCT/CN2019/122015 WO2020108623A1 (zh) | 2018-11-30 | 2019-11-29 | 数据备份方法、装置、服务器以及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022501747A JP2022501747A (ja) | 2022-01-06 |
JP7395227B2 true JP7395227B2 (ja) | 2023-12-11 |
Family
ID=67779956
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021518656A Active JP7395227B2 (ja) | 2018-11-30 | 2019-11-29 | データバックアップ方法、装置、サーバ及びコンピュータプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210173747A1 (ja) |
EP (1) | EP3822794B1 (ja) |
JP (1) | JP7395227B2 (ja) |
CN (1) | CN110209528B (ja) |
WO (1) | WO2020108623A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110209527B (zh) | 2018-11-30 | 2023-05-05 | 腾讯科技(深圳)有限公司 | 数据恢复方法、装置、服务器以及存储介质 |
CN110209528B (zh) * | 2018-11-30 | 2022-10-28 | 腾讯科技(深圳)有限公司 | 数据备份方法、装置、服务器以及存储介质 |
CN110851302B (zh) * | 2019-10-31 | 2021-06-18 | 上海爱数信息技术股份有限公司 | 一种数据库信息的备份方法及恢复方法 |
CN113138877B (zh) * | 2020-01-17 | 2024-04-19 | 伊姆西Ip控股有限责任公司 | 用于管理备份系统的方法、设备和计算机程序产品 |
CN112948176B (zh) * | 2021-02-23 | 2023-09-15 | 上海上讯信息技术股份有限公司 | 一种db2数据库恢复的方法及设备 |
CN115454717B (zh) * | 2022-09-16 | 2023-05-05 | 广州鼎甲计算机科技有限公司 | 数据库实时备份方法、装置、计算机设备和存储介质 |
CN116756135B (zh) * | 2023-07-11 | 2024-04-23 | 星环信息科技(上海)股份有限公司 | 一种数据清理方法、装置、设备及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007317186A (ja) | 2006-05-23 | 2007-12-06 | Hitachi Ltd | バックアップデータおよびジャーナルを管理するための方法および装置 |
JP2008225693A (ja) | 2007-03-09 | 2008-09-25 | Fujitsu Ltd | データベース管理方法、装置およびプログラム |
JP2012146301A (ja) | 2011-01-07 | 2012-08-02 | Symantec Corp | 増分sqlサーバデータベースバックアップを実行する方法およびシステム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7100089B1 (en) * | 2002-09-06 | 2006-08-29 | 3Pardata, Inc. | Determining differences between snapshots |
US7831639B1 (en) * | 2004-12-22 | 2010-11-09 | Symantec Operating Corporation | System and method for providing data protection by using sparse files to represent images of data stored in block devices |
US8886609B2 (en) * | 2010-12-17 | 2014-11-11 | Microsoft Corporation | Backup and restore of data from any cluster node |
US9817834B1 (en) * | 2012-10-01 | 2017-11-14 | Veritas Technologies Llc | Techniques for performing an incremental backup |
US9336090B2 (en) * | 2012-10-10 | 2016-05-10 | Hitachi, Ltd. | Storage apparatus comprising snapshot function, and storage control method |
US9098522B2 (en) * | 2012-11-29 | 2015-08-04 | Sap Se | Version garbage collection using snapshot lists |
US10725966B1 (en) * | 2014-06-30 | 2020-07-28 | Veritas Technologies Llc | Block level incremental backup for QCOW2 virtual disks |
US9928264B2 (en) * | 2014-10-19 | 2018-03-27 | Microsoft Technology Licensing, Llc | High performance transactions in database management systems |
CN104375904A (zh) * | 2014-10-30 | 2015-02-25 | 浪潮电子信息产业股份有限公司 | 一种基于快照差异化数据传输的容灾备份方法 |
US10884869B2 (en) * | 2015-04-16 | 2021-01-05 | Nuodb, Inc. | Backup and restore in a distributed database utilizing consistent database snapshots |
CN106610875A (zh) * | 2015-10-23 | 2017-05-03 | 先智云端数据股份有限公司 | 混合备份还原管理系统及其备份方法、还原方法 |
US10956270B2 (en) * | 2016-03-30 | 2021-03-23 | Acronis International Gmbh | System and method for data protection during full data backup |
CN106445738B (zh) * | 2016-09-13 | 2020-10-16 | 苏州浪潮智能科技有限公司 | 一种数据库备份方法及装置 |
US10545995B2 (en) * | 2017-05-22 | 2020-01-28 | Sap Se | Validating query results during asynchronous database replication |
US11126505B1 (en) * | 2018-08-10 | 2021-09-21 | Amazon Technologies, Inc. | Past-state backup generator and interface for database systems |
CN110209528B (zh) * | 2018-11-30 | 2022-10-28 | 腾讯科技(深圳)有限公司 | 数据备份方法、装置、服务器以及存储介质 |
-
2018
- 2018-11-30 CN CN201811459580.5A patent/CN110209528B/zh active Active
-
2019
- 2019-11-29 EP EP19890759.4A patent/EP3822794B1/en active Active
- 2019-11-29 WO PCT/CN2019/122015 patent/WO2020108623A1/zh unknown
- 2019-11-29 JP JP2021518656A patent/JP7395227B2/ja active Active
-
2021
- 2021-02-18 US US17/178,453 patent/US20210173747A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007317186A (ja) | 2006-05-23 | 2007-12-06 | Hitachi Ltd | バックアップデータおよびジャーナルを管理するための方法および装置 |
JP2008225693A (ja) | 2007-03-09 | 2008-09-25 | Fujitsu Ltd | データベース管理方法、装置およびプログラム |
JP2012146301A (ja) | 2011-01-07 | 2012-08-02 | Symantec Corp | 増分sqlサーバデータベースバックアップを実行する方法およびシステム |
Non-Patent Citations (5)
Title |
---|
PART 3 事例 テーマ別、想定外への対処法 データ連係 編,ITインフラマガジン クラウド実践活用 ,日本,日経BP社,2015年09月10日,pp. 58-59 |
亀澤 寛之,PART4 注目の次世代技術 メモリー管理、ファイルシステムに見るカーネル開発の最先端,日経Linux,日本,日経BP社,2014年08月08日,第16巻第9号通巻180号,pp. 54-59 |
坂田 哲夫 外,オープンソースソフトウェア活用に向けた取り組み,NTT技術ジャーナル,日本,社団法人電気通信協会,2017年03月01日,第19巻第3号(通巻216号),pp. 63-67 |
小田 圭二 ,44のアンチパターンに学ぶDBシステム ,第1版,日本,株式会社翔泳社 佐々木 幹夫,2009年11月27日,pp.118-119 |
長原 宏治,セットアップからSSD併用の高速化まで FreeBSDを使用した快速ZFSストレージ構築,月刊アスキードットテクノロジーズ ,日本,株式会社アスキー・メディアワークス,2010年12月24日,第16巻 第2号,pp. 100-111 |
Also Published As
Publication number | Publication date |
---|---|
CN110209528A (zh) | 2019-09-06 |
EP3822794B1 (en) | 2022-10-12 |
EP3822794A4 (en) | 2021-09-15 |
US20210173747A1 (en) | 2021-06-10 |
EP3822794A1 (en) | 2021-05-19 |
CN110209528B (zh) | 2022-10-28 |
JP2022501747A (ja) | 2022-01-06 |
WO2020108623A1 (zh) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7395227B2 (ja) | データバックアップ方法、装置、サーバ及びコンピュータプログラム | |
US10754875B2 (en) | Copying data changes to a target database | |
EP2356560B1 (en) | Atomic multiple modification of data in a distributed storage system | |
KR102579190B1 (ko) | 일관된 데이터베이스 스냅샷들을 이용한 분산 데이터베이스에서의 백업 및 복원 | |
EP2590086B1 (en) | Columnar database using virtual file data objects | |
KR101932372B1 (ko) | 인 플레이스 스냅샷들 | |
AU2013356667B2 (en) | Distributed, transactional key-value store | |
US20160077920A1 (en) | Snapshots and forks of storage systems using distributed consistent databases implemented within an object store | |
US11755427B2 (en) | Fast recovery and replication of key-value stores | |
EP2590078B1 (en) | Shadow paging based log segment directory | |
US20220382760A1 (en) | High-performance key-value store | |
US10997153B2 (en) | Transaction encoding and transaction persistence according to type of persistent storage | |
US11061569B2 (en) | Method and system for providing improved efficiency snapshots using snaplines | |
US11741073B2 (en) | Granularly timestamped concurrency control for key-value store | |
US11829291B2 (en) | Garbage collection of tree structure with page mappings | |
US20110099347A1 (en) | Managing allocation and deallocation of storage for data objects | |
Kalita et al. | DurableFS: a file system for NVRAM | |
Li | SEV: a Storage-Efficient Versioning File System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210402 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210402 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220902 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230404 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230724 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231023 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231030 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7395227 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |