JP5344711B2 - ジャーナルデータ管理方法及びジャーナルデータ管理装置 - Google Patents

ジャーナルデータ管理方法及びジャーナルデータ管理装置 Download PDF

Info

Publication number
JP5344711B2
JP5344711B2 JP2010176028A JP2010176028A JP5344711B2 JP 5344711 B2 JP5344711 B2 JP 5344711B2 JP 2010176028 A JP2010176028 A JP 2010176028A JP 2010176028 A JP2010176028 A JP 2010176028A JP 5344711 B2 JP5344711 B2 JP 5344711B2
Authority
JP
Japan
Prior art keywords
journal
journal data
data
data management
update
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010176028A
Other languages
English (en)
Other versions
JP2012038002A (ja
Inventor
英成 大和田
光俊 前村
伸彦 石井
和典 井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2010176028A priority Critical patent/JP5344711B2/ja
Publication of JP2012038002A publication Critical patent/JP2012038002A/ja
Application granted granted Critical
Publication of JP5344711B2 publication Critical patent/JP5344711B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、ジャーナルデータを管理する技術に関する。
メモリ装置上のデータや外部記憶装置上(ファイル上)のデータに対して更新トランザクション処理を行う際に、障害が発生した時にデータ復旧することを目的として、更新履歴を表すジャーナルデータ(更新に係る差分データ)を外部記憶装置上にジャーナルファイルとして保存する方法がある。
また、特許文献1によれば、システムを冗長化した場合の現用系計算機システムのメモリ及びファイルのデータを待機系計算機システムに復旧するジャーナルデータ反映方法の技術が開示されている。
しかしながら、このような技術を実現する計算機システムが長時間連続運転される場合には、保存されるジャーナルデータの量が膨大となる。
そこで現在では、定期的にジャーナルデータのダンプデータを生成して適宜記憶し、ダンプデータが最後に生成された後の更新履歴をジャーナルデータとして保存することにより、保存すべきジャーナルデータの量を削減する手法が採用されている。
また、特許文献2によれば、チェックポイントにおけるディスク出力データ量を抑えることにより、チェックポイントでのデータベースアプリケーションからのアクセス性能劣化を抑え、障害復旧時の復旧時間短縮化を実現する技術が開示されている。
特開平10−49418号公報 特開2006−139696号公報
ここで、更新頻度が高いデータに前述した従来技術を適用する場合、保存されるジャーナルデータ量が膨大になることを回避するために、定期的なダンプデータの生成周期を短くすることや、ジャーナルデータ量が一定値を超過した場合にダンプデータを生成することが考えられる。
しかしながら、ダンプデータの生成周期の短縮により、ある一定期間内におけるダンプデータの生成回数が増加することになり、一般的にダンプデータ生成はデータの読み取りや外部記憶装置への書き込みから構成されるため、計算機システムの処理負荷が高くなるという問題がある。
本発明は、上記を鑑みてなされたものであり、計算機システムの処理負荷を軽減可能なジャーナルデータ管理方法及びジャーナルデータ管理装置を提供することを課題とする。
請求項1に記載のジャーナルデータ管理方法は、コンピュータにより行うジャーナルデータ管理方法において、第1記憶手段に記憶されている所定のデータが更新された場合に、前記更新に係るジャーナルデータを第2記憶手段のジャーナルファイルに追加的に書き込むステップと、前記更新に係るジャーナルデータが書き込まれる際に、前記書き込まれたジャーナルデータと同じジャーナルデータが前記ジャーナルファイルに存在するか否かをジャーナルファイル上で検索し、存在する場合には以前に書き込まれたジャーナルデータを削除するステップと、を有することを特徴とする。
本発明にあっては、第1記憶手段に記憶されている所定のデータが更新された場合に、その更新に係るジャーナルデータを第2記憶手段のジャーナルファイルに追加的に書き込み、更新に係るジャーナルデータが書き込まれる際に、書き込まれたジャーナルデータと同じジャーナルデータがジャーナルファイルに存在するか否かをジャーナルファイル上で検索して、存在する場合には以前に書き込まれたジャーナルデータを削除するため、保存されるジャーナルデータ量が削減し(適正化され)、ダンプデータの生成頻度が低下して、計算機システムの処理負荷を軽減することができる。
請求項2に記載のジャーナルデータ管理装置は、第1記憶手段に記憶されている所定のデータが更新された場合に、前記更新に係るジャーナルデータを第2記憶手段のジャーナルファイルに追加的に書き込むジャーナルデータ保存手段と、前記更新に係るジャーナルデータが書き込まれる際に、前記書き込まれたジャーナルデータと同じジャーナルデータが前記ジャーナルファイルに存在するか否かをジャーナルファイル上で検索し、存在する場合には以前に書き込まれたジャーナルデータを削除するジャーナルデータ削除手段と、を有することを特徴とする。
本発明にあっては、第1記憶手段に記憶されている所定のデータが更新された場合に、その更新に係るジャーナルデータを第2記憶手段のジャーナルファイルに追加的に書き込み、更新に係るジャーナルデータが書き込まれる際に、書き込まれたジャーナルデータと同じジャーナルデータがジャーナルファイルに存在するか否かをジャーナルファイル上で検索して、存在する場合には以前に書き込まれたジャーナルデータを削除するため、保存されるジャーナルデータ量が削減し(適正化され)、ダンプデータの生成頻度が低下して、計算機システムの処理負荷を軽減することができる。
本発明によれば、計算機システムの処理負荷を軽減可能なジャーナルデータ管理方法及びジャーナルデータ管理装置を提供することができる。
ジャーナルデータ管理システムの全体接続構成を示す図である。 ジャーナルデータ管理装置の機能ブロック構成を示す図である。 メモリ装置に記憶されたデータの一例を示す図である。 更新に係るジャーナルデータの一例を示す図である。 外部記憶装置に記憶されたジャーナルファイルの一例を示す図である。 ジャーナルデータ管理装置の動作フローを示す図である。 外部記憶装置に記憶されたジャーナルファイルの一例を示す図である。
以下、本発明を実施する一実施の形態について図面を用いて説明する。但し、本発明は多くの異なる様態で実施することが可能であり、本実施の形態の記載内容に限定して解釈すべきではない。
図1は、本実施の形態に係るジャーナルデータ管理システムの全体接続構成を示す図である。このジャーナルデータ管理システムは、計算機システム内で動作するジャーナルデータ管理装置1aと、冗長化された計算機システム内で動作するジャーナルデータ管理装置1bと、ユーザネットワーク4を介して全てのジャーナルデータ管理装置に通信可能に接続されたユーザ端末2と、同様に保守系ネットワーク5を介して全てのジャーナルデータ管理装置に通信可能に接続された保守端末3とで構成されている。
なお、図1では、ジャーナルデータ管理装置を2つ配備させた構成が示されているが、計算機システムが更に冗長化されている場合には、更に多くのジャーナルデータ管理装置を冗長化された各計算機システム内に配備することも可能である。同様に、ユーザ端末2や保守端末3をそれぞれ複数台配備することも可能である。また、図1では、本実施の形態で説明する発明に関係しない構成要素等は省略している。
次に、図2乃至図5を参照しながら、ジャーナルデータ管理装置1aの機能について説明する。図2は、ジャーナルデータ管理装置1aの機能ブロック構成を示している。なお、図2では、本実施の形態で説明する発明に関係する部分のみを概念的に示している。
このジャーナルデータ管理装置1aは、メモリ装置13に記憶されたデータや外部記憶装置14に記憶されたジャーナルファイルを管理するジャーナルデータ保存部11及びジャーナルデータ削除部12と、メモリ上の記憶装置であるメモリ装置13と、ハードディスク上の保存装置である外部記憶装置14とで構成されている。
メモリ装置13は、所定のデータを記憶する機能を有している。このように記憶されるデータの一例を図3に示す。例えば、Aaの要素には1というデータが、Abの要素には0というデータが記憶されている。このデータは、計算機システムに対してユーザ端末2や保守端末3からデータの更新要求があった場合に、その更新要求に係るジャーナルデータ(更新に係る差分データ)に基づいて、それまで記憶されていたデータが更新(新規追加、変更、削除等)された状態に反映されることになる。また、このようなジャーナルデータの一例を図4に示す。このジャーナルデータは、Aaの要素を0から1に変更したいという更新履歴であり、要素と履歴とから構成されている。
外部記憶装置14は、複数のジャーナルデータをファイル化したジャーナルファイルを保存する機能を有している。このように保存されるジャーナルファイルの一例を図5に示す。このジャーナルファイルは、ジャーナルデータが保存された順番で付与された番号とジャーナルデータの要素及び履歴とから構成されている。例えば、1の番号のジャーナルデータは、Aaの要素について1から0に変更したいという更新履歴を表している。なお、このようなジャーナルファイルはメモリ装置13のデータ復旧の際に利用されるため、外部記憶装置14は、メモリ装置13と物理的に異なる機器(例えば、計算機システム内のハードディスクや、LAN等の通信ネットワークを介して接続されたストレージ装置等)であることが望ましい。
ジャーナルデータ保存部11は、CPU等により実現される処理機能部であって、メモリ装置13に記憶されている所定のデータが更新された場合に、その更新に係るジャーナルデータを外部記憶装置14のジャーナルファイルに追加的に書き込む機能を有している。
ジャーナルデータ削除部12は、同様にCPU等により実現される処理機能部であって、ジャーナルデータ保存部11によって書き込まれたジャーナルデータと同じジャーナルデータがジャーナルファイルに存在するか否かを検索し、存在する場合には以前に書き込まれた古いジャーナルデータを削除する機能を有している。
次に、図5及び図6を参照しながら、ジャーナルデータ管理装置1aの動作について説明する。図6は、ジャーナルデータ管理装置1aの動作フローを示す図である。
最初に、メモリ装置13のデータについて更新があった際、ジャーナルデータ保存部11により、更新に要したジャーナルデータが外部記憶装置14のジャーナルファイルに書き込まれ、保存される(S1)。例えば、図5に示したように、4の番号のジャーナルデータ(Aaの要素について0から1に変更したいという更新履歴)がジャーナルファイルに書き込まれる。
次に、ジャーナルデータ削除部12により、S1で追加されたジャーナルデータの要素の値(4の番号のAa)が、ジャーナルファイルに追加されたジャーナルデータ(4の番号のAa)以外の要素の値と一致するジャーナルデータが検索され、一致する要素の値がある場合には、その行のジャーナルデータ(1の番号のジャーナルデータ)が削除され、一致する要素の値がない場合には、何も処理されない(S2)。
以上の処理によって更新されたジャーナルファイルを図7に示す。図5に示したジャーナルファイルと比べて、1の番号で保存されていた同一要素のジャーナルデータが削除されることになる。
本実施の形態によれば、ジャーナルデータが外部記憶装置14に保存される際に、更新に係るジャーナルデータと同一要素のジャーナルデータを削除するため、ダンプデータの生成回数を削減させ、計算機システムの負荷を軽減することができる。
また、本実施の形態によれば、ジャーナルデータが外部記憶装置14に保存される際に、更新に係るジャーナルデータと同一要素のジャーナルデータを削除するため、障害発生時にジャーナルデータによるメモリ装置13のデータの復旧時間を短縮することができる。
最後に、本実施の形態で説明したジャーナルデータ管理装置1aをプログラムとして光記憶装置や磁気記憶装置等の記録媒体に読出可能に記録し、この記録媒体をコンピュータに組み込んだり、若しくは記録媒体に記録されたプログラムを、任意の通信回線を介してコンピュータにダウンロードしたり、又は記録媒体からインストールし、該プログラムでコンピュータを動作させることにより、上述した各処理動作をジャーナルデータ管理装置1aとして機能させることができるのは勿論である。
1a、1b…ジャーナルデータ管理装置1a(計算機システム)
2…ユーザ端末
3…保守端末
4…ユーザネットワーク
5…保守系ネットワーク
11…ジャーナルデータ保存部(ジャーナルデータ削除手段)
12…ジャーナルデータ削除部(ジャーナルデータ削除手段)
13…メモリ装置(第1記憶手段)
14…外部記憶装置(第2記憶手段)
S…ステップ

Claims (2)

  1. コンピュータにより行うジャーナルデータ管理方法において、
    第1記憶手段に記憶されている所定のデータが更新された場合に、前記更新に係るジャーナルデータを第2記憶手段のジャーナルファイルに追加的に書き込むステップと、
    前記更新に係るジャーナルデータが書き込まれる際に、前記書き込まれたジャーナルデータと同じジャーナルデータが前記ジャーナルファイルに存在するか否かをジャーナルファイル上で検索し、存在する場合には以前に書き込まれたジャーナルデータを削除するステップと、
    を有することを特徴とするジャーナルデータ管理方法。
  2. 第1記憶手段に記憶されている所定のデータが更新された場合に、前記更新に係るジャーナルデータを第2記憶手段のジャーナルファイルに追加的に書き込むジャーナルデータ保存手段と、
    前記更新に係るジャーナルデータが書き込まれる際に、前記書き込まれたジャーナルデータと同じジャーナルデータが前記ジャーナルファイルに存在するか否かをジャーナルファイル上で検索し、存在する場合には以前に書き込まれたジャーナルデータを削除するジャーナルデータ削除手段と、
    を有することを特徴とするジャーナルデータ管理装置。
JP2010176028A 2010-08-05 2010-08-05 ジャーナルデータ管理方法及びジャーナルデータ管理装置 Active JP5344711B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010176028A JP5344711B2 (ja) 2010-08-05 2010-08-05 ジャーナルデータ管理方法及びジャーナルデータ管理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010176028A JP5344711B2 (ja) 2010-08-05 2010-08-05 ジャーナルデータ管理方法及びジャーナルデータ管理装置

Publications (2)

Publication Number Publication Date
JP2012038002A JP2012038002A (ja) 2012-02-23
JP5344711B2 true JP5344711B2 (ja) 2013-11-20

Family

ID=45849963

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010176028A Active JP5344711B2 (ja) 2010-08-05 2010-08-05 ジャーナルデータ管理方法及びジャーナルデータ管理装置

Country Status (1)

Country Link
JP (1) JP5344711B2 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5955550A (ja) * 1982-09-22 1984-03-30 Fujitsu Ltd 履歴情報収集最適化処理システム
JPH03222046A (ja) * 1990-01-29 1991-10-01 Nec Corp ログファイルのオーバフロー防止方式
JP2007072847A (ja) * 2005-09-08 2007-03-22 Nec Corp 情報処理システムとセパレート隠蔽装置及びセパレート制御方法並びにプログラム
JP4859605B2 (ja) * 2006-09-20 2012-01-25 株式会社日立製作所 情報処理システム

Also Published As

Publication number Publication date
JP2012038002A (ja) 2012-02-23

Similar Documents

Publication Publication Date Title
JP4977565B2 (ja) アクセス制御リストを用いてファイルへのアクセスを制御するアクセスコントローラ
CN102414673B (zh) 智能的备份数据分层
US11151030B1 (en) Method for prediction of the duration of garbage collection for backup storage systems
US20150213100A1 (en) Data synchronization method and system
CN106407040A (zh) 一种远程数据复制方法及系统
US7987325B1 (en) Method and apparatus for implementing a storage lifecycle based on a hierarchy of storage destinations
CN101460930A (zh) 维护数据库与文件系统之间的链接级一致性
EP3147797B1 (en) Data management method, node and system for database cluster
US10366052B2 (en) Identifying partial update for tape file system
JP2007241486A (ja) 記憶装置システム
JP5279785B2 (ja) コントローラ、記憶装置、およびプログラム
US20170123689A1 (en) Pipelined Reference Set Construction and Use in Memory Management
WO2018133762A1 (zh) 文件合并方法和装置
CN112800019A (zh) 基于Hadoop分布式文件系统的数据备份方法及系统
JP5719083B2 (ja) データベース装置、プログラムおよびデータ処理方法
CN114490509A (zh) 跟踪改变数据捕获日志历史
JP5344711B2 (ja) ジャーナルデータ管理方法及びジャーナルデータ管理装置
JP2016162245A (ja) ストレージ制御装置、ストレージ制御方法、及びストレージ制御プログラム
KR20160074587A (ko) 데이터 유닛들의 컬렉션 체크포인팅
JP4826610B2 (ja) 画像処理装置および画像消去プログラム
US11645333B1 (en) Garbage collection integrated with physical file verification
JP5222171B2 (ja) データベース管理方法およびデータベース管理システム
CN111984598A (zh) 一种高性能元数据日志文件管理方法、系统、介质及终端
JP2006139696A (ja) データ復元方法、及びデータ復元プログラム
CN111913916A (zh) 一种文件重组的方法及设备

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130129

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130326

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130625

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130809

R150 Certificate of patent or registration of utility model

Ref document number: 5344711

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350