JP2503289B2 - デ―タベ―ス管理処理方式 - Google Patents

Description

【発明の詳細な説明】 〔概要〕 トランザクションによる追加レコードをデータベース
に格納するヒストリカルなデータ蓄積処理に適したデー
タベース管理処理方式に関し， データ収集トランザクションのコンカレンシーを向上
させ，かつ蓄積データの一括処理や処理済みデータの削
除を円滑に行うことができるようにすることを目的と
し， 追加レコードのログが格納されるセーフログ域と，コ
ミットされたレコードが格納されるバッファ域と，二次
記憶上に設けられるデータベース格納域と，レコードの
追加時に，セーフログ域にそのレコードのログデータを
採取するデータベースアクセス部と，コミット済みのロ
グデータをセーフログ域から取り出し，バッファ域に格
納するコミットレコード収集部と，バッファ域の内容を
トランザクションの処理とは非同期にデータベース格納
域に書き出すバッファ制御部とを備え，追加レコードの
ディスクロージャを，前記バッファ域への転送で行うよ
うに構成する。

〔産業上の利用分野〕

本発明は，トランザクションによる追加レコードをデ
ータベースに格納するヒストリカルなデータ蓄積処理に
適したデータベース管理処理方式に関する。

現在，計算機システムの著しい進歩により，例えば
（ａ）多品種少量生産化，（ｂ）商品のタイムリーな納
入，（ｃ）在庫や生産設備の無駄の削減，というような
データ蓄積処理のユーザニーズを計算機システムで実現
する要求が高まっている。

このようなニーズに応えるためには，データの蓄積／
参照をリアルタイムに行うことが計算機システムに要求
される。

〔従来の技術〕

第９図は従来技術の例を示す。

第９図（イ）は，一般的なデータベース管理システム
の構成を示しており,10は応用処理部,16はバッファプー
ル,18はデータベース格納域,30はデータベース管理部,3
1はログ管理部,32はログ格納域を表す。

応用処理部10は，ユーザからの一つのまとまった処理
要求を，トランザクションとして処理する。特にデータ
蓄積処理の場合，応用処理部10は，データベース管理部
30に対して収集データの格納を要求し，バッファプール
16を介して収集データを，二次記憶上のデータベース格
納域18に格納する。

また，収集データについてのログを，ダウンリカバリ
のために，ログ管理部31によってログ格納域32に採取す
る。

従来，このようなシステムにおいて，第９図（ロ）に
示すように複数のトランザクションT1,T2が走行すると
き，一般にデータが発生したときからトランザクション
処理が終了するまでの間，データベース格納域18のファ
イルに対するロック制御を行い，データ間の不整合が発
生しないようにしていた。

例えばトランザクションT1は，レコードR1の追加を行
ってからトランザクション終了時にそれを有効化するコ
ミットを行うまでの間，その格納媒体に対するロックを
保持する。したがって，他のトランザクションT2がレコ
ードR2を追加しようとしても，ロックの解除待ちとな
り，トランザクションT1の処理の終了を待たなければな
らなかった。

なお，コミットとは，トランザクション内で行った更
新，追加，削除などのデータを確定させ，有効化させる
処理のことである。

なお，トランザクションや格納，ログ，ロックなど，
データベース管理についての一般的な技術は,DATABASE
DESIGN,GIO WIEDERHOLD著（ISBN 0−07−Y66638−５）
に詳しい。

〔発明が解決しようとする課題〕

従来技術では，第９図（ロ）に示すように，データ間
の不整合が発生しないようにするために，データ蓄積処
理の並列性が犠牲となっていた。

これは，従来のデータベースの格納機構には，いわゆ
るB⁺トリーやハッシュ，ヒープなどがあるが，エントリ
データの収集を主として扱う場合に適した格納機構がな
いことに起因している。

すなわち，従来の格納機構を，エントリデータの収集
を目的としたシステムに適用すると，データ収集トラン
ザクションの高度な同時並行動作ができないという問題
があった。

また，インデックスによる収集データのアドホックな
収集が難しかったり，蓄積データの一括処理や処理済み
データの削除を行っている時間帯では，データ収集処理
が止まってしまうという問題があった。

そこで，従来はアプリケーションレベルで個別に解決
することを試み，データ収集専門の処理と収集データの
加工処理とを分け，またデータベースも分けて，それぞ
れ処理する時間帯を決め，この間のバッチ的な転送を行
うなどしていた。しかし，このようにアプリケーション
レベルで対処するのは，アプリケーションの開発が難し
くなり，またシステムの運用も難しいものになるという
問題があった。

本発明は上記問題点の解決を図り，データ収集トラン
ザクションのコンカレンシーを向上させ，かつ蓄積デー
タの一括処理や処理済みデータの削除を円滑に行うこと
ができるようにすることを目的としている。

〔課題を解決するための手段〕

第１図は本発明の原理説明図である。

応用処理部10は，トランザクションに関するデータ収
集・蓄積処理を行うものである。データベースアクセス
部11は，応用処理部10からの要求により，データベース
のレコードの追加・更新・検索・削除などの処理を行
う。

セーフログ域12は，追加レコードのログが格納される
記憶領域である。なお，通常の更新後イメージ・ログや
コミット・ログなどの他のログが混在して格納されても
よい。例えば，高速の不揮発性メモリ内に設けられる。

コミットレコード収集部13は，コミット済みのログデ
ータをセーフログ域12から取り出し，ボラタイルバッフ
ァ域14に格納する処理を行うものである。ボラタイルバ
ッファ域14上に格納されたデータは，直接または後述す
るサロゲートマップ19を介してアクセス可能であり，ア
クセス要求元からは，実際のデータベースに格納された
データと同様に取り扱うことができる。

バッファ制御部15は，従来と同様なバッファ制御を行
うとともに，ボラタイルバッファ域14の内容をトランザ
クションの処理とは非同期に，データベース格納域18−
１または18−２に書き出す処理を行う。バッファプール
16は，従来から用いられている一般のデータベースのバ
ッファである。

データベース格納域は，第１のデータベース格納域18
−１と第２のデータベース格納域18−２とからなり，ヒ
ストリカルな蓄積データが格納される二次記憶上の記憶
領域である。

再構成処理部17は，データベース格納域18−1,18−２
の一方からレコードを読み出し，削除レコードを廃棄し
て，他方に有効レコードを詰めて転記する処理を行うも
のである。

サロゲートマップ19は，各レコードを識別する情報と
そのレコードの物理的な格納位置との対応情報を記憶
し，管理するものである。ここでのレコードを識別する
情報は，例えばサロゲートマップ19のエントリ番号であ
る。

インデックス部20は，通常のデータベースにおけるイ
ンデックスと同様なものであるが，各レコードをサロゲ
ートマップ19のエントリ番号で管理する。したがって，
レコードの物理的な格納位置を変更した場合に，サロゲ
ートマップ19におけるエントリの格納位置情報を変更す
るだけで，インデックス部20等の変更は不要となってい
る。これにより，レコードは，ボラタイルバッファ域14
に存在していても，データベース格納域18−１または18
−２に存在しても，インデックス部20からは同等に扱う
ことができるようになっている。

〔作用〕

本発明の基本的なアイデアは，他のトランザクション
への収集データ（レコード）のアンロックを意味するデ
ィスクロージャが，コミット時点以降の適当なタイミン
グで行えばよいことに基づいている。すなわち，一般の
データ蓄積処理では，参照処理のリアルタイム性やデー
タの読み込みの順序性を，必ずしもコミット時点を規準
として厳密に保証する必要がないことが多く，それより
も参照処理と追加処理間および追加処理と追加処理間の
並列性に対する要求が大きいことに着目している。

エントリデータの収集を行うトランザクションの収集
データ以外のアンロックについては，従来と同等の方式
で行ってかまわない。

収集データに関しては，データ追加指示の時点で，従
来の意味の二次記憶に対する直接のデータ追加処理は行
わず，セーフログ域12に蓄えておく。コミット時点また
はコミット後の適当なタイミングで，コミット対象のレ
コードをセーフログ域12から収集し，ボラタイルバッフ
ァ域14に設定する。コミット処理そのものは，コミット
対象レコードの収集で終わってよいが，コミットからデ
ィスクロージャまでの期間におけるシステムファイルか
らの回復を行うためのチェックポイントを取得する。

ボラタイルバッファ域14への転送が，これらのレコー
ドの他のトランザクションへのディスクロージャに相当
し，当該レコードに対する格納域の裏付けをとると同時
に，インデックス部20へのアップグレードを行う。

ボラタイルバッファ域14の内容は，バッファ制御部15
により，適当な機会にデータベース格納域18−１または
18−２に転送する。システムダウン時において，ボラタ
イルバッファ域14のデータが失われた場合には，セーフ
ログ域12からのデータ復旧が可能である。

収集データの一括削除やインデックス部20を用いた削
除による虫食い状態のデータベース格納域を再利用する
ために，それをデータベース格納域18−1,18−２の２つ
に分け，再構成処理部17によって，一方から他方へのコ
ンプレスを行う。また，サロゲートマップ19によって，
レコードの物理的な格納位置を浮動状態にした管理を可
能とする。

本発明は，特にレコード追加要求時の処理に関係して
いるが，更新要求が，レコードの削除処理と追加処理と
で実現されるオプションでも有効である。

〔実施例〕

第２図は本発明の一実施例による動作例，第３図およ
び第４図は本発明の一実施例に係るデータベースアクセ
ス部の処理フロー，第５図は本発明の一実施例によるコ
ミットレコード収集部の処理フロー，第６図は本発明の
一実施例によるバッファ制御部の処理フロー，第７図は
本発明の一実施例に係る再構成処理部の処理フロー，第
８図は本発明の一実施例による再構成処理説明図を示
す。

第２図において,T1,T2はレコード追加を主たる目的と
したトランザクションであり，それぞれ応用処理部10−
1,10−２で実行される。

本発明では，このようなトランザクションT1,T2が同
時に動作するとき，トランザクションへの入力データで
あるエントリデータのレコードR1,R2の追加では，直
接，二次記憶上のデータベース格納域に書き込むことは
しないで，第２図（イ）に示すように，セーフログ域12
に，更新後イメージのログとして，追加レコードR1,R2
の内容を収集する。なお，このようなエントリデータ以
外のデータベースの更新データについてもセーフログ域
12上にログを採る。なお，ここでは説明を簡単化するた
め，その他のデータベースアクセスで衝突はしていない
ものとする。

レコードR1,R2の追加については，セーフログ域12に
ログを採るだけであるので，単にセーフログ域12への格
納のシリアライズのための簡単な制御表ロックを行うだ
けでよく，トランザクション間の排他のためのトランザ
クションロックは不要である。したがって，複数の応用
処理部10−1,10−２が並行して処理を続けることができ
る。

トランザクションT1とT2とが，並行に動作する様子
を，第２図（ロ）に示している。

トランザクションT1が，レコードR1を追加すると，そ
のレコードのログがセーフログ域12に格納される。トラ
ンザクションT1の終了処理で，それまでのデータ操作を
有効化するコミットの指示があると，そのコミットログ
についてもセーフログ域12に格納される。

トランザクションT2が，レコードR2を追加しコミット
する場合も同様である。トランザクションT1のコミット
終了まで，トランザクションT2の処理が待たされること
はない。

コミットされた場合，セーフログ域12からコミット対
象のレコードのログが収集され，ボラタイルバッファ域
14に書き出される。ボラタイルバッファ域14の内容は，
各トランザクションが参照可能である。ボラタイルバッ
ファ域14は，適宜，必要な時点で二次記憶上のデータベ
ース格納域18に書き出される。

次に第１図に示すデータベースアクセス部11の処理につ
いて説明する。

（ａ）レコード追加 データベースアクセス部11によるレコード追加では，
第３図（イ）に示すように，対象レコードをセーフログ
域12に転送する処理を行う。なお，トランザクション単
位にローカルログバッファを持つようにし，コミット時
にセーフログ域12に一括転送するようにしてもよい。

（ｂ）レコード更新 データベースアクセス部11によるレコード更新では，
第３図（ロ）に示すように，更新対象のレコードがボラ
タイルバッファ域14上にあるか否かを調べ，ボラタイル
バッファ域14上にあれば，そのレコードを更新する。ボ
ラタイルバッファ域14上になければ，通常のデータベー
スアクセスにより，データベースバッファ（第１図に示
すバッファプール16）上でのレコードの更新を行う。

（ｃ）レコード検索 データベースアクセス部11によるレコード検索では，
第３図（ハ）に示すように，従来と同様にデータベース
バッファ経由のレコード検索処理を行う。検索対象が見
つかったならば，それを提示する。検索対象が見つから
なかった場合，さらにボラタイルバッファ域14上のレコ
ードを検索する。

（ｄ）レコード削除 データベースアクセス部11によるレコード削除では，
第４図（イ）に示すように，ボラタイルバッファ域14上
に対象レコードがあるか否かを調べ，ボラタイルバッフ
ァ域14上にあれば，そのレコードを削除する。そうでな
ければ，通常の格納構造の場合と同様にデータベースバ
ッファ上でのレコードの削除を行う。

（ｅ）コミット コミット処理は，それまでのトランザクションによる
データ操作をすべて有効化する処理である。この処理で
は，第４図（ロ）に示すように，セーフログ域12に採取
したログの安定化処理を行う。具体的には，コミットロ
グを出力し，それ以前のコミット対象のログを明確化す
る。本実施例では，セーフログ域12は不揮発メモリで構
成されているが，セーフログ域12が揮発性の場合，この
安定化処理で，不揮発化の処理を行う。その後，トラン
ザクション終了処理を行う。この終了処理では，必要に
応じて，本処理方式によらない通常の方式でアクセスし
たデータベースレコードに対するアンロック処理等を行
う。

（ｆ）ロールバック ロールバック処理は，それまでのトランザクションに
よるデータ操作をすべて無効化する処理である。この処
理では，第４図（ハ）に示すように，セーフログ域12に
採取したログの無効化処理を行う。具体的には，ロール
バックログを出力し，それ以前の更新後イメージのログ
が無効であること明確化する。または更新後イメージの
ログを削除する。さらに，本処理方式によらない通常の
データベースに対する更新などを行っていた場合には，
それらのデータベースバッファ更新の無効化処理を行
い，必要に応じてそのアンロック処理を行う。

第１図に示すコミットレコード収集部13は，コミット
済みレコードの収集を行う。セーフログ域12には，本処
理方式による追加レコード以外のためのログも含まれて
いる。また，ロールバックによって無効化されたログが
含まれていることもある。そこで，それらのログの中か
ら，コミット済みになっている本処理方式による追加レ
コードのみを収集する。

その処理のため，コミットレコード収集部13は，第５
図に示す処理〜を行う。

まず，セーフログ域12から，それまでのログレコー
ドを取り出す。

取り出した各ログレコードについて，それが本処理
方式による追加レコードであって，コミット済みになっ
ているものかどうかを判定する。そうでない場合には，
処理を終了する。

本処理方式による追加レコードであって，コミット
済みになっているものを，ボラタイルバッファ域14に詰
めて格納する。

サロゲートマップ19から空きエントリを確保し，そ
の番号をレコードの識別情報とするとともに，ボラタイ
ルバッファ域14の格納アドレスをサロゲートマップ19に
設定する。

コミット済みになっているレコードが，インデック
ス部20で扱う対象になっている場合には，インデックス
部20を更新し，インデックス部20にレコードの識別情報
を設定する。これらを対象となっている全ログについて
行ったならば，処理を終了する。

第１図に示すバッファ制御部15は，通常のデータベー
スアクセスにおけるバッファプール16を利用したデータ
ベースページの読み込み，書き出し以外に，第６図に示
す処理を行う。

すなわち，バッファ制御部15は，トランザクションの
処理とは非同期に，レコードの詰まったボラタイルバッ
ファ域14を，データベース格納域18−１または18−２に
書き出す。そして，サロゲートマップ19における該当す
るレコードの物理的な格納位置情報を書き換える。レコ
ード識別情報の変更はないので，ボラタイルバッファ域
14の書き出しによるインデックス部20の更新は不要であ
る。

再構成処理部17は，システムの負荷が低下したとき，
またはシステム管理者によって任意のときに起動され，
第７図〜に示すデータベースの再構成を行う。

カレントとなっているデータベース格納域18−1,18
−２の一方から，レコードを順に取り出す。

取り出したレコードが削除レコードであれば，それ
を廃棄し，有効なレコードについて，他方のデータベー
ス格納域18−２または18−１上の格納位置を決定し，レ
コードを格納する。

レコードの物理的な格納位置が変わるので，サロゲ
ートマップ19の該当するエントリの内容を書き換える。

第８図は，この再構成処理の具体例を示してる。

データベースの格納域は，例えば第８図に示すよう
に，データベース格納域18−１とデータベース格納域18
−２の２つの領域からなる。サロゲートマップ19は，デ
ータベース格納域18−１または18−２上のレコードの物
理的な格納位置およびボラタイルバッファ域14上の格納
アドレスを指している。

インデックス部20は，レコードの物理的な格納位置の
情報を持つのではなく，サロゲートマップ19におけるエ
ントリ番号を，レコード識別情報として持つ。すなわ
ち，インデックスとなる各キーkey1,key2,…に対応し
て，サロゲートマップ19上のエントリ番号＃5,＃1,…を
保持する。

再構成処理部17による再構成は，第８図に示すよう
に，データベース格納域18−１から順番にレコードを取
り出し，有効なレコードR1,R2,…だけをデータベース格
納域18−２に設定する処理である。データベース格納域
18−１からデータベース格納域18−２へレコードを移し
たならば，サロゲートマップ19の内容を，点線の矢印で
示すように更新する。

データベース格納域18−１からのレコードの転記が終
了したならば，次はデータベース格納域18−２からデー
タベース格納域18−１に対するレコードの転記を行う。

以上のようにエントリデータの収集を専門的に扱うデ
ータ構造を想定することにより，次のような処理に適し
た構造とすることができる。

（ａ）ヒストリカルにオーダエントリのような伝票の収
集を行う。

（ｂ）必要に応じて，収集データをインデックス等でア
クセスができるようにカテゴリ分けする。

（ｃ）時系列に沿った集信データの一括処理を行う。

（ｄ）処理済みデータは，原則的には削除される。

なお，以上の実施例では，ボラタイルバッファ域14に
収集されたコミット済みのレコードを，他のトランザク
ションから参照可能としたが，ボラタイルバッファ域14
を単なるI/Oバッファ的な扱いとし，データベース格納
域18−1,18−２に反映されたレコードのみをディスクロ
ージャするようにしてもよい。実際のオーダエントリ型
の適用業務を考えた場合，コミット済みレコードは，必
ずすぐに参照できなければならないといった要請は少な
いからである。

コミット順保証が必要であれば，コミット済みレコー
ドの収集時にコミットログを参照しながら並べ換えを行
うことなどにより，保証することが可能である。

また，ユニークなキーを扱わなく，かつ参照整合性を
必ずしも保証しなくてもよい適用業務では，サロゲート
マップ19を持たなくてもよい。この場合，データベース
格納域18−1,18−２におけるある位置から全レコードを
アクセスし，必要なレコードのみを処理（参照／更新／
削除）するような格納構造として使用する。

〔発明の効果〕

以上説明したように，本発明によれば，オーダエント
リ型のデータ蓄積処理に適したデータベースの格納構造
を実現することができ，データ収集トランザクションの
高度な同時並行動作が可能になる。また，インデックス
による収集データのアドホックな訂正，蓄積データの一
括処理，処理済みデータの削除などを，データ収集トラ
ンザクションと並行して処理することができるようにな
る。この結果，アプリケーションの開発負担が大幅に削
減され，システムの運用も不必要な制限がなくなるの
で，容易に行うことができるようになる。

【図面の簡単な説明】

第１図は本発明の原理説明図， 第２図は本発明の一実施例による動作例，第３図および
第４図は本発明の一実施例に係るデータベースアクセス
部の処理フロー， 第５図は本発明の一実施例によるコミットレコード収集
部の処理フロー， 第６図は本発明の一実施例によるバッファ制御部の処理
フロー， 第７図は本発明の一実施例に係る再構成処理部の処理フ
ロー， 第８図は本発明の一実施例による再構成処理説明図， 第９図は従来技術の例を示す。 図中,10は応用処理部,11はデータベースアクセス部,12
はセーフログ域,13はコミットレコード収集部,14はボラ
タイルバッファ域,15はバッファ制御部,16はバッファプ
ール,17は再構成処理部,18−1,18−２はデータベース格
納域,19はサロゲートマップ,20はインデックス部を表
す。

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】トランザクションによるデータベースに対
   するアクセス処理であって，追加要求によるレコードの
   追加処理または更新要求に伴うレコードの追加処理を扱
   うデータベース管理処理方式において， 追加レコードのログが格納されるセーフログ域（12）
   と， コミットされたレコードが格納されるバッファ域（14）
   と， 二次記憶上に設けられるデータベース格納域（18−1,18
   −２）と， レコードの追加時に，セーフログ域にそのレコードのロ
   グデータを採取するデータベースアクセス部（11）と， コミット済みのログデータをセーフログ域から取り出
   し，バッファ域に格納するコミットレコード収集部（1
   3）と， バッファ域の内容をトランザクションの処理とは非同期
   にデータベース格納域に書き出すバッファ制御部（15）
   とを備え， かつ，前記データベースアクセス部は，前記コミットレ
   コード収集部によって前記バッファ域へ転送されたデー
   タまたは前記バッファ制御部によって前記データベース
   格納域へ書き出されたデータを，追加レコードのアンロ
   ックに相当する他のトランザクションに対するディスク
   ロージャが行われたものとしてアクセスする処理手段を
   備えた ことを特徴とするデータベース管理処理方式。
2. 【請求項２】請求項１記載のデータベース管理処理方式
   において， データベース格納域は，第１のデータベース格納域（18
   −１）と第２のデータベース格納域（18−２）とからな
   り， 第１または第２の一方のデータベース格納域からレコー
   ドを読み出し，削除レコードを廃棄して，他方のデータ
   ベース格納域に有効レコードを詰めて転記する再構成処
   理部（17）を備えた ことを特徴とするデータベース管理処理方式。
3. 【請求項３】請求項２記載のデータベース管理処理方式
   において， 各レコードを識別する情報とそのレコードの物理的な格
   納位置との対応情報を管理するサロゲートマップ（19）
   を備えた ことを特徴とするデータベース管理処理方式。