JP3312652B2 - マルチプロセッサアーキテクチャでのデータベース管理方式 - Google Patents

Description

【発明の詳細な説明】 〔概要〕 共用メモリをバス結合したマルチプロセッサアーキテ
クチャでのデータベース処理における局所処理の異常回
復を行うデータベース処理における局所異常回復処理方
式に関し， マルチプロセッサアーキテクチャの特性を活かして，
任意のプロセッサモジュールの故障状態を，任意のプロ
セッサモジュールでバックアップすることにより，全体
として継続運転可能とすることを目的とし， トランザクションログを共用メモリ上に取得するトラ
ンザクションログ取得部と，更新に関するログ情報を共
用メモリ上に取得する更新ログ取得部と，あるプロセッ
サモジュールが異常になったとき，共用メモリ上のトラ
ンザクションログおよび更新ログに基づいて，異常のリ
カバリを行うリカバリ処理部とを備え，共用メモリを利
用したリカバリ処理部によるリカバリにより，任意のプ
ロセッサモジュールで処理を継続するように構成する。

〔産業上の利用分野〕

本発明は，共用メモリをバス結合したマルチプロセッ
サアーキテクチャでのデータベース処理における局所処
理の異常回復を行うデータベース処理における局所異常
回復処理方式に関する。

マルチプロセッサシステムは，密結合マルチプロセッ
サシステムと，疎結合マルチプロセッサシステムとに大
別されるが，さらにこれらを複合させたものや，密結合
と疎結合との中間的なものなど，多種多様のシステム構
成が，実用化されてきている。

一方，データベース管理システムを,1つのプロセッサ
上で実現するには，レスポンスにある程度の限界が生じ
るので，マルチプロセッサで処理することが考えられて
いるが，障害発生時におけるリカバリのための処理コス
トが増大する傾向にある。マルチプロセッサアーキテク
チャの特性を活かして，迅速かつローコストで異常回復
の処理を実現できるようなシステムが望まれる。

〔従来の技術〕

第６図は従来のマルチプロセッサによるデータベース
処理方式の例を示す。

第６図（イ），（ロ）において，プロセッサモジュー
ル11は，それぞれCPUおよびローカルメモリ27を持つ処
理装置である。各プロセッサモジュール11は，バス結合
され，プロセッサ間通信が可能になっている。

データベースのリソース（資源）30は，通常，データ
ベース中のあるデータ集合の単位で，アクセスが管理さ
れる。この単位は，例えばファイルレベルのこともあ
り，レコードレベルのこともある。

このリソース30に対するアクセスでは，アクセス競合
によるデータ矛盾の発生防止や，障害発生時における復
旧など，データの完全性を維持するためのインテグリテ
ィ保証を行わなければならない。

従来，第６図（イ）に示すようなシステムでは，二次
記憶のデータベース実体格納部13に格納されたデータに
ついて，各プロセッサモジュール11の担当するリソース
30が，あらかじめ静的にまたは負荷状況に応じて動的に
決められ，その各リソース30に対するインテグリティ保
証を，各プロセッサモジュール11が，すべて局所的に行
うようにしていた。

一方，第６図（ロ）に示すようなシステムでは，デー
タベース実体格納部13から読み出したリソース30を，各
プロセッサモジュール11がアクセス可能な共用メモリ10
上に置き，排他制御，バッファ制御などの処理を，シス
テム全体で共通に行うことにより，すなわち，各プロセ
ッサモジュール11によるシンメトリックなアクセス制御
により，共用処理としてのインテグリティ保証を実現し
ていた。

〔発明が解決しようとする課題〕

例えば，第６図（ロ）に示すように，共用メモリ10上
で，リソース30を管理するシステムでは,1つのプロセッ
サモジュール11が障害発生によりダウンした場合であっ
ても，他のプロセッサモジュール11がリカバリを行い，
ダウンしたプロセッサモジュール11が扱っていたトラン
ザクションの処理を引き継いで，継続運転することを，
比較的容易に実現することができる。各プロセッサモジ
ュール11が，データベースのリソース30に対してシンメ
トリックな処理を行う構成になっているからである。

しかし，第６図（ロ）に示す方式では，あるリソース
30について，特定の１つのプロセッサモジュール11だけ
が多くアクセスする場合であっても，常に，システム全
体を考慮した排他制御やバッファ制御などの管理を行う
必要があるため，その処理コストが大きくなり，通常の
状態で，局所的に制御する場合に比べて，アクセス制御
のオーバヘッドが大きくなることもある。

そこで，アクセスが特定のプロセッサモジュール11に
偏在するようなリソース30については，第６図（イ）に
示すように，特定のプロセッサモジュール11が局所処理
により，個別に管理するほうが，効率的になる。しか
し，この場合，その特定のプロセッサモジュール11に障
害が発生すると，局所処理に関連する管理情報が失われ
ることがあるため，他のプロセッサモジュール11がリカ
バリを行って，異常を回復し，トランザクションの処理
を引き継ぐことが難しくなるという問題が発生する。

また，第６図（イ）に示すようなシステム構成におい
て，あらかじめ，プロセッサモジュール11の中の１つ
を，バックアップシステムとして，固定的に定めておく
ことも考えられるが，資源的に無駄が多くなるととも
に，リカバリの柔軟性に欠けるという問題がある。

本発明は上記問題点の解決を図り，データベースのリ
ソースに対するアクセス管理を，各プロセッサモジュー
ルがローカルに行う場合であっても，マルチプロセッサ
アーキテクチャの特性を活かして，任意のプロセッサモ
ジュールの故障状態を，任意のプロセッサモジュールで
バックアップすることにより，全体として継続運転可能
とする手段を提供することを目的としている。

〔課題を解決するための手段〕

第１図は本発明の構成例を示す。

第１図において,10は共用メモリ,11−1,11−2,…はプ
ロセッサモジュール（PM）,12は各プロセッサモジュー
ル11と共用メモリ10とを接続するバス,13はデータベー
ス実体格納部,20はトランザクションの状態を示すトラ
ンザクションログ,21はデータベースに対する更新後の
データを記憶するログ（AIログ）または更新前のデータ
を記憶するログ（BIログ）である更新ログ,22はデータ
ベースの資源（リソース）ごとに資源管理情報およびロ
ック制御情報等を記憶する資源アクセス制御情報記憶
部,23はデータベースアクセスモジュール,24はロック制
御等を行う資源アクセス制御部,25はトランザクション
ログ取得部,26は更新ログ取得部,27は各プロセッサモジ
ュールが持つローカルメモリ,28はリカバリ対象となる
資源のアクセス環境を再設定する資源アクセス環境設定
部,29は異常状態のリカバリを行うリカバリ処理部を表
す。

各プロセッサモジュール11−1,11−2,…は，それぞれ
ローカルメモリ27を持ち，また，共用メモリ10にバス結
合されている。さらに，このシステムでは，各プロセッ
サモジュールに，データベース実体格納部13が,I/Oバス
14を介して接続され，データベース実体格納部13に格納
されたデータを，各プロセッサモジュールが同等にアク
セスできるようになっている。なお,2つのバス12,14を
１つのバスで構成してもよい。

本システムでは，データベースのリソースについて，
各プロセッサモジュール11−1,11−2,…がシンメトリッ
クにアクセス制御を行う共用処理と，非シンメトリック
にアクセス制御を行う局所処理とを，静的または動的に
切り替えることができるようになっているが，本発明
は，このうち，局所処理でアクセス制御を行うときの異
常回復処理に関連している。

局所処理では，対応するリソースのアクセスのための
ロック情報等を，アクセスの多い特定のプロセッサモジ
ュールで管理することにより，排他制御等によるインテ
グリティの保証を，その特定のプロセッサモジュールで
行う。

局所処理の対象となるリソースに対する詳細なリソー
スアクセス管理は，そのプロセッサモジュールがローカ
ルに行う。しかし，異常が起きた場合における回復対象
範囲の特定のため，局所処理でのアクセス範囲を，上位
のグラニュールの単位で共用メモリ10へ記録する。

トランザクションログ取得部25は，トランザクション
の状態を示すトランザクションログ20を，共用メモリ10
に取得する。また，更新ログ取得部26は，バッファ上の
データベースに対する書き出し分について,AI（After−
Image）データまたはBI（Before−Image）データの更新
ログ21を，共用メモリ10に取得する。

例えばプロセッサモジュール11−１の異常時には，他
の任意のプロセッサモジュール11−２への処理の引き継
ぎが行われる。そのプロセッサモジュール11−２におい
て，資源アクセス環境設定部28は，共用メモリ10上の情
報をもとにして，ロック情報等の設定を行い，リカバリ
処理部29は，共用メモリ10上のトランザクションログ20
および更新ログ21に基づき，リカバリを行う。

すなわち，本発明では，局所処理において，リソース
のデータ等については，原則としてローカルメモリ27内
のデータベースバッファで管理し，トランザクションロ
グ20および更新ログ21などの異常時における回復処理に
必要な管理情報を，共用メモリ10に置くことにより，他
の負荷の低い任意のプロセッサモジュール等が，異常時
における処理の引き継ぎを実行できるようにしている。

〔作用〕

以下，第１図に示すシステムの動作例に従って，本発
明の作用を説明する。

（ａ） データベースのアクセスに際して，まず資源ア
クセス制御部24により，資源アクセス制御情報記憶部22
を参照し，アクセス可能かどうかのチェックを行う。こ
のチェックは，通常，ロック制御によって行う。資源ア
クセス制御情報記憶部22には，データベースのある単位
であるグラニュールごとに，その管理情報22aと，その
グラニュールにアクセスする要求元トランザクションの
各トランザクション情報22bが設定されるようになって
いる。

（ｂ） トランザクションが完了するまでの途中におけ
るデータベースへの書き出しに対して，更新ログ取得部
26により，更新前データのログを，更新ログ21として共
用メモリ10上に取得する。また，トランザクションのコ
ミット前までには，更新後データのログを，共用メモリ
10上に取得する。

（ｃ） 一方，トランザクションログ取得部25により，
トランザクションの状態を，トランザクションログ20と
して共用メモリ10上に取得する。これにより，トランザ
クションがコミット状態かそうでないかが分かる。

（ｄ） 局所処理を行っていたプロセッサモジュール11
−１に障害が発生し，クラッシュした場合，共用メモリ
10にアクセスの記録があるので，他のどのシステムでも
復旧が可能である。すなわち，バックアップシステム
は，どのローカルシステムでも可能である。

（ｅ） バックアップとして選択されたプロセッサモジ
ュール11−２では，資源アクセス環境設定部28により，
共用メモリ10上にある資源アクセス制御情報記憶部22ま
たは更新ログ21等を参照し，その内容により，該当資源
を他の使用者に対してアクセス禁止にする。この処理が
完了した時点で，通常どおりのデータベースアクセス処
理が可能となる。ただし，データの復旧が必要な部分
は，ロックによる待ち状態となる。

（ｆ） 上記（ｅ）の状態でのリカバリ制御では，リカ
バリ処理部29が，共用メモリ10上にあるトランザクショ
ンログ20と更新ログ21とにより，該当部分を復旧する処
理を行う。なお，この間，復旧の不要な資源に対するア
クセスは可能である。

以上のように，局所処理対象となっている資源に対し
ても，共用メモリ10上で，リカバリに必要な情報が管理
されるので，バックアップをどのローカルシステムでも
行うことが可能である。

異常時に，データを復旧しなければならない資源のア
クセスを禁止するところまでが，ダウンによる直接の影
響が及ぶ部分で，他の部分に対して，各ローカルシステ
ムは，定常的な動作を行うことができるので，高速なク
ラッシュからの立ち上がりが可能である。

〔実施例〕

第２図は本発明の一実施例によるシステム構成例，第
３図は本発明の一実施例に係るリカバリ処理参照データ
の例，第４図は本発明の一実施例による異常処理時の処
理フロー，第５図は本発明の一実施例に係る各プロセッ
サモジュールの処理の例を示す。

本発明は，例えば第２図に示すようなマルチプロセッ
サシステム上で実施される。

第２図において,SSUは共用メモリ装置（Shared Stora
ge Unit）,SCAはI/Oインタフェースアダプタ（SCSI Con
trol Adapter）,DKはディスク記憶装置,DLPはデータリ
ンクプロセッサ,DRCは回線制御を行うドライバ・レシー
バ・カードを表す。

各プロセッサモジュール11は,1台または複数台のCPU
とローカルメモリ27とを持っている。ローカルメモリ27
に対しては，キャッシュメモリのような利用の方法でI/
Oの削減が可能である。また，各プロセッサモジュール1
1は，バスコントローラ（図示省略）による制御のもと
に，高速バス12を介して，共用メモリ装置SSUに対する
アクセスを行うことができるようになっている。

バスオペレーションの高速化と障害対策のため，高速
バス12やI/Oバス14などは，多重化されている。もちろ
ん，一重でもよい。

各プロセッサモジュール11は，あるプロセッサモジュ
ール11の処理を，他のプロセッサモジュール11が代わり
に行うことができるように構成される。したがって，プ
ロセッサモジュール11の障害時には，その障害装置をシ
ステムから切り離して，残りのプロセッサモジュール11
により，サービスを続行することができるようになって
いる。

データベースの実体は，光ディスクや磁気ディスクな
どのディスク記憶装置DKを含む不揮発記憶装置に格納さ
れ，どのプロセッサモジュール11からも,I/Oバス14およ
びアダプタSCAなどを介してアクセスできるようになっ
ている。

このようなシステムに類似したシステムとして，日経
BP社発行の「日経エレクトロニクスNo.461,1988年11月2
8日号」,P110〜P115に示されているような各種のシステ
ムが知られているが，これらに限らず，共用メモリをバ
ス結合した種々のマルチプロセッサアーキテクチャ上
で，本発明を実現することが可能である。

本実施例において，あるプロセッサモジュール11がダ
ウンし，そのリカバリ制御のために参照するデータは，
例えば第３図に示すような情報である。これらは共用メ
モリ10に残っている。

第３図（イ）に示す情報は，ダウンしたトランザクシ
ョンが保持中のロック情報であって，トランザクション
を識別するトランザクションIDと，ロックをしている資
源名等の情報からなる。

第３図（ロ）に示す情報は，第１図に示す更新ログ取
得部26が出力した情報であって，ダウンしたシステムの
局所処理リソースを対象とするログである。ダウンした
トランザクションの識別情報とログに対応する資源名が
付加されている。

対応するリソースの復旧が必要であるため，第３図
（イ）または（ロ）に示す情報に基づいて，そのリソー
スをアクセス禁止とし，データ復旧の対象とする。

異常発生時の処理の流れは，例えば第４図に示す〜
のようになる。

あるプロセッサモジュールがダウンしたことを検出
する。この検出方法については，相互監視など種々の方
式が知られているので，説明を省略する。

ダウンを検出したシステムにおいて，この異常を引
き継いで，リカバリ制御を行うシステムを決定する。例
えば，統計情報等を参照し，負荷の低いローカルシステ
ムを引き継ぎシステムとする。または，ダウンを検出し
たシステムが，一律に引き継ぎを行うようにしてもよ
い。

引き継ぎシステムでは，以下の処理を行う。まず，
共用メモリ10に残っているログ情報により，データの復
旧を行う必要がある資源を検出する。

該当資源のアクセスを禁止するためのロック情報を
設定する。

プロセッサモジュール間のロック情報を整理する。
すなわち，ダウンしたシステムで要求しているロック
を，該当資源を管理するシステム上のロック情報とし
て，再設定する。

全体的な各プロセッサモジュールにおける処理は，第
５図に示すようになる。

［ダウン発生システムにおける処理］ （ａ） オペレーティング・システム（OS）による異常
検出を行う。ここでは，自システムの異常検出機構を持
つものとしている。

（ｂ） データベースの異常発生処理を行う。具体的に
は，第５図に示す共用メモリ10上のシステム動作状況表
50に，異常状態および原因の情報を設定する。システム
動作状況表50は，正常／異常／停止／…といったシステ
ム動作状態と，システム異常／サブシステム異常／…と
いった異常原因の情報を持つようになっている。

なお，システム動作状況表50に記録する代わりに，任
意のシステムに，異常を通知するためのメッセージを送
信するようにしてもよい。

［任意の正常システムにおける処理］ （ｃ） 各プロセッサモジュールでは，共用メモリ10上
のシステム動作状況表50を，所定の周期でチェックす
る。これにより，どこかで異常があると，その発生シス
テムを認知できる。または，異常通知メッセージによ
り，異常を検出する。

（ｄ） 異常検出後，該当する異常を検出するシステム
を決定する。高速に行うために，異常を検出したシステ
ムが行うようにしてもよいし，他の負荷の低いシステム
が引き継ぎを行うようにしてもよい。

［引き継ぎシステムにおける処理］ （ｅ） 引き継ぎシステムでは，クラッシュしたシステ
ムを代行するため，正常なデータがアクセスできる環境
を，ロック情報を復元することにより整える。このため
に，第４図等に従って説明した処理により，正常なデー
タと異常なデータの振り分けを行う。

（ｆ） 異常なデータ部分の復旧を行う。この処理は，
引き継ぎシステムだけではなく，他の正常なシステムで
実施してよい。共用メモリ10上のログ情報を参照するこ
とにより，どのシステムでも復旧が可能である。

なお，本発明の実施例に関連する周知技術のAIログ,B
Iログなどの更新ログに関する参考文献としては，次の
ものがある。

Gray,J.N“Notes on data base operating systems,"in
Advanced course on operating systems,Technical Un
iv.Munich,1997,Elsevier North−Holland,Inc.,New Yo
rk. 〔発明の効果〕 以上説明したように，本発明によれば，マルチプロセ
ッサアーキテクチャの特性を活かし，局所処理管理を行
っているプロセッサモジュールの故障状態を，任意のプ
ロセッサモジュールがバックアップすることができ，自
動的な縮小運転により，全体として継続運転を行うこと
ができるようになる。したがって，リカバリのためのハ
ードウェア・コストや処理コストを削減することが可能
である。

【図面の簡単な説明】

第１図は本発明の構成例， 第２図は本発明の一実施例によるシステム構成例， 第３図は本発明の一実施例に係るリカバリ処理参照デー
タの例， 第４図は本発明の一実施例による異常処理時の処理フロ
ー， 第５図は本発明の一実施例に係る各プロセッサモジュー
ルの処理の例， 第６図は従来のマルチプロセッサによるデータベース処
理方式の例を示す。 図中,10は共用メモリ,11−1,11−2,…はプロセッサモジ
ュール,12はバス,13はデータベース実体格納部,14はI/O
バス,20はトランザクションログ,21は更新ログ,22は資
源アクセス制御情報記憶部,23はデータベースアクセス
モジュール,24は資源アクセス制御部,25はトランザクシ
ョンログ取得部,26は更新ログ取得部,27はローカルメモ
リ,28は資源アクセス環境設定部,29はリカバリ処理部を
表す。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 斉藤 一彦 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 三谷 政昭 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 関根 裕 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 下雅意 義徳 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (56)参考文献 特開 昭62−145349（ＪＰ，Ａ)

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】それぞれローカルメモリ（27）を持つ複数
   のプロセッサモジュール（11−ｉ）と，これらの各プロ
   セッサモジュールにバス結合される共用メモリ（10）
   と，データベース実体格納部（13）とを備え，当該デー
   タベース実体格納部に格納されたデータについて，各プ
   ロセッサモジュールの担当するリソースがあらかじめ決
   められており，当該リソースについて，各プロセッサモ
   ジュールが非シンメトリックにアクセス制御を行う局所
   処理によりローカルメモリ上で個別に管理する，マルチ
   プロセッサアーキテクチャでのデータベース管理方式に
   おいて， 各プロセッサモジュールごとに， 各プロセッサモジュールが局所処理により個別に管理す
   るデータベースのリソースに対してアクセスするトラン
   ザクションの状態を示すトランザクションログを，共用
   メモリ上に取得するトランザクションログ取得部（25）
   と， ローカルメモリ上で各プロセッサモジュールが局所処理
   により個別に管理するデータベースのリソースに対する
   更新に関するログ情報を，共用メモリ上に取得する更新
   ログ取得部（26）と， あるプロセッサモジュールが異常になったとき，上記共
   用メモリ上のトランザクションログおよび更新ログに基
   づいて，復旧する必要があるリソースへのアクセスを禁
   止してそのリソースの復旧を行い，復旧の不要なリソー
   スに対するアクセスは可能とするリカバリ処理部（29）
   とを備え， 共用メモリを利用したリカバリ処理部によるリカバリに
   より，任意のプロセッサモジュールで処理を継続するこ
   とにより局所異常回復処理を行うことを特徴とするマル
   チプロセッサアーキテクチャでのデータベース管理方
   式。