JPH0310343A - ホットスポットデータ管理処理方式 - Google Patents
ホットスポットデータ管理処理方式Info
- Publication number
- JPH0310343A JPH0310343A JP1144637A JP14463789A JPH0310343A JP H0310343 A JPH0310343 A JP H0310343A JP 1144637 A JP1144637 A JP 1144637A JP 14463789 A JP14463789 A JP 14463789A JP H0310343 A JPH0310343 A JP H0310343A
- Authority
- JP
- Japan
- Prior art keywords
- data
- database
- access
- resource
- hot spot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 36
- 238000013523 data management Methods 0.000 title claims description 7
- 239000000872 buffer Substances 0.000 claims abstract description 33
- 238000003672 processing method Methods 0.000 claims description 4
- 238000011084 recovery Methods 0.000 abstract description 16
- 230000005856 abnormality Effects 0.000 abstract description 8
- 238000007726 management method Methods 0.000 description 47
- 238000000034 method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 241001459693 Dipterocarpus zeylanicus Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000008187 granular material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Multi Processors (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔概要〕
バス結合される共用メモリを備えたマルチプロセッサシ
ステムによるデータベース処理におけるホットスポット
データ管理処理方式に関し頻繁に更新されるデータベー
スのリソースについて、異常があった場合に、そのリカ
バリ処理時間を短縮する手段を提供することを目的とし
。
ステムによるデータベース処理におけるホットスポット
データ管理処理方式に関し頻繁に更新されるデータベー
スのリソースについて、異常があった場合に、そのリカ
バリ処理時間を短縮する手段を提供することを目的とし
。
データベースの各リソースに対するアクセス状況が登録
されるデータベースアクセス状況表と。
されるデータベースアクセス状況表と。
データベースアクセス状況表に登録されたアクセス状況
により、ホットスポットデータを判定するホットスポッ
トデータ判定部と、ホットスポットデータと判定された
データが格納される上記共用メモリ内に設けられるホラ
1−スポント用バッファとを備え、アクセス頻度が多い
データまたはローカルメモリに長時間滞在するデータに
ついて、ポットスポットデータとして、共用メモリ上に
配置するように構成する。
により、ホットスポットデータを判定するホットスポッ
トデータ判定部と、ホットスポットデータと判定された
データが格納される上記共用メモリ内に設けられるホラ
1−スポント用バッファとを備え、アクセス頻度が多い
データまたはローカルメモリに長時間滞在するデータに
ついて、ポットスポットデータとして、共用メモリ上に
配置するように構成する。
〔産業上の利用分野]
本発明は、バス結合される共用メモリを備えたマルチプ
ロセッサシステムによるデータベース処理におけるホッ
トスポットデータ管理処理方式に関する。
ロセッサシステムによるデータベース処理におけるホッ
トスポットデータ管理処理方式に関する。
マルチプロセッサシステムは、密結合マルチプロセッサ
システムと、疎結合マルチプロセッサシステムとに大別
されるが、さらにこれらを複合させたものや、密結合と
疎結合との中間的なものなど、多種多様のシステム構成
が、実用化されてきている。
システムと、疎結合マルチプロセッサシステムとに大別
されるが、さらにこれらを複合させたものや、密結合と
疎結合との中間的なものなど、多種多様のシステム構成
が、実用化されてきている。
一方、データベース管理システムを、1つのプロセッサ
上で実現するには、レスポンスにある程度の限界がある
という問題や、プロセッサ異常時からの回復に時間がか
かるという問題から、複数のプロセッサを上手に組み合
わせて処理する技術が必要とされている。
上で実現するには、レスポンスにある程度の限界がある
という問題や、プロセッサ異常時からの回復に時間がか
かるという問題から、複数のプロセッサを上手に組み合
わせて処理する技術が必要とされている。
〔従来の技術〕
第9図は従来技術の例を示す。
第9図(イ)は従来のマルチプロセッサによるデータベ
ース処理システムの例を示している。各プロセッサモジ
ュール11は、それぞれCPUおよびローカルメモリ2
4を持つ処理装置であり。
ース処理システムの例を示している。各プロセッサモジ
ュール11は、それぞれCPUおよびローカルメモリ2
4を持つ処理装置であり。
これらのプロセッサモジュール11は、バス結合され、
プロセッサ間通信が可能になっている。
プロセッサ間通信が可能になっている。
データベースのリソース(資源)27は2通常。
データベース中のあるデータ集合の単位で、アクセスが
管理される。この単位は1例えばファイルレベルのこと
もあり、レコードレベルのことモする。
管理される。この単位は1例えばファイルレベルのこと
もあり、レコードレベルのことモする。
このリソース27に対するアクセスでは、アクセス競合
によるデータ矛盾の発生防止や、障害発生時における復
旧など、データの完全性を維持するためのインテグリテ
イ保証を行わなければならない。
によるデータ矛盾の発生防止や、障害発生時における復
旧など、データの完全性を維持するためのインテグリテ
イ保証を行わなければならない。
従来、第9図(イ)に示すようなシステムでは二次記憶
のデータベース実体格納部13に格納されたデータにつ
いて、各プロセッサモジュール11の担当するリソース
27が、あらかじめ静的にまたは負荷状況に応じて動的
に決められ、その各リソース27に対するインテグリテ
イ保証を、各プロセッサモジュール11が局所的に行う
ようになっている。
のデータベース実体格納部13に格納されたデータにつ
いて、各プロセッサモジュール11の担当するリソース
27が、あらかじめ静的にまたは負荷状況に応じて動的
に決められ、その各リソース27に対するインテグリテ
イ保証を、各プロセッサモジュール11が局所的に行う
ようになっている。
各プロセッサモジュール11では、第9図(ロ)に示す
ように、ローカルメモリ24内にデータベースバッファ
26を設け、データベースに対する参照・更新要求があ
ると、データベースアクセスモジュール51が、要求さ
れたデータを、データベースバッファ26に読み出す。
ように、ローカルメモリ24内にデータベースバッファ
26を設け、データベースに対する参照・更新要求があ
ると、データベースアクセスモジュール51が、要求さ
れたデータを、データベースバッファ26に読み出す。
データベースパンツ726の領域は2例えばLRUによ
る管理が行われる。データベースバッファ26内のデー
タに対する更新があると、異常時におけるすカバリのだ
めに、ログ管理部52により、更新前データま、たは更
新後データのログデータLl、L2.・・・を採取する
。(参考文献1 : Gray、 J、N、 [197
8コ。
る管理が行われる。データベースバッファ26内のデー
タに対する更新があると、異常時におけるすカバリのだ
めに、ログ管理部52により、更新前データま、たは更
新後データのログデータLl、L2.・・・を採取する
。(参考文献1 : Gray、 J、N、 [197
8コ。
”Notes on data base o
perating systems” RJ218
8IBM+ San Jose、 Ca1if、)。
perating systems” RJ218
8IBM+ San Jose、 Ca1if、)。
なお、データベース実体格納部13から読み出したリソ
ース27を、各プロセッサモジュール11がアクセス可
能な共用メモリ(図示省略)上に置き、排他制御、バッ
ファ制御などの処理を、システム全体で共通に行うこと
により、すなわち。
ース27を、各プロセッサモジュール11がアクセス可
能な共用メモリ(図示省略)上に置き、排他制御、バッ
ファ制御などの処理を、システム全体で共通に行うこと
により、すなわち。
各プロセンサモジュール11がシンメトリックに行うこ
とにより、共用処理としてのインテグリテイ保証を実現
するシステムも考えられているがログ管理等については
、第9図(ロ)に示す例と同様である。
とにより、共用処理としてのインテグリテイ保証を実現
するシステムも考えられているがログ管理等については
、第9図(ロ)に示す例と同様である。
第9図(ロ)に示すデータベースバッファ26において
、データの格納領域についてLRU管理を行っているよ
うな場合には、高いアクセス頻度を持つデータは、なる
べくローカルメモリ24内に配置することにより、高速
なアクセスが期待できる。このような特に参照・更新の
頻度が高い特定のデータを、ホットスポットデータとい
う。
、データの格納領域についてLRU管理を行っているよ
うな場合には、高いアクセス頻度を持つデータは、なる
べくローカルメモリ24内に配置することにより、高速
なアクセスが期待できる。このような特に参照・更新の
頻度が高い特定のデータを、ホットスポットデータとい
う。
ホットスポットデータは、データベース実体格納部13
に反映され難いという特性を持つことから、このままの
状態が長時間にわたると、データベース実体格納部13
のデータは、かなり以前の古い状態のままであるため、
システムクラッシュなどのシステムの異常に備えて、デ
ータベースを復旧するために保持する更新ログのログデ
ータL1、L2.・・・が数多く蓄積されることになる
。実際、このような状態で、システムクラッシュが発生
ずると、その復旧のためのリカバリ処理時間が非常に長
くなり、迅速なリカバリができなくなる。
に反映され難いという特性を持つことから、このままの
状態が長時間にわたると、データベース実体格納部13
のデータは、かなり以前の古い状態のままであるため、
システムクラッシュなどのシステムの異常に備えて、デ
ータベースを復旧するために保持する更新ログのログデ
ータL1、L2.・・・が数多く蓄積されることになる
。実際、このような状態で、システムクラッシュが発生
ずると、その復旧のためのリカバリ処理時間が非常に長
くなり、迅速なリカバリができなくなる。
しかし、システムクランシュに備えて頻繁にデータベー
ス実体格納部13への反映を行うことが必要となるが、
これは、I10アクセスがネックとなって、システム全
体の性能が低下するという欠点を持つ。
ス実体格納部13への反映を行うことが必要となるが、
これは、I10アクセスがネックとなって、システム全
体の性能が低下するという欠点を持つ。
本発明は上記問題点の解決を図り、共用メモリを利用す
ることにより、頻繁に更新されるデータベースのリソー
スについて、異常があった場合に。
ることにより、頻繁に更新されるデータベースのリソー
スについて、異常があった場合に。
そのリカバリ処理時間を短縮する手段を提供することを
目的としている。
目的としている。
第1図は本発明の構成例を示す。
第1図において、10は共用メモリ、11−1゜11−
2.・・・はプロセッサモジュール(PM)12は各プ
ロセッサモジュール11と共用メモリ10とを接続する
バス、13はデータベース実体格納部、14はI10バ
ス、20はホットスポットデータを格納するホットスポ
ット用バッファ。
2.・・・はプロセッサモジュール(PM)12は各プ
ロセッサモジュール11と共用メモリ10とを接続する
バス、13はデータベース実体格納部、14はI10バ
ス、20はホットスポットデータを格納するホットスポ
ット用バッファ。
22はホットスポット管理部、23はホットスポット判
定部224は各プロセッサモジュールが持つローカルメ
モリ、25はデータベースのアクセス状況が登録される
データベースアクセス状況表。
定部224は各プロセッサモジュールが持つローカルメ
モリ、25はデータベースのアクセス状況が登録される
データベースアクセス状況表。
26はデータベースハソファ、27はデータベースのあ
る単位であるリソースを表す。
る単位であるリソースを表す。
各プロセッサモジュール11−1.11−2゜・・・ば
、それぞれローカルメモリ24を持ち、また共用メモリ
10にバス結合されている。さらにこのシステムでは、
各プロセッサモジュールにデータベース実体格納部13
が9例えばI10バス14を介して接続され、データベ
ース実体格納部13に格納されたデータを、各プロセッ
サモジュールから同等にアクセスできるようになってい
る。なお、2つのバス12.14を1つのバスで構成し
てもよい。また、I/○バス14の代わりに、各プロセ
ッサモジュールからコントロール可能になっているもの
を用いてもよい。
、それぞれローカルメモリ24を持ち、また共用メモリ
10にバス結合されている。さらにこのシステムでは、
各プロセッサモジュールにデータベース実体格納部13
が9例えばI10バス14を介して接続され、データベ
ース実体格納部13に格納されたデータを、各プロセッ
サモジュールから同等にアクセスできるようになってい
る。なお、2つのバス12.14を1つのバスで構成し
てもよい。また、I/○バス14の代わりに、各プロセ
ッサモジュールからコントロール可能になっているもの
を用いてもよい。
本発明では、データベースの各リソース27に対するア
クセス回数等のアクセス状況が登録されるデータベース
アクセス状況表25が、ローカルメモリ24または共用
メモリ10内に設けられる。
クセス回数等のアクセス状況が登録されるデータベース
アクセス状況表25が、ローカルメモリ24または共用
メモリ10内に設けられる。
データベースに対するアクセスがあると、ホットスポッ
ト管理部22により、そのリソース27に対するアクセ
ス状況を、データベースアクセス状況表25に登録する
。
ト管理部22により、そのリソース27に対するアクセ
ス状況を、データベースアクセス状況表25に登録する
。
ホットスポット判定部23は、データベースアクセス状
況表25に登録されたアクセス状況を参照し、アクセス
頻度が所定の基準値よりも多いデータまたはローカルメ
モリ24に長時間滞在するデータを調べ、そのリソース
27を、ホットスポットデータとして認識する処理を行
う。
況表25に登録されたアクセス状況を参照し、アクセス
頻度が所定の基準値よりも多いデータまたはローカルメ
モリ24に長時間滞在するデータを調べ、そのリソース
27を、ホットスポットデータとして認識する処理を行
う。
ホットスポットデータとして認識されたリソース27は
、共用メモリ10内に設けられたホントスポット用バッ
ファ20へ転送され、共用メモリ10内に配置される。
、共用メモリ10内に設けられたホントスポット用バッ
ファ20へ転送され、共用メモリ10内に配置される。
第2図は本発明の作用説明図である。
本発明では、ホントスポット制御が、第2図(a)〜(
C1に示す処理により実現される。
C1に示す処理により実現される。
(a) ローカルなプロセッサモジュールにおけるデ
ータベースバソファ26上でのアクセスに対して対応す
るリソース27に対する更新回数またはバッファ上での
滞在期間等のアクセス状況を、データベースアクセス状
況表25に登録する。
ータベースバソファ26上でのアクセスに対して対応す
るリソース27に対する更新回数またはバッファ上での
滞在期間等のアクセス状況を、データベースアクセス状
況表25に登録する。
(bl リソース27に対するアクセスの都度、また
は所定の時間周期で、データベースアクセス状況表25
をチエツクし、更新が多いリソース27゜または更新が
あってデータベースバッファ26に長時間存在するリソ
ース27を、ボットスポットデータと認識する。
は所定の時間周期で、データベースアクセス状況表25
をチエツクし、更新が多いリソース27゜または更新が
あってデータベースバッファ26に長時間存在するリソ
ース27を、ボットスポットデータと認識する。
fc) ホットスポットデータと判断されたリソース
27を、データベースバッファ26から共用メモリ10
内のホントスポット用バッファ20へ移す。
27を、データベースバッファ26から共用メモリ10
内のホントスポット用バッファ20へ移す。
この時点で、ホットスポットデータは、プロセッサモジ
ュールのクラッシュに対しても消去されることのない安
定したデータとなったため、これ以降、改めてデータの
アクセス状況を管理することになる。ここで、データベ
ースアクセス状況表25の情報は初期化する。また、同
じ理由で、このデータを復旧するためのログデータは不
要となったため、消去してもよい。
ュールのクラッシュに対しても消去されることのない安
定したデータとなったため、これ以降、改めてデータの
アクセス状況を管理することになる。ここで、データベ
ースアクセス状況表25の情報は初期化する。また、同
じ理由で、このデータを復旧するためのログデータは不
要となったため、消去してもよい。
頻繁にアクセスされるデータであるホットスポットデー
タが、共用メモリ10内に存在することにより5例えば
プロセ・7サモジユール11−1がダウンして、ローカ
ルメモリ24内のリソース27が失われても、データベ
ースバッファ26に読み出したときからの全ログデータ
によるリカバリを行うことな(、ホットスポット用バッ
ファ20により、復旧させることができる。したがって
。
タが、共用メモリ10内に存在することにより5例えば
プロセ・7サモジユール11−1がダウンして、ローカ
ルメモリ24内のリソース27が失われても、データベ
ースバッファ26に読み出したときからの全ログデータ
によるリカバリを行うことな(、ホットスポット用バッ
ファ20により、復旧させることができる。したがって
。
迅速なリカバリが可能になる。
また、ホットスポットデータを共用メモリ10内に配置
することにより、以後のアクセスに対して5ホントスポ
ツト用バッファ20の内容を直接更新することもでき、
その場合には、更新データの最新性が、共用メモリ10
により保証されることになる。
することにより、以後のアクセスに対して5ホントスポ
ツト用バッファ20の内容を直接更新することもでき、
その場合には、更新データの最新性が、共用メモリ10
により保証されることになる。
ホットスポットデータに対する排他制御ではアクセスの
単位となるグラニユールを小さくするということで、コ
ンカレンシーを向上させることができるが、この排他制
御については、前述した参考文献1などに示されている
周知技術等の応用により1種々の方式による実現が可能
である。
単位となるグラニユールを小さくするということで、コ
ンカレンシーを向上させることができるが、この排他制
御については、前述した参考文献1などに示されている
周知技術等の応用により1種々の方式による実現が可能
である。
1
第3図は本発明の一実施例によるシステム構成例、第4
図は本発明の一実施例で用いる管理用データ説明図、第
5図は本発明の一実施例に係るホットスポット管理の例
、第6図は本発明の一実施例に係るホットスポットデー
タの管理形態の例第7図は本発明の一実施例における共
用・局所変更制御の例、第8図は本発明の一実施例によ
る処理動作説明図を示す。
図は本発明の一実施例で用いる管理用データ説明図、第
5図は本発明の一実施例に係るホットスポット管理の例
、第6図は本発明の一実施例に係るホットスポットデー
タの管理形態の例第7図は本発明の一実施例における共
用・局所変更制御の例、第8図は本発明の一実施例によ
る処理動作説明図を示す。
本発明は2例えば第3図に示すようなマルヂプロセソサ
システム上で実施される。第3図において、SSUは共
用メモリ装置(Shared Storage IJn
it)、 SCAはI10インタフェースアダプタ(
SC5I Control Adapter)、 D
Kはディスク記ta装置DLPはデータリンクプロセッ
サ、DRCは回線制御を行うドライバ・レシーバ・カー
ドラ表ス。
システム上で実施される。第3図において、SSUは共
用メモリ装置(Shared Storage IJn
it)、 SCAはI10インタフェースアダプタ(
SC5I Control Adapter)、 D
Kはディスク記ta装置DLPはデータリンクプロセッ
サ、DRCは回線制御を行うドライバ・レシーバ・カー
ドラ表ス。
各プロセッサモジュール11は、1台または複数台のC
PUとローカルメモリ24とを持っている。ローカルメ
モリ24に対しては、キャッシュメモリのような利用の
仕方でIloの削減が可能である。また、各プロセッサ
モジュール11は2 バスコントローラ(図示省略)による制御のもとに、高
速のバス12を介して、共用メモリ装置SSUに対する
アクセスを行うことができるようになっている。
PUとローカルメモリ24とを持っている。ローカルメ
モリ24に対しては、キャッシュメモリのような利用の
仕方でIloの削減が可能である。また、各プロセッサ
モジュール11は2 バスコントローラ(図示省略)による制御のもとに、高
速のバス12を介して、共用メモリ装置SSUに対する
アクセスを行うことができるようになっている。
バスオペレーションの高速化と障害対策のため。
高速のバス12やI10バス14などは、多重化されて
いる。もちろん、−重でもよい。
いる。もちろん、−重でもよい。
各プロセッサモジュール11は、あるプロセッサモジュ
ール11の処理を、他のプロセッサモジュール11が代
わりに行うことができるように構成される。したがって
、プロセッサモジュール11の障害時には、その障害装
置をシステムから切り離して、残りのプロセッサモジュ
ールIIにより、サービスを続行することができるよう
になっている。
ール11の処理を、他のプロセッサモジュール11が代
わりに行うことができるように構成される。したがって
、プロセッサモジュール11の障害時には、その障害装
置をシステムから切り離して、残りのプロセッサモジュ
ールIIにより、サービスを続行することができるよう
になっている。
データベースの実体は、光ディスクや磁気ディスクなど
のディスク記憶装置DK等に格納され。
のディスク記憶装置DK等に格納され。
どのプロセッサモジュール11からも、I10バス14
およびアダプタSCAを介してアクセスできるようにな
っている。
およびアダプタSCAを介してアクセスできるようにな
っている。
このようなシステムに類似したシステムとして日経BP
社発行の「日経エレクトロニクス南4611988年1
1月28日号J、PIIO〜P115に示されているよ
うな各種のシステムが知られているが、これらに限らず
、共用メモリをバス結合した種々のマルチプロセッサア
ーキテクチャ上で2本発明を実現することが可能である
。
社発行の「日経エレクトロニクス南4611988年1
1月28日号J、PIIO〜P115に示されているよ
うな各種のシステムが知られているが、これらに限らず
、共用メモリをバス結合した種々のマルチプロセッサア
ーキテクチャ上で2本発明を実現することが可能である
。
本実施例では、データベースのリソースに対するアクセ
ス制御を、各プロセッサモジュール11がジンメトリン
クに行う共用処理と、非シンメトリックに行う局所処理
とを、各リソースごとに。
ス制御を、各プロセッサモジュール11がジンメトリン
クに行う共用処理と、非シンメトリックに行う局所処理
とを、各リソースごとに。
静的または動的に使い分けることができるようになって
いる。詳細については、後述する。
いる。詳細については、後述する。
ホットスポットデータの管理および共用/局所処理の管
理のために使用する管理用データとして例えば第4図に
示すようなデータが用意される。
理のために使用する管理用データとして例えば第4図に
示すようなデータが用意される。
第4図に示すスペース管理表30は、データベースを管
理する空間管理情報を保持するテーブルである。本実施
例では、1つのプロセッサモジュール内に複数のアドレ
ス空間を持つことができ。
理する空間管理情報を保持するテーブルである。本実施
例では、1つのプロセッサモジュール内に複数のアドレ
ス空間を持つことができ。
各空間に共通のカーネル(核)部によって、その空間お
よびデータベースの管理を行うようになっている。空間
異常時には、相互にバンクアンプ可能である。スペース
管理表30は、データベース属性表31へのポインタを
持つ。
よびデータベースの管理を行うようになっている。空間
異常時には、相互にバンクアンプ可能である。スペース
管理表30は、データベース属性表31へのポインタを
持つ。
データベース属性表31は、リソースごとに次のような
情報を持つ。
情報を持つ。
(al リソース名:データベースのリソースの管理
単位ごとに付加される名前である。この名前により、実
際に配置されているデータベースのリソース27が識別
できるようになっている。すなわち、バッファ管理情報
32を介して、共用バ・7フアまたはローカルメモリ内
のバッファで管理されているデータとの対応がとれるよ
うになっている。
単位ごとに付加される名前である。この名前により、実
際に配置されているデータベースのリソース27が識別
できるようになっている。すなわち、バッファ管理情報
32を介して、共用バ・7フアまたはローカルメモリ内
のバッファで管理されているデータとの対応がとれるよ
うになっている。
(bl 共用/局所表示二対応するリソース27が。
共用型で制御されているのか2局所(偏在)型で制御さ
れているのかを示すフラグ等による表示である。この表
示に従って、リソース27やその管理情報を、共用メモ
リに配置するか否か5 などが決定される。
れているのかを示すフラグ等による表示である。この表
示に従って、リソース27やその管理情報を、共用メモ
リに配置するか否か5 などが決定される。
fcl アクセス状況ポインタ:データベースアクセ
ス状況表25をポイントする。
ス状況表25をポイントする。
(d) データベース配置情報二局所型の場合に、そ
のインテグリテイを保証するプロセッサモジュールの識
別子を持つ。
のインテグリテイを保証するプロセッサモジュールの識
別子を持つ。
データベースアクセス状況表25は、各リソースごとの
アクセス状況の管理のために、各プロセッサモジュール
が何回そのリソースにアクセスしたかを示す次のような
情報を持つ。
アクセス状況の管理のために、各プロセッサモジュール
が何回そのリソースにアクセスしたかを示す次のような
情報を持つ。
fa) PM−ID:そのリソースに直接またはアク
セス依願により間接的にアクセスしたプロセッサモジュ
ールの識別子である。
セス依願により間接的にアクセスしたプロセッサモジュ
ールの識別子である。
(bl 参照回数・更新回数:プロセッサモジュール
ごとの参照または更新のアクセス回数である。
ごとの参照または更新のアクセス回数である。
第4図に示す管理用データの制御表は、共用メモリ内や
プロセッサモジュール内のローカルメモリに配置されて
いる。
プロセッサモジュール内のローカルメモリに配置されて
いる。
リソースが局所型の場合、データベース属性表31、デ
ータベースアクセス状況表25は、その 16 局所制御を行っているプロセッサモジュールのローカル
メモリに存在する。
ータベースアクセス状況表25は、その 16 局所制御を行っているプロセッサモジュールのローカル
メモリに存在する。
リソースが共用型の場合、データベース属性表31は、
共用メモリ上にあるが、データベースアクセス状況表2
5は、共用メモリ上と各プロセッサモジュール内のロー
カルメモリ上に配置されプロセッサモジュールは、その
プロセッサモジュールのアクセス状況だけの情報を更新
している。
共用メモリ上にあるが、データベースアクセス状況表2
5は、共用メモリ上と各プロセッサモジュール内のロー
カルメモリ上に配置されプロセッサモジュールは、その
プロセッサモジュールのアクセス状況だけの情報を更新
している。
共用メモリ上には、ある時間間隔で、各プロセッサモジ
ュールから、アクセス状況のデータが収集されるように
なっている。
ュールから、アクセス状況のデータが収集されるように
なっている。
ホットスポットデータの認識では、特にデータベースア
クセス状況表25に記録された更新回数などを判定の基
準に用いる。
クセス状況表25に記録された更新回数などを判定の基
準に用いる。
データベースアクセス状況表25に対するアクセス状況
の登録は2例えば第5図(イ)に示すように行う。
の登録は2例えば第5図(イ)に示すように行う。
データに対するアクセス要求があると、データベースバ
ッファ管理部50は、ホントスポット管理部22へ、リ
ソース名、アクセス・モードなどを通知する。ホントス
ポット管理部22は、対応するリソースのデータベース
アクセス状況表25におけるアクセス回数を更新する。
ッファ管理部50は、ホントスポット管理部22へ、リ
ソース名、アクセス・モードなどを通知する。ホントス
ポット管理部22は、対応するリソースのデータベース
アクセス状況表25におけるアクセス回数を更新する。
ログ量の観点から、異常時における対応する復旧時間を
短くするために、更新回数のカウントは、そのデータが
データバッファ上に読み込まれた時点から開始する。ま
たは、データバッファ上における滞在時間を登録しても
よい。
短くするために、更新回数のカウントは、そのデータが
データバッファ上に読み込まれた時点から開始する。ま
たは、データバッファ上における滞在時間を登録しても
よい。
アクセス状況によるホントスポンドデータの認識は、第
5図(ロ)〜(ニ)に示すいずれの契機に行うことも可
能である。
5図(ロ)〜(ニ)に示すいずれの契機に行うことも可
能である。
第5図(ロ)は、データベースのアクセス時にホットス
ポットデータをチエツクする例を示す。
ポットデータをチエツクする例を示す。
データベースアクセスモジュール51に、アクセス依願
があると、更新の場合に、ログ管理部52により、ログ
データを採取するとともに、データベース格納アクセス
管理部53に、アクセスを依願する。データベース格納
アクセス管理部53は、データベースバッファ管理部5
0に対し、アクセス要求を出す。データベースハソファ
管理部50からの通知により、ホットスポット管理部2
2は、ホットスポット判定部23によって、ホットスポ
ットデータのチエツクを行う。
があると、更新の場合に、ログ管理部52により、ログ
データを採取するとともに、データベース格納アクセス
管理部53に、アクセスを依願する。データベース格納
アクセス管理部53は、データベースバッファ管理部5
0に対し、アクセス要求を出す。データベースハソファ
管理部50からの通知により、ホットスポット管理部2
2は、ホットスポット判定部23によって、ホットスポ
ットデータのチエツクを行う。
第5図(ハ)は、ログのデータ量が、ある水準以上にな
ったときをトリガとして、ホットスポットデータの判定
を行う例を示している。
ったときをトリガとして、ホットスポットデータの判定
を行う例を示している。
ログのデータ量がリカバリ処理時間に影響するため、そ
れまでのログデータ量またはログ取得の時間が長いかど
うかでも、リカバリ処理効率の判定になる。そのため、
ログデータの取得契機(例えば各トランザクションの終
了時)に、ログ管理部52が、ログデータ量等をチエツ
クし、ある基準値を超える場合に、そのリソースをホッ
トスポットデータの候補として、ホントスポット管理部
22に通知する。これを契機として、ホントスポット判
定部23により、ホットスポットデータの判定を行う。
れまでのログデータ量またはログ取得の時間が長いかど
うかでも、リカバリ処理効率の判定になる。そのため、
ログデータの取得契機(例えば各トランザクションの終
了時)に、ログ管理部52が、ログデータ量等をチエツ
クし、ある基準値を超える場合に、そのリソースをホッ
トスポットデータの候補として、ホントスポット管理部
22に通知する。これを契機として、ホントスポット判
定部23により、ホットスポットデータの判定を行う。
その処理は1例えば第5図(ホ)に示すようになる。第
5図(ホ)に示すように、定常時にログ領域がオーバフ
ローすることを防くため、使用可19〜 能な闇値の設定を行う。システムの起動時に省略値を設
定しておいてもよい。次に、トランザクションのコミッ
ト時などのログ領域を使用する段階等で、使用中のログ
量を算出する。そして、ログ量と闇値との大小を調べ、
ポットスポットの判定処理を起動するか、ポットスポッ
トに関する処理を行わないかを決定する。
5図(ホ)に示すように、定常時にログ領域がオーバフ
ローすることを防くため、使用可19〜 能な闇値の設定を行う。システムの起動時に省略値を設
定しておいてもよい。次に、トランザクションのコミッ
ト時などのログ領域を使用する段階等で、使用中のログ
量を算出する。そして、ログ量と闇値との大小を調べ、
ポットスポットの判定処理を起動するか、ポットスポッ
トに関する処理を行わないかを決定する。
第5図(ニ)は、所定の時間間隔で、ホットスポットデ
ータのチエツクを行う例である。
ータのチエツクを行う例である。
ホットスポット管理部22を、タイマ等により所定の周
期で起動するようにしておき、定期的にホントスポット
判定部23によって、アクセス状況に基づくホットスポ
ットデータの検出を行う。
期で起動するようにしておき、定期的にホントスポット
判定部23によって、アクセス状況に基づくホットスポ
ットデータの検出を行う。
その処理は2例えば第5図(へ)に示すようになる。ま
ず、ホントスポット判定時間間隔を設定する。これは、
システム起動時に省略値を設定しシステム利用者からの
指定やログ量の状況により。
ず、ホントスポット判定時間間隔を設定する。これは、
システム起動時に省略値を設定しシステム利用者からの
指定やログ量の状況により。
その値を変更する。
そして9時間監視により、所定の時間が経過したかどう
かを判定し、ホットスポットの判定処理0 を起動するかホントスポットに関する処理は行わないか
を決定する。
かを判定し、ホットスポットの判定処理0 を起動するかホントスポットに関する処理は行わないか
を決定する。
ホットスポットデータは、共用メモリ10またはローカ
ルメモリ24を利用したデータベースバッファの配置に
依存して、その管理方式が変化する。次に5それらの各
種管理形態の例を、第6図に従って説明する。
ルメモリ24を利用したデータベースバッファの配置に
依存して、その管理方式が変化する。次に5それらの各
種管理形態の例を、第6図に従って説明する。
第6図(イ)は、共用メモリだけに、データベースバッ
ファを配置する場合の例である。
ファを配置する場合の例である。
共用型によりリソースを管理する場合であって。
各プロセッサモジュールPMI、PM2等からのアクセ
ス頻度が高い場合に、この形態となる。特に、全体がホ
ントスポンドという位置付けであり。
ス頻度が高い場合に、この形態となる。特に、全体がホ
ントスポンドという位置付けであり。
各プロセッサモジュールは、共用メモリ上のバッファに
直接アクセスする。トランザクション途中の更新に応じ
て、ログデータを取得する。
直接アクセスする。トランザクション途中の更新に応じ
て、ログデータを取得する。
第6図(ロ)は、共用メモリにリソース(R1)の原型
を置き、ローカルメモリにリソース(R1)のコピーを
配置する場合の例である。
を置き、ローカルメモリにリソース(R1)のコピーを
配置する場合の例である。
リソースのコピーが、各ローカルメモリにあるため、各
プロセッサモジュールにおける高速アクセスが可能であ
る。したがって、長時間、ローカルメモリ内に滞在する
ページ(データの単位)が出てくるが、ホットスポット
管理による定期的な非同期の転送により、更新内容を共
用メモリ上のバッファに書き出し、対応するログデータ
を少なくする。
プロセッサモジュールにおける高速アクセスが可能であ
る。したがって、長時間、ローカルメモリ内に滞在する
ページ(データの単位)が出てくるが、ホットスポット
管理による定期的な非同期の転送により、更新内容を共
用メモリ上のバッファに書き出し、対応するログデータ
を少なくする。
第6図(ハ)は、共用メモリにはデータベースバッファ
がなく、ローカルメモリにのみ、各々がリソース(R1
)のコピーを持つ場合の例である。
がなく、ローカルメモリにのみ、各々がリソース(R1
)のコピーを持つ場合の例である。
ローカルメモリ上で高速なアクセスを行う。したがって
、長時間、ローカルメモリ上に滞在するページが出てく
る。これについて、二次記憶上に追い出す代わりに、共
用メモリを使用し、ホットスポットデータとして、非同
期的に共用メモリへの転送を行う。
、長時間、ローカルメモリ上に滞在するページが出てく
る。これについて、二次記憶上に追い出す代わりに、共
用メモリを使用し、ホットスポットデータとして、非同
期的に共用メモリへの転送を行う。
第6図(ニ)は、アクセスが特定のプロセッサモジュー
ルに偏在する局所処理データについて。
ルに偏在する局所処理データについて。
その各々のリソースを、特定のプロセッサモジュールに
おけるローカルメモリにのみ配置させる場合の例である
。
おけるローカルメモリにのみ配置させる場合の例である
。
ログデータ量を効率よく減らし、リカバリ処理時間を短
縮するために、ホットスポットデータについて、共用メ
モリ上に退避する。
縮するために、ホットスポットデータについて、共用メ
モリ上に退避する。
局所処理データが、複数のプロセッサモジュールにおけ
るローカルメモリにコピーされている場合にも、第6図
(ニ)示す形態と同様である。
るローカルメモリにコピーされている場合にも、第6図
(ニ)示す形態と同様である。
第6図(ハ)および(ニ)に示す形態は、共用メモリを
いわばハックアップ用の記憶装置として使用した形にな
る。
いわばハックアップ用の記憶装置として使用した形にな
る。
本実施例では、リソース管理について、共用処理管理と
局所処理管理ができるようになっているが、以下、その
動的な変更制御について、第7図に従って説明する。
局所処理管理ができるようになっているが、以下、その
動的な変更制御について、第7図に従って説明する。
局所処理の場合、リソースに対するアクセスのための排
他制御やバッファ制御を、そのリソースを管理する特定
のプロセッサモジュールが行う。
他制御やバッファ制御を、そのリソースを管理する特定
のプロセッサモジュールが行う。
リソースに対するアクセスが、特定のプロセッサモジュ
ールに偏在している場合、排他制御やバ・ソファ制御を
局所的に行うことにより、大部分のア3 クセス制御を高速化することが可能になる。
ールに偏在している場合、排他制御やバ・ソファ制御を
局所的に行うことにより、大部分のア3 クセス制御を高速化することが可能になる。
共用処理の場合、インテグリテイ保証をシステム全体に
ついて行う。アクセスが特定のプロセッサモジュールに
偏在することなく、各々のプロセッサから均等にアクセ
スされるようなリソースについては、特定のプロセッサ
モジュールに対する負荷の集中を回避し、また、特定の
プロセッサに対するアクセス依頼などの通信コストの増
大を防ぐことが可能になり、システム全体としてのスル
ープットを向上させることができる。
ついて行う。アクセスが特定のプロセッサモジュールに
偏在することなく、各々のプロセッサから均等にアクセ
スされるようなリソースについては、特定のプロセッサ
モジュールに対する負荷の集中を回避し、また、特定の
プロセッサに対するアクセス依頼などの通信コストの増
大を防ぐことが可能になり、システム全体としてのスル
ープットを向上させることができる。
そこで、第7図に示すように、アクセスが特定のプロセ
ッサモジュールに偏在する場合1局所処理管理とし、偏
在傾向が解消した場合、共用処理管理とするように動的
に変更制御を行う。これにより、リソースのアクセス状
況に応じた最適なアクセス管理を行うことができるよう
になる。
ッサモジュールに偏在する場合1局所処理管理とし、偏
在傾向が解消した場合、共用処理管理とするように動的
に変更制御を行う。これにより、リソースのアクセス状
況に応じた最適なアクセス管理を行うことができるよう
になる。
共用処理管理を行うか2局所処理管理を行うかなどによ
って、第6図に示す各種ホットスポットデータの管理形
態のパターンが選択されることになる。
って、第6図に示す各種ホットスポットデータの管理形
態のパターンが選択されることになる。
4
以下、その処理動作について、第8図に従って説明する
。以下の説明における■〜■は、第8図に示す■〜■に
対応する。
。以下の説明における■〜■は、第8図に示す■〜■に
対応する。
■ 共用・局所管理部60は、データベースアクセス状
況表25を参照し、リソースに対するアクセスが、特定
のプロセッサモジュールに偏在するかどうかを検査し、
リソースに対する共用型/局所型を決定する。共用/局
所を変更する場合には。
況表25を参照し、リソースに対するアクセスが、特定
のプロセッサモジュールに偏在するかどうかを検査し、
リソースに対する共用型/局所型を決定する。共用/局
所を変更する場合には。
データベース属性表31の共用/局所表示を変更する。
■ データベースパソファ管理部50は、リソースが共
用型であるか局所(偏在)型であるかによって、データ
ベースバッファの配置を決める。ローカルメモリにコピ
ーを持つかどうかは、該当ページのアクセス時に決定す
る。基本的にはコピーを持つものとする。
用型であるか局所(偏在)型であるかによって、データ
ベースバッファの配置を決める。ローカルメモリにコピ
ーを持つかどうかは、該当ページのアクセス時に決定す
る。基本的にはコピーを持つものとする。
■ データベースに対するアクセスに対して、ホットス
ポット管理部22を介して、または直接的にデータベー
スアクセス状況表25にアクセス状況を登録する。
ポット管理部22を介して、または直接的にデータベー
スアクセス状況表25にアクセス状況を登録する。
■ ホントスポット判定部23は、データベースアクセ
ス状況表25を参照し、ボットスボッi・データである
かどうかを決定する。その結果を、再度アクセス状況と
して登録する。
ス状況表25を参照し、ボットスボッi・データである
かどうかを決定する。その結果を、再度アクセス状況と
して登録する。
■ データベースハソファ管理部50は、データベース
アクセス状況表25に従って、ホットスポットデータの
管理を、ホントスポット管理部22に依頼する。
アクセス状況表25に従って、ホットスポットデータの
管理を、ホントスポット管理部22に依頼する。
なお1本発明の実施にあたって、ホットスポットデータ
の管理を行う場合に、前述した第6図に示す形態のすべ
てを採用する必要はなく2例えば。
の管理を行う場合に、前述した第6図に示す形態のすべ
てを採用する必要はなく2例えば。
局所型のものについてだけ適用するようにしてもよい。
以上説明したように1本発明によれば、マルチプロセッ
サアーキテクチャの特性を活かし、頻繁に更新されるよ
うなデータベースのリソースについて、共用メモリを利
用することにより、ログデータ量を少なくシ、異常発生
時におけるすカバリ処理時間を短縮することが可能にな
る。
サアーキテクチャの特性を活かし、頻繁に更新されるよ
うなデータベースのリソースについて、共用メモリを利
用することにより、ログデータ量を少なくシ、異常発生
時におけるすカバリ処理時間を短縮することが可能にな
る。
第1図は本発明の構成例。
第2図は本発明の作用説明図
第3図は本発明の一実施例によるシステム構成例。
第4図は本発明の一実施例で用いる管理用データ説明図
。 第5図は本発明の一実施例に係るホットスポット管理の
例。 第6図は本発明の一実施例に係るホットスボッ!・デー
タの管理形態の例 第7図は本発明の一実施例における共用・局所変更制御
の例。 第8図は本発明の一実施例による処理動作説明図 第9図は従来技術の例を示す。 図中、10は共用メモリ、11−L 11−2・・は
プロセッサモジュール、12はバス、13は7 データベース実体格納部、14はI10バス、20はホ
ントスポット用ハソファ、22はホットスポット管理部
、23はホントスポット判定部、24はローカルメモリ
、25はデータベースアクセス状況表、26はデータベ
ースハソファ、27はリソースを表す。 8
。 第5図は本発明の一実施例に係るホットスポット管理の
例。 第6図は本発明の一実施例に係るホットスボッ!・デー
タの管理形態の例 第7図は本発明の一実施例における共用・局所変更制御
の例。 第8図は本発明の一実施例による処理動作説明図 第9図は従来技術の例を示す。 図中、10は共用メモリ、11−L 11−2・・は
プロセッサモジュール、12はバス、13は7 データベース実体格納部、14はI10バス、20はホ
ントスポット用ハソファ、22はホットスポット管理部
、23はホントスポット判定部、24はローカルメモリ
、25はデータベースアクセス状況表、26はデータベ
ースハソファ、27はリソースを表す。 8
Claims (1)
- 【特許請求の範囲】 それぞれローカルメモリ(24)を持つ複数のプロセッ
サモジュール(11−i)と、これらの各プロセッサモ
ジュールにバス結合される共用メモリ(10)とを備え
たマルチプロセッサシステムによるデータベース処理に
おけるホットスポットデータ管理処理方式であって、 データベースの各リソースに対するアクセス状況が登録
されるデータベースアクセス状況表(25)と、 データベースアクセス状況表に登録されたアクセス状況
により、ホットスポットデータを判定するホットスポッ
トデータ判定部(23)と、ホットスポットデータと判
定されたデータが格納される上記共用メモリ内に設けら
れるホットスポット用バッファ(20)とを備え、 アクセス頻度が多いデータまたはローカルメモリに長時
間滞在するデータについて、ホットスポットデータとし
て、共用メモリ上に配置するようにしたことを特徴とす
るホットスポットデータ管理処理方式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1144637A JPH0833855B2 (ja) | 1989-06-07 | 1989-06-07 | ホットスポットデータ管理処理方式 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1144637A JPH0833855B2 (ja) | 1989-06-07 | 1989-06-07 | ホットスポットデータ管理処理方式 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0310343A true JPH0310343A (ja) | 1991-01-17 |
JPH0833855B2 JPH0833855B2 (ja) | 1996-03-29 |
Family
ID=15366693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP1144637A Expired - Lifetime JPH0833855B2 (ja) | 1989-06-07 | 1989-06-07 | ホットスポットデータ管理処理方式 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0833855B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007156524A (ja) * | 2005-11-30 | 2007-06-21 | Canon Marketing Japan Inc | ログデータ管理システム及び当該システムの制御方法、ログデータ収集装置及び当該装置の制御方法、ログデータ管理装置及び当該装置の制御方法、並びに制御プログラム |
US7720816B2 (en) | 2006-01-05 | 2010-05-18 | Samsung Electronics Co., Ltd. | System and method for managing log information |
JP2017091527A (ja) * | 2015-11-05 | 2017-05-25 | 華為技術有限公司Huawei Technologies Co.,Ltd. | データベースにおいてホットページを決定するための方法および装置 |
-
1989
- 1989-06-07 JP JP1144637A patent/JPH0833855B2/ja not_active Expired - Lifetime
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007156524A (ja) * | 2005-11-30 | 2007-06-21 | Canon Marketing Japan Inc | ログデータ管理システム及び当該システムの制御方法、ログデータ収集装置及び当該装置の制御方法、ログデータ管理装置及び当該装置の制御方法、並びに制御プログラム |
US7720816B2 (en) | 2006-01-05 | 2010-05-18 | Samsung Electronics Co., Ltd. | System and method for managing log information |
JP2017091527A (ja) * | 2015-11-05 | 2017-05-25 | 華為技術有限公司Huawei Technologies Co.,Ltd. | データベースにおいてホットページを決定するための方法および装置 |
US10331652B2 (en) | 2015-11-05 | 2019-06-25 | Huawei Technologies Co., Ltd. | Method and apparatus for determining hot page in database |
Also Published As
Publication number | Publication date |
---|---|
JPH0833855B2 (ja) | 1996-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9916201B2 (en) | Write performance in fault-tolerant clustered storage systems | |
US7143246B2 (en) | Method for supporting improved burst transfers on a coherent bus | |
US5193163A (en) | Two-level protocol for multi-component bus ownership, and implementation in a multi-processor cache write back protocol | |
JP3066693B2 (ja) | 分散データ処理システム | |
US5222217A (en) | System and method for implementing operating system message queues with recoverable shared virtual storage | |
US7120746B2 (en) | Technique for data transfer | |
US5649184A (en) | Symmetric/asymmetric shared processing operation in a tightly coupled multiprocessor | |
US20030200394A1 (en) | Cache memory arrangement and methods for use in a cache memory system | |
CN101556559A (zh) | 利用虚拟存储器的事务型存储器执行 | |
US20070150665A1 (en) | Propagating data using mirrored lock caches | |
US6996645B1 (en) | Method and apparatus for spawning multiple requests from a single entry of a queue | |
JP2003316753A (ja) | マルチプロセッサ装置 | |
JPH10320282A (ja) | 仮想キャッシュ・コントロール方法及び装置 | |
Amza et al. | Data replication strategies for fault tolerance and availability on commodity clusters | |
JPH11143779A (ja) | 仮想記憶装置におけるページング処理システム | |
JPH0310343A (ja) | ホットスポットデータ管理処理方式 | |
US20040059871A1 (en) | Local invalidation buses for a highly scalable shared cache memory hierarchy | |
JP3312652B2 (ja) | マルチプロセッサアーキテクチャでのデータベース管理方式 | |
JPH0816881B2 (ja) | データベース更新方法 | |
JP2825839B2 (ja) | デッドロック検出処理方式 | |
JPH04305746A (ja) | キャッシュメモリ制御装置 | |
JP3340047B2 (ja) | マルチプロセッサシステムおよび複製タグの制御方法 | |
JP2023538241A (ja) | メモリロケーションに記憶されたデータが修正されたかどうかを識別するためのメモリロケーションの監視 | |
JP2517859B2 (ja) | 並列プロセス管理方法 | |
JP3517884B2 (ja) | データ処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080329 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090329 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100329 Year of fee payment: 14 |
|
EXPY | Cancellation because of completion of term | ||
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100329 Year of fee payment: 14 |