JPH0546668A - 分散データ制御システム - Google Patents

分散データ制御システム

Info

Publication number
JPH0546668A
JPH0546668A JP3222091A JP22209191A JPH0546668A JP H0546668 A JPH0546668 A JP H0546668A JP 3222091 A JP3222091 A JP 3222091A JP 22209191 A JP22209191 A JP 22209191A JP H0546668 A JPH0546668 A JP H0546668A
Authority
JP
Japan
Prior art keywords
data
access
node
request
replacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP3222091A
Other languages
English (en)
Inventor
Mitsuru Tsubakii
充 椿井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP3222091A priority Critical patent/JPH0546668A/ja
Publication of JPH0546668A publication Critical patent/JPH0546668A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Memory System Of A Hierarchy Structure (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【目的】 分散データシステム上て遠隔ノードから取得
したデータを容量制限内で効率的にキャッシュする。 【構成】 アプリケーションプログラム2から発行され
たデータアクセス要求に対して、分散データ管理システ
ム1は、要求ステージング手段12により、該データが
自ノード内に存在すればそのデータを、存在しなければ
遠隔ノードに取得要求をして得られるデータを夫々返却
する。得られたデータは規定容量内でキャッシュされる
が、その際のデータ置換方式をアクセス傾向監視手段1
6に基づいてLRU かMRU か動的に適正化する。

Description

【発明の詳細な説明】
【0001】
【技術分野】本発明は分散データ制御システムに関し、
特に各々のデータ項目が夫々一意に定まる識別子を有す
る複数のデータからなるデータ集合体がコンピュータネ
ットワーク上に複数分散して存在する分散データの制御
システムに関する。
【0002】
【従来技術】この種の分配データ制御システムでは、ア
プリケーションプログラムからのデータアクセス要求に
対して、対応するデータが自ノード内に存在すれば、そ
のデータを要求元であるアプリケーションプログラムへ
返却する。存在しなければ、他ノードからそのデータを
取得してそのまま要求元アプリケーションプログラムへ
返却している。
【0003】この様に、コンピュータネットワークを介
して自ノードに存在しないデータを他ノードから取得す
る場合、自ノードは当該アプリケーションプログラムに
とっては、単にネットワーク透過的なものと見なされる
ものであり、他ノードからの取得データはアプリケーシ
ョンプログラムに渡された後、そのアプリケーションプ
ログラム独自の管理に委ねられている。
【0004】一部他ノードからのデータをキャッシュす
る仕掛けを有するシステムも存在するが、この場合デー
タの母集団全体をかかえる方法や、または、必要な単位
に細分して管理する方法の場合でも、自ノードにおける
限られた容量内での保持優先度は一義的に定められてい
て、実装の容易性からアクセスした順に置換するFIFO置
換アルゴリズムやアクセスの古い(同一データに対して
は新しい方が有効)順に置換するLRU 置換アルゴリズム
が単独で使用されている。
【0005】上述した従来の分散データ制御システムで
は、キャッシュ機構が備わっていない場合、アプリケー
ションプログラムが独自にアクセスデータ管理を行わな
い限り、自ノードの分散データ管理システムは過去にア
クセスしたデータを忘却しているので、アプリケーショ
ンプログラムが発行するデータアクセス要求ごとに、た
とえ既にアクセスしたデータに対しても他ノードへデー
タ取得要求を出してデータ通信を実行しなければならな
いという欠点がある。
【0006】また、キャッシュ機構が備わっている場合
でも当該データを含む母集団全体をかかえる方式におい
ては、自ノードのデータ保持容量の制限を受けて充分に
機能しないこともあるし、アクセスすることのない不要
なデータを通信するという無駄が生じること、マスタデ
ータの更新の反映についてもアクセスすることのない不
要なデータに対して実行しなければならないことなどの
欠点がある。
【0007】次に、必要な粒度(大きさ)でデータ置換
を行うキャッシングを実現している場合、上述した問題
点は解決されるが、FIFO置換方式においては、アプリケ
ーションプログラムが有するデータアクセスの局所性
(過去よく使ったものは未来もよく使う、先程使ったも
のは次にも使うといった性質)を充分に活かせていな
い。
【0008】また、LRU 置換方式においては、データア
クセスの局所性を比較的よく反映しているものの、一律
に用いるには不適切であり、アプリケーションプログラ
ムの動作いかんにより予想が大幅にはずれてキャッシュ
のヒット率が悪くなることがあるという欠点がある。
【0009】
【発明の目的】本発明の目的は、自ノード以外の遠隔ノ
ードから取得したデータを容量制限内で効率的にキャッ
シュ可能とした分散データ制御システムを提供すること
である。
【0010】
【発明の構成】本発明によれば、各々のデータ項目が夫
々一意に定まる識別子を有する複数のデータからなるデ
ータ集合体がコンピュータネットワーク上に複数分散し
て存在する分散データの制御システムであって、前記識
別子によるデータアクセス要求に応答して、対応するデ
ータが自ノード内に存在する場合はそのデータを要求元
へ返却し、存在しない場合は他ノードにデータ取得要求
を発行する要求ステージング手段と、自ノード内に存在
するデータに関して、アクセスした順番をアクセス時系
列情報として保持するアクセス履歴保持手段と、前記要
求ステージング手段により他ノードから取得したデータ
を自ノード内のデータとして追加する際に、データ総量
が予め定められた規定量を越える場合、前記アクセス時
系列情報を参照してアクセスが最も古いデータと置換す
るLRU 置換手段と、この置換対象をアクセスが最も新し
いデータとするMRU 置換手段と、予め定められた単位ア
クセス回数当りの各データのアクセス回数を前記アクセ
ス時系列上の所定区間毎に加算した区間アクセス頻度を
記憶するアクセス傾向監視手段と、前記区間アクセス頻
度に応じて前記LRU 置換手段及び前記MRU 置換手段の一
方に切替える置換方法適正化手段とを含むことを特徴と
する分散データ制御システムが得られる。
【0011】
【実施例】次に、本発明について実施例について図面を
参照して詳細に説明する。
【0012】図1は本発明の一実施例の分散データ制御
システムの機能構成を示すブロック図である。図2は分
散データベースの構造図である。図3は図1のアクセス
傾向監視手段および置換方法適正化手段の動作を表すフ
ローチャートである。
【0013】まず、本実施例の構成を図1,2に基づい
て説明する。この実施例は、分散データ管理システム1
と、アプリケーションプログラム2と、分散データベー
ス(図2に示す)とで構成されている。
【0014】分散データ管理システム1は、アクセス要
求解析手段11と、要求ステージング手段12と、LRU
データ置換手段13と、MRU データ置換手段14と、ア
クセス履歴保持手段15と、アクセス傾向軽視手段16
と、置換方法適正化手段17と、アクセスデータ返却手
段18とを含んで構成されている。
【0015】アプリケーションプログラム2は、データ
アクセス要求手段21と、アクセスデータ受取手段22
とを含んで構成されている。
【0016】要求ステージング手段12は、存在ノード
判定手段121 と、自ノードデータアクセス実行手段122
と、他ノードデータ取得要求受取手段123 とから構成さ
れている。
【0017】アクセス履歴保持手段15は、自動優先度
設定手段151 と、指定優先度設定手段152 とから構成さ
れている。
【0018】分散データベースは、図2に示す如くアク
セス時系列部と、インデクス部と、データ部との3部構
成になっている。データ部は、任意の粒度のデータ項目
(たとえば、フィールド、レコード、ブロック、テーブ
ル、ファイルなど)が順不同に並んでいて、データ識別
子(この例では、以降キーという名前で参照される)に
より一意に定まるデータの集合とみなすことができる。
【0019】インデクス部はキーと対応するデータを指
すポインタとの対の配列ができていて、キーの値でソー
ティングされている。
【0020】アクセス時系列部は対応するデータがアク
セスの新しい順(同一のデータに対しては、新しい方を
採る)になるようなキーの連鎖でできていて、特別な2
つのポインタ、最新ポインタと最古ポインタが設けられ
ていて、前者はキー連鎖の最も新しいエントリを、後者
は最も古いエントリを指している。
【0021】また、n個のエントリ(データの個数をn
個とする)の内、連鎖の新しい方からn/2 (端数は切上
げ)番目までのものに対応するデータのアクセス回数を
数えるカウンタとして前半アクセスカウンタC1が設け
られ、残りに対するものとして後半アクセスカウンタC
2か設けられ、自ノード内にデータ画存在せずに他ノー
ドに対してアクセスした回数を数えるカウンタとして外
部アクセスカウンタC3か設けられ、そしてすべてのア
クセス回数を数えるカウンタとして総アクセスカウンタ
C0が備わっている。
【0022】ただし、上記の分散データベースは必ずし
も2次記憶上に存在するものとも限らず、必要に応じて
主記憶にロードされるし、主記憶にのみ存在することも
ある。
【0023】次に、上述のように構成された本実施例の
動作を図1〜図3に基づいて説明する。
【0024】最初に、アプリケーションプログラムから
発されるデータアクセス要求に対して、データがいかに
してアプリケーションプログラムにわたされるか、その
しくみについて説明し、次に、自ノードにおける保持デ
ータの置換方法適正化のしくみについて説明する。
【0025】アプリケーションプログラム2がデータア
クセス要求手段21によって分散データ管理システム1
に対してキーxを介してデータアクセス要求を発行する
と、アクセス要求解析手段11は受取った要求を解析し
てキー情報を要求ステージング手段12へ、アクセスデ
ータの自ノードにおける保持優先度をアクセス履歴保持
手段15へ夫々渡す。
【0026】存在ノード判定手段121 はキー情報に基づ
いて自ノードの分散データベース内のインデクスを使っ
てキー検索を実行する。キーはソーティングされている
ので、一般的な2分検索法(バイナリサーチ)を用いて
高速化を図る。
【0027】自ノード内に対応するデータが存在すれ
ば、自ノードデータアクセス手段122に制御を渡し、さ
もなければ他ノードデータ取得要求受取123 に制御を渡
す。
【0028】自ノードデータアクセス手段122はキー
検索で得られたポインタを基にデータ部から対応するデ
ータの読取りを実行して、アクセス履歴保持手段15に
制御を渡す。他ノードデータ取得要求受取手段123 は予
め定められた特定のノード(たとえば親コンピュータ)
か、または、複数の不特定のノードに対して(たとえば
LAN の同報)データ取得要求を出し、データを受取る。
【0029】受取ったデータを自ノードの分散データベ
ースに登録する際に、データ保持容量に余裕があれば
(インデクスのエントリ数がnに満たない場合)データ
を書込んで、対応するキーエントリを追加し、インデク
ス部全体をキーの値でソーティングしておく。
【0030】余裕がない場合(インデクスのエントリ数
がn)には、LRU データ置換運用中ならば、LRU データ
置換手段13によって、アクセス時系列内の最古ポイン
タが示すエントリと、インデクス部の対応するエントリ
と、データ部の対応するデータとを削除した後に上述し
た余裕がある場合の処理を施し、制御をアクセス履歴保
持手段15に移す。MRU データ置換運用中の場合には、
最新ポインタが示すエントリに対して同様に処理をす
る。
【0031】アクセス履歴保持手段15は、アクセスし
たばかりのデータに関する情報をアクセス時系列部に反
映させるために、該当するキーエントリをアプリケーシ
ョンプログラムからの保持優先度指定がなければ、自動
優先度設定手段151 によって最新ポインタが指す最先頭
に挿入し直し(もともと存在しているエントリは入れ替
え、そうでない場合は追加をチェーンの張り替えにより
行う)、保持優先度指定があれば、指定優先度設定手段
152 によって予め定められた対応する位置(たとえば、
最古ポインタが指す最後尾)に挿入する。
【0032】以上の処理が終了すると、アクセスデータ
返却手段18によってデータがアプリケーションプログ
ラム2のアクセスデータ受取手段22に渡されてデータ
アクセス要求処理が完結する。
【0033】次に、自ノードにおける保持データの置換
方法適正化のしくみについて説明する。
【0034】アクセス傾向監視手段16は、総アクセス
カウンタC0と、前半アクセスカウンタC1と、後半ア
クセスカウンタC2と、外部アクセスカウンタC3とを
有していて、アクセス履歴保持手段15内でそれぞれの
カウントアップを行う。
【0035】置換方法適正化手段17は、LRU データ置
換運用中においては、アクセス時系列の新しいほう半分
が他方に比べてヒット率が高いか、すなわち、データア
クセス傾向がLRU データ置換方式に適合しているか否か
を、前半アクセスカウンタC1と後半アクセスカウンタ
C2との比較により判断して、そうであるなら運用状況
良好とみなし、さもなければ不適合と判断してMRU デー
タ置換方式に切替える。
【0036】また、アクセス傾向監視手段16が有する
諸カウンタを現況がより正確に反映できるように必要に
応じて遠い過去の履歴を無効にするために初期化するこ
とも可能である。MRU データ置換運用中においても同様
で、不適合の場合にはLRU データ置換方式に切替える。
【0037】さらに、これ等の方策は、近い過去の状況
は近い将来においても継続するであろうとの推測に基づ
くものであるが、特殊なアクセス傾向をもつアプリケー
ションプログラムに対しては、個別に優先度を宣言する
ことによりこの方策による不都合な動作を補完する。
【0038】
【発明の効果】以上説明したように本発明によれば、コ
ンピュータネットワーク上で自ノードのアプリケーショ
ンプログラムが発するアクセス要求に基づいて、データ
所在場所の透過性を保証する分散データ管理システムが
他ノードから得たデータを自ノードに取込む際に、自ノ
ードにおけるデータ保持容量制限および更新情報反映効
率化への対処として置換すべきより不要なデータを選定
するために、近い将来のアクセス可能性を近い過去のア
クセス傾向から推定する方法として「さきほど使ったも
のはもうすぐ使う」とするLRU データ置換方式と、「さ
きほど使ったものはとうぶん使わない」とするMRU デー
タ置換方式とを、実システム稼動中にそれぞれの方式適
合性を監視分析して使い分けることにより、また、アプ
リケーションプログラムによる明示的なデータ保持優先
度指定を採用して補正するこにより、未来のアクセスす
べてを知ることができた場合の理想としての最適データ
置換アルゴリズムのよりよい近似となり、無駄なデータ
通信を極小化することができるという効果がある。
【図面の簡単な説明】
【図1】本発明の実施例のシステムブロック図である。
【図2】本発明に適用される分散データベース構造を示
す図である。
【図3】アクセス監視手段および置換方法適正化手段の
動作を示すフローチャートである。
【符号の説明】
1 分散データ管理システム 2 アプリケーションプログラム 12 要求ステージング手段 13 LRU データ置換手段 14 MRU データ置換手段 15 アクセス履歴保持手段 16 アクセス傾向監視手段 17 置換方法適正化手段

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 各々のデータ項目が夫々一意に定まる識
    別子を有する複数のデータからなるデータ集合体がコン
    ピュータネットワーク上に複数分散して存在する分散デ
    ータの制御システムであって、前記識別子によるデータ
    アクセス要求に応答して、対応するデータが自ノード内
    に存在する場合はそのデータを要求元へ返却し、存在し
    ない場合は他ノードにデータ取得要求を発行する要求ス
    テージング手段と、自ノード内に存在するデータに関し
    て、アクセスした順番をアクセス時系列情報として保持
    するアクセス履歴保持手段と、前記要求ステージング手
    段により他ノードから取得したデータを自ノード内のデ
    ータとして追加する際に、データ総量が予め定められた
    規定量を越える場合、前記アクセス時系列情報を参照し
    てアクセスが最も古いデータと置換するLRU 置換手段
    と、この置換対象をアクセスが最も新しいデータとする
    MRU 置換手段と、予め定められた単位アクセス回数当り
    の各データのアクセス回数を前記アクセス時系列上の所
    定区間毎に加算した区間アクセス頻度を記憶するアクセ
    ス傾向監視手段と、前記区間アクセス頻度に応じて前記
    LRU 置換手段及び前記MRU 置換手段の一方に切替える置
    換方法適正化手段とを含むことを特徴とする分散データ
    制御システム。
  2. 【請求項2】 前記アクセス履歴保持手段は、最新のア
    クセスデータを前記アクセス時系列上の対応する最新の
    位置に挿入する自動優先設定手段と、前記アクセス要求
    時に指定したアクセスデータの自ノードにおける保持優
    先度に応じて前記最新アクセスデータを前記アクセス時
    系列上の対応する位置に挿入する指定優先度設定手段と
    を含むことを特徴とする請求項第1項の分散データ制御
    システム。
JP3222091A 1991-08-07 1991-08-07 分散データ制御システム Pending JPH0546668A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3222091A JPH0546668A (ja) 1991-08-07 1991-08-07 分散データ制御システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3222091A JPH0546668A (ja) 1991-08-07 1991-08-07 分散データ制御システム

Publications (1)

Publication Number Publication Date
JPH0546668A true JPH0546668A (ja) 1993-02-26

Family

ID=16776989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3222091A Pending JPH0546668A (ja) 1991-08-07 1991-08-07 分散データ制御システム

Country Status (1)

Country Link
JP (1) JPH0546668A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5897651A (en) * 1995-11-13 1999-04-27 International Business Machines Corporation Information handling system including a direct access set associative cache and method for accessing same
JP2008544422A (ja) * 2005-06-27 2008-12-04 エービー イニティオ ソフトウェア コーポレーション メモリページ管理

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5897651A (en) * 1995-11-13 1999-04-27 International Business Machines Corporation Information handling system including a direct access set associative cache and method for accessing same
JP2008544422A (ja) * 2005-06-27 2008-12-04 エービー イニティオ ソフトウェア コーポレーション メモリページ管理

Similar Documents

Publication Publication Date Title
US5414840A (en) Method and system for decreasing recovery time for failed atomic transactions by keeping copies of altered control structures in main memory
US8868831B2 (en) Caching data between a database server and a storage system
US9880909B2 (en) Cached data replication for cache recovery
US5581737A (en) Method and apparatus for expansion, contraction, and reapportionment of structured external storage structures
US6385699B1 (en) Managing an object store based on object replacement penalties and reference probabilities
US7249152B2 (en) Dynamic disk space management by multiple database server instances in a cluster configuration
US6738866B2 (en) Memory management of data buffers incorporating hierarchical victim selection
EP1782212B1 (en) System and method for maintaining objects in a lookup cache
US20010013087A1 (en) Caching of objects in disk-based databases
US8572130B2 (en) Replacement policy for resource container
US20090307329A1 (en) Adaptive file placement in a distributed file system
US9229869B1 (en) Multi-lock caches
US20090177844A1 (en) Method of efficiently choosing a cache entry for castout
US6484242B2 (en) Cache access control system
US20120054444A1 (en) Evicting data from a cache via a batch file
WO2008084341A1 (en) Database management methodology
CN114253908A (zh) 键值存储系统的数据管理方法及其装置
US11099998B2 (en) Method and device for optimization of data caching
CN107562806B (zh) 混合内存文件系统的自适应感知加速方法及系统
CN107133334B (zh) 基于高带宽存储系统的数据同步方法
US6298419B1 (en) Protocol for software distributed shared memory with memory scaling
US20090177841A1 (en) Methods and Systems for Consistently Replicating Data
US7836248B2 (en) Methods and systems for managing persistent storage of small data objects
JPH0546668A (ja) 分散データ制御システム
JP3020512B2 (ja) フアイルデータ管理方法

Legal Events

Date Code Title Description
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 9

Free format text: PAYMENT UNTIL: 20090107

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 10

Free format text: PAYMENT UNTIL: 20100107

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110107

Year of fee payment: 11

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110107

Year of fee payment: 11

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 11

Free format text: PAYMENT UNTIL: 20110107

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 11

Free format text: PAYMENT UNTIL: 20110107

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110107

Year of fee payment: 11

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 11

Free format text: PAYMENT UNTIL: 20110107

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 11

Free format text: PAYMENT UNTIL: 20110107

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

LAPS Cancellation because of no payment of annual fees