JPH10320249A - バッファ交替方法 - Google Patents

バッファ交替方法

Info

Publication number
JPH10320249A
JPH10320249A JP9231847A JP23184797A JPH10320249A JP H10320249 A JPH10320249 A JP H10320249A JP 9231847 A JP9231847 A JP 9231847A JP 23184797 A JP23184797 A JP 23184797A JP H10320249 A JPH10320249 A JP H10320249A
Authority
JP
Japan
Prior art keywords
buffer
area
lfu
lru
victim
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP9231847A
Other languages
English (en)
Inventor
Kotetsu Tei
光 哲 鄭
Yukei Boku
雄 圭 朴
Daiei Kyo
大 榮 許
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JPH10320249A publication Critical patent/JPH10320249A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

(57)【要約】 【課題】 資料接近が要求される資料を予測し引き続き
バッファに存在することができるようにする神経回路網
を利用したバッファ交替方法を提供することにその目的
がある。 【解決手段】 神経回路網を利用して要求される客体が
次回に要求される接近時間間隔を予測し客体をホットセ
ット(hot set) とコールドセット(cold set)に分類する
第1段階と;バッファをLFUとLRU領域に区分する
第2段階と;ホットセットに分類される客体をLFU領
域に送りLFU方法で管理する第3段階と;コールドセ
ットに分類された客体をLRU領域に送りLRU方法で
管理する第4段階とを包含してなる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】最近マルチメディアサービス
が急増しこれからも増加する趨勢にある。このマルチメ
ディアを効果的に管理するデータベースシステムは要請
されたマルチメデイア客体を早くサービスするためのバ
ッファ管理器を提供する。本発明は、マルチメデイアデ
−夕べ―ス管理システムの性能改善のためのバッファ管
理器のバッファ交替方法に関するものである。
【0002】言い換えると本発明は、貯蔵システム(sto
rage system)から最も頻繁に接近される資源(resource)
のうちの一つであるバッファ(buffer)を管理する方法に
対するものであり、時間変化にしたがって資料接近形態
が変化するマルチメデイア情報サービスシステムの性能
向上のためのバッファ交替方法に関するものである。
【0003】
【従来の技術】バッファは物理的貯蔵空間(physical st
orage device) であるディスクのデ−夕のうち頻繁に使
用されるデ―夕を主メモリに保持するため使用されるメ
モリ空間である。貯蔵システムを構成するモジュールの
うちバッファ管理モジュール(buffer management modul
e)はメモリ内のバッファを管理するモジュールであり、
次のような機能を有する。1)頻繁に使用される資料を
ディスクから即時に接近可能な主記憶装置のバッファに
読み込まれる。2)新しく要求された資料がバッファに
存在しない場合ディスクから読み込まれた資料をバッフ
ァに位置させるための運用方法を提供する。3)バッフ
ァを交替するとき最も効用性がない資料を犠牲者(victi
m)に選定しなければならない。これにより貯蔵システム
の全体性能が向上する。
【0004】マルチメディアをサービスするシステムは
典型的なデータベースの接近形態とは異なる形態であり
資料に接近する場合が大部分である。実際のAOD(Aud
io-On-Demand) とVOD(Video-On-Demand) システムに
おいて、相当人気のある一部分の客体は他の客体に比し
これからもより多く照会される確率が高い。接近形態を
分析した結果、マルチメディアサービスシステムにおい
て客体は2個のグループに分類される。一つはこれから
も頻繁に照会される客体が存在すること(hot set) であ
り他の一つはこれからはより少なく照会される客体が存
在すること(cold set)である。相当な人気をもつ客体の
接近形態は時間が経つにつれて速い速度で接近回数が増
加する上昇段階と接近回数が徐々に減る消滅段階として
現れる。即ち、時間が経つにつれて人気がある客体はホ
ットセットからコールドセットに遷移する。このような
接近形態を時変換的偏重した資料接近(time varying sk
ewed data access) という。
【0005】今までデー夕べースバッファリング、プロ
セッサキャシュイング、仮想メモリペイジング等のため
のいろいろなバッファ交替方法が研究されてきた。FI
F0(first-in-first out),LRU(least recently us
ed) ,LFU(least frequently used) ,更にLRUの
変形のような方法(LRU−k)が多くの分野において
利用されている。しかしこのようなバッファ交替方法は
上で分析した接近形態、即ち時間が経つにつれて偏重し
た資料接近形態と任意の資料形態が両存するサ−ビス環
境におけるバッファ交替方法としては適切でない。
【0006】本発明において分析したAODとVODの
資料接近様態に既存の方法を適用するとそれらはシステ
ムの性能低下を招来する。本発明において調査した結果
LRUとLRU−kは偏重した資料接近の際には不適切
である。反面LFUは偏重した資料接近には効率が良い
が偏重の程度が緩和するほど性能が低下する。更に、L
FUは接近頻度数に依存する特性のため、ある客体がホ
ットセットからコールドセットに遷移されるときシステ
ムの性能低下を招来することになる。したがって、LR
U或いはLFUは偏重した資料接近と任意の資料接近(r
andom data access)が同時に存在し偏重の程度及び偏重
接近を有する客体が時間が経つにつれて可変的なマルチ
メディアサービスシステムには適切でない。
【0007】
【発明が解決しようとする課題】したがって本発明は上
のような資料接近状況のもとでこれから接近が要求され
る資料を予測し引き続きバッファに存在することができ
るようにする神経回路網(ニューラルネットワーク)を
利用した予測技法を用いたバッファ交替方法を提供する
ことにその目的がある。
【0008】
【課題を解決するための手段】このような目的を達成す
るため本発明によるバッファ交替方法は、客体の接近間
隔を予測するため神経回路網技術を利用して実際バッフ
ァを交替するためLRUとLFUを混合した技術を利用
する。神経回路網の重要役割は要求された客体をホット
セットとコールドセットとに分類することである。ホッ
トセットは相当な人気が有り偏重した資料接近を有する
客体の集合であり、コールドセットは大した人気がなく
任意の接近を有する客体の集合である。このため要求さ
れる客体の過去時間間隔値等は神経回路網を通過するこ
とになる。本発明はLFUとLRUの長所を利用するた
めバッファをLFU領域とLRU領域に分ける。LFU
領域はホットセットに分類された客体を含みLFU方法
によりバッファを管理し、LRU領域はコールドセット
に分類された客体を含みLRU方法によりバッファを管
理する。
【0009】
【発明の実施の形態】以下、添付した図面を参照して本
発明の一実例を詳細に説明する。
【0010】図1は本発明が適用されるハードウェア環
境(Hardware environment)の構成図である。図1におい
てPi(1<=i=n)(11)はプロセッサ、Mem
(12)は主記憶装置メモリ領域、SM(13)はメモ
リ内の共有メモリ領域(shared memory area),IOP
(14)は入出力専用処理器及び補助記憶装置のディス
クである。このように本発明は単一プロセッサ或いは多
重プロセッサと共有メモリ領域を含む一般的なハードウ
ェア環境に適用される。
【0011】図2は本発明が適用され作動する貯蔵シス
テムのモジュール構造を表す。本発明が適用される貯蔵
システムは基本的に使用者(21)とシステムを連結す
るインタフエース(interface) 管理モジュール(2
2)、デイスクデータベース(25)を生成し(create)
処理する(manipulate)データ貯蔵/接近(storage/acces
s)管理モジュール(23)、トランザクション(transac
tion) の同時性制御(concurrency contro1) と回復(rec
overy)を担当するトランザクション管理モジュール(2
4)により構成され、本発明のバッファ交替方法を使用
するバッファ管理者(buffer management) はデータ貯蔵
/接近管理モジュール(23)に包含される。
【0012】図3は本発明が適用される貯蔵システムの
バッファ交替に関する概略的な構造図である。使用者か
ら要求される客体の以前の接近情報を神経回路網の入力
層(input layer) (31)に入力しBPNN(back prop
agation neural network) の隠れ層(hidden layer)(3
2)により次回の接近確率を計算し出力層(output laye
r)(33)に予測値Xtを出力する。この予測値を臨界
値(threshold value) と比較して小さいと要求された客
体をホットセットに、この値よりも大きいとコールドセ
ットに分類される。ホットセットに分類された客体はバ
ッファ領域(34)のLFU領域(35)(第1の領
域)に送られLFU方法(第1の方法)により管理さ
れ、コールドセットに分類された客体はLRU領域(3
6)(第2の領域)に送られLRU方法(第2の方法)
により管理される。
【0013】したがって本発明は神経回路網を利用し客
体の接近情報を求めこの情報を通じてこの客体が引き続
き接近されるか、又は接近される可能性が小さいかを判
断して、これを基に偏重した資料接近に有用なLFU又
は任意の接近に有用なLRU方法を各々適用する効率的
なバッファ交替方法を実現する。
【0014】図4は本発明のバッファ交替方法において
使用するバッファ領域(41)とバッファに含まれる客
体要素がもつ構造(44)を表す。
【0015】一定大きさのバッファはLFU領域(4
2)とLRU領域(43)に分かれこれら領域の大きさ
は動的に運営される。即ち、ホットセットに属する客体
が多ければLFU領域がLRU領域よりも相対的に大き
くなり、時間が経つにつれてその反対の現象がおきると
LRU領域がLFU領域に比して大きくなる。更にホッ
トセットに分類された客体とコールドセットに分類され
た客体はグループ別にリンクされており、各々のグルー
プはヘッドポインターをもっている。
【0016】バッファ内に属する客体要素がもつ情報で
は客体がホットセット又はコールドセットであるかを区
分するバッファタイプ(buffer type) (45)と、k個
の到着時間予測値を含む過去接近情報(previous histor
y values) (46)、LRU方法を適用するための最終
接近時間(last access time)(47),LFU方法を適
用するための接近頻度(access frequncy) (48)、グ
ループ(hot set,coldset)を構成するバッファ客体を連
結してリング(ring)を構成するため以前のバッファポイ
ンタ(previous buffer pointer) (49)と次のバッフ
ァポインタ(next buffer pointer) (50),更に客体
内容(51)に構成されている。
【0017】図5は本発明のバッファ交替方法による動
作の流れ図であり、動作は次のように遂行される。 1)使用者から客体が要求されると(501)、バッフ
ァ管理者はまずこの要求された客体の以前接近情報を求
め(502)、接近情報を神経回路網であるBPNNに
通過させ次期接近確率(予測値)を求める(503)。
この予測値を臨界値と比較して要求された客体をホット
セット又はコールドセットに区分する(504)。 2)要求された客体がバッファに存在していると、1)
の結果により要求された客体のバッファ種類を更新して
客体をバッファから読み出す(505、516)。 3)1)の結果要求された客体がホットセットに区分さ
れており、この客体がバッファに存在しないと空のバッ
ファがあるかを検査する(506、507)。 4)3)において、空のバッファがあると客体を空のバ
ッファに入れそのバッファをLFU領域に包含する(5
07、511)。 5)3)において、空のバッファがなければ、LFU方
法によりLFU領域にあるバッファのうち候補犠牲者(c
andidate victim)を選定する(508)。更に、この候
補犠牲者とLRU領域のバッファにLRU方法を適用し
最終犠牲者を選定する(509)。犠牲者をバッファか
ら取り出し要求された客体をバッファに入れたあと、こ
の客体を該当バッファ領域に包含する(510)。 6)1)の結果要求された客体がコールドセットに分類
されておりこの客体がバッファに存在していないと、空
のバッファがあるかを検査する(512)。 7)6)において、空のバッファが存在すると客体を空
のバッファに入れそのバッファをLRU領域に包含する
(515)。 8)6)において、空のバッファがなければLRU方法
により犠牲者を選定する(513、514)。
【0018】
【発明の効果】結局本発明において提案したバッファ交
替方法はLRUとLFUの良い点だけを利用するためキ
ャシュバッファをLRU、LFUの2領域に分類し各々
の領域がLRU、LFU方法により運営される。更に要
求された客体をホットセットとコ−ルドセットに分類す
るため神経回路網を利用した。実際にAODの資料接近
情報を利用してシミュレ−ションを遂行した結果、LR
U、LFU、LRU―k等他のバッファ交替方法に比し
て提案された方法の性能が良いものとして現れた。
【0019】本発明は他の発明又は論文上に提示された
既存バッファ交替方法よりも実験により優れた性能を表
した。
【0020】始めの実験でZipf分散をもつ客体の集
合を任意接近する場合に対してシミュレ−ションを遂行
した。この実験でLRUとLFUを利用することにおい
て資料接近の偏重程度によりバッファ性能に与える影響
を考察した。実験結果は図7に図示した通りで、10回
遂行した結果の平均値を表したものである。シミュレ−
ション結果によれば資料接近の偏重現象が大きくなるほ
どLFUがLRUよりも性能が良く現われた。これはL
RUキヤッシュバッファは単に1回接近した客体が常に
バッファラインに充たされるため、再使用可能性が高い
客体がバッファから押し出されるためである。反面、L
FUは度々参照される客体とそうでない客体を区別する
特性を有するため偏重した資料接近に適切である。偏重
の程度が小さい場合LRUとLFUの的中率に差異がで
ないことは任意の資料接近形態に起因する。
【0021】2番目の実験で本発明は実際の状況におい
てマルチメデイア客体の偏重した資料接近を模型化する
ためインタ−ネットでサービスされている韓国歌謡の接
近情報を利用した。このAODシステムは現在約310
曲をサービスしており最近1個月の間12000回の資
料接近があった。本発明はこの資料接近情報をもってL
RU、LFU、LRU−kと我々が提案した方法(表1
のOUR)の性能を評価した。結果は表1の通りであ
る。表1によれば実験結果は提案された方法が他の方法
に比して優秀なものであると現われた。特に、提案され
た方法はバッファの大きさが小さいほど他の方法に比し
て優秀であることが分かる。これは提案された方法が神
経回路網を通じて客体をホットセット又はコールドセッ
トに正確に分類して的中率を向上させるためである。
【表1】
【図面の簡単な説明】
【図1】本発明が適用されるハードウェア構成図。
【図2】本発明が適用される貯蔵システムのモジュール
構成図。
【図3】本発明が適用されるバッファ交替構造図。
【図4】本発明であるバッファ交替方法が使用するバッ
ファ及びバッファ要素の構造図。
【図5】本発明によるバッファ交替方法に対する動作の
流れ図。
【図6】図5の続きを示す流れ図。
【図7】既存方法の性能評価分析図。
【符号の説明】
21 使用者 22 インターフェース管理モジュール 23 データ貯蔵/接近管理モジュ―ル 24 トランザクシオン管理モジュール 25 データベース
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 FI G06F 17/30 G06F 15/40 310E 370G

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 時間が変化するにつれて偏重した資料接
    近形態を有するマルチメディアサービスシステムにおけ
    るバッファ交替方法において、 神経回路網を利用して要求される客体が次回に要求され
    る接近時間間隔を予測し客体をホットセット(hot set)
    とコールドセット(cold set)に分類する第1段階と;バ
    ッファをLFU領域とLRU領域に区分する第2段階
    と;ホットセットに分類される客体をLFU領域に送り
    LFU方法で管理する第3段階と;コールドセットに分
    類された客体をLRU領域に送りLRU方法で管理する
    第4段階とを含むことを特徴とするバッファ交替方法。
  2. 【請求項2】 第1項において、 上記第1段階は、 使用者から客体が要求されるとバッファ管理者が要求さ
    れた客体の以前の接近情報を求める段階;この接近情報
    を神経回路網に通過させ次期接近確率(予測値)を求め
    る段階;及びこの予測値を臨界値と比較して要求された
    客体をホットセット又はコールドセットに区分する段階
    を含むことを特徴とするバッファ交替方法。
  3. 【請求項3】 第1項において、 上記第3段階は、 ホットセットに区分された客体がバッファに存在しない
    場合空のバッファがあるかを検査する段階;空のバッフ
    ァがあれば客体を空のバッファに入れそのバッファをL
    FU領域に含み、バッファ種類を更新してバッファから
    客体を読み出す段階;空のバッファがなければLFU方
    法によりLFU領域にあるバッファのうち候補犠牲者を
    選定し、この候補犠牲者とLRU領域のバッファにLR
    U方法を適用して最終犠牲者を選定する段階;及び犠牲
    者をバッファから引き出し要求された客体をバッファに
    入れたあと、この客体を該当バッファ領域に含みバッフ
    ァ種類を更新してバッファから客体を読み出す段階を含
    むことを特徴とするバッファ交替方法。
  4. 【請求項4】 第1項において、 上記第4段階は、 コールドセットに区分された客体がバッファに存在しな
    い場合空のバッファがあるかを検査する段階;空のバッ
    ファが存在すれば客体を空のバッファに入れそのバッフ
    ァをLFU領域に含み、バッファ種類を更新してバッフ
    ァから客体を読み出す段階;及び空のバッファがなけれ
    ばLFU方法により犠牲者を選定する段階;犠牲者をバ
    ッファから引き出し要求された客体をバッファに入れた
    あと、この客体を該当バッファ領域に含みバッファ種類
    を更新してバッファから客体を読み出す段階を含むこと
    を特徴とするバッファ交替方法。
JP9231847A 1996-11-20 1997-08-13 バッファ交替方法 Withdrawn JPH10320249A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1019960055819A KR100236983B1 (ko) 1996-11-20 1996-11-20 신경망을 이용한 예측 기법 기반 버퍼 교체 방법
KR1996P55819 1996-11-20

Publications (1)

Publication Number Publication Date
JPH10320249A true JPH10320249A (ja) 1998-12-04

Family

ID=19482736

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9231847A Withdrawn JPH10320249A (ja) 1996-11-20 1997-08-13 バッファ交替方法

Country Status (2)

Country Link
JP (1) JPH10320249A (ja)
KR (1) KR100236983B1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9851923B2 (en) * 2013-12-30 2017-12-26 Teradata Us, Inc. Management of data in multi-storage systems that can include non-volatile and volatile storages
JP2021524078A (ja) * 2018-05-18 2021-09-09 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation キャッシュからトラックを削除するのに用いる複数のキャッシュ削除アルゴリズムの1つを選択

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030032413A (ko) * 2001-10-18 2003-04-26 주식회사 엠씨글로벌 멀티미디어 데이터용 버퍼 구조 및 버퍼링 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9851923B2 (en) * 2013-12-30 2017-12-26 Teradata Us, Inc. Management of data in multi-storage systems that can include non-volatile and volatile storages
JP2021524078A (ja) * 2018-05-18 2021-09-09 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation キャッシュからトラックを削除するのに用いる複数のキャッシュ削除アルゴリズムの1つを選択

Also Published As

Publication number Publication date
KR19980037118A (ko) 1998-08-05
KR100236983B1 (ko) 2000-01-15

Similar Documents

Publication Publication Date Title
US6738865B1 (en) Method, system, and program for demoting data from cache based on least recently accessed and least frequently accessed data
US6385699B1 (en) Managing an object store based on object replacement penalties and reference probabilities
US6807607B1 (en) Cache memory management system and method
US7430638B2 (en) Adaptive input / output compressed system and data cache and system using same
US8712984B2 (en) Buffer pool extension for database server
US8521790B2 (en) Increasing efficiency of data storage in a file system
US7996445B2 (en) Block reallocation planning during read-ahead processing
Zdonik et al. Are “disks in the air” just pie in the sky?
EP0950965A2 (en) Method and system for document storage management based on document content
US20090100224A1 (en) Cache management
US7809883B1 (en) Cached reads for a storage system
JPH0531177B2 (ja)
JP2004171539A (ja) ウェブページの利用パターンを特定する方法および装置
KR20060116042A (ko) 개인화 검색 방법 및 검색 서버
US7177984B1 (en) Cache management using historical access information
CN115470157B (zh) 预取方法、电子设备、存储介质及程序产品
US6993627B2 (en) Data storage system and a method of storing data including a multi-level cache
CN117916726A (zh) 数据存储系统的智能碎片整理
JP4095152B2 (ja) 画像管理装置およびその方法、画像管理システム、記憶媒体
JP7730236B2 (ja) コンピュータシステム、コンピュータプログラムおよびコンピュータ実装方法(ワークロード駆動によるデータベース再編成)
JPH10320249A (ja) バッファ交替方法
US20230185457A1 (en) Optimizing Data Placement Based on Data Temperature and Lifetime Prediction
CN118606229B (zh) Slc高速缓存管理方法、装置、设备及存储介质
Ozcan et al. Second chance: A hybrid approach for dynamic result caching and prefetching in search engines
JPH07182220A (ja) 分散ファイルシステムおよびそのファイルキャッシング方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20041102