JPH1011337A - 記憶装置におけるデータ制御方法 - Google Patents

Abstract

(57)【要約】 【課題】ガーベジコレクションによって移動されるデー
タ量を減少させる。 【解決手段】読み出し処理において、利用頻度の高いデ
ータを断片化の進行していない領域に移動させること
で、ガーベジコレクションによって処理されるデータ量
を減少させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は電子計算機システム
等の記憶装置におけるファイル管理システムに係り、特
にデータ転送制御の高速化に関する。

【０００２】

【従来の技術】以下では、高速なファイルシステムであ
るログ構造化ファイルシステム（LogStructured File S
ystem以下 ＬＦＳと略）を説明し、ＬＦＳを利用する
際の問題点について述べる。

【０００３】《ログ構造化ファイルシステム》Rosenblu
m et al．“The Design and Implimentation of a Log
StructuredFile System”,エイシーエム トランザクシ
ョン オン コンピュータ システムズ（ACM Transact
ion on Computer Systems），Vol. 10，No. 1，Feb. 19
92，pp26-52 において提案されたログ構造化ファイルシ
ステムは新しい全てのデータを「ログ」と呼ばれる順次
構造の形態で記憶装置に書き込むものである。もっとも
特徴的な点は、データを更新する場合である。

【０００４】通常のファイルシステムにおけるデータの
更新では、上書きされるために、上記データのアドレス
が変化することはない。一方、ＬＦＳでは、上書きされ
ずに未使用領域にホストからの書き込み命令がきた順に
書き込まれる。従って、データの更新が行われると上記
データのアドレスが変化する。この性質により、書き込
み処理が一括してシーケンシャルに行われ、書き込み性
能が改善される。

【０００５】その一方、上書きを行わないので、常に大
量の連続した未使用領域を確保しておかなければならな
い。また、データの更新を重ねるうちに、現在利用中の
データ（以後、ライブデータと呼ぶ）と更新され、利用
されなくなった古いデータ（以後、デッドデータと呼
ぶ）がファイルシステム内に散在する（断片化）。その
結果、シーケンシャルな一括書き込みができなくなるの
で、性能低下を招く。また、ＬＦＳにおけるデータの読
み出しは、通常のファイルシステムと同じものであるの
で、断片化が進行した状態では読み出し性能も低下す
る。

【０００６】これらの問題を解決するために、散在する
ライブデータをまとめて、一ヶ所に書き込み、連続した
空き領域を確保する操作が必要である。この操作をガー
ベジコレクション（Garbage Collection 以下ＧＣと略
す。前記論文ではsegment cleaningと呼ぶ）という。Ｇ
Ｃ起動中はバックグラウンドでデータの移動が起こるた
め、記憶装置の性能が低下する。前記論文では、この性
能の低下を避けるための方策が提案されている。

【０００７】一つの例を挙げると、ＧＣのコストとＧＣ
によって得られる利得（空き領域の容量など）を定義
し、利得とコストの比が最大になる領域に対して優先的
にＧＣを行う方法がある。この方法は、適切にＧＣ対象
領域を選択することで性能低下を防ぐものであるが、Ｇ
Ｃの絶対的な処理量を減少させることを目指したもので
はない。

【０００８】

【発明が解決しようとする課題】ＧＣ起動中はバックグ
ラウンドでデータの読み出し、書き込みが起こるため、
記憶装置の性能が低下する。これまで、ＧＣによる性能
低下を軽減する方式が提案されてきたが、効率のよいＧ
Ｃを目指したもので、ＧＣの処理量自身を減少させるも
のではなかった。

【０００９】本発明の目的は、ＧＣの処理量を減少させ
ることで、ＧＣによる性能の低下を小さくする方法を提
供することである。

【００１０】

【課題を解決するための手段】ＧＣは断片化したファイ
ルシステム内でライブデータを拾い集めて、まとまった
領域に書き込み、その結果、連続した空き領域を確保す
る処理である。ＧＣによって移動されるデータは更新さ
れずにファイルシステム内を移動しなかったライブデー
タである。

【００１１】これらのデータは （１）まったくアクセスがなかった （２）読み出しアクセスのみ の二つの場合がある。

【００１２】（１）の場合は、ＧＣ以外の何らかの処理
を行っても、単なるＧＣに比べて処理量が少なくならな
い。しかし、このようなデータが大多数を占めた場合は
アクセスパターンの局所性が強い場合であると言える。
従って、大多数のデータがＧＣの対象にならず、ＧＣに
よる性能の低下は問題にならない。

【００１３】（２）の場合は、読み出し処理時にホスト
にデータを転送するとき、一時的に上記データは制御装
置内のバッファに格納されるので、そのまま断片化の進
行していない領域へ書き込むことにすると、ＧＣによっ
て処理されるデータ量は減少する。しかし読み出し要求
がくるたびにデータの移動が行われれば、性能の低下を
招く場合もある。そこで、データの利用頻度を監視して
利用頻度の高いデータに対してのみ前記処理を行えば、
性能の低下を免れることができる。

【００１４】

【発明の実施の形態】本発明の一実施例を図面を参照し
つつ説明する。図１は本実施例の構成図である。１０１
は記憶装置１０２に入出力命令を出すホストプロセッサ
である。記憶装置１０２は制御装置１０３とデータを格
納する磁気ディスク１１６などから構成されている。

【００１５】制御装置１０３は実際の処理を行うマイク
ロプロセッサ１０５と、データの利用頻度を計数するカ
ウンタ１０４と、メモリ１０６と、データを一時的に格
納するデータバッファ１１２を持っている。

【００１６】メモリ１０６には記憶装置を管理する上で
必要な以下の管理情報などが格納されている。また、そ
の他マイクロプロセッサ１０５を駆動するための情報も
格納されている。

【００１７】アドレス変換テーブル１０７は、ホストプ
ロセッサ１０１が認識するデータのアドレスと記憶装置
１０２内での上記データの実際のアドレスを図２に示す
ように対応づけるものである。

【００１８】利用頻度テーブル１０８は、磁気ディスク
１１６に格納されているデータの利用頻度を図３に示す
ように記録したものである。

【００１９】ログ構造化ファイル管理テーブル１０９
は、ＬＦＳを管理するテーブルである。ログ構造化ファ
イル管理テーブル１０９は図４に示す形態をとってい
る。

【００２０】しきい値１１０とは、データの読み出し時
に上記データをファイルシステム内で移動させるかどう
か決定する利用頻度のしきい値である。本しきい値は、
全データの利用頻度の平均値とするが、ユーザが設定す
ることもできる。

【００２１】書き込み先アドレス１１１とは、本発明に
よる読み出し処理後のデータ移動，ＧＣによるデータ移
動，ホストからの書き込み要求に対して、上記データの
書き込み先アドレスを指定したものである。

【００２２】通常は、上記読み出しデータの移動先を決
定するにあたって、 (1）移動先アドレスを磁気ディスク装置内で最後に書き
込まれたデータの次アドレスの未使用領域に決定する (2）移動先アドレスを磁気ディスクのシーク時間が最小
となる未使用領域に決定する (3）磁気ディスク装置が複数あった場合、移動先アドレ
スを、移動前とは異なる待ち行列のもっとも少ない磁気
ディスク装置の未使用領域とする。

【００２３】などの方法に従って書き込み先アドレスを
決定するが、ユーザが指定することもできる。

【００２４】上記三つの方法は読み出し頻度の高いデー
タの移動先アドレスを決定する方式であるが、単なる書
き込み処理における磁気ディスクへの書き込み先アドレ
スの決定方式としても使用できる。

【００２５】データバッファ１１２はホストプロセッサ
１０１−磁気ディスク装置１１６の間でデータを転送す
る際に一時的に上記データを格納するものである。デー
タバッファ１１２はリード面１１３とライト面１１４を
持っている。リード面１１３は、ホストプロセッサ１０
１へ転送するデータを格納し、ライト面１１４はホスト
プロセッサ１０１からのデータを格納する。

【００２６】磁気ディスク制御装置１１５は、磁気ディ
スク１１６に対して、シーク，データ転送等の制御を行
うものである。

【００２７】図２はアドレス変換テーブル１０７であ
る。ホストから見たアドレス２０１はホストが認識して
いるデータのアドレスが格納されている。記憶装置内の
アドレス２０２は記憶装置内で実際に格納されているデ
ータのアドレスである。同じ行のアドレスがそれぞれ対
応している。ＬＦＳでは、データ更新の際に上記データ
の位置が変わってしまうために、アドレス変換テーブル
が必要である。

【００２８】図３は利用頻度テーブル１０８である。ホ
ストから見たアドレス３０１は、図２におけるホストか
ら見たアドレス２０１と同じものである。利用頻度３０
２は、上記データの利用頻度である。３０１の列に書か
れているアドレスに格納されているデータの利用頻度
が、同じ行の３０２の列に書かれた値である。後述する
が、本発明ではこの利用頻度は、読み出し処理のときに
計数するので、読み出しアクセス回数である。

【００２９】図４は、ログ構造化ファイル管理テーブル
１０９である。セグメント４０１とは、複数のデータか
らなるＬＦＳの管理単位である。セグメントは前記論文
によると、一回の書き込みデータ量に比べて十分大きな
容量をもったものとして定義される。アドレス４０２
は、図２の記憶装置内のアドレス２０２と同じものであ
る。データの状態４０３は、アドレス４０２で示された
データの状態を格納している。データ状態４０３には現
在利用されている状態（ライブ），更新され利用されな
くなった状態（デッド），未使用の三つの状態がある。

【００３０】以下、制御装置１０３が行う処理について
説明する。本実施例では、上記ファイルシステム管理手
段をもって発明の説明を行うが、管理テーブルの形式を
変更することは当業者には自明の事項に属する。

【００３１】《読み出し処理》読み出し処理のフローチ
ャートを図５に示す。以下図５に従って読み出し処理の
説明を行う。

【００３２】ステップ５０１ 処理の始まり。

【００３３】ステップ５０２ ホストプロセッサ１０１から読み出し要求があったと
き、マイクロプロセッサ１０５がアドレス変換テーブル
１０７を参照し、当該データを磁気ディスク116からデ
ータバッファ１１２のリード面１１３に格納後、ホスト
プロセッサ１０１に転送する。

【００３４】ステップ５０３ マイクロプロセッサ１０５が、利用頻度テーブル１０８
を参照して利用頻度としきい値１１０との大小を判定す
る。

【００３５】ステップ５０４ 利用頻度がしきい値より小さい場合には利用頻度テーブ
ル１０８の上記データの利用頻度をカウンタ１０４が１
だけ増やして終了する。

【００３６】ステップ５０５ ステップ５０３において、上記データの利用頻度がしき
い値より大きいと判定された場合には、データバッファ
１１２のライト面１１４に上記データを移動後、書き込
み先アドレス１１１によって指定された磁気ディスク１
１６内のアドレスに上記データを書き込む。

【００３７】ステップ５０６ マイクロプロセッサ１０５が、ログ構造化ファイル管理
テーブル１０９を更新する。具体的には、移動前のアド
レスのデータの状態４０３をライブからデッドとし、移
動後のデータの状態４０３を未使用からライブにする。

【００３８】ステップ５０７ 記憶装置内での上記データのアドレス２０２が変更され
たので、アドレス変換テーブル１０７において、上記デ
ータの記憶装置内のアドレス２０２をステップ５０６で
上記データが書き込まれたアドレスに更新する。

【００３９】ステップ５０８ 利用頻度テーブル１０８の上記データの利用頻度３０２
を０とする。これは上記データが頻繁にアクセスされる
データであり、読み出しのたびに上記データが移動する
ことを防いでいる。

【００４０】ステップ５０９ 処理の終了。

【００４１】《書き込み処理》書き込み処理のフローチ
ャートを図６に示す。以下図６に従って、書き込み処理
を説明する。

【００４２】ステップ６０１ 処理の始まり。

【００４３】ステップ６０２ ホストプロセッサ１０１が記憶装置１０２にデータの書
き込みを要求。

【００４４】ステップ６０３ マイクロプロセッサ１０５が、該データをデータバッフ
ァ１１２のライト面１１４に格納する。

【００４５】ステップ６０４ マイクロプロセッサ１０５が、書き込み処理の終了をホ
ストプロセッサ１０１に報告する。

【００４６】ステップ６０５ マイクロプロセッサ１０５が、最後に書かれたデータの
次のアドレスの磁気ディスク１１６の未使用領域に書き
込む。

【００４７】ステップ６０６ マイクロプロセッサ１０５が、ログ構造化ファイル管理
テーブル１０９においてステップ６０３で磁気ディスク
１１６に書き込まれた該データのアドレスのデータの状
態４０３を未使用からライブに変更する。

【００４８】ステップ６０７ マイクロプロセッサ１０５が、アドレス変換テーブル１
０７を参照して、新規書き込みかどうか判定する。新規
書き込みであれば、アドレス変換テーブル107に該デー
タのアドレス（ホストから見たアドレス２０１，記憶装
置内のアドレス２０２の両方）は記憶されていない。

【００４９】ステップ６０８ 既存のデータの更新の場合は、マイクロセッサ１０５
が、ログ構造化ファイル管理テーブル１０９において、
該データの以前のアドレスの状態４０３をライブからデ
ッドとする。

【００５０】ステップ６０９ マイクロプロセッサ１０５が、アドレス変換テーブル１
０７において、該データの記憶装置内のアドレス２０２
をステップ６０３で磁気ディスク１１６に書き込まれた
アドレスに変更。

【００５１】ステップ６１０ 新規書き込みの場合、マイクロプロセッサ１０５が、ア
ドレス変換テーブル１０７において、ホストから見たア
ドレス２０１に、ホスト１０１から指示された該データ
のアドレスを書き込む。

【００５２】ステップ６１１ マイクロプロセッサ１０５が、アドレス変換テーブル１
０７において、記憶装置内のアドレス２０２にステップ
６０３で、該データが磁気ディスク１１６に書き込まれ
たアドレスを書き込む。

【００５３】ステップ６１２ 処理の終了。

【００５４】《ガーベジコレクション》ＧＣのフローチ
ャートを図７に示す。ＧＣは断片化の進んだ領域に対し
て実行される。ＧＣの起動のタイミングとその対象領域
の決定方法は前記論文をはじめとする公知例で提案され
ている。従来の技術で述べたライトコストを最小化する
方法もこの一例であり、本実施例でも、この方法で説明
するが、本発明はＧＣによって移動するデータ量そのも
のを減少させるため、その効果は前記方法に左右される
ものではない。

【００５５】ステップ７０１ 処理の始まり。

【００５６】ステップ７０２ マイクロプロセッサ１０５がＧＣを起動するかどうか前
記の方法により決定。起動しなければ、ステップ７０２
に戻る。

【００５７】ステップ７０３ ＧＣが起動されると、マイクロプロセッサ１０５がＧＣ
の対象となる一つあるいは複数のセグメントを決定す
る。

【００５８】ステップ７０４ マイクロプロセッサは、上記決定したセグメント内のラ
イブデータを磁気ディスク１１６からデータバッファ１
１２のリード面１１３に格納する。

【００５９】ステップ７０５ マイクロプロセッサ１０５が上記データをデータバッフ
ァ１１２のライト面１１４に移動後、書き込み先アドレ
ス１１１によって指定された磁気ディスク１１６の領域
に書き込む。

【００６０】ステップ７０６ マイクロプロセッサ１０５がログ構造化ファイル管理テ
ーブル１０９においてステップ７０１で検索したセグメ
ントの状態４０３を未使用に変更する。ステップ７０２
において移動した上記データの移動先の状態をライブに
変更する。

【００６１】ステップ７０７ アドレス変換テーブル１０７において、上記データの記
憶装置内のアドレス２０２を、マイクロプロセッサ１０
５がステップ７０４で、磁気ディスク１１６に書き込ま
れたアドレスに変更する。

【００６２】《書き込み先アドレス１１１の指定》書き
込み先アドレス１１１の指定の処理の流れを図８に従っ
て説明する。

【００６３】ステップ８０１ 処理の始まり。

【００６４】ステップ８０２ マイクロプロセッサ１０５がログ構造化ファイル管理テ
ーブル１０９が更新されたかを判定する。更新されてい
なければ、ステップ８０２に戻る。

【００６５】ステップ８０３ ログ構造化ファイル管理テーブル１０９が更新された場
合には、マイクロプロセッサ１０５が上記テーブルを参
照し、前記アドレス指定方法に従って、条件に合致する
未使用領域のアドレスを取得する。

【００６６】ステップ８０４ マイクロプロセッサ１０５が書き込み先アドレス１１１
をステップ８０３で取得したアドレスに更新する。

【００６７】本実施例では、複数の磁気ディスク装置を
もった記憶装置を説明したが、冗長性を持たせたデータ
を複数のディスクに分散して格納するディスクアレイ
や、その他不揮発性の記憶装置に対して本発明を適用す
ることは当業者には自明の事項に属する。

【００６８】また、本発明の他の実施例として、次の構
造によりＧＣ処理を削減することが可能である。

【００６９】ログ構造化ファイルシステム（Log Struct
ured File System）によって該磁気ディスク装置にデー
タを格納する手段と、ホストプロセッサから見たデータ
のアドレスと該磁気ディスク装置内に実際に格納された
アドレスを対応づける手段と、該磁気ディスク装置内あ
るいは複数の磁気ディスク装置間をデータを移動させる
手段と、該ホストプロセッサと該磁気ディスク装置間を
データを移動させる手段と、該ホストプロセッサと該磁
気ディスク装置間のデータを移動させる際に一時的にデ
ータを格納するバッファと、を備えた制御装置からなる
記憶装置において、ホストプロセッサから読み出し要求
があった場合に、(1）ホストプロセッサから要求された
データだけでなく、磁気ディスク上、該データと隣接す
る位置に格納された複数のデータを該磁気ディスク装置
から読み出し、該制御装置内のバッファに書き込むステ
ップと、(2）ホストプロセッサから要求されたデータを
該制御装置内の該バッファからホストプロセッサへと転
送するステップと、(3）ステップ(1）で該制御装置内の
バッファに格納されたデータを磁気ディスク装置の他の
領域に書き込むステップと、 (4）ステップ(3）終了後、ファイルシステムの管理情報
を更新するステップからなる記憶装置におけるデータ制
御方法。

【００７０】本実施例によれば、先読みしたデータを予
め別の場所にまとめ書きすることで、従来方式では、ガ
ーベジコレクションのためにわざわざ読み出していたス
テップを省略することができ、ガーベジコレクションの
ための読み出しが見かけ上なくなるのでオーバーヘッド
を削減することができる。

【００７１】

【発明の効果】本発明によれば、ログ構造化ファイルシ
ステムによってデータを管理する磁気記憶装置におい
て、ＧＣの処理量を減少させることで、ＧＣによる性能
の低下を小さくすることができ、記憶装置の性能低下を
軽減できる。

【図面の簡単な説明】

【図１】本発明の一実施例の記憶装置を示すブロック
図。

【図２】本発明の一実施例のアドレス変換テーブルを示
す図。

【図３】本発明の一実施例の利用頻度テーブルを示す
図。

【図４】本発明の一実施例の構造化ファイル管理テーブ
ルを示す図。

【図５】本発明の一実施例の利用頻度を評価してデータ
を移動させる処理の流れ図。

【図６】本発明の一実施例のログ構造化ファイル管理テ
ーブルとアドレス変換テーブルを更新する処理の流れ
図。

【図７】本発明の一実施例のＧＣ処理の流れ図。

【図８】本発明の一実施例の記憶装置内でのデータの移
動先，書き込み先を指定する処理の流れ図。

【符号の説明】

１０１…ホストプロセッサ、１０２…記憶装置、１０３
…制御装置、１０４…カウンタ、１０５…マイクロプロ
セッサ、１０６…メモリ、１０７…アドレス変換テーブ
ル、１０８…利用頻度テーブル、１０９…ログ構造化フ
ァイル管理テーブル、１１０…しきい値、１１１…書き
込み先アドレス、１１２…データバッファ、１１３…リ
ード面、１１４…ライト面、１１５…磁気ディスク制御
装置、１１６…磁気ディスク、２０１…ホストから見た
アドレス、２０２…記憶装置内のアドレス、３０１…ホ
ストから見たデータのアドレス、３０２…利用頻度、４
０１…セグメント、４０２…アドレス、４０３…データ
の状態。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｆ 3/06 ３０４ Ｇ０６Ｆ 3/06 ３０４Ｎ

Claims (6)

【特許請求の範囲】
1. 【請求項１】ログ構造化ファイルシステム（Log Struct
   ured File System）によって磁気ディスク装置にデータ
   を格納する手段と、ホストプロセッサから見たデータの
   アドレスと上記磁気ディスク装置内に実際に格納された
   アドレスを対応づける手段と、上記磁気ディスク装置内
   に格納されたデータの利用頻度を計数，記録する手段
   と、上記磁気ディスク装置内あるいは複数の磁気ディス
   ク装置間でデータを移動させる手段と、上記ホストプロ
   セッサと上記磁気ディスク装置間でデータを移動させる
   手段と、上記データを移動させる際に一時的にデータを
   格納するバッファとを備えた制御装置を有する記憶装置
   において、ホストプロセッサから読み出し要求があった
   場合に、(1）ホストプロセッサから要求されたデータを
   上記制御装置内のバッファに書き込んだ後、上記ホスト
   プロセッサへ転送するステップと、(2）上記制御装置の
   バッファに残された上記データの利用頻度を参照して、
   利用頻度が高いかどうか判定するステップと、(3）上記
   ステップ(2）において利用頻度が高いと判定された場
   合、磁気ディスク装置内の他の領域に上記データを制御
   装置内のバッファから転送するステップと、(4）上記ス
   テップ(3）終了後、ファイルシステムの管理情報を更新
   するステップと、(5）上記ステップ(2）において利用頻
   度が低いと判定された場合に、上記データの利用頻度を
   １だけ増やして記録するステップと、(6）上記ステップ
   (4）終了後、上記データの利用頻度を０にして記録する
   ステップ、からなることを特徴とする記憶装置における
   データ制御方法。
2. 【請求項２】請求項１において、上記読み出しデータの
   移動先を決定するにあたって、移動先アドレスを磁気デ
   ィスク装置内で最後に書き込まれたデータの次アドレス
   の未使用領域に決定するステップを有する記憶装置にお
   けるデータ制御方法。
3. 【請求項３】請求項１において、上記読み出しデータの
   移動先を決定するにあたって、移動先アドレスを磁気デ
   ィスクのシーク時間が最小となる未使用領域に決定する
   ステップを有する記憶装置におけるデータ制御方法。
4. 【請求項４】請求項１において、磁気ディスク装置が複
   数あった場合、上記読み出しデータの移動先を決定する
   にあたって、移動先アドレスを、移動前とは異なる待ち
   行列のもっとも少ない磁気ディスク装置の未使用領域と
   するステップを有する記憶装置におけるデータ制御方
   法。
5. 【請求項５】請求項１の制御装置において、ステップ
   （３）で、上記記憶装置のデータバッファ内で、上記デ
   ータを移動させた後、磁気ディスク装置へ転送される予
   定の他のデータとともに磁気ディスク装置へ転送するス
   テップを有する記憶装置におけるデータ制御方法。
6. 【請求項６】ログ構造化ファイルシステム（Log Struct
   ured File System）によって該磁気ディスク装置にデー
   タを格納する手段と、ホストプロセッサから見たデータ
   のアドレスと該磁気ディスク装置内に実際に格納された
   アドレスを対応づける手段と、該磁気ディスク装置内あ
   るいは複数の磁気ディスク装置間をデータを移動させる
   手段と、該ホストプロセッサと該磁気ディスク装置間を
   データを移動させる手段と、該ホストプロセッサと該磁
   気ディスク装置間のデータを移動させる際に一時的にデ
   ータを格納するバッファと、を備えた制御装置からなる
   記憶装置において、ホストプロセッサから読み出し要求
   があった場合に、(1）ホストプロセッサから要求された
   データだけでなく、磁気ディスク上、該データと隣接す
   る位置に格納された複数のデータを該磁気ディスク装置
   から読み出し、該制御装置内のバッファに書き込むステ
   ップと、(2）ホストプロセッサから要求されたデータを
   該制御装置内の該バッファからホストプロセッサへと転
   送するステップと、(3）ステップ(1）で該制御装置内の
   バッファに格納されたデータを磁気ディスク装置の他の
   領域に書き込むステップと、(4）ステップ(3）終了後、
   ファイルシステムの管理情報を更新するステップを有す
   る記憶装置におけるデータ制御方法。