JP6075571B2 - 階層型ストレージ・システムでのファイルの移動方法 - Google Patents

Description

本発明は、階層型ストレージ・システムに関し、より具体的には、階層型ストレージ・システムにおいて、ファイルを１次ストレージから２次ストレージへ移すための方法に関する。

テープドライブ上のデータをファイルシステムにおけるファイルとしてアクセスする仕組みとして、例えばLTFS（Linear Tape File System）が実用化されている。LTFSでは、ファイルを構成するデータ領域がテープ上のどこに存在するか等のメタ情報（データ領域の位置やサイズ等）をインデックスとして保管することにより、ファイルシステムを実現している。このLTFSを用いることにより、HDDやUSBメモリ等の記憶デバイスと同様の方法でテープをファイルの記憶先として使用することができる。

LTFSを使用することで、それまでHDDを使用していたアプリケーションを、アプリケーションを変更することなく利用することができる。しかし、実際にHDDを想定したアプリケーションをそのままの形でLTFSを使って動作させると、ファイルのアクセスに想定以上の時間がかかり、アプリケーションがファイルへのアクセスをタイムアウトさせてしまうことがある。このような事態を防ぐために、LTFS上のファイルを直接使うのではなく、HDDやSSDなどの高速ストレージを１次ストレージとし、LTFS上で動作するテープドライブ等のシーケンシャル・アクセス・デバイスを２次ストレージとする、階層型ストレージ（HSM）としてシステムを構成することがある。

現在のHSMシステムでは、一般的に、HDDを１次ストレージとして、アプリケーションはHDDにファイルを保存し、特定のタイミングでファイルをLTFS上の２次ストレージへ移動させている。ファイルを１次ストレージから２次ストレージへ移動させる際には、１次ストレージ上にファイルのスタブと呼ばれる、ファイルの存在を指示するファイルを置いておき、スタブへのアクセスが発生した時に、２次ストレージからファイルを読み出して、１次ストレージに移動させることでそのアクセスに応答する。

１次ストレージから２次ストレージへファイルを移動する際のタイミングとしては、例えば、HDDの使用率が特定の閾値を超えた場合に移動する方法や、ユーザーが指示した時刻に移動する方法がある。閾値を基準にファイルの移動をする際には、１次ストレージ上のスタブになっていないすべてのファイルを移動させることもできるが、アプリケーションからのファイルの読み出しに対する応答時間を短縮するために、閾値を下回るための最低限のファイルだけを移動させて、なるべく１次ストレージ上にファイルを残す、という方法がとられることがある。

この場合、１次ストレージ上のスタブ化されていないファイルのうち、もっともアクセスされていないものをスタブ化する、というLRUのアルゴリズムを用いた方法でファイルを選択することが一般的に行われている。このLRUを用いたファイルの選択方法は、２次ストレージとしてCD-RやDVDなどを用いた場合には特に問題はないが、テープ／テープドライブをストレージとして用いた場合には、テープ上にファイルが書かれる場所によって、読み出しにかかる時間に差が出る。すなわち、テープからファイルを読み出す時間が比較的短いファイルと、比較的長いファイルとが存在する。

LTO規格等のテープドライブでは、テープにデータを書き込む際に、テープの長手方向に何往復もしながら書き込みを行う。テープをテープドライブにマウントしてデータを読み出す際に、テープの長手方向の先頭に近い位置から書かれたファイルは頭出しにかかる時間が短い。一方、テープの長手方向の終端側の折り返し位置の近くから書かれたファイルは、頭だしに長い時間がかかってしまう。その結果、上記したテープからファイルを読み出す時間が比較的短いファイルと、比較的長いファイルとが存在することになる。

特開2000-347982号公報 特開平06-103003号公報

本発明の目的は、上記した従来のHSMシステムにおけるファイル読み出し時間の遅れを軽減し、テープを用いたHSMで発生する散発的な読み出しアクセスに対して、平均の読み出し時間をできるだけ短くすることである。

本発明の一態様では、１次ストレージと、シーケンシャル・ストレージ・デバイスを含む２次ストレージを含む階層型ストレージ・システムにおいて、ファイルを１次ストレージから２次ストレージへ移すための方法を提供する。その方法は、
（ａ）２次ストレージに書き込み可能な所定のファイルサイズを取得するステップと、
（ｂ）１次ストレージ中の複数のファイルの中から、２次ストレージに保管されておらず、かつ最新のアクセスが最も古いファイルを抽出するステップと、
（ｃ）最新のアクセスが最も古いファイルを２次ストレージに書き込む場合の２次ストレージ上でのファイルサイズを推定するステップと、
（ｄ）推定されるファイルサイズが２次ストレージに書き込み可能な所定のファイルサイズを越えない範囲において、最新のアクセスが最も古いファイルを２次ストレージへ移すファイルとして選択するステップと、を含む。

本発明の一態様によれば、１次ストレージ中のファイルを移す２次ストレージ内の所定のファイルサイズの領域を特定することにより、その所定のファイルサイズの領域に移したファイルの読み出しを速くすることが可能となる。

本発明の他の一態様では、前記抽出するステップ（ｂ）から前記選択するステップ（ｄ）までを所定のファイルサイズを超えるまで繰り返すステップをさらに含む。

本発明の他の一態様によれば、２次ストレージ内の所定のファイルサイズの領域に複数のファイルを連続して移すことが可能となる。

本発明の他の一態様では、２次ストレージへ移したファイルを、２次ストレージ中の書き込み可能な所定のファイルサイズとして特定される領域に、ファイルサイズが小さい順または大きい順に書き込むステップをさらに含む。

本発明の他の一態様によれば、２次ストレージのファイルの読み出し方向に対してファイルサイズが小さい順にファイルを書き込むことにより、読み出すファイルの頭出しに係る時間を短くすることが可能となる。

本発明の他の一態様では、少なくとも１つのＨＤＤを含む１次ストレージと、少なくとも１つのテープドライブを含む２次ストレージを含む階層型ストレージ・システムにおいて、ファイルを１次ストレージから２次ストレージへ移すための方法を提供する。その方法は、
（ａ）テープドライブからテープの１つのラップに書き込めるデータサイズを取得するステップと、
（ｂ）１次ストレージ中の複数のファイルの中から、２次ストレージに保管されておらず、かつ最新のアクセスが最も古いファイルを抽出するステップと、
（ｃ）最新のアクセスが最も古いファイルをテープドライブのテープに書き込む場合の１つのラップ上でのファイルサイズを推定するステップと、
（ｄ）推定されるファイルサイズが１つのラップに書き込めるデータサイズを越えない範囲において、最新のアクセスが最も古いファイルをテープドライブへ移すファイルとして選択するステップと、を含む。

本発明の他の一態様によれば、１次ストレージ中のファイルを移すテープドライブ内のテープの１つのラップに書き込めるデータサイズを特定することにより、その所定のファイルサイズに移したファイルの読み出しを速くすることが可能となる。

本発明のファイルシステムの構成例を示す図である。 本発明の階層型ストレージ（HSM）の構成例を示す図である。 本発明の一実施形態の方法のフローを示す図である。 本発明の一実施形態のファイルの書き込みの例を示す図である。 本発明の一実施形態のファイルの読み出しの例を示す図である。

図面を参照しながら本発明の実施の形態を説明する。図１は、本発明の方法が実施されるファイルシステムの構成例を示す図である。ファイルシステム１００は、ネットワーク３６を介して相互に通信可能なテープドライブ１０、ホスト（サーバー）３０、PC（端末）３２、３４からなる。ホスト（サーバー）３０、PC（端末）３２、３４は、それぞれ内蔵型あるいは外付け型の記憶装置（HDD、SSD等、図示なし）を含むことができる。

図１では、テープドライブ１０とホスト（サーバー）３０は、それぞれ１つしか描かれていないが、これはあくまで一例であって、複数の独立したテープドライブ１０、複数のテープドライブ１０を含むテープライブラリ、複数のホスト（サーバー）３０を含むことができることは言うまでもない。

ファイルシステム１００は、例えばLTFSとすることができる。LTFS は、既に述べたように、HDDやUSBメモリ、あるいはCD-Rを始めとする他のリムーバブルな記録媒体同様に、テープカートリッジをテープドライブに挿入すれば、そのテープカートリッジに保存されたファイルに直接アクセスできる。

図２は、図１のファイルシステム１００で利用可能な階層型ストレージ（以下、HSMと呼ぶ）の構成例を示す図である。HSM５０は、１次ストレージ５２と２次ストレージ５４を含む。１次ストレージ５２は、例えば少なくとも１つ以上のHDDやSSDを含むことができる。２次ストレージ５４は、例えば少なくとも１つ以上のテープドライブ等のシーケンシャル・アクセス・デバイスを含むことができる。

図２のHSM５０の例では、アプリケーションは、１次ストレージ５２のHDDにファイルを保存し、特定のタイミングでファイルを２次ストレージ５４のテープドライブへ移動させている。ファイルを１次ストレージ５２から２次ストレージ５４へ移動させる際には、１次ストレージ５２上にファイルのスタブと呼ばれる、ファイルの存在を指示するファイルを置いておいておく。そのスタブへのアクセスが発生した時に、２次ストレージ５４からファイルを読み出して、１次ストレージ５２に移動させることでそのアクセスに応答する。本発明は、以下に述べるように、このHSM５０でのファイルアクセスに対して、２次ストレージ５４からのファイルの読み出しをできるだけ速くするための方法（工夫）を提供する。

図３〜図５を参照しながら本発明の方法の実施形態について説明する。図３は、本発明の一実施形態の方法のフローを示す図である。図３のフローを含む本発明の方法の実施形態は、ファイルシステム１００のコンピュータ３０〜３４あるいはテープドライブ１０で利用可能な所定のソフトウェア、ハードウェアを用いて実行される。なお、以下の説明では、HSM５０を構成する２次ストレージ５４として、テープドライブ（テープ）を用いた場合の例について説明するが、本発明は２次ストレージ５４として他のシーケンシャル・アクセス・デバイスを用いた場合にも適用することができる。

図３のステップＳ１において、２次ストレージ５４から書き込み可能な所定のファイルサイズを取得する。具体的には、例えばテープドライブからテープの１つのラップ（Wrap）上に書き込み可能なファイル（データ）サイズを取得する。ここで、ラップとは、テープ上の複数のトラックのグループである。LTFSではテープ上のファイルにアクセスする際には、テープ上の論理的な位置であるレコード番号を用いている。レコード番号を指定したアクセス要求を受け付けたテープドライブは、テープ上の物理的な位置に変換してアクセスを実現している。このため、LTFSではテープ上の物理的な位置を認識していない。しかし、テープドライブは、最後に書き込んだデータの物理的な位置を把握していて、その位置から同一ラップ上に書き込めるデータのサイズも予想／推定することができる。

そこで、テープドライブに、そのアクセス時のラップがテープの後端方向（以下、LP4方向と呼ぶ）へのラップであるか、逆のテープの先端方向（以下、LP3方向と呼ぶ）へのラップであるかの方向をあらわすフラグFと、そのラップに書き込めるデータサイズSとを問い合わせることのできるインターフェースを用意する。LTFSでは、そのインターフェースを介して、フラグFとデータサイズSを取得する。

ステップＳ２において、１次ストレージ５２中の複数のファイルの中から、２次ストレージ５４に保管されておらず、かつ最新のアクセスが最も古いファイルF(i)を抽出する。具体的には、例えば１次ストレージ５２においてスタブ化されていないファイルの集合を時系列に並べたリストを作成して、最新のアクセスが最も古いファイルF(i)を抽出する。

ここで、最新のアクセスが最も古いファイルを選択するのは、各アプリケーションにおいて利用される可能性（頻度）が少ないので、１次ストレージ５２に常時置いておく必要性が低いからである。なお、最新のアクセスが最も古いファイルを抽出する代わりに、あるいはこれに加えて、例えばファイルサイズが大きい順にファイルを抽出するようにしてもよい。これにより、１次ストレージ５２の記憶可能容量を増やす（使用率を下げる）ことができる。

ステップＳ３において、ステップＳ２で抽出したファイルF(i)をテープドライブのテープに書き込む場合のラップ上でのファイルサイズ（データサイズ）Aiを推定する。これは、ステップＳ１において取得した１つのラップのデータサイズSに対して物理的な書き込みサイズを見積もるために行う。

ここで、データサイズAiは、テープドライブが圧縮機能を利用していない場合には、通常のファイルサイズと同じである。圧縮機能を利用している場合には、テープドライブと同様の圧縮を行った際のサイズを予想することになる。このため、１次ストレージ上で各ファイルをテープドライブと同様のアルゴリズムで圧縮しても良い。この場合、圧縮されているファイルをテープに書き込むことになるが、テープドライブは、圧縮済みのファイルをそのままテープに書き込むことになるので、テープに書き込まれるデータのサイズには違いが出ない。

ステップＳ４において、ステップＳ３で得たデータサイズAiの合計ΣAiがデータサイズSをよりも大きいか否かを判定する。この判定がＮｏの場合、すなわちΣAiがデータサイズSを越えない場合は、ステップＳ２に戻り、さらに２次ストレージ５４に保管されておらず、かつ最新のアクセスが最も古いファイルF(i)を抽出する。ステップＳ４の判定がＹｅｓの場合、ステップＳ５において、それまでに抽出したファイルF(i)の集合ΣF(i)をテープドライブに移すファイルとして選択する。同時に、１次ストレージ中にそのファイルの集合ΣF(i)についてのスタブを作成する。なお、ファイルF(i)を抽出する度にその情報をスタブに追加するようにしてもよい。

ステップＳ６において、スタブ化されたファイルの集合ΣF(i)をテープドライブに送り、テープドライブにおいてテープの該当ラップにファイルの書き込みを行う。以下、そのファイルの書き込み方法について説明する。

図４は、本発明の一実施形態のファイルの書き込みの例を示す図である。図４の長方形で示される領域１２はテープを表している。テープ１２は、その長手方向に沿って複数のラップを有している。図中のLP3とLP4は、既に説明したように、各ラップの先端と後端の折り返し位置を示している。同様に既に上述した書き込み時のラップの向きをあらわすフラグFがLP4方向（図の右方向）であるならば、ファイルの集合ΣF(i)に含まれるファイルを、テープ１２上でのデータサイズが小さいものから順にテープに書き込む。図４では、１つのラップにFile1、File2、File3、File4の順番で小さいファイルから書き込む例を示している。同様に、他のラップにおいてもFile30、File31、File32、File33の順番で小さいファイルから書き込む。File33が２つあるのは、１つのラップにデータが収まらず、次のラップに跨って２つのデータ領域として書き込まざるを得ない場合を示している。

一方、FがLP3方向（図の左向き）であるならば、ファイルを、テープ１２上でのデータサイズが大きいものから順にテープに書き込む。図４では、１つのラップにFile5、File6、File7、File8の順番で、あるいはFile34、File35、File36、File37の順番で、他のラップに大きいファイルから書き込む例を示している。この場合、File8が２つあるのは、File33の場合と同様に、１つのラップにデータが収まらず、次のラップに跨って２つのデータ領域として書き込まざるを得ない場合を示している。このように、本発明では、Fの向きによらず、ラップ上に書かれるファイルがLP3からLP4に向けてデータサイズが小さい順になるように書き込むことが１つの特徴である。

次に図５を参照しながらテープ上のファイルの読み出しについて説明する。ここでは、本発明によれば、図４に示すようにラップ上でLP3からLP4 に向けてデータサイズが小さい順に書くことが、ファイルの頭だし時間と読み出し時間の合計の期待値を小さくできることを示す。言い換えれば、上記書き込みにより、散発的な読み出しが発生した際の平均の読み出し時間を短くすることができることを示す。

図５は、本発明の一実施形態のファイルの読み出しの例を示す図である。図５の（ａ）は、LP3からLP4へ向けて書き込まれたファイルFile iの読み出しを示す。図５の（ｂ）は、逆のLP4からLP3へ向けて書き込まれたファイルFile iの読み出しを示す。一般にテープドライブは一定時間アクセスがないと、マウントしているテープを巻き戻して、省電力の待機状態になる。その場合に、散発的なアクセスが発生すると、常にテープの先頭からの頭出しになる。

最初に図５（ａ）を参照する。ラップにn個のファイルf₁・・・f_nが書かれているときにfiを飛ばして位置合わせするのにかかる時間をL(fi)、頭だしした後にfiの読み出しにかかる時間をR(fi)とすると、LP3からLP4の方向へ書き込まれたファイルfiを読み出すのかかる時間TF(fi)は、次式のように表すことができる。

f₁・・・f_nのファイルに対する読み出しが、同様に確からしく発生するとfi にアクセスが発生する確率は(1/n)であるから、ファイル１つを読み出すときの平均の読み出し時間EFは次式のように表すことができる。

次に図５（ｂ）を参照する。同様に、LP4からLP3の方向へ書き込まれたファイルfiを読み出すのかかる時間TR(fi)は、次式のように表すことができる。

このとき、ファイル１つを読み出すときの平均の読み出し時間ERは次式のように表すことができる。

上記の２つの式EFとERから、L(fi)＞０であることから、EFとERはともに、L(fi) ＜L(fi₊₁)となるようにfi を配置するときにEFとERを最小にすることができる。ここで、上述したスタブ化するファイルの集合ΣF(i)を作成するにあたり、データサイズの合計ΣAiデータサイズSよりも大きくなっている場合には、図４で既に示したfile8、file33のように、最後に書き込むファイルが次のラップにまたがることがある。その場合でも、ファイルの読み出しにかかる時間がLP3からLP4方向へのラップの場合は、次式のように表すことができる。

また、LP4からLP3方向へのラップの場合は、次式のように表すことができる。

いずれの場合もファイルを読み出す平均時間は同じとなるので、EFとER を最小にするための条件は変わらず、常に、L(fi) ＜L(fi₊₁)であるときにEFとERを最小にすることができる。このように、平均の読み出し時間を短くするためには、ファイル（データ）がラップをまたがることがあってもLP3からLP4に向けて小さい順になるように書き込むことが有効であることがわかる。

本発明の実施形態について、図を参照しながら説明をした。しかし、本発明はこれらの実施形態に限られるものではない。さらに、本発明はその趣旨を逸脱しない範囲で当業者の知識に基づき種々なる改良、修正、変形を加えた態様で実施できるものである。

１０ テープドライブ
１２ テープ
３０ サーバー（ホスト）
３２、３４ ＰＣ
３６ ネットワーク
５０ 階層型ストレージ（ＨＳＭ）
５２ １次ストレージ
５４ ２次ストレージ
１００ ファイルシステム（ＬＴＦＳ）

Claims (5)

1. １次ストレージと、シーケンシャル・ストレージ・デバイスを含む２次ストレージを含む階層型ストレージ・システムにおいて、ファイルを１次ストレージから２次ストレージへ移すための方法であって、
   （ａ）２次ストレージに書き込み可能な所定のファイルサイズを取得するステップであって、前記シーケンシャル・ストレージ・デバイスにおける一方向で連続して書き込み可能な所定のファイルサイズを取得するステップを含む、ステップと、
   （ｂ）１次ストレージ中の複数のファイルの中から、２次ストレージに保管されておらず、かつ最新のアクセスが最も古いファイルを抽出するステップと、
   （ｃ）前記最新のアクセスが最も古いファイルを２次ストレージに書き込む場合の２次ストレージ上でのファイルサイズを推定するステップと、
   （ｄ）推定される前記ファイルサイズが前記２次ストレージに書き込み可能な所定のファイルサイズを越えない範囲において、前記最新のアクセスが最も古いファイルを２次ストレージへ移すファイルとして選択するステップと、
   （ｅ）前記抽出するステップ（ｂ）〜前記選択するステップ（ｄ）までを前記所定のファイルサイズを超えるまで繰り返すステップと、
   （ｆ）２次ストレージへ移すファイルとして選択したファイルを２次ストレージへ移すステップと、
   （ｇ）２次ストレージへ移したファイルを前記一方向で連続して書き込み可能な所定のファイルサイズとして特定される領域にファイルサイズが小さい順に書き込むステップと、
   （ｈ）２次ストレージへ移したファイルを前記一方向とは逆の方向で連続して書き込み可能な所定のファイルサイズとして特定される領域にファイルサイズが大きい順に書き込むステップと、を含む方法。
2. 前記シーケンシャル・ストレージ・デバイスはテープドライブであり、前記２次ストレージに書き込み可能な所定のファイルサイズは、前記テープドライブでＲ／Ｗ可能なテープの１つのラップに書き込めるデータサイズである、請求項１に記載の方法。
3. 請求項１の各ステップを前記階層型ストレージ・システムにおいて実行するためのコンピュータ・プログラム。
4. 少なくとも１つのＨＤＤを含む１次ストレージと、少なくとも１つのテープドライブを含む２次ストレージを含む階層型ストレージ・システムにおいて、ファイルを１次ストレージから２次ストレージへ移すための方法であって、
   （ａ）前記テープドライブからテープの１つのラップに書き込めるデータサイズを取得するステップと、
   （ｂ）１次ストレージ中の複数のファイルの中から、２次ストレージに保管されておらず、かつ最新のアクセスが最も古いファイルを抽出するステップと、
   （ｃ）前記最新のアクセスが最も古いファイルを前記テープドライブのテープに書き込む場合の前記１つのラップ上でのファイルサイズを推定するステップと、
   （ｄ）推定される前記ファイルサイズが前記１つのラップに書き込めるデータサイズを越えない範囲において、前記最新のアクセスが最も古いファイルを前記テープドライブへ移すファイルとして選択するステップと、
   （ｅ）前記抽出するステップ（ｂ）〜前記選択するステップ（ｄ）までを前記所定のファイルサイズを超えるまで繰り返すステップと、
   （ｆ）前記テープドライブへ移すファイルとして選択したファイルを前記テープドライブへ移すステップと、
   （ｇ）前記テープドライブへ移したファイルを前記テープの１つのラップの一方向においてファイルサイズが小さい順に書き込むステップと、
   （ｈ）前記テープドライブへ移したファイルを前記一方向とは逆の方向において前記テープの１つのラップにファイルサイズが大きい順に書き込むステップと、を含む方法。
5. 請求項４の各ステップを前記階層型ストレージ・システムにおいて実行するためのコンピュータ・プログラム。

Images