JP6468720B2

JP6468720B2 - ホスト転送レートに予測される変化への適合

Info

Publication number: JP6468720B2
Application number: JP2014093106A
Authority: JP
Inventors: 隆司 ▲片▼桐
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2014-04-28
Filing date: 2014-04-28
Publication date: 2019-02-13
Anticipated expiration: 2034-04-28
Also published as: US20150309738A1; US9329787B2; JP2015210836A

Description

本発明は、シーケンシャルアクセスデバイスの読み書きに伴って、ホスト転送レートに予測される変化に適合させる技術に関するものである。

より具体的には、ホストとテープドライブとの間のホスト(Host)転送レートを、そのテープドライブとテープとの間のメディア(Media)転送レートに、適合させる技術に関するものである。

テープまたはテープメディアは、通常、データがシーケンシャルに記録される、シーケンシャルメディアである。

テープドライブは、そのテープまたはテープメディアに対してアクセスする、代表的なシーケンシャルアクセスデバイスである。

図１は、テープドライブのRead時のデータの流れを示すブロック図である。

テープドライブ(Tape Drive)１０によって、テープ(Tape)２０のデータの読み書きがなされる。

テープドライブ１０によって読み取られたデータは、ホスト(Host)３０へと転送される。

図２は、本発明に関連するファイルシステムの構成例を示す図である。

図２の（Ａ）（Ｂ）に示すように、テ−プドライブ１０は、テープカートリッジ２０を挿入（マウント）されるように、着脱可能に搭載できるように構成される。

図３は、本発明に関連するテープドライブの構成例を示す図である。

テ−プドライブ１０は、ホスト３０から送られた複数のデータ（ユ−ザデータ）を、固定長のデータセット（DS）単位で、テ−プ記録として書込み（Write)、及び、テ−プ記録から読取り（Read）する。

DSは、複数のデータの集まりであり、固定長のフォ−マット構造を有するテ−プに対して書込む単位である。

テ−プドライブ１０は、バッファ１２と、読み書きチャネル１３と、ヘッド１４と、モ−タ１５と、テ−プ２３を巻きつけるリ−ル２２と、を含む。

テ−プドライブ１０は、モ−タ１５として、２個のモ−タを設けてよい。

テープカートリッジ２０は、メディアカートリッジとして、リ−ル２１に巻かれたテ−プ２３を含む。

モ−タ１５は、リ−ル２１、２２を回転させる。

テ−プ２３は、リ−ル２１、２２の回転に伴い、リ−ル２１からリ−ル２２の方向へ、又は、そのバック方向である、リ−ル２２からリ−ル２１の方向へ、テープの長手方向に移動する。

テ−プ２３は、磁気テ−プ以外のテ−プメディアである、シーケンシャルメディアであってもよい。

ヘッド１４は、テ−プ２３が長手方向に移動するとき、テ−プ２３に対して情報を書き込んだり、テ−プ２３から情報を読出したりする。

テ−プドライブ１０は、また、読取り制御（コントローラ）１６と、ヘッド位置制御システム１７と、モ−タドライバ１８と、を含む。

読取り制御１６は、テ−プドライブ１０の全体を制御する。

読取り制御１６は、ホスト３０から受取ったコマンドに従って、データのテ−プ２３への書込みや、テ−プ２３からの読取りを制御する。

読取り制御１６は、また、ヘッド位置制御システム１７やモ−タドライバ１８を制御し、バックヒッチ動作を行う。

読み書きチャネル１３を介して渡されたデータはＤＳ単位として、ヘッド１４によりテ−プ２３に書込まれる。

ホスト３０は、書き込み／読取りデータのためのコマンド（Write、Read）をテープドライブ１０に発行する。

また、ホスト３０は、可変長のデータの位置を指定するコマンド（Locate、Space）をテ−プドライブ１０に発行する。

バッファ１２は、テ−プ２３に書き込むべきデータやテ−プ２３から読出されたデータを蓄積するメモリである。

バッファ１２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）によって構成することができる。

バッファ１２は、複数の固定長のセグメントからなる。

各セグメントは、テ−プ２３に対する読み書きの単位であるデータセット（DS）を格納する。

１つのデータセットは、ホスト３０から送られる複数のデータを含むこともある。

図１に説明を戻すと、ヘッド１４（Read/Write Head）から読み出されたデータは、テバッファ１２などのメモリー(Drive Buffer Memory)に一時的に保管される。

読み出されたデータは、圧縮/解凍エンジン(Compress/Decompress Engine)によって、圧縮データが解凍され、ホストインターフェイス(Host I/F)を通じて、ホスト(Host)へ転送される。

テープドライブでは、ドライブ上のメモリーへ転送されるデータレート (Media転送レート)と、ドライブからホストへ転送されるデータレート(Host転送レート)とを、可能な限り同じ転送レートの値になるようにテープ速度を選ぶ。

テープ速度によって、Media転送レートが決定される。

Read中であれば、（Host転送レート=（２） > Media転送レート=（３））の場合、ドライブ内部のバッファ(Drive Buffer Memory)は一杯になってしまう。

バッファが一杯になると、テープメディアから読み出したデータを一時的に保管できなくなるため、バックヒッチを行ってテープを一旦とめる。

再度、バッファに空きスペースができたら、テープからデータをバッファに転送する。

テープドライブでは、一時的にテープを止める（バックヒッチを行う）と、例えば、約３秒のオーバヘッドがかかる。

そのため、Read中であれば、バッファが一杯にならないように、Host転送レートとMedia転送レートとが一致するように試みる。

実際の運用環境では、ホストとドライブとの間のSystem側の様々な理由によって、Host転送レートは逐次変化する。

例え、ホストが一定速度でデータを読み出し続けたとしても(すなわち、Network転送レート=（１）が一定であっても）、テープドライブが扱っているデータは圧縮されているため、圧縮率によってドライブが計測するHost転送レート（（２））は変化する。

例えば、50MBの非圧縮データと、50MBの50%に圧縮されたデータをテープドライブが交互に読み出す場合のデータ転送について場合を考える。

ここで、Network転送レートは100MB/secで一定、であると仮定する。

（１）の、Network転送レート=100MB/secである。

（３）は、Media転送レートである。

バックヒッチが起きないようにするためには、バッファのIn/Outの転送レートを同程度に保つため、（２）Host転送レートと（３）とが同程度になるように、Media転送レート（３）をコントロールする。

Network転送レートが100MB/secで、圧縮率が50%のデータであれば、Host転送レートは、50MB/secである。

一方、非圧縮のデータであれば、Network転送レート=Host転送レート=100MB/secとなる。

ここで、簡単のために、Host転送レートの計測方法として、

転送レートA : 10MBのデータ転送が実施される都度、過去10MB分の平均転送レート

転送レートB : 転送レートAの過去３つ分の平均転送レート

転送レートC : 250MB分のデータ転送が完了した後に計測した平均転送レート

という計測方法とする。

転送レートCは、結果としてどのような平均転送レートであったかを後で計算した結果であり（Real Timeで計測した値ではないため）、テープ速度の制御には使えない。

よって、過去の履歴を用いた転送レートBを用いてテープ速度を制御するものとする。

ここでは、計算を単純にするため、簡単な平均を使ったが、実際にはFIR filter等を使って、直近のHost転送レートを得て、テープ速度を制御している。

図４は、転送レートAと、転送レートBとの遷移を示す図である。

例えば、130MB分のデータの転送が完了したときのホスト転送レートB=100[MB/sec]である。

この時点で、60MB/secに相当するテープ速度（Media転送レート)を使用していたとすると、

a) このまま60MB/secのMedia転送レートを維持する。

→ また転送レートが低くなればよいが、今後も100MB/secの転送レートが続けば100-60=40MB/sec分のボトルネックがMedia転送レートに発生し続ける

b) もしくは、一時的にMedia転送レートをとめてバックヒッチをして、テープを速く動かしなおして ( 100MB/secのMedia転送レートに変更して）動かす。

→ バックヒッチを行うためには、一時的にMedia転送が止まる。そのため、すぐに転送レートが低くなるようなケースでは、むやみにテープ速度を変更すべきではない。

というa)またはb) のどちらかに選択するかの判断が必要となってくる。

転送レートA、もしくは転送レートBを用いていても将来のことは分からないので、現状は過去の履歴のみを用いて（一定期間以上、100MB/secの状態が続いていれば）、今後も100MB/secの転送レートが続きそうだと仮定し、b)を選択するなどが考えられる。

結果として、130MB分の転送が完了した時点で、b)を選択したことでは良い結果を得られない。

なぜなら、また転送レートが低くなるため、わざわざPenaltyを払い（バックヒッチを行い）テープ速度を速くするメリットはないためである。

しかしながら、130MB分の転送が完了した時点で、過去の履歴からは転送レートが遅くなるかどうかの判断ができないため、b)を選択してしまう。

つまり、この問題を回避するためには、過去の履歴だけではなく、新しい何かしらの情報を用いて、将来の予測をし、将来のHost転送レートの予測精度を上げることが重要となってくる。

特許文献１〜５においては、このような観点からの予測アプローチは見ることができない。

本発明の構成は、「（Media転送レート＜ホスト転送レート）になっている場合には、まだホストに送られていないがドライブのBuffer上にこれから転送されるであろうデータが存在していることに着目し、これらのデータの圧縮率を用いて、Host転送レートに対する予測の精度を上げること。テープドライブなど、シーケンシャルアクセスデバイスに対して、Buffer上に存在し、まだ転送していないデータの圧縮率を計測し、Host転送レートを補正する構成。」というものであるが、特許文献１〜５には、本発明の構成要素である各々の要素が、各々の特許文献に断片的に開示されるに留まっている。

特許文献６〜１０は、参考事例にすぎない

特許文献１１は、過去に同一の出願人が特許出願して特許されたものである。

特許文献１１は、テープドライブとホスト間の転送レートが簡潔的に遅くなる場合に平均転送レートの計算方法を改善したものである。

この特許文献１１に対して、本発明は、バッファ内に存在するまだ転送していないデータの圧縮率を用いて転送レートの計算の精度を向上しようとしているのであり、特許文献１１とは解決する手段や解き方が異なるものである。

特開２０００−１２３４７３特開２０１３−９３０８４特開平６−１４９７１７特開２０１２−１５０６６３特許第３７２６２８４号（国際公開ＷＯ１９９５／０２６５５２）特公平７−２１７８６特開平５−１９７５０２特開２００２−２１５５１６特開２００４−２２７６７６特開平７−２１０３２４特許第４８６６４１２号（出願人整理番号ＪＰ９−２００８−０２１９）（公開番号 : 特開２０１０−１１３７３９）（出願番号 : 特願２００８−２８１９８５）

本発明の目的は、( Media転送レート < Host転送レート )になっている場合には、まだホストに送られていないがドライブのBuffer上にこれから転送されるであろうデータが存在していることに着目し、これらのデータの圧縮率を用いて、Host転送レートに対する予測の精度をあげることにある。

本発明においては、テープドライブなど、シーケンシャルアクセスデバイスに対して、Buffer上に存在し、まだ転送していなデータの圧縮率を計測し、Host転送レートを補正する。

圧縮率により発生するHost転送レートの変化を吸収したHost転送レートを用いてテープ速度（Media転送レート）をコントロールできるようになるため、不必要にバックヒッチを発生させる頻度を減らすことができる。

将来の転送レートの変化を用いているため、従来手法よりも平均転送レートとの乖離率の最大値を抑えたHost転送レートが計算可能となる。

テープドライブのバッファがFullになってバックヒッチが発生する頻度が減る。

精度のあがったHost転送レートを用いることで、不必要にテープをとめて、早いテープ速度を選択しようとはしなくなることが期待される。

図１は、テープドライブのRead時のデータの流れを示すブロック図である。図２は、本発明に関連するファイルシステムの構成例を示す図である。図３は、本発明に関連するテープドライブの構成例を示す図である。図４は、転送レートAと、転送レートBとの遷移を示す図である。図５は、各転送レートの比較を示す図である。図６は、各乖離率の比較を示す図である。

従来法は、以下の転送レートA（直近の瞬間的な転送レート）、もしくは転送レートB（過去の履歴を考慮した転送レート）を用いていた。

転送レートA : X[MB]のデータ転送が実施される都度、過去X[MB]分の平均転送レート

転送レートB : 転送レートAの過去n個分の平均転送レート

転送レートC : 全てのデータ転送完了した後に計測した平均転送レート

長時間転送した結果計測された転送レートCとの「乖離率[%] = 転送レートX - 転送レートC/転送レートC）*100 」が大きくなった場合に、テープドライブのバッファが一杯になってバックヒッチを起こしたり、メディア転送レートを変えようとして必ずしも必要ではないバックヒッチが発生してしまったり、メディア転送レートが遅いままになってしまってホスト転送レートに追従できない、といった現象を引き起こす。

よって、転送レートCとの乖離率が小さいようなHost転送レートを計測できるようにすることが課題を解決することになる。

本発明では、新たに転送レートDとして、以下のような転送レートを計測する方法を提案する。

転送レートD = 転送レートB * ( 今後ホストに転送するYMB分の圧縮率 / 直近のXMBの圧縮率 )

今後転送するYMB分の圧縮率は、テープにデータを書き込んだ際に、一定量毎（例えば１０MB毎）に圧縮率をメタデータとしてデータとともテープに書き込んでおき、テープからデータを読み出した際にテープドライブはデータ転送前に使用できるものとする。

テープからデータをバッファに読み込んだ時点で使用可能とすればよい。

図５は、各転送レートの比較を示す図である。

図６は、各乖離率の比較を示す図である。

以下、X=10MB, n=3, Y=50MBとする。

本発明においては、過去の履歴＋将来の圧縮率の変化を考慮しているため、転送レートDは転送レートCとの乖離率が他の転送レートと比べて小さくなる。

そのため、メディア転送レートの制御に使うため有用な乖離率の小さい転送レートの測定が可能となる。

ここまでの説明にあたっては、転送レートBとして簡単な計測モデルを使用した。

しかし、過去の履歴だけを用いたどのような方法であっても、転送レートDのように将来の圧縮率の変化を加味することで、長時間の転送レートとの乖離率を低下することが可能となり、テープ速度の選択に用いる転送レートとしてよりよいものを計測することが可能となる。

１０テープドライブ
２０テープまたはテープメディア
３０ホスト

Claims

ホストへ送信すべきデータをシーケンシャルアクセスデバイスのバッファから読み出す速度に対応するホスト転送レートの予測に基づいて、シーケンシャルメディアから読み出されたデータを前記シーケンシャルアクセスデバイスのバッファへ書き込む速度に対応するメディア転送レートを変化させる方法であって、
直近にホストに転送されたデータの圧縮率Ｘを計測するステップと、
前記シーケンシャルアクセスデバイスのバッファに存在し、未だ転送していないデータの圧縮率Ｙを計測するステップと、
計測された圧縮率ＸおよびＹに基づいて、将来のホスト転送レートＤを予測するステップと、
予測された将来のホスト転送レートＤに基づいて、メディア転送レートを変化させるステップと、
を含む、方法。
前記シーケンシャルアクセスデバイスがテープドライブであり、前記シーケンシャルメディアがテープである、請求項１の方法。
過去の所定の期間のホスト転送レートの平均値Ｂを計測するステップをさらに含み、
前記予測するステップにおいて、計測された圧縮率ＸおよびＹ、ならびに、前記過去の所定の期間のホスト転送レートの平均値Ｂに基づいて、前記将来のホスト転送レートＤを予測する、
請求項２に記載の方法。
前記メディア転送レートを変化させるステップにおいて、前記テープドライブのバッファが一杯になって、バックヒッチを起こすことを避けるように、予測された将来のホスト転送レートに基づいて、前記メディア転送レートを変化させる、請求項２に記載の方法。
前記メディア転送レートを変化させるステップにおいて、前記メディア転送レートを変えようとして必ずしも必要ではないバックヒッチを起こすことを避けるように、予測された将来のホスト転送レートに基づいて、前記メディア転送レートを変化させる、請求項２に記載の方法。
前記メディア転送レートを変化させるステップにおいて、前記メディア転送レートが遅いままになってしまって、ホスト転送レートに追従できないことがないように、予測された将来のホスト転送レートに基づいて、前記メディア転送レートを変化させる、請求項２に記載の方法。
さらに、
テープにデータを書き込む際に、一定量のデータ毎に、圧縮率をメタデータとしてデータとともにテープに書き込むステップと、
テープからデータを読み出す際に、テープからバッファに対応するメタデータを読み込むステップと、
を含む、請求項２〜６のいずれかに記載の方法。
ホストへ送信すべきデータをシーケンシャルアクセスデバイスのバッファから読み出す速度に対応するホスト転送レートの予測に基づいて、シーケンシャルメディアから読み出されたデータを前記シーケンシャルアクセスデバイスのバッファへの書き込む速度に対応するメディア転送レートを変化させることができるシーケンシャルアクセスデバイスであって、前記シーケンシャルアクセスデバイスが、
直近にホストに転送されたデータの圧縮率Ｘを計測し、
前記シーケンシャルアクセスデバイスのバッファに存在し、未だ転送していないデータの圧縮率Ｙを計測し、
計測された圧縮率ＸおよびＹに基づいて、将来のホスト転送レートＤを予測し、
予測された将来のホスト転送レートＤに基づいて、メディア転送レートを変化させる、
シーケンシャルアクセスデバイス。
前記シーケンシャルアクセスデバイスがテープドライブであり、前記シーケンシャルメディアがテープである、請求項８のシーケンシャルアクセスデバイス。
過去の所定の期間のホスト転送レートの平均値Ｂを計測し、
前記予測することが、計測された圧縮率ＸおよびＹ、ならびに、前記過去の所定の期間のホスト転送レートの平均値Ｂに基づいて、前記将来のホスト転送レートＤを予測することを含む、
請求項９に記載のシーケンシャルアクセスデバイス。
前記メディア転送レートを変化させるステップにおいて、前記テープドライブのバッファが一杯になって、バックヒッチを起こすことを避けるように、予測された将来のホスト転送レートに基づいて、前記メディア転送レートを変化させる、請求項９に記載のシーケンシャルアクセスデバイス。
前記メディア転送レートを変化させるステップにおいて、前記メディア転送レートを変えようとして必ずしも必要ではないバックヒッチを起こすことを避けるように、予測された将来のホスト転送レートに基づいて、前記メディア転送レートを変化させる、請求項９に記載のシーケンシャルアクセスデバイス。
前記メディア転送レートを変化させるステップにおいて、前記メディア転送レートが遅いままになってしまって、ホスト転送レートに追従できないことがないように、予測された将来のホスト転送レートに基づいて、前記メディア転送レートを変化させる、請求項９に記載のシーケンシャルアクセスデバイス。
さらに、前記シーケンシャルアクセスデバイスが、
テープにデータを書き込む際に、一定量のデータ毎に、圧縮率をメタデータとしてデータとともにテープに書き込み、
テープからデータを読み出す際に、テープからバッファに対応するメタデータを読み込
む、
請求項９〜１３のいずれかに記載のシーケンシャルアクセスデバイス。
請求項１〜７の何れかに記載の方法をコンピュータに実行させる、
プログラム。