JP5932877B2 - テープメディアへファイルを書き込む所要時間の低減 - Google Patents

テープメディアへファイルを書き込む所要時間の低減 Download PDF

Info

Publication number
JP5932877B2
JP5932877B2 JP2014083749A JP2014083749A JP5932877B2 JP 5932877 B2 JP5932877 B2 JP 5932877B2 JP 2014083749 A JP2014083749 A JP 2014083749A JP 2014083749 A JP2014083749 A JP 2014083749A JP 5932877 B2 JP5932877 B2 JP 5932877B2
Authority
JP
Japan
Prior art keywords
tape
index information
index
mam
writing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014083749A
Other languages
English (en)
Other versions
JP2015204125A (ja
Inventor
豊 大石
豊 大石
健志 石本
健志 石本
敦 安部
敦 安部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to JP2014083749A priority Critical patent/JP5932877B2/ja
Priority to US14/681,160 priority patent/US9690486B2/en
Publication of JP2015204125A publication Critical patent/JP2015204125A/ja
Application granted granted Critical
Publication of JP5932877B2 publication Critical patent/JP5932877B2/ja
Priority to US15/492,240 priority patent/US10331628B2/en
Priority to US16/372,714 priority patent/US11061869B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/113—Details of archiving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0682—Tape device

Description

本発明は、テープメディアへファイルを書き込む所要時間を低減する技術に関する。
本発明は、より具体的には、ファイルシステムを利用する場合に生じる定期的な同期処理に対応させた設計に関する。
［１．はじめに］
IBM Linear Tape File System (LTFS) は、IBMがフォーマットを作成した、テープメディアをあたかもUSBメモリのように利用するためのファイルシステムである。
LTFSを利用することにより、テープドライブ専用のアプリケーションを利用することなく、ファイルベースのアプリケーションから直接テープメディア上に保存されたファイルにアクセスすることができる。
LTFSはテープドライブの新しい使い方であり、従来からあるバックアップアプリケーションを始めとするテープドライブ専用のアプリケーションとは異なるデータアクセスパターンを持つことから、テープドライブの特性に起因する様々なパフォーマンス上の課題が顕在化し、解析・改善活動が続けられている。
LTFSはテープメディア上に、ファイル本体の他にファイル名やテープメディア上のファイルの位置情報などのメタデータを記録する。
このメタデータを「インデックス情報」と呼ぶ。
LTFSは定期的にインデックス情報をテープメディア上に保存する同期処理を実施している。
本願の発明者は、この定期的に実施される同期処理がファイルの書き込み所要時間に大きな影響を与えていることを見出した。
ファイルシステムの設計においてはさまざまな要素を検討する必要があり、代表的なものとしては以下を挙げることができる。
(1) パフォーマンス性能（即応性、I/O rate、Mount/Recoveryなどの処理時間)
(2) データの保全性
(3) スペース利用の有効性
(4) システムの共有リソース(Memory、CPU)への影響
LTFSがテープドライブ専用のファイルシステムであることから、テープの動作特性とこれらの要素をいかにバランスさせてデザインしていくかが、LTFSの開発における大きな課題となる。
また可搬媒体用のファイルシステムであることから、テープフォーマットの互換性維持も、強く求められている。
本願では，(2)に起因するインデックス情報の同期操作が(1)のパフォーマンス性能に与える影響を測定し、互換性やデータの保全性を齟齬することなく、性能向上をする手法を開示する。
syncタイプとindexタイプという2つのタイプをLTFSに導入し、タイプに応じ同期処理の内容を変化させることにより、同期処理の効果を損なうことなくファイルの書き込み所要時間を低減できる。
本願の説明の流れを示しておくと、
［２．］でLTFSのインデックス情報と同期処理の概要を述べる。
［３．］で、同期処理がファイルの書き込み所要時間に与える影響を示す。
［４．］で書き込み所要時間の低減策を提示する。
［５．］で低減策の効果を検証する。
［２．LTFSのインデックス情報と同期処理］
［2.1 LTFSのフォーマット］
図１は、LTFSのフォーマットを示す図である。
LTFSはテープメディアをインデックスパーティション (IP) とデータパーティション (DP)に分割して利用する。
図１に示すように、IPには最新のインデックス情報を、DPにはファイルの本体とインデックス情報の履歴が記録される。
インデックス情報をテープメディアに書き込むにあたり、インデックス情報の前後にFile Mark (FM) と呼ばれる特殊なデータを書き込むことが、LTFSフォーマットの仕様で定められている。
これは，テープメディア上に記録されたインデックス情報を容易に見つけることができるようにするためである。
情報量としてはDPが持つ情報で十分であるが、テープドライブにテープメディアが挿入された時にインデックス情報を読み出す所要時間を低減するため、IPにも最新のインデックス情報を記録する。
テープメディアはその性質上、例えば図１のファイルBを削除する時にFile Bの本体を削除するとDP上のファイルBより後に書かれた全てのデータにアクセスできなくなる。
そのため、LTFSにおけるファイルの削除は、ファイル本体はDP上に残したまま、インデックス情報から削除するファイルに関するメタデータを除去することにより実現する。
DPにファイルの本体とインデックス情報の履歴が残っていることから、LTFSは以前記録したインデックス情報を参照することにより、最新のインデックス情報では削除されたことになっているファイルを参照することができる。
この以前記録したインデックス情報を参照する機能を「ロールバック」と呼ぶ。
［2.2 インデックス情報のフォーマット］
インデックス情報はXMLファイルの形式でテープメディアに書くことがLTFSのフォーマットで定められている。
このXMLファイルはテープメディア上に書き込まれた全てのファイルに関するファイル名などのメタデータを持つ。
インデックス情報を持つXMLファイルの容量は、ファイル名の長さなどにも依存するが、ファイル当たり1KB程度である。
LTFSがテープメディアにインデックス情報やファイル本体を読み書きする場合、LTFSとテープドライブの間では「レコード」と呼ばれる可変長の長さのデータを送受信する。
一方、テープドライブとテープメディアの間では、「データセット (Data Set)」と呼ばれる固定長の長さのデータを読み書きする。
つまり、データセットには複数のレコードが格納されることがあり、また、レコードが複数のデータセットに跨ることがある。
図２は、本発明に関連するファイルシステムの構成例を示す図である。
［2.3 Media Auxiliary Memory］
DP上のインデックス情報を更新した後IP上のインデックス情報の更新に失敗すると、過去に書き込まれたIP上のインデックス情報よりも、その後に書き込まれたDP上のインデックス情報の方がより新しい情報を持つ状態が発生する。
この状態をテープメディアに書き込まれた情報から検知するためには、テープメディアがテープドライブに挿入されるたびにインデックス情報をIPとDPから読み出し比較する必要があり、LTFSのテープメディアマウント所要時間が長くなる。
これを避けるため、IP上のインデックス情報とDP上のインデックス情報が一致しているか確認する手段として、テープメディアと共にテープカートリッジに格納された非接触型メモリチップであるCartridge Memory (CM) のMedia Auxiliary Memory (MAM) 領域に、 Volume Coherency Information (VCI) 情報を残している。
VCIは、テープメディア上に記録されたインデックス情報の世代やテープメディア上の場所に関する情報を持ち、LTFSはインデックス情報を更新する度にMAMのVCIの値も更新する。
図３は、本発明に関連するテープドライブの構成例を示す図である。
［2.4 同期処理］
LTFSがテープメディア上にインデックス情報を書き込む処理を「同期処理」と呼ぶ。
標準の設定では、テープメディアからテープドライブを取り出す時の他、5分毎に同期処理を実施する。
テープメディア上に書き込まれた各インデックス情報は、そのインデックス情報よりも前に書き込まれたファイルに関するメタデータを持つ。
つまり、ファイルの書き込み後に誤ってテープドライブの電源を落としてしまうなどにより、テープメディア上に書き込んだファイルに関するメタデータを持つインデックス情報を書き込めない場合には、たとえファイル本体はテープメディア上に書き込まれていてもそのファイルにアクセスすることはできない。
定期的な同期処理の実施は、ファイル本体はテープメディア上に記録されているにもかかわらずインデックス情報がないためにファイルにアクセスできなくなる現象の発生を回避するために有用である。
定期的に実施する同期処理の間隔を伸ばしたり、定期的な同期処理を行わないようにしたりすることもできるが、そうするとインデックス情報を書き込めない場合の影響範囲が拡大する。
テープメディアに記録されたファイルがクローズされるたびに同期処理を実施することもできる。
こうすることにより、インデックス情報を書き込めなかった場合に失われるファイルを高々オープン中のファイルだけに留めることができる。
一方、ファイルをクローズするたびに同期処理を実施しテープメディア上にインデックス情報を書き込むと、特にファイルサイズの小さなファイルを多数記録する場合にDPにおけるインデックス情報が占める領域の相対的な大きさが無視できなくなり、容量の有効利用率が低下する。
［３．同期処理が書き込み所要時間に与える影響］
ファイルの書き込み中に定期的に同期処理を実施すると、テープドライブがファイル以外の情報をテープメディアに記録するため、定期的な同期処理を行わない場合と比較しファイルの書き込み所要時間が増加する。
同期処理が書き込み所要時間に与える影響を定量的に評価する。
［3.1 影響の評価方法］
第5世代LTOテープドライブを用いて、LTFSフォーマットにフォーマットしたカートリッジにランダムな情報で埋められたファイルサイズ1GiBのファイルを1327個、つまり1.425TB相当（書き込むデータが圧縮しても小さくならない場合、第5世代テープメディアの容量は1.5TBであるが、LTFSはテープメディアをIPとDPに分けて利用するため、ファイル本体を記憶するDPの容量は1.425TBとなる）のファイルを書き込み、その所要時間を測定することにより、同期処理がファイルの書き込み所要時間に与える影響を評価する。
ファイルの書き込み総所要時間は、同期処理の影響を検証するための測定・比較対象としてふさわしくない。
なぜなら，書き込み総所要時間には、ファイル書き込み中にテープドライブ内部で発生した回復可能なエラーのリカバリー処理 (ERP: Error Recovery Procedures) の所要時間が含まれており、ERPの発生頻度に依存しファイルの書き込み総所要時間は数分単位で増減するためである。
ERPの影響を避けるため、定期的に実施される各同期処理所要時間を測定し、その平均値を元に同期処理がファイルの書き込み所要時間に与える影響を検証する (テープドライブのダンプファイルを解析することにより、本手法の適用評価として実施した一連の測定において、1.425TB相当のファイル書き込む間に数回ERPが発生する場合があったこと、及び、同期処理中には一度もEPRが発生しなかったことを確認した)。
［3.2 同期処理の所要時間と転送速度］
ファイルサイズ1GiBのファイル1327個を書き込む際に発生した同期処理の平均所要時間は18.9秒であった。
第5世代LTOテープドライブがデータを読み書きする際の転送速度は140MB/secであるので、ERPの所要時間の影響を除くと、5分毎に実施される定期的な同期処理の回数は（式１）より33回であると言える。
1.425[TB] / 140[MB/sec] / 5[min] = 33.9 （式１）
つまり、定期的な同期処理はファイルサイズ1GiBのファイル1327個の書き込み総所要時間を623.7秒増加させる。
これを転送速度に換算すると、（式２）より平均転送速度は131.9[MB/sec]であると言え、定期的な同期処理により平均転送速度が8.1[MB/sec]低下していると言える。
1.425[TB] / (1.425[TB] / 140[MB/sec] + 623.7[sec]) = 131.9[MB/sec] （式２）
［3.3 同期処理の所要時間の内訳］
第5世代LTOテープドライブのファームウェアが出力するダンプファイルを解析し、定期的に実施される同期処理の所要時間の内訳を調査した結果、同期処理中に何度も「リポジショニング」(テープドライブがテープメディアを巻き戻す作業) が発生していることが明らかになった。
リポジショニングでは秒速約6mの速度で走行するテープメディアを加速度10m/sec2で加減速し、また加速後速度を安定させるためのマージンを確保して巻き戻すため、通常3秒程度の時間がかかる。
また、加減速中はテープドライブがテープメディアにデータを読み書きすることができないため、同期処理中にリポジショニングが発生すると同期処理所要時間が長くなる。
同期処理中に発生するリポジショニングのトリガーは、次の3つである。
- インデックス情報直前のFMの書き込み
- インデックス情報直後のFMの書き込み
- MAMの値の更新
インデックス情報の直前直後のFMの書き込みでは、FMの書き込みが終了するまでLTFSがテープドライブに次に書き込むレコードを送信できない。
そのため、FM書き込み後にテープドライブが次に書き込むデータがテープドライブのバッファメモリに届いてないことを理由にリポジショニングを発生させ、次のデータの書き込みに3秒程度かかる。
MAMの値の更新を更新するために、LTFSはMAMの値をCMから読み出し、MAMが持つ一部の情報を更新し、MAMの値をCMに書き込む。
この一連の作業自体は、即座に終了する。
しかし、テープドライブはLTFSからMAMの更新を要求されると、テープドライブのバッファメモリに格納されているテープメディアへの書き込み待ちのレコードを全てテープメディア上に書き出し、テープドライブ内部の状態を書き込みモードからアイドルモードに変更する。
そのため、MAMの値を更新した後、再度ファイルの書き込みを継続するためには、テープドライブは内部の状態を一度読み出しモードに変更し、テープメディアから書き込み開始位置を含むデータセットを読み出し、その後テープドライブ内部の状態を書き込みモードに変更し、データセットの途中から新たなデータを書き始めるという処理が行われる。
テープメディアからレコードの読み出しや書き込みを開始するごとにリポジショニングが発生するので、MAMの値の更新後のデータの書き込みに10〜17秒かかる。
特許文献１〜５においては、「Linear Tape File System (LTFS) を利用しファイルをテープメディアに書き込む際、 定期的な同期処理の発生によりファイル書込み所要時間が増加する。」という目的について、提示されている。
しかし、「この二つのタイプに応じ、Media Auxiliary Memory (MAM) の更新の有無と」、「インデックスのフォーマットを変化させることにより、」については、それぞれ部分的にしか開示されていない。
また、「同期処理を実行するきっかけに応じ同期する情報を変えるため、新たにsyncタイプとindexタイプの導入を提案するもの。」については、見いだせない。
特許文献６〜８は、参考事例である。
特開平５−３０３４７１ 特開平５−３０７４４３ 特開平９−１７１５２ 特開２００８−２９３２１８ 特開平７−２４８８８６ 特開２００３−２４８５５８ 特開２００５−３１０１２１ 特開２００８−１９７７４５
本発明の目的は、LTFSを利用しファイルをテープメディアに書き込む際、定期的な同期処理の発生によりファイル書き込み所要時間が増加してしまうことに、対応させた設計を提案することにある。
本発明では、同期処理を実行するきっかけに応じ同期する情報を変えるため、新たにsyncタイプとindexタイプの導入を提案する。
この2つのタイプに応じMAMの更新の有無とインデックスのフォーマットを変化させることにより、同期の効果を損なうことなくLTFSを使うことによるファイルの書き込み転送速度の低減幅を1/4以下に減少できる。
図１は、LTFSのフォーマットを示す図である。 図２は、本発明に関連するファイルシステムの構成例を示す図である。 図３は、本発明に関連するテープドライブの構成例を示す図である。 図４は、immediateモードにおけるFM書き込み時のデータ配置を示す図である。 図５は、non-immediateモードにおけるFM書き込み時のデータ配置を示す図である。 図６は、precautionモードにおけるデータ配置を示す図である。 図７は、各モードにおける定期的な同期処理が書き込み所要時間に与える影響を測定した結果を示す図である。 図８は、定期的に実施される同期処理による転送速度低減幅を示すグラフである。
［４．書き込み転送速度の改善策］
FMの書き込みとMAMの更新に起因するリポジショニングの発生を避けることができれば、同期処理がファイルの書き込み所要時間に与える影響を低減できる。
ファイルの書き込み所要時間を低減するための書き込み転送速度改善策として、syncタイプとindexタイプの導入を提案する。
［4.1 syncタイプ］
同期処理時にMAMの値を更新する目的は、テープメディアをテープドライブに挿入した時にMAMの値を参照することによりインデックス情報をDPからも読み出しIPのインデックス情報と比較する必要があるかどうかLTFSが判断できるようにするためである。
そのため，テープメディアをテープドライブから取り出す際に実施する同期処理ではMAMの値を更新することが望ましい。
その一方、定期的に実施される同期処理では必ずしもMAMの値を更新する必要はない。
そこで、2種類のsyncタイプを設け、同期処理のトリガーにより使い分ける。
テープメディアをテープドライブから取り出すことがトリガーとなる同期処理ではMAMの値を更新する index-mam syncモードを、定期的な同期処理ではMAMの値の更新を実施しないindex-only syncモードを適用する。
index-only syncモードを適用することにより、テープメディア上の最新のインデックス情報とMAMに含まれるインデックス情報の世代が一致しない期間が長くなる。
テープメディアがテープドライブに挿入されている間は一致しなくても問題ない。
しかし、テープドライブの電源が落とされるなどしてそのようなテープメディアがテープドライブの外に出てしまうと、次にそのテープメディアをテープドライブに挿入した時に、LTFSが持つ古いインデックス情報が最新のものであると以前のLTFSが誤解する可能性がある。
このような事態を避けるためには、index-only syncモードを適用するときは、テープメディアをテープドライブに挿入後、最初にファイルを書き込む前に、MAMが持つインデックスの情報が無効であることが分かるようMAMの値を更新することが求められる。
［4.2 indexタイプ］
アプリケーションがテープメディアにFMを書き込むにあたり、「immediateモード」と「non-immediateモード」が用意されている。
図４は、immediateモードにおけるFM書き込み時のデータ配置を示す図である。
図５は、non-immediateモードにおけるFM書き込み時のデータ配置を示す図である。
「immediateモード」では，FMを実際にテープメディアに書き込む前に次のテープドライブが次に書き込むレコードを受け取れる一方、図４に示すようにFMとその次に書き込まれるレコードが同じデータセットに格納される。
「non-immediateモード」では、FMをテープメディアに書き込み終わるまでテープドライブは次のレコードを受け取らないので次のレコード書き込み時にはリポジショニングが発生するため3秒程度の余分な時間が必要となるものの、図５に示すようにFMとその次に書き込まれるレコードは別のデータセットに書き込まれる。
LTFSでは、インデックス情報とそれに続くファイルを別のデータセットに格納するため、FMをnon-immediateモードで書き込んでいる。
これには以下の理由がある。
ロールバックを使用して過去のインデックス情報を参照した際に、ロールバックしたインデックス情報以降に記録されているインデックス情報を削除する機能が備わっている。
この機能を利用した場合、図４のようにindex #1とFile Bが同じデータセットに格納されているとFile Bの部分を上書きする際にindex #1を含むデータセットをテープメディア上に書き直すことになり、テープドライブがそのデータセットの書き込みに失敗した場合にindex #1まで失われてしまうという現象を避けるためである。
インデックス情報とそれに続くファイルを別のデータセットに格納することはこのような利点がある。
一方、ロールバック機能を利用するつもりがない場合や、災害などに備え同じファイルを複数のテープメディアに保存しているような場合には、インデックス情報とそれに続くファイルを別のデータセットに分けても、同期処理の所要時間が伸び、また、記録密度が低下するばかりで、利点はない。
また、インデックス情報とその直前のファイルの扱いについては、現在の実装はインデックス情報の後のFMの書き方に倣っているだけであり、別のデータセットに分ける意義はない。
そこで、indexタイプとして、従来通りインデックス情報とそれに続くファイルを別のデータセットに格納する「precautionモード」(図６)と、インデックス情報とそれに続くファイルを同じデータセットに格納するhigh performanceモード(図４)を設け、利用目的に応じてテープメディアをLTFSフォーマットにフォーマットする際に設定できるようにする。
図６は、precautionモードにおけるデータ配置を示す図である。
［５．適用評価］
3.1で定義した評価方法を用い、各モードにおける定期的な同期処理が書き込み所要時間に与える影響を測定した結果を図７に示す(syncタイプがindex-mam syncモードでindexタイプがhigh performanceモードの場合はテープメディアをテープドライブから取り出す場合の同期処理を想定しており、定期的に実施する同期処理を想定した総所要時間は意味を成さないので，該当欄はN/Aとする)。
図７は、各モードにおける定期的な同期処理が書き込み所要時間に与える影響を測定した結果を示す図である。
図７に示した通り、syncタイプがindex-only syncモードでindexタイプがprecautionモードの場合、つまり、インデックス情報とそれに続くファイルを別のデータセットに分けてテープメディアに書き込む従来のインデックスフォーマットを継承した定期的に実施する同期処理の場合、平均所要時間は従来のLTFSよりも14.4秒短縮され、4.5秒になった。
また、syncタイプがindex-only syncモードでindexタイプがhigh performanceモードの場合、つまり、インデックス情報とそれに続くファイルを同じデータセットに書き込む定期的に実施する同期処理の場合、同期処理のオーバーヘッドはテープドライブが持つバッファメモリに吸収され、ファイル書き込み所要時間が増加する現象は見られなかった。
syncタイプがindex-mam syncモードでindexタイプがhigh performanceモードの場合、つまり、テープメディアをテープドライブから取り出す時に実施する同期処理の場合、所要時間の低減幅は大きくない。
しかし、これはあくまで［3.1 影響の評価方法］で定義した定期的に実施する同期処理を前提とした手順で測定した値である。
テープメディアをテープドライブから取り出す場合はDPにインデックス情報を記録しDPに対応するMAMの値を更新した後はIPに移動し、IPにインデックス情報を記録しIPに対応するMAMの値を更新した後は新たなデータをテープメディアに書き込むことなくテープメディアを巻き戻し取り出す。
そのため、テープメディア取り出し時はMAMの値を更新する際にテープドライブの内部の状態がアイドルモードに入ることはむしろ期待される動きであり同期処理所要時間のボトルネックとはならない。
index-only syncモードを使用したときの図７の結果を（式２）に適用すると、定期的に同期処理を実施した場合におけるファイルの書き込み転送速度は、precautionモードで138.0MB/sec，high performanceモードでは140.0MB/secとなる。
図８は、定期的に実施される同期処理による転送速度低減幅を示すグラフである。
インデックス情報のフォーマットが従来と実質的に変わらないprecautionモードにおいて、転送速度の低減幅は従来のLTFSと比べ1/4以下になる。
定期的に実施される同期処理の所要時間は、インデックス情報の量にも依存する。
インデックス情報の量はファイル名の長さなどによって変動するために一概に言うことはできないが、一般的に100万ファイルで1GB程度の大きさになることがわかっている。
ファイル数が増えインデックス情報の量が増えると定期的に実施される同期処理の所要時間も増える。
しかし、syncタイプの適用とindexタイプの適用による同期処理所要時間の低減はインデックス情報の量とは独立した処理の処理時間を減らすことにより実現しており、インデックス情報の量が増えた場合であってもファイル書き込み所要時間を同程度低減する効果があると考えられる。

Claims (15)

  1. ファイルシステム(LTFS)によって同期処理を実施する方法であって、
    同期処理は、テープカートリッジのテープメディア上への１つ以上のファイルの書き込みに伴う前記テープメディアへのインデックス情報の更新を含むものであり、
    同期処理が、あるタイプとして、同期処理の結果の確認を必要とするタイプ(index-MAM sync)であるのか、または、別のタイプとして、同期処理の結果の確認を必要としないタイプ(index-only sync)であるのかについて、判断するステップと、
    同期処理が、同期処理の結果の確認を必要とするタイプ(index-MAM sync)であると判断される場合にのみ、更新情報を、テープ・カートリッジのメモリ(MAM)に格納するステップと、を含む、
    方法。
  2. 同期処理の結果の確認を必要としないタイプ(index-only sync)が、ファイルシステムによって定期的に実施される同期処理と対応して用意されている、
    請求項１に記載の方法。
  3. 更新情報が、テープメディア上に記録されたインデックス情報の世代やテープメディア上の場所に関する情報である、
    請求項１に記載の方法。
  4. 前記テープカートリッジがテープドライブに挿入されている（マウントされている）間、および、前記テープカートリッジが前記テープドライブから外に出た（取り出された）後の両方において、ファイルシステムによって、そのテープ・カートリッジが、同期処理の結果の確認を必要としないタイプ(index-only sync)であると判断され、そのテープ・カートリッジのメモリ(MAM)に更新情報が格納されることがない、
    請求項２に記載の方法。
  5. 前記テープカートリッジがテープドライブに再びマウントされた後、最初に１つ以上のファイルの書き込みをする前に、テープ・カートリッジのメモリ(MAM)に格納されているインデックス情報が無効であることが分かるように、メモリ(MAM)を更新するステップと、をさらに含む、
    請求項４に記載の方法。
  6. 同期処理は、テープカートリッジのテープメディア上のＤＰ（データパーティション）への１つ以上のファイルの書き込みに伴う前記ＤＰへのインデックス情報の更新と、前記ＤＰとは分かれた場所にある前記テープメディア上のＩＰ（インデックスパーティション）へのインデックス情報の更新との、比較である、
    請求項１に記載の方法。
  7. 前記テープカートリッジと、テープ・ドライブとのデータの読み書きが、データセットを単位にして行なわれ、
    インデックス情報と、それに続くファイルとが、別のデータセットに格納される、
    請求項１に記載の方法。
  8. 前記テープカートリッジと、テープ・ドライブとのデータの読み書きが、データセットを単位にして行なわれ、
    インデックス情報と、それに続くファイルとが、同じデータセットに格納される、
    請求項１に記載の方法。
  9. 前記テープカートリッジと、テープ・ドライブとのデータの読み書きが、データセットを単位にして行なわれ、
    ファイルと、それに続くインデックス情報とが、別のデータセットに格納される、
    請求項１に記載の方法。
  10. 前記テープカートリッジと、テープ・ドライブとのデータの読み書きが、データセットを単位にして行なわれ、
    ファイルと、それに続くインデックス情報とが、同じデータセットに格納される、
    請求項１に記載の方法。
  11. インデックス情報の前、または、インデックス情報の後に、ファイルマーク(FM)が書き込まれる、
    請求項７〜１０の何れかに記載の方法。
  12. 同期処理を実施する、ファイルシステム(LTFS)であって、
    同期処理は、テープカートリッジのテープメディア上への１つ以上のファイルの書き込みに伴う前記テープメディアへのインデックス情報の更新を含むものであり、
    同期処理が、あるタイプとして、同期処理の結果の確認を必要とするタイプ(index-MAM sync)であるのか、または、別のタイプとして、同期処理の結果の確認を必要としないタイプ(index-only sync)であるのかについて、判断して、
    テープカートリッジが同期処理の結果の確認を必要とするタイプ(index-MAM sync)であると判断される場合にのみ、更新情報を、テープ・カートリッジのメモリ(MAM)に格納する、
    ファイルシステム(LTFS)。
  13. ファイルシステム(LTFS)によって実施される同期処理の所要時間を短縮するようにテープメディアがフォーマットされているテープカートリッジであって、
    同期処理は、テープカートリッジのテープメディア上への１つ以上のファイルの書き込みに伴う前記テープメディアへのインデックス情報の更新を含むものであり、
    前記テープカートリッジと、テープ・ドライブとのデータの読み書きが、データセットを単位にして行なわれ、
    インデックス情報と、それに続くファイルとが、テープメディア上にフォーマットされている同じデータセットに格納される、
    テープカートリッジ。
  14. インデックス情報の前、または、インデックス情報の後に、ファイルマーク(FM)が書き込まれる、
    請求項１３に記載のテープカートリッジ。
  15. 請求項１〜１１の何れかに記載された方法をファイルシステムに実施させる、
    コンピュータプログラム。
JP2014083749A 2014-04-15 2014-04-15 テープメディアへファイルを書き込む所要時間の低減 Active JP5932877B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014083749A JP5932877B2 (ja) 2014-04-15 2014-04-15 テープメディアへファイルを書き込む所要時間の低減
US14/681,160 US9690486B2 (en) 2014-04-15 2015-04-08 Reduction in time required to write file to tape
US15/492,240 US10331628B2 (en) 2014-04-15 2017-04-20 Reduction in time required to write file to tape
US16/372,714 US11061869B2 (en) 2014-04-15 2019-04-02 Reduction in time required to write file to tape

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014083749A JP5932877B2 (ja) 2014-04-15 2014-04-15 テープメディアへファイルを書き込む所要時間の低減

Publications (2)

Publication Number Publication Date
JP2015204125A JP2015204125A (ja) 2015-11-16
JP5932877B2 true JP5932877B2 (ja) 2016-06-08

Family

ID=54265215

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014083749A Active JP5932877B2 (ja) 2014-04-15 2014-04-15 テープメディアへファイルを書き込む所要時間の低減

Country Status (2)

Country Link
US (3) US9690486B2 (ja)
JP (1) JP5932877B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5932877B2 (ja) 2014-04-15 2016-06-08 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ テープメディアへファイルを書き込む所要時間の低減
JP6052812B2 (ja) * 2014-07-11 2016-12-27 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ テープ上のファイルの管理、書き込み、及び読み出し方法
JP5925280B2 (ja) * 2014-11-04 2016-05-25 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ テープに書き込されたファイルを消去する方法、プログラム、及びテープ装置
US9632721B1 (en) 2015-11-09 2017-04-25 International Business Machines Corporation Data writing in a file system
US9536561B1 (en) * 2015-12-08 2017-01-03 International Business Machines Corporation Writing dummy indices on a tape medium partition
US10120612B2 (en) 2017-01-10 2018-11-06 International Business Machines Corporation Apparatus, method, and program product for tape copying
US10528271B2 (en) * 2018-03-29 2020-01-07 International Business Machines Coporation Managing read/write compatibility between storage devices and storage media
US11550472B2 (en) 2021-03-23 2023-01-10 International Business Machines Corporation Index file writing on tape storage media
US11688431B2 (en) 2021-05-06 2023-06-27 International Business Machines Corporation Tape reposition management in a tape data storage drive
US11823709B2 (en) 2021-08-12 2023-11-21 International Business Machines Corporation Write performance by enabling host data transfer immediately after a reposition command
US11437062B1 (en) 2021-08-23 2022-09-06 International Business Machines Corporation Reducing time to reposition tape to write index

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05307443A (ja) 1991-03-08 1993-11-19 Hitachi Ltd 磁気テープのデータ管理方法及び磁気テープ記憶装置
JPH05303471A (ja) 1992-04-27 1993-11-16 Canon Inc 情報処理装置及び発光表示装置
JP3446361B2 (ja) 1994-01-20 2003-09-16 ソニー株式会社 記録再生装置、情報信号記録再生システム及び無効領域情報の管理方法
JPH0917152A (ja) 1995-06-30 1997-01-17 Sony Corp テープカセット、記録装置及び再生装置
JP2003248558A (ja) 2002-02-21 2003-09-05 Canon Inc データ転送方法、および、その装置
US7567967B2 (en) 2004-01-16 2009-07-28 Microsoft Corporation Business application entity subscriptions synch operation management
JP2008197745A (ja) 2007-02-08 2008-08-28 Hitachi Ltd ストレージ仮想化システムにおける記憶制御装置
JP2008293218A (ja) 2007-05-23 2008-12-04 Nec Corp ファイル管理システム、ファイル管理方法、ファイル管理プログラム
JP4954141B2 (ja) * 2008-05-30 2012-06-13 インターナショナル・ビジネス・マシーンズ・コーポレーション テープ媒体の走行を制御する装置及び方法
JP5106377B2 (ja) * 2008-12-25 2012-12-26 インターナショナル・ビジネス・マシーンズ・コーポレーション 記録媒体に記録されたデータの移行のための装置及び方法
MX2012014856A (es) * 2010-06-25 2013-02-01 Ibm Dispositivo de almacenamiento de cinta y metodo de escritura del mismo.
DE112012002622B4 (de) * 2011-06-24 2017-01-26 International Business Machines Corporation Aufzeichnungseinheit für lineare Aufzeichnung zum Ausführen optimalen Schreibens beim Empfangen einer Reihe von Befehlen, darunter gemischte Lese- und Schreibbefehle, sowie Verfahren und Programm für dessen Ausführung
DE112012004297B4 (de) * 2011-10-14 2023-02-16 International Business Machines Corporation Verfahren zum Erkennen von Datenmanipulationen in einem Bandlaufwerk und Dateisystem
US8832365B1 (en) * 2012-04-20 2014-09-09 Kip Cr P1 Lp System, method and computer program product for a self-describing tape that maintains metadata of a non-tape file system
US8954663B1 (en) * 2012-06-25 2015-02-10 Kip Cr P1 Lp System, method and computer program product for synchronizing data written to tape including writing an index into a data partition so that data can be recovered in case of failure
JP5932877B2 (ja) 2014-04-15 2016-06-08 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ テープメディアへファイルを書き込む所要時間の低減

Also Published As

Publication number Publication date
JP2015204125A (ja) 2015-11-16
US9690486B2 (en) 2017-06-27
US10331628B2 (en) 2019-06-25
US20170220597A1 (en) 2017-08-03
US11061869B2 (en) 2021-07-13
US20150293935A1 (en) 2015-10-15
US20190227992A1 (en) 2019-07-25

Similar Documents

Publication Publication Date Title
JP5932877B2 (ja) テープメディアへファイルを書き込む所要時間の低減
US8667235B2 (en) Data de-duplication for serial-access storage media
US9009429B2 (en) Deduplication of data stored in a copy volume
KR101301828B1 (ko) 플래시 메모리에 기반한 ｓｓｄ에서의 전원-손실 복구 방법 및 장치
US8806173B2 (en) Elimination of duplicate written records
WO2015185002A1 (zh) 一种数据写入方法及装置
JP2010514008A5 (ja)
JP2017079053A (ja) ストレージジャーナリングを改善する方法およびシステム
US20120136842A1 (en) Partitioning method of data blocks
US20070156778A1 (en) File indexer
US20140379980A1 (en) Selective duplication of tape cartridge contents
US9916323B2 (en) Support for worm cartridges realized by linear tape file system (LTFS)
CN107135662B (zh) 一种差异数据备份方法、存储系统和差异数据备份装置
JP2015069290A (ja) テープドライブ用ファイルシステムよる更新されたファイルの読み出し速度を改善する方法
JP2016091245A (ja) 階層型ストレージ・システムでのファイルの移動方法
US9858287B2 (en) Storage system
US9442656B2 (en) Efficient use of metadata accompanying file writing to media
WO2018188618A1 (zh) 固态硬盘访问
JP6109012B2 (ja) テープメディアにおいてフォーマットを初期化する前に書き込まれていたデータのリカバリー
CN108170766B (zh) 一种保证数据库一致性的cdp备份与恢复方法
US20160070744A1 (en) System and method for reading file blocks
CN114780489B (zh) 一种实现分布式块存储底层gc的方法及装置
US20090187719A1 (en) Data backup method for logical volume manager
CN105573862A (zh) 一种恢复文件系统的方法和设备
JP2822869B2 (ja) ライブラリファイル管理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160112

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160122

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160428

R150 Certificate of patent or registration of utility model

Ref document number: 5932877

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150