JP5248669B2 - ファイル処理装置及びファイル処理方法 - Google Patents
ファイル処理装置及びファイル処理方法 Download PDFInfo
- Publication number
- JP5248669B2 JP5248669B2 JP2011250055A JP2011250055A JP5248669B2 JP 5248669 B2 JP5248669 B2 JP 5248669B2 JP 2011250055 A JP2011250055 A JP 2011250055A JP 2011250055 A JP2011250055 A JP 2011250055A JP 5248669 B2 JP5248669 B2 JP 5248669B2
- Authority
- JP
- Japan
- Prior art keywords
- file
- files
- divided
- recording
- storages
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0643—Management of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明の実施形態は、ファイル処理装置及びファイル処理方法に関する。
近年、様々なファイル管理技術が提案されている。例えば、ミラーリングと称される「同じファイルを複数の記憶媒体に保存する」技術が提案されている。
上記提案技術によれば、記録できる容量が実質減少する。
本発明の目的は、ファイルの消失リスクを低減しながらも、記録容量の損失を低減するファイル処理装置及びファイル処理方法を提供することである。
実施形態のファイル処理装置は、検出手段と、ファイル群生成手段と、分割ファイル生成手段と、記録手段とを備える。前記検出手段は、処理対象ファイルのサイズを検出する。前記ファイル群生成手段は、前記処理対象ファイルのうちの閾値サイズ未満の複数の第1の処理対象ファイルにより構成されるファイル群を生成する。前記分割ファイル生成手段は、前記ファイル群を分割して複数の第1の分割ファイルを生成し、前記処理対象ファイルのうちの前記閾値サイズ以上の第2の処理対象ファイルを分割して複数の第2の分割ファイルを生成する。前記記録手段は、1つの第1の分割ファイルと1つの第2の分割ファイルとを組み合わせた複数の組み合わせファイルの夫々を複数の記録先へ記録する。
以下、第1及び第2の実施形態について図面を参照して説明する。最初に、第1及び第2の実施形態の共通事項について説明する。
図1は、第1及び第2の実施形態に係るファイル処理装置の概略構成を示すブロック図である。ファイル処理装置100は、複数の情報記憶媒体(複数の記録先)に対して、複数のファイルを並列的に記録(同時記録)することができる。また、情報記憶媒体を1枚ずつ又は所定枚数単位で交換しながら、複数の情報記憶媒体に対して、複数のファイルを記録(順次記録)することもできる。この場合、ファイル処理装置100は、情報記憶媒体を自動交換するチェンジャー対応型となる。
さらに、ファイル処理装置100は、複数の記憶媒体から、複数のファイルを並列的に読出し(同時読出し)、読み出した複数のファイルに基づきデータを再生することができる。また、情報記憶媒体を1枚ずつ又は所定枚数単位で交換しながら、複数の記憶媒体から、複数のファイルを読出し(順次読出し)、読み出した複数のファイルに基づきデータを再生することもできる。この場合、ファイル処理装置100は、情報記憶媒体を自動交換するチェンジャー対応型となる。
情報記憶媒体としては、光ディスク、磁気ディスク、フラッシュメモリなど各種の媒体を適用することができる。以下説明する第1及び第2の実施形態では、情報記憶媒体として光ディスクを適用したケースを中心に説明するが、第1及び第2の実施形態は光ディスクの処理に限定されるものではない。
図1に示すように、ファイル処理装置100は、入力部1、サブ制御モジュール2、メイン制御モジュール3、表示部4、メモリ5、光ディスクドライブ部6、HDD(ハードディスクドライブ)部7、電源部8を備えている。
サブ制御モジュール2は、入力検出モジュール21、表示制御モジュール22、電源制御モジュール23を備えている。また、メイン制御モジュール3は、記録再生処理モジュール31、ファイル処理モジュール32、入出力制御モジュール33を備えている。メイン制御モジュール3は、表示部4により表示すべき表示データを表示制御モジュール22へ送信する。表示制御モジュール22は、表示データに基づき表示部4を制御する。これにより、表示部4は表示データに対応する表示情報を表示することができる。
例えば、入力部1は、電源キー、記録キー、再生キーなどが設けられている。ユーザは、入力部1に対する入力操作により、ファイル処理装置100の動作を制御することができる。
電源キーは、ファイル処理装置100の電源オン/オフを指示するためのキーである。電源キーが押下されると、電源キーの押下がサブ制御モジュール2の入力検出モジュール21により検出され、サブ制御モジュール2の電源制御モジュール23が電源部8に対して電源オン/オフの切り替えを通知する。電源部8は、電源オフ状態であれば電源をオンし、電源オン状態であれば電源をオフする。
光ディスクドライブ部6は、例えば複数の光ディスクドライブにより構成され、1又は複数の光ディスクに対してデータを記録したり、1又は複数の光ディスクに記録されたデータを読み出したりすることができる。第1及び第2の実施形態では、一例として、マガジン61に格納された複数の光ディスクに対する記録再生について説明する。例えば、マガジン61は、複数の光ディスク(ストレージS1〜S5)を格納する。
入出力制御モジュール33は、外部から提供される1又は複数のファイルを受け取り、例えば、HDDドライブ部7へ出力する。これにより、HDDドライブ部7は、外部から提供される1又は複数のファイルをハードディスクへ記録することができる。また、入出力制御モジュール33は、外部から提供される1又は複数のファイルを受け取り、光ディスクドライブ部6へ出力することもできる。これにより、光ディスクドライブ部6は、外部から提供される1又は複数のファイルを1又は複数のストレージへ記録することができる。さらに、入出力制御モジュール33は、ハードディスクに記録された1又は複数のファイルを受け取り、光ディスクドライブ部6へ出力することもできる。これにより、光ディスクドライブ部6は、ハードディスクに記録された1又は複数のファイルを1又は複数のストレージへ記録することができる。
以下、第1及び第2の実施形態について順に説明する。第1の実施形態では、ファイルの分割記録について説明する。第2の実施形態では、分割記録ファイルの復元、再生について説明する。
(第1の実施形態)
図2は、第1の実施形態に係る並列接続された複数(例えばn+1個)のストレージへのデータ記録例を示す図である。
図2は、第1の実施形態に係る並列接続された複数(例えばn+1個)のストレージへのデータ記録例を示す図である。
File Nは、分割されていないファイル(非分割ファイル)、File N_Mは、ファイルNを複数に分割して生成された複数の分割ファイルのうちのM個目の分割ファイルを示す。以下、5つの並列接続された光ディスク(ストレージS1〜S5)と、処理対象となる8つのファイル(図3に示すFile1-8)を想定し、分割記録について説明する。
ハードディスクで用いられるRAID機能において処理対象ファイルの並列記録を行う場合、図4に示すようなファイルデータとParity(パリティ)を組み合わせた記録方式が利用される。このような記録方式を用いることで、複数のストレージに対して、ファイルの記録・再生処理を並列に行うことが可能となり、並列配置されるドライブの台数に従い、記録・再生速度を向上することが可能となる。また、Parityを利用することにより、ストレージの一部に問題が発生した場合でもファイルの復元が可能となる。
上記記録方式においては、ファイルを再生するために全てのストレージが必要となり、1つのストレージからは何一つファイルを再生することができない。災害などの発生により、全ストレージのうちの一部のストレージが破損または紛失した場合において、残ったストレージから可能な限り多くのファイルを復元したいと言う要望がある。特に、光ディスクによるアーカイブ装置の技術分野において上記要望は多い。図4に示す記録方式で上記要望を満たすことは容易ではない。一般的に知られているアーカイブ装置は、並列接続された複数のストレージを1つのストレージ装置と認識し、記録及び再生処理を行う。例えば、アーカイブ装置は、並列接続された複数のストレージに複数のファイルをまとめて並列記録したり、複数のストレージから複数のファイルをまとめて再生したりする。
例えば、図5に示すように、データを一切分割せずに記録する記録方式が考えられ、この記録方式によれば、上記要望を満たすことができる。複数の装置での並列記録処理においてOuter/Innerでの記録・再生速度差をなくすために複数の装置で記録するデータサイズを均一にする手法がとられる。ところが、この場合、図5に示す記録方式では、データの前後に付加される余分な領域(図5に示す「Pad」)を多く用意しなければならず、記録容量を無駄に消費してしまう。
また、装置を並列接続しているにもかかわらず、それぞれ1つのファイルの記録・再生にかかる時間が1台の装置で記録・再生した場合にかかる時間と同等となってしまう。
図6〜図11を参照して説明する分割記録によれば、効率よく効果的にファイルを記録することができる。
並列処理による記録・再生時間の短縮対象としたいファイルの最小ファイルサイズを「閾値」と呼ぶこととする。例えば、ファイル処理モジュール32が、閾値を管理し、ユーザからの指示(入力部1からの入力)に応じて、閾値を変更する。図3に示す処理対象となる8つのファイル(File1-8)のうちの、例えば、File1-7が、閾値未満のファイルサイズであり、File8が閾値以上のファイルサイズであると仮定する。閾値未満のファイルサイズであるFile1〜7を第1の処理対象ファイルと定義し、閾値以上のファイルサイズであるFile8を第2の処理対象ファイルと定義する。
ファイル処理モジュール32は、処理対象となる8つのファイルサイズを検出し、これら8つのファイルを第1又は第2の処理対象ファイルに分類する。つまり、図6に示すように、ファイル処理モジュール32は、File1-7とFile8とに分類する。閾値未満のファイルサイズのファイルをまとめたものを「閾値未満ファイル群」又は単に「ファイル群」と呼ぶこととする(図6上部のファイル群)。
ファイル処理モジュール32は、並列記録を行うため閾値未満ファイル群と閾値以上のファイルサイズを持つファイルとを、それぞれ並列接続された光ディスクの枚数以下に分割する。例えば、ファイル処理モジュール32は、並列接続されたストレージS1〜S5を記録先とし、閾値未満ファイル群を4つの均等サイズに分割し、また閾値以上のファイルサイズを持つファイルも4つの均等サイズに分割する(図7参照)。なお、上記した均等サイズ分割とは、完全な均等サイズ分割ではなく、実際には数バイト程度の差分が生じる。この分割により、図5を参照して説明したPadを十分に小さいサイズにすることができる。つまり、Padを上記差分を埋め合わせるだけのサイズにすることができる。
上記したように、ファイル処理モジュール32は、閾値未満ファイル群を4つの均等サイズに分割し、4つの分割ファイルを生成する。これら4つの分割ファイルの夫々を第1の分割ファイルと定義する。また、ファイル処理モジュール32は、閾値以上のファイルサイズを持つファイルも4つの均等サイズに分割し、4つの分割ファイルを生成する。これら4つの分割ファイルの夫々を第2の分割ファイルと定義する。
図7に示すように、File1とFile2とFile3_1により第1の分割ファイルが構成される。また、File3_2とFile4により第1の分割ファイルが構成される。また、File5とFile6_1により第1の分割ファイルが構成される。また、File6_2とFile7により第1の分割ファイルが構成される。さらに、File8_1、File8_2、File8_3、File8_4の夫々が、第2の分割ファイルである。
さらに、ファイル処理モジュール32は、1つの第1の分割ファイルと1つの第2の分割ファイルとを組み合わせて、4組の組み合わせファイルを構成する。各組み合わせファイルを「ファイルイメージ」と呼ぶこととする(図8参照)。なお、各組み合わせファイルを「ファイルフォーマット」と呼ぶこともできる。第1のファイルイメージ(第1のファイルフォーマット)は、File1、File2、File3_1、File8_1で構成され、第2のファイルイメージ(第2のファイルフォーマット)は、File3_2、File4、File8_2)で構成され、第3のファイルイメージ(第3のファイルフォーマット)は、File5、File6_1、File8_3で構成され、第4のファイルイメージ(第4のファイルフォーマット)は、File6_2、File7、File8_4で構成される。
記録再生制御モジュール31は、これら第1−第4のファイルイメージをストレージS1〜S4に対して並列記録するように制御する。これに対応して、光ディスクドライブ部9は、これら第1−第4のファイルイメージをストレージS1〜S4に対して並列記録する。
また、記録再生制御モジュール31は、ストレージS1〜S4からファイルを並列に読み取るように制御すると、これに対応して、光ディスクドライブ部9は、ストレージS1〜S4から第1−第4のファイルイメージを並列に読み取る。
以上により、閾値以上のファイルサイズを持つファイルについては高速な記録・再生を行うことが可能となる。また、閾値未満のファイルサイズのファイルについては、そのファイルまたはそのファイルの一部を含む1枚あるいは複数枚の光ディスクに問題が発生しない限り、そのファイルを含まない他の光ディスクに問題が発生したとしても、そのファイルを復元、再生することが可能となる。
また、ファイル処理モジュール32は、全てのファイルイメージから、パリティデータ又はハッシュ情報などのデータを生成する(図9参照)。このパリティデータ又はハッシュ情報などのデータは、いずれかのファイルイメージのデータに問題(誤り)が発生した場合に、誤りを検出し訂正するためのデータである。パリティデータ又はハッシュ情報などのデータを「誤り検出/訂正用データ」と呼ぶこととする。
さらに、ファイル処理モジュール32は、各処理対象ファイル(File1-8)の記録場所等を示すファイル情報及びストレージ構成情報を生成し、ファイルイメージの夫々から、パリティデータ又はハッシュ情報などのデータを生成する。第1のファイルイメージ(File1、File2、File3_1、File8_1)から生成されたパリティデータ又はハッシュ情報などのデータは、第1のファイルイメージに問題(誤り)が発生した場合に、誤りを検出し訂正するためのデータである。ファイル処理モジュール32は、ファイル情報及びストレージ構成情報と、第1のファイルイメージから生成されたパリティデータ又はハッシュ情報などのデータとをまとめて、第1のファイルイメージ用のファイルヘッダ1を生成する。同様にして、ファイル処理モジュール32は、ファイル情報及びストレージ構成情報と、第2のファイルイメージ(File3_2、File4、File8_2)から生成されたパリティデータ又はハッシュ情報などのデータとをまとめて、第2のファイルイメージ用のファイルヘッダ2を生成する。また、ファイル処理モジュール32は、ファイル情報及びストレージ構成情報と、第3のファイルイメージ(File5、File6_1、File8_3)から生成されたパリティデータ又はハッシュ情報などのデータとをまとめて、第3のファイルイメージ用のファイルヘッダ3を生成する。また、ファイル処理モジュール32は、ファイル情報及びストレージ構成情報と、第4のファイルイメージ(File6_2、File7、File8_4)から生成されたパリティデータ又はハッシュ情報などのデータとをまとめて、第4のファイルイメージ用のファイルヘッダ4を生成する。
ファイル処理モジュール32は、ファイルヘッダ1と第1のファイルイメージとを含めて新規の第1のファイルイメージ(新規の第1のファイルフォーマット)を再形成する。同様に、ファイル処理モジュール32は、ファイルヘッダ2と第2のファイルイメージとを含めて新規の第2のファイルイメージ(新規の第2のファイルフォーマット)を再形成し、ファイルヘッダ3と第3のファイルイメージとを含めて新規の第3のファイルイメージ(新規の第3のファイルフォーマット)を再形成し、ファイルヘッダ4と第4のファイルイメージとを含めて新規の第4のファイルイメージ(新規の第4のファイルフォーマット)を再形成する。
また、ファイル処理モジュール32は、誤り検出/訂正用データからも、パリティデータ又はハッシュ情報などのデータを生成する。誤り検出/訂正用データから生成されたパリティデータ又はハッシュ情報などのデータは、誤り検出/訂正用データに問題(誤り)が発生した場合に、誤りを検出し訂正するためのデータである。ファイル処理モジュール32は、上記したファイル情報及びストレージ構成情報と、誤り検出/訂正用データから生成されたパリティデータ又はハッシュ情報などのデータとをまとめて、誤り検出/訂正用データ用のファイルヘッダ5を生成する。
ファイル処理モジュール32は、ファイルヘッダ5と誤り検出/訂正用データとを含めて第5のファイルイメージを形成する。
記録再生制御モジュール31は、上記再形成された第1−第4のファイルイメージ及び上記形成された第5のファイルイメージをストレージS1〜S5に対して並列記録するように制御する。これに対応して、光ディスクドライブ部9は、これら第1−第5のファイルイメージをストレージS1〜S5に対して並列記録する(図10、図11参照)。これにより、ストレージに記録されているデータに問題が発生した場合に、問題の検出または訂正を行うことが可能となる。
以上により、図1に示すファイル処理装置100は、図2に示すように、各ストレージに対してファイルイメージを記録することができる。
ここで、図1に示すファイル処理装置100による分割記録の実現方法についてさらに説明する。例えば、入出力制御モジュール33が、ハードディスクから処理対象となる8つのファイル(File1-8)を読み出し、ファイル処理モジュール32は、これら8つのファイルのファイルサイズを検出する。さらに、ファイル処理モジュール32は、8つのファイルのうちの閾値サイズ未満の複数の第1の処理対象ファイル(File1-7)により構成されるファイル群を生成し、ファイル群(File1-7)を複数に分割して複数の第1の分割ファイルを生成する。また、ファイル処理モジュール32は、8つのファイルのうちの閾値サイズ以上の第2の処理対象ファイル(File8)を複数に分割して複数の第2の分割ファイルを生成する。
例えば、4つのストレージS1〜S4に処理対象ファイル(File1-8)を記録する場合、ファイル処理モジュール32は、ファイル群(File1-7)を4つに分割して4つの第1の分割ファイルを生成し、第2の処理対象ファイル(File8)も4つに分割して4つの第2の分割ファイルを生成する。言い換えれば、ファイル処理モジュール32は、ファイル群を実質的に同一サイズの4ファイルに分割し(例えば第1のサイズ以下の4ファイルに分割し)、第2の処理対象ファイルも実質的に同一サイズの4ファイルに分割する(例えば第2のサイズ以下の4ファイルに分割する)。
なお、第1のサイズは、ファイル群のファイルサイズの1/4サイズであり、第2のサイズは、第2の処理対象ファイルのファイルサイズの1/4サイズである。例えば、ファイル群を250MBずつ4つのファイルに分割しようとしても、ファイル群のファイルサイズや各種条件によっては、250MBより小さいサイズのファイルに分割されてしまうことがある。従って、上記したように、ファイル処理モジュール32は、ファイル群を第1のサイズ以下の4ファイルに分割する。
同様に、第2の処理対象ファイルを50MBずつ4つのファイルに分割しようとしても、第2の処理対象ファイルのファイルサイズや各種条件によっては、50MBより小さいサイズのファイルに分割されてしまうことがある。従って、上記したように、ファイル処理モジュール32は、第2の処理対象ファイルを第2のサイズ以下の4ファイルに分割する。
記録再生制御モジュール31は、1つの第1の分割ファイルと1つの第2の分割ファイルとを組み合わせた複数の組み合わせファイルの夫々を複数の光ディスクへ記録するように制御する。これに対応して、光ディスクドライブ6は、複数の組み合わせファイルの夫々を複数の光ディスクへ記録(並列記録)する。
つまり、上記説明したように、光ディスクドライブ6は、第1のファイルイメージ(File1、File2、File3_1、File8_1)をストレージS1へ記録し、第2のファイルイメージ(File3_2、File4、File8_2)をストレージS2へ記録し、第3のファイルイメージ(File5、File6_1、File8_3)をストレージS3へ記録し、第4のファイルイメージ(File6_2、File7、File8_4)をストレージS4へ記録する。
また、上記説明したように、ファイル処理モジュール32は、複数の組み合わせファイルの夫々を複数の光ディスクへ記録したことを示す管理情報(ファイルヘッダ)を生成し、記録再生制御モジュール31は、各光ディスクに対して、管理情報を記録するように制御する。これに対応して、光ディスクドライブ6は、管理情報を各光ディスクへ記録(並列記録)する。
例えば、管理情報は、第1のファイルイメージを構成するFile1、File2、File3_1、File8_1がストレージS1のどこに記録されているかを示す情報(メディアID、アドレス、レングスなど)、第2のファイルイメージを構成するFile3_2、File4、File8_2がストレージS2のどこに記録されているかを示す情報(メディアID、アドレス、レングスなど)、第3のファイルイメージを構成するFile5、File6_1、File8_3がストレージS3のどこに記録されているかを示す情報(メディアID、アドレス、レングスなど)、第4のファイルイメージを構成するFile6_2、File7、File8_4がストレージS4のどこに記録されているかを示す情報(メディアID、アドレス、レングスなど)を含む。
なお、上記したように、例えば、ファイル処理モジュール32は、第1のファイルイメージと管理情報から新規の第1のファイルイメージを再形成し、第2のファイルイメージと管理情報から新規の第2のファイルイメージを再形成し、第3のファイルイメージと管理情報から新規の第3のファイルイメージを再形成し、第4のファイルイメージと管理情報から新規の第4のファイルイメージを再形成し、光ディスクドライブ6が、再形成された新規の第1−第4のファイルイメージをストレージS1〜S4へ記録する。
さらに、上記したように、例えば、ファイル処理モジュール32は、第1−第4のファイルイメージから、パリティデータ又はハッシュ情報などのデータを生成し、光ディスクドライブ6が、生成されたパリティデータ又はハッシュ情報などのデータをストレージS5へ記録する。また、光ディスクドライブ6は、上記した管理情報とともに、パリティデータ又はハッシュ情報などのデータをストレージS5へ記録することもできる。
以下、第1の実施形態についてまとめる。
(1)ファイル処理装置100は、記録及び再生対象(処理対象)となるファイルのサイズに基づき、所定条件を満たす複数のファイルをまとめてファイル群を生成し、ファイル群を分割し、複数の分割ファイルを生成し、複数の分割ファイルを複数のストレージで並列に記録する。また、ファイル処理装置100は、複数のストレージから複数の分割ファイルを再生する。これにより、記録及び再生速度の高速化が可能となる。
(2)ファイル処理装置100は、ファイルサイズにより分割方法を変更する。例えば、ファイル処理装置100は、閾値未満のサイズの複数のファイルをまとめてファイル群を生成し、ファイル群を所定数且つ実質的に均等サイズに分割し、複数の第1の分割ファイルを生成し、また、閾値以上のサイズのファイルも所定数且つ実質的に均等サイズに分割し、複数の第2の分割ファイルを生成する。ファイル処理装置100は、第1の分割ファイルと第2の分割ファイルとを組み合わせた複数の組み合わせファイルを、複数のストレージへ記録する。また、ファイル処理装置100は、複数のストレージから、複数の組み合わせファイルを再生する。なお、ファイル処理装置100は、閾値の変更を受け付ける。
これにより、記録及び再生速度の向上が可能となる。また、記録データの前後に付加される余分な領域(Padding領域)の削減が可能となる。また、実質的に分割されずに記録されたファイル(File1、2、4、5、7)については、1つのストレージから再生できる。例えば、ファイル処理装置100は、ストレージS2〜S5が無くとも、ストレージS1からFile1、2を再生できる。さらに、実質的に分割され記録されたファイル(File3、6)であっても、全てのストレージが入手できなくても、一部の複数枚のストレージから再生できる。例えば、ファイル処理装置100は、ストレージS1、S2からFile3を復元し再生できるし、ストレージS4、S5からFile6を復元し再生することができる。
上記説明したように、第1の実施形態では、ファイル処理装置100は、処理対象ファイルのファイルサイズに着目し、ファイルの分割方法を選択するというものである。上記したように、ファイル処理装置100は、閾値以上のファイルサイズのファイルを均等に分割し並列接続された記憶媒体に対し並列に書き込み、また読み出す。このため、記録速度を向上することができる。また、ファイル処理装置100は、閾値未満の複数のファイルをまとめてファイル群を生成し、ファイル群を均等に分割し並列接続された記憶媒体に対して並列に書き込み、また読み出す。このため、記録速度を向上できるし、記録データの前後に付加される余分な領域も十分に小さくすることができる。
さらに、ファイル処理装置100は、誤り検出・訂正機能も備え、上記したように、第1−第4のファイルイメージに対する誤り検出/訂正用データを生成し、第1−第4のファイルイメージをストレージS1〜S4へ記録し、誤り検出/訂正用データをストレージS5へ記録する。ファイル処理装置100は、ストレージS1〜S5のデータを読み取り、第1−第4のファイルイメージの一部に問題(誤り)が発生した場合には、誤り検出/訂正用データに基づき、誤りを検出し、訂正することができる。
上記したように、ファイル処理装置100は、上記分割記録を実行することにより、1つのストレージから可能な限り多くのファイルを再生可能にすることができる。
(第2の実施形態)
一般的に知られているアーカイブ装置は、並列接続された複数のストレージを1つのストレージ装置と認識し、記録及び再生処理を行う。そのため災害などが発生し、並列接続された複数のストレージのうちの一部のストレージ(1又は2以上のストレージ)に破損、離散、紛失などが発生した場合、残されたストレージ(1又は2以上のストレージ)からファイルを再生することが難しい。
一般的に知られているアーカイブ装置は、並列接続された複数のストレージを1つのストレージ装置と認識し、記録及び再生処理を行う。そのため災害などが発生し、並列接続された複数のストレージのうちの一部のストレージ(1又は2以上のストレージ)に破損、離散、紛失などが発生した場合、残されたストレージ(1又は2以上のストレージ)からファイルを再生することが難しい。
残されたストレージから可能な限りデータを復元したいという要望がある。アーカイブ装置の技術分野において上記要望は多い。第1の実施形態で説明したように、ファイル処理装置100は、複数のストレージに対して複数の分割ファイルを記録し、また、各ストレージに対してヘッダを記録する。ヘッダは、どのストレージのどの位置にどのようなデータ(分割ファイル)が記録されているかを示す情報を含む。ファイル処理装置100は、一部のストレージ(1又は2以上のストレージ)からヘッダを読み取り、ヘッダを解析することにより、一部のストレージから可能な限りファイルを復元し再生することができる。
第2の実施形態で説明する分割記録されたファイルの復元、再生は、分割記録したファイル処理装置100でも実現できるし、ファイル処理装置100以外の種々の再生装置100’(汎用コンピュータ)で実現することができる(図12参照)。
分割記録されたファイルの復元のために一部のストレージ(例えば2以上のストレージ)をファイル処理装置100又は再生装置100’に接続する場合、一部のストレージをまとめて並列に接続してもよいし、1枚ずつ接続してもよい。また、一部のストレージをファイル処理装置100又は再生装置100’に接続する順番に限定はなく、どのストレージから接続してもよい。
図2を参照し、分割記録されたファイルの復元、再生について説明する。複数のファイルを1つのファイルにまとめたものを「ファイル群」と定義する。ファイルイメージ、ファイルヘッダは第1の実施形態で説明した通りである。
第2の実施形態では、第1の実施形態で説明した分割記録を前提として、ファイルの復元、再生について説明する。つまり、図11に示すように、ストレージS1〜S4に対して、実質的に分割されずに記録されたファイル(File1、2、4、5、7)と、実質的に分割され記録されたファイル(File3、6)とが混在記録されたケースを想定する。また、ストレージS5には、パリティデータやハッシュ情報などの誤り検出/訂正用データが記録されたケースを想定する。さらに、ストレージS1〜S5にファイルヘッダ1−5が記録されたケースを想定する。
ファイルヘッダ1−5は、以下の情報を含む。
(1)全ストレージに記録されたファイルの情報(ストレージS1〜S5に記録された全ファイルの境界情報(アドレス、レングス)および誤り検出/訂正用データ)
(2)全ストレージの情報(ストレージS1〜S5が1ストレージセットで、ストレージS1〜S4に分割ファイルが記録され、ストレージS5に誤り検出/訂正用データが記録されていることを示す情報)
(3)全ファイルの情報(対象ファイル数及び各ファイルの属性情報)
(4)分割ファイルの情報(どのファイルがいくつに分割されているか、各ファイルイメージに含まれているファイルは何番目の分割ファイルかを示す情報)
ファイル処理装置100は、ファイルヘッダを参照し、一部のストレージからでも、可能な限りデータを復元し再生することができる。
(2)全ストレージの情報(ストレージS1〜S5が1ストレージセットで、ストレージS1〜S4に分割ファイルが記録され、ストレージS5に誤り検出/訂正用データが記録されていることを示す情報)
(3)全ファイルの情報(対象ファイル数及び各ファイルの属性情報)
(4)分割ファイルの情報(どのファイルがいくつに分割されているか、各ファイルイメージに含まれているファイルは何番目の分割ファイルかを示す情報)
ファイル処理装置100は、ファイルヘッダを参照し、一部のストレージからでも、可能な限りデータを復元し再生することができる。
例えば、ファイル処理装置100が、ストレージS4、ストレージS3、ストレージS1、ストレージS5の順にストレージを接続し処理するケースについて説明する。
(1)ストレージS4の接続
ファイル処理装置100の記録再生制御モジュール31は、ストレージS4から第4のファイルイメージを読み取り、ファイル処理モジュール32は、第4のファイルイメージからファイルヘッダ4を取得し、ファイルヘッダ4を解析し、File7が分割されずに格納されている非分割ファイルであると判定する。これにより、ファイル処理モジュール32は、第4のファイルイメージからFile7を復元し、再生することができる。
ファイル処理装置100の記録再生制御モジュール31は、ストレージS4から第4のファイルイメージを読み取り、ファイル処理モジュール32は、第4のファイルイメージからファイルヘッダ4を取得し、ファイルヘッダ4を解析し、File7が分割されずに格納されている非分割ファイルであると判定する。これにより、ファイル処理モジュール32は、第4のファイルイメージからFile7を復元し、再生することができる。
また、ファイル処理モジュール32は、ファイルヘッダ4を解析し、File6が2つに分割されていること、File8が4つに分割されてていること、また、ストレージS4にはFile6_2(File6の2番目)とFile8_4(File6の4番目)が格納されていることを検出する。
上記したように、ファイル処理装置100が、ストレージS4だけを処理する場合、File7を復元、再生することができる。さらに、ファイル処理装置100が、他のストレージを処理することにより、File6、File8を復元、再生することができる場合がある。
(2)ストレージS3の接続
ファイル処理装置100の記録再生制御モジュール31は、ストレージS3から第3のファイルイメージを読み取り、ファイル処理モジュール32は、第3のファイルイメージからファイルヘッダ3を取得し、ファイルヘッダ3を解析し、File5が分割されずに格納されている非分割ファイルであると判定する。これにより、ファイル処理モジュール32は、第3のファイルイメージからFile5を復元し、再生することができる。
ファイル処理装置100の記録再生制御モジュール31は、ストレージS3から第3のファイルイメージを読み取り、ファイル処理モジュール32は、第3のファイルイメージからファイルヘッダ3を取得し、ファイルヘッダ3を解析し、File5が分割されずに格納されている非分割ファイルであると判定する。これにより、ファイル処理モジュール32は、第3のファイルイメージからFile5を復元し、再生することができる。
また、ファイル処理モジュール32は、ファイルヘッダ3を解析し、File6が2つに分割されていること、File8が4つに分割されてていること、また、ストレージS3にはFile6_1(File6の1番目)とFile8_3(File6の3番目)が格納されていることを検出する。
ファイル処理モジュール32は、既に読み取った第4のファイルイメージに含まれたFile6_2と、今回読み取った第3のファイルイメージに含まれたFile6_1とをマージし、File6を復元、再生することができる。
上記したように、ファイル処理装置100が、ストレージS4、S3を処理する場合、File5、File6、File7を復元、再生することができる。さらに、ファイル処理装置100が、他のストレージを処理することにより、File8を復元、再生することができる場合がある。
(3)ストレージS1の接続
ファイル処理装置100の記録再生制御モジュール31は、ストレージS1から第1のファイルイメージを読み取り、ファイル処理モジュール32は、第1のファイルイメージからファイルヘッダ1を取得し、ファイルヘッダ1を解析し、File1、2が分割されずに格納されている非分割ファイルであると判定する。これにより、ファイル処理モジュール32は、第1のファイルイメージからFile1、2を復元し、再生することができる。
ファイル処理装置100の記録再生制御モジュール31は、ストレージS1から第1のファイルイメージを読み取り、ファイル処理モジュール32は、第1のファイルイメージからファイルヘッダ1を取得し、ファイルヘッダ1を解析し、File1、2が分割されずに格納されている非分割ファイルであると判定する。これにより、ファイル処理モジュール32は、第1のファイルイメージからFile1、2を復元し、再生することができる。
また、ファイル処理モジュール32は、ファイルヘッダ1を解析し、File3が2つに分割されていること、File8が4つに分割されてていること、また、ストレージS1にはFile3_1(File3の1番目)とFile8_1(File8の3番目)が格納されていることを検出する。
上記したように、ファイル処理装置100が、ストレージS4、S3、S1を処理する場合、File1、File2、File5、File6、File7を復元、再生することができる。さらに、ファイル処理装置100が、他のストレージを処理することにより、File3、File8を復元、再生することができる場合がある。
(4)ストレージS5の接続
ファイル処理装置100の記録再生制御モジュール31は、ストレージS5から第5のファイルイメージを読み取り、ファイル処理モジュール32は、第5のファイルイメージからファイルヘッダ5を取得し、ファイルヘッダ5を解析し、パリティデータが格納されていると判定する。これにより、ファイル処理モジュール32は、ファイルヘッダ5を解析し、ストレージS1〜S5で1ストレージセットが構成されていることを検出し、既に、ストレージS1、S3、S4、S5のデータを取得済みであるため、パリティデータを使用して未処理のストレージS2のデータを復元可能と判定する。
ファイル処理装置100の記録再生制御モジュール31は、ストレージS5から第5のファイルイメージを読み取り、ファイル処理モジュール32は、第5のファイルイメージからファイルヘッダ5を取得し、ファイルヘッダ5を解析し、パリティデータが格納されていると判定する。これにより、ファイル処理モジュール32は、ファイルヘッダ5を解析し、ストレージS1〜S5で1ストレージセットが構成されていることを検出し、既に、ストレージS1、S3、S4、S5のデータを取得済みであるため、パリティデータを使用して未処理のストレージS2のデータを復元可能と判定する。
ファイル処理モジュール32は、ストレージS1、S3、S4から取得したデータと、ストレージS5から取得したパリティデータとに基づき、ストレージS2に格納されているFile4、File3_2、File8_2を復元し、File4を再生し、復元済みのFile3_1と今回復元したFile3_2からFile3を復元、再生することができ、また、復元済みのFile8_1、File8_3、File8_4と今回復元したFile8_2からFile8を復元、再生することができる。
以上により、ファイル処理装置100、File1-8の全てを復元、再生することができる。
上記したように、パリティデータを格納したストレージS5が存在し、ストレージS5に格納されたパリティデータが取得できれば、ストレージS1〜S4のうちの3つのストレージに格納されたデータが取得できれば、残り1つのストレージに格納されたデータを復元、再生することができる。つまり、全ストレージより1つ少ないストレージからデータが取得できれば、全ストレージのデータを復元、再生することができる。
また、パリティデータを格納したストレージS5が存在しなくても、ストレージS1〜S4から順不同でデータを取得することができれば、ストレージS1〜S4に格納されたデータを復元、再生することができる。
また、一部のストレージからしかデータを取得できない場合でも、上記説明したように、可能な限りデータを復元、再生することができる。
即ち、ファイル処理装置100又は再生装置100’は、一部のストレージのデータが取得できない場合でも、入手できた1又は複数のストレージから、可能な限りファイルを復元、再生することができる。例えば、災害などによりストレージがばらばらに離散し、全ストレージの構成が不明となってしまっても、入手できた1又は複数のストレージから、可能な限りファイルを復元、再生することができる。しかも、入手できた1又は複数のストレージの処理順序は制限されないため、使い勝手も良い。
以下、第2の実施形態についてまとめる。
(1)ファイル処理装置100は、第1の実施形態で説明したように、ヘッダデータ(管理情報)を付加した複数のファイルフォーマットを生成し、これら複数のファイルフォーマットを複数のストレージに記録する。これにより、ファイル処理装置100又は再生装置100’は、複数のストレージの全てが揃わなくとも、少なくとも1つのストレージからヘッダデータを取得することにより、一部のストレージ(1又は2以上のストレージ)から、可能な限りファイルを復元、再生することができる。
例えば、ファイル処理装置100は、5つのストレージのうちの、2つのストレージのうちの少なくとも1つのストレージからファイルヘッダ(管理情報)を読み出し、ファイルヘッダに基づき、2つのストレージの夫々に分割して記録された第1、第2の分割ファイルを読み出して、第1、第2の分割ファイルから元ファイルを復元し、元ファイルを再生することができる。
また、ファイル処理装置100は、5つのストレージのうちの、3つのストレージのうちの少なくとも1つのストレージからファイルヘッダ(管理情報)を読み出し、ファイルヘッダに基づき、3つのストレージの夫々に分割して記録された第1、第2、及び第3の分割ファイルを読み出して、第1、第2、及び第3の分割ファイルから元ファイルを復元し、元ファイルを再生することができる。
また、ファイル処理装置100は、5つのストレージのうちの、4つのストレージのうちの少なくとも1つのストレージからファイルヘッダ(管理情報)を読み出し、ファイルヘッダに基づき、4つのストレージの夫々に分割して記録された第1、第2、第3、及び第4の分割ファイルを読み出して、第1、第2、第3、及び第4の分割ファイルから元ファイルを復元し、元ファイルを再生することができる。
さらに、第2の実施形態の構成についてまとめる。
(1)ファイル処理装置は、処理対象記憶媒体から情報を読み取る読取手段と、読み取られた管理情報に基づき、前記処理対象記憶媒体に記録された複数のファイルのうち、他の記憶媒体に分割して記録されていない非分割ファイルを再生する再生手段と、を備える。
(2)さらに、ファイル処理装置の前記読取手段は、第1及び第2の処理対象記憶媒体から情報を読み取り、前記再生手段は、前記第1及び第2の処理対象記憶媒体のうちの少なくとも一方から読み取られた前記管理情報に基づき、前記第1の処理対象記憶媒体に記録された複数のファイルのうち、他の記憶媒体に分割して記録されていない非分割ファイルを再生し、前記第2の処理対象記憶媒体に記録された複数のファイルのうち、他の記憶媒体に分割して記録されていない非分割ファイルを再生し、さらに、前記第1及び第2の処理対象記憶媒体に分割して記録された二つの分割ファイルを再生する。
(3)さらに、ファイル処理装置の前記再生手段は、前記管理情報に基づき、前記第1の処理対象記憶媒体から読み出された前記分割ファイルの一方と、前記第2の処理対象記憶媒体から読み出された前記分割ファイルの他方から、元ファイルを復元し、前記元ファイルを再生する。
(4)さらに、ファイル処理装置の前記読取手段は、前記第1及び第2の処理対象記憶媒体から並列に情報を読み取る。
(5)さらに、前記読取手段は、5つの処理対象記憶媒体のうちの、第1、第2、第3、及び第4の処理対象記憶媒体から情報を読み取り、前記再生手段は、元ファイルを4つに分割して生成された第1、第2、第3、及び第4の分割ファイルの個々が記録された前記第1、第2、第3、及び第4の処理対象記憶媒体のうちの少なくとも一つから読み取られた前記管理情報に基づき、前記第1、第2、第3、及び第4の処理対象記憶媒体から読み取られた前記第1、第2、第3、及び第4の分割ファイルから前記元ファイルを復元し、前記元ファイルを再生する。
(6)さらに、前記読取手段は、5つの処理対象記憶媒体のうちの、第1、第2、及び第3の処理対象記憶媒体から情報を読み取り、再生手段は、元ファイルを3つに分割して生成された第1、第2、及び第3の分割ファイルの個々が記録された前記第1、第2、及び第3の処理対象記憶媒体のうちの少なくとも一つから読み取られた前記管理情報に基づき、前記第1、第2、及び第3の処理対象記憶媒体から読み取られた前記第1、第2、及び第3の分割ファイルから前記元ファイルを復元し、前記元ファイルを再生する。
(7)また、ファイル処理方法は、処理対象記憶媒体から情報を読み取り、前記読み取られた管理情報に基づき、前記処理対象記憶媒体に記録された複数のファイルのうち、他の記憶媒体に分割して記録されていない非分割ファイルを再生する。
なお、上記したモジュールとは、ハードウェアで実現するものであっても良いし、CPU等を使ってソフトウェアで実現するものであってもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
以下、本願の出願当初の特許請求の範囲に記載された発明を付記する。
(1)
処理対象ファイルのサイズを検出する検出手段と、
前記処理対象ファイルのうちの閾値サイズ未満の複数の第1の処理対象ファイルにより構成されるファイル群を生成するファイル群生成手段と、
前記ファイル群を分割して複数の第1の分割ファイルを生成し、前記処理対象ファイルのうちの前記閾値サイズ以上の第2の処理対象ファイルを分割して複数の第2の分割ファイルを生成する分割ファイル生成手段と、
1つの第1の分割ファイルと1つの第2の分割ファイルとを組み合わせた複数の組み合わせファイルの夫々を複数の記録先へ記録する記録手段と、
を備えたファイル処理装置。
(2)
前記分割ファイル生成手段は、前記ファイル群を所定数に分割して前記所定数の前記第1の分割ファイルを生成し、前記第2の処理対象ファイルを前記所定数に分割して前記所定数の前記第2の分割ファイルを生成する(1)のファイル処理装置。
(3)
前記分割ファイル生成手段は、前記ファイル群を前記記録先の数と同数に分割し、前記第2の処理対象ファイルを前記記録先の数と同数に分割する(2)のファイル処理装置。
(4)
前記分割ファイル生成手段は、前記ファイル群を第1のサイズに分割し、前記第2の処理対象ファイルを第2のサイズに分割する(3)のファイル処理装置。
(5)
前記記録手段は、前記複数の組み合わせファイルの夫々を前記複数の記録先へ記録したことを示す管理情報を、各記録先へ記録する(1)乃至(4)の何れか1に記載のファイル処理装置。
(6)
前記記録手段は、前記複数の第1の分割ファイルの記録先を示す情報を含む前記管理情報を、各記録先へ記録する(5)に記載のファイル処理装置。
(7)
前記記録手段は、前記複数の第2の分割ファイルの記録先を示す情報を含む前記管理情報を、各記録先へ記録する(6)に記載のファイル処理装置。
(8)
前記記録手段は、前記複数の組み合わせファイルの夫々を前記複数の記録先へ並列記録する(1)乃至(7)の何れか1に記載のファイル処理装置。
(9)
前記記録手段は、前記複数の記録先に記録された複数の組み合わせファイルに対する誤り検出用データを、さらに別の記録先へ記録する(1)乃至(8)の何れか1に記載のファイル処理装置。
(10)
処理対象ファイルのサイズを検出し、
前記処理対象ファイルのうちの閾値サイズ未満の複数の第1の処理対象ファイルにより構成されるファイル群を生成し、
前記ファイル群を分割して複数の第1の分割ファイルを生成し、前記処理対象ファイルのうちの前記閾値サイズ以上の第2の処理対象ファイルを分割して複数の第2の分割ファイルを生成し、
1つの第1の分割ファイルと1つの第2の分割ファイルとを組み合わせた複数の組み合わせファイルの夫々を複数の記録先へ記録するファイル処理方法。
以下、本願の出願当初の特許請求の範囲に記載された発明を付記する。
(1)
処理対象ファイルのサイズを検出する検出手段と、
前記処理対象ファイルのうちの閾値サイズ未満の複数の第1の処理対象ファイルにより構成されるファイル群を生成するファイル群生成手段と、
前記ファイル群を分割して複数の第1の分割ファイルを生成し、前記処理対象ファイルのうちの前記閾値サイズ以上の第2の処理対象ファイルを分割して複数の第2の分割ファイルを生成する分割ファイル生成手段と、
1つの第1の分割ファイルと1つの第2の分割ファイルとを組み合わせた複数の組み合わせファイルの夫々を複数の記録先へ記録する記録手段と、
を備えたファイル処理装置。
(2)
前記分割ファイル生成手段は、前記ファイル群を所定数に分割して前記所定数の前記第1の分割ファイルを生成し、前記第2の処理対象ファイルを前記所定数に分割して前記所定数の前記第2の分割ファイルを生成する(1)のファイル処理装置。
(3)
前記分割ファイル生成手段は、前記ファイル群を前記記録先の数と同数に分割し、前記第2の処理対象ファイルを前記記録先の数と同数に分割する(2)のファイル処理装置。
(4)
前記分割ファイル生成手段は、前記ファイル群を第1のサイズに分割し、前記第2の処理対象ファイルを第2のサイズに分割する(3)のファイル処理装置。
(5)
前記記録手段は、前記複数の組み合わせファイルの夫々を前記複数の記録先へ記録したことを示す管理情報を、各記録先へ記録する(1)乃至(4)の何れか1に記載のファイル処理装置。
(6)
前記記録手段は、前記複数の第1の分割ファイルの記録先を示す情報を含む前記管理情報を、各記録先へ記録する(5)に記載のファイル処理装置。
(7)
前記記録手段は、前記複数の第2の分割ファイルの記録先を示す情報を含む前記管理情報を、各記録先へ記録する(6)に記載のファイル処理装置。
(8)
前記記録手段は、前記複数の組み合わせファイルの夫々を前記複数の記録先へ並列記録する(1)乃至(7)の何れか1に記載のファイル処理装置。
(9)
前記記録手段は、前記複数の記録先に記録された複数の組み合わせファイルに対する誤り検出用データを、さらに別の記録先へ記録する(1)乃至(8)の何れか1に記載のファイル処理装置。
(10)
処理対象ファイルのサイズを検出し、
前記処理対象ファイルのうちの閾値サイズ未満の複数の第1の処理対象ファイルにより構成されるファイル群を生成し、
前記ファイル群を分割して複数の第1の分割ファイルを生成し、前記処理対象ファイルのうちの前記閾値サイズ以上の第2の処理対象ファイルを分割して複数の第2の分割ファイルを生成し、
1つの第1の分割ファイルと1つの第2の分割ファイルとを組み合わせた複数の組み合わせファイルの夫々を複数の記録先へ記録するファイル処理方法。
100…ファイル処理装置、1…入力部、2…サブ制御モジュール、3…メイン制御モジュール、4…表示部、5…メモリ、6…光ディスクドライブ部、7…HDD(ハードディスクドライブ)部7、8…電源部
Claims (7)
- 処理対象ファイルのサイズを検出する検出手段と、
前記処理対象ファイルのうちの閾値サイズ未満の複数の第1の処理対象ファイルにより構成されるファイル群を生成するファイル群生成手段と、
前記ファイル群を分割して複数の第1の分割ファイルを生成し、前記処理対象ファイルのうちの前記閾値サイズ以上の第2の処理対象ファイルを分割して複数の第2の分割ファイルを生成する分割ファイル生成手段と、
1つの第1の分割ファイルと1つの第2の分割ファイルとを組み合わせた複数の組み合わせファイルの夫々を複数の記録先としての複数のストレージへ記録する記録手段と、
を備え、
前記分割ファイル生成手段は、前記ファイル群を前記複数のストレージの数と同数に分割し、前記第2の処理対象ファイルを前記複数のストレージの数と同数に分割し、
前記記録手段は、前記複数のストレージの数と同数の組み合わせファイルの夫々を複数のストレージへ記録し、前記複数の組み合わせファイルの夫々の記録先を示す管理情報を各ストレージへ記録するファイル処理装置。 - 前記分割ファイル生成手段は、前記ファイル群を第1のサイズで前記複数のストレージの数と同数に分割し、前記第2の処理対象ファイルを第2のサイズで前記複数のストレージの数と同数に分割する請求項1のファイル処理装置。
- 前記記録手段は、前記複数の第1の分割ファイルの記録先のストレージを示す情報を含む前記管理情報を、各ストレージへ記録する請求項1又は2のファイル処理装置。
- 前記記録手段は、前記複数の第2の分割ファイルの記録先のストレージを示す情報を含む前記管理情報を、各ストレージへ記録する請求項1乃至3の何れか1に記載のファイル処理装置。
- 前記記録手段は、前記複数の組み合わせファイルの夫々を前記複数のストレージへ並列記録する請求項1乃至4の何れか1に記載のファイル処理装置。
- 前記記録手段は、前記複数のストレージに記録された複数の組み合わせファイルに対する誤り検出用データを、さらに別のストレージへ記録する請求項1乃至5の何れか1に記載のファイル処理装置。
- ファイル処理装置で実行されるファイル処理方法であって、
前記ファイル処理装置の検出手段は、処理対象ファイルのサイズを検出し、
前記ファイル処理装置のファイル群生成手段は、前記処理対象ファイルのうちの閾値サイズ未満の複数の第1の処理対象ファイルにより構成されるファイル群を生成し、
前記ファイル処理装置の分割ファイル生成手段は、前記ファイル群を分割して複数の第1の分割ファイルを生成し、前記処理対象ファイルのうちの前記閾値サイズ以上の第2の処理対象ファイルを分割して複数の第2の分割ファイルを生成し、
前記ファイル処理装置の記録手段は、1つの第1の分割ファイルと1つの第2の分割ファイルとを組み合わせた複数の組み合わせファイルの夫々を複数の記録先としての複数のストレージへ記録し、
前記分割ファイル生成手段は、前記ファイル群を前記複数のストレージの数と同数に分割し、前記第2の処理対象ファイルを前記複数のストレージの数と同数に分割し、
前記記録手段は、前記複数のストレージの数と同数の組み合わせファイルの夫々を複数のストレージへ記録し、前記複数の組み合わせファイルの夫々の記録先を示す管理情報を各ストレージへ記録するファイル処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011250055A JP5248669B2 (ja) | 2011-11-15 | 2011-11-15 | ファイル処理装置及びファイル処理方法 |
US13/612,409 US20130124585A1 (en) | 2011-11-15 | 2012-09-12 | File processing apparatus and file processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011250055A JP5248669B2 (ja) | 2011-11-15 | 2011-11-15 | ファイル処理装置及びファイル処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013105397A JP2013105397A (ja) | 2013-05-30 |
JP5248669B2 true JP5248669B2 (ja) | 2013-07-31 |
Family
ID=48281660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011250055A Expired - Fee Related JP5248669B2 (ja) | 2011-11-15 | 2011-11-15 | ファイル処理装置及びファイル処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20130124585A1 (ja) |
JP (1) | JP5248669B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2793130B1 (en) * | 2010-12-27 | 2015-12-23 | Amplidata NV | Apparatus for storage or retrieval of a data object on a storage medium, which is unreliable |
US9372643B2 (en) * | 2013-04-12 | 2016-06-21 | International Business Machines Corporation | Data set management |
JP2015094976A (ja) * | 2013-11-08 | 2015-05-18 | 富士通株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
KR102312632B1 (ko) | 2014-06-11 | 2021-10-15 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 파일 저장 방법 |
US9934287B1 (en) * | 2017-07-25 | 2018-04-03 | Capital One Services, Llc | Systems and methods for expedited large file processing |
CN109816527B (zh) * | 2019-01-25 | 2022-07-15 | 网联清算有限公司 | 对账文件处理方法、装置、计算机设备及存储介质 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0991230A (ja) * | 1995-09-26 | 1997-04-04 | Matsushita Electric Ind Co Ltd | データ転送システム |
JP3817339B2 (ja) * | 1997-06-26 | 2006-09-06 | 株式会社日立製作所 | ファイル入出力制御方法 |
US6415373B1 (en) * | 1997-12-24 | 2002-07-02 | Avid Technology, Inc. | Computer system and process for transferring multiple high bandwidth streams of data between multiple storage units and multiple applications in a scalable and reliable manner |
JP2001056775A (ja) * | 1999-08-18 | 2001-02-27 | Fujitsu Ltd | 計算機システム及びプログラム記録媒体 |
US20040133606A1 (en) * | 2003-01-02 | 2004-07-08 | Z-Force Communications, Inc. | Directory aggregation for files distributed over a plurality of servers in a switched file system |
JP2004078974A (ja) * | 2003-08-28 | 2004-03-11 | Hitachi Ltd | データ格納制御方法およびデータ処理システム |
JP4413635B2 (ja) * | 2004-01-29 | 2010-02-10 | 日本電信電話株式会社 | 分散格納装置 |
JP4666577B2 (ja) * | 2004-11-16 | 2011-04-06 | 大日本印刷株式会社 | データ保管制御システム |
US8260831B2 (en) * | 2006-03-31 | 2012-09-04 | Netapp, Inc. | System and method for implementing a flexible storage manager with threshold control |
JP2010191903A (ja) * | 2009-02-20 | 2010-09-02 | Hitachi Ltd | 分散ファイルシステムのストライピング種別選択方法及びその分散ファイルシステム |
-
2011
- 2011-11-15 JP JP2011250055A patent/JP5248669B2/ja not_active Expired - Fee Related
-
2012
- 2012-09-12 US US13/612,409 patent/US20130124585A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20130124585A1 (en) | 2013-05-16 |
JP2013105397A (ja) | 2013-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5248669B2 (ja) | ファイル処理装置及びファイル処理方法 | |
JP4441929B2 (ja) | ディスク装置及びホットスワップ方法 | |
JP2006285889A (ja) | データ記憶装置、再構築制御装置、再構築制御方法、プログラム及び記憶媒体 | |
JP2010218194A (ja) | ストレージシステム | |
JP2006236001A (ja) | ディスクアレイ装置 | |
JP2006331076A (ja) | データ記憶システム及び記憶方法 | |
JP4499193B2 (ja) | 記録再生装置及び記録再生方法 | |
JP5586712B2 (ja) | ディスクアレイ制御装置およびディスクアレイ装置 | |
JP2013058172A (ja) | 映像収録再生装置、収録方法及び再構築方法 | |
JP6055262B2 (ja) | 映像記録装置およびそのプログラム | |
JP2013229083A (ja) | データ記録再生装置及びデータライブラリ装置 | |
JP2013105387A (ja) | ファイル処理装置及びファイル処理方法 | |
JP5301666B2 (ja) | データ記録装置、およびオーディオシステム | |
JP2009301148A (ja) | 分配記憶制御システム、分配記憶制御方法、および分配記憶制御プログラム | |
US20130290386A1 (en) | File processing apparatus and file processing method | |
JP2011233186A (ja) | ディスク記憶装置及びデータ復元方法 | |
JP2006003971A (ja) | 冗長化ドライブ群並びにこれを用いた書込み方法及び読出し方法 | |
JP5519573B2 (ja) | 映像処理装置、映像処理方法、および、映像処理プログラム | |
JP7371481B2 (ja) | ストレージ制御装置,ストレージシステム及び制御プログラム | |
JP2009104410A (ja) | データ記録装置,データ記録装置の内部制御方法及びデータ記録システム | |
JP2009055503A (ja) | 再生方法および装置 | |
JP6819869B2 (ja) | ストレージ装置、プログラム、情報処理方法 | |
JP2008228243A (ja) | 映像再生装置およびリビルド処理方法 | |
JP2010267333A (ja) | パリティ機能付きハードディスク装置 | |
JP6225603B2 (ja) | ストレージシステムおよびストレージシステムの制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130410 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160419 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |