JP5413948B2 - ストレージシステム - Google Patents
ストレージシステム Download PDFInfo
- Publication number
- JP5413948B2 JP5413948B2 JP2009015260A JP2009015260A JP5413948B2 JP 5413948 B2 JP5413948 B2 JP 5413948B2 JP 2009015260 A JP2009015260 A JP 2009015260A JP 2009015260 A JP2009015260 A JP 2009015260A JP 5413948 B2 JP5413948 B2 JP 5413948B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- storage
- stored
- fragment
- identification information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000012634 fragment Substances 0.000 claims description 201
- 238000013500 data storage Methods 0.000 claims description 68
- 239000000872 buffer Substances 0.000 claims description 55
- 230000015654 memory Effects 0.000 claims description 54
- 238000012545 processing Methods 0.000 claims description 30
- 238000007726 management method Methods 0.000 claims description 13
- 238000003672 processing method Methods 0.000 claims description 10
- 230000010365 information processing Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 21
- 238000000034 method Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 239000003999 initiator Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0689—Disk arrays, e.g. RAID, JBOD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
- G06F3/0641—De-duplication techniques
Description
複数の記憶手段と、これら複数の記憶手段に対してデータを記憶すると共に当該記憶手段に記憶されているデータを読み出すデータ処理手段と、を備え、
上記データ処理手段は、
記憶要求された一群のデータを区別する識別情報を、当該一群のデータに付与する識別情報付与手段と、
上記一群のデータの一部である記憶対象データを複数に分割して分割データを生成すると共に、この記憶対象データを復元するための冗長データを生成し、上記分割データと上記冗長データとである複数のフラグメントデータからなるデータセットを生成するデータセット生成手段と、
上記データセットを構成する上記各フラグメントデータを分散して、上記各記憶手段に形成された各記憶領域内の同一位置にそれぞれ格納して上記記憶対象データを記憶する分散記憶制御手段と、を備えると共に、
上記分散記憶制御手段は、同一の上記識別情報が付与された上記一群のデータに含まれる複数の上記記憶対象データに対応する複数の上記データセットをそれぞれ構成する上記各フラグメントデータを、上記各記憶領域内における格納位置が連続するよう当該各記憶領域に格納する、
という構成を有する。
複数の記憶手段を備えた情報処理装置に、
上記複数の記憶手段に対してデータを記憶すると共に当該記憶手段に記憶されているデータを読み出すデータ処理手段を実現させるプログラムであり、
上記データ処理手段は、
記憶要求された一群のデータを区別する識別情報を、当該一群のデータに付与する識別情報付与手段と、
上記一群のデータの一部である記憶対象データを複数に分割して分割データを生成すると共に、この記憶対象データを復元するための冗長データを生成し、上記分割データと上記冗長データとである複数のフラグメントデータからなるデータセットを生成するデータセット生成手段と、
上記データセットを構成する上記各フラグメントデータを分散して、上記各記憶手段に形成された各記憶領域内の同一位置にそれぞれ格納して上記記憶対象データを記憶する分散記憶制御手段と、を備え、
上記分散記憶制御手段は、同一の上記識別情報が付与された上記一群のデータに含まれる複数の上記記憶対象データに対応する複数の上記データセットをそれぞれ構成する上記各フラグメントデータを、上記各記憶領域内における格納位置が連続するよう当該各記憶領域に格納する、
という構成を有する。
複数の記憶手段を備えた情報処理装置にて、
上記複数の記憶手段に対してデータを記憶するデータ記憶工程と、当該記憶手段に記憶されているデータを読み出すデータ読み出し工程を有する。
上記データ記憶工程は、
記憶要求された一群のデータを区別する識別情報を、当該一群のデータに付与する識別情報付与工程と、
上記一群のデータの一部である記憶対象データを複数に分割して分割データを生成すると共に、この記憶対象データを復元するための冗長データを生成し、上記分割データと上記冗長データとである複数のフラグメントデータからなるデータセットを生成するデータセット生成工程と、
上記データセットを構成する上記各フラグメントデータを分散して、上記各記憶手段に形成された各記憶領域内の同一位置にそれぞれ格納して上記記憶対象データを記憶する分散記憶制御工程と、を有し、
上記分散記憶制御工程は、同一の上記識別情報が付与された上記一群のデータに含まれる複数の上記記憶対象データに対応する複数の上記データセットをそれぞれ構成する上記各フラグメントデータを、上記各記憶領域内における格納位置が連続するよう当該各記憶領域に格納する、
という構成を有する。
本発明の第1の実施形態を、図1を参照して説明する。図1は、ストレージシステムの構成を示す機能ブロック図である。なお、本実施形態では、ストレージシステムの概略を説明する。
複数の記憶手段6と、これら複数の記憶手段6に対してデータを記憶すると共に当該記憶手段6に記憶されているデータを読み出すデータ処理手段2と、を備えている。
そして、上記データ処理手段2は、
記憶要求された一群のデータを区別する識別情報を、当該一群のデータに付与する識別情報付与手段3と、
上記一群のデータの一部である記憶対象データを複数に分割して分割データを生成すると共に、この記憶対象データを復元するための冗長データを生成し、上記分割データと上記冗長データとである複数のフラグメントデータからなるデータセットを生成するデータセット生成手段4と、
上記データセットを構成する上記各フラグメントデータを分散して、上記各記憶手段6に形成された各記憶領域内の同一位置にそれぞれ格納して上記記憶対象データを記憶する分散記憶制御手段5と、を備える。
さらに、上記分散記憶制御手段5は、同一の上記識別情報が付与された上記一群のデータに含まれる複数の上記記憶対象データに対応する複数の上記データセットをそれぞれ構成する上記各フラグメントデータを、上記各記憶領域内における格納位置が連続するよう当該各記憶領域に格納する、という構成を採る。
上記分散記憶制御手段は、上記記憶手段に格納される前であって、同一の上記識別情報が付与された上記一群のデータに含まれる複数の上記記憶対象データに対応する複数の上記データセットをそれぞれ構成する上記各フラグメントデータを、バッファメモリ内の格納位置が連続するよう格納し、当該バッファメモリに格納された上記各フラグメントデータを上記各記憶手段に格納する、
という構成を採る。
上記分散記憶制御手段は、同一の上記識別情報が付与された上記一群のデータに含まれる複数の上記記憶対象データに対応する複数の上記データセットをそれぞれ構成する上記各フラグメントデータを、上記識別番号毎にそれぞれ異なる上記バッファメモリに格納し、当該識別番号毎にそれぞれ設けられた上記各バッファメモリに格納された上記各フラグメントデータを上記各記憶手段に格納する、
という構成を採る。
上記分散記憶制御手段は、上記バッファメモリの容量が所定容量に達したタイミングで、当該バッファメモリに格納された上記各フラグメントデータを上記各記憶手段に格納する、
という構成を採る。
上記分散記憶制御手段は、上記各記憶手段に既に格納されている、同一の上記識別情報が付与された上記一群のデータに含まれる複数の上記記憶対象データに対応する複数の上記データセットをそれぞれ構成する上記各フラグメントデータを、上記各記憶領域内における格納位置が連続するよう当該各記憶領域に再格納する、
という構成を採る。
上記データセット生成手段は、上記識別情報付与手段にて上記一群のデータに付与された上記識別情報を、当該一群のデータに含まれる複数の上記記憶対象データに対応する上記データセットを構成する上記各フラグメントデータに含める、
という構成を採る。
上記データ処理手段は、上記分散記憶制御手段にて上記各記憶手段に格納した上記記憶対象データの格納位置を表す格納位置情報を生成して管理する格納位置情報管理手段を備え、
この格納位置情報管理手段は、データの読み出し要求時に特定された当該データの上記格納位置情報に基づいて、当該格納位置情報にて表される上記各記憶手段内の格納位置に格納されたデータを読み出す、
という構成を採る。
上記データ処理手段は、上記記憶対象データの内容に固有の内容識別情報を生成すると共に、上記各記憶手段に既に格納されている記憶対象データの内容に固有の内容識別情報と比較して、上記各記憶手段に同一内容の上記記憶対象データが記憶されているか否かを調べる重複チェック手段を備え、
当該重複チェック手段は、上記記憶対象データと同一内容のデータが既に上記各記憶手段に記憶されている場合に、当該記憶対象データを上記各記憶手段に格納せず、当該記憶対象データの格納位置情報として上記同一内容のデータの格納位置情報を用いる、
という構成を採る。
上記分散記憶制御手段は、上記各記憶手段に生成された各ファイルのデータ格納領域の先頭を基準とした同一位置に、上記データセットを構成する上記各フラグメントデータをそれぞれ格納する、
という構成を採る。
上記分散記憶制御手段は、上記各記憶手段に生成された各ファイルに既に格納されているデータの次に空いている格納位置に、上記データセットを構成する上記各フラグメントデータをそれぞれ格納する、
という構成を採る。
上記分散記憶制御手段は、上記データセットを構成する上記各フラグメントデータを、同一のタイミングで上記各記憶手段にそれぞれ格納する、
という構成を採る。
上記分散記憶制御手段は、上記データセットを構成する上記各フラグメントデータに、当該データセットを識別するための同一の識別情報をそれぞれ付与して、当該データセットを構成する上記各フラグメントデータを上記各記憶手段にそれぞれ格納する、
という構成を採る。
上記分散記憶制御手段は、上記データセットを構成する上記各フラグメントデータが上記各記憶手段に形成された上記各記憶領域内のそれぞれ同一位置に格納されているか否かを、当該各フラグメントデータに付与された上記識別情報に基づいて調べ、当該各フラグメントデータが上記各記憶領域内の同一位置に格納されていない場合に、上記データセットを構成する上記各フラグメントデータが上記各記憶領域内の同一位置にそれぞれ格納されるよう当該各フラグメントデータの格納位置を変更する、
という構成を採る。
複数の記憶手段を備えた情報処理装置に、
上記複数の記憶手段に対してデータを記憶すると共に当該記憶手段に記憶されているデータを読み出すデータ処理手段を実現させるプログラムである。
そして、上記データ処理手段は、
記憶要求された一群のデータを区別する識別情報を、当該一群のデータに付与する識別情報付与手段と、
上記一群のデータの一部である記憶対象データを複数に分割して分割データを生成すると共に、この記憶対象データを復元するための冗長データを生成し、上記分割データと上記冗長データとである複数のフラグメントデータからなるデータセットを生成するデータセット生成手段と、
上記データセットを構成する上記各フラグメントデータを分散して、上記各記憶手段に形成された各記憶領域内の同一位置にそれぞれ格納して上記記憶対象データを記憶する分散記憶制御手段と、を備え、
上記分散記憶制御手段は、同一の上記識別情報が付与された上記一群のデータに含まれる複数の上記記憶対象データに対応する複数の上記データセットをそれぞれ構成する上記各フラグメントデータを、上記各記憶領域内における格納位置が連続するよう当該各記憶領域に格納する、
という構成を採る。
上記分散記憶制御手段は、上記記憶手段に格納される前であって、同一の上記識別情報が付与された上記一群のデータに含まれる複数の上記記憶対象データに対応する複数の上記データセットをそれぞれ構成する上記各フラグメントデータを、バッファメモリ内の格納位置が連続するよう格納し、当該バッファメモリに格納された上記各フラグメントデータを上記各記憶手段に格納する、
という構成を採る。
上記分散記憶制御手段は、上記各記憶手段に既に格納されている、同一の上記識別情報が付与された上記一群のデータに含まれる複数の上記記憶対象データに対応する複数の上記データセットをそれぞれ構成する上記各フラグメントデータを、上記各記憶領域内における格納位置が連続するよう当該各記憶領域に再格納する、
という構成を採る。
複数の記憶手段を備えた情報処理装置にて、
上記複数の記憶手段に対してデータを記憶するデータ記憶工程と、当該記憶手段に記憶されているデータを読み出すデータ読み出し工程を有する。
そして、上記データ記憶工程は、
記憶要求された一群のデータを区別する識別情報を、当該一群のデータに付与する識別情報付与工程と、
上記一群のデータの一部である記憶対象データを複数に分割して分割データを生成すると共に、この記憶対象データを復元するための冗長データを生成し、上記分割データと上記冗長データとである複数のフラグメントデータからなるデータセットを生成するデータセット生成工程と、
上記データセットを構成する上記各フラグメントデータを分散して、上記各記憶手段に形成された各記憶領域内の同一位置にそれぞれ格納して上記記憶対象データを記憶する分散記憶制御工程と、を有し、
上記分散記憶制御工程は、同一の上記識別情報が付与された上記一群のデータに含まれる複数の上記記憶対象データに対応する複数の上記データセットをそれぞれ構成する上記各フラグメントデータを、上記各記憶領域内における格納位置が連続するよう当該各記憶領域に格納する、
という構成を採る。
上記分散記憶制御工程は、上記記憶手段に格納される前であって、同一の上記識別情報が付与された上記一群のデータに含まれる複数の上記記憶対象データに対応する複数の上記データセットをそれぞれ構成する上記各フラグメントデータを、バッファメモリ内の格納位置が連続するよう格納し、当該バッファメモリに格納された上記各フラグメントデータを上記各記憶手段に格納する、
という構成を採る。
上記分散記憶制御工程は、上記各記憶手段に既に格納されている、同一の上記識別情報が付与された上記一群のデータに含まれる複数の上記記憶対象データに対応する複数の上記データセットをそれぞれ構成する上記各フラグメントデータを、上記各記憶領域内における格納位置が連続するよう当該各記憶領域に再格納する、
という構成を採る。
本発明の第2の実施形態を、図2乃至図16を参照して説明する。図2は、システム全体の構成を示すブロック図である。図3は、ストレージシステムの概略を示すブロック図であり、図4は、構成を示す機能ブロック図である。図5乃至図7は、ストレージシステムの動作を説明するための説明図である。図8乃至図15は、ストレージシステムにおけるデータの格納状態を示す図である。図16は、ストレージシステムの動作を示すフローチャートである。
図2に示すように、本発明におけるストレージシステム10は、ネットワークNを介してバックアップ処理を制御するバックアップシステム11に接続している。そして、バックアップシステム11は、ネットワークNを介して接続されたバックアップ対象装置12に格納されているバックアップ対象データ(記憶対象データ)を取得し、ストレージシステム10に対して記憶するよう要求する。これにより、ストレージシステム10は、記憶要求されたバックアップ対象データをバックアップ用に記憶する。
次に、上述したストレージシステムの動作を、図10のフローチャートを参照して説明する。
2 データ処理手段
3 識別情報付与手段
4 データセット生成手段
5 分散記憶制御手段
6 記憶手段
10 ストレージシステム
10A アクセラレータノード
10B ストレージノード
11 バックアップシステム
12 バックアップ対象装置
20 データ処理装置
21 ストリームID付与部
22 ブロック生成部
23 重複チェック部
24 フラグメント生成部
25 分散記憶制御部
26 格納位置管理部
30 データ記憶装置
31 記憶装置
32 格納位置記憶部
40 データセット
41 分割データ
42 冗長データ
A バックアップ対象データ
BF1,BF2,BF3 バッファメモリ
CA コンテンツアドレス
D ブロックデータ
D1〜D12 フラグメントデータ
F1〜F12 データ格納ファイル
H ハッシュ値
Claims (14)
- 複数の記憶手段と、これら複数の記憶手段に対してデータを記憶すると共に当該記憶手段に記憶されているデータを読み出すデータ処理手段と、を備え、
前記データ処理手段は、
記憶要求された一群のデータに、当該一群のデータを区別する識別情報を付与する識別情報付与手段と、
前記一群のデータを分割した当該一群のデータの一部である記憶対象データから、当該記憶対象データをさらに複数に分割して分割データを生成すると共に、この記憶対象データを復元するための冗長データを生成し、前記分割データと前記冗長データとである複数のフラグメントデータからなるデータセットを生成するデータセット生成手段と、
前記データセットを構成する前記各フラグメントデータを分散して、前記各記憶手段に形成された各記憶領域内の同一位置にそれぞれ格納して前記記憶対象データを記憶する分散記憶制御手段と、を備えると共に、
前記分散記憶制御手段は、前記識別情報付与手段にて付与された前記識別情報が同一である前記一群のデータから分割された複数の前記記憶対象データからそれぞれ生成された複数の前記データセットをそれぞれ構成する前記各フラグメントデータを、前記各記憶領域内における格納位置が連続するよう当該各記憶領域に格納する、
ストレージシステム。 - 請求項1記載のストレージシステムであって、
前記分散記憶制御手段は、前記記憶手段に格納される前であって、同一の前記識別情報が付与された前記一群のデータに含まれる複数の前記記憶対象データに対応する複数の前記データセットをそれぞれ構成する前記各フラグメントデータを、バッファメモリ内の格納位置が連続するよう格納し、当該バッファメモリに格納された前記各フラグメントデータを前記各記憶手段に格納する、
ストレージシステム。 - 請求項2記載のストレージシステムであって、
前記分散記憶制御手段は、同一の前記識別情報が付与された前記一群のデータに含まれる複数の前記記憶対象データに対応する複数の前記データセットをそれぞれ構成する前記各フラグメントデータを、前記識別情報毎にそれぞれ異なる前記バッファメモリに格納し、当該識別情報毎にそれぞれ設けられた前記各バッファメモリに格納された前記各フラグメントデータを前記各記憶手段に格納する、
ストレージシステム。 - 請求項2又は3記載のストレージシステムであって、
前記分散記憶制御手段は、前記バッファメモリの容量が所定容量に達したタイミングで、当該バッファメモリに格納された前記各フラグメントデータを前記各記憶手段に格納する、
ストレージシステム。 - 請求項1乃至4記載のいずれか一項に記載のストレージシステムであって、
前記分散記憶制御手段は、前記各記憶手段に既に格納されている、同一の前記識別情報が付与された前記一群のデータに含まれる複数の前記記憶対象データに対応する複数の前記データセットをそれぞれ構成する前記各フラグメントデータを、前記各記憶領域内における格納位置が連続するよう当該各記憶領域に再格納する、
ストレージシステム。 - 請求項1乃至5のいずれか一項に記載のストレージシステムであって、
前記データセット生成手段は、前記識別情報付与手段にて前記一群のデータに付与された前記識別情報を、当該一群のデータに含まれる複数の前記記憶対象データに対応する前記データセットを構成する前記各フラグメントデータに含める、
ストレージシステム。 - 請求項1乃至6のいずれか一項に記載のストレージシステムであって、
前記データ処理手段は、前記分散記憶制御手段にて前記各記憶手段に格納した前記記憶対象データの格納位置を表す格納位置情報を生成して管理する格納位置情報管理手段を備え、
この格納位置情報管理手段は、データの読み出し要求時に特定された当該データの前記格納位置情報に基づいて、当該格納位置情報にて表される前記各記憶手段内の格納位置に格納されたデータを読み出す、
ストレージシステム。 - 請求項7記載のストレージシステムであって、
前記データ処理手段は、前記記憶対象データの内容に固有の内容識別情報を生成すると共に、前記各記憶手段に既に格納されている記憶対象データの内容に固有の内容識別情報と比較して、前記各記憶手段に同一内容の前記記憶対象データが記憶されているか否かを調べる重複チェック手段を備え、
当該重複チェック手段は、前記記憶対象データと同一内容のデータが既に前記各記憶手段に記憶されている場合に、当該記憶対象データを前記各記憶手段に格納せず、当該記憶対象データの格納位置情報として前記同一内容のデータの格納位置情報を用いる、
ストレージシステム。 - 複数の記憶手段を備えた情報処理装置に、
前記複数の記憶手段に対してデータを記憶すると共に当該記憶手段に記憶されているデータを読み出すデータ処理手段を実現させると共に、
前記データ処理手段は、
記憶要求された一群のデータに、当該一群のデータを区別する識別情報を付与する識別情報付与手段と、
前記一群のデータを分割した当該一群のデータの一部である記憶対象データから、当該記憶対象データをさらに複数に分割して分割データを生成すると共に、この記憶対象データを復元するための冗長データを生成し、前記分割データと前記冗長データとである複数のフラグメントデータからなるデータセットを生成するデータセット生成手段と、
前記データセットを構成する前記各フラグメントデータを分散して、前記各記憶手段に形成された各記憶領域内の同一位置にそれぞれ格納して前記記憶対象データを記憶する分散記憶制御手段と、を備え、
前記分散記憶制御手段は、前記識別情報付与手段にて付与された前記識別情報が同一である前記一群のデータから分割された複数の前記記憶対象データからそれぞれ生成された複数の前記データセットをそれぞれ構成する前記各フラグメントデータを、前記各記憶領域内における格納位置が連続するよう当該各記憶領域に格納する、
プログラム。 - 請求項9記載のプログラムであって、
前記分散記憶制御手段は、前記記憶手段に格納される前であって、同一の前記識別情報が付与された前記一群のデータに含まれる複数の前記記憶対象データに対応する複数の前記データセットをそれぞれ構成する前記各フラグメントデータを、バッファメモリ内の格納位置が連続するよう格納し、当該バッファメモリに格納された前記各フラグメントデータを前記各記憶手段に格納する、
プログラム。 - 請求項9又は10記載のプログラムであって、
前記分散記憶制御手段は、前記各記憶手段に既に格納されている、同一の前記識別情報が付与された前記一群のデータに含まれる複数の前記記憶対象データに対応する複数の前記データセットをそれぞれ構成する前記各フラグメントデータを、前記各記憶領域内における格納位置が連続するよう当該各記憶領域に再格納する、
プログラム。 - 複数の記憶手段を備えた情報処理装置にて、
前記複数の記憶手段に対してデータを記憶するデータ記憶工程と、当該記憶手段に記憶されているデータを読み出すデータ読み出し工程と、を有すると共に、
前記データ記憶工程は、
記憶要求された一群のデータに、当該一群のデータを区別する識別情報を付与する識別情報付与工程と、
前記一群のデータを分割した当該一群のデータの一部である記憶対象データから、当該記憶対象データをさらに複数に分割して分割データを生成すると共に、この記憶対象データを復元するための冗長データを生成し、前記分割データと前記冗長データとである複数のフラグメントデータからなるデータセットを生成するデータセット生成工程と、
前記データセットを構成する前記各フラグメントデータを分散して、前記各記憶手段に形成された各記憶領域内の同一位置にそれぞれ格納して前記記憶対象データを記憶する分散記憶制御工程と、を有し、
前記分散記憶制御工程は、前記識別情報付与工程にて付与された前記識別情報が同一である前記一群のデータから分割された複数の前記記憶対象データからそれぞれ生成された複数の前記データセットをそれぞれ構成する前記各フラグメントデータを、前記各記憶領域内における格納位置が連続するよう当該各記憶領域に格納する、
データ処理方法。 - 請求項12記載のデータ処理方法であって、
前記分散記憶制御工程は、前記記憶手段に格納される前であって、同一の前記識別情報が付与された前記一群のデータに含まれる複数の前記記憶対象データに対応する複数の前記データセットをそれぞれ構成する前記各フラグメントデータを、バッファメモリ内の格納位置が連続するよう格納し、当該バッファメモリに格納された前記各フラグメントデータを前記各記憶手段に格納する、
データ処理方法。 - 請求項12又は13記載のデータ処理方法であって、
前記分散記憶制御工程は、前記各記憶手段に既に格納されている、同一の前記識別情報が付与された前記一群のデータに含まれる複数の前記記憶対象データに対応する複数の前記データセットをそれぞれ構成する前記各フラグメントデータを、前記各記憶領域内における格納位置が連続するよう当該各記憶領域に再格納する、
データ処理方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009015260A JP5413948B2 (ja) | 2009-01-27 | 2009-01-27 | ストレージシステム |
US13/143,147 US8683122B2 (en) | 2009-01-27 | 2009-08-20 | Storage system |
PCT/JP2009/003961 WO2010086921A1 (ja) | 2009-01-27 | 2009-08-20 | ストレージシステム |
CN200980154985.0A CN102282544B (zh) | 2009-01-27 | 2009-08-20 | 存储系统 |
EP09839113.9A EP2393009B1 (en) | 2009-01-27 | 2009-08-20 | Storage system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009015260A JP5413948B2 (ja) | 2009-01-27 | 2009-01-27 | ストレージシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010176180A JP2010176180A (ja) | 2010-08-12 |
JP5413948B2 true JP5413948B2 (ja) | 2014-02-12 |
Family
ID=42395191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009015260A Active JP5413948B2 (ja) | 2009-01-27 | 2009-01-27 | ストレージシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US8683122B2 (ja) |
EP (1) | EP2393009B1 (ja) |
JP (1) | JP5413948B2 (ja) |
CN (1) | CN102282544B (ja) |
WO (1) | WO2010086921A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2622452A4 (en) * | 2010-09-30 | 2017-10-04 | Nec Corporation | Storage system |
US9304703B1 (en) | 2015-04-15 | 2016-04-05 | Symbolic Io Corporation | Method and apparatus for dense hyper IO digital retention |
US9628108B2 (en) | 2013-02-01 | 2017-04-18 | Symbolic Io Corporation | Method and apparatus for dense hyper IO digital retention |
US10133636B2 (en) | 2013-03-12 | 2018-11-20 | Formulus Black Corporation | Data storage and retrieval mediation system and methods for using same |
US9467294B2 (en) * | 2013-02-01 | 2016-10-11 | Symbolic Io Corporation | Methods and systems for storing and retrieving data |
US9817728B2 (en) | 2013-02-01 | 2017-11-14 | Symbolic Io Corporation | Fast system state cloning |
CN103312825B (zh) * | 2013-07-10 | 2016-08-10 | 中国人民解放军国防科学技术大学 | 一种数据分布存储方法和装置 |
CN104765693B (zh) * | 2014-01-06 | 2018-03-27 | 国际商业机器公司 | 一种用于存储数据的方法、装置和系统 |
US9817602B2 (en) * | 2014-11-13 | 2017-11-14 | Violin Systems Llc | Non-volatile buffering for deduplication |
WO2016129101A1 (ja) * | 2015-02-13 | 2016-08-18 | 株式会社日立製作所 | ストレージシステム、及び、記憶制御方法 |
JP6572574B2 (ja) * | 2015-03-23 | 2019-09-11 | 日本電気株式会社 | ストレージ制御システム、ストレージ制御システムのノード、およびストレージ制御方法 |
US10061514B2 (en) | 2015-04-15 | 2018-08-28 | Formulus Black Corporation | Method and apparatus for dense hyper IO digital retention |
CN105335903A (zh) * | 2015-11-30 | 2016-02-17 | 广东电网有限责任公司电力调度控制中心 | 智能变电站建模方法 |
CN107515724B (zh) * | 2016-06-16 | 2021-04-02 | 伊姆西Ip控股有限责任公司 | 用于再现存储系统的输入输出的方法和设备 |
JP6853506B2 (ja) * | 2017-03-31 | 2021-03-31 | 日本電気株式会社 | ストレージシステム、データソート方法及びプログラム |
KR102007810B1 (ko) * | 2017-07-28 | 2019-08-07 | 네이버 주식회사 | 저장 장치의 개별 제어를 위한 데이터의 배치 및 복구 |
US10572186B2 (en) | 2017-12-18 | 2020-02-25 | Formulus Black Corporation | Random access memory (RAM)-based computer systems, devices, and methods |
US10725853B2 (en) | 2019-01-02 | 2020-07-28 | Formulus Black Corporation | Systems and methods for memory failure prevention, management, and mitigation |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2786899B2 (ja) * | 1989-09-08 | 1998-08-13 | 富士通株式会社 | 超高速ディスク装置 |
JPH06110766A (ja) * | 1992-09-25 | 1994-04-22 | Hitachi Ltd | 分割格納ファイルシステムのディレクトリ構成方法および計算機システム |
JPH07152498A (ja) * | 1993-12-01 | 1995-06-16 | Hitachi Ltd | 情報処理システム |
JP3387017B2 (ja) * | 1999-03-04 | 2003-03-17 | 株式会社日立製作所 | ファイルアクセス制御方法及びファイル再配置方法 |
JP3557994B2 (ja) * | 2000-04-05 | 2004-08-25 | 日本電気株式会社 | ファイルデータ格納装置及び方法並びに記録媒体 |
US7587368B2 (en) * | 2000-07-06 | 2009-09-08 | David Paul Felsher | Information record infrastructure, system and method |
US7296125B2 (en) * | 2001-11-29 | 2007-11-13 | Emc Corporation | Preserving a snapshot of selected data of a mass storage system |
KR100453053B1 (ko) | 2002-06-10 | 2004-10-15 | 삼성전자주식회사 | 플래쉬 메모리용 파일 시스템 |
JP4254178B2 (ja) * | 2002-09-11 | 2009-04-15 | 富士ゼロックス株式会社 | 分散格納制御装置及び方法 |
US7159150B2 (en) * | 2002-12-31 | 2007-01-02 | International Business Machines Corporation | Distributed storage system capable of restoring data in case of a storage failure |
JP4354233B2 (ja) * | 2003-09-05 | 2009-10-28 | 株式会社日立製作所 | バックアップシステム及び方法 |
US7444389B2 (en) | 2003-12-09 | 2008-10-28 | Emc Corporation | Methods and apparatus for generating a content address to indicate data units written to a storage system proximate in time |
JP2007141668A (ja) | 2005-11-18 | 2007-06-07 | Molex Inc | ロータリコネクタ |
US7734603B1 (en) * | 2006-01-26 | 2010-06-08 | Netapp, Inc. | Content addressable storage array element |
JP2007299114A (ja) * | 2006-04-28 | 2007-11-15 | Hitachi Ltd | 記憶システム及びデータ保存方法 |
JP2009015260A (ja) | 2007-07-09 | 2009-01-22 | Sharp Corp | トナー用外添剤、それを用いたトナーおよび画像形成装置 |
JP5339432B2 (ja) * | 2009-02-25 | 2013-11-13 | 日本電気株式会社 | ストレージシステム |
EP2416236B1 (en) * | 2009-03-30 | 2016-05-04 | Nec Corporation | Data restore system and method |
JP5533887B2 (ja) * | 2010-02-10 | 2014-06-25 | 日本電気株式会社 | ストレージ装置 |
-
2009
- 2009-01-27 JP JP2009015260A patent/JP5413948B2/ja active Active
- 2009-08-20 WO PCT/JP2009/003961 patent/WO2010086921A1/ja active Application Filing
- 2009-08-20 US US13/143,147 patent/US8683122B2/en active Active
- 2009-08-20 CN CN200980154985.0A patent/CN102282544B/zh active Active
- 2009-08-20 EP EP09839113.9A patent/EP2393009B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP2393009B1 (en) | 2020-03-04 |
US20110276771A1 (en) | 2011-11-10 |
EP2393009A1 (en) | 2011-12-07 |
US8683122B2 (en) | 2014-03-25 |
CN102282544A (zh) | 2011-12-14 |
JP2010176180A (ja) | 2010-08-12 |
CN102282544B (zh) | 2015-01-21 |
EP2393009A4 (en) | 2013-02-13 |
WO2010086921A1 (ja) | 2010-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5413948B2 (ja) | ストレージシステム | |
KR102240557B1 (ko) | 데이터 저장 방법, 장치 및 시스템 | |
US10977124B2 (en) | Distributed storage system, data storage method, and software program | |
JP5391705B2 (ja) | ストレージシステム | |
US20120011318A1 (en) | Storage system | |
JP6653370B2 (ja) | ストレージシステム | |
US8478755B2 (en) | Sorting large data sets | |
CN110147203B (zh) | 一种文件管理方法、装置、电子设备及存储介质 | |
JP5533887B2 (ja) | ストレージ装置 | |
JP5517224B2 (ja) | ストレージ装置 | |
JP5459388B2 (ja) | ストレージ装置 | |
JP6269120B2 (ja) | ストレージシステム | |
US11163642B2 (en) | Methods, devices and computer readable medium for managing a redundant array of independent disks | |
WO2014077451A1 (ko) | Iscsi 스토리지 시스템을 이용한 네트워크 분산 파일 시스템 및 방법 | |
JP6853506B2 (ja) | ストレージシステム、データソート方法及びプログラム | |
JP6260088B2 (ja) | 仮想ファイルアクセスシステム、仮想ファイルアクセス方法、及び、仮想ファイルアクセスプログラム | |
US10511665B2 (en) | Efficient resource reclamation after deletion of slice from common file | |
CN111026890A (zh) | 基于索引表的图片数据存储方法、系统、装置和存储介质 | |
CN115454331A (zh) | 一种用于追加对象的存储方法及存储系统 | |
JP6343952B2 (ja) | ストレージシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110803 |
|
RD07 | Notification of extinguishment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7427 Effective date: 20120712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130319 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130521 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130730 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131015 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131107 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5413948 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |