JP5561425B2 - ストレージシステム - Google Patents

ストレージシステム Download PDF

Info

Publication number
JP5561425B2
JP5561425B2 JP2013502163A JP2013502163A JP5561425B2 JP 5561425 B2 JP5561425 B2 JP 5561425B2 JP 2013502163 A JP2013502163 A JP 2013502163A JP 2013502163 A JP2013502163 A JP 2013502163A JP 5561425 B2 JP5561425 B2 JP 5561425B2
Authority
JP
Japan
Prior art keywords
data
storage
data flow
flow
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013502163A
Other languages
English (en)
Other versions
JPWO2012117658A1 (ja
Inventor
悠 永田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2013502163A priority Critical patent/JP5561425B2/ja
Publication of JPWO2012117658A1 publication Critical patent/JPWO2012117658A1/ja
Application granted granted Critical
Publication of JP5561425B2 publication Critical patent/JP5561425B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0605Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065Replication mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0689Disk arrays, e.g. RAID, JBOD

Description

本発明は、ストレージシステムにかかり、特に、複数のストレージ装置を備えたストレージシステムに関する。
近年、コンピュータの発達及び普及に伴い、種々の情報がデジタルデータ化されている。このようなデジタルデータを保存しておく装置として、磁気テープや磁気ディスクなどの記憶装置がある。そして、保存すべきデータは日々増大し、膨大な量となるため、大容量なストレージシステムが必要となっている。また、記憶装置に費やすコストを削減しつつ、信頼性も必要とされる。これに加えて、後にデータを容易に取り出すことが可能であることも必要である。その結果、自動的に記憶容量や性能の増大を実現できると共に、重複記憶を排除して記憶コストを削減し、さらには、冗長性の高いストレージシステムが望まれている。
このような状況に応じて、近年では、コンテンツアドレスストレージシステムが開発されている。このコンテンツアドレスストレージシステムは、データを分散して複数の記憶装置に記憶すると共に、このデータの内容に応じて特定される固有のコンテンツアドレスによって、当該データを格納した格納位置が特定される。具体的に、コンテンツアドレスストレージシステムでは、所定のデータを複数のフラグメントに分割すると共に、冗長データとなるフラグメントをさらに付加して、これら複数のフラグメントをそれぞれ複数の記憶装置にそれぞれ格納している。
そして、後に、コンテンツアドレスを指定することにより、当該コンテンツアドレスにて特定される格納位置に格納されているデータつまりフラグメントを読み出し、複数のフラグメントから分割前の所定のデータを復元することができる。
また、上記コンテンツアドレスは、データの内容に応じて固有となるよう生成される、例えば、データのハッシュ値を用いる。このため、重複データであれば同じ格納位置のデータを参照することで、同一内容のデータを取得することができる。従って、重複データを別々に格納する必要がなく、重複記録を排除し、データ容量の削減を図ることができる。
ここで、上述したコンテンツアドレスストレージシステムのように、大容量のデータを格納するストレージシステムでは、複数の情報処理装置を備えている。このように複数の情報処理装置を備えているシステムでは、情報処理装置間の負荷分散が必要となる。そして、一般的な負荷分散技術としては、ラウンドロビンによる方法がある。また、負荷分散を行うシステムの一例が、特許文献1に開示されている。
この特許文献1に開示のストレージシステムでは、同一内容の主データと副データとが記憶されており、これら主データと副データのストレージ装置に対する配置状況を管理する管理情報を記憶する。また、各ストレージ装置の最新の負荷情報を継続的に収集する。負荷情報は、例えば、CPUの負荷、受け付けたアクセス要求の数、ネットワーク使用率などを収集する。そして、管理情報と収集した負荷情報とに基づいて、一組のデータの間で主データと副データの役割を変更している。つまり、主データと副データとに対するアクセス先となるストレージ装置を変更することで、データを移動することなく、データを記憶するストレージ装置の負荷分散を行っている。
特表2008−136075号公報
しかしながら、ラウンドロビンによる負荷分散方法や、上記特許文献1に開示された負荷分散方法では、効率的な負荷分散ができない、という問題が生じる。これは、重複排除を行うストレージシステムでは、格納されるデータの特性によって、データ格納処理に必要とされる性能や機能が異なるためである。例えば、重複するデータを格納する場合には、実際にはデータを格納しないためデータ圧縮処理を行う必要がなく、かかる点で性能の向上を図ることができる。一方で、バックアップソフトウェアなどによって既に圧縮/暗号化されたデータを書き込む場合には、重複排除や圧縮処理が効果的に機能しにくく性能が低下することとなる。さらには、重複率を向上させるためにバックアップソフトウェアが付加するマーカ情報を分離する処理が必要となる場合があるが、かかる処理を行う機能を装備していない場合には、重複排除効率が低下しうる。
また、複数の情報処理装置にてデータ格納処理を行うため、各情報処理装置の性能や機能が異なる場合にも、効率のよい負荷分散が困難となる。例えば、圧縮処理やHash計算などをCPUの代わりに処理する拡張カードや、小I/Oを高速に処理できるSSDが搭載された拡張カードといったものもあるが、これら拡張カードは高価であり、複数の情報処理装置に搭載することは高コストとなる。また、1つの情報処理装置に搭載できる拡張カード数は、装置の最大スロット数によって制限されてしまい、多様なカードを1つの装置に搭載することはできない。
さらに、長期使用を考慮したバックアップ装置としてのストレージ装置を考えると、複数世代のストレージ装置の混在が生じる。すると、旧世代のストレージ装置に搭載のCPUやメモリなどの性能は、新世代のストレージ装置よりも劣るため、システム全体として性能が低くなる。
このため、本発明の目的は、上述した課題である、ストレージシステムにおける効率的な負荷分散を図ること、にある。
上記目的を達成すべく、本発明の一形態であるストレージシステムは、
複数のストレージ装置と、
前記複数のストレージ装置に対してデータを分散して記憶すると共に、当該ストレージ装置に既に記憶されているデータと同一内容の他のデータを格納する場合に、当該ストレージ装置に既に記憶されているデータを前記他のデータとして参照させる重複排除処理を行う複数の記憶処理装置と、
一群のデータからなるデータフローをいずれかの前記記憶処理装置に割り当てて当該割り当てた前記記憶処理装置に前記データフローが流れるよう設定するスイッチ部と、
前記データフローの予め定められた特性を当該データフロー毎に検出するフロー特性検出部と、
前記記憶処理装置の予め定められた特性を当該記憶処理装置毎に検出する装置特性検出部と、を備え、
前記スイッチ部は、前記フロー特性検出部にて検出した前記データフローの特性と、前記装置特性検出部にて検出した前記記憶処理装置の特性と、に基づいて、前記データフローを割り当てる前記記憶処理装置を決定する、
という構成を取る。
また、本発明の他の形態であるスイッチ制御装置は、
複数のストレージ装置に対してデータを分散して記憶すると共に、当該ストレージ装置に既に記憶されているデータと同一内容の他のデータを格納する場合に、当該ストレージ装置に既に記憶されているデータを前記他のデータとして参照させる重複排除処理を行う複数の記憶処理装置のうち、いずれかの前記記憶処理装置に一群のデータからなるデータフローが流れるよう設定するスイッチ部に接続されたスイッチ制御装置であって、
前記データフロー毎に検出された当該データフローの予め定められた特性と、前記記憶処理装置毎に検出された当該記憶処理装置の予め定められた特性と、に基づいて、前記データフローに前記記憶処理装置を割り当てて当該割り当てた前記記憶処理装置に前記データフローが流れるよう前記スイッチ部を設定するフロー設定部を備えた、
という構成を取る。
また、本発明の他の形態であるプログラムは、
複数のストレージ装置に対してデータを分散して記憶すると共に、当該ストレージ装置に既に記憶されているデータと同一内容の他のデータを格納する場合に、当該ストレージ装置に既に記憶されているデータを前記他のデータとして参照させる重複排除処理を行う複数の記憶処理装置のうち、いずれかの前記記憶処理装置に一群のデータからなるデータフローが流れるよう設定するスイッチ部に接続されたスイッチ制御装置に、
前記データフロー毎に検出された当該データフローの予め定められた特性と、前記記憶処理装置毎に検出された当該記憶処理装置の予め定められた特性と、に基づいて、前記データフローに前記記憶処理装置を割り当てて当該割り当てた前記記憶処理装置に前記データフローが流れるよう前記スイッチ部を設定するフロー設定部、
を実現させるためのプログラムである。
という構成を取る。
また、本発明の他の形態であるフロー制御方法は、
複数のストレージ装置と、
前記複数のストレージ装置に対してデータを分散して記憶すると共に、当該ストレージ装置に既に記憶されているデータと同一内容の他のデータを格納する場合に、当該ストレージ装置に既に記憶されているデータを前記他のデータとして参照させる重複排除処理を行う複数の記憶処理装置と、
一群のデータからなるデータフローをいずれかの前記記憶処理装置に割り当てて当該割り当てた前記記憶処理装置に前記データフローが流れるよう設定するスイッチ部と、を備えたストレージシステムによるフロー制御方法であって、
前記データフローの予め定められた特性を当該データフロー毎に検出すると共に、前記記憶処理装置の予め定められた特性を当該記憶処理装置毎に検出し、
前記スイッチ部が、検出した前記データフローの特性と、検出した前記記憶処理装置の特性と、に基づいて、前記データフローを割り当てる前記記憶処理装置を決定する、
という構成を取る。
本発明は、以上のように構成されることにより、ストレージシステムにおける効率的な負荷分散を図ることができる。
本発明におけるストレージシステムの構成の概略を示すブロック図である。 図1に開示したアクセラレータノードとPFS制御装置の構成を示す機能ブロック図である。 図1に開示したストレージシステムにおけるデータを記憶するときの様子を示す図である。 図1に開示したストレージシステムにおけるデータを記憶するときの様子を示す図である。 図1に開示したストレージシステムにおける動作を示すフローチャートである。 図1に開示したストレージシステムにおける動作を示すフローチャートである。 図1に開示したストレージシステムにおける動作を示すフローチャートである。 本発明の付記1におけるストレージシステムの構成を示すブロック図である。
本発明の第1の実施形態を、図1乃至図7を参照して説明する。図1乃至図2はストレージシステムの構成を説明するための図であり、図3乃至7は、ストレージシステムの動作を説明するための図である。
[構成]
図1に示すように、ストレージシステムは、複数のアクセラレータ100,110,120と、PFS制御装置300と、CAS(Content-Addressable Storage)400と、PFS(Programmable Flow Switch:プログラマブルフロースイッチ)500と、を備えており、当該ストレージシステムにデータを格納する複数のクライアント200,210,220,230が接続されている。以下、各構成について詳述する。
上記クライアント200等は、バックアップソフトウェアが搭載された情報処理装置である。そして、クライアント200等は、バックアップソフトウェアの処理により、あるいは、操作者の操作により、自装置に記憶されている一群のデータからなるデータフローをストレージシステムに格納すべく当該ストレージシステムに対して送信する。
上記PFS500は、クライアント200等から送信されるデータを、フロー単位にルーティングしたりリダイレクトする機能を有する。つまり、PFS500は、クライアント200等から送信された一群のデータであるデータフローのアクセラレータノード100等への経路を設定したり、送信先となっているアクセラレータノード100等を変更することができる。なお、PFS500によるデータフローの経路の設定や変更は、後述するようにPFS制御装置300にて制御されることとなる。従って、PFS500とPFS制御装置300は、データフローをいずれかのアクセラレータノード100等に割り当てて当該割り当てたアクセラレータノードにデータフローが流れるよう設定するスイッチ部として機能する。
上記アクセラレータノード100等と上記CAS400とは、データを分割及び冗長化し、分散して記憶すると共に、記憶するデータの内容に応じて設定される固有のコンテンツアドレスによって、当該データを格納した格納位置を特定するコンテンツアドレスストレージシステムを構成している。このコンテンツアドレスストレージシステムによると、既にCAS400に記憶されているデータと同一内容の他のデータを格納する場合には、既に記憶されているデータをコンテンツアドレスを用いて他のデータとして参照することで、当該他のデータを記憶する必要が無くなる。そして、この他のデータ読み出すときには、上記コンテンツアドレスを参照して記憶されているデータを読み出すことで、同一内容のデータを読み出すことができる。このようにして、ストレージシステムは、データの重複記憶を排除した重複排除処理を実現している。
そして、上記CAS400は、データを記憶する役割を担っており、複数のストレージノード(ストレージ装置)を備えて構成されている。また、アクセラレータノード100等は、CAS400に対するデータ記憶処理つまり重複排除処理を行う役割を担っている。
次に、上記アクセラレータノード100等についてさらに詳述する。なお、アクセラレータノード100,110,120は複数装備されているが、以下に説明する符号100のアクセラレータノードの構成を、全てのアクセラレータノードが備えているものとする。また、アクセラレータノードの数は、図2に示した数に限定されない。
アクセラレータノード100等は、CAS400への入り口となる情報処理装置であるため、クライアント200等からは、NAS(Network Attached Storage)のように見える。なお、アクセラレータノード100等とCAS400とを含むストレージシステムは、GNS(Global Name Space)機能を有しており、どのアクセラレータノード100,110,120からも同じファイルシステムにアクセスすることができる。
そして、アクセラレータノード100等は、図2に示すように、CAS処理部620を備えており、当該CAS処理部620がCAS400と協働してコンテンツアドレスを用いてファイルを管理することにより、同一内容のデータを重複してCAS400に記憶しない重複排除処理を行っている。ここで、アクセラレータノード100等と上記CAS400とによるデータ格納時における重複排除処理の様子を、図3乃至図4を参照して説明する。
ストレージシステムは、まず、記憶対象となるデータA(データフロー)の入力を受けると(図4の矢印Y1参照)、図3及び図4の矢印Y2に示すように、当該データAを、所定容量(例えば、64KB)のブロックデータDに分割する。そして、このブロックデータDのデータ内容に基づいて、当該データ内容を代表する固有のハッシュ値Hを算出する(図4の矢印Y3)。例えば、ハッシュ値Hは、予め設定されたハッシュ関数を用いて、ブロックデータDのデータ内容から算出する。
続いて、ストレージシステム、ブロックデータDのハッシュ値Hを用いて、当該ブロックデータDが既にCAS400内に格納されているか否かを調べる。具体的には、まず、既に格納されているブロックデータDは、後述するように、そのハッシュ値Hが含まれた格納位置を表すコンテンツアドレスCAが、コンテンツアドレス管理テーブルMFIに登録されている。従って、格納前に算出したブロックデータDのハッシュ値Hがコンテンツアドレス管理テーブルMFI内に存在していない場合には、まだ同一内容のブロックデータDが記憶されていないと判断できる。一方で、ハッシュ値Hがコンテンツアドレス管理テーブルMFI内に存在している場合には、既に同一内容のブロックデータDが記憶されていると判断できる(図4の矢印Y4)。
続いて、ストレージシステムは、まだ同一のブロックデータDが記憶されていないと判断されたブロックデータDを、予め設定された圧縮ルールに従って圧縮し、図4の矢印Y5に示すように、複数の所定の容量のフラグメントデータに分割する。例えば、図3の符号D1〜D9に示すように、9つのフラグメントデータ(分割データ11)に分割する。さらに、ストレージシステムは、分割したフラグメントデータのうちいくつかが欠けた場合であっても、元となるブロックデータを復元可能なよう冗長データを生成し、上記分割したフラグメントデータ11に追加する。例えば、図3の符号D10〜D12に示すように、3つのフラグメントデータ(冗長データ12)を追加する。これにより、9つの分割データ11と、3つの冗長データ12とにより構成される12個のフラグメントデータからなるデータセット10を生成する。
続いて、ストレージシステムは、生成されたデータセットを構成する各フラグメントデータを、CAS400を構成するストレージ装置に形成された各記憶領域に、それぞれ分散して格納する。例えば、図3に示すように、12個のフラグメントデータD1〜D12を生成した場合には、12個の各記憶領域内にそれぞれ形成したデータ格納ファイルに、各フラグメントデータD1〜D12を1つずつそれぞれ格納する(図4の矢印Y6参照)。
また、ストレージシステムは、上述したように記憶装置に格納したフラグメントデータD1〜D12の格納位置、つまり、当該フラグメントデータD1〜D12にて復元されるブロックデータDの格納位置を表す、コンテンツアドレスCAを生成して管理する。具体的には、格納したブロックデータDの内容に基づいて算出したハッシュ値Hの一部(ショートハッシュ)(例えば、ハッシュ値Hの先頭8B(バイト))と、論理格納位置を表す情報と、を組み合わせて、コンテンツアドレスCAを生成する(図4の矢印Y7)。そして、重複排除システム10は、記憶対象データのファイル名などの識別情報と、コンテンツアドレスCAとを関連付けてファイルシステムで管理すると共に、コンテンツアドレス管理テーブルMFIに、生成したコンテンツアドレスCAの新規エントリを追加する。
また、ストレージシステムは、記憶対象となるデータのブロックデータDのハッシュ値Hが既にコンテンツアドレス管理テーブルMFIに存在している場合、つまり、既に同一内容のブロックデータDが格納されている場合には、格納前のブロックデータDのハッシュ値Hと一致したハッシュ値が含まれるコンテンツアドレスCAを、コンテンツアドレス管理テーブルMFIから取得する。そして、このコンテンツアドレスCAを、記憶対象データのブロックデータDの格納先を表すコンテンツアドレスCAとする。これにより、コンテンツアドレスCAにて参照される既に格納されているデータが、記憶要求されたブロックデータDとして参照されることとなり、当該記憶要求にかかるブロックデータD自体を重複して記憶する必要がなくなる。つまり、同一内容のデータが重複記憶されることを排除している。
以上のように、アクセラレータノード10等とCAS400からなるストレージシステムは、記憶対象となるデータを小さなブロックサイズに分割し、そのブロックを既に保存されているブロックと比較して、他と重複しないユニークなブロックだけを圧縮して保存している。そして、既に同じ内容のブロックが存在すると判定された場合には、そのブロックが保存されている位置を表す情報(コンテンツアドレスCA)を記録することで、データの重複記録を排除でき、実際に保存するデータ量を削減することができる。なお、上述したように、データの重複排除を行いつつ、圧縮して記憶するという重複排除処理は、主にアクセラレータノード100のCPUにプログラムが組み込まれることで構築されたCAS処理部620(図2参照)にて実行される。
また、アクセラレータノード100等は、図2に示すように、データを格納する際に必要とされる一部の処理である特定の処理を専用に実行する各種の専用カード630(専用機器)を搭載している。これにより、アクセラレータノード100等は、データ格納処理の一部を、当該アクセラレータノード100等に搭載されたCPUを用いることなく、ハードウェアである各種専用カード630に実行させることができる。その結果、アクセラレータノード100等の負荷を抑制したり、処理の高速化を図ることができる。
例えば、図1の符号100に示すアクセラレータノードは、データをCAS400に格納する前にデータの圧縮処理を行う「圧縮カード」を搭載している。また、符号110に示すアクセラレータノードは、CAS400に搭載されているハードディスクドライブなどの補助記憶装置よりもデータ入出力が高速なSSD(Solid State Drive)を搭載した「SSDカード」を搭載している。この「SSDカード」を用いることで、ファイルサイズの小さいデータを多数扱うときの処理が高速となる。さらに、符号120に示すアクセラレータノードは、上述した重複排除処理の一部であるブロックデータDの内容に基づいてハッシュ値Hを算出する処理を実行する機器である「Hash計算カード」を備えている。
但し、アクセラレータノード100等は、全てが上述したような専用カード630を搭載していなくてもよい。なお、アクセラレータノード100等のCPU処理性能やメモリ転送性能などの装置性能は、必ずしも全てが同一であるとは限らない。
また、図2に示すように、アクセラレータノード100等は、装備されたCPUにプログラムが組み込まれることで構築された、フロー受付部600、セッション移動処理部610、フロー特性判別部640、AN特性判別部650、フロー特性検出部660、を備えている。
上記フロー受付部600は、クライアント200等から送られてくるデータフローを受信し、フロー特性検出部600やCAS処理部620に同じデータフローの内容を渡す。また、フロー受付部600は、セッション移動処理部610の要求により、フローの受信を止めたり、受信したりする。
上記セッション移動処理部610は、フロー受付部600にデータフローの停止/開始を要求したり、クライアントとのセッションの情報を他のアクセラレータノード(AN)に移動したりする処理を行なう。
上記フロー特性検出部660は、データフローの予め定められた種々の特性を当該データフロー毎に検出して、フロー特性判別部640に渡す処理を行う各部661〜665を備える。例えば、重複率計算部661は、CAS処理部620による重複排除処理に基づいて、データフロー内のデータがCAS400に記憶されているデータと重複している度合いを表す重複率を、このデータフローの特性として検出する。圧縮率計算部662は、CAS処理部620による重複排除処理に基づいて、データフロー内のデータのCAS400に対する記憶前と記憶後における圧縮度合いを表す圧縮率を、このデータフローの特性として検出する。圧縮検出部663は、クライアント200に搭載されたバックアップソフトウェアなどによりデータフローに含まれたマーカ情報を参照して、データフローが既にアクセラレータノード100等に入力される前に既に圧縮されているか否かを、このデータフローの特性として検出する。暗号化検出部664は、クライアント200に搭載されたバックアップソフトウェアなどによりデータフローに含まれたマーカ情報を参照して、データフローが暗号化されているか否かを、このデータフローの特性として検出する。ファイルサイズ検出部665は、データフローに含まれるファイルのサイズを、このデータフローの特性として検出する。なお、フロー特性部検出部660にて検出されるデータフローの特性は、上述したものに限定されない。
上記フロー特性判別部640は、上述したフロー特性検出部660で検出した各データフローの特性を表す情報を、PFS制御装置300に送る。このとき、フロー特性判別部640は、データフローを特定する情報として、当該データフローを送信してきたクライアント200等を識別する情報である「クライアントIPアドレス」と共に、上述したデータフローの重複率、圧縮率、圧縮の有無、暗号化の有無、ファイルサイズ、といった特性情報を、PFS制御装置300に送る。
上記AN特性判別部650(装置特性検出部)は、アクセラレータノード100等の特性を表す情報を当該アクセラレータノード100等毎に収集して、PFS制御装置に送る。例えば、AN特性判別部650は、アクセラレータノード100等の特性として、搭載されているCPUやメモリなどの性能、負荷状況、搭載されている専用カードの種類などの情報を収集する。そして、AN特性判別部650は、これらの情報を、アクセラレータノード100等を識別する情報と共に、PFS制御装置300に送る。なお、AN特性判別部650にて収集されるアクセラレータノード100等の特性は、上述したものに限定されない。
なお、上述したデータフローの特性やアクセラレータノードの特性の検出処理とPFS制御装置300への送信は、全てのアクセラレータノード100等により一定の間隔で常に行われる。
次に、上述したようにPFS500と協働してスイッチ部として機能するPFS制御装置300(スイッチ制御装置)について説明する。PFS制御装置300は、図2に示すように、装備された演算装置にプログラムが組み込まれることで構築されたフロー設定部330を備える。また、PFS制御装置300は、装備された記憶装置に形成された、AN特性情報データベース(DB)310と、フロー特性情報データベース(DB)320と、を備える。
上記フロー設定部330は、各アクセラレータノード100等から送られてきたデータフローの特性情報をフロー特性情報DB320に格納し、また、アクセラレータノード100等の特性情報をAN特性情報DB310に格納する。なお、各特性情報は、各アクセラレータノード100等から送信されてくる度に更新される。
そして、フロー設定部330は、フロー特性情報DB320に格納されたデータフローの特性情報と、AN特性情報DB310に格納されたアクセラレータノード100等の特性情報と、に基づいて、各データフローに割り当てるアクセラレータノード100等を決定する。そして、データフローに割り当てたアクセラレータノード100等に当該データフローが流れるよう、PFS500に対して経路を新たに設定したり切り替える制御を行う。
具体的に、フロー設定部330は、まず、データフローの特性に対応する専用カード630を搭載したアクセラレータノード100等を、そのデータフローに割り当てる。例えば、データフローの重複率が所定値よりも高い場合には、そのデータフローに、Hash計算カードを搭載したアクセラレータノードを割り当てる。また、データフローの圧縮率が所定値よりも高い場合には、そのデータフローに、圧縮カードを搭載したアクセラレータノードを割り当てる。また、データフロー内のファイルのサイズが所定値よりも小さい場合には、そのデータフローに、SSDカードを搭載したアクセラレータノードを割り当てる。但し、データフローが、クライアント200等側のバックアップソフトウェアなどにより暗号化されていたり、既に圧縮されていた場合には、Hash計算カードや圧縮カードを搭載したアクセラレータノードを割り当てない。
また、フロー設定部300は、上述したようにデータフローに割り当てる各専用カード630が搭載されたアクセラレータノード100等がない場合には、AN特性情報DB310に格納されている各アクセラレータノード100等の負荷状況に応じて、データフローに負荷の低いアクセラレータノード100等を割り当てる。
なお、フロー設定部300は、上述したように、データフローにアクセラレータノードを割り当ててPFS500のルーティングやリダイレクトを行う処理を、一定の間隔で行うか、各特性情報が更新される毎に行う。
[動作]
次に、上述したストレージシステムの動作を、図5乃至図7のフローチャートを参照して説明する。
事前に、アクセラレータノード100,110,120には、同じIPアドレスが設定されている。これにより、クライアント200,210,220,230からは、IP的には1つの装置にアクセスしているように見える。しかし、後述するように、PFS500のルーティング/リダイレクトによって実際にアクセスするアクセラレータノード100等が決まる。
まず、PFS制御装置300は、クライアント200等がPFS500に接続されたことを検出する(ステップA1)。次に、PFS制御装置300は、AN特性情報DB310から各アクセラレータノード100等の負荷状況を取得し(ステップA2)、アクセラレータノード100等の中から最も負荷の低いものを選び出す(ステップA3)。そして、選ばれたアクセラレータノードにクライアントからのフローが送信されるよう、フロー設定部330にてPFS500を設定する(ステップA4)。このようにして、クライアントが最初にアクセスするアクセラレータノードが決定される。
アクセラレータノードは、クライアントからのフローをフロー受付部600で受信する。フロー受付部600は、フローの特性検出用のパスと、通常の重複排除したデータ格納を行う処理のパスと、に同じデータフローを流す。つまり、フロー受付部600は、フローの特性検出用のパスをフロー特性検出部660に流し、データ格納を行う処理のパスをCAS処理部620に流す。
そして、アクセラレータノードのフロー特性検出部660では、フロー受付部600からデータフローを受け取ると、データフローの重複率、圧縮率、バックアップソフトウェアによる圧縮/暗号化の有無、ファイルサイズの検出など、データフローの各特性の検出処理を行なう。フロー特性検出部660は、検出したデータフローの特性をフロー特性判別部640に渡す。すると、フロー特性判別部640は、検出された情報を基に、データフローを送信してきたクライアントのIPアドレスを関連付けたフロー特性情報を作り、PFS制御装置300に送る。
また、通常のデータ格納を行う処理のパスを受け取ったCAS処理部620は、図3,4を参照して説明したように、CAS400に対して重複記憶を排除したデータ格納処理を行う。このとき、アクセラレータノードにCPUの代わりに処理を行なう専用カード630が搭載されている場合には、CAS処理部620は搭載されている専用カード630で処理できる部分を、当該専用カード630に任せる。このようにして、データフローのデータは、CAS400に最終的に格納される。
また、アクセラレータノード100等のAN特性判別部650は、アクセラレータノード100等の処理性能や負荷状況、搭載されている専用カードの情報を収集して、PFS制御装置300に送る。
その後、データフローの特性が変化したり、アクセラレータノードの負荷が高くなってきたりした場合には、PFS制御装置300は、負荷分散のためにフロー設定部330を使ってデータフローのリダイレクトを行なう。
まず、PFS制御装置300のフロー設定部330は、AN特性情報DB310やフロー特性情報DB320内の情報を使って、データフローの特性変化やアクセラレータノードの負荷の変化を検出する(ステップB1)。そして、フロー設定部330は、データフローの特性に対応するアクセラレータノードの割り当てを決定し、そのアクセラレータノードにデータフローが流れるよう設定する。具体的に、フロー設定部330は、データフローの移動元のアクセラレータノードのセッション移動処理部610に対して、移動先のアクセラレータノードを通知してリダイレクトの指示を出す(ステップB2)。
セッション移動処理部610は、フロー受付部600に対してデータフローの停止を要求する(ステップB3)。また、セッション移動処理部610は、データフローのセッション情報を、移動先のアクセラレータノードのセッション移動処理部610に送信する(ステップB4)。セッションの情報を受け取った移動先となるアクセラレータノードのセッション移動処理部610は、セッション情報を元にセッションを再構築する(ステップB5)。セッションの再構築が完了したら、PFS制御装置300はフロー設定部330を使ってデータフローのリダイレクトを設定する(ステップB6)。
次に、上述したPFS制御装置300によるデータフローのアクセラレータノードに対する割り当て方法の一例を、図7を参照して説明する。
まず、データフローに含まれるマーカ情報の存在を調べ、クライアント200等がバックアップソフトウェアを使用して、データ格納のためにデータフローが送信されているか否かを調べる(ステップC1)。クライアント200等がバックアップソフトウェアを使っている場合には(ステップC1でYes)、バックアップソフトウェアにてデータフローに付加されたマーカ情報を参照して、データフローが既にバックアップソフトウェアによって圧縮されているか確認する(ステップC2)。バックアップソフトウェアで圧縮が実施されている場合には(ステップC2でYes)、これ以上圧縮できない可能性が高いため、圧縮が効かないと判断し、次に重複しているのか確認する(ステップC4)。
続いて、ステップC4で、データフローの重複率が所定値よりも高い場合にはそのデータフローのデータは今後も重複することが考えられるため(ステップC4でYes)、Hash計算カードが搭載されているアクセラレータノードへ優先割り当てを行う(ステップC8)。一方、重複率が所定値以下である場合には(ステップC4でNo)、アクセラレータノードの負荷状況に合わせて優先割り当てを行う(ステップC9)。
また、上述したステップC2で、データフローが既にバックアップソフトウェアで圧縮されておりこれ以上圧縮が効かないと判断された場合には(ステップC2でNo)、データフローに含まれるマーカ情報を参照して、当該データフローがバックアップソフトウェアによって暗号化されているか判定する(ステップC5)。
そして、データフローが暗号化されている場合には(ステップC5でYes)、圧縮も重複排除も効かないと考えられることから、アクセラレータノードの負荷状況に合わせて割り当てを決める(ステップC10)。一方、データフローが暗号化されていない場合には(ステップC5でNo)、上述同様にデータフローの重複率から当該データフローのデータが重複しているか確認する(ステップC6)。重複しているようであれば(ステップC6でYes)、Hash計算カードが搭載されているアクセラレータノードへ優先割り当てを行う(ステップC11)。重複していないようであれば、データフローに圧縮が効くか確認する(ステップC7)。
続いて、ステップC7では、データフローの圧縮率が所定値よりも高い場合には、圧縮が効くと判断できるため(ステップC7でYes)、圧縮カードが搭載されているアクセラレータノードへの優先割り当てを行う(ステップC12)。一方、データフローの圧縮率が所定値以下であり圧縮が効かないようであれば(ステップC7でNo)、アクセラレータノードの負荷状況に合わせて優先割り当てを行う(ステップC13)。
また、ステップC1で、クライアント200等でバックアップソフトウェアを使っていないと判定された場合には(ステップC1でNo)、データストリーム中で次に書き込まれているファイルの大きさを確認する(ステップC3)。そして、ファイルの大きさが所定値以下であると判断された場合には(ステップC3でNo)、小ファイルの書き込みが行われていると判断できる。このため、小ファイル処理性能を高速化するSSDカードが搭載されているアクセラレータノードへの優先割り当てを行う(ステップC14)。一方、ファイルサイズが所定値よりも大きい場合には(ステップC3でYes)、上述同様にデータフローの重複率から当該データフローのデータが重複しているか確認する(ステップC6)。これ以降は、上述した内容と同じである。
ここで、データフローに割り当てるアクセラレータノードを決定する際には、複数のアクセラレータノードが候補に選ばれる可能性がある。この場合には、アクセラレータノードの負荷状況と処理性能とを参照して、複数選ばれたアクセラレータノードの中から一番負荷や処理性能に余裕のあるアクセラレータノードを選び出すことも可能である。また、データフローに割り当てる特定の専用カードを搭載したアクセラレータノードがなかった場合には、アクセラレータノードの負荷状況を判断基準として割り当てを行なう。
以上のように、本発明のストレージシステムによると、データフローの重複率や圧縮率、バックアップソフトウェアが付加する情報、アクセラレータノードの処理性能や負荷状況を組み合わせて、それを基にPFSを使ってフローを決定することにより、データフローに適切なアクセラレータノードに負荷を分散することができる。従って、システム全体としてデータ格納処理の高速化を図りつつ、効率的な負荷分散を実現することができる。
また、ストレージシステム内に新旧世代のアクセラレータノードが混在したとしても、それぞれの性能に応じて負荷を分散することができるため、長期利用を考えたストレージ装置において効果的な負荷分散を実現することができる。
さらに、アクセラレータノードで検出できる情報とPFSを用いて負荷分散を行っているため、クライアントがデータの特性を意識すること無くフロー単位で負荷分散が可能となる。
なお、クライアント200,210,220,230からバックアップしようとしているファイルの情報(バックアップソフトウェアの名前、バックアップソフトウェアによる圧縮/暗号化はあるか、バックアップしようとしているファイルのサイズなど)を、PFS制御装置300に送り、その情報を基に、PFS制御装置300が負荷分散を決定してもよい。つまり、PFS制御装置300がデータフローの情報を検出して、当該データフローの特性に応じたアクセラレータノードを割り当ててもよい。
<付記>
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明におけるストレージシステムの概略を図8を参照して説明する。但し、本発明は、以下の構成に限定されない。
(付記1)
複数のストレージ装置1000と、
前記複数のストレージ装置に対してデータを分散して記憶すると共に、当該ストレージ装置に既に記憶されているデータと同一内容の他のデータを格納する場合に、当該ストレージ装置に既に記憶されているデータを前記他のデータとして参照させる重複排除処理を行う複数の記憶処理装置1100と、
一群のデータからなるデータフローをいずれかの前記記憶処理装置に割り当てて当該割り当てた前記記憶処理装置に前記データフローが流れるよう設定するスイッチ部1200と、
前記データフローの予め定められた特性を当該データフロー毎に検出するフロー特性検出部1110と、
前記記憶処理装置の予め定められた特性を当該記憶処理装置毎に検出する装置特性検出部1120と、を備え、
前記スイッチ部1200は、前記フロー特性検出部にて検出した前記データフローの特性と、前記装置特性検出部にて検出した前記記憶処理装置の特性と、に基づいて、前記データフローを割り当てる前記記憶処理装置を決定する、
ストレージシステム。
(付記2)
付記1に記載のストレージシステムであって、
前記装置特性検出部は、前記記憶処理装置の特性として、当該記憶処理装置に搭載されている前記データフローを前記ストレージ装置に記憶するための特定の処理を実行する専用機器を検出し、
前記スイッチ部は、前記フロー特性検出部にて検出した前記データフローの特性に対応する前記専用機器を搭載した前記記憶処理装置を、前記データフローに割り当てる、
ストレージシステム。
(付記3)
付記2に記載のストレージシステムであって、
前記フロー特性検出部は、前記データフローの特性として、当該データフロー内のデータが前記ストレージ装置に記憶されているデータと重複している度合いを表す重複度合いを検出し、
前記装置特性検出部は、前記記憶処理装置の特性として、当該記憶処理装置に搭載されている前記重複排除処理を実行する専用機器を検出し、
前記スイッチ部は、前記フロー特性検出部にて検出した前記データフローの重複度合いが所定値よりも高い場合に、当該データフローに前記重複排除処理を実行する専用機器を搭載した前記記憶処理装置を割り当てる、
ストレージシステム。
(付記4)
付記3に記載のストレージシステムであって、
前記フロー特性検出部は、前記データフローの特性として、当該データフローが暗号化されているか否かを検出し、
前記スイッチ部は、前記フロー特性検出部にて前記データフローが暗号化されていない場合であって、前記フロー特性検出部にて検出した前記データフローの重複度合いが所定値よりも高い場合に、当該データフローに前記重複排除処理を実行する専用機器を搭載した前記記憶処理装置を割り当てる、
ストレージシステム。
(付記5)
付記2乃至4のいずれかに記載のストレージシステムであって、
前記記憶処理装置は、前記ストレージ装置に対してデータを圧縮して記憶し、
前記フロー特性検出部は、前記データフローの特性として、当該データフロー内のデータの前記ストレージ装置に対する記憶前後における圧縮度合いを検出し、
前記装置特性検出部は、前記記憶処理装置の特性として、当該記憶処理装置に搭載されている圧縮処理を実行する専用機器を検出し、
前記スイッチ部は、前記フロー特性検出部にて検出した前記データフローの圧縮度合いが所定値よりも高い場合に、当該データフローに前記圧縮処理を実行する専用機器を搭載した前記記憶処理装置を割り当てる、
ストレージシステム。
(付記6)
付記5に記載のストレージシステムであって、
前記フロー特性検出部は、前記データフローの特性として、当該データフローが前記記憶処理装置に入力される前に圧縮されているか否かを検出し、
前記スイッチ部は、前記フロー特性検出部にて前記データフローが前記記憶処理装置に入力される前に圧縮されていない場合であって、前記フロー特性検出部にて検出した前記データフローの圧縮度合いが所定値よりも高い場合に、当該データフローに前記圧縮処理を実行する専用機器を搭載した前記記憶処理装置を割り当てる、
ストレージシステム。
(付記7)
付記2乃至6のいずれかに記載のストレージシステムであって、
前記フロー特性検出部は、前記データフローの特性として、当該データフロー中のファイルのサイズを検出し、
前記装置特性検出部は、前記記憶処理装置の特性として、当該記憶処理装置に搭載されているデータ入出力が前記ストレージ装置に搭載された補助記憶装置よりも高速な高速記憶装置を装備した専用機器を検出し、
前記スイッチ部は、前記フロー特性検出部にて検出した前記データフローのファイルサイズが所定値よりも小さい場合に、当該データフローに前記高速記憶装置を装備した専用機器を搭載した前記記憶処理装置を割り当てる、
ストレージシステム。
(付記8)
付記2乃至7のいずれかに記載のストレージシステムであって、
前記装置特性検出部は、前記記憶処理装置の特性として、当該記憶処理装置の負荷状況を検出し、
前記スイッチ部は、前記フロー特性検出部にて検出した前記データフローの特性に対応する専用機器を搭載した前記記憶処理装置がない場合に、当該データフローに前記フロー特性検出部にて検出した負荷状況に応じて他の前記記憶処理装置を割り当てる、
ストレージシステム。
(付記9)
複数のストレージ装置に対してデータを分散して記憶すると共に、当該ストレージ装置に既に記憶されているデータと同一内容の他のデータを格納する場合に、当該ストレージ装置に既に記憶されているデータを前記他のデータとして参照させる重複排除処理を行う複数の記憶処理装置のうち、いずれかの前記記憶処理装置に一群のデータからなるデータフローが流れるよう設定するスイッチ部に接続されたスイッチ制御装置であって、
前記データフロー毎に検出された当該データフローの予め定められた特性と、前記記憶処理装置毎に検出された当該記憶処理装置の予め定められた特性と、に基づいて、前記データフローに前記記憶処理装置を割り当てて当該割り当てた前記記憶処理装置に前記データフローが流れるよう前記スイッチ部を設定するフロー設定部を備えた、
スイッチ制御装置。
(付記10)
付記9に記載のスイッチ制御装置であって、
前記記憶処理装置の特性として、当該記憶処理装置に搭載されている前記データフローを前記ストレージ装置に記憶するための特定の処理を実行する専用機器が検出された場合に、
前記フロー設定部は、検出された前記データフローの特性に対応する前記専用機器を搭載した前記記憶処理装置を、前記データフローに割り当てる、
スイッチ制御装置。
(付記11)
複数のストレージ装置に対してデータを分散して記憶すると共に、当該ストレージ装置に既に記憶されているデータと同一内容の他のデータを格納する場合に、当該ストレージ装置に既に記憶されているデータを前記他のデータとして参照させる重複排除処理を行う複数の記憶処理装置のうち、いずれかの前記記憶処理装置に一群のデータからなるデータフローが流れるよう設定するスイッチ部に接続されたスイッチ制御装置に、
前記データフロー毎に検出された当該データフローの予め定められた特性と、前記記憶処理装置毎に検出された当該記憶処理装置の予め定められた特性と、に基づいて、前記データフローに前記記憶処理装置を割り当てて当該割り当てた前記記憶処理装置に前記データフローが流れるよう前記スイッチ部を設定するフロー設定部、
を実現させるためのプログラム。
(付記12)
付記11に記載のプログラムであって、
前記記憶処理装置の特性として、当該記憶処理装置に搭載されている前記データフローを前記ストレージ装置に記憶するための特定の処理を実行する専用機器が検出された場合に、
前記フロー設定部は、検出された前記データフローの特性に対応する前記専用機器を搭載した前記記憶処理装置を、前記データフローに割り当てる、
プログラム。
(付記13)
複数のストレージ装置と、
前記複数のストレージ装置に対してデータを分散して記憶すると共に、当該ストレージ装置に既に記憶されているデータと同一内容の他のデータを格納する場合に、当該ストレージ装置に既に記憶されているデータを前記他のデータとして参照させる重複排除処理を行う複数の記憶処理装置と、
一群のデータからなるデータフローをいずれかの前記記憶処理装置に割り当てて当該割り当てた前記記憶処理装置に前記データフローが流れるよう設定するスイッチ部と、を備えたストレージシステムによるフロー制御方法であって、
前記データフローの予め定められた特性を当該データフロー毎に検出すると共に、前記記憶処理装置の予め定められた特性を当該記憶処理装置毎に検出し、
前記スイッチ部が、検出した前記データフローの特性と、検出した前記記憶処理装置の特性と、に基づいて、前記データフローを割り当てる前記記憶処理装置を決定する、
フロー制御方法。
(付記14)
付記13に記載のフロー制御方法であって、
前記記憶処理装置の特性として、当該記憶処理装置に搭載されている前記データフローを前記ストレージ装置に記憶するための特定の処理を実行する専用機器を検出し、
前記スイッチ部が、検出した前記データフローの特性に対応する前記専用機器を搭載した前記記憶処理装置を、前記データフローに割り当てる、
フロー制御方法。
なお、上記記載におけるプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
なお、本発明は、日本国にて2011年2月28日に特許出願された特願2011−41864の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
100,110,120 アクセラレータノード(AN)
200,210,220,230 クライアント
300 PFS制御装置
310 AN特性情報DB
320 フロー特性情報DB
330 フロー設定部
400 CAS
500 PFS
600 フロー受付部
610 セッション移動処理部
620 CAS処理部
630 専用カード
640 フロー特性判別部
650 AN特性判別部
660 フロー特性検出部
661 重複率計算部
662 圧縮率計算部
663 圧縮検出部
664 暗号化検出部
665 ファイルサイズ検出部
1000 ストレージ装置
1100 記憶処理装置
1110 フロー特性検出部
1120 装置特性検出部
1200 スイッチ部

Claims (10)

  1. 複数のストレージ装置と、
    前記複数のストレージ装置に対してデータを分散して記憶すると共に、当該ストレージ装置に既に記憶されているデータと同一内容の他のデータを格納する場合に、当該ストレージ装置に既に記憶されているデータを前記他のデータとして参照させる重複排除処理を行う複数の記憶処理装置と、
    一群のデータからなるデータフローをいずれかの前記記憶処理装置に割り当てて当該割り当てた前記記憶処理装置に前記データフローが流れるよう当該データフローの経路を設定するスイッチ部と、
    前記データフローの予め定められた特性を当該データフロー毎に検出するフロー特性検出部と、
    前記記憶処理装置の予め定められた特性を当該記憶処理装置毎に検出する装置特性検出部と、を備え、
    前記スイッチ部は、前記フロー特性検出部にて検出した前記データフローの特性と、前記装置特性検出部にて検出した前記記憶処理装置の特性と、に基づいて、前記データフローを割り当てる前記記憶処理装置を決定すると共に、前記データフローの特性が変化した場合に、当該データフローの特性に基づいて当該データフローを割り当てる前記記憶処理装置を決定し、当該記憶処理装置に前記データフローが流れるよう経路を新たに設定する、
    ストレージシステム。
  2. 請求項1に記載のストレージシステムであって、
    前記装置特性検出部は、前記記憶処理装置の特性として、当該記憶処理装置に搭載されている前記データフローを前記ストレージ装置に記憶するための特定の処理を実行する専用機器を検出し、
    前記スイッチ部は、前記フロー特性検出部にて検出した前記データフローの特性に対応する前記専用機器を搭載した前記記憶処理装置を、前記データフローに割り当てる、
    ストレージシステム。
  3. 請求項2に記載のストレージシステムであって、
    前記フロー特性検出部は、前記データフローの特性として、当該データフロー内のデータが前記ストレージ装置に記憶されているデータと重複している度合いを表す重複度合いを検出し、
    前記装置特性検出部は、前記記憶処理装置の特性として、当該記憶処理装置に搭載されている前記重複排除処理を実行する専用機器を検出し、
    前記スイッチ部は、前記フロー特性検出部にて検出した前記データフローの重複度合いが所定値よりも高い場合に、当該データフローに前記重複排除処理を実行する専用機器を搭載した前記記憶処理装置を割り当てる、
    ストレージシステム。
  4. 請求項3に記載のストレージシステムであって、
    前記フロー特性検出部は、前記データフローの特性として、当該データフローが暗号化されているか否かを検出し、
    前記スイッチ部は、前記フロー特性検出部にて前記データフローが暗号化されていない場合であって、前記フロー特性検出部にて検出した前記データフローの重複度合いが所定値よりも高い場合に、当該データフローに前記重複排除処理を実行する専用機器を搭載した前記記憶処理装置を割り当てる、
    ストレージシステム。
  5. 請求項2乃至4のいずれかに記載のストレージシステムであって、
    前記記憶処理装置は、前記ストレージ装置に対してデータを圧縮して記憶し、
    前記フロー特性検出部は、前記データフローの特性として、当該データフロー内のデータの前記ストレージ装置に対する記憶前後における圧縮度合いを検出し、
    前記装置特性検出部は、前記記憶処理装置の特性として、当該記憶処理装置に搭載されている圧縮処理を実行する専用機器を検出し、
    前記スイッチ部は、前記フロー特性検出部にて検出した前記データフローの圧縮度合いが所定値よりも高い場合に、当該データフローに前記圧縮処理を実行する専用機器を搭載した前記記憶処理装置を割り当てる、
    ストレージシステム。
  6. 請求項5に記載のストレージシステムであって、
    前記フロー特性検出部は、前記データフローの特性として、当該データフローが前記記憶処理装置に入力される前に圧縮されているか否かを検出し、
    前記スイッチ部は、前記フロー特性検出部にて前記データフローが前記記憶処理装置に入力される前に圧縮されていない場合であって、前記フロー特性検出部にて検出した前記データフローの圧縮度合いが所定値よりも高い場合に、当該データフローに前記圧縮処理を実行する専用機器を搭載した前記記憶処理装置を割り当てる、
    ストレージシステム。
  7. 請求項2乃至6のいずれかに記載のストレージシステムであって、
    前記フロー特性検出部は、前記データフローの特性として、当該データフロー中のファイルのサイズを検出し、
    前記装置特性検出部は、前記記憶処理装置の特性として、当該記憶処理装置に搭載されているデータ入出力が前記ストレージ装置に搭載された補助記憶装置よりも高速な高速記憶装置を装備した専用機器を検出し、
    前記スイッチ部は、前記フロー特性検出部にて検出した前記データフローのファイルサイズが所定値よりも小さい場合に、当該データフローに前記高速記憶装置を装備した専用機器を搭載した前記記憶処理装置を割り当てる、
    ストレージシステム。
  8. 請求項2乃至7のいずれかに記載のストレージシステムであって、
    前記装置特性検出部は、前記記憶処理装置の特性として、当該記憶処理装置の負荷状況を検出し、
    前記スイッチ部は、前記フロー特性検出部にて検出した前記データフローの特性に対応する専用機器を搭載した前記記憶処理装置がない場合に、当該データフローに前記フロー特性検出部にて検出した負荷状況に応じて他の前記記憶処理装置を割り当てる、
    ストレージシステム。
  9. 複数のストレージ装置に対してデータを分散して記憶すると共に、当該ストレージ装置に既に記憶されているデータと同一内容の他のデータを格納する場合に、当該ストレージ装置に既に記憶されているデータを前記他のデータとして参照させる重複排除処理を行う複数の記憶処理装置のうち、いずれかの前記記憶処理装置に一群のデータからなるデータフローが流れるよう当該データフローの経路を設定するスイッチ部に接続されたスイッチ制御装置であって、
    前記データフロー毎に検出された当該データフローの予め定められた特性と、前記記憶処理装置毎に検出された当該記憶処理装置の予め定められた特性と、に基づいて、前記データフローに前記記憶処理装置を割り当てて当該割り当てた前記記憶処理装置に前記データフローが流れるよう前記スイッチ部を設定すると共に、前記データフローの特性が変化した場合に、当該データフローの特性に基づいて当該データフローを割り当てる前記記憶処理装置を決定し、当該記憶処理装置に前記データフローが流れるよう経路を新たに設定するフロー設定部を備えた、
    スイッチ制御装置。
  10. 複数のストレージ装置と、
    前記複数のストレージ装置に対してデータを分散して記憶すると共に、当該ストレージ装置に既に記憶されているデータと同一内容の他のデータを格納する場合に、当該ストレージ装置に既に記憶されているデータを前記他のデータとして参照させる重複排除処理を行う複数の記憶処理装置と、
    一群のデータからなるデータフローをいずれかの前記記憶処理装置に割り当てて当該割り当てた前記記憶処理装置に前記データフローが流れるよう当該データフローの経路を設定するスイッチ部と、を備えたストレージシステムによるフロー制御方法であって、
    前記データフローの予め定められた特性を当該データフロー毎に検出すると共に、前記記憶処理装置の予め定められた特性を当該記憶処理装置毎に検出し、
    前記スイッチ部が、検出した前記データフローの特性と、検出した前記記憶処理装置の特性と、に基づいて、前記データフローを割り当てる前記記憶処理装置を決定すると共に、前記データフローの特性が変化した場合に、当該データフローの特性に基づいて当該データフローを割り当てる前記記憶処理装置を決定し、当該記憶処理装置に前記データフローが流れるよう経路を新たに設定する、
    フロー制御方法。
JP2013502163A 2011-02-28 2012-01-19 ストレージシステム Expired - Fee Related JP5561425B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013502163A JP5561425B2 (ja) 2011-02-28 2012-01-19 ストレージシステム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011041864 2011-02-28
JP2011041864 2011-02-28
PCT/JP2012/000294 WO2012117658A1 (ja) 2011-02-28 2012-01-19 ストレージシステム
JP2013502163A JP5561425B2 (ja) 2011-02-28 2012-01-19 ストレージシステム

Publications (2)

Publication Number Publication Date
JPWO2012117658A1 JPWO2012117658A1 (ja) 2014-07-07
JP5561425B2 true JP5561425B2 (ja) 2014-07-30

Family

ID=46757605

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013502163A Expired - Fee Related JP5561425B2 (ja) 2011-02-28 2012-01-19 ストレージシステム

Country Status (2)

Country Link
JP (1) JP5561425B2 (ja)
WO (1) WO2012117658A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103797470B (zh) 2011-09-16 2017-02-15 日本电气株式会社 存储系统
US9817728B2 (en) 2013-02-01 2017-11-14 Symbolic Io Corporation Fast system state cloning
US9304703B1 (en) 2015-04-15 2016-04-05 Symbolic Io Corporation Method and apparatus for dense hyper IO digital retention
US9467294B2 (en) * 2013-02-01 2016-10-11 Symbolic Io Corporation Methods and systems for storing and retrieving data
US10133636B2 (en) 2013-03-12 2018-11-20 Formulus Black Corporation Data storage and retrieval mediation system and methods for using same
EP3126957A4 (en) * 2014-03-31 2017-09-13 Kofax, Inc. Scalable business process intelligence and predictive analytics for distributed architectures
US10061514B2 (en) 2015-04-15 2018-08-28 Formulus Black Corporation Method and apparatus for dense hyper IO digital retention
JP6316503B2 (ja) * 2015-05-18 2018-04-25 株式会社日立製作所 計算機システム、アクセラレータ及びデータベースの処理方法
JP6406283B2 (ja) 2016-03-01 2018-10-17 日本電気株式会社 ストレージ装置およびストレージ方法
JP7021742B2 (ja) * 2017-11-21 2022-02-17 Necソリューションイノベータ株式会社 情報処理装置、情報処理方法、プログラム
US10572186B2 (en) 2017-12-18 2020-02-25 Formulus Black Corporation Random access memory (RAM)-based computer systems, devices, and methods
WO2020142431A1 (en) 2019-01-02 2020-07-09 Formulus Black Corporation Systems and methods for memory failure prevention, management, and mitigation
JP6860037B2 (ja) * 2019-05-20 2021-04-14 日本電気株式会社 重複排除記憶方法、重複排除記憶制御装置、重複排除ストレージシステム、プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006004011A (ja) * 2004-06-15 2006-01-05 Hitachi Ltd ストレージシステム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006004011A (ja) * 2004-06-15 2006-01-05 Hitachi Ltd ストレージシステム

Also Published As

Publication number Publication date
WO2012117658A1 (ja) 2012-09-07
JPWO2012117658A1 (ja) 2014-07-07

Similar Documents

Publication Publication Date Title
JP5561425B2 (ja) ストレージシステム
US8239621B2 (en) Distributed data storage system, data distribution method, and apparatus and program to be used for the same
US9298734B2 (en) Storage system, computer system and data migration method
JP5413948B2 (ja) ストレージシステム
US9747034B2 (en) Orchestrating management operations among a plurality of intelligent storage elements
US9356992B2 (en) Transfer control device, non-transitory computer-readable storage medium storing program, and storage apparatus
US20150319051A1 (en) Large scale storage system
US20140188957A1 (en) Hierarchical storage system and file management method
JP5569074B2 (ja) ストレージシステム
JP2004252663A (ja) ストレージ装置、分担範囲決定方法及びプログラム
CN103067525A (zh) 一种基于特征码的云存储数据备份方法
US10169021B2 (en) System and method for deploying a data-path-related plug-in for a logical storage entity of a storage system
CN109582213A (zh) 数据重构方法及装置、数据存储系统
US8683121B2 (en) Storage system
US20220374173A1 (en) Methods for accelerating storage operations using computational network and storage components and devices thereof
JP5533887B2 (ja) ストレージ装置
JP5758449B2 (ja) データ再配置装置、方法およびプログラム
JP6135226B2 (ja) 情報処理装置、情報処理方法、ストレージシステム及びコンピュータプログラム
WO2011108048A1 (ja) ストレージ装置
JP6281333B2 (ja) ストレージシステム
KR102252199B1 (ko) 토러스 네트워크 기반 분산 파일 시스템 볼륨 성능 최적화 장치 및 방법
JP7075077B2 (ja) バックアップサーバ、バックアップ方法、プログラム、ストレージシステム
US11971902B1 (en) Data retrieval latency management system
JP6343952B2 (ja) ストレージシステム
JP2023119489A (ja) 計算機システム、ボリューム配置管理装置、及びボリューム配置管理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140513

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140526

R150 Certificate of patent or registration of utility model

Ref document number: 5561425

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees