JP4872942B2 - ストレージシステム、ストレージ装置、優先度制御装置および優先度制御方法 - Google Patents

Description

本発明は、スケーラブルに拡張するストレージにおいて、拡張したことによる装置の内部遅延を解消し、性能の安定化を図るストレージシステム、ストレージ装置、優先度制御装置および優先度制御方法に関する。

従来のスケーラブルストレージについて図４を参照して説明する。

図４において、コマンド受信部４１は、キュー４２に、外部から受けたコマンドを受けた順番どおりにキューイングする。

このためＭＰＵ４３は、タスクを受けた順番で処理しようとする。

しかしながら、上述したスケーラブルストレージにおいては、多数のＳＷを経由するような場合には、通信時間がかかるのでコマンド実行時間が不均衡になるという問題点が生じる。

これに関連する技術を次に開示する。

特許文献１に開示のストレージシステムおよびスケジューリング方法は、Ｉ／Ｏ以外の高コマンドが多発したときに、Ｉ／Ｏ処理が沈みこむのを防ぐことを課題とする。

上記課題を有するストレージシステムは、マルチタスクオペレーティングシステム環境下で動作するシングルプロセッサを搭載し、動作時間管理部は、ストレージシステムの内部及び外部の両方から要求される割込み処理およびタスク処理のそれぞれの処理時間の割合が所定の範囲内に収束するように、割込み処理およびタスク処理のそれぞれの処理時間の割合をバランス調整することが開示されている。

特許文献２に開示の記憶システム、データ処理方式ならびにストレージ装置は、仮想化装置を構成する物理装置のうち、優先度の高い装置をマスタ装置としてデータ入出力を安定化させることを課題とする。

上記課題を有する記憶システムは、同じストレージグループに設定された各ストレージ装置が、それぞれこれらストレージ装置に付与された優先順位情報を含むグループ構成情報を記憶し、優先順位が最も高いストレージ装置が、マスタとなって仮想化処理及びデータ入出力処理とを担当し、当該ストレージグループに属する他のストレージ装置が当該ストレージグループの内部処理を担当することが開示されている。

特許文献３に開示の計算機システム、帯域制御方法およびプログラムは、ｉＳＣＳＩにて、該ホスト計算機が優先して動作する必要がある優先状況であるか否かを判定し、優先状況であると判定すると、優先帯域で通信することを課題とする。

上記課題を有する計算機システムは、一つ以上のストレージ装置と、ストレージ装置にネットワークを介して接続される複数のホスト計算機と、ホスト計算機に接続される管理計算機とを備え、ホスト計算機は、ホスト計算機の状況を監視し、ホスト計算機が優先して動作する必要がある優先状況であるか否かを判定し、優先状況であると判定すると、優先帯域で通信し、優先状況でないと判定すると、優先状況である他のホスト計算機に優先帯域を割り当てた残りの帯域の一部又は全部である非優先帯域で通信することが開示されている。

特許文献４に開示の優先制御方法、計算機システムおよび管理装置は、ホスト−ストレージ間のネットワークで、ボリューム単位の優先度制御を行なうことを課題とする。

上記課題を有する計算機システムは、ボリュームを提供するストレージ装置と、ボリュームを利用する情報処理装置と、情報処理装置の利用するボリュームへの通信の優先度を設定する管理装置と、通信の優先制御が可能なネットワーク機器で構成され、ストレージ装置と情報処理装置との接続経路を提供するネットワークとを備え、ストレージ装置から、ボリュームのストレージ装置での優先度と、ボリュームに割当てられたキャッシュメモリの容量との情報を取得し、ボリュームのネットワークの接続経路上での優先度を決定し、情報処理装置に通知し、優先度を使用する接続経路上での識別情報を取得し、識別情報をネットワーク機器に設定することが開示されている。
特開２００７−２３３８４７号公報 特開２００７−２０６９３１号公報 特開２００７−１２８４０９号公報 特開２００６−３５０４０４号公報

しかしながら、上述した引用文献１から引用文献４は、スケーラブルストレージが、複数のノードを有する場合に、ホストからのコマンドのうち、ノードをまたぐコマンドを優先的に処理することに関して何ら示唆されていない。また、これによる効果も示唆されていない。

本発明は、上記問題を解決するため、複数のノードを有するスケーラブルストレージにおいて、ホストからのコマンドのうち、ノードをまたぐコマンドを優先的に処理し、拡張したことによる内部遅延を解消し、コマンド実行時間の不均衡さを解決するストレージシステム、ストレージ装置、優先度制御装置および優先度制御方法を提供することを目的とする。

上記の目的を達成するため、本発明の第１の態様は、ホスト装置と、複数のノードを有するストレージ装置とから構成されるストレージシステムであって、前記ストレージ装置は、前記ホスト装置から受信するコマンド毎に、当該コマンドがどのノードのどの部位へのアクセスかに応じて優先度が予め設定された優先度データベースを有し、前記ホスト装置から所定のコマンドを受信すると、前記優先度データベースを基に当該コマンドの優先度を判断し、判断した優先度に応じて当該コマンドのキューイングを行い、キューイングされたコマンドのうち、優先度の高いコマンドから処理することを特徴とする。

本発明の第２の態様は、複数のノードを有し、ホスト装置と接続されたストレージ装置であって、前記ホスト装置から受信するコマンド毎に、当該コマンドがどのノードのどの部位へのアクセスかに応じて優先度が予め設定された優先度データベースを有し、前記ホスト装置から所定のコマンドを受信すると、前記優先度データベースを基に当該コマンドの優先度を判断し、判断した優先度に応じて当該コマンドのキューイングを行い、キューイングされたコマンドのうち、優先度の高いコマンドから処理することを特徴とする。

本発明の第３の態様は、ホスト装置と接続されたストレージ装置内の複数のノードに備えられる優先度制御装置であって、前記ホスト装置から受信するコマンド毎に、当該コマンドがどのノードのどの部位へのアクセスかに応じて優先度が予め設定された優先度データベースを有し、前記ホスト装置から所定のコマンドを受信すると、前記優先度データベースを基に当該コマンドの優先度を判断し、判断した優先度に応じて当該コマンドのキューイングを行い、キューイングされたコマンドのうち、優先度の高いコマンドから処理することを特徴とする。

本発明の第４の態様は、ホスト装置と接続された、複数のノードを備える装置が行う優先度制御方法であって、前記装置は、前記ホスト装置から受信するコマンド毎に、当該コマンドがどのノードのどの部位へのアクセスかに応じて優先度が予め設定された優先度データベースを有し、前記ホスト装置から所定のコマンドを受信すると、前記優先度データベースを基に当該コマンドの優先度を判断し、判断した優先度に応じて当該コマンドのキューイングを行い、キューイングされたコマンドのうち、優先度の高いコマンドから処理することを特徴とする。

本発明によれば、装置性能が安定したストレージシステム、ストレージ装置、優先度制御装置および優先度制御方法の提供を可能とする。

以下、本発明を実施する好適、もしくは最良に実施する実施の形態について説明する。
以下に説明する実施の形態は、これに限定されることはなく、当業者が容易に想到できる範囲内において、修正、変形可能とする。

（第１の実施形態）
本実施形態にかかるストレージシステムについて図１、図３を用いて説明する。
図１は、第１の実施形態にかかるストレージシステムの構成の一例を示す図である。
図１は、本実施形態にかかるストレージシステムの構成の一例であって、これに限定されない。
例えば、図１では、ノードを３つ有しているが、複数であるならば、これに限定されない。
図３は、本発明にかかる優先度制御装置の構成の一例を示す図である。

図１に示すように、本実施形態にかかるストレージシステム１は、ホストＰＣ２と、複数のノードを有するストレージ装置３とを有する。

図１に示すように、本実施形態にかかるストレージ装置３は、第１のノード４、第２のノード５および第３のノード６と、第１のＤｉｓｋ７、第２のＤｉｓｋ８を有する。

図１に示すように、複数のノードをつないで拡張するストレージ装置３において、第１のホストディレクタ（ＨＤ）９がコマンドを受けると、優先度判定部によりそのコマンドの優先度を判定する。

ノード内には、ホストからのコマンドを受けるホストディレクタ（ＨＤ）、キャッシュメモリ（ＣＨＥ）、ディスクへアクセスするディスクディレクタがある。

また、ＨＤ、ＣＨＥ、ＤＤ、および他のノードのスイッチを繋ぐスイッチ（ＳＷ）が有る。

第１のノード４は、ホストからのコマンドを受ける第１のホストディレクタ（ＨＤ）９、第１のキャッシュメモリ（ＣＨＥ）１５、第１のディスク７へアクセスする第１のディスクディレクタ（ＤＤ）１８を有する。

第１のノード４は、第１のホストディレクタ（ＨＤ）９、第１のキャッシュメモリ（ＣＨＥ）１５、第１のディスクディレクタ、および、第２のノード５が有する第２のスイッチ（ＳＷ）１３を繋ぐ第１のスイッチ（ＳＷ）１２をさらに有する。

第２のノード５は、第２のホストディレクタ（ＨＤ）１０、第２のキャッシュメモリ（ＣＨＥ）１６、および、第１のスイッチ（ＳＷ）１２と、第３のスイッチ（ＳＷ）１４とを繋ぐ第２のスイッチ（ＳＷ）１３を有する。

第３のノード６は、第３のホストディレクタ（ＨＤ）１１、第３のキャッシュメモリ（ＣＨＥ）１７、第２のディスク８へアクセスする第３のディスクディレクタ１９を有する。

第３のノード６は、第３のホストディレクタ（ＨＤ）１１、第３のキャッシュメモリ（ＣＨＥ）１７、第３のディスクディレクタ１９、および、第２のノード５が有する第２のスイッチ（ＳＷ）１３を繋ぐ第３のスイッチ（ＳＷ）１４をさらに有する。

図３を参照すると、優先度制御装置としてのＨＤ、ＤＤ、ＣＨＥ、ＳＷの詳細な構成が示されている。
この構成は、図１では、第１のＨＤ９および第３のＤＤ１９を示す。

図３に示す、コマンド受信部３１は、他の部位からのコマンドを受ける。

優先度判定手段としての優先度判定部３４は、コマンド受信部３１が受けたコマンドの優先度を判定する。

また、ここで判定した優先度を他の部位に伝えるために、コマンドに優先度を追記することもできる。

優先度データベース３５は、優先度判定部３４が優先度を判定するためのデータを持つ。

ＨＤの優先度データベースであれば、ＨＤ用の情報を持ち、ＤＤの優先度データベースであればＤＤ用の情報を持つ。

キュー３２１〜３２３は、優先度により複数存在する。

ＭＰＵ３３は、高優先度のキューから優先してコマンドを処理する。

特に、装置をスケーラブルに拡張したことにより遅延が発生することがある場合に、遅延の影響を受けやすいコマンドの優先度を高める。

優先度が決まると、ＨＤ内部では、コマンドのキューイング方式、ＭＰＵ内のタスク制御に反映され、高優先で処理する。

ＨＤと同様の構造を、スイッチ（ＳＷ）、キャッシュ（ＣＨＥ）、ディスクディレクタ（ＤＤ）にも適用することで、それぞれの部位で同様に優先度制御を実施する。

このようにして、本願発明では、装置内部で優先度制御し、スケーラブルに拡張したことによるコマンドの遅延を軽減することで、装置性能を安定化することができる。

（第２の実施形態）
本実施形態にかかるストレージシステムについて図２、図３を用いて説明する。
図２は、第２の実施形態にかかるストレージシステムの構成の一例を示す図である。
図２は、本実施形態にかかるストレージシステムの構成の一例であって、これに限定されない。

ここで、図２を用いて従来のストレージシステムの問題点を説明する。

ストレージ装置１０３は、ホストからコマンドを受けるとキャッシュメモリやディスクへアクセスしてデータを読み書きする。

図２のような複数のノードをつないで拡張するストレージ装置１０３において、ホストからコマンドを受けた部位（第１のノード２１）からキャッシュメモリやディスクへのアクセスは、経路（２１６１）−（２１６２）、（２１６１）−（２１６３）−（２１６４）を通るような、同一ノード内で実施されるもの、経路（２１６１）−（２１６５）−（２２６５）−（２３６２）、（２１６１）−（２１６５）−（２２６５）−（２３６３）−（２３６４）を通るような、ノードをまたいでアクセスされる場合がある。

同一ノード内であれば、高速で少ない回数で各ディレクタ、キャッシュ間の通信ができ、ホストへのレスポンスが高速になる。

しかしノードをまたぐ場合は、ノード間の通信が必要となるためホストへのレスポンスが低速になる。

レスポンスが高速であるとホストは次々とコマンドを発行してくる。

しかし、通常、ホストはストレージ装置へのコマンド発行の多重度を制限している。

このためレスポンスが低速であるとホストは次のコマンドを発行しなくなる。

するとストレージ装置内のキューやＭＰＵ内のタスクは高速にレスポンスを返せるホストからのコマンドを多く抱えることになり、レスポンスが遅いホストからのコマンドをなかなか処理できなくなり、さらに遅くなる。

このように、装置内部の構成により装置の性能は不均一になる。

これを解決する構成、動作を次に説明する。

本発明では、各部位内での処理に優先度をつけ、コマンドのレスポンスを返すのに時間のかかるものを優先して処理する。

優先度のつけ方として、例えばＭＰＵ内タスクの優先度を変える、通信するときのキューを複数としてそれぞれに優先度をつけるといったことで実現できる。

図２を参照すると、本発明の第２の実施形態としてのスケーラブルストレージが示されている。

図２に示すように、本実施形態にかかるストレージシステム１００は、第１のホストＰＣ１０１と、第２のホストＰＣ１０１と、複数のノードを有するストレージ装置１０３とを有する。

図２に示すように、本実施形態にかかるストレージ装置１０３は、第１のノード２１、第２のノード２２および第３のノード２３とを有する。

図２に示すように、複数のノードをつないで拡張するストレージ装置１０３において、第１のホストディレクタ（ＨＤ）２０１がコマンドを受けると、優先度判定部によりそのコマンドの優先度を判定する。

第１のホストディレクタ（ＨＤ）２１１の構成は、図３に示す構成である。

ノード内には、ホストからのコマンドを受けるホストディレクタ（ＨＤ）、キャッシュメモリ（ＣＨＥ）、ディスクへアクセスするディスクディレクタ、ディスクがある。

また、ＨＤ、ＣＨＥ、ＤＤ、および他のノードのスイッチを繋ぐスイッチ（ＳＷ）が有る。

第１のノード２１は、ホストからのコマンドを受ける第１のホストディレクタ（ＨＤ）２１１、第１のキャッシュメモリ（ＣＨＥ）２１３、第１のディスク２１５へアクセスする第１のディスクディレクタ（ＤＤ）２１４、第１のディスク２１５を有する。

第１のノード２１は、第１のホストディレクタ（ＨＤ）２１１、第１のキャッシュメモリ（ＣＨＥ）２１３、第１のディスクディレクタ２１４、および、第２のノード２２が有する第２のスイッチ（ＳＷ）２２２を繋ぐ第１のスイッチ（ＳＷ）２１２をさらに有する。

第２のノード２２は、第２のホストディレクタ（ＨＤ）２２１、第２のキャッシュメモリ（ＣＨＥ）２２３、第２のディスク２２５へアクセスする第２のディスクディレクタ（ＤＤ）２２４、第２のディスク２２５を有する。

第２のノード２２は、第２のホストディレクタ（ＨＤ）２２１、第２のキャッシュメモリ（ＣＨＥ）２２３、第２のディスクディレクタ２２４、および、第３のノード２３が有する第２のスイッチ（ＳＷ）２３２を繋ぐ第２のスイッチ（ＳＷ）２２２をさらに有する。

第３のノード２３は、第３のホストディレクタ（ＨＤ）２３１、第３のキャッシュメモリ（ＣＨＥ）２３３、第３のディスク２３５へアクセスする第３のディスクディレクタ（ＤＤ）２３４、第３のディスク２３５を有する。

第３のノード２３は、第３のホストディレクタ（ＨＤ）２３１、第３のキャッシュメモリ（ＣＨＥ）２３３、第３のディスクディレクタ２３４、および、第２のノード２２が有する第２のスイッチ（ＳＷ）２２２を繋ぐ第３のスイッチ（ＳＷ）２３２をさらに有する。

図２において、装置はまずＨＤ２１１がコマンドを受ける。ＨＤの内部では、図３のコマンド受信部３１がホストからのコマンドを受ける。

コマンド受信部３１は優先度判定部３４に優先度を問い合わせる。

優先度判定部３４は、優先度データベース３３を参照してそのコマンドがどのノードの部位にアクセスするかを判断し、よりホストからのコマンドのレスポンスの遅くなるものほど高優先と判定する。

この優先度により、コマンド受信部はコマンドに優先度情報をつけ、また優先度に応じたキュー３２１〜３２３にキューイングする。

ＨＤのＭＰＵ３３は、最高優先キュー３２１のコマンドを取り出し、高優先タスクに割り当て処理する。

最高優先キュー３２１が空であれば次の優先度のキュー３２２のコマンドを取り出し、次の優先度のタスクに割り当てる。

これらのタスクは、ＳＷを経由して、コマンドを他ノードのＣＨＥ２３３やＤＤ２３４、自ノードのＣＨＥ２１３やＤＤ２１４に発行する。

ＤＤへのコマンドは、ＳＷを経由してＣＨＥやＤＤに至る。

ＳＷ、ＣＨＥ、ＤＤ内部でもＨＤと同様に、コマンド受信部３１がコマンドを受信する。

コマンド受信部３１は、優先度判定部３４に優先度を問い合わせる。

優先度判定部３４は、優先度データベース３５に問い合わせて優先度を決めることも可能だし、コマンドに記述された優先度を参照して優先度を決めてもよい。

優先度が決まるとコマンド受信部は優先度に応じてキューイングする。

ＭＰＵは、キューの取り出し優先度や、タスクの優先度によりキャッシュページリソースの確保や、ディスクリードの順番が変更される。

以上説明したように、本実施形態においては、以下に記載することを実現する。

ホストへのレスポンスが遅いコマンドを優先しているので、スケーラブルに拡張できる構成による性能の不均一を平準化できる。

（第３の実施形態）
本実施形態では、本発明にかかる優先度制御装置の制御について図３を用いて説明する。
本実施形態では、第１の実施形態、および、第２の実施形態とは、別の実施形態として、その基本的構成は同様であるが、コマンドの沈み込みについてさらに工夫している。

図３に示す、コマンド受信部３１は、他の部位からのコマンドを受ける。

優先度判定手段としての優先度判定部３４は、コマンド受信部３１が受けたコマンドの優先度を判定する。

また、ここで判定した優先度を他の部位に伝えるために、コマンドに優先度を追記することもできる。

優先度データベース３５は、優先度判定部３４が優先度を判定するためのデータを持つ。

ＨＤの優先度データベースであれば、ＨＤ用の情報を持ち、ＤＤの優先度データベースであればＤＤ用の情報を持つ。

キュー３２１〜３２３は、優先度により複数存在する。

ＭＰＵ３３は、高優先度のキューから優先してコマンドを処理する。

ここで、一般的に、ストレージに対して発行されるＩ／Ｏコマンドには、転送長の長いものと短いものがある。

転送長の長いものは、一度コマンドを実行すると、多く時間がかかるが、発行されるコマンド数は少ない。

一方、短いコマンドについては短い時間ですむが、発行されるコマンド数が多い。

転送長の長いコマンドと短いコマンドが混在したときに、長いコマンドの処理実行時間が長いため、より多くの時間ＨＷリソースを使い続けることになり、転送長の短いコマンドがなかなか実行できなくなり、多くのコマンドを処理できなくなる。

そこで、優先度判定部３１に、転送長の短いコマンドを優先して実行するように指定する。

このように、優先度判定部３１に、転送長の短いコマンドを優先して実行するように指定することで、コマンドを遅延することを避け、多くのコマンドを実行できるという効果が得られる。

第１の実施形態におけるストレージシステムの構成の一例を示す図である。 第２の実施形態におけるストレージシステムの構成の一例を示す図である。 本発明における優先度制御装置の構成の一例を示す図である。 従来のストレージシステムの構成を説明するための図である。

符号の説明

１、１００ ストレージシステム
２、１０１、１０２ ホストＰＣ
３、１０３ ストレージ装置
４ 第１のノード
５ 第２のノード
６ 第３のノード
７ 第１のディスク
８ 第２のディスク
９ 第１のホストディレクタ（ＨＤ）
１０ 第２のホストディレクタ（ＨＤ）
１１ 第３のホストディレクタ（ＨＤ）
１２ 第１のスイッチ（ＳＷ）
１３ 第２のスイッチ（ＳＷ）
１４ 第３のスイッチ（ＳＷ）
１５ 第１のキャッシュメモリ（ＣＨＥ）
１６ 第２のキャッシュメモリ（ＣＨＥ）
１７ 第３のキャッシュメモリ（ＣＨＥ）
１８ 第１のディスクディレクタ（ＤＤ）
１９ 第２のディスクディレクタ（ＤＤ）
３１ コマンド受信部
３２１、３２２、３２３ キュー
３３ ＭＰＵ
３３ 優先度判定部（優先度判定手段）
３４ 優先度データベース
２１６１、２１６２、２１６１ 経路
２１６３、２１６４、２１６１ 経路
２１６５、２２６５、２３６２ 経路
２１６１、２１６５、２２６５ 経路
２３６３、２３６４ 経路

Claims (4)

1. ホスト装置と、複数のノードを有するストレージ装置とから構成されるストレージシステムであって、
   前記ストレージ装置は、
   前記ホスト装置から受信するコマンド毎に、当該コマンドがどのノードのどの部位へのアクセスかに応じて優先度が予め設定された優先度データベースを有し、
   前記ホスト装置から所定のコマンドを受信すると、前記優先度データベースを基に当該コマンドの優先度を判断し、判断した優先度に応じて当該コマンドのキューイングを行い、
   キューイングされたコマンドのうち、優先度の高いコマンドから処理することを特徴とするストレージシステム。
2. 複数のノードを有し、ホスト装置と接続されたストレージ装置であって、
   前記ホスト装置から受信するコマンド毎に、当該コマンドがどのノードのどの部位へのアクセスかに応じて優先度が予め設定された優先度データベースを有し、
   前記ホスト装置から所定のコマンドを受信すると、前記優先度データベースを基に当該コマンドの優先度を判断し、判断した優先度に応じて当該コマンドのキューイングを行い、
   キューイングされたコマンドのうち、優先度の高いコマンドから処理することを特徴とするストレージ装置。
3. ホスト装置と接続されたストレージ装置内の複数のノードに備えられる優先度制御装置であって、
   前記ホスト装置から受信するコマンド毎に、当該コマンドがどのノードのどの部位へのアクセスかに応じて優先度が予め設定された優先度データベースを有し、
   前記ホスト装置から所定のコマンドを受信すると、前記優先度データベースを基に当該コマンドの優先度を判断し、判断した優先度に応じて当該コマンドのキューイングを行い、
   キューイングされたコマンドのうち、優先度の高いコマンドから処理することを特徴とする優先度制御装置。
4. ホスト装置と接続された、複数のノードを備える装置が行う優先度制御方法であって、
   前記装置は、
   前記ホスト装置から受信するコマンド毎に、当該コマンドがどのノードのどの部位へのアクセスかに応じて優先度が予め設定された優先度データベースを有し、
   前記ホスト装置から所定のコマンドを受信すると、前記優先度データベースを基に当該コマンドの優先度を判断し、判断した優先度に応じて当該コマンドのキューイングを行い、
   キューイングされたコマンドのうち、優先度の高いコマンドから処理することを特徴とする優先度制御方法。

Images