JP6974218B2 - ストレージシステム及びその動作方法 - Google Patents

Description

本発明は、分散ストレージデバイス（ｄｉｓｔｒｉｂｕｔｅｄ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）に関するもので、より詳細には、ハイパースケールデータセンター（ｈｙｐｅｒｓｃａｌｅ ｄａｔａｃｅｎｔｅｒ）環境で分散ストレージデバイスの自動発見を提供するストレージシステム及びその動作方法に関する。

データセンター内の各ラック（ｒａｃｋ）は、コンピュート（ｃｏｍｐｕｔｅ）デバイス及びストレージ（ｓｔｏｒａｇｅ）デバイスのために、スレッド（ｓｌｅｄ）及び／又はトレイ（ｔｒａｙ）の組み合わせを含む。ハイパースケールデータセンターは、いくつかの最適化された性能のデータセンター（ＰＯＤｓ：Ｐｅｒｆｏｒｍａｎｃｅ Ｏｐｔｉｍｉｚｅｄ Ｄａｔａｃｅｎｔｅｒｓ）を含み、各ＰＯＤは、複数のラックと数々のコンピュート（ｃｏｍｐｕｔｅ）デバイス及び／又はストレージデバイスを含む。

不揮発性メモリエキスプレス（ＮＶＭｅ：Ｎｏｎ−Ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ ｅｘｐｒｅｓｓ）は、ホスト（ｈｏｓｔ）ソフトウェアがＰＣＩｅ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ ｅｘｐｒｅｓｓ）バス（ｂｕｓ）を通じて、不揮発性メモリサブシステム（例えば、ソリッドステートドライブ（ＳＳＤ：Ｓｏｌｉｄ−Ｓｔａｔｅ Ｄｒｉｖｅ））と通信をするためのレジスターレベルインターフェース（ｒｅｇｉｓｔｅｒ−ｌｅｖｅｌ ｉｎｔｅｒｆａｃｅ）を定義する。ＮＶＭｅｏＦ（ＮＶＭｅ ｏｖｅｒ Ｆａｂｒｉｃｓ）（又は略してＮＶＭｆ）は、イーサネット（登録商標）（Ｅｔｈｅｒｎｅｔ（登録商標））、ファイバーチャネル（Ｆｉｂｒｅ Ｃｈａｎｎｅｌ）、インフィニバンド（ＩｎｆｉｎｉＢａｎｄ）、伝送制御プロトコル（ＴＣＰ）ネットワーク、及び他のネットワークファブリックス（ｆａｂｒｉｃｓ）のような広い範囲のストレージネットワーキングファブリックスでＮＶＭｅブロック（ｂｌｏｃｋ）のストレージプロトコルを支援する一般的なアーキテクチャ（ａｒｃｈｉｔｅｃｔｕｒｅ）を定義する。

ＮＶＭｅｏＦに基づくストレージシステムにおいて、ＮＶＭｅｏＦと互換可能なＳＳＤ又はイーサネット（登録商標）ＳＳＤに指称される各ストレージデバイスは、サブシステムＮＱＮ（ＮＶＭｅ Ｑｕａｌｉｆｉｅｄ Ｎａｍｅ）、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレス、ポートＩＤ、及び／又は制御器ＩＤによって識別される。各ＰＯＤマネージャーは、作業負荷を割り当て、スケジューリングするためにファブリックス（例えば、イーサネット（登録商標））上のストレージデバイスの状態及び利用可能性を知っておく必要がある。ストレージデバイスのうちの一部は、維持のために作動しないこともあり、作業負荷はこのようなストレージデバイスに任されないこともある。なお、ハイパースケールデータセンター環境でファブリックスに分散された数々のストレージデバイスからの発見情報の収集、維持、及びアップデートは単純作業ではない。

米国特許第９５１９５７８号明細書 米国特許第９３８４０９３号明細書 米国特許第８７７５４８６号明細書 米国特許出願公開第２０１６／００８５７１８号明細書 米国特許出願公開第２０１６／０１２７４６８号明細書 米国特許出願公開第２０１４／０１９５６３４号明細書 米国特許出願公開第２０１６／０１２７４９２号明細書 米国特許出願公開第２０１５／０３０４４２３号明細書

本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、ハイパースケールデータセンター環境におけるイーサネット（登録商標）ストレージの自動発見を提供するためのストレージシステム及びその動作方法を提供することにある。

上記目的を達成するためになされた本発明の一態様によるストレージシステムは、各々が動的ホスト構成プロトコル（ＤＨＣＰ）クライアント（ｃｌｉｅｎｔ）を動作させる複数のストレージデバイスと、ホストコンピューターに発見ログページ（ｄｉｓｃｏｖｅｒｙ ｌｏｇ ｐａｇｅ）を提供する発見サーバと、を備え、前記複数のストレージデバイスの各々で動作する発見ログアップデータ（ＤＬＵ：Ｄｉｓｃｏｖｅｒｙ Ｌｏｇ Ｕｐｄａｔｅｒ）は、対応するストレージデバイスの発見ログエントリー（ｄｉｓｃｏｖｅｒｙ ｌｏｇ ｅｎｔｒｙ）を前記発見サーバに提供し、前記ホストコンピューターは、前記発見ログページに含まれるターゲットストレージデバイス（ｔａｒｇｅｔ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）の発見ログエントリーを用いて前記ターゲットストレージデバイスとの連結を構築し、入出力又はコンピュート（ｃｏｍｐｕｔｅ）作業負荷を前記ターゲットストレージデバイスに提供し、前記発見ログページは、一つ以上の発見ログエントリーを含む複数のストレージデバイスの発見情報（ｄｉｓｃｏｖｅｒｙ ｉｎｆｏｒｍａｔｉｏｎ）を含み、前記一つ以上の発見ログエントリーの各々は、前記ホストコンピューターと前記対応するストレージデバイスとの間の通信を構築するために割り当てられた前記対応するストレージデバイスのアドレスを含む。

上記目的を達成するためになされた本発明の一態様によるストレージシステムの動作方法は、ストレージデバイス内の動的ホスト構成プロトコル（ＤＨＣＰ）クライアントを動作させる段階と、前記ストレージデバイスの発見ログエントリーを発見サーバに提供する段階と、前記発見サーバからホストコンピューターに発見ログページを提供する段階と、前記発見ログページに含まれるターゲットストレージデバイスの発見ログエントリーを用いて前記ホストコンピューターと前記ターゲットストレージデバイスとの間の連結を構築する段階と、前記ホストコンピューターから前記ターゲットストレージデバイスに入出力又はコンピュート作業負荷を提供する段階と、を有し、前記発見ログページは、一つ以上の発見ログエントリーを含む複数のストレージデバイスの発見情報を含み、前記一つ以上の発見ログエントリーの各々は、前記ホストコンピューターと前記対応するストレージデバイスとの間の通信を構築するために割り当てられた前記対応するストレージデバイスのアドレスを含む。

イベントの具現及び組み合わせの多様且つ新たな細部事項を含む上記特徴及び他の選好される特徴について、図面を参照してより詳細に説明する。本明細書で説明する特定システム及び方法は、説明のためのみに示すものであり、本発明はこれに制限されるものではない。当業者にとっては自明であるように、本明細書で説明する原理及び特徴は、本発明の思想から逸脱せずに多様且つ様々な実施形態に適用される。

本発明のストレージシステム及びその動作方法によれば、ハイパースケールデータセンター環境で数々のストレージデバイスを収容するスケーラブルなソリューションを提供することができる。

本発明の一実施形態による分散ストレージデバイスシステムの一例のブロック図である。 本発明の一実施形態による発見ログページの一例のデータ構造を示す図である。 本発明の一実施形態による発見ログページに含まれるログエントリーの一例のデータ構造を示す図である。 本発明の一実施形態による発見ログ情報を設定するための一例のフローチャートである。 本発明の一実施形態によるホストコンピューターとターゲットストレージデバイスとの間で通信を構築するための一例のフローチャートである。 本発明の一実施形態による自動発見の一例のプロセスを示す。

以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。図面は、一般的に例示的な参照としての目的のために提示して多様な実施形態を説明するものであり、開示する実施形態のみを表わすものではなく、特許請求の範囲を制限するものではない。

本明細書で示す各特徴及び開示は、ハイパースケールデータセンター環境でイーサネット（登録商標）ストレージの自動発見を提供するストレージシステム及びその動作方法を提供するために、独立的に又は他の特徴及び開示と共に活用される。このような数々の追加の特徴及び開示を活用する代表的な例示を、独立的且つ結合して、図面を参照してより詳細に説明する。このような詳細な説明は、単に本明細書に開示する例示を実行するための細部的な内容を当業者に開示するものであり、特許請求の範囲を制限するものではない。従って、発明の詳細な説明で開示する特徴の組み合わせは、広い意味で開示を実行するために必要なものではなく、代わりに特別に本明細書で開示する代表的な例示を説明するために開示される。

以下では、説明するためのみの目的として、本発明の完全なる理解を提供するための具体的な命名法を記述するが、本発明の開示を実行するために、当業者にこのような具体的な細部事項が必要とされないことは自明である。

本明細書の詳細な説明のいくつかの部分は、アルゴリズム及びコンピューターメモリの中におけるデータビットに対する動作の象徴的表現に関して示される。このようなアルゴリズムの説明と表現は、他分野の通常の技術者に研究の要旨を効果的に伝達するためにデータプロセシング分野にある通常の技術者によって使用される。ここで、アルゴリズムは一般的に望む結果に導く段階の一貫性のある順番で理解される。段階は、物理量の物理的操作を必要とする。一般的に、必ずしも必要なものではないが、このような物理量は、格納され、伝達され、結合され、比較されるなどの操作される電気又は磁気信号の形態を有する。これは、時々このような信号をビット、価、要素、シンボル（ｓｙｍｂｏｌ）、文字、用語、数字などとして指称するための一般的な用法であるとの理由で便利である。

しかし、このように全ての用語と類似な用語は、適切な物理量に関連して、単にこのような物理量に適用される便利なラベル（ｌａｂｅｌ）であることに留意すべきである。以下の内容と明白に異なる内容が具体的に記述されない場合、明細書の全般において、「プロセシング」、「コンピューティング」、「計算する」、「決定する」、「表示する」などのような用語を活用する部分は、コンピューターシステム又は類似の電子コンピューティング装置のプロセス及び措置を指すものと理解される。コンピューターシステム又は類似の電子コンピューティング装置は、コンピューターシステムのレジスター（ｒｅｇｉｓｔｅｒ）及びメモリにおいて物理（電気）量で示されるデータをコンピューターシステムメモリ若しくはレジスター又は他の情報の記憶、伝送、又はディスプレイ装置において物理量で類似に示される他のデータに操作又は変形される。

なお、代表的な例示の様々な特徴と従属項は、本発明の追加的で且つ有用な実施形態を提供するために、具体的且つ明確に列挙されない方法で結合される。また、請求する発明の思想を制限しようとする目的のみならず、最初の開示の目的のために、全ての値の範囲又は個体グループの表示は、できる限り全て中間値又は中間個体を示す。また、図面に示す構成の面積と模様は、本発明をどのように具現するかを理解するために役に立つようにデザインされるが、例示として図示する面積と模様に限定されるものではない。

本明細書は、複数のデータストレージデバイスを含む分散データストレージシステムを説明する。本発明の分散データストレージシステムは、複数のデータストレージデバイスの動的発見情報を提供し、アップデートし、そして維持するための動的ホスト構成プロトコル（ＤＨＣＰ：Ｄｙｎａｍｉｃ Ｈｏｓｔ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）サービスを用いる。分散データストレージシステムのサブシステムの間で通信のために支援される伝送プロトコルの例示はＮＶＭｅｏＦプロトコルであり、ファブリックはイーサネット（登録商標）である。サブシステムは、一つ以上のコンピュートノード（例えば、遠隔のホストコンピューター又は計算するノード）及び複数のストレージデバイス（例えば、イーサネット（登録商標）ＳＳＤ）を含む。

発見制御器によって提供される発見ログページ（ｄｉｓｃｏｖｅｒｙ ｌｏｇ ｐａｇｅ）は、発見ログエントリー（ｄｉｓｃｏｖｅｒｙ ｌｏｇ ｅｎｔｒｉｅｓ）を含む。発見ログページに含まれる各発見ログエントリーは、ホストコンピューターがＮＶＭｅ伝送プロトコルを通じてサブシステムに連結するために必要な情報を明示する。例えば、発見ログエントリーは、サブシステムのネームスペース（ｎａｍｅｓｐａｃｅ）又は他の発見サービスに対する依頼（ｒｅｆｅｒｒａｌ）を表すサブシステムを明示する。ＮＶＭｅｏＦ仕様によると、最大依頼の深さは８レベル又はそれ以下である。

図１は、本発明の一実施形態による分散ストレージデバイスシステムの一例のブロック図である。分散ストレージシステム１００は、ホストコンピューター１１０、動的ホスト構成プロトコル（ＤＨＣＰ）サーバ１３０、発見サーバ１５０、ストレージデバイス１６０、並びに形成されたネットワークを通じてホストコンピューター１１０、ＤＨＣＰサーバ１３０、発見サーバ１５０、及びストレージデバイス１６０との間の連結を提供するファブリック１２０を含む。ファブリック１２０の例はイーサネット（登録商標）である。

ホストコンピューター１１０は、分散ストレージシステム１００の数々のホストコンピューターの中の一つを示し、ストレージデバイス１６０は、分散ストレージシステム１００の数々のストレージデバイスの中の一つを示す。一実施例によると、ホストコンピューター１１０は、ストレージデバイスに作業負荷を与えるか、又は単純にストレージデバイス１６０を含む分散ストレージシステム１００のストレージデバイスに格納されたデータに対する読み込み／書き込みのアクセスを行う分散ストレージシステム１００のコンピューターノードを指す。

ストレージデバイス１６０は、ストレージデバイス制御器１６１、ポート１６２、ＤＨＣＰクライアント１６３、ソリッドステートドライブ（ＳＳＤ）のようなデータストレージ１６４、及び発見ログアップデータ（ＤＬＵ）１６５を含む。一実施例において、ＤＬＵ１６５は、ファブリック伝送プロトコル及びＲＥＳＴ（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎａｌ Ｓｔａｔｅ Ｔｒａｎｓｆｅｒ）ｆｕｌ ＡＰＩ又はＧｒａｐｈＱＬ要請を使用するポートを用いて、発見サーバ１５０の発見ログエントリー１５２にストレージデバイス１６０の発見ログエントリーをアップデートするためのストレージデバイス１６０で動作するサービスである。例えば、ＤＬＵ１６５は、発見サーバ１５０の発見ログエントリー１５２においてストレージデバイス１６０の発見ログエントリーをアップデートするために、ＴＣＰ／ＩＰ又はＵＤＰ／ＩＰとＴＣＰ／ＵＤＰポートを使用する。ＤＨＣＰサーバ１３０は、要請ＤＨＣＰクライアントに動的又は永久レンタルＩＰアドレスを提供する分散ストレージシステム１００のサブシステムである。例えば、ストレージデバイス１６０のＤＨＣＰクライアント１６３は、ＤＨＣＰサーバ１３０にＤＨＣＰ要請１２６を送り、ＤＨＣＰサーバ１３０は、ＤＨＣＰ要請１２６に応答してＤＨＣＰクライアント１６３にＩＰアドレス（動的ＩＰアドレス又は永久ＩＰアドレス）を割り当てる。

発見サーバ１５０は、発見サーバ１５０から発見ログ情報を獲得する要請ホストコンピューターに発見サービスを提供する。発見サーバ１５０は、本明細書で開示する内容に特に関連しないＮＶＭｅｏＦ発見サーバ仕様で説明される通り、他の構成要素のみならず、発見制御器１５１及び発見ログエントリー１５２を含む。発見制御器１５１のＩＰアドレス又は伝送アドレスは、ホストコンピューター１１０を含む分散ストレージシステム１００の一つ以上のホストコンピューターに公開される。なお、ホストは、発見サービスに対する連結命令としてよく知られている発見サービスＮＱＮ（例えば、ｎｑｎ．２０１４−０８．ｏｒｇ．ｎｖｍｅｘｐｒｅｓｓ．ｄｉｃｏｖｅｒｙ）を使用する。

ホストコンピューター１１０は、分散ストレージシステム１００の中の利用可能な一つ以上のストレージデバイスに連結するために、必要な情報を探し出すための発見サーバ１５０の発見サービスを用いる。ホストコンピューター１１０は、いくつかの方法で初期発見情報を獲得する。例えば、発見サーバ１５０のＩＰアドレスのない新たに追加されたホストコンピューターは、ローカルホスト構成ファイル（ｌｏｃａｌ ｈｏｓｔ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｆｉｌｅ）又はホストコンピューターのオペレーティングシステム（ＯＳ）のハイパーバイザ（ｈｙｐｅｒｖｉｓｏｒ）、或いはホストコンピューターに知らされている他のサブシステムから初期発見情報を獲得する。ホストコンピューター１１０は、発見サービスに対する連結命令内の発見サービスＮＱＮ（例えば、ｎｑｎ．２０１４−０８．ｏｒｇ．ｎｖｍｅｘｐｒｅｓｓ．ｄｉｃｏｖｅｒｙ）アドレスを使用する。発見サービスに連結するために必要なＮＶＭｅ伝送情報を獲得するために、ホストコンピューター１１０が使用する発見方法は、使用されるファブリックプロトコルに基づく。初期発見サービス情報は、発見サーバ１５０のＩＰアドレス又は発見サーバ１５０に対する情報を有する他のサブシステムを含む。

発見サーバ１５０のアイデンティティ（ｉｄｅｎｔｉｔｙ）が知らされると（例えば、発見サーバ１５０のＩＰアドレス）、ホストコンピューター１１０は、必要に応じて発見情報を獲得するために発見サーバ１５０に発見ログ要請１２１（例えば、ＮＶＭｅｏＦ仕様によるログページの獲得要請）を送る。これに応答して、発見サーバ１５０は、一つ以上の発見ログエントリー１５２を含む発見ログページ１２２を提供する。発見ログページ１２２に含まれる各発見ログエントリーは、ホストコンピューター１１０が対応する一つ以上のストレージデバイス１６０に連結するために必要な情報を明示する。例えば、各エントリーは、対応するストレージデバイス１６０の一つ以上の識別子及びストレージデバイス１６０に連結するために支援される伝送プロトコル情報を含む。発見ログエントリー１５２は、複数の伝送プロトコル及びアドレスタイプを支援する。

一実施例によると、発見サーバ１５０は、ホストコンピューター１１０に最近アップデートされた発見ログエントリー１５２を自発的に伝送する。例えば、発見サーバ１５０はホストコンピューターのリストを保管し、発見サーバは、一つの場合にＰＯＤ／ＰＯＤマネージャーを担当し、一つ以上の発見ログエントリーがアップデートされる通りに、リストにあるホストコンピューターにアップデートされた発見ログページ１２２を伝送する。（又は、予め定められた間隔（例えば、毎日、毎週）で伝送）。この場合、発見ログページ１２２は、アップデートされた発見ログエントリーのみを含む格納された発見ログエントリー１５２の部分集合を含む。

発見ログエントリー及び発見ログページ１２２で識別されたストレージデバイス１６０に対応する伝送タイプに基づいて、ホストコンピューター１１０は、ターゲットストレージデバイス１６０のポートアドレス１２３を識別し、指示された支援伝送タイプ及び伝送プロトコルを使用するポートアドレス１２３を用いて、ターゲットストレージデバイス１６０との通信経路を構築する。ホストコンピューターとターゲットストレージデバイスとの間の連結を初期化するための全ての必要な情報は発見ログページ１２２から伝達される。ストレージデバイス１６０のストレージデバイス制御器１６１及びホストコンピューター１１０は、構築されたポート１６２を使用して互いに通信する。．

ストレージデバイス１６０で動作するＤＨＣＰクライアント１６３は、ＤＨＣＰサーバ１３０に要請を送り、ＤＨＣＰサーバ１３０は要請ＤＨＣＰクライアント１６３にＩＰアドレス（又は対応するファブリックでのＩＰアドレスに対応する類似アドレス）を割り当てる。ＤＬＵ１６５は、各ターゲットストレージデバイスで動作するか、又はターゲットストレージデバイスのグールプに対して作動する。例えば、シャーシ（ｃｈａｓｓｉｓ）／ラック内のストレージデバイス１６０の全て又は一部に対して、一つ又はいくつかのＤＨＣＰクライアント１６３が使用される。同様に、一つ又はいくつかのＤＬＵ１６５は一つのストレージデバイス１６０又はシャーシ／ラック内のストレージデバイス１６０のグループに対するログをアップデートする。ＤＨＣＰ及びＤＬＵサービスは、一つ又はいくつかのストレージデバイス１６０、又は一般的な目的の中央処理装置（ＣＰＵ）、或いはシャーシ／ラック内のベースボード管理制御器（ＢＭＣ：Ｂａｓｅｂｏａｒｄ Ｍａｎａｇｅｍｅｎｔ Ｃｏｎｔｒｏｌｌｅｒ）で動作する。ＤＨＣＰクライアント１６３又はＤＬＵ１６５は、ストレージデバイス制御器１６１の割り当てられたＩＰアドレスを含む発見ログエントリー１２４を発見サーバ１５０に伝送する。一実施例によると、ＤＨＣＰサーバ１３０及び発見サーバ１５０は同じサーバ内に配置される。いくつかの実施例では、ＤＨＣＰサーバ１３０は、発見サーバ１５０と異なる分散ストレージシステム１００の外部の他のシステムである。

発見サーバ１５０は、ＲＥＳＴｆｕｌ ＡＰＩ又はＧｒａｐｈＱＬ要請を使用するターゲットストレージデバイスの一つ以上のＤＬＵ１６５から受信された一つ以上の発見ログエントリー１５２を含む発見ログ情報を収集してアップデートする。発見サーバ１５０は、ＮＶＭｅｏＦログ獲得ページ（Ｇｅｔ Ｌｏｇ Ｐａｇｅ）要請に対する応答として、要請ホストコンピューター１１０に発見ログページを提供する。ＤＨＣＰクライアントによって割り当てられたＩＰアドレスを使用するターゲットストレージデバイスの各々又はグループで動作するＤＬＵによる発見情報の自動アップデートは、本発明の分散ストレージシステムに属するターゲットストレージデバイスに連結するために必要な最近アップデートされた発見情報を有して、要請ホストコンピューターに絶え間ない発見サービスを提供する。

新たなストレージデバイスは追加され、そしていくつかのストレージデバイスは、新たなストレージデバイスの追加、既存のストレージデバイスの交替又は寿命完了によってデータセンター環境で日常的運用上のプロセスの一つの部分としてシャットダウンされる。レンタル中のストレージデバイス１６０の各ＤＨＣＰクライアント１６３が自分の現在情報をアップデートするため、ＤＨＣＰサーバ１３０は最新の発見ログ情報を維持する。各ストレージデバイス１６０で動作するシン（ｔｈｉｎ）ＤＨＣＰクライアント１６３による発見ログ情報の自動アップデート技法を使用して、本発明の分散ストレージシステム１００は、ハイパースケールデータセンター環境で数々のストレージデバイスを収容するスケーラブルな（ｓｃａｌａｂｌｅ）ソリューションを提供する。

図２は、本発明の一実施形態による発見ログページ（ｄｉｓｃｏｖｅｒｙ ｌｏｇ ｐａｇｅ）の一例のデータ構造を示す図である。図２に示す発見ログページ２００は、ジェネレーションカウンター（ｇｅｎｅｒａｔｉｏｎ ｃｏｕｎｔｅｒ）、レコード（ｒｅｃｏｒｄ）の個数、レコードフォーマット（ｆｏｒｍａｔ）、一つ以上の発見エントリー３００を含み、これに制限されない発見情報に関する多様なパラメータ（ｐａｒａｍｅｔｅｒ）を含む。図３は、本発明の一実施形態による図２の発見ログページ２００に含まれるログエントリーの一例のデータ構造を示す図である。ログページエントリー３００は、伝送タイプ（例えば、遠隔直接記憶アクセス装置（ＲＤＭＡ：Ｒｅｍｏｔｅ Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）、ファイバーチャンネル、ＴＣＰネットワーク）、アドレスファミリ（例えば、ＩＰｖ４、ＩＰｖ６、ＩＢ、ＦＣ）、サブシステムタイプ、伝送要求事項、ポートＩＤ、制御器ＩＤ、管理者の最大ＳＱサイズ（ａｄｍｉｎ ｍａｘ ＳＱ ｓｉｚｅ）、伝送サービス識別子、ＮＶＭサブシステム修飾名（ＮＱＮ）、伝送アドレス（ストレージデバイスのＩＰアドレス）、伝送特定アドレス部分タイプを含み、これに制限されない特定ログエントリーに関する多様なパラメータを含む。図２に示す発見ログページ２００は、一つ以上のログページエントリー３００を含む。

ホストコンピューターは一つ以上の発見ログページを受信する。この場合、ホストコンピューターは、発見ログページの変更ヒストリー（ｒｅｖｉｓｉｏｎ ｈｉｓｔｏｒｙ）を確認し、発見ログ情報に変更があるか否かを判別する。一実施例によると、ホストコンピューターは、一つ以上の発見サーバから複数の発見ログページを受信する。ホストコンピューターは、特定の順番（例えば、増加するログページオフセット値を有する）で受信された発見ログページを読み、ジェネレーションカウンターを数えられる。ジェネレーションカウンターは、０ｈ値から始まる発見情報のバージョン（ｖｅｒｓｉｏｎ）を示す。発見ログにおける各変更に対してジェネレーションカウンターは一つずつ増加する。最大カウントが超過すると、ジェネレーションカウンターは０ｈの初期値に戻る。ジェネレーションカウンターが前の読み込みログ情報にマッチしない場合、ホストコンピューターは、前の読み込みログページを捨ててログ情報をアップデートする。ログページ内容がログページを読む間に変更された場合、発見制御器は発見再起動を示す状態に戻る。発見制御器によって示されたような発見再起動により、ホストコンピューターは現在の発見プロセスを中止して新たな発見プロセスを再起動する。

発見サーバから最近アップデートされた発見ログエントリーを検索した後、ホストコンピューターは、対応するログエントリーに含まれるターゲットストレージデバイスのＩＰアドレスを用いてターゲットストレージデバイスと通信を行うために、キューペア（ｑｕｅｕｅ ｐａｉｒｓ）を初期化することで伝送レベル連結を準備する。そうしながら、ホストコンピューターは、ターゲットストレージデバイスとの伝送レベル連結を構築するために、制御器キュー（ｑｕｅｕｅｓ）を生成する連結命令を下す。連結命令は、ポートＩＤ、キューのタイプ（例えば、管理キュー（ａｄｍｉｎ ｑｕｅｕｅｓ）又は入出力キュー）、提出キュー及び完了キューのサイズ、キューの属性、ホストＮＱＮ、ＮＶＭサブシステムＮＱＮ、ホスト識別子を含み、これに制限されない多様なパラメータを明示する。これに応答して、ターゲットストレージデバイスは、連結が成功的に構築されたか否かを示す連結応答をホストコンピューターに伝送する。連結応答は、ホストコンピューターとの通信のために割り当てられたストレージデバイス制御器ＩＤを含む。

ハイパースケールデータセンター環境において、ホストコンピューターとターゲットストレージデバイスとの間に適切な連結を構築するために必要とされる情報は、伝送プロトコル（例えば、図１のファブリック１２０）によって支援されるファブリックを通じて交換される。ファブリック１２０は、ホストコンピューター１１０と発見サーバ１５０との間、ホストコンピューター１１０とストレージデバイス１６０との間、及びＤＨＣＰサーバ１３０とストレージデバイス１６０との間で異なることもあり、ホストコンピューター１１０、ＤＨＣＰサーバ１３０、発見サーバ１５０、及びストレージデバイス１６０間で同じくする必要はない。例えば、本発明の分散ストレージシステムは、企業内ネットワーク（ｅｎｔｅｒｐｒｉｓｅ ｎｅｔｗｏｒｋ）、データセンター、及び／又はインターネットに亘って分布する数々のホストコンピューター及びストレージデバイスを含む。本発明の分散ストレージシステムの他のサブシステムが第１タイプファブリックと異なる第２タイプファブリックを通じて連結される一方、本発明の分散ストレージシステムのいくつかのサブシステムは、第１タイプファブリックを通じて連結される。例えば、発見サーバは、共用ネットワーク（例えば、インターネット）であり、ホストコンピューター及びターゲットストレージデバイスは専用ネットワークを通じて連結される。

本発明のＤＨＣＰサービスを基にした発見サービスは、ホストコンピューター及びストレージデバイスの拡張及び規模の数として用いられる。一実施例によると、データセンターの各ラックは、自動的にアップデートされ、ラックに対する特有のストレージデバイスの発見情報を維持するラックレベル（ｒａｃｋ−ｌｅｖｅｌ）発見サーバを運営する。ＰＯＤは複数のラックを含み、各ラックレベル発見サーバは、自動的にラックレベル発見情報をＰＯＤマネージャー上で動作するＰＯＤレベル発見サーバにアップデートする。ＰＯＤレベル発見サーバは、ＰＯＤマネージャーがＰＯＤレベル発見情報に基づいて作業負荷をスケジューリングする。

一実施例によると、分散ストレージシステムは、複数のＰＯＤマネージャーを含み、各ＰＯＤのために一つのＰＯＤマネージャーが存在する。作業負荷は、ＰＯＤマネージャーの間で交換されるシステムレベル発見情報に基づいて複数のＰＯＤマネージャーの間に分散される。他の実施例で、ＰＯＤマネージャーは、ＤＨＣＰサーバと通信し、作業負荷分散を行うために他のＰＯＤマネージャーと協力する。例えば、バックアップデータは、ターゲットストレージデバイスが作動しない時間の間に遠隔のストレージデバイスから用いられる。この場合、ＰＯＤマネージャーは、システムレベル発見情報を用いてバックアップストレージデバイスに作業負荷を割り当てる。ＮＶＭｅｏＦ基盤のストレージシステムの場合、ＰＯＤマネージャーは、一つ以上の発見サーバに連結し、ログ獲得命令を用いて利用可能なストレージデバイスのアップデートされた発見情報を検索する。先ず発見情報を用いて通信経路が構築されると、ターゲットストレージデバイスは、ホストコンピューターから受信された入出力要請を提供する。本発明の発見サービスは、受動アップデートを必要としないため、数々のラックとＰＯＤを含むハイパースケールデータセンターに対してスケーラブル（ｓｃａｌａｂｌｅ）であり、ラックはその中に数々のコンピュートデバイス及び／又はストレージデバイスを含む。

図４は、本発明の一実施形態による発見ログ情報を設定するための一例のフローチャートである。ストレージデバイスは、起動すると直ぐにＤＨＣＰクライアントを動作させ、４０１段階で、ＩＰアドレスをレンタルするためにＤＨＣＰサーバに要請を伝送する。４０２段階で、ＤＨＣＰサーバはＤＨＣＰクライアントによる要請に応答して動的又は永久ＩＰアドレスをストレージデバイスのストレージデバイス制御器に割り当てる。４０３段階で、ストレージデバイスで動作するＤＬＵは、ＲＥＳＴｆｕｌ ＡＰＩ又はＧｒａｐｈＱＬ要請を用いて、ＩＰアドレス及びストレージデバイス制御器のポートアドレスを含む発見ログエントリーを発見サーバに伝送する。４０４段階で、発見サーバは複数のストレージデバイスの一つ以上の発見ログエントリーを含む発見ログページを設定する。４０５段階で、発見サーバはホストコンピューターに発見ログページを伝送する。

図５は、本発明の一実施形態によるホストコンピューターとターゲットストレージデバイスとの間に通信を構築するための一例のフローチャートである。５０１段階で、ホストコンピューターは発見サーバに発見情報に対する要請を伝送する。発見サーバは、複数のストレージデバイスのＤＬＵから受信された一つ以上の発見ログエントリーを格納する。５０２段階で、ホストコンピューターは発見サーバから一つ以上の発見ログエントリーを含む発見ログページを受信する。発見ログページで受信された一つ以上の発見ログページエントリーを用いて、５０３段階で、ホストコンピューターはターゲットストレージデバイスとの連結を構築し、５０４段階で、ターゲットストレージデバイスに作業負荷を割り当てる。

図６は、本発明の一実施形態による自動発見の一例のプロセスを示す。６０１段階で、ストレージデバイス６６０のＤＨＣＰクライアントは、ＩＰアドレスを獲得するためにＤＨＣＰサーバ６３０に要請を伝送し、６０２段階で、ＤＨＣＰサーバ６３０は、ＩＰアドレスを割り当て、ストレージデバイス６６０のＤＨＣＰクライアントにＩＰアドレスを伝送する。６０３段階で、ストレージデバイス６６０のＤＬＵ（又は、ＤＨＣＰサーバ６３０）は、ＲＥＳＴｆｕｌ ＡＰＩ又はＧｒａｐｈＱＬ要請を用いて、自動的にストレージデバイス６６０の発見ログエントリーを発見サーバ６５０に伝送する。発見サーバ６５０は、複数のストレージデバイスの各ＤＬＵから一つ以上の発見ログエントリーを収集して、一つ以上の発見ログエントリーを含む発見ログページを準備する。６１１段階で、ホストコンピューター６１０は発見サーバ６５０にログページ獲得命令を伝送し、応答として、６１２段階で、発見サーバ６５０はホストコンピューター６１０に発見ログページを伝送する。発見ログページに含まれる情報を用いて、６１３段階で、ホストコンピューター６１０はストレージデバイス６６０との連結を構築する。

本発明の一実施形態によるストレージシステムは、各々が動的ホスト構成プロトコル（ＤＨＣＰ）クライアントを動作させる複数のストレージデバイスと、ホストコンピューターに発見ログページを提供する発見サーバと、を備える。複数のストレージデバイスの各々で動作する発見ログアップデータ（ＤＬＵ）は、対応するストレージデバイスの発見ログエントリーを発見サーバに提供する。ホストコンピューターは、発見ログページに含まれるターゲットストレージデバイスの発見ログエントリーを用いてターゲットストレージデバイスとの連結を構築し、入出力又はコンピュート作業負荷をターゲットストレージデバイスに提供する。発見ログページは、一つ以上の発見ログエントリーを含む複数のストレージデバイスの発見情報を含み、一つ以上の発見ログエントリー各々は、ホストコンピューターと対応するストレージデバイスとの間の通信を構築するために割り当てられた対応するストレージデバイスアドレスを含む。

ＤＨＣＰサーバは、複数のストレージデバイスの各々に対するアドレスを割り当て、複数のストレージデバイスの各発見ログアップデータは、割り当てられたアドレスを含むそれぞれの発見ログエントリーを発見サーバに自動的に伝送するために割り当てられたアドレスを用いる。

発見ログエントリーは、ストレージデバイス制御器のポートアドレスを更に含む。

ポートアドレスは、ＮＶＭｅｏＦ（Ｎｏｎ−Ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ ｅｘｐｒｅｓｓ ｏｖｅｒ Ｆａｂｒｉｃｓ）仕様によって割り当てられる。

発見サーバは、ＲＥＳＴｆｕｌ応用プログラムインタフェース（ＡＰＩ）又はＧｒａｐｈＱＬ要請を用いてホストコンピューターに発見ログページを伝送する。．

複数のストレージデバイスの中の少なくとも一つは、ＮＶＭｅｏＦデバイスであり、ホストコンピューターは、発見ログページを受信するために発見サーバにログ獲得命令を伝送する。

発見サーバ及びＤＨＣＰサーバは、ストレージシステムの同じサーバ内に配置される。

複数のストレージデバイスは、ラックに取り付けられ、ラック内の発見サーバは、ラックに固有のラックレベル発見情報を収集する。

複数のストレージデバイスは、ＰＯＤ内の複数のラックの間に分散され、ＰＯＤを担当する発見サーバは、ＰＯＤに固有のＰＯＤレベル発見情報を収集する。

ＰＯＤのＰＯＤマネージャーは、ＰＯＤレベル発見情報に基づいて複数のストレージデバイスの間に作業負荷を割り当てる。

ＰＯＤマネージャーは、ストレージシステムの他のＰＯＤマネージャーとＰＯＤレベル発見情報を交換する。

本発明の一実施例によるストレージシステムの動作方法は、ストレージデバイス内の動的ホスト構成プロトコル（ＤＨＣＰ）クライアントを動作させる段階と、ストレージデバイスの発見ログエントリーを発見サーバに提供する段階と、発見サーバからホストコンピューターに発見ログページを提供する段階と、発見ログページに含まれるターゲットストレージデバイスの発見ログエントリーを用いてホストコンピューターとターゲットストレージデバイスとの間の連結を構築する段階と、ホストコンピューターからターゲットストレージデバイスに入出力又はコンピュート作業負荷を提供する段階と、を有する。発見ログページは、一つ以上の発見ログエントリーを含む複数のストレージデバイスの発見情報を含み、一つ以上の発見ログエントリーの各々は、ホストコンピューターと対応するストレージデバイスとの間の通信を構築するために割り当てられた対応するストレージデバイスのアドレスを含む。

ＤＨＣＰサーバは、複数のストレージデバイスの各々に対するアドレスを割り当て、複数のストレージデバイスの各発見ログアップデータは、割り当てられたアドレスを含むそれぞれの発見ログエントリーを発見サーバに自動的に伝送するために割り当てられたアドレスを用いる。

発見ログエントリーは、ストレージデバイス制御器のポートアドレスを更に含む。

ポートアドレスは、ＮＶＭｅｏＦ（ｎｏｎ−ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ ｅｘｐｒｅｓｓ ｏｖｅｒ ｆａｂｒｉｃｓ）仕様によって割り当でられる。

発見サーバは、ＲＥＳＴｆｕｌ応用プログラムインタフェース（ＡＰＩ）又はＧｒａｐｈＱＬ要請を用いてホストコンピューターに発見ログページを伝送する。

複数のストレージデバイスの中の少なくとも一つは、ＮＶＭｅｏＦデバイスであり、ホストコンピューターは、発見ログページを受信するために発見サーバにログ獲得命令を伝送する。

発見サーバ及びＤＨＣＰサーバは、ストレージシステムの同じサーバ内に配置される。

複数のストレージデバイスは、ラックに取り付けられ、ラック内の発見サーバは、ラックに固有のラックレベル発見情報を収集する。

複数のストレージデバイスは、ＰＯＤ内の複数のラックの間に分散され、ＰＯＤを担当する発見サーバは、ＰＯＤに固有のＰＯＤレベル発見情報を収集する。

ＰＯＤのＰＯＤマネージャーは、ＰＯＤレベル発見情報に基づいて複数のストレージデバイスの間に作業負荷を割り当てる。

ＰＯＤマネージャーは、ストレージシステムの他のＰＯＤマネージャーとＰＯＤレベル発見情報を交換する。

以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。

本発明は、分散ストレージデバイス（ｄｉｓｔｒｉｂｕｔｅｄ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）のハイパースケールデータセンター（ｈｙｐｅｒｓｃａｌｅ ｄａｔａｃｅｎｔｅｒ）環境で分散ストレージデバイスの自動発見を提供するストレージシステム及びその動作方法の具現に有用である。

１００ 分散ストレージシステム
１１０、６１０ ホストコンピューター
１２０ ファブリック
１２１ 発見ログ要請
１２２、２００ 発見ログページ
１２３ ポートアドレス
１２４ 発見ログエントリー
１２６ ＤＦＣＰ要請／応答
１３０、６３０ 動的ホスト構成プロトコル（ＤＨＣＰ）サーバ、
１５０、６５０ 発見サーバ
１５１ 発見制御器
１５２ 発見ログエントリー
１６０、６６０ ストレージデバイス
１６１ ストレージデバイス制御器
１６２ ポート
１６３ ＤＨＣＰクライアント
１６４ データストレージ
１６５ 発見ログアップデータ（ＤＬＵ）
３００ ログページエントリー

Claims (22)

1. 複数のストレージデバイスと、
   ホストコンピューターと、
   前記ホストコンピューターに発見ログページを提供する発見サーバと、を備え、
   前記複数のストレージデバイスの中の少なくとも一つのストレージデバイスは、動的ホスト構成プロトコル（ＤＨＣＰ）クライアントを動作させるように構成され、
   前記複数のストレージデバイスの中の前記少なくとも一つのストレージデバイスは、前記ＤＨＣＰクライアントの要請で獲得された、対応するストレージデバイスのインターネットプロトコル（ＩＰ）アドレスの更新に基づいて、前記対応するストレージデバイスの発見ログエントリーを前記発見サーバに自動的に提供する発見ログアップデータ（ＤＬＵ）を動作させ、
   前記ホストコンピューターは、前記発見ログページに含まれるターゲットストレージデバイスの発見ログエントリーを検索して前記ターゲットストレージデバイスのＩＰアドレスを用いて前記複数のストレージデバイスの中の前記ターゲットストレージデバイスとの連結を構築し、前記ターゲットストレージデバイスにデータの入出力を要請するか又は作業負荷を割り当て、
   前記発見ログページは、一つ以上の発見ログエントリーを含む前記複数のストレージデバイスの発見情報を含むことを特徴とするストレージシステム。
2. ＤＨＣＰサーバは、前記複数のストレージデバイスの中の前記少なくとも一つのストレージデバイスに対する前記ＩＰアドレスを割り当て、
   前記複数のストレージデバイスの中の前記少なくとも一つのストレージデバイスの前記発見ログアップデータは、前記割り当てられたＩＰアドレスを含むそれぞれの発見ログエントリーを前記発見サーバに自動的に伝送するために前記割り当てられたＩＰアドレスを用いることを特徴とする請求項１に記載のストレージシステム。
3. 前記発見ログエントリーは、ストレージデバイス制御器のポートアドレスを更に含むことを特徴とする請求項２に記載のストレージシステム。
4. 前記ポートアドレスは、ＮＶＭｅｏＦ（Ｎｏｎ−Ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ ｅｘｐｒｅｓｓ ｏｖｅｒ Ｆａｂｒｉｃｓ）仕様によって割り当てられることを特徴とする請求項３に記載のストレージシステム。
5. 前記発見サーバは、ＲＥＳＴｆｕｌ応用プログラムインタフェース（ＡＰＩ）又はＧｒａｐｈＱＬ要請を用いて前記ホストコンピューターに前記発見ログページを伝送することを特徴とする請求項１に記載のストレージシステム。
6. 前記複数のストレージデバイスの中の少なくとも一つは、ＮＶＭｅｏＦデバイスであり、
   前記ホストコンピューターは、前記発見ログページを受信するために前記発見サーバにログ獲得命令を伝送することを特徴とする請求項１に記載のストレージシステム。
7. 前記発見サーバ及び前記ＤＨＣＰサーバは、前記ストレージシステムの同じサーバ内に配置されることを特徴とする請求項２に記載のストレージシステム。
8. 前記複数のストレージデバイスは、ラックに取り付けられ、
   前記ラック内の発見サーバは、前記ラックに固有のラックレベル発見情報を収集することを特徴とする請求項１に記載のストレージシステム。
9. 前記複数のストレージデバイスは、ＰＯＤ（Ｐｅｒｆｏｒｍａｎｃｅ Ｏｐｔｉｍｉｚｅｄ Ｄａｔａｃｅｎｔｅｒ）内の複数のラックの間に分散され、
   前記ＰＯＤを担当する発見サーバは、前記ＰＯＤに固有のＰＯＤレベル発見情報を収集することを特徴とする請求項８に記載のストレージシステム。
10. 前記ＰＯＤのＰＯＤマネージャーは、前記ＰＯＤレベル発見情報に基づいて前記複数のストレージデバイスの間で作業負荷の割り当てを行うことを特徴とする請求項９に記載のストレージシステム。
11. 前記ＰＯＤマネージャーは、前記ストレージシステムの他のＰＯＤマネージャーと前記ＰＯＤレベル発見情報を交換することを特徴とする請求項１０に記載のストレージシステム。
12. ストレージシステムの動作方法であって、
    ストレージデバイス内の動的ホスト構成プロトコル（ＤＨＣＰ）クライアントを動作させる段階と、
    前記ＤＨＣＰクライアントの要請で獲得された前記ストレージデバイスのインターネットプロトコル（ＩＰ）アドレスの更新に基づいて、前記ストレージデバイスの発見ログエントリーを発見サーバに自動的に提供する段階と、
    前記発見サーバからホストコンピューターに発見ログページを提供する段階と、
    前記発見ログページに含まれるターゲットストレージデバイスの前記発見ログエントリーを検索して前記ターゲットストレージデバイスのＩＰアドレスを用いて前記ホストコンピューターと前記ターゲットストレージデバイスとの間の連結を構築する段階と、
    前記ホストコンピューターから前記ターゲットストレージデバイスにデータの入出力を要請するか又は作業負荷を割り当てる段階と、を有し、
    前記発見ログページは、一つ以上の発見ログエントリーを含む複数のストレージデバイスの発見情報を含むことを特徴とする動作方法。
13. ＤＨＣＰサーバは、前記複数のストレージデバイスの中の少なくとも一つのストレージデバイスに対する前記ＩＰアドレスを割り当て、
    前記複数のストレージデバイスの中の前記少なくとも一つのストレージデバイスの発見ログアップデータは、前記割り当てられたＩＰアドレスを含むそれぞれの発見ログエントリーを前記発見サーバに自動的に伝送するために前記割り当てられたＩＰアドレスを用いることを特徴とする請求項１２に記載の動作方法。
14. 前記発見ログエントリーは、ストレージデバイス制御器のポートアドレスを更に含むことを特徴とする請求項１３に記載の動作方法。
15. 前記ポートアドレスは、ＮＶＭｅｏＦ（Ｎｏｎ−Ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ ｅｘｐｒｅｓｓ ｏｖｅｒ Ｆａｂｒｉｃｓ）仕様によって割り当てられることを特徴とする請求項１４に記載の動作方法。
16. 前記発見サーバは、ＲＥＳＴｆｕｌ応用プログラムインタフェース（ＡＰＩ）又はＧｒａｐｈＱＬ要請を用いて前記ホストコンピューターに前記発見ログページを伝送することを特徴とする請求項１２に記載の動作方法。
17. 前記複数のストレージデバイスの中の少なくとも一つは、ＮＶＭｅｏＦデバイスであり、
    前記ホストコンピューターは、前記発見ログページを受信するために前記発見サーバにログ獲得命令を伝送することを特徴とする請求項１２に記載の動作方法。
18. 前記発見サーバ及び前記ＤＨＣＰサーバは、前記ストレージシステムの同じサーバ内に配置されることを特徴とする請求項１３に記載の動作方法。
19. 前記複数のストレージデバイスは、ラックに取り付けられ、
    前記ラック内の発見サーバは、前記ラックに固有のラックレベル発見情報を収集することを特徴とする請求項１２に記載の動作方法。
20. 前記複数のストレージデバイスは、ＰＯＤ内の複数のラックの間に分散され、
    前記ＰＯＤを担当する発見サーバは、前記ＰＯＤに固有のＰＯＤレベル発見情報を収集することを特徴とする請求項１９に記載の動作方法。
21. 前記ＰＯＤのＰＯＤマネージャーは、前記ＰＯＤレベル発見情報に基づいて前記複数のストレージデバイスの間で作業負荷の割り当てを行うことを特徴とする請求項２０に記載の動作方法。
22. 前記ＰＯＤマネージャーは、前記ストレージシステムの他のＰＯＤマネージャーと前記ＰＯＤレベル発見情報を交換することを特徴とする請求項２１に記載の動作方法。
    

Images