JP4353208B2 - ストレージサブシステム、ストレージシステム、負荷分散方法、負荷分散プログラム - Google Patents

Description

本発明は、ストレージ装置の負荷分散技術に関し、特にストレージサブシステムとホストコンピュータが協調して負荷分散処理を行う技術に関する。

ＦＣ（Fibre Channel ）スイッチなどを介して複数のホストコンピュータをディスクアレイサブシステムに接続した場合、ディスクアレイサブシステムの特定のホストポートまたは特定のコントローラに負荷が集中し、応答遅延（ホストポートネックまたはコントローラネック）が発生する。
この応答遅延を回避するために、刻々と変化するＩ／Ｏの性能分析を行い、適切な負荷分散を人手で実施するのは困難である。

特許文献１には、ストレージサブシステム内で負荷分散を行うストレージ装置が記載されている。
このストレージシステムでは、ストレージサブシステム内に複数のストレージ処理部があり、各ストレージ処理部で処理負荷を計測する。また、負荷に対する上限／下限の閾値を定義しておく。
任意のストレージ処理部の負荷が上限値を超えた場合、他のストレージ処理部に対して負荷状況を問い合わせ、余裕のあるストレージ処理部に負荷を分散する。任意のストレージ処理部の負荷が下限値を割った場合、他のストレージ処理部に対して負荷状況を問い合わせ、余裕のあるストレージ処理部に自身の負荷を引き渡し、自身は省電力モードに移行する。
このようにして、ストレージ処理部の負荷分散による対ホストへのレスポンスの向上と電力効率の向上を図っている。

特開２００３−２９６１５３号公報

しかしながら、上記の従来技術では、負荷分散処理は、ストレージサブシステム（ストレージ処理部）のみで実行しており、ホストコンピュータとストレージサブシステムとが協調して負荷分散処理を行うことができなかった。

そこで、本発明は、ホストコンピュータとストレージサブシステムとが協調して負荷分散処理を行うことができるストレージシステム等を提供することを目的とする。

上記目的を達成するため、本発明にかかるストレージサブシステムは、
複数のホストバスアダプタを備えたホストコンピュータから前記ホストバスアダプタを介してＩ／Ｏ命令を受信する複数のホスト接続ポートと、このＩ／Ｏ命令に従って記憶装置に対する書き込みおよび読み出しを実行するコントローラとを備えたストレージサブシステムにおいて、前記コントローラは、前記各ホスト接続ポートについて負荷分散が必要であるか否かを決定する機能と、負荷分散が要求されるホストバスアダプタを決定する機能と、決定された負荷分散の必要の有無を示す情報，決定されたホストバスアダプタを特定するホストバスアダプタ特定情報，および負荷分散先の前記ホスト接続ポートを特定する情報，を含む負荷分散要求テーブルを生成し且つ当該生成されたテーブルの情報を定期的に更新する機能と、前記ホストコンピュータから要求があったときに前記負荷分散要求テーブルの情報である分散実行内容にかかる情報を前記ホストコンピュータに送信する機能を有する。

また、このストレージサブシステムでは、前記負荷分散要求テーブルの情報を、前記各コントローラの接続ポートアドレス，負荷分散要求数，要求先ホストバスアダプタのポートアドレス，負荷分散先ホスト接続ポートの候補数、およびそのポートアドレスを含む内容とする。
そして、更に、前述したコントローラは、前記負荷分散が要求されるホストバスアダプタの内、前記負荷分散要求テーブルにかかる情報を送信してから所定の時間内に応答のないものに関する情報を前記負荷分散要求テーブルから削除する機能を有することを特徴とする（請求項１ないし請求項３）。

上記ストレージサブシステムによれば、コントローラは、負荷分散要求テーブルをホストコンピュータの要求に応じて送信する。負荷分散要求テーブルには、負荷を分散させるホスト接続ポートを特定する情報等が示されているから、ホストコンピュータは、負荷分散要求テーブルに含まれる情報に従って負荷分散処理を実行することができる。すなわち、ストレージサブシステムとホストコンピュータとが協調し自立的な負荷分散機能を実現することができる。

又、ストレージサブシステムにおいて、コントローラは、上記したように、負荷分散が要求されるホストバスアダプタのうち、負荷分散要求テーブルを送信してから所定の時間内に応答のないものに関する情報を負荷分散要求テーブルから削除するようにしたので、負荷分散処理機能を持たないホストコンピュータやストレージサブシステムとの間の接続パスをひとつしか有していないホストコンピュータが接続されていた場合に、そのようなホストコンピュータのホストバスアダプタを負荷分散処理要求テーブルの対象からはずし、負荷分散処理要求テーブルの生成処理に要する時間を短縮することができる。

ここで、上記ストレージサブシステムにおいて、負荷分散要求テーブルは、負荷分散が要求されるホストバスアダプタが通常送信するＩ／Ｏ命令のうち別のホスト接続ポートに送信するＩ／Ｏ命令の割合を指定する情報を含むようにしてもよい（請求項２）。
このようにすれば、ホストコンピュータは、送信するＩ／Ｏ命令の一部だけを通常とは異なるホスト接続ポートに送信することにより、負荷分散処理をより緻密に制御することができる。

又、上記ストレージサブシステムにおいて、負荷分散要求テーブルは、負荷分散先のホスト接続ポート毎に、別のホスト接続ポートに送信するＩ／Ｏ命令のうち各々の負荷分散先のホスト接続ポートに送信するＩ／Ｏ命令の割合を指定する情報を含むようにしてもよい（請求項３）。

このようにすると、ストレージサブシステムからの情報に基づいて、ホストコンピュータ側では、Ｉ／Ｏ命令を通常とは異なる複数のホスト接続ポートに送信することにより、負荷分散処理をより緻密に制御することができる。

上記目的を達成するため、本発明にかかるストレージシステムは、ストレージサブシステムに対してＩ／Ｏ命令を送信するホストバスアダプタを複数備えたホストコンピュータと、このホストコンピュータからのＩ／Ｏ命令を受信する複数のホスト接続ポートを備えたストレージサブシステムとを有するストレージシステムにおいて、前記ストレージサブシステムは、前記複数のホスト接続ポートを介して入力されるホストコンピュータからのＩ／Ｏ命令に従って記憶装置に対する書き込みおよび読み出しを実行するコントローラを備えている。

このストレージサブシステムのコントローラは、前記各ホスト接続ポートについて負荷分散が必要であるか否かを決定する機能と、前記負荷分散が要求される前記ホストバスアダプタを決定する機能と、前記決定された前記負荷分散の必要の有無を示す情報，前記決定されたホストバスアダプタを特定するホストバスアダプタ特定情報，および負荷分散先の前記ホスト接続ポートを特定する情報，を含む負荷分散要求テーブルを生成し且つ当該生成されたテーブルの情報を定期的に更新する機能と、前記ホストコンピュータから要求があったときに前記負荷分散要求テーブルの情報である分散実行内容にかかる情報を前記ホストコンピュータに送信する機能を有する。

そして、前述した負荷分散要求テーブルにおける情報については、前記各コントローラの接続ポートアドレス，負荷分散要求数，要求先ホストバスアダプタのポートアドレス，負荷分散先ホスト接続ポートの候補数、およびそのポートアドレスを含む内容とする。
前記コントローラは、更に、前記負荷分散が要求されるホストバスアダプタの内、前記負荷分散要求テーブルにかかる情報を送信してから所定の時間内に応答のないものに関する情報を前記負荷分散要求テーブルから削除する機能を有している。

又、前述したホストコンピュータは、前記負荷分散要求テーブルにかかるテーブル情報の送信を要求する機能とを有すると共に、この要求に応じて前記ストレージサブシステムから送信された前記負荷分散要求テーブルの情報に基づいて複数の前記ホストバスアダプタの間で負荷分散を実行する負荷分散実行手段を備えたことを特徴とする（請求項４）。

このため、上記ストレージシステムによれば、ストレージサブシステムのコントローラは、負荷分散要求テーブルをホストコンピュータの要求に応じて送信する。負荷分散要求テーブルには、負荷を分散させるホスト接続ポートを特定する情報等が示されているから、ホストコンピュータは、負荷分散要求テーブルに含まれる情報に従って負荷分散処理を実行することができる。すなわち、ストレージサブシステムとホストコンピュータとが協調し自立的な負荷分散機能を実現することができる。

上記目的を達成するため、本発明にかかる負荷分散方法では、ストレージサブシステムに対してＩ／Ｏ命令を送信するホストバスアダプタを複数備えたホストコンピュータと、このホストコンピュータからのＩ／Ｏ命令を受信する複数のホスト接続ポート及びこの複数のホスト接続ポートを介して入力されるホストコンピュータからのＩ／Ｏ命令に従って記憶装置に対する書き込みおよび読み出しを実行するコントローラを備えたストレージサブシステムとを有するストレージシステムにあって、 前記ストレージサブシステム側では、まず、受信される前記Ｉ／Ｏ命令に対して負荷分散の必要の有無および前記負荷分散が要求される前記ホストバスアダプタを前記コントローラが決定し、 この決定された前記負荷分散の必要の有無を示す情報，前記決定されたホストバスアダプタを特定するホストバスアダプタ特定情報，及び負荷分散先の前記ホスト接続ポートを特定する情報、を含む負荷分散要求テーブルを、前記コントローラが生成し且つこれを定期的に更新する。

次に、前記ホストコンピュータ側では、前記ストレージサブシステムに対して前記負荷分散要求テーブルにかかるテーブル情報の送信を要求し、これに応じて前記ストレージサブシステムが前記負荷分散要求テーブルにかかるテーブル情報を前記ホストコンピュータに送信し、 このテーブル情報を受信した前記ホストコンピュータ側では、前記ストレージサブシステムから受信した前記負荷分散要求にかかるテーブル情報に従って複数の前記ホストバスアダプタの間で負荷分散を実行し、 前記負荷分散要求テーブルにかかる情報を前記ホストコンピュータに送信してから所定の時間内に応答のないものについては、前記コントローラが、その負荷分散が要求されるホストバスアダプタの情報を前記負荷分散要求テーブルから削除するようにしたことを特徴とする（請求項５乃至請求項７）。

このため、上記負荷分散方法によれば、ストレージサブシステムは、負荷分散要求テーブルをホストコンピュータの要求に応じて送信する。負荷分散要求テーブルには、負荷を分散させるホスト接続ポートを特定する情報等が示されているから、ホストコンピュータは、負荷分散要求テーブルに含まれる情報に従って負荷分散処理を実行することができる。すなわち、ストレージサブシステムとホストコンピュータとが協調し自立的な負荷分散機能を実現することができる。

ここで、上記負荷分散方法において、負荷分散要求テーブルは、負荷分散が要求されるホストバスアダプタが通常送信するＩ／Ｏ命令のうち別のホスト接続ポートに送信するＩ／Ｏ命令の割合を指定する情報を含むようにしてもよい（請求項６）。
このようにすれば、ホストコンピュータは、送信するＩ／Ｏ命令の一部だけを通常とは異なるホスト接続ポートに送信することにより、負荷分散処理をより緻密に制御することができる。

更に、上記負荷分散方法において、負荷分散要求テーブルは、負荷分散先のホスト接続ポート毎に、別のホスト接続ポートに送信するＩ／Ｏ命令のうち各々の負荷分散先のホスト接続ポートに送信するＩ／Ｏ命令の割合を指定する情報を含むようにしてもよい（請求項７）。このようにすれば、ホストコンピュータは、Ｉ／Ｏ命令を通常とは異なる複数のホスト接続ポートに送信することにより、負荷分散処理をより緻密に制御することができる。

上記目的を達成するため、本発明にかかる負荷分散プログラムでは、ホストコンピュータが備えるホストバスアダプタからＩ／Ｏ命令を受信する複数のホスト接続ポートと、前記Ｉ／Ｏ命令に従って記憶装置に対する書き込みおよび読み出しを実行するコントローラとを備えたストレージサブシステムにあって、前記複数のホスト接続ポートに対する負荷分散の必要の有無および前記負荷分散が要求される前記ホストバスアダプタを決定する処理機能、 前記決定された前記負荷分散の必要の有無を示す情報，前記決定されたホストバスアダプタを特定するホストバスアダプタ特定情報，及び負荷分散先である前記ホスト接続ポートを特定する情報を含む前記負荷分散要求テーブルを生成すると共に当該テーブルの情報を定期的に更新する処理機能、 前記ホストコンピュータから要求があったときに前記負荷分散要求テーブルを前記ホストコンピュータに送信する処理機能、 及び前記負荷分散が要求されるホストバスアダプタの内、前記負荷分散要求テーブルを送信してから所定の時間内に応答のないものに係る情報を前記負荷分散要求テーブルから削除する処理機能を、（旧請求項１４）コンピュータに実行させるようにしたことを特徴とする（請求項８乃至請求項１０）。

このため、この負荷分散プログラムによれば、ストレージサブシステムを制御して、負荷分散要求テーブルをホストコンピュータの要求に応じて送信する。負荷分散要求テーブルには、負荷を分散させるホスト接続ポートを特定する情報等が示されているから、ホストコンピュータは、負荷分散要求テーブルに含まれる情報に従って負荷分散処理を実行することができる。すなわち、ストレージサブシステムとホストコンピュータとが協調し自立的な負荷分散機能を実現することができる。

更に、前述したように、負荷分散処理機能を有しないホストコンピュータやストレージサブシステムとの間の接続パスを一つしか有しないホストコンピュータが接続されていた場合には、そのようなホストコンピュータのホストバスアダプタを負荷分散処理テーブルの対象から削除するようにしたので、これにより、負荷分散処理テーブルの生成処理に要する時間を短縮することができる。

ここで、上記負荷分散プログラムにおいて、負荷分散要求テーブルは、負荷分散が要求されるホストバスアダプタが送信するＩ／Ｏ命令のうち別のホスト接続ポートに送信するＩ／Ｏ命令の割合を指定する情報を含むようにしてもよい（請求項９）。
このようにすれば、ホストコンピュータは、送信するＩ／Ｏ命令の一部だけを通常とは異なるホスト接続ポートに送信することにより、負荷分散処理をより緻密に制御することができる。

上記負荷分散プログラムにおいて、負荷分散要求テーブルは、負荷分散先のホスト接続ポート毎に、別のホスト接続ポートに送信するＩ／Ｏ命令のうち各々の負荷分散先のホスト接続ポートに送信するＩ／Ｏ命令の割合を指定する情報を含むようにしてもよい（請求項１０）。
このようにすれば、ホストコンピュータは、Ｉ／Ｏ命令を通常とは異なる複数のホスト接続ポートに送信することにより、負荷分散処理をより緻密に制御することができる。

本発明によれば、ストレージサブシステムは、負荷分散要求テーブルをホストコンピュータの要求に応じて送信する。負荷分散要求テーブルには、負荷を分散させるホスト接続ポートを特定する情報等が示されているから、ホストコンピュータは、負荷分散要求テーブルに含まれる情報に従って負荷分散処理を実行することができる。すなわち、ストレージサブシステムとホストコンピュータとが協調し自立的な負荷分散機能を実現することができる。

以下、図を参照しながら本発明の一実施形態であるＳＡＮ（Storage Area Network）システム５０（ストレージシステムの一例）の構成と動作について説明する。
図１は、ＳＡＮシステム５０の全体構成図である。ＳＡＮシステム５０は、複数のホストコンピュータ１ａ、１ｂ等（以下、特に区別する必要がない場合は「ホストコンピュータ１」という）とディスクアレイサブシステム１０（ストレージサブシステムの一例）により構成されている。
ホストコンピュータ１はホストバスアダプタ（Host Bus Adapter 、以下「ＨＢＡ」という）を備え、ディスクアレイサブシステム１０は図１に示すように複数のホスト接続ポートを備え、ＨＢＡ（ホストバスアダプタ）と各ホスト接続ポートとはＦＣスイッチ４０，４１を介して接続されている。ＨＢＡとホスト接続ポートには、図１のカッコ内に示すように、「ＷＷＰＮａ」等のＷＷＰＮ（World Wide Port Name ）が付与されている。
ＷＷＰＮは、ポートを一意に識別する６４ビットのアドレスであり、ＨＢＡ又はコントローラの製造時にＲＯＭ（Read Only Memory）に書き込まれている。
ホストコンピュータ１は、アクセスパス３０を介して、ディスクアレイサブシステム１０にＩ／Ｏ命令を発行し、論理ディスクに対するデータの書き込みと読み出しを行う。

図２は、図１のホストコンピュータ１ａとディスクアレイサブシステム１０の動作を示す機能ブロック図である。
ホストコンピュータ１ａは、ファイルシステム２、上位ドライバ３、パス冗長化ドライバ４、下位ドライバ５、２個のＨＢＡ６および７を備えている。
ディスクアレイサブシステム１０は、２個のコントローラ１１および１２と論理ディスク１３，１４等を備えている。

（ホストコンピュータ１ａの構成）
アプリケーション８は、ホストコンピュータ１のＣＰＵ(Central Processing Unit) 上で実行される任意のアプリケーションプログラムであり、ＣＰＵを介して論理ディスク１３等に対するファイルの書き込みと読み出しをファイルシステム２に要求する。

ファイルシステム２は、論理ドライブ上のファイルのファイル名と論理ドライブ上の格納位置との対応付けを保持する。
上位ドライバ３は、ファイルシステム２を介してアプリケーション８から渡されたＩ／Ｏをパス冗長化ドライバ４に渡す。

ＨＢＡ（ホストバスアダプタ）６および７は、それぞれホストインタフェースケーブル２０および２１を介してディスクアレイサブシステム１０のコントローラ１１および１２にあるホスト接続ポート１６および１８に接続され、ホストコンピュータ１は、ディスクアレイサブシステム１０が制御する論理ディスク１３、１４および１５に対するＩ／Ｏを実行する。

下位ドライバ５は、ＨＢＡ６および７を制御しＩ／Ｏ処理を行う。

パス冗長化ドライバ４は、上位ドライバ３から受け取ったＩ／Ｏを下位ドライバ５に引き渡し、また、ＨＢＡ６または７を介してディスクアレイサブシステム１０が制御する論理ディスク１３、１４または１５に対するＩ／Ｏの実行結果を下位ドライバ５から受け取り、正常終了または異常終了の判断を行い、異常終了の原因がパスの構成要素（ＨＢＡ６、７、ホストインタフェースケーブル２０、２１、コントローラ１１、１２等）における障害（故障）と判断した場合は、代替パスを用いて、異常終了したＩ／Ｏのリトライ処理を行うドライバである。

本発明においては、パス冗長化ドライバ４は、ディスクアレイサブシステム１０から負荷分散要求テーブル２４の負荷分散情報を取得し、このテーブルに含まれる情報（負荷分散情報）に従って負荷分散を行う。
具体的には、パス冗長化ドライバ４は、一方のＩ／Ｏパス（例えば、コントローラ１１）のみにＩ／Ｏが集中することのないよう、複数のＩ／Ｏパスを有効に活用し、Ｉ／Ｏの負荷分散（コントローラ１１または１２のホスト接続ポート１６、１７、１８、１９にＩ／Ｏを振り分け）を行う機能を有する。
すなわち、パス冗長化ドライバ４とこれを実行するＣＰＵは、負荷分散実行手段の一例である。

ホストコンピュータ１による各Ｉ／Ｏの実行結果については、ＨＢＡ６、下位ドライバ５、パス冗長化ドライバ４、上位ドライバ３、ファイルシステム２およびアプリケーション８の各レイヤによって判断が行われ、必要に応じて何らかの処置が行われる。

ホストコンピュータ１ｂ等もホストコンピュータ１ａと同様の構成を備えている。ただし、これらのホストコンピュータには、パス冗長化ドライバ４を備えていないものが含まれていてもよい。

（ディスクアレイサブシステム１０の構成）
コントローラ１１および１２は、それぞれ内部バス２２および２３を介して各論理ディスク１３、１４および１５に接続されており、いずれのコントローラからも各論理ディスクに対してアクセスすることができる。
コントローラ１１および１２は、負荷分散要求テーブル２４を生成し、その情報（テーブル情報）をＲＡＭ等の記憶装置に格納し、これを定期的に更新する。また、ホストコンピュータ１の要求に応じて負荷分散要求テーブル２４のテーブル情報をホストコンピュータに送信する。
負荷分散要求テーブル２４の詳細内容については後述する。

ホストコンピュータ１上で動作するアプリケーション８よりディスクアレイサブシステム１０に書き込まれるデータ（ライトデータ転送Ｉ／Ｏ）は、アプリケーション８、ファイルシステム２、上位ドライバ３、パス冗長化ドライバ４、下位ドライバ５、ＨＢＡ６、ホストインタフェースケーブル２０、ホスト接続ポート１６を介してコントローラ１１に至り、指定された論理ディスク１３、１４または１５に書き込まれる。

ホストコンピュータ１上で動作するアプリケーション８によってディスクアレイサブシステム１０から読み出されるデータ（リードデータ転送Ｉ／Ｏ）は、指定された論理ディスク１３、１４または１５より、コントローラ１１、ホスト接続ポート１６、ホストインタフェースケーブル２０を介してＨＢＡ（ホストバスアダプタ）６に至り、下位ドライバ５、パス冗長化ドライバ４、上位ドライバ３、ファイルシステム２を経てアプリケーション８に至る。

ディスクアレイサブシステム１０側の論理ディスク１３等は、前述したアプリケーションプログラム８が稼動するＣＰＵからみると、１個の独立した記憶装置として認識される記憶領域である。ここで、論理ディスク１３は、１台の物理的な記憶装置（例えば、ハードディスク装置）の記憶領域の一部または全部で構成してもよいし、複数の物理的な記憶装置により構成してもよい。

次に、ストレージシステムの一例である上記ＳＡＮシステム５０の動作について説明する。
まず、ディスクアレイサブシステム１０側の動作について説明する。
図３、図４（ａ）、図４（ｂ）は、ディスクアレイサブシステム１０のコントローラ１１および１２により実施され、ホストコンピュータ１より受け取ったＩ／Ｏコマンドの処理過程の一部を示したフローチャートである。

ホストコンピュータ１より受け取ったコマンドは、まず正しく実行することができるかどうか判断され（図３のＳ１０１）、正しく実行することができないコマンドであれば、異常終了処理（Ｓ１２０）へ移行する。
正しく実行可能なコマンドであれば、当該コマンドを発行したＨＢＡ（ホストバスアダプタ）のＷＷＰＮ取得コマンドであるかを判断する（Ｓ１０２）。

ＨＢＡのＷＷＰＮ取得コマンドであれば、ＨＢＡのＷＷＰＮ取得コマンドデコード処理（Ｓ１２１）へ移行し、そうでなければ、Ｓ１０３へ進む。
Ｓ１０２でＨＢＡのＷＷＰＮ取得コマンドデコード処理（Ｓ１２１）へ移行した場合は、当該コマンドを発行したＨＢＡのＷＷＰＮを編集し（図４（ａ）のＳ２０１）、正常終了処理（Ｓ２０２）へ移行する。
ＷＷＰＮの編集は、例えば、次のような手順で行う。
（１）システム上で、"HBAのWWPN取得コマンド" を予め定義しておく。
（２）パス冗長化ドライバ４が、自身が制御すべきＨＢＡ( Ｉ／Ｏ発行元( Ｉ／Ｏパス))のＷＷＰＮを認識( 取得) するために、全てのＨＢＡ経由で" ＨＢＡのＷＷＰＮ取得コマンド" を１回ずつ発行する。
（３）ディスクアレイサブシステム１０は、" ＨＢＡのＷＷＰＮ取得コマンド" を受け取ると、発行元のＨＢＡのＷＷＰＮを( 返却データとして) 編集し、該コマンドの実行結果としてパス冗長化ドライバ４に返却する。
（４）パス冗長化ドライバ４は返却されたデータを取得することで、ＨＢＡのＷＷＰＮを認識( 取得) することができるようになる。

ＨＢＡ（ホストバスアダプタ）のＷＷＰＮ取得コマンドでなければ、負荷分散要求テーブル取得コマンドであるかを判断し（Ｓ１０２の判定がノー、Ｓ１０３）、負荷分散要求テーブル取得コマンドであれば負荷分散要求テーブル取得コマンドデコード処理（Ｓ１２２）へ移行し、そうでなければ、Ｓ１０４へ進む。

Ｓ１０３で負荷分散要求テーブル取得コマンドデコード処理（Ｓ１２２）へ移行した場合は、負荷分散要求テーブル２４を編集して取得要求元のホストコンピュータ１に送信し（図４（ｂ）のＳ３０１）、正常終了処理（Ｓ３０２）へ移行する。

ここで編集される負荷分散要求テーブル２４は、図６に示すように、ディスクアレイサブシステム１０の各コントローラ１１および１２に存在するホスト接続ポートのＷＷＰＮ、負荷分散要求数、要求先ＨＢＡ（ホストバスアダプタ）のＷＷＰＮ、負荷分散先ホスト接続ポートの候補数、および負荷分散先ホスト接続ポート候補のＷＷＰＮの情報を有する。
負荷分散要求数は、当該ホスト接続ポート宛のＩ／Ｏについて負荷分散を要求するＨＢＡの数である。当該ホスト接続ポート宛のＩ／Ｏの負荷分散が必要でない場合にはその値を「０」とする。「要求先ＨＢＡのＷＷＰＮ」の欄は、負荷分散要求数に応じた数とする。例えば、「負荷分散要求数」が「２」の場合、「要求先ＨＢＡのＷＷＰＮ」欄は２つとし、その値は、例えば「ＷＷＰＮａ」「ＷＷＰＮｂ」とする。
負荷分散の要求先のＨＢＡ（ホストバスアダプタ）は、例えば次のような基準で選択する。
（１）負荷が集中しているホスト接続ポート宛のＩ／Ｏを最も多く送信しているものを選択する。
（２）ホスト接続ポート宛に発行されたＩ／Ｏにて指定される実データ格納場所を判断し、現在のホスト接続ポートでＩ／Ｏを処理するよりも、最適なホスト接続ポートが存在する場合に最適なホスト接続ポートへＩ／Ｏが発行される様、要求先のＨＢＡを選択し、誘導する。
要求先ＨＢＡのＷＷＰＮは、負荷分散の実行を要求するＨＢＡ（ホストバスアダプタ）のＷＷＰＮであり、ホストコンピュータ１のパス冗長化ドライバ４は、この欄を参照して自己の管理下のＨＢＡのＷＷＰＮがある場合に、負荷分散先ホスト接続ポートのＷＷＰＮの欄にＷＷＰＮが書き込まれているホスト接続ポートのひとつ以上に、通常は負荷分散要求数が１以上になっているホスト接続ポートに送信するＩ／Ｏを分散させる。

図１のホスト接続ポート１６（ＷＷＰＮ０）に負荷が集中している状況を考えると、ディスクアレイサブシステム１０のコントローラ１１および１２が過去一定期間のＩ／Ｏ統計情報を採取／分析し、ＨＢＡ６（ＷＷＰＮa ）のＩ／Ｏを他のホスト接続ポート１８、１９、１７（WWPN２、WWPN３、WWPN１）の何れかに振り向けることで、ホスト接続ポート１６の応答遅延が回避できると判断した場合は、ホスト接続ポート１６の該当欄（図６の１行目）に、負荷分散要求数として「１」、要求先ＨＢＡ（ホストバスアダプタ）のＷＷＰＮとして「ＷＷＰＮa 」、負荷分散先ホスト接続ポートの候補数として「３」、および負荷分散先ホスト接続ポート候補のＷＷＰＮとして、「WWPN２」、「WWPN３」、「WWPN１」を編集する。

尚、ディスクアレイサブシステム１０は、各ホストコンピュータにパス冗長化ドライバ４が存在することを期待して負荷分散要求テーブルの要求先ＨＢＡのＷＷＰＮには、ディスクアレイサブシステム１０に接続されるすべてのＨＢＡ（ホストバスアダプタ）を要求先候補として扱う。ただし、負荷分散要求テーブルを送信してから一定の時間内に負荷分散要求に応じてくれない要求先ＨＢＡに対しては、負荷分散要求テーブル２４よりクリアする。

図３に戻り、受信したコマンドがＨＢＡ（ホストバスアダプタ）のＷＷＰＮ取得コマンドでも負荷分散要求テーブル取得コマンドでもない場合は、既存のコマンドデコード処理（既存の処理）を実施する（Ｓ１０２とＳ１０３の判定がいずれもノー、Ｓ１０４）。

次に、パス冗長化ドライバ４側の動作について説明する。
図５は、図１のパス冗長化ドライバ４により実施される処理過程の一部を示したフローチャートであり、具体的には、パス死活監視処理に関わる。パス死活監視とは、パス冗長化ドライバ４が管理する複数のＩ／Ｏパスに対して一定間隔にＩ／Ｏを生成、発行し、障害が発生していないかを確認するための導通テストである。この死活監視に使用するＩ／Ｏは、アプリケーション８から発行されるＩ／Ｏとは非同期に、パス冗長化ドライバ４が一定時間毎に生成し、発行する。尚、このパス死活監視処理は導通を確認することが目的であることから、パス死活監視に使用するＩ／Ｏには、例えば、ＩＮＱＵＩＲＹコマンドなどが用いられていた。
ここで、パス冗長化ドライバ４は、自身の初期化段階で、自身が管理するＨＢＡのＷＷＰＮおよび自身が管理するＩ／Ｏパス、つまりディスクアレイサブシステム１０のホスト接続ポート１６等のＷＷＰＮを取得しているものとして説明する。

パス冗長化ドライバ４が管理しているＩ／Ｏパスより一つを選択し、負荷分散要求テーブル取得コマンドのＩ／Ｏリクエストを生成し（Ｓ４０１）、下位ドライバ５へＩ／Ｏリクエストを発行する（Ｓ４０２）。

Ｓ４０３では、Ｓ４０２の実行結果を確認する。ここで異常終了であれば、Ｉ／Ｏパス障害が発生していることがわかることから、異常終了処理（Ｓ４１０）へ移行する。
正常終了であれば、負荷分散要求テーブルが取得できている（Ｓ４０４）ことから、負荷分散要求テーブル内に自身が管理するＨＢＡ（ホストバスアダプタ）のＷＷＰＮがあるかを判断して（Ｓ４０５）、自身が管理するＨＢＡのＷＷＰＮがなければ、パス死活監視処理を終了する（Ｓ４１１）。

自身が管理するＨＢＡのＷＷＰＮがあれば、負荷分散先ホスト接続ポート候補が自身が管理するＩ／Ｏパスであるかを判断し（Ｓ４０６）、自身が管理するＩ／Ｏパスでなければ、パス死活監視処理を終了する（Ｓ４１２）。
Ｓ４０７では、負荷分散要求テーブルの負荷分散先ホスト接続ポート候補より、自身が管理するＩ／Ｏパスの何れか一つまたは複数を選択し、負荷分散を行う。
例えば、受信した負荷分散要求テーブルが図６に示すものであった場合、パス冗長化ドライバ４は、「要求先ＨＢＡのＷＷＰＮ」としてＨＢＡ６に対応する「ＷＷＰＮａ」が含まれているので、「負荷分散先ホスト接続ポートのＷＷＰＮ」の中からホスト接続ポート１８に対応する「ＷＷＰＮ２」を選択し、通常は図１のＩ／Ｏパス３１を使って送信するＩ／Ｏを、Ｉ／Ｏパス３３に負荷分散する。
以上により、特定ホスト接続ポートへの負荷集中を、他のホスト接続ポートに負荷分散する手段を提供する。

次に、上記実施形態におけるＳＡＮシステム５０の効果について説明する。
第一の効果は、パス冗長化ドライバ４とディスクアレイサブシステム１０との間で、連携、協調動作を行われ、これにより、システム全体で自律的な負荷分散機能を提供することができる。
第二の効果は、パス死活監視（パスの導通確認）のための余分なＩ／Ｏ負荷が発生しないことである。
その理由は、従来のパス冗長化ドライバはパス死活監視のために定期的にコマンド（例えば、”ＩＮＱＵＩＲＹコマンド”や ”ＴＥＳＴ ＵＮＩＴ＿ＲＥＡＤＹコマンド”など）を発行し、コマンドが正常終了すれば、パスに障害が発生していないと判断していた。この死活監視に使用していたコマンドの代わりに負荷分散要求テーブル取得コマンドを使用するため、負荷分散要求テーブルの取得、および負荷分散要求テーブルが取得できたこと、すなわちコマンドの正常終了をもってパス死活監視も兼ねており、本発明による余計なＩ／Ｏ負荷の発生はない。
第三の効果は、パス冗長化ドライバ４とディスクアレイサブシステム間の連携ならびにこれらの管理及び制御は、パス冗長化ドライバ４内に隠蔽して処理するため、上位ドライバ３や下位ドライバ５及びミドルウェアやアプリケーション８に改造の必要がないことである。

図１および図２に示した、ＳＡＮシステム５０は、本発明の実施形態の一例であり、本発明は、以下に説明するような形態でも実施することができる。

図７に示すように、負荷分散要求テーブル２４に負荷分散要求の割合（％）を設けてもよい。負荷分散要求先ＷＷＰＮａからホスト接続ポートＷＷＰＮ０へ発行されるＩ／Ｏについて、負荷分散先ホスト接続ポート候補のＷＷＰＮ２、３、１で示される一つまたは複数のホスト接続ポートに対して、負荷分散要求の割合（％）で指定された割合で負荷分散を行うことを示している。図７の場合、図５のＳ４０７では、パス冗長化ドライバ４は、通常はホスト接続ポート１６に送信するＩ／Ｏの４０％をホスト接続ポート１８に負荷分散する。
このようにすると、負荷の集中しいているホスト接続ポートのＩ／Ｏ負荷の分散を緻密に制御することができる。

図８に示すように、負荷分散要求テーブル２４に、さらに負荷分散先のホスト接続ポート１８（ＷＷＰＮ２），１９（ＷＷＰＮ３），１７（ＷＷＰＮ１）に対する負荷分散の割合（％）を設けてもよい。ホストコンピュータ１ａがこれらのホスト接続ポートのすべてと接続されているとすると、図５のステップＳ４０７では、パス冗長化ドライバ４は、通常はホスト接続ポート１６に送信するＩ／Ｏのうち４０％を負荷分散するが、分散するＩ／Ｏのうちの５０％はホスト接続ポート１８へ、３０％はホスト接続ポート１９へ、２０％はホスト接続ポート１７へ送信する。
このようにすれば、負荷の集中しいているホスト接続ポートのＩ／Ｏ負荷の分散、さらに負荷分散先ホスト接続ポートへの負荷分散の割合についても緻密に制御することが可能になる。

図２では、ＨＢＡ６および７の２つのＨＢＡ（ホストバスアダプタ）を搭載するホストコンピュータを構成例としてあげたが、ＨＢＡの枚数は、ホストコンピュータで動作するＯＳの種類、ドライバ５、またはホストコンピュータ１のハードウェア等の仕様によって制限されるものであり、パス冗長化ドライバ４としてはＨＢＡの枚数に制限はない。

図２では、コントローラ１１および１２の２つのコントローラを搭載するディスクアレイサブシステム１０を構成例としてあげたが、コントローラ数に制限はない。

図２では、コントローラ１１および１２のコントローラにホスト接続ポートを２つずつ搭載するディスクアレイサブシステム１０を構成例としてあげたが、コントローラに搭載するホスト接続ポート数に制限はない。

図１では、ＨＢＡ６、７とコントローラ１１、１２をＦＣスイッチ４０、４１を介して接続したものを構成例としてあげたが、ハブを介して接続するようにしてもよいし、スイッチまたはハブを介さずにホストインタフェースケーブルで直接接続するようにしてもよい。

図２では、論理ディスク１３等はディスクアレイサブシステム１０内に構成されるものを例としてあげたが、ディスクアレイサブシステム１０に接続されたＪＢＯＤ（Ｊｕｓｔ Ｂｕｎｃｈ ｏｆ Ｄｉｓｋｓ）等の外部のディスクで構成されても良い。

図１、２のホストコンピュータ１に接続されるディスクアレイサブシステム１０の数に制限はない。
図１のディスクアレイサブシステム内に構成される論理ディスクの数に制限はない。
図１のディスクアレイサブシステム内の内部バスの数に制限はない。

本実施形態では、ストレージサブシステムとして、ディスクアレイサブシステム１０を例にしたが、他の種類の装置を用いてもよい。

本実施形態では、ＨＢＡ（ホイストバスアダプタ）およびホスト接続ポートの識別情報としてポートを一意的に識別する６４ビットのアドレスであるWWPNを使用したが、WWPNに限定されるわけではなく、ＨＢＡおよびホスト接続ポートを一意に識別できる情報であれば何でも良い。

本発明の一実施形態であるストレージシステムの一例であるＳＡＮシステムの全体構成を示すブロック図である。 図１内に開示したホストコンピュータとディスクアレイサブシステムとを示す機能ブロック図である。 図１内に開示したディスクアレイサブシステムの受信コマンド処理動作を示すフローチャートである。 図１内に開示したディスクアレイサブシステムのコマンド処理動作を示す図で、図４（ａ）はディスクアレイサブシステムのＷＷＰＮ取得コマンドの処理動作を示すフローチャート、図４（ｂ）はディスクアレイサブシステムの負荷分散要求テーブル取得コマンドの処理動作を示すフローチャートである。 図１内に開示したホストコンピュータのパス死活監視動作を示すフローチャートである。 図２内に開示したディスクアレイサブシステムが備えている負荷分散要求テーブルの一例を示す図である。 図２内に開示したディスクアレイサブシステムが備えている他の負荷分散要求テーブルの一例を示す図である。 図２内に開示したディスクアレイサブシステムが備えている更に他の負荷分散要求テーブルの一例を示す図である。

１ ホストコンピュータ
２ ファイルシステム
３ 上位ドライバ
４ パス冗長化ドライバ（負荷分散実行手段）
５ 下位ドライバ
６、７ ＨＢＡ（ホストバスアダプタ）
１０ ディスクアレイサブシステム
１１、１２ コントローラ
１３、１４、１５ 論理ディスク
１６〜１９ ホスト接続ポート
２４ 負荷分散要求テーブル
５０ ＳＡＮシステム

Claims (10)

1. 複数のホストバスアダプタを備えたホストコンピュータから前記ホストバスアダプタを介してＩ／Ｏ命令を受信する複数のホスト接続ポートと、このＩ／Ｏ命令に従って記憶装置に対する書き込みおよび読み出しを実行するコントローラとを備えたストレージサブシステムにおいて、
   前記コントローラは、
   前記各ホスト接続ポートについて負荷分散が必要であるか否かを決定する機能と、前記負荷分散が要求される前記ホストバスアダプタを決定する機能と、
   前記決定された前記負荷分散の必要の有無を示す情報，前記決定されたホストバスアダプタを特定するホストバスアダプタ特定情報，および負荷分散先の前記ホスト接続ポートを特定する情報を含む負荷分散要求テーブルを生成し且つ当該生成されたテーブルの情報を定期的に更新する機能と、
   前記ホストコンピュータから要求があったときに前記負荷分散要求テーブルの情報である分散実行内容にかかる情報を前記ホストコンピュータに送信する機能とを有し、
   前記負荷分散要求テーブルの情報を、前記各コントローラの接続ポートアドレス，負荷分散要求数，要求先ホストバスアダプタのポートアドレス，負荷分散先ホスト接続ポートの候補数，およびそのポートアドレスを含む内容とし、
   前記コントローラが、前記負荷分散が要求されるホストバスアダプタの内、前記負荷分散要求テーブルにかかる情報を送信してから所定の時間内に応答のないものに関する情報を前記負荷分散要求テーブルから削除する機能を備えていることを特徴としたストレージサブシステム。
2. 前記負荷分散要求テーブルは、前記負荷分散が要求されるホストバスアダプタが通常送信する前記Ｉ／Ｏ命令のうち別のホスト接続ポートに送信する前記Ｉ／Ｏ命令の割合を指定する情報を含むことを特徴とした請求項１に記載のストレージサブシステム。
3. 前記負荷分散要求テーブルは、前記負荷分散先のホスト接続ポート毎に、前記別のホスト接続ポートに送信する前記Ｉ／Ｏ命令のうち各々の前記負荷分散先のホスト接続ポートに送信する前記Ｉ／Ｏ命令の割合を指定する情報を含むことを特徴とした請求項２に記載のストレージサブシステム。
4. ストレージサブシステムに対してＩ／Ｏ命令を送信するホストバスアダプタを複数備えたホストコンピュータと、このホストコンピュータからのＩ／Ｏ命令を受信する複数のホスト接続ポートを備えたストレージサブシステムとを有するストレージシステムにおいて、
   前記ストレージサブシステムは、
   前記複数のホスト接続ポートを介して入力されるホストコンピュータからのＩ／Ｏ命令に従って記憶装置に対する書き込みおよび読み出しを実行するコントローラを備えると共に、
   このストレージサブシステムの前記コントローラは、
   前記各ホスト接続ポートについて負荷分散が必要であるか否かを決定する機能と、前記負荷分散が要求される前記ホストバスアダプタを決定する機能と、前記決定された前記負荷分散の必要の有無を示す情報，前記決定されたホストバスアダプタを特定するホストバスアダプタ特定情報，および負荷分散先の前記ホスト接続ポートを特定する情報を含む負荷分散要求テーブルを生成し且つ当該生成されたテーブルの情報を定期的に更新する機能とを有する共に、前記ホストコンピュータから要求があったときに前記負荷分散要求テーブルの情報を前記ホストコンピュータに送信する機能を有し、
   前記負荷分散要求テーブルにおける情報を、前記各コントローラの接続ポートアドレス，負荷分散要求数，要求先ホストバスアダプタのポートアドレス，負荷分散先ホスト接続ポートの候補数，およびそのポートアドレスを含む内容とし、
   前記コントローラは、更に、前記負荷分散が要求されるホストバスアダプタの内、前記負荷分散要求テーブルにかかる情報を送信してから所定の時間内に応答のないものに関する情報を前記負荷分散要求テーブルから削除する機能を有し、
   前記ホストコンピュータは、
   前記負荷分散要求テーブルにかかるテーブル情報の送信を要求する機能とを有すると共に、この要求に応じて前記ストレージサブシステムから送信された前記負荷分散要求テーブルの情報に基づいて複数の前記ホストバスアダプタの間で前記複数のホスト接続ポートに対する負荷分散を実行する負荷分散実行手段を備えたことを特徴とするストレージシステム。
5. ストレージサブシステムに対してＩ／Ｏ命令を送信するホストバスアダプタを複数備えたホストコンピュータと、このホストコンピュータからのＩ／Ｏ命令を受信する複数のホスト接続ポート及びこの複数のホスト接続ポートを介して入力される前記Ｉ／Ｏ命令に従って記憶装置に対する書き込みおよび読み出しを実行するコントローラを備えたストレージサブシステムとを有するストレージシステムにあって、
   前記ストレージサブシステム側では、まず、受信される前記Ｉ／Ｏ命令に対して負荷分散の必要の有無および前記負荷分散が要求される前記ホストバスアダプタを前記コントローラが決定し、
   この決定された前記負荷分散の必要の有無を示す情報，前記決定されたホストバスアダプタを特定するホストバスアダプタ特定情報，及び負荷分散先の前記ホスト接続ポートを特定する情報，を含む負荷分散要求テーブルを、前記コントローラが生成し且つこれを定期的に更新し、
   次に、前記ホストコンピュータでは、前記ストレージサブシステムに対して前記負荷分散要求テーブルにかかるテーブル情報の送信を要求し、これに応じて前記ストレージサブシステムが前記負荷分散要求テーブルにかかるテーブル情報を前記ホストコンピュータに送信し、
   このテーブル情報を受信した前記ホストコンピュータ側では、前記ストレージサブシステムから受信した前記負荷分散要求にかかるテーブル情報に従って複数の前記ホストバスアダプタの間で負荷分散を実行し、
   前記負荷分散要求テーブルにかかる情報を前記ホストコンピュータに送信してから所定の時間内に応答のないものについては、前記コントローラは、その負荷分散が要求されるホストバスアダプタの情報を前記負荷分散要求テーブルから削除するようにしたことを特徴とする負荷分散方法。
6. 前記負荷分散要求テーブルは、前記負荷分散が要求されるホストバスアダプタが通常送信する前記Ｉ／Ｏ命令のうち、別のホスト接続ポートに送信する前記Ｉ／Ｏ命令の割合を指定する情報をも含んだものであることを特徴とした請求項５に記載の負荷分散方法。
7. 前記負荷分散要求テーブルは、前記負荷分散先のホスト接続ポート毎に、前記別のホスト接続ポートに送信する前記Ｉ／Ｏ命令のうち、各々の前記負荷分散先のホスト接続ポートに送信する前記Ｉ／Ｏ命令の割合を指定する情報をも含んだものであることを特徴とした請求項６に記載の負荷分散方法。
8. 複数のホストバスアダプタを備えたホストコンピュータから前記ホストバスアダプタを介してＩ／Ｏ命令を受信する複数のホスト接続ポートと、前記Ｉ／Ｏ命令に従って記憶装置に対する書き込みおよび読み出しを実行するコントローラとを備えたストレージサブシステムにあって、
   前記複数のホスト接続ポートに対する負荷分散の必要の有無および前記負荷分散が要求される前記ホストバスアダプタを決定する処理機能、
   前記決定された前記負荷分散の必要の有無を示す情報，前記決定されたホストバスアダプタを特定するホストバスアダプタ特定情報，及び負荷分散先である前記ホスト接続ポートを特定する情報，を含む前記負荷分散要求テーブルを生成すると共に当該テーブルの情報を定期的に更新する処理機能、
   前記ホストコンピュータから要求があったときに前記負荷分散要求テーブルを前記ホストコンピュータに送信する処理機能、
   および前記負荷分散が要求されるホストバスアダプタの内、前記負荷分散要求テーブルを送信してから所定の時間内に応答のないものに係る情報を前記負荷分散要求テーブルから削除する処理機能、
   をコンピュータに実行させるようにしたことを特徴とする負荷分散プログラム。
9. 前記負荷分散要求テーブルは、前記負荷分散が要求される前記ホストバスアダプタが通常送信する前記Ｉ／Ｏ命令のうち別のホスト接続ポートに送信する前記Ｉ／Ｏ命令の割合を指定する情報をも含んだものであることを特徴とした請求項８に記載の負荷分散プログラム。
10. 前記負荷分散要求テーブルは、前記負荷分散先のホスト接続ポート毎に、前記別のホスト接続ポートに送信する前記Ｉ／Ｏ命令のうち各々の前記負荷分散先のホスト接続ポートに送信する前記Ｉ／Ｏ命令の割合を指定する情報をも含んだものであることを特徴とした請求項９に記載の負荷分散プログラム。

Images