JP4713902B2 - ストレージシステム - Google Patents

Description

本発明は、ストレージシステムのスケーラビリティ及び耐障害性の向上に関する。

現在のデータストレージ市場では、多数のホスト計算機が接続される非常に大規模なストレージシステムが要求される。このように大規模なストレージシステムは、例えば、大企業のデータセンター等で用いられるため、高い性能及び信頼性が要求される。

一方、オープン市場の拡大等によって、大規模なストレージシステムと同等の性能及び信頼性を備える小規模なストレージシステムへの要求も高まっている。

これらの要求に応えるためには、小規模な構成から非常に大規模な構成までを共通のアーキテクチャによってサポートする、スケーラビリティの高いストレージシステムを実現することが望ましい。このため、ホスト計算機への接続を制御する任意の数のホスト接続制御部、及び、ディスクドライブへのデータアクセスを制御する任意の数のドライブ制御部を結合することによって、任意の規模のストレージシステムを実現する各種の構成が提案されている。

集中スイッチ結合は、複数のホスト接続制御部及び複数のドライブ制御部が、一つのスイッチを介して結合された構成である（例えば、特許文献１参照）。

クラスタスイッチ結合は、複数のクラスタが結合された構成である。ここで、クラスタとは、複数のホスト接続制御部及び複数のドライブ制御部が一つのスイッチを介して結合されたものである（例えば、特許文献２参照）。

分散スイッチ結合は、複数のホスト接続制御部及び複数のドライブ制御部が、各制御部に設けられたスイッチを介して結合された構成である（例えば、非特許文献１参照）。
特開２０００−９９２８１号公報 特開２００３−９９２０６号公報 "EMC Symmetrix DMXシリーズ"、［ｏｎｌｉｎｅ］、ＥＭＣジャパン株式会社ホームページ、製品、［平成１７年１月７日検索］、インターネット＜ＵＲＬ：http://japan.emc.com/products/systems/symmetrix/DMX_series/pdf/DMX_series_ds.pdf＞

集中スイッチ結合によれば、構成されるストレージシステムの規模は、スイッチの規模によって制限される。すなわち、大規模なストレージシステムを構成するためには、大規模なスイッチを用いる必要がある。この大規模なスイッチを、小規模なストレージシステムにも使用すれば、小規模なストレージシステムのコストが上昇する。

クラスタスイッチ結合は、集中スイッチ結合において、大規模なスイッチがコストを上昇させる問題を緩和するものである。すなわち、大規模でないスイッチを用いたクラスタが構成され、さらに大規模なスイッチを要するような大規模なシステムは、複数のクラスタどうしを接続することによって実現される。しかし、スイッチのコストの上昇を抑える目的のため、クラスタ間のデータ伝送能力は制限せざるを得ない。このため、データがクラスタを跨って伝送される場合、データがクラスタ内で伝送される場合と比較して、性能が大きく低下する。このように、クラスタスイッチ結合では、データの伝送経路による性能の不均一性が存在する。

分散スイッチ結合によれば、大規模なストレージシステムを構成する場合、スイッチ間の接続が極めて多く複雑になり、配線のコストが増大し、スイッチも大規模になる。

本発明は上記の課題に鑑みてなされたものであり、小規模な構成から非常に大規模な構成まで任意の規模のストレージシステムを、規模に応じた妥当なコストで構成することができ（すなわち、スケーラビリティが高い）、性能の不均一性が少なく、かつ、耐障害性が高いストレージシステムのアーキテクチャ及びその制御方法を提供することを目的とする。

本発明は、ホスト計算機に接続されるストレージシステムにおいて、前記ストレージシステムは、複数のノードと、前記ノードに接続された複数のディスクドライブと、を備え、前記各ノードは、前記ホスト計算機に接続され、前記ホスト計算機と通信するホストインターフェース部と、前記ディスクドライブに接続され、前記ディスクドライブにアクセスするドライブインターフェース部と、前記ホストインターフェース部及び前記ドライブインターフェース部と通信するスイッチと、を備え、前記スイッチが他の四つの前記ノード内の前記スイッチと接続されることによって前記各ノードが二次元の格子状に接続され、前記各ディスクドライブは、異なる前記ノードに備わる二つの前記ドライブインターフェース部に接続され、前記ノードは、二次元のアドレスを有し、少なくとも、行き先の前記ノードの前記アドレス、迂回マーク、逆探索マーク、及び、初期値が０である探索カウントを含むパケットを他の前記ノードとの間で送受信し、前記パケットを受信すると、自ノードの前記アドレスと、前記受信したパケットに含まれる前記行き先のノードのアドレスとを比較し、前記自ノードのアドレスと前記行き先のノードのアドレスとが一致しない場合、前記自ノードから前記行き先のノードまでの間の最短経路上にあり、かつ、前記自ノードに隣接するノードを決定し、前記最短経路上にあり、かつ、前記自ノードに隣接するノードが二つ決定された場合、当該決定された二つのノードの通信量を比較し、当該決定された二つのノードのうち、前記通信量が小さい一方の前記ノードに前記パケットを送信し、当該送信に失敗した場合、当該決定された二つのノードのうち、他方の前記ノードに前記パケットを送信し、前記最短経路上にあり、かつ、前記自ノードに隣接するノードが一つのみ決定された場合、当該決定されたノードに前記パケットを送信し、当該送信に失敗した場合、前記行き先のノードが前記自ノードに隣接するか否かを判定し、前記行き先のノードが前記自ノードに隣接しないと判定された場合、前記迂回マークを有効にすると共に、前記自ノードから前記行き先のノードまでの間の２番目に短い経路上にあり、かつ、前記自ノードに隣接する二つのノードを決定し、前記決定された２番目に短い経路上にあり、かつ、前記自ノードに隣接するノードの通信量を測定し、前記通信量が小さい一方の前記２番目に短い経路上にあり、かつ、前記自ノードに隣接するノードに前記パケットを送信し、当該送信に失敗した場合、他方の前記２番目に短い経路上にあり、かつ、前記自ノードに隣接するノードに前記パケットを送信し、前記迂回マークが有効にされた前記パケットを受信した前記ノードは、当該パケットの前記迂回マークを無効にすると共に、前記受信したノードから前記行き先のノードまでの間の最短経路上にあり、かつ、前記受信したノードに隣接する二つのノードのうち、当該パケットを送信したノード以外のノードに当該パケットを送信し、前記行き先のノードが前記自ノードに隣接すると判定された場合であって、前記逆探索マークが無効である場合、前記探索カウントを１増加すると共に、当該パケットを、前記行き先のノードを周回する第１方向の前記ノードに送信し、前記行き先のノードに隣接しないノードは、前記探索カウントの値が１以上であり、かつ、前記逆探索マークが無効である前記パケットを受信した場合、当該パケットを前記第１方向の前記ノードに送信し、前記第１方向の前記ノードへの前記パケットの送信に失敗した場合、前記逆探索マークを有効とし、前記探索カウントを１に設定し、当該パケットを、前記行き先のノードを前記第１方向の反対方向に周回する第２方向の前記ノードに送信し、前記行き先のノードが前記自ノードに隣接すると判定された場合であって、前記逆探索マークが有効である場合、前記探索カウントを１増加すると共に、当該パケットを前記第２方向の前記ノードに送信し、前記行き先のノードに隣接しないノードは、前記探索カウントの値が１以上であり、かつ、前記逆探索マークが有効である前記パケットを受信した場合、当該パケットを前記第２方向の前記ノードに送信し、前記逆探索マークが有効であるときに前記パケットの送信に失敗した場合、及び、前記探索カウントが８を超えた場合、障害を報告することを特徴とする。

本発明によれば、制限なく、任意の規模のストレージシステムを、規模に応じた妥当なコストで構成することができる。また、本発明によれば、データの伝送経路による性能の不均一性が緩和される。さらに、本発明によれば、データの伝送経路が複数存在するので耐障害性も高い。

以下、本発明の実施の形態を図面を参照して説明する。

図１は、本発明の第１の実施の形態のストレージシステムの構成を示すブロック図である。

本実施の形態のストレージシステムは、複数のストレージ制御部１０及び複数のディスクドライブ１０４によって構成される。

図１には、８個のストレージ制御部１０Ａ〜１０Ｈを示すが、本実施の形態のストレージシステムは、任意の数のストレージ制御部１０を含むことができる。

ストレージ制御部１０は、ホスト計算機（図示省略）、ディスクドライブ１０４及び他のストレージ制御部１０と接続され、ホスト計算機からディスクドライブ１０４へのアクセス要求を受信すると、そのアクセスを実行する。あるストレージ制御部１０が、そのストレージ制御部１０に接続されていないディスクドライブ１０４へのアクセス要求を受信した場合、そのストレージ制御部１０は、そのアクセス要求を他のストレージ制御部１０に転送する。また、あるストレージ制御部１０が、そのストレージ制御部１０に接続されていないホスト計算機への応答を受信した場合、そのストレージ制御部１０は、その応答を他のストレージ制御部１０に転送する。これらの手順については、後で詳細に説明する。

ストレージ制御部１０は、ホスト接続制御部１０１、６ポートスイッチ１０２及びドライブ制御部１０３を備える。

ホスト接続制御部１０１は、ホスト計算機と接続され、それらのホスト計算機との通信を制御する。ホスト接続制御部１０１とホスト計算機との間で使用される通信プロトコルは、例えば、ＳＣＳＩ又はファイバーチャネル（ＦＣ）プロトコルである。あるいは、インターネットプロトコル（ＩＰ）又はｉＳＣＳＩ等のプロトコルが使用されてもよい。ホスト接続制御部１０１の構成については、後で詳細に説明する（図２参照）。

６ポートスイッチ１０２は、ホスト接続制御部１０１、ドライブ制御部１０３及び他のストレージ制御部１０内の６ポートスイッチ１０２と接続され、これらの間の接続を切り替えるスイッチである。６ポートスイッチ１０２は、６個のポート（図示省略）を備え、各ポートが接続線１１０を介してそれぞれ一つのホスト接続制御部１０１、ドライブ制御部１０３又は他の６ポートスイッチ１０２と接続される。

例えば、ストレージ制御部１０Ｂ内の６ポートスイッチ１０２Ｂの各ポートには、それぞれ、接続線１１０Ａ〜１１０Ｆが接続される。

接続線１１０Ａは、ストレージ制御部１０Ａ内の６ポートスイッチ１０２Ａに接続される。

接続線１１０Ｂは、ストレージ制御部１０Ｂ内のホスト接続制御部１０１Ｂに接続される。

接続線１１０Ｃは、図１に示さない他のストレージ制御部１０内の６ポートスイッチ１０２に接続される。

接続線１１０Ｄは、ストレージ制御部１０Ｃ内の６ポートスイッチ１０２Ｃに接続される。

接続線１１０Ｅは、ストレージ制御部１０Ｆ内の６ポートスイッチ１０２Ｆに接続される。

接続線１１０Ｆは、ストレージ制御部１０Ｂ内のドライブ制御部１０３Ｂに接続される。

ドライブ制御部１０３は、ディスクドライブ１０４と接続され、それらのディスクドライブ１０４へのアクセスの実行を制御する。ドライブ制御部１０３とディスクドライブ１０４との間で使用される通信プロトコルは、例えば、ＳＣＳＩ又はファイバーチャネル（ＦＣ）プロトコルである。またはＳＡＴＡ（Serial ATA）やＳＡＳ（Serial Attached SCSI）等のプロトコルでもよい。ドライブ制御部１０３の構成については、後で詳細に説明する（図３参照）。

ディスクドライブ１０４は、ハードディスクドライブである。ドライブ制御部１０３には、図１に示すように、複数のディスクドライブ１０４を接続することができる。これらの複数のディスクドライブ１０４は、データの信頼性向上のためにＲＡＩＤを構成してもよい。また、ディスクドライブ１０４は、ハードディスクドライブ以外の記憶装置（例えば、光磁気ディスク装置又は半導体記憶装置等）によって構成されてもよい。

本実施の形態の各ディスクドライブ１０４は、耐障害性を高めるため、二つのインターフェース（図示省略）を備え、各インターフェースがそれぞれ別のドライブ制御部１０３（例えば、ドライブ制御部１０３Ａ及び１０３Ｂ）に接続される。

図２は、本発明の第１の実施の形態のホスト接続制御部１０１の構成を示すブロック図である。

ホスト接続制御部１０１は、ホストインターフェース（Ｉ／Ｆ）部２０１、プロセッサ２０２、メモリ２０３及びローカル接続スイッチ部２０４によって構成される。

ホストＩ／Ｆ部２０１は、ホスト計算機と接続され、図１において説明した所定のプロトコルによる通信を実行するインターフェースである。各ホスト接続制御部１０１は、任意の個数のホストＩ／Ｆ部２０１を備えることができる。本実施の形態では、各ホスト接続制御部１０１が４個のホストＩ／Ｆ部２０１を備える。

プロセッサ２０２は、メモリ２０３に格納された制御プログラムを実行して、ホスト接続制御部１０１の動作を制御する。具体的には、プロセッサ２０２は、各ホストＩ／Ｆ部２０１によるホスト計算機との通信を制御する。また、ローカル接続スイッチ部２０４を制御して、ホストＩ／Ｆ部２０１と６ポートスイッチ１０２との間の接続を切り替える。

メモリ２０３には、プロセッサ２０２によって実行される制御プログラムが格納される。また、プロセッサ２０２が制御プログラムを実行する際に必要なデータが格納されてもよい。

ローカル接続スイッチ部２０４は、各ホストＩ／Ｆ部２０１、プロセッサ２０２、メモリ２０３及び６ポートスイッチ１０２と接続され、これらの間の接続を切り替えるスイッチである。スイッチ１０２は、ローカル接続スイッチ部２０４を介して各ホストＩ／Ｆ部２０１と通信する。

本実施の形態では、ストレージ制御部１０が６ポートスイッチ１０２を備えるため、ローカル接続スイッチ部２０４は、６ポートスイッチ１０２に接続されるポートを一つ備えればよい。また、ストレージ制御部が１０ポートスイッチを備える場合（本発明第３の実施の形態参照）も、ローカル接続スイッチ部２０４は、１０ポートスイッチに接続されるポートを一つ備えればよい。しかし、ストレージ制御部が８ポートスイッチを備える場合（本発明の第２の実施の形態参照）、ローカル接続スイッチ部２０４は、８ポートスイッチに接続されるポートを二つ備える必要がある。

図３は、本発明の第１の実施の形態のドライブ制御部１０３の構成を示すブロック図である。

ドライブ制御部１０３は、ドライブＩ／Ｆ部３０１、プロセッサ３０２、メモリ３０３及びローカル接続スイッチ部３０４によって構成される。

ドライブＩ／Ｆ部３０１は、ディスクドライブ１０４と接続され、それらのディスクドライブにアクセスするための通信を実行するインターフェースである。この通信には、図１において説明した所定のプロトコルが使用される。各ドライブ制御部１０３は、任意の個数のドライブＩ／Ｆ部３０１を備えることができる。本実施の形態では、各ドライブ制御部１０３が４個のドライブＩ／Ｆ部３０１を備える。

プロセッサ３０２は、メモリ３０３に格納された制御プログラムを実行して、ドライブ制御部１０３の動作を制御する。具体的には、プロセッサ３０２は、各ドライブＩ／Ｆ部３０１によるディスクドライブ１０４との通信を制御する。また、ローカル接続スイッチ部３０４を制御して、ドライブＩ／Ｆ部３０１と６ポートスイッチ１０２との間の接続を切り替える。

メモリ３０３には、プロセッサ３０２によって実行される制御プログラムが格納される。また、プロセッサ３０２が制御プログラムを実行する際に必要なデータが格納されてもよい。

ローカル接続スイッチ部３０４は、各ドライブＩ／Ｆ部３０１、プロセッサ３０２、メモリ３０３及び６ポートスイッチ１０２と接続され、これらの間の接続を切り替えるスイッチである。スイッチ１０２は、ローカル接続スイッチ部３０４を介して各ドライブＩ／Ｆ部３０１と通信する。

本実施の形態では、ストレージ制御部１０が６ポートスイッチ１０２を備えるため、ローカル接続スイッチ部３０４は、６ポートスイッチ１０２に接続されるポートを一つ備えればよい。また、ストレージ制御部が１０ポートスイッチを備える場合（本発明第３の実施の形態参照）も、ローカル接続スイッチ部３０４は、１０ポートスイッチに接続されるポートを一つ備えればよい。しかし、ストレージ制御部が８ポートスイッチを備える場合（本発明の第２の実施の形態参照）、ローカル接続スイッチ部３０４は、８ポートスイッチに接続されるポートを二つ備える必要がある。

次に、本実施の形態において、ホスト計算機からディスクドライブ１０４へのアクセス及びそれに対する応答が伝送される経路を決定するアルゴリズム（ルーティングアルゴリズム）を、図を参照して説明する。

図４は、本発明の第１の実施の形態のストレージシステムの接続の説明図である。

図４は、図１のストレージ制御部１０が、接続線１１０によって二次元の格子状に接続された状態を示す。本実施の形態では、一つのノード４０（ストレージノード）が一つのストレージ制御部１０に相当する。また、一つのリンク４１が一つの接続線１１０に相当する。ホスト計算機及びディスクドライブ１０４については、図示を省略する。また、ストレージ制御部１０内の構成についても、図示を省略する。

図４の各ノード４０に表示された値（０、０）等は、各ノード４０の二次元のアドレス（座標）である。二次元の格子状に配置された各ノード４０は、二次元のアドレスによって識別される。図４において、あるノード４０のアドレスを（ｘ、ｙ）とすると、ｘの値は、その左側に隣接するノード４０のｘの値より１だけ大きい。また、あるノード４０のｙの値は、その下側に隣接するノード４０のｙの値より１だけ大きい。以下の説明において、各ノード４０をアドレスによって識別する必要がある場合は、ノード４０（０、０）のようにアドレスを付けて表示する。図４には、ノード４０（０、０）からノード４０（２、２）まで、９個のノード４０を示す。しかし、本実施の形態のストレージシステムは、任意の数のノード４０をふくむことができる。

例えば、図４のノード４０（１、１）がストレージ制御部１０Ｂである場合、リンク４１Ａ、４１Ｂ、４１Ｃ及び４１Ｄは、それぞれ、接続線１１０Ａ、１１０Ｃ、１１０Ｄ及び１１０Ｅである。

なお、以下の説明では、便宜上、二次元の格子状に配置されたノード４０の横方向の並びを「行」、縦方向の並びを「列」と記載する。例えば、図４において、ノード４０（０、１）、（１、１）及び（２、１）は、一つの行を構成し、ノード４０（０、０）、（０、１）及び（０、２）は、一つの列を構成する。

また、便宜上、ｘの値が大きくなる方向を「右側」、ｘの値が小さくなる方向を「左側」、ｙの値が大きくなる方向を「上側」、ｙの値が小さくなる方向を「下側」と記載する。例えば、ノード４０（１、０）はノード４０（０、０）の右側にあり、ノード４０（０、１）はノード４０（０、２）の下側にある。

図５は、本発明の第１の実施の形態のストレージシステムにおいて使用されるパケットの説明図である。

本実施の形態において、アクセス要求（読み出し要求又は書き込み要求）及び応答は、パケット５０として、ノード４０によってリンク４１を介して送受信される。

図５Ａ及び図５Ｂは、アクセス要求（読み出し要求及び書き込み要求）のパケット５０の説明図であり、図５Ｃ及び図５Ｄは、応答のパケット５０の説明図である。

図５Ａは、読み出し要求のパケット５０の説明図である。

読み出し要求のパケット５０は、行き先アドレス５０１、迂回マーク５０２、逆探索マーク５０３、探索カウント５０４、要求種別５０５、タグ５０６、返送アドレス５０７、ボリューム番号５０８、ブロックアドレス５０９及びデータ長５１０の領域を含む。

行き先アドレス５０１は、パケット５０の行き先のノード４０の二次元のアドレス（ａ、ｂ）である。具体的には、読み出し要求の対象のデータが格納されたディスクドライブ１０４が接続されたノード４０のアドレスである。

迂回マーク５０２は、迂回が実行されているか否かを示すフラグである。迂回とは、障害が発生したノード４０又はリンク４１を避けるようにパケット５０を送信する処理である。迂回については、後で詳細に説明する。

迂回マーク５０２の値は、迂回が実行されているときに「有効」、迂回が実行されていないときに「無効」となる。例えば、迂回マーク５０２が１ビットの領域であり、その値「１」が「有効」に、値「０」が「無効」に対応してもよい。以下の説明において、迂回マーク５０２を「有効」にすることを、「迂回マークを付与する」と記載する。また、迂回マーク５０２を「無効」にすることを、「迂回マークを消去する」と記載する。

逆探索マーク５０３は、実行されている探索の方向を示すフラグである。探索とは、行き先のノード４０に至るリンク４１に障害が発生した場合に、行き先のノード４０に至る他のリンク４１を介してパケット５０の送信を試みる処理である。探索については、後で詳細に説明する。

逆探索マーク５０３の値は、時計回りの探索が実行されているときに「有効」、反時計回りの探索が実行されているときに「無効」となる。例えば、逆探索マーク５０３が１ビットの領域であり、その値「１」が「有効」に、値「０」が「無効」に対応してもよい。以下の説明において、逆探索マーク５０３を「有効」にすることを、「逆探索マークを付与する」と記載する。また、逆探索マーク５０３を「無効」にすることを、「逆探索マークを消去する」と記載する。

探索カウント５０４は、探索が開始されてからパケット５０が送信された回数を示す。探索が開始されていないとき、探索カウント５０４の値は「０」となる。探索カウント５０４の値が「８」より大きくなってもなおパケット５０が行き先のノード４０に到達していない場合、行き先のノード４０又はそこに至る全てのリンク４１に障害が発生している。

要求種別５０５は、パケット５０が読み出し要求又は書き込み要求のいずれであるかを示す。パケット５０が読み出し要求である場合、要求種別５０５は、読み出し要求を示す値となる。

タグ５０６は、パケット５０に関するアクセス要求を発行したホスト計算機のアクセス要求を識別する一意の識別子である。読み出し要求のパケット５０において、タグ５０６は、読み出し要求を発行したホスト計算機の読出し要求を識別する一意の識別子である。

返送アドレス５０７は、アクセス要求のパケット５０に対する応答のパケット５０の返送先のノード４０の二次元のアドレス（ｃ、ｄ）である。読み出し要求のパケット５０において、返送アドレス５０７は、読み出し要求を発行したホスト計算機が接続されたノード４０のアドレスである。

ボリューム番号５０８は、アクセス要求の対象のデータが格納されたディスクドライブ１０４の番号である。ボリューム番号５０８は、アクセス要求の対象のデータが格納された論理ボリュームの番号であってもよい。論理ボリュームとは、ホスト計算機によって論理的な一つのディスクドライブとして認識される記憶領域である。読み出し要求のパケット５０において、ボリューム番号５０８は、読み出し要求の対象のデータが格納されたディスクドライブ１０４の番号又は論理ボリュームの番号である。

ブロックアドレス５０９は、アクセス要求の対象のデータが格納されたディスクドライブ１０４上または論理ボリューム内の記憶領域（例えば、論理ブロック）を示すアドレスである。読み出し要求のパケット５０において、ブロックアドレス５０９は、読み出し要求の対象のデータが格納されたディスクドライブ１０４上または論理ボリューム内の論理ブロックのアドレスである。

データ長５１０は、アクセス要求の対象のデータの長さ（サイズ）である。例えば論理ブロックの数で示してもよい。読み出し要求のパケット５０において、データ長５１０は、読み出し要求の対象のデータの長さである。

図５Ｂは、書き込み要求のパケット５０の説明図である。

書き込み要求のパケット５０は、行き先アドレス５０１、迂回マーク５０２、逆探索マーク５０３、探索カウント５０４、要求種別５０５、タグ５０６、返送アドレス５０７、ボリューム番号５０８、ブロックアドレス５０９、データ長５１０及び書き込みデータ５１１の領域を含む。以下、書き込み要求のパケット５０の各領域について説明する。ただし、読み出し要求のパケット５０と同様の部分については、説明を省略する。

行き先アドレス５０１は、書き込み要求の対象のデータが格納されるディスクドライブ１０４が接続されたノード４０の二次元のアドレスである。

要求種別５０５は、パケット５０が書き込み要求のパケット５０であることを示す。

タグ５０６は、書き込み要求を発行したホスト計算機の書き込み要求を識別する一意の識別子である。

返送アドレス５０７は、書き込み要求を発行したホスト計算機が接続されたノード４０のアドレスである。

ボリューム番号５０８は、書き込み要求の対象のデータが格納されるディスクドライブ１０４の番号又は論理ボリュームの番号である。

ブロックアドレス５０９は、書き込み要求の対象のデータが格納されるディスクドライブ１０４の番号上または論理ボリューム内の論理ブロックのアドレスである。

データ長５１０は、書き込み要求の対象のデータの長さである。

書き込みデータ５１１は、書き込み要求の対象のデータ、すなわち、書き込み要求によって書き込まれるデータである。

図５Ｃは、読み出し応答のパケット５０の説明図である。

読み出し応答のパケット５０は、要求された読み出しを実行したノード４０（すなわち、読み出し要求の対象のデータをディスクドライブ１０４から読み出したノード４０）によって作成され、要求元のノード４０に返送される。

読み出し応答のパケット５０は、行き先アドレス５０１、迂回マーク５０２、逆探索マーク５０３、探索カウント５０４、応答種別５１２、タグ５０６、アクセス結果５１３、データ長５１０及び読み出しデータ５１４の領域を含む。以下、読み出し応答のパケット５０の各領域について説明する。ただし、アクセス要求のパケット５０と同様の部分については、説明を省略する。

行き先アドレス５０１は、読み出し応答のパケット５０に対応する読み出し要求を発行したホスト計算機が接続されたノード４０の二次元のアドレスである。具体的には、行き先アドレス５０１の値は、対応する読み出し要求のパケット５０の返送アドレス５０７の値と同じである。

応答種別５１２は、応答のパケット５０が読み出し応答のパケット５０であるか書き込み応答のパケット５０であるかを示す。

タグ５０６は、応答の返送先のホスト計算機の読出し要求を識別する一意の識別子である。具体的には、タグ５０６の値は、読み出し応答のパケット５０に対応する読み出し要求のパケット５０のタグ５０６の値と同じである。

アクセス結果５１３は、要求されたアクセスが成功したか否かを示す。アクセスが失敗した場合、アクセス結果５１３は、失敗の状態（エラーの種類）に関する情報を含んでもよい。

読み出しデータ５１４は、読み出し要求によって読み出されたデータである。

図５Ｄは、書き込み応答のパケット５０の説明図である。

書き込み応答のパケット５０は、要求された書き込みを実行したノード４０（すなわち、書き込み要求の対象のデータをディスクドライブ１０４に書き込んだノード４０）によって作成され、要求元のノード４０に返送される。

書き込み応答のパケット５０は、行き先アドレス５０１、迂回マーク５０２、逆探索マーク５０３、探索カウント５０４、応答種別５１２、タグ５０６及びアクセス結果５１３の領域を含む。以下、書き込み応答のパケット５０の各領域について説明する。ただし、読み出し応答のパケット５０と同様の部分については、説明を省略する。

行き先アドレス５０１は、書き込み応答のパケット５０に対応する書き込み要求を発行したホスト計算機が接続されたノード４０の二次元のアドレスである。具体的には、行き先アドレス５０１の値は、対応する書き込み要求のパケット５０の返送アドレス５０７の値と同じである。

タグ５０６は、応答の返送先のホスト計算機の書き込み要求を識別する一意の識別子である。具体的には、タグ５０６の値は、書き込み応答のパケット５０に対応する書き込み要求のパケット５０のタグ５０６の値と同じである。

図６は、本発明の第１の実施の形態の基本的なルーティングアルゴリズムのフローチャートである。

図６のフローチャートは、ノード４０が自ノードと接続するホスト計算機からいずれかのディスクドライブ１０４内のデータへのアクセス要求を受信したとき（６０１）、ノード４０が隣接する他のノード４０からいずれかのディスクドライブ１０４内のデータへのアクセス要求を受信したとき（６０５）、又は、ノード４０が隣接する他のノード４０からいずれかのホスト計算機への応答を受信したとき（６０５）、それらの要求又は応答を受信したノード４０によって実行される処理の手順である。この処理は、ノード４０及びリンク４１に障害が発生していないことを前提とする。

なお、この処理は、ノード４０（すなわち、ストレージ制御部１０）内のプロセッサによって実行される。具体的には、ホスト接続制御部１０１のプロセッサ２０１、ドライブ制御部１０３のプロセッサ３０２、６ポートスイッチ１０２のプロセッサ（図示省略）又は他のプロセッサ（図示省略）のいずれによって実行されてもよい。また、ノード４０間のパケット５０の送受信は、各ノード内の６ポートスイッチ１０２によって実行される。

ノード４０は、自ノードと接続するホスト計算機からいずれかのディスクドライブ１０４内のデータへのアクセス（書き込み又は読み出し）要求を受信すると、図６の処理を開始する（６０１）。この処理が開始すると、ノード４０は、アクセス要求の行き先のノード４０（すなわち、アクセス要求の対象のデータが格納されている（又は、そのデータが書き込まれる）ディスクドライブ１０４に接続されたノード４０）を特定し、そのノード４０のアドレス（ａ、ｂ）をアクセス要求に付与する（６０２）。具体的には、そのアクセス要求のパケット５０の行き先アドレス５０１をアドレス（ａ、ｂ）とする。

次に、ノード４０は、自ノード４０（すなわち、図６の処理を実行しているノード４０自身）のアドレス（Ａ、Ｂ）を取得し、そのアドレス（Ａ、Ｂ）を、応答の返送先として、アクセス要求に付与する（６０３）。具体的には、アクセス要求のパケット５０の返送アドレス５０７をアドレス（Ａ、Ｂ）とする。

次に、応答を返答するために要求元のホスト計算機を記録する（６０４）。具体的には、アクセス要求のパケット５０のタグ５０６を、要求元のホスト計算機のアクセス要求を一意に識別する値とする。

次に、ステップ６０８に進む。

一方、ノード４０は、隣接する他のノード４０からいずれかのディスクドライブ１０４内のデータへのアクセス要求を受信したとき、又は、隣接する他のノード４０からいずれかのホスト計算機への応答を受信したときにも、図６の処理を開始する（６０５）。この処理が開始されると、ノード４０は、受信した要求又は応答の行き先のノード４０のアドレス（ａ、ｂ）を取得する（６０６）。具体的には、受信した要求又は応答のパケット５０の行き先アドレス５０１を参照して、その値を取得する。

次に、ノード４０は、自ノード４０のアドレス（Ａ、Ｂ）を取得する（６０７）。

次に、ステップ６０８に進む。

ステップ６０８において、ノード４０は、行き先のノード４０のアドレス（ａ、ｂ）と、自ノード４０のアドレス（Ａ、Ｂ）とを比較する。具体的には、Ａ＝ａかつＢ＝ｂであるか否かを判定する。

ステップ６０８において、Ａ＝ａかつＢ＝ｂでない（すなわち、Ａ＝ａでないか、又は、Ｂ＝ｂでない）と判定された場合、自ノード４０は、行き先のノード４０ではない。このため、受信した要求又は応答の送信先を決定するために、図７のステップ７０１に進む（１）。

一方、ステップ６０８において、Ａ＝ａかつＢ＝ｂであると判定された場合、自ノード４０は、行き先のノード４０である。

このため、次に、ノード４０は、応答を受信したか、要求を受信したかを判定する（６０９）。具体的には、ノード４０が、ホスト計算機又は隣接する他のノード４０からディスクドライブ１０４内のデータへのアクセス要求を受信した場合（６０１、６０５）、ステップ６０９において、ノード４０が要求を受信したと判定される。一方、ノード４０が隣接する他のノード４０からホスト計算機への応答を受信した場合（６０５）、ステップ６０９において、ノード４０が応答を受信したと判定される。

ステップ６０９において、ノード４０が応答を受信したと判定された場合、応答の返送先のホスト計算機が自ノード４０に接続されている。このため、ノード４０は、自ノード４０に接続されたホスト計算機から、応答の返送先のホスト計算機を特定する（６１４）。具体的には、応答のパケット５０のタグ５０６の値を参照して、その値に対応するホスト計算機を特定する。

次に、ノード４０は、特定されたホスト計算機に応答を返送して（６１５）、処理を終了する（６１６）。

一方、ステップ６０９において、ノード４０が要求を受信したと判定された場合、受信したアクセス要求の対象のデータは、自ノード４０に接続されたディスクドライブ１０４に含まれる。このため、ノード４０は、受信したアクセス要求に従って、自ノード４０に接続されたディスクドライブ１０４にアクセスする（６１０）。

次に、ノード４０は、実行したアクセス結果にしたがって、応答のパケット５０を作成する（６１１）。

次に、ノード４０は、作成した応答のパケット５０の返送先のノード４０を特定し、そのノード４０のアドレスを新たな行き先のノード４０のアドレス（ａ、ｂ）として、応答のパケット５０に付与する（６１２）。具体的には、実行したアクセスに関するアクセス要求のパケット５０の返送アドレス５０７の値を参照する。そして、その返送アドレス５０７の値を、作成した応答のパケット５０の行き先アドレス５０１として付与する。このとき、同様にして、アクセス要求のパケット５０のタグ５０６の値を、応答のパケット５０のタグ５０６として付与する。

次に、ノード４０は、作成した応答の行き先のノード４０のアドレス（ａ、ｂ）と、自ノード４０のアドレス（Ａ、Ｂ）とを比較する。具体的には、Ａ＝ａかつＢ＝ｂであるか否かを判定する（６１３）。

ステップ６１３において、Ａ＝ａかつＢ＝ｂでないと判定された場合、自ノード４０は、応答の行き先のノード４０ではない。このため、当該応答の送信先を決定するために、図７のステップ７０１に進む（１）。

一方、ステップ６１３において、Ａ＝ａかつＢ＝ｂであると判定された場合、自ノード４０は、応答の行き先のノード４０である。このため、次に、ステップ６１４に進む。

ステップ６１４以降の処理は、既に説明した通りである。

図７は、本発明の第１の実施の形態の基本的なルーティングアルゴリズムにおいて、自ノード４０が行き先のノード４０でない場合に実行される処理のフローチャートである。

図６のステップ６０８又はステップ６１３において、Ａ＝ａかつＢ＝ｂでないと判定された場合（１）、ノード４０は、Ａ＝ａであるか否かを判定する（７０１）。

Ａ＝ａ又はＢ＝ｂのいずれかを満たす場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）と同じ列又は同じ行にある。この場合、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る最短経路は、一つのみ存在する。

ステップ７０１において、Ａ＝ａであると判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）と同じ列にある。このため、ノード４０は、Ｂ＜ｂであるか否かを判定する（７０２）。

ステップ７０２において、Ｂ＜ｂであると判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の上側にある。このとき、自ノード４０の上側に隣接するノード４０（Ａ、Ｂ＋１）は、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る最短経路上にある。すなわち、要求又は応答を自ノード４０の上側に隣接するノード４０（Ａ、Ｂ＋１）に送信すれば、その要求又は応答は、行き先のノード４０に最も近づく。そこで、ノード４０は、要求又は応答を隣接するノード４０（Ａ、Ｂ＋１）に送信する（７０３）。そして、処理を終了する（７０４）。

一方、ステップ７０２において、Ｂ＜ｂでないと判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の下側にある。このとき、自ノード４０の下側に隣接するノード４０（Ａ、Ｂ−１）は、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る最短経路上にある。すなわち、要求又は応答を自ノード４０の下側に隣接するノード４０（Ａ、Ｂ−１）に送信すれば、その要求又は応答は、行き先のノード４０に最も近づく。そこで、ノード４０は、要求又は応答を隣接するノード４０（Ａ、Ｂ−１）に送信する（７０５）。そして、処理を終了する（７０６）。

ステップ７０１において、Ａ＝ａでないと判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）と同じ列にない。このため、ノード４０は、Ｂ＝ｂであるか否かを判定する（７０７）。

ステップ７０７において、Ｂ＝ｂであると判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）と同じ行にある。このため、ノード４０は、Ａ＜ａであるか否かを判定する（７０８）。

ステップ７０８において、Ａ＜ａであると判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の右側にある。このとき、自ノード４０の右側に隣接するノード４０（Ａ＋１、Ｂ）は、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る最短経路上にある。すなわち、要求又は応答を自ノード４０の右側に隣接するノード４０（Ａ＋１、Ｂ）に送信すれば、その要求又は応答は、行き先のノード４０に最も近づく。そこで、ノード４０は、要求又は応答を隣接するノード４０（Ａ＋１、Ｂ）に送信する（７０９）。そして、処理を終了する（７１０）。

一方、ステップ７０８において、Ａ＜ａでないと判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の左側にある。このとき、自ノード４０の左側に隣接するノード４０（Ａ−１、Ｂ）は、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る最短経路上にある。すなわち、要求又は応答を自ノード４０の左側に隣接するノード４０（Ａ−１、Ｂ）に送信すれば、その要求又は応答は、行き先のノード４０に最も近づく。そこで、ノード４０は、要求又は応答を隣接するノード４０（Ａ−１、Ｂ）に送信する（７１１）。そして、処理を終了する（７１２）。

ステップ７０７において、Ｂ＝ｂでないと判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）と同じ行又は同じ列のいずれにもない。このとき、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る最短経路は、二つ存在する。この場合、ノード４０は、Ａ＜ａであるか否かを判定する（７１３）。

ステップ７１３において、Ａ＜ａであると判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の右側（右上側又は右下側）にある。すなわち、右側に隣接するノード４０（Ａ＋１、Ｂ）は、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る二つの最短経路の一方の上にある。このため、ノード４０は、右側に隣接するノード４０（Ａ＋１、Ｂ）との間の通信量αを測定する（７１４）。

次に、ノード４０は、Ｂ＜ｂであるか否かを判定する（７１５）。

ステップ７１５において、Ｂ＜ｂであると判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の上側（右上側又は左上側）にある。すなわち、上側に隣接するノード４０（Ａ、Ｂ＋１）は、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る二つの最短経路のもう一方の上にある。このため、ノード４０は、上側に隣接するノード４０（Ａ、Ｂ＋１）との間の通信量γを測定する（７１６）。

このとき、ステップ７１３及び７１５の判定の結果を合わせると、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の右上側にある。

このとき、要求又は応答を自ノード４０の右側に隣接するノード４０（Ａ＋１、Ｂ）又は上側に隣接するノード４０（Ａ、Ｂ＋１）のいずれに送信しても、その要求又は応答は、行き先のノード４０に最も近づく。したがって、ノード４０は、要求又は応答を右側に隣接するノード４０又は上側に隣接するノード４０のいずれに送信してもよい。

しかし、上記の測定された通信量α及びγに差がある場合、通信量が少ない方のノード４０に送信した方が、データ伝送速度が向上する。このため、ノード４０は、通信量を比較して、通信量が少ない方のノード４０を送信先として選択する。

なお、行き先のノード４０が自ノード４０の右下側、左上側又は左下側にある場合も、同様にして、通信量の少ない方のノード４０が送信先として選択される。

ノード４０は、通信量α＜通信量γであるか否かを判定する（７１７）。

ステップ７１７において、α＜γであると判定された場合、ノード４０は、要求又は応答を、右側に隣接するノード４０（Ａ＋１、Ｂ）に送信する（７１８）。そして、処理を終了する（７１９）。

一方、ステップ７１７において、α＜γでない（すなわち、γがα以下である）と判定された場合、ノード４０は、要求又は応答を、上側に隣接するノード４０（Ａ、Ｂ＋１）に送信する（７２０）。そして、処理を終了する（７２１）。

ステップ７１５において、Ｂ＜ｂでないと判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の下側（右下側又は左下側）にある。すなわち、下側に隣接するノード４０（Ａ、Ｂ−１）は、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る二つの最短経路のもう一方の上にある。このため、ノード４０は、下側に隣接するノード４０（Ａ、Ｂ−１）との間の通信量δを測定する（７２２）。

このとき、ステップ７１３及び７１５の判定の結果を合わせると、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の右下側にある。

このため、ノード４０は、通信量α＜通信量δであるか否かを判定する（７２３）。

ステップ７２３において、α＜δであると判定された場合、ノード４０は、要求又は応答を、右側に隣接するノード４０（Ａ＋１、Ｂ）に送信する（７１８）。そして、処理を終了する（７１９）。

一方、ステップ７２３において、α＜δでない（すなわち、δがα以下である）と判定された場合、ノード４０は、要求又は応答を、下側に隣接するノード４０（Ａ、Ｂ−１）に送信する（７２４）。そして、処理を終了する（７２５）。

ステップ７１３において、Ａ＜ａでないと判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の左側（左上側又は左下側）にある。すなわち、左側に隣接するノード４０（Ａ−１、Ｂ）は、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る二つの最短経路の一方の上にある。このため、ノード４０は、左側に隣接するノード４０（Ａ−１、Ｂ）との間の通信量βを測定する（７２６）。

次に、ノード４０は、Ｂ＜ｂであるか否かを判定する（７２７）。

ステップ７２７において、Ｂ＜ｂであると判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の上側（右上側又は左上側）にある。すなわち、上側に隣接するノード４０（Ａ、Ｂ＋１）は、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る二つの最短経路のもう一方の上にある。このため、ノード４０は、上側に隣接するノード４０（Ａ、Ｂ＋１）との間の通信量γを測定する（７２８）。

このとき、ステップ７１３及び７２７の判定の結果を合わせると、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の左上側にある。

このため、ノード４０は、通信量β＜通信量γであるか否かを判定する（７２９）。

ステップ７２９において、β＜γであると判定された場合、ノード４０は、要求又は応答を、左側に隣接するノード４０（Ａ−１、Ｂ）に送信する（７３０）。そして、処理を終了する（７３１）。

一方、ステップ７２９において、β＜γでない（すなわち、γがβ以下である）と判定された場合、ノード４０は、要求又は応答を、上側に隣接するノード４０（Ａ、Ｂ＋１）に送信する（７２０）。そして、処理を終了する（７２１）。

ステップ７２７において、Ｂ＜ｂでないと判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の下側（右下側又は左下側）にある。すなわち、下側に隣接するノード４０（Ａ、Ｂ−１）は、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る二つの最短経路のもう一方の上にある。このため、ノード４０は、下側に隣接するノード４０（Ａ、Ｂ−１）との間の通信量δを測定する（７３２）。

このとき、ステップ７１３及び７２７の判定の結果を合わせると、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の左下側にある。

このため、ノード４０は、通信量β＜通信量δであるか否かを判定する（７３３）。

ステップ７３３において、β＜δであると判定された場合、ノード４０は、要求又は応答を、左側に隣接するノード４０（Ａ−１、Ｂ）に送信する（７３０）。そして、処理を終了する（７３１）。

一方、ステップ７３３において、β＜δでない（すなわち、δがβ以下である）と判定された場合、ノード４０は、要求又は応答を、下側に隣接するノード４０（Ａ、Ｂ−１）に送信する（７２４）。そして、処理を終了する（７２５）。

なお、ステップ７０３、７０５、７０９、７１１、７１８、７２０、７２４又は７３０において要求又は応答が送信されたとき、その要求又は応答を受信したノード４０は、ステップ６０５から図６の処理を開始する。

次に、図６及び図７に示したルーティングアルゴリズムを適用した例を、図８及び図９を参照して説明する。

図８は、本発明の第１の実施の形態の基本的なルーティングアルゴリズムの適用例の説明図である。

図８は、行き先のノード４０（ａ、ｂ）が、自ノード４０（Ａ、Ｂ）と同じ行の右側にある場合を示す。

この場合、ステップ６０８において、Ａ＝ａかつＢ＝ｂでない（すなわち、Ａ＝ａでないか、又は、Ｂ＝ｂでない）と判定される。

ステップ７０１では、Ａ＝ａでないと判定される。

ステップ７０７では、Ｂ＝ｂであると判定される。

ステップ７０８では、Ａ＜ａであると判定される。

このとき、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る最短経路は、一つのみ存在する。そして、自ノード４０（Ａ、Ｂ）の右側に隣接するノード４０（Ａ＋１、Ｂ）は、その最短経路上にある。

このため、ノード４０（Ａ、Ｂ）は、右側に隣接するノード４０（Ａ＋１、Ｂ）に要求又は応答を送信する（７０９）。そして、処理を終了する（７１０）。

図９は、本発明の第１の実施の形態の基本的なルーティングアルゴリズムの別の適用例の説明図である。

図９は、行き先のノード４０（ａ、ｂ）が、自ノード４０（Ａ、Ｂ）の右上側にある場合を示す。

この場合、ステップ６０８において、Ａ＝ａかつＢ＝ｂでない（すなわち、Ａ＝ａでないか、又は、Ｂ＝ｂでない）と判定される。

ステップ７０１では、Ａ＝ａでないと判定される。

ステップ７０７では、Ｂ＝ｂでないと判定される。

ステップ７１３では、Ａ＜ａであると判定される。このため、右側に隣接するノード４０（Ａ＋１、Ｂ）との間の通信量αが計測される（７１４）。

ステップ７１５では、Ｂ＜ｂであると判定される。このため、上側に隣接するノード４０（Ａ、Ｂ＋１）との間の通信量γが計測される（７１６）。

このとき、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る最短経路は、二つ存在する。そして、自ノード４０（Ａ、Ｂ）の右側に隣接するノード４０（Ａ＋１、Ｂ）及び上側に隣接するノード４０（Ａ、Ｂ＋１）は、それぞれ、二つの最短経路上にある。

ステップ７１７では、α＜γであるか否かが判定される。図９の例では、α＜γであると仮定する。したがって、ステップ７１７では、α＜γであると判定される。

このため、ノード４０（Ａ、Ｂ）は、右側に隣接するノード４０（Ａ＋１、Ｂ）に要求又は応答を送信する（７１８）。そして、処理を終了する（７１９）。

次に、ノード４０又はリンク４１の障害を考慮したルーティングアルゴリズムについて、図１０〜図１８を参照して説明する。

図１０は、本発明の第１の実施の形態の障害を考慮したルーティングアルゴリズムのフローチャートである。

図１０のフローチャートに示す処理は、図６及び図７の処理と同様に、ノード４０が自ノードに接続するホスト計算機からいずれかのディスクドライブ１０４内のデータへのアクセス要求を受信したとき（１００１）、ノード４０が隣接する他のノード４０からいずれかのディスクドライブ１０４内のデータへのアクセス要求を受信したとき（１００５）、又は、ノード４０が隣接する他のノード４０からいずれかのホスト計算機への応答を受信したとき（１００５）、それらの要求又は応答を受信したノード４０によって実行される。

なお、この処理は、図６及び図７の処理と同様、ノード４０（すなわち、ストレージ制御部１０）内のプロセッサによって実行される。具体的には、ホスト接続制御部１０１のプロセッサ２０１、ドライブ制御部１０３のプロセッサ３０２、６ポートスイッチ１０２のプロセッサ（図示省略）又はその他のプロセッサ（図示省略）のいずれによって実行されてもよい。また、ノード４０間のパケット５０の送受信は、各ノード内の６ポートスイッチ１０２によって実行される。

図１０以降の説明において、本実施の形態の基本的なルーティングアルゴリズム（図６〜図９）と同様の部分については、詳細な説明を省略する。

ノード４０は、ホスト計算機からディスクドライブ１０４内のデータへのアクセス（書き込み又は読み出し）要求を受信すると、図１０の処理を開始する（１００１）。この処理が開始すると、ノード４０は、アクセス要求の行き先のノード４０（すなわち、アクセス要求の対象のデータが格納されている（又は、そのデータが書き込まれる）ディスクドライブ１０４に接続されたノード４０）を特定し、そのノード４０のアドレス（ａ、ｂ）をアクセス要求に付与する（１００２）。具体的には、そのアクセス要求のパケット５０の行き先アドレス５０１をアドレス（ａ、ｂ）とする。

次に、ノード４０は、自ノード４０（すなわち、図１０の処理を実行しているノード４０自身）のアドレス（Ａ、Ｂ）を取得し、そのアドレス（Ａ、Ｂ）を、応答の返送先として、アクセス要求に付与する（１００３）。具体的には、アクセス要求のパケット５０の返送アドレス５０７をアドレス（Ａ、Ｂ）とする。

次に、応答を返答するために要求元のホスト計算機を記録する（１００４）。具体的には、アクセス要求のパケット５０のタグ５０６の値を、要求元のホスト計算機のアクセス要求を一意に識別する値とする。

次に、ステップ１００９に進む。

一方、ノード４０は、隣接する他のノード４０からいずれかのディスクドライブ１０４内のデータへのアクセス要求を受信したとき、又は、隣接する他のノード４０からいずれかのホスト計算機への応答を受信したときにも、図１０の処理を開始する（１００５）。

この処理が開始されると、ノード４０は、受信した要求又は応答の送信元の隣接ノード４０のアドレス（Ｃ、Ｄ）を記録する（１００６）。アドレス（Ｃ、Ｄ）は、メモリ２０３、メモリ３０３又はその他のメモリに記録されてもよい。

次に、ノード４０は、受信した要求又は応答の行き先のノード４０のアドレス（ａ、ｂ）を取得する（１００７）。具体的には、受信した要求又は応答のパケット５０の行き先アドレス５０１を参照して、その値を取得する。

次に、ノード４０は、自ノード４０のアドレス（Ａ、Ｂ）を取得する（１００８）。

次に、ステップ１００９に進む。

ステップ１００９において、ノード４０は、行き先のノード４０のアドレス（ａ、ｂ）と、自ノード４０のアドレス（Ａ、Ｂ）とを比較する。具体的には、Ａ＝ａかつＢ＝ｂであるか否かを判定する。

ステップ１００９において、Ａ＝ａかつＢ＝ｂでない（すなわち、Ａ＝ａでないか、又は、Ｂ＝ｂでない）と判定された場合、自ノード４０は、行き先のノード４０ではない。このため、ノード４０は、受信した要求又は応答に迂回マーク５０２が付与されているか否かを判定する（１０１０）。具体的には、受信した要求又は応答のパケット５０を参照し、迂回マーク５０２が付与されているか否か（すなわち、迂回マーク５０２の値が有効であるか否か）を判定する。ノード４０又はリンク４１に発生した障害のため、要求又は応答のパケット５０の送信に失敗したとき、その障害を迂回するようにパケット５０が再送信される。このとき、再送信されたパケット５０に迂回マーク５０２が付与される。迂回マーク５０２が付与された場合の処理については、後で詳細に説明する。

ステップ１０１０において、受信した要求又は応答に迂回マーク５０２が付与されていると判定された場合、当該要求又は応答は、障害を迂回するように送信されている。ノード４０は、このような要求又は応答の送信先を、通常とは異なる方法で決定する必要がある。このため、図１８のステップ１８０１に進む（２）。

一方、ステップ１０１０において、受信した要求又は応答に迂回マーク５０２が付与されていないと判定された場合、その要求又は応答の送信先を決定するため、図１１のステップ１１０１に進む（３）。

ステップ１００９において、Ａ＝ａかつＢ＝ｂであると判定された場合、自ノード４０は、行き先のノード４０である。

このため、次に、ノード４０は、応答を受信したか、要求を受信したかを判定する（１０１１）。具体的には、ノード４０が、自ノードと接続するホスト計算機又は隣接する他のノード４０からディスクドライブ１０４内のデータへのアクセス要求を受信した場合（１００１、１００５）、ステップ１０１１において、ノード４０が要求を受信したと判定される。一方、ノード４０が隣接する他のノード４０からホスト計算機への応答を受信した場合（１００５）、ステップ１０１１において、ノード４０が応答を受信したと判定される。

ステップ１０１１において、ノード４０が応答を受信したと判定された場合、応答の返送先のホスト計算機が自ノード４０に接続されている。このため、ノード４０は、自ノード４０に接続されたホスト計算機から、応答の返送先のホスト計算機を特定する（１０１６）。具体的には、応答のパケット５０のタグ５０６の値を参照して、その値に対応するホスト計算機を特定する。

次に、ノード４０は、特定されたホスト計算機に応答を返送して（１０１７）、処理を終了する（１０１８）。

一方、ステップ１０１１において、ノード４０が要求を受信したと判定された場合、受信したアクセス要求の対象のデータは、自ノード４０に接続されたディスクドライブ１０４に含まれる。このため、ノード４０は、受信したアクセス要求に従って、自ノード４０に接続されたディスクドライブ１０４にアクセスする（１０１２）。

次に、ノード４０は、実行したアクセス結果にしたがって、応答のパケット５０を作成する（１０１３）。

次に、ノード４０は、作成した応答のパケット５０の返送先のノード４０を特定し、そのノード４０のアドレスを新たな行き先のノード４０のアドレス（ａ、ｂ）として、応答のパケット５０に付与する（１０１４）。具体的には、実行したアクセスに関するアクセス要求のパケット５０の返送アドレス５０７の値を参照する。そして、その返送アドレス５０７の値を、作成した応答のパケットに行き先アドレス５０１として付与する。このとき、同様にして、アクセス要求のパケット５０のタグ５０６の値を、応答のパケット５０のタグ５０６として付与する。

次に、ノード４０は、行き先のノード４０のアドレス（ａ、ｂ）と、自ノード４０のアドレス（Ａ、Ｂ）とを比較する。具体的には、Ａ＝ａかつＢ＝ｂであるか否かを判定する（１０１５）。

ステップ１０１５において、Ａ＝ａかつＢ＝ｂでないと判定された場合、自ノード４０は、行き先のノード４０ではない。このため、当該応答の送信先を決定するために、図１１のステップ１１０１に進む（３）。

一方、ステップ１０１５において、Ａ＝ａかつＢ＝ｂであると判定された場合、自ノード４０は、行き先のノード４０である。このため、次に、ステップ１０１６に進む。

ステップ１０１６以降の処理は、既に説明した通りである。

図１１は、本発明の第１の実施の形態の障害を考慮したルーティングアルゴリズムにおいて、自ノード４０が行き先のノード４０でない場合に実行される処理のフローチャートである。

図１０のステップ１０１０において、迂回マーク５０２が付与されていないと判定された場合、又は、図１０のステップ１０１５において、Ａ＝ａかつＢ＝ｂでないと判定された場合（３）、ノード４０は、Ａ＝ａであるか否かを判定する（１１０１）。

ステップ１１０１において、Ａ＝ａであると判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）と同じ列にある。このため、ノード４０は、要求又は応答を上側又は下側のいずれのノード４０に送信するか決定するために、図１５のステップ１５０１に進む（４）。

一方、ステップ１１０１において、Ａ＝ａでないと判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）と同じ列にない。このため、ノード４０は、Ｂ＝ｂであるか否かを判定する（１１０２）。

ステップ１１０２において、Ｂ＝ｂであると判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）と同じ行にある。このため、ノード４０は、要求又は応答を右側又は左側のいずれのノード４０に送信するか決定するために、図１６のステップ１６０１に進む（５）。

一方、ステップ１１０２において、Ｂ＝ｂでないと判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）と同じ行又は同じ列のいずれにもない。このため、ノード４０は、探索カウント＞０であるか否かを判定する（１１０３）。

探索とは、行き先のノード４０に至るリンク４１に障害が発生したときに、他の使用可能なリンク４１を探す動作である。探索カウントは、探索が開始されてから要求又は応答が送信された回数を示す。探索カウント＝０のときは、探索が実行されていない。

後で説明するように、要求又は応答に逆探索マーク５０３が付与されていない場合、使用可能なリンク４１を反時計回りに探索する。一方、要求又は応答に逆探索マーク５０３が付与されている場合、使用可能なリンク４１を時計回りに探索する。

例えば、行き先のノード４０（ａ、ｂ）及び自ノード４０（Ａ、Ｂ）の関係が、ａ＝Ａ、ｂ＝Ｂ＋１である場合、行き先のノード４０は、自ノード４０の上側に隣接している。これらのノード４０の間のリンク４１に障害が発生した場合であって逆探索マーク５０３が付与されてない場合、自ノード４０は、要求又は応答を右側に隣接するノード４０に送信する。この要求又は応答を受信したノード４０は、その要求又は応答を上側に隣接するノード４０に送信する。これを受信したノード４０は、行き先のノード４０に右側に隣接しているため、受信した要求又は応答を左側に隣接するノード４０に送信する。この送信が成功すれば、要求又は応答が行き先のノード４０に到達する。この送信が失敗した場合、行き先のノード４０に到達する残りのリンク４１を、反時計回りに探索する。

また、後で説明するように、要求又は応答が行き先のノード４０に到達しないまま、探索カウントの値が「８」より大きくなった場合、行き先のノード４０に至る全てのリンク４１において、送信が失敗している。この場合、障害が報告され、探索が終了する。

ステップ１１０３において、探索カウント＞０であると判定された場合、探索が実行されている。この場合、図１３のステップ１３０１に進む（６）。

一方、ステップ１１０３において、探索カウント＞０でないと判定された場合、探索が実行されていない。このとき、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る最短経路は、二つ存在する。この場合、ノード４０は、Ａ＜ａであるか否かを判定する（１１０４）。

ステップ１１０４において、Ａ＜ａであると判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の右側（右上側又は右下側）にある。すなわち、右側に隣接するノード４０（Ａ＋１、Ｂ）は、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る二つの最短経路の一方の上にある。この場合、さらに詳細に行き先のノード４０（ａ、ｂ）の位置を特定するため、図１２のステップ１２０１に進む（７）。

一方、ステップ１１０４において、Ａ＜ａでないと判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の左側（左上側又は左下側）にある。すなわち、左側に隣接するノード４０（Ａ−１、Ｂ）は、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る二つの最短経路の一方の上にある。このため、ノード４０は、左側に隣接するノード４０（Ａ−１、Ｂ）との間の通信量βを測定する（１１０５）。

次に、ノード４０は、Ｂ＜ｂであるか否かを判定する（１１０６）。

ステップ１１０６において、Ｂ＜ｂであると判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の上側（右上側又は左上側）にある。すなわち、上側に隣接するノード４０（Ａ、Ｂ＋１）は、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る二つの最短経路のもう一方の上にある。このため、ノード４０は、上側に隣接するノード４０（Ａ、Ｂ＋１）との間の通信量γを測定する（１１０７）。

このとき、ステップ１１０４及び１１０６の判定の結果を合わせると、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の左上側にある。

すなわち、要求又は応答を自ノード４０の左側に隣接するノード４０（Ａ−１、Ｂ）又は上側に隣接するノード４０（Ａ、Ｂ＋１）のいずれに送信しても、その要求又は応答は、行き先のノード４０に最も近づく。したがって、ノード４０は、要求又は応答を左側に隣接するノード４０又は上側に隣接するノード４０のいずれに送信してもよい。

しかし、上記の測定された通信量β及びγに差がある場合、通信量が少ない方のノード４０に送信した方が、データ伝送速度が向上する。このため、ノード４０は、通信量を比較して、通信量が少ないほうのノード４０を送信先として選択する。

ただし、ノード４０又はリンク４１の障害等のため、選択されたノード４０に要求又は応答を送信することができなかった場合、通信量が多い方のノード４０に要求又は応答が送信される。

なお、行き先のノード４０が自ノード４０の右下側、右上側又は左下側にある場合も、同様にして、通信量の少ない方のノード４０が送信先として選択される。また、障害等のため、選択されたノード４０に要求又は応答を送信することができなかった場合、通信量が多い方のノード４０に要求又は応答が送信される。

このため、ノード４０は、通信量β＜通信量γであるか否かを判定する（１１０８）。

ステップ１１０８において、β＜γであると判定された場合、ノード４０は、要求又は応答を左側に隣接するノード４０（Ａ−１、Ｂ）に送信する（１１０９）。

次に、ノード４０は、送信が成功したか否かを判定する（１１１０）。

ステップ１１１０において、送信が成功したと判定された場合、処理を終了する（１１１１）。

一方、ステップ１１１０において、送信が成功しなかったと判定された場合、左側に隣接するノード４０（Ａ−１、Ｂ）又はそこに至るリンク４１に障害が発生した可能性がある。このため、ノード４０は、要求又は応答を上側に隣接するノード４０（Ａ、Ｂ＋１）に送信する（１１１２）。ノード４０（Ａ、Ｂ＋１）は、ノード４０（Ａ−１、Ｂ）と同様、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る最短経路上にあるためである。

次に、ノード４０は、送信が成功したか否かを判定する（１１１３）。

ステップ１１１３において、送信が成功したと判定された場合、処理を終了する（１１１４）。

一方、ステップ１１１３において、送信が成功しなかったと判定された場合、上側に隣接するノード４０（Ａ、Ｂ＋１）又はそこに至るリンク４１に障害が発生した可能性がある。すなわち、ノード４０は、要求又は応答を行き先のノード４０に近づく方向に送信することができない。送信も２回失敗している二重障害であり、迂回して伝達可能経路を他に探索することは困難である。このため、ノード４０は、伝送不能障害を報告し（１１１５）、処理を終了する（１１１６）。

なお、伝送不能障害の報告先は、例えば、ストレージシステム全体の障害を管理する障害管理端末（図示省略）である。あるいは、伝送不能障害は、いずれかのホスト計算機又は全てのホスト計算機であってもよい。

ステップ１１０８において、β＜γでない（すなわち、γがβ以下である）と判定された場合、ノード４０は、要求又は応答を上側に隣接するノード４０（Ａ、Ｂ＋１）に送信する（１１１７）。

次に、ノード４０は、送信が成功したか否かを判定する（１１１８）。

ステップ１１１８において、送信が成功したと判定された場合、処理を終了する（１１１９）。

一方、ステップ１１１８において、送信が成功しなかったと判定された場合、上側に隣接するノード４０（Ａ、Ｂ＋１）又はそこに至るリンク４１に障害が発生した可能性がある。このため、ノード４０は、要求又は応答を左側に隣接するノード４０（Ａ−１、Ｂ）に送信する（１１２０）。ノード４０（Ａ−１、Ｂ）は、ノード４０（Ａ、Ｂ＋１）と同様、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る最短経路上にあるためである。

次に、ノード４０は、送信が成功したか否かを判定する（１１１３）。

ステップ１１１３において、送信が成功したと判定された場合、処理を終了する（１１１４）。

一方、ステップ１１１３において、送信が成功しなかったと判定された場合、先と同様に、左側に隣接するノード４０（Ａ−１、Ｂ）又はそこに至るリンク４１に障害が発生した可能性がある。すなわち、ノード４０は、要求又は応答を行き先のノード４０に近づく方向に送信することができない。このため、ノード４０は、伝送不能障害を報告し（１１１５）、処理を終了する（１１１６）。

ステップ１１０６において、Ｂ＜ｂでないと判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の下側（右下側又は左下側）にある。すなわち、下側に隣接するノード４０（Ａ、Ｂ−１）は、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る二つの最短経路のもう一方の上にある。このため、ノード４０は、下側に隣接するノード４０（Ａ、Ｂ−１）との間の通信量δを測定する（１１２１）。

このとき、ステップ１１０４及び１１０６の判定の結果を合わせると、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の左下側にある。

このため、ノード４０は、通信量β＜通信量δであるか否かを判定する（１１２２）。

ステップ１１２２において、β＜δであると判定された場合、ノード４０は、要求又は応答を左側に隣接するノード４０（Ａ−１、Ｂ）に送信する（１１２３）。

次に、ノード４０は、送信が成功したか否かを判定する（１１２４）。

ステップ１１２４において、送信が成功したと判定された場合、処理を終了する（１１２５）。

一方、ステップ１１２４において、送信が成功しなかったと判定された場合、左側に隣接するノード４０（Ａ−１、Ｂ）又はそこに至るリンク４１に障害が発生した可能性がある。このため、ノード４０は、要求又は応答を下側に隣接するノード４０（Ａ、Ｂ−１）に送信する（１１２６）。ノード４０（Ａ、Ｂ−１）は、ノード４０（Ａ−１、Ｂ）と同様、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る最短経路上にあるためである。

次に、ノード４０は、送信が成功したか否かを判定する（１１１３）。

ステップ１１１３において、送信が成功したと判定された場合、処理を終了する（１１１４）。

一方、ステップ１１１３において、送信が成功しなかったと判定された場合、下側に隣接するノード４０（Ａ、Ｂ−１）又はそこに至るリンク４１に障害が発生した可能性がある。すなわち、ノード４０は、要求又は応答を、行き先のノード４０に近づく方向に送信することができない。このため、ノード４０は、伝送不能障害を報告し（１１１５）、処理を終了する（１１１６）。

ステップ１１２２において、β＜δでない（すなわち、δがβ以下である）と判定された場合、ノード４０は、要求又は応答を下側に隣接するノード４０（Ａ、Ｂ−１）に送信する（１１２７）。

次に、ノード４０は、送信が成功したか否かを判定する（１１２８）。

ステップ１１２８において、送信が成功したと判定された場合、処理を終了する（１１２９）。

一方、ステップ１１２８において、送信が成功しなかったと判定された場合、下側に隣接するノード４０（Ａ、Ｂ−１）又はそこに至るリンク４１に障害が発生した可能性がある。このため、ノード４０は、要求又は応答を左側に隣接するノード４０（Ａ−１、Ｂ）に送信する（１１３０）。ノード４０（Ａ−１、Ｂ）は、ノード４０（Ａ、Ｂ−１）と同様、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る最短経路上にあるためである。

次に、ノード４０は、送信が成功したか否かを判定する（１１１３）。

ステップ１１１３において、送信が成功したと判定された場合、処理を終了する（１１１４）。

一方、ステップ１１１３において、送信が成功しなかったと判定された場合、左側に隣接するノード４０（Ａ−１、Ｂ）又はそこに至るリンク４１に障害が発生した可能性がある。すなわち、ノード４０は、要求又は応答を行き先のノード４０に近づく方向に送信することができない。このため、ノード４０は、伝送不能障害を報告し（１１１５）、処理を終了する（１１１６）。

図１２は、本発明の第１の実施の形態の障害を考慮したルーティングアルゴリズムにおいて、行き先のノード４０が自ノード４０の右上側又は右下側にある場合に実行される処理のフローチャートである。

図１１のステップ１１０４において、Ａ＜ａであると判定された場合（７）、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の右側（右上側又は右下側）にある。すなわち、右側に隣接するノード４０（Ａ＋１、Ｂ）は、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る二つの最短経路の一方の上にある。このとき、ノード４０は、右側に隣接するノード４０（Ａ＋１、Ｂ）との間の通信量αを測定する（１２０１）。

次に、ノード４０は、Ｂ＜ｂであるか否かを判定する（１２０２）。

ステップ１２０２において、Ｂ＜ｂであると判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の上側（右上側又は左上側）にある。すなわち、上側に隣接するノード４０（Ａ、Ｂ＋１）は、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る二つの最短経路のもう一方の上にある。このため、ノード４０は、上側に隣接するノード４０（Ａ、Ｂ＋１）との間の通信量γを測定する（１２０３）。

このとき、ステップ１１０４及び１２０２の判定の結果を合わせると、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の右上側にある。

次に、ノード４０は、通信量α＜通信量γであるか否かを判定する（１２０４）。

ステップ１２０４において、α＜γであると判定された場合、ノード４０は、要求又は応答を右側に隣接するノード４０（Ａ＋１、Ｂ）に送信する（１２０５）。

次に、ノード４０は、送信が成功したか否かを判定する（１２０６）。

ステップ１２０６において、送信が成功したと判定された場合、処理を終了する（１２０７）。

一方、ステップ１２０６において、送信が成功しなかったと判定された場合、右側に隣接するノード４０（Ａ＋１、Ｂ）又はそこに至るリンク４１に障害が発生した可能性がある。このため、ノード４０は、要求又は応答を上側に隣接するノード４０（Ａ、Ｂ＋１）に送信する（１２０８）。ノード４０（Ａ、Ｂ＋１）は、ノード４０（Ａ＋１、Ｂ）と同様、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る最短経路上にあるためである。

次に、ノード４０は、送信が成功したか否かを判定する（１２０９）。

ステップ１２０９において、送信が成功したと判定された場合、処理を終了する（１２１０）。

一方、ステップ１２０９において、送信が成功しなかったと判定された場合、上側に隣接するノード４０（Ａ、Ｂ＋１）又はそこに至るリンク４１に障害が発生した可能性がある。すなわち、ノード４０は、要求又は応答を行き先のノード４０に近づく方向に送信することができない。このため、ノード４０は、伝送不能障害を報告し（１２１１）、処理を終了する（１２１２）。

ステップ１２０４において、α＜γでない（すなわち、γがα以下である）と判定された場合、ノード４０は、要求又は応答を上側に隣接するノード４０（Ａ、Ｂ＋１）に送信する（１２１３）。

次に、ノード４０は、送信が成功したか否かを判定する（１２１４）。

ステップ１２１４において、送信が成功したと判定された場合、処理を終了する（１２１５）。

一方、ステップ１２１４において、送信が成功しなかったと判定された場合、上側に隣接するノード４０（Ａ、Ｂ＋１）又はそこに至るリンク４１に障害が発生した可能性がある。このため、ノード４０は、要求又は応答を右側に隣接するノード４０（Ａ＋１、Ｂ）に送信する（１２１６）。ノード４０（Ａ＋１、Ｂ）は、ノード４０（Ａ、Ｂ＋１）と同様、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る最短経路上にあるためである。

次に、ノード４０は、送信が成功したか否かを判定する（１２０９）。

ステップ１２０９において、送信が成功したと判定された場合、処理を終了する（１２１０）。

一方、ステップ１２０９において、送信が成功しなかったと判定された場合、右側に隣接するノード４０（Ａ＋１、Ｂ）又はそこに至るリンク４１に障害が発生した可能性がある。すなわち、ノード４０は、要求又は応答を行き先のノード４０に近づく方向に送信することができない。このため、ノード４０は、伝送不能障害を報告し（１２１１）、処理を終了する（１２１２）。

ステップ１２０２において、Ｂ＜ｂでないと判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の下側（右下側又は左下側）にある。すなわち、下側に隣接するノード４０（Ａ、Ｂ−１）は、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る二つの最短経路のもう一方の上にある。このため、ノード４０は、下側に隣接するノード４０（Ａ、Ｂ−１）との間の通信量δを測定する（１２１７）。

このとき、ステップ１１０４及び１２０２の判定の結果を合わせると、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の右下側にある。

このため、ノード４０は、通信量α＜通信量δであるか否かを判定する（１２１８）。

ステップ１２１８において、α＜δであると判定された場合、ノード４０は、要求又は応答を右側に隣接するノード４０（Ａ＋１、Ｂ）に送信する（１２１９）。

次に、ノード４０は、送信が成功したか否かを判定する（１２２０）。

ステップ１２２０において、送信が成功したと判定された場合、処理を終了する（１２２１）。

一方、ステップ１１２４において、送信が成功しなかったと判定された場合、右側に隣接するノード４０（Ａ＋１、Ｂ）又はそこに至るリンク４１に障害が発生した可能性がある。このため、ノード４０は、要求又は応答を下側に隣接するノード４０（Ａ、Ｂ−１）に送信する（１２２２）。ノード４０（Ａ、Ｂ−１）は、ノード４０（Ａ＋１、Ｂ）と同様、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る最短経路上にあるためである。

次に、ノード４０は、送信が成功したか否かを判定する（１２０９）。

ステップ１２０９において、送信が成功したと判定された場合、処理を終了する（１２１０）。

一方、ステップ１２０９において、送信が成功しなかったと判定された場合、下側に隣接するノード４０（Ａ、Ｂ−１）又はそこに至るリンク４１に障害が発生した可能性がある。すなわち、ノード４０は、要求又は応答を行き先のノード４０に近づく方向に送信することができない。このため、ノード４０は、伝送不能障害を報告し（１２１１）、処理を終了する（１２１２）。

ステップ１２１８において、α＜δでない（すなわち、δがα以下である）と判定された場合、ノード４０は、要求又は応答を下側に隣接するノード４０（Ａ、Ｂ−１）に送信する（１２２３）。

次に、ノード４０は、送信が成功したか否かを判定する（１２２４）。

ステップ１２２４において、送信が成功したと判定された場合、処理を終了する（１２２５）。

一方、ステップ１２２４において、送信が成功しなかったと判定された場合、下側に隣接するノード４０（Ａ、Ｂ−１）又はそこに至るリンク４１に障害が発生した可能性がある。このため、ノード４０は、要求又は応答を右側に隣接するノード４０（Ａ＋１、Ｂ）に送信する（１２２６）。ノード４０（Ａ＋１、Ｂ）は、ノード４０（Ａ、Ｂ−１）と同様、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る最短経路上にあるためである。

次に、ノード４０は、送信が成功したか否かを判定する（１２０９）。

ステップ１２０９において、送信が成功したと判定された場合、処理を終了する（１２１０）。

一方、ステップ１２０９において、送信が成功しなかったと判定された場合、右側に隣接するノード４０（Ａ＋１、Ｂ）又はそこに至るリンク４１に障害が発生した可能性がある。すなわち、ノード４０は、要求又は応答を行き先のノード４０に近づく方向に送信することができない。このため、ノード４０は、伝送不能障害を報告し（１２１１）、処理を終了する（１２１２）。

図１３は、本発明の第１の実施の形態の障害を考慮したルーティングアルゴリズムにおいて実行される探索の処理のフローチャートである。

図１１のステップ１１０３において、探索カウント＞０であると判定された場合（６）、探索が実行されている。この場合、ノード４０は、探索カウントの値を「１」増加させる（１３０１）。

次に、ノード４０は、Ａ＜ａであるか否かを判定する（１３０２）。

ステップ１３０２において、Ａ＜ａであると判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の右側（右上側又は右下側）にある。この場合、図１４のステップ１４０１に進む（８）。

一方、ステップ１３０２において、Ａ＜ａでないと判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の左側（左上側又は左下側）にある。このため、ノード４０は、Ｂ＜ｂであるか否かを判定する（１３０３）。

Ｂ＜ｂである場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の上側（右上側又は左上側）にある。すなわち、ステップ１３０３においてＢ＜ｂであると判定された場合、ステップ１３０２の判定の結果と合わせると、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の左上側にある。

次に、ノード４０は、要求又は応答に逆探索マーク５０３が付与されているか否かを判定する（１３０４）。具体的には、受信したアクセス要求又は応答のパケット５０の逆探索マーク５０３の値が有効になっているか否かを判定する。

逆探索マーク５０３とは、探索の方向を指定する標識である。要求又は応答に逆探索マーク５０３が付与されていない場合、ノード４０は、行き先のノード４０に至る使用可能なリンク４１を反時計回りに探索するように要求又は応答を送信する。一方、要求又は応答に逆探索マーク５０３が付与されている場合、ノード４０は、行き先のノード４０に至る使用可能なリンク４１を時計回りに探索するように要求又は応答を送信する。

なお、逆探索マーク５０３は、探索が開始された時点では付与されていない。反時計回りに探索する過程で、リンク４１等の障害のためそれ以上の探索ができなくなった場合に、逆探索マーク５０３が付与され、時計回りの探索が開始される。

ステップ１３０４において、逆探索マーク５０３が付与されていないと判定された場合、反時計回りの探索が実行されている。このため、ノード４０は、要求又は応答を上側に隣接するノード４０（Ａ、Ｂ＋１）に送信する（１３０５）。行き先のノード４０が自ノード４０の左上側に位置するため、要求又は応答は、行き先のノード４０を反時計回りに周回する方向に送信される。

次に、ノード４０は、送信が成功したか否かを判定する（１３０６）。

ステップ１３０６において、送信が成功したと判定された場合、処理を終了する（１３０７）。

一方、ステップ１３０７において、送信が成功しなかったと判定された場合、上側に隣接するノード４０（Ａ、Ｂ＋１）又はそこに至るリンク４１に障害が発生した可能性がある。したがって、ノード４０は、それ以上反時計回りの探索をすることができない。そこで、ノード４０は、探索カウントの値を「１」とし、逆探索マーク５０３を付与して（１３０８）、要求又は応答を左側に隣接するノード４０（Ａ−１、Ｂ）に送信する（１３０９）。行き先のノード４０が自ノード４０の左上側に位置するため、要求又は応答は、行き先のノード４０を時計回りに周回する方向に送信される。このように、時計回りの探索が開始される。

ステップ１３０４において、逆探索マーク５０３が付与されていると判定された場合、時計回りの探索が実行されている。このため、ノード４０は、ステップ１３０５からステップ１３０８までを実行せず、ステップ１３０９を実行する。

次に、ノード４０は、送信が成功したか否かを判定する（１３１０）。

ステップ１３１０において、送信が成功したと判定された場合、処理を終了する（１３１１）。

一方、ステップ１３１０において、送信が成功しなかったと判定された場合、反時計回り又は時計回りのいずれの方向の探索も、それ以上することができない。このため、ノード４０は、伝送不能障害を報告し（１３１２）、処理を終了する（１３１３）。

ステップ１３０３において、Ｂ＜ｂでないと判定された場合、ステップ１３０２の判定の結果と合わせると、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の左下側にある。

次に、ノード４０は、要求又は応答に逆探索マーク５０３が付与されているか否かを判定する（１３１４）。具体的には、受信したアクセス要求又は応答のパケット５０の逆探索マーク５０３の値が有効になっているか否かを判定する。

ステップ１３１４において、逆探索マーク５０３が付与されていないと判定された場合、反時計回りの探索が実行されている。このため、ノード４０は、要求又は応答を左側に隣接するノード４０（Ａ−１、Ｂ）に送信する（１３１５）。行き先のノード４０が自ノード４０の左下側に位置するため、要求又は応答は、行き先のノード４０を反時計回りに周回する方向に送信される。

次に、ノード４０は、送信が成功したか否かを判定する（１３１６）。

ステップ１３１６において、送信が成功したと判定された場合、処理を終了する（１３１７）。

一方、ステップ１３１６において、送信が成功しなかったと判定された場合、左側に隣接するノード４０（Ａ−１、Ｂ）又はそこに至るリンク４１に障害が発生した可能性がある。したがって、ノード４０は、それ以上反時計回りの探索をすることができない。そこで、ノード４０は、探索カウントの値を「１」とし、逆探索マーク５０３を付与して（１３１８）、要求又は応答を下側に隣接するノード４０（Ａ、Ｂ−１）に送信する（１３１９）。行き先のノード４０が自ノード４０の左下側に位置するため、要求又は応答は、行き先のノード４０を時計回りに周回する方向に送信される。このように、時計回りの探索が開始される。

ステップ１３１４において、逆探索マーク５０３が付与されていると判定された場合、時計回りの探索が実行されている。このため、ノード４０は、ステップ１３１５からステップ１３１８までを実行せず、ステップ１３１９を実行する。

次に、ノード４０は、送信が成功したか否かを判定する（１３１０）。以後、上記の説明の通り、ステップ１３１０からステップ１３１３までを実行する。

図１４は、本発明の第１の実施の形態の障害を考慮したルーティングアルゴリズムにおいて実行される探索の処理のうち、行き先のノード４０（ａ、ｂ）が自ノード４０（Ａ、Ｂ）の右上側又は右下側にある場合に実行される処理のフローチャートである。

図１３のステップ１３０２において、Ａ＜ａであると判定された場合（８）、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の右側（右上側又は右下側）にある。この場合、ノード４０は、Ｂ＜ｂであるか否かを判定する（１４０１）。

Ｂ＜ｂである場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の上側（右上側又は左上側）にある。すなわち、ステップ１４０１においてＢ＜ｂであると判定された場合、ステップ１３０２の判定の結果と合わせると、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の右上側にある。

次に、ノード４０は、要求又は応答に逆探索マーク５０３が付与されているか否かを判定する（１４０２）。具体的には、受信したアクセス要求又は応答のパケット５０の逆探索マーク５０３の値が有効になっているか否かを判定する。

ステップ１４０２において、逆探索マーク５０３が付与されていないと判定された場合、反時計回りの探索が実行されている。このため、ノード４０は、要求又は応答を右側に隣接するノード４０（Ａ＋１、Ｂ）に送信する（１４０３）。行き先のノード４０が自ノード４０の右上側に位置するため、要求又は応答は、行き先のノード４０を反時計回りに周回する方向に送信される。

次に、ノード４０は、送信が成功したか否かを判定する（１４０４）。

ステップ１４０４において、送信が成功したと判定された場合、処理を終了する（１４０５）。

一方、ステップ１４０４において、送信が成功しなかったと判定された場合、右側に隣接するノード４０（Ａ＋１、Ｂ）又はそこに至るリンク４１に障害が発生した可能性がある。したがって、ノード４０は、それ以上反時計回りの探索をすることができない。そこで、ノード４０は、探索カウントの値を「１」とし、逆探索マーク５０３を付与して（１４０６）、要求又は応答を上側に隣接するノード４０（Ａ、Ｂ＋１）に送信する（１４０７）。行き先のノード４０が自ノード４０の右上側に位置するため、要求又は応答は、行き先のノード４０を時計回りに周回する方向に送信される。このようにして、時計回りの探索が開始される。

ステップ１４０２において、逆探索マーク５０３が付与されていると判定された場合、時計回りの探索が実行されている。このため、ノード４０は、ステップ１４０３からステップ１４０６までを実行せず、ステップ１４０７を実行する。

次に、ノード４０は、送信が成功したか否かを判定する（１４０８）。

ステップ１４０８において、送信が成功したと判定された場合、処理を終了する（１４０９）。

一方、ステップ１４０８において、送信が成功しなかったと判定された場合、反時計回り又は時計回りのいずれの方向の探索も、それ以上することができない。このため、ノード４０は、伝送不能障害を報告し（１４１０）、処理を終了する（１４１１）。

ステップ１４０１において、Ｂ＜ｂでないと判定された場合、ステップ１３０２の判定の結果と合わせると、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の右下側にある。

次に、ノード４０は、要求又は応答に逆探索マーク５０３が付与されているか否かを判定する（１４１２）。具体的には、受信したアクセス要求又は応答のパケット５０の逆探索マーク５０３の値が有効になっているか否かを判定する。

ステップ１４１２において、逆探索マーク５０３が付与されていないと判定された場合、反時計回りの探索が実行されている。このため、ノード４０は、要求又は応答を下側に隣接するノード４０（Ａ、Ｂ−１）に送信する（１４１３）。行き先のノード４０が自ノード４０の右下側に位置するため、要求又は応答は、行き先のノード４０を反時計回りに周回する方向に送信される。

次に、ノード４０は、送信が成功したか否かを判定する（１４１４）。

ステップ１４１４において、送信が成功したと判定された場合、処理を終了する（１４１５）。

一方、ステップ１４１４において、送信が成功しなかったと判定された場合、下側に隣接するノード４０（Ａ、Ｂ−１）又はそこに至るリンク４１に障害が発生した可能性がある。したがって、ノード４０は、それ以上反時計回りの探索をすることができない。そこで、ノード４０は、探索カウントの値を「１」とし、逆探索マーク５０３を付与して（１４１６）、要求又は応答を右側に隣接するノード４０（Ａ＋１、Ｂ）に送信する（１４１７）。行き先のノード４０が自ノード４０の右下側に位置するため、要求又は応答は、行き先のノード４０を時計回りに周回する方向に送信される。このように、時計回りの探索が開始される。

ステップ１４１２において、逆探索マーク５０３が付与されていると判定された場合、時計回りの探索が実行されている。このため、ノード４０は、ステップ１４１３からステップ１４１６までを実行せず、ステップ１４１７を実行する。

次に、ノード４０は、送信が成功したか否かを判定する（１４０８）。以後、上記の説明の通り、ステップ１４０８からステップ１４１１までを実行する。

図１５は、本発明の第１の実施の形態の障害を考慮したルーティングアルゴリズムにおいて、行き先のノード４０（ａ、ｂ）が自ノード４０（Ａ、Ｂ）と同じ列にある場合に実行される処理のフローチャートである。

図１１のステップ１１０１において、Ａ＝ａであると判定された場合（４）、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）と同じ列にある。この場合、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る最短経路は、一つのみ存在する。ノード４０は、要求又は応答を上側又は下側のいずれのノード４０に送信するか決定するために、Ｂ＜ｂであるか否かを判定する（１５０１）。

ステップ１５０１において、Ｂ＜ｂであると判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の上側にある。この場合、上側に隣接するノード４０（Ａ、Ｂ＋１）は、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る最短経路上にある。このため、ノード４０は、要求又は応答を上側に隣接するノード４０（Ａ、Ｂ＋１）に送信する（１５０２）。

次に、ノード４０は、送信が成功したか否かを判定する（１５０３）。

ステップ１５０３において、送信が成功したと判定された場合、処理を終了する（１５０４）。

一方、ステップ１５０３において、送信が成功しなかったと判定された場合、上側に隣接するノード４０（Ａ、Ｂ＋１）又はそこに至るリンク４１に障害が発生した可能性がある。この場合、ノード４０は、Ｂ＋１＝ｂであるか否かを判定する（１５０５）。

ステップ１５０５において、Ｂ＋１＝ｂであると判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の上側に隣接する。この場合、行き先のノード４０に至る他のリンク４１を探索するために、図１７のステップ１７０１に進む（９）。

一方、ステップ１５０５において、Ｂ＋１＝ｂでないと判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の上側にあるが、隣接しない。この場合、ノード４０は、障害が発生したノード４０又はリンク４１を迂回して要求又は応答を送信するため、ステップ１５２２に進む。

ステップ１５０１において、Ｂ＜ｂでないと判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の下側にある。この場合、下側に隣接するノード４０（Ａ、Ｂ−１）は、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る最短経路上にある。このため、ノード４０は、要求又は応答を下側に隣接するノード４０（Ａ、Ｂ−１）に送信する（１５０６）。

次に、ノード４０は、送信が成功したか否かを判定する（１５０７）。

ステップ１５０７において、送信が成功したと判定された場合、処理を終了する（１５０８）。

一方、ステップ１５０７において、送信が成功しなかったと判定された場合、下側に隣接するノード４０（Ａ、Ｂ−１）又はそこに至るリンク４１に障害が発生した可能性がある。この場合、ノード４０は、Ｂ−１＝ｂであるか否かを判定する（１５０９）。

ステップ１５０９において、Ｂ−１＝ｂであると判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の下側に隣接する。この場合、ノード４０は、行き先のノード４０に至る他のリンク４１を探索するために、探索カウントの値を１増加させる（１５１０）。

次に、ノード４０は、探索カウントの値が８より大きいか否かを判定する（１５１１）。

ステップ１５１１において、探索カウントの値が８より大きいと判定された場合、行き先のノード４０（ａ、ｂ）に至る全てのリンク４１において送信が失敗している。このため、伝送不能障害を報告して（１５２０）、処理を終了する（１５２１）。

一方、ステップ１５１１において、探索カウントの値が８より大きくないと判定された場合、行き先のノード４０（ａ、ｂ）に至る送信可能なリンク４１が残っている可能性がある。このため、ノード４０は、要求又は応答に逆探索マーク５０３が付与されているか否かを判定する（１５１２）。

ステップ１５１２において、逆探索マーク５０３が付与されていないと判定された場合、反時計回りの探索が実行されている。このため、ノード４０は、要求又は応答を左側に隣接するノード４０（Ａ−１、Ｂ）に送信する（１５１３）。行き先のノード４０が自ノード４０の下側に隣接するため、要求又は応答は、行き先のノード４０を反時計回りに周回する方向に送信される。

次に、ノード４０は、送信が成功したか否かを判定する（１５１４）。

ステップ１５１４において、送信が成功したと判定された場合、処理を終了する（１５１５）。

一方、ステップ１５１４において、送信が成功しなかったと判定された場合、左側に隣接するノード４０（Ａ−１、Ｂ）又はそこに至るリンク４１に障害が発生した可能性がある。したがって、ノード４０は、それ以上反時計回りの探索をすることができない。そこで、ノード４０は、探索カウントの値を「１」とし、逆探索マーク５０３を付与して（１５１６）、要求又は応答を右側に隣接するノード４０（Ａ＋１、Ｂ）に送信する（１５１７）。行き先のノード４０が自ノード４０の下側に隣接するため、要求又は応答は、行き先のノード４０を時計回りに周回する方向に送信される。このようにして、時計回りの探索が開始される。

ノード４０（Ａ−１、Ｂ）及びノード４０（Ａ＋１、Ｂ）は、共に、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る二番目に短い経路（すなわち、最短経路の次に短い経路）上にある。

ステップ１５１２において、逆探索マーク５０３が付与されていると判定された場合、時計回りの探索が実行されている。このため、ノード４０は、ステップ１５１３からステップ１５１６までを実行せず、ステップ１５１７を実行する。

次に、ノード４０は、送信が成功したか否かを判定する（１５１８）。

ステップ１５１８において、送信が成功したと判定された場合、処理を終了する（１５１９）。

一方、ステップ１５１８において、送信が成功しなかったと判定された場合、反時計回り又は時計回りのいずれの方向の探索も、それ以上することができない。このため、ノード４０は、伝送不能障害を報告し（１５２０）、処理を終了する（１５２１）。

ステップ１５０９においてＢ−１＝ｂでないと判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の下側にあるが、隣接しない。この場合、ノード４０は、障害が発生したノード４０又はリンク４１を迂回して要求又は応答を送信する。ステップ１５０５においてＢ＋１＝ｂでないと判定された場合も同様である。

迂回とは、行き先のノード４０が自ノード４０と同じ列又は同じ行にあり、かつ、自ノード４０と隣接しない場合であって、自ノード４０と行き先のノード４０との間のノード４０又はリンク４１に障害が発生した場合に、その障害を避けるために、自ノード４０から行き先のノード４０に至る二番目に短い経路上のノード４０に要求又は応答を送信する処理である。この場合、ノード４０は、自ノード４０から行き先のノード４０に至る最短経路上のノード４０にパケット５０を送信することができないためである。例えば、行き先のノード４０が自ノード４０と同じ列の上側にあり、かつ、自ノード４０と隣接しない場合であって、自ノード４０の上側に隣接するノード４０に障害が発生した場合、迂回が開始される。

ステップ１５０９においてＢ−１＝ｂでないと判定された場合、及び、ステップ１５０５においてＢ＋１＝ｂでないと判定された場合、自ノード４０の右側に隣接するノード４０（Ａ＋１、Ｂ）及び自ノード４０の左側に隣接するノード４０（Ａ−１、Ｂ）は、自ノード４０から行き先のノード４０に至る二番目に短い経路上にある。したがって、要求又は応答のパケット５０は、自ノード４０の右側又は左側に隣接するノード４０に送信される。パケット５０は、これらのうちいずれのノード４０に送信されてもよいが、例えば、通信量が少ない方に送信される。このとき、パケット５０に迂回マーク５０２が付与される。右側又は左側に隣接するノード４０は、次に、受信したパケット５０を上側に隣接するノード４０に送信する。このとき、迂回マーク５０２が消去され、迂回が終了する。

ノード４０は、まず、要求又は応答に迂回マーク５０２を付与する（１５２２）。具体的には、ノード４０は、要求又は応答のパケット５０の迂回マーク５０２の値を有効にする。

ノード４０は、次に、自ノード４０（Ａ、Ｂ）と右側に隣接するノード４０（Ａ＋１、Ｂ）との間の通信量αを計測する（１５２３）。

次に、ノード４０は、自ノード４０（Ａ、Ｂ）と左側に隣接するノード４０（Ａ−１、Ｂ）との間の通信量βを計測する（１５２４）。

ノード４０（Ａ＋１、Ｂ）及びノード４０（Ａ−１、Ｂ）は、共に、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る二番目に短い経路上にある。

次に、ノード４０は、通信量αが通信量βより小さいか否かを判定する（１５２５）。

ステップ１５２５において、通信量αが通信量βより小さいと判定された場合、ノード４０は、要求又は応答を右側に隣接するノード４０（Ａ＋１、Ｂ）に送信する（１５２６）。

次に、ノード４０は、送信が成功したか否かを判定する（１５２７）。

ステップ１５２７において、送信が成功したと判定された場合、処理を終了する（１５２８）。

一方、ステップ１５２７において、送信が成功しなかったと判定された場合、右側に隣接するノード４０（Ａ＋１、Ｂ）又はそこに至るリンク４１に障害が発生した可能性がある。このため、ノード４０は、要求又は応答を左側に隣接するノード４０（Ａ−１、Ｂ）に送信する（１５２９）。

次に、ノード４０は、送信が成功したか否かを判定する（１５１８）。ステップ１５１８以降の処理は、上記で説明した通りである。

ステップ１５２５において、通信量αが通信量βより小さくないと判定された場合、ノード４０は、要求又は応答を左側に隣接するノード４０（Ａ−１、Ｂ）に送信する（１５３０）。

次に、ノード４０は、送信が成功したか否かを判定する（１５３１）。

ステップ１５３１において、送信が成功したと判定された場合、処理を終了する（１５３２）。

一方、ステップ１５３１において、送信が成功しなかったと判定された場合、左側に隣接するノード４０（Ａ−１、Ｂ）又はそこに至るリンク４１に障害が発生した可能性がある。このため、ノード４０は、要求又は応答を右側に隣接するノード４０（Ａ＋１、Ｂ）に送信する（１５３３）。

次に、ノード４０は、送信が成功したか否かを判定する（１５１８）。ステップ１５１８以降の処理は、上記で説明した通りである。

図１６は、本発明の第１の実施の形態の障害を考慮したルーティングアルゴリズムにおいて、行き先のノード４０（ａ、ｂ）が自ノード４０（Ａ、Ｂ）と同じ行にある場合に実行される処理のフローチャートである。

図１１のステップ１１０２において、Ｂ＝ｂであると判定された場合（５）、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）と同じ行にある。この場合、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る最短経路は、一つのみ存在する。ノード４０は、要求又は応答を右側又は左側のいずれのノード４０に送信するか決定するために、Ａ＜ａであるか否かを判定する（１６０１）。

ステップ１６０１において、Ａ＜ａであると判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の右側にある。この場合、右側に隣接するノード４０（Ａ＋１、Ｂ）は、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る最短経路上にある。このため、ノード４０は、要求又は応答を右側に隣接するノード４０（Ａ＋１、Ｂ）に送信する（１６０２）。

次に、ノード４０は、送信が成功したか否かを判定する（１６０３）。

ステップ１６０３において、送信が成功したと判定された場合、処理を終了する（１６０４）。

一方、ステップ１６０３において、送信が成功しなかったと判定された場合、右側に隣接するノード４０（Ａ＋１、Ｂ）又はそこに至るリンク４１に障害が発生した可能性がある。この場合、ノード４０は、Ａ＋１＝ａであるか否かを判定する（１６０５）。

ステップ１６０５において、Ａ＋１＝ａであると判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の右側に隣接する。この場合、行き先のノード４０に至る他のリンク４１を探索するために、図１７のステップ１７１３に進む（１０）。

一方、ステップ１６０５において、Ａ＋１＝ａでないと判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の右側にあるが、隣接しない。この場合、ノード４０は、障害が発生したノード４０又はリンク４１を迂回して要求又は応答を送信するため、ステップ１６２２に進む。

ステップ１６０１において、Ａ＜ａでないと判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の左側にある。この場合、左側に隣接するノード４０（Ａ−１、Ｂ）は、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る最短経路上にある。このため、ノード４０は、要求又は応答を左側に隣接するノード４０（Ａ−１、Ｂ）に送信する（１６０６）。

次に、ノード４０は、送信が成功したか否かを判定する（１６０７）。

ステップ１６０７において、送信が成功したと判定された場合、処理を終了する（１６０８）。

一方、ステップ１６０７において、送信が成功しなかったと判定された場合、左側に隣接するノード４０（Ａ−１、Ｂ）又はそこに至るリンク４１に障害が発生した可能性がある。この場合、ノード４０は、Ａ−１＝ａであるか否かを判定する（１６０９）。

ステップ１６０９において、Ａ−１＝ａであると判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の左側に隣接する。この場合、ノード４０は、行き先のノード４０に至る他のリンク４１を探索するために、探索カウントの値を１増加させる（１６１０）。

次に、ノード４０は、探索カウントの値が８より大きいか否かを判定する（１６１１）。

ステップ１６１１において、探索カウントの値が８より大きいと判定された場合、行き先のノード４０（ａ、ｂ）に至る全てのリンク４１において送信が失敗している。このため、伝送不能障害を報告して（１６２０）、処理を終了する（１６２１）。

一方、ステップ１６１１において、探索カウントの値が８より大きくないと判定された場合、行き先のノード４０（ａ、ｂ）に至る送信可能なリンク４１が残っている可能性がある。このため、ノード４０は、要求又は応答に逆探索マーク５０３が付与されているか否かを判定する（１６１２）。

ステップ１６１２において、逆探索マーク５０３が付与されていないと判定された場合、反時計回りの探索が実行されている。このため、ノード４０は、要求又は応答を上側に隣接するノード４０（Ａ、Ｂ＋１）に送信する（１６１３）。行き先のノード４０が自ノード４０の左側に隣接するため、要求又は応答は、行き先のノード４０を反時計回りに周回する方向に送信される。

次に、ノード４０は、送信が成功したか否かを判定する（１６１４）。

ステップ１６１４において、送信が成功したと判定された場合、処理を終了する（１６１５）。

一方、ステップ１６１４において、送信が成功しなかったと判定された場合、上側に隣接するノード４０（Ａ、Ｂ＋１）又はそこに至るリンク４１に障害が発生した可能性がある。したがって、ノード４０は、それ以上反時計回りの探索をすることができない。そこで、ノード４０は、探索カウントの値を「１」とし、逆探索マーク５０３を付与して（１６１６）、要求又は応答を下側に隣接するノード４０（Ａ、Ｂ−１）に送信する（１６１７）。行き先のノード４０が自ノード４０の左側に隣接するため、要求又は応答は、行き先のノード４０を時計回りに周回する方向に送信される。このようにして、時計回りの探索が開始される。

ノード４０（Ａ、Ｂ＋１）及びノード４０（Ａ、Ｂ−１）は、共に、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る二番目に短い経路上にある。

ステップ１６１２において、逆探索マーク５０３が付与されていると判定された場合、時計回りの探索が実行されている。このため、ノード４０は、ステップ１６１３からステップ１６１６までを実行せず、ステップ１６１７を実行する。

次に、ノード４０は、送信が成功したか否かを判定する（１６１８）。

ステップ１６１８において、送信が成功したと判定された場合、処理を終了する（１６１９）。

一方、ステップ１６１８において、送信が成功しなかったと判定された場合、反時計回り又は時計回りのいずれの方向の探索も、それ以上することができない。このため、ノード４０は、伝送不能障害を報告し（１６２０）、処理を終了する（１６２１）。

ステップ１６０９においてＡ−１＝ａでないと判定された場合、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の左側にあるが、隣接しない。この場合、ノード４０は、障害が発生したノード４０又はリンク４１を迂回して要求又は応答を送信する。ステップ１６０５においてＡ＋１＝ａでないと判定された場合も同様である。

ステップ１６０９においてＡ−１＝ａでないと判定された場合、及び、ステップ１６０５においてＡ＋１＝ａでないと判定された場合、自ノード４０の上側に隣接するノード４０（Ａ、Ｂ＋１）及び自ノード４０の下側に隣接するノード４０（Ａ、Ｂ−１）は、自ノード４０から行き先のノード４０に至る二番目に短い経路上にある。したがって、要求又は応答のパケット５０は、自ノード４０の上側又は下側に隣接するノード４０に送信される。

ノード４０は、まず、要求又は応答に迂回マーク５０２を付与する（１６２２）。具体的には、ノード４０は、要求又は応答のパケット５０の迂回マーク５０２の値を有効にする。

次に、ノード４０は、自ノード４０（Ａ、Ｂ）と上側に隣接するノード４０（Ａ、Ｂ＋１）との間の通信量γを計測する（１６２３）。

次に、ノード４０は、自ノード４０（Ａ、Ｂ）と下側に隣接するノード４０（Ａ、Ｂ−１）との間の通信量δを計測する（１６２４）。

ノード４０（Ａ、Ｂ＋１）及びノード４０（Ａ、Ｂ−１）は、共に、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る二番目に短い経路上にある。

次に、ノード４０は、通信量γが通信量δより小さいか否かを判定する（１６２５）。

ステップ１６２５において、通信量γが通信量δより小さいと判定された場合、ノード４０は、要求又は応答を上側に隣接するノード４０（Ａ、Ｂ＋１）に送信する（１６２６）。

次に、ノード４０は、送信が成功したか否かを判定する（１６２７）。

ステップ１６２７において、送信が成功したと判定された場合、処理を終了する（１６２８）。

一方、ステップ１６２７において、送信が成功しなかったと判定された場合、右側に隣接するノード４０（Ａ、Ｂ＋１）又はそこに至るリンク４１に障害が発生した可能性がある。このため、ノード４０は、要求又は応答を下側に隣接するノード４０（Ａ、Ｂ−１）に送信する（１６２９）。

次に、ノード４０は、送信が成功したか否かを判定する（１６１８）。ステップ１６１８以降の処理は、上記で説明した通りである。

ステップ１６２５において、通信量γが通信量δより小さくないと判定された場合、ノード４０は、要求又は応答を下側に隣接するノード４０（Ａ、Ｂ−１）に送信する（１６３０）。

次に、ノード４０は、送信が成功したか否かを判定する（１６３１）。

ステップ１６３１において、送信が成功したと判定された場合、処理を終了する（１６３２）。

一方、ステップ１６３１において、送信が成功しなかったと判定された場合、下側に隣接するノード４０（Ａ、Ｂ−１）又はそこに至るリンク４１に障害が発生した可能性がある。このため、ノード４０は、要求又は応答を上側に隣接するノード４０（Ａ、Ｂ＋１）に送信する（１６３３）。

次に、ノード４０は、送信が成功したか否かを判定する（１６１８）。ステップ１６１８以降の処理は、上記で説明した通りである。

図１７は、本発明の第１の実施の形態の障害を考慮したルーティングアルゴリズムにおいて、行き先のノード４０（ａ、ｂ）が自ノード４０（Ａ、Ｂ）と同じ行又は同じ列にある場合に実行される探索の処理のフローチャートである。

図１５のステップ１５０５において、Ｂ＋１＝ｂであると判定された場合（９）、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の上側に隣接する。この場合、ノード４０は、行き先のノード４０に至る他のリンク４１を探索するために、探索カウントの値を１増加させる（１７０１）。

次に、ノード４０は、探索カウントの値が８より大きいか否かを判定する（１７０２）。

ステップ１７０２において、探索カウントの値が８より大きいと判定された場合、行き先のノード４０（ａ、ｂ）に至る全てのリンク４１において送信が失敗している。このため、伝送不能障害を報告して（１７１１）、処理を終了する（１７１２）。

一方、ステップ１７０２において、探索カウントの値が８より大きくないと判定された場合、行き先のノード４０（ａ、ｂ）に至る送信可能なリンク４１が残っている可能性がある。このため、ノード４０は、要求又は応答に逆探索マーク５０３が付与されているか否かを判定する（１７０３）。

ステップ１７０３において、逆探索マーク５０３が付与されていないと判定された場合、反時計回りの探索が実行されている。このため、ノード４０は、要求又は応答を右側に隣接するノード４０（Ａ＋１、Ｂ）に送信する（１７０４）。行き先のノード４０が自ノード４０の上側に隣接するため、要求又は応答は、行き先のノード４０を反時計回りに周回する方向に送信される。

次に、ノード４０は、送信が成功したか否かを判定する（１７０５）。

ステップ１７０５において、送信が成功したと判定された場合、処理を終了する（１７０６）。

一方、ステップ１７０５において、送信が成功しなかったと判定された場合、右側に隣接するノード４０（Ａ＋１、Ｂ）又はそこに至るリンク４１に障害が発生した可能性がある。したがって、ノード４０は、それ以上反時計回りの探索をすることができない。そこで、ノード４０は、探索カウントの値を「１」とし、逆探索マーク５０３を付与して（１７０７）、要求又は応答を左側に隣接するノード４０（Ａ−１、Ｂ）に送信する（１７０８）。行き先のノード４０が自ノード４０の上側に隣接するため、要求又は応答は、行き先のノード４０を時計回りに周回する方向に送信される。このようにして、時計回りの探索が開始される。

ノード４０（Ａ＋１、Ｂ）及びノード４０（Ａ−１、Ｂ）は、共に、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る二番目に短い経路上にある。

ステップ１７０３において、逆探索マーク５０３が付与されていると判定された場合、時計回りの探索が実行されている。このため、ノード４０は、ステップ１７０４からステップ１７０７までを実行せず、ステップ１７０８を実行する。

次に、ノード４０は、送信が成功したか否かを判定する（１７０９）。

ステップ１７０９において、送信が成功したと判定された場合、処理を終了する（１７１０）。

一方、ステップ１７０９において、送信が成功しなかったと判定された場合、反時計回り又は時計回りのいずれの方向の探索も、それ以上することができない。このため、ノード４０は、伝送不能障害を報告し（１７１１）、処理を終了する（１７１２）。

図１６のステップ１６０５において、Ａ＋１＝ａであると判定された場合（１０）、行き先のノード４０（ａ、ｂ）は、自ノード４０（Ａ、Ｂ）の右側に隣接する。この場合、ノード４０は、行き先のノード４０に至る他のリンク４１を探索するために、探索カウントの値を１増加させる（１７１３）。

次に、ノード４０は、探索カウントの値が８より大きいか否かを判定する（１７１４）。

ステップ１７１４において、探索カウントの値が８より大きいと判定された場合、行き先のノード４０（ａ、ｂ）に至る全てのリンク４１において送信が失敗している。このため、伝送不能障害を報告して（１７１１）、処理を終了する（１７１２）。

一方、ステップ１７１４において、探索カウントの値が８より大きくないと判定された場合、行き先のノード４０（ａ、ｂ）に至る送信可能なリンク４１が残っている可能性がある。このため、ノード４０は、要求又は応答に逆探索マーク５０３が付与されているか否かを判定する（１７１５）。

ステップ１７１５において、逆探索マーク５０３が付与されていないと判定された場合、反時計回りの探索が実行されている。このため、ノード４０は、要求又は応答を下側に隣接するノード４０（Ａ、Ｂ−１）に送信する（１７１６）。行き先のノード４０が自ノード４０の右側に隣接するため、要求又は応答は、行き先のノード４０を反時計回りに周回する方向に送信される。

次に、ノード４０は、送信が成功したか否かを判定する（１７１７）。

ステップ１７１７において、送信が成功したと判定された場合、処理を終了する（１７１８）。

一方、ステップ１７１７において、送信が成功しなかったと判定された場合、下側に隣接するノード４０（Ａ、Ｂ−１）又はそこに至るリンク４１に障害が発生した可能性がある。したがって、ノード４０は、それ以上反時計回りの探索をすることができない。そこで、ノード４０は、探索カウントの値を「１」とし、逆探索マーク５０３を付与して（１７１９）、要求又は応答を上側に隣接するノード４０（Ａ、Ｂ＋１）に送信する（１７２０）。行き先のノード４０が自ノード４０の右側に隣接するため、要求又は応答は、行き先のノード４０を時計回りに周回する方向に送信される。このようにして、時計回りの探索が開始される。

ノード４０（Ａ、Ｂ＋１）及びノード４０（Ａ、Ｂ−１）は、共に、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る二番目に短い経路上にある。

ステップ１７１５において、逆探索マーク５０３が付与されていると判定された場合、時計回りの探索が実行されている。このため、ノード４０は、ステップ１７１６からステップ１７１９までを実行せず、ステップ１７２０を実行する。

次に、ノード４０は、送信が成功したか否かを判定する（１７２１）。

ステップ１７２１において、送信が成功したと判定された場合、処理を終了する（１７２２）。

一方、ステップ１７２１において、送信が成功しなかったと判定された場合、反時計回り又は時計回りのいずれの方向の探索も、それ以上することができない。このため、ノード４０は、伝送不能障害を報告し（１７１１）、処理を終了する（１７１２）。

図１８は、本発明の第１の実施の形態の障害を考慮したルーティングアルゴリズムにおいて、要求又は応答に迂回マーク５０２が付与されていた場合に実行される処理のフローチャートである。

迂回マーク５０２が付与された要求又は応答は、障害を回避するように送信されている。しかし、このような要求又は応答を受信したノード４０が、通常の処理によって送信先を決定すると、この要求又は応答が、再び元のノード４０（迂回マーク５０２が付与された要求又は応答の送信元のノード４０）に戻されてしまう場合がある。したがって、迂回マーク５０２が付与された要求又は応答を受信したノード４０が、受信した要求又は応答を、送信元のノード４０に送信しないために、図１８の処理が実行される。

図１０のステップ１０１０において、受信した要求又は応答に迂回マーク５０２が付与されていると判定された場合、当該要求又は応答は、障害を迂回するように送信されている。この場合、ノード４０は、付与されている迂回マーク５０２を消去する（１８０１）。具体的には、受信した要求又は応答のパケット５０の迂回マーク５０２の値を「無効」にする。

次に、ノード４０は、Ａ＝ａであるか否かを判定する（１８０２）。

ステップ１８０２において、Ａ＝ａであると判定された場合、行き先のノード４０は、自ノード４０と同じ列にある。しかし、図１５のステップ１５２６、１５２９、１５３０及び１５３３に示すように、迂回マーク５０２が付与された要求又は応答は、行き先のノード４０と異なる列のノード４０に送信される。従って、ステップ１８０２においてＡ＝ａであると判定された場合、付与された迂回マーク５０２は不正なものである。このため、ノード４０は、不正な迂回マーク５０２を報告して（１８０３）、処理を終了する（１８０４）。この場合の報告先は、伝送不能障害の報告先と同じであってもよい。

一方、ステップ１８０２において、Ａ＝ａでないと判定された場合、行き先のノード４０は、自ノード４０と異なる列にある。この場合、ノード４０は、Ｂ＝ｂであるか否かを判定する（１８０５）。

ステップ１８０５において、Ｂ＝ｂであると判定された場合、行き先のノード４０は、自ノード４０と同じ行にある。しかし、図１６のステップ１６２６、１６２９、１６３０及び１６３３に示すように、迂回マーク５０２が付与された要求又は応答は、行き先のノード４０と異なる行のノード４０に送信される。従って、ステップ１８０５においてＢ＝ｂであると判定された場合、付与された迂回マーク５０２は不正なものである。このため、ノード４０は、不正な迂回マーク５０２を報告して（１８０３）、処理を終了する（１８０４）。

一方、ステップ１８０５において、Ｂ＝ｂでないと判定された場合、行き先のノード４０は、自ノード４０と異なる行にある。この場合、ノード４０は、Ａ＜ａであるか否かを判定する（１８０６）。

ステップ１８０６において、Ａ＜ａであると判定された場合、行き先のノード４０は、自ノード４０の右側にある。この場合、図１９のステップ１９０１に進む（１１）。

一方、ステップ１８０６において、Ａ＜ａでないと判定された場合、行き先のノード４０は、自ノード４０の左側にある。この場合、ノード４０は、Ｂ＜ｂであるか否かを判定する（１８０７）。

Ｂ＜ｂである場合、行き先のノード４０は、自ノード４０の上側にある。ステップ１８０７においてＢ＜ｂであると判定された場合、ステップ１８０６でＡ＜ａでないと判定されていることから、行き先のノード４０は、自ノード４０の左上側にある。

この場合、ノード４０は、受信した要求又は応答の送信元のノード４０を特定する。まず、受信した要求又は応答が自ノード４０の左側に隣接するノード４０から送信されたか否かを判定する（１８０８）。具体的には、送信元のノード４０のアドレスを（Ｃ、Ｄ）としたとき、（Ｃ、Ｄ）＝（Ａ−１、Ｂ）であるか否かを判定する。

ステップ１８０８において、（Ｃ、Ｄ）＝（Ａ−１、Ｂ）であると判定された場合、受信した要求又は応答が自ノード４０の左側に隣接するノード４０から送信されている。この場合、ノード４０は、要求又は応答を上側に隣接するノード４０（Ａ、Ｂ＋１）に送信する（１８０９）。その結果、ノード４０は、要求又は応答を、送信元のノード４０（Ａ−１、Ｂ）に送信しない。

次に、ノード４０は、送信が成功したか否かを判定する（１８１０）。

ステップ１８１０において、送信が成功したと判定された場合、処理を終了する（１８１１）。

一方、ステップ１８１０において、送信が成功しなかったと判定された場合、迂回をすることができないため、伝送不能障害を報告して（１８１２）、処理を終了する（１８１３）。

ステップ１８０８において、（Ｃ、Ｄ）＝（Ａ−１、Ｂ）でないと判定された場合、ノード４０は、受信した要求又は応答が自ノード４０の上側に隣接するノード４０から送信されたか否かを判定する（１８１４）。具体的には、送信元のノード４０のアドレスを（Ｃ、Ｄ）としたとき、（Ｃ、Ｄ）＝（Ａ、Ｂ＋１）であるか否かを判定する。

ステップ１８１４において、（Ｃ、Ｄ）＝（Ａ、Ｂ＋１）であると判定された場合、受信した要求又は応答が自ノード４０の上側に隣接するノード４０から送信されている。この場合、ノード４０は、要求又は応答を左側に隣接するノード４０（Ａ−１、Ｂ）に送信する（１８１５）。その結果、ノード４０は、要求又は応答を、送信元のノード４０（Ａ、Ｂ＋１）に送信しない。

次に、ノード４０は、送信が成功したか否かを判定する（１８１０）。ステップ１８１０以降の処理は、上記で説明した通りであるので、説明を省略する。

ステップ１８１４において、（Ｃ、Ｄ）＝（Ａ、Ｂ＋１）でないと判定された場合、受信した要求又は応答が自ノード４０の上側に隣接するノード４０から送信されていない。

迂回マーク５０２が付与された要求又は応答は、行き先のノード４０と同一の行又は同一の列のノード４０から、行き先のノード４０と異なる行かつ異なる列のノード４０に送信される（図１５及び図１６参照）。したがって、迂回マーク５０２が付与された要求又は応答を受信した自ノード４０が、行き先のノード４０の右下側にある（すなわち、行き先のノード４０が自ノード４０の左上側にある）場合、その要求又は応答を送信したノード４０は、受信した自ノード４０の左側又は上側に隣接するはずである。

しかし、ステップ１８１４において（Ｃ、Ｄ）＝（Ａ、Ｂ＋１）でないと判定された場合、受信した要求又は応答は、自ノード４０の上側に隣接するノード４０又は左側に隣接するノード４０のいずれから送信されたものでもない。このため、ノード４０は、不正な迂回マーク５０２を報告して（１８１６）、処理を終了する（１８１７）。

ステップ１８０７において、Ｂ＜ｂでないと判定された場合、行き先のノード４０は、自ノード４０の左下側にある。

この場合、ノード４０は、受信した要求又は応答の送信元のノード４０を特定する。まず、受信した要求又は応答が自ノード４０の下側に隣接するノード４０から送信されたか否かを判定する（１８１８）。具体的には、送信元のノード４０のアドレスを（Ｃ、Ｄ）としたとき、（Ｃ、Ｄ）＝（Ａ、Ｂ−１）であるか否かを判定する。

ステップ１８１８において、（Ｃ、Ｄ）＝（Ａ、Ｂ−１）であると判定された場合、受信した要求又は応答が自ノード４０の下側に隣接するノード４０から送信されている。この場合、ノード４０は、要求又は応答を左側に隣接するノード４０（Ａ−１、Ｂ）に送信する（１８１９）。その結果、ノード４０は、要求又は応答を、送信元のノード４０（Ａ、Ｂ−１）に送信しない。

次に、ノード４０は、送信が成功したか否かを判定する（１８１０）。ステップ１８１０以降の処理は、上記で説明した通りであるので、説明を省略する。

ステップ１８１８において、（Ｃ、Ｄ）＝（Ａ、Ｂ−１）でないと判定された場合、ノード４０は、受信した要求又は応答が自ノード４０の左側に隣接するノード４０から送信されたか否かを判定する（１８２０）。具体的には、送信元のノード４０のアドレスを（Ｃ、Ｄ）としたとき、（Ｃ、Ｄ）＝（Ａ−１、Ｂ）であるか否かを判定する。

ステップ１８２０において、（Ｃ、Ｄ）＝（Ａ−１、Ｂ）であると判定された場合、受信した要求又は応答が自ノード４０の左側に隣接するノード４０から送信されている。この場合、ノード４０は、要求又は応答を下側に隣接するノード４０（Ａ、Ｂ−１）に送信する（１８２１）。その結果、ノード４０は、要求又は応答を、送信元のノード４０（Ａ−１、Ｂ）に送信しない。

次に、ノード４０は、送信が成功したか否かを判定する（１８１０）。ステップ１８１０以降の処理は、上記で説明した通りであるので、説明を省略する。

ステップ１８２０において、（Ｃ、Ｄ）＝（Ａ−１、Ｂ）でないと判定された場合、受信した要求又は応答が自ノード４０の左側に隣接するノード４０から送信されていない。

迂回マーク５０２が付与された要求又は応答を受信した自ノード４０が、行き先のノード４０の右上側にある（すなわち、行き先のノード４０が自ノード４０の左下側にある）場合、その要求又は応答を送信したノード４０は、受信した自ノード４０の左側又は下側に隣接するはずである。しかし、ステップ１８２０において（Ｃ、Ｄ）＝（Ａ−１、Ｂ）でないと判定された場合、受信した要求又は応答は、自ノード４０の左側に隣接するノード４０又は下側に隣接するノード４０のいずれから送信されたものでもない。このため、ノード４０は、不正な迂回マーク５０２を報告して（１８２２）、処理を終了する（１８２３）。

図１９は、本発明の第１の実施の形態の障害を考慮したルーティングアルゴリズムにおいて、要求又は応答に迂回マーク５０２が付与されていた場合であって、行き先のノード４０が自ノード４０の右側にある場合に実行される処理のフローチャートである。

図１８のステップ１８０６において、Ａ＜ａであると判定された場合、行き先のノード４０は、自ノード４０の右側にある。この場合、ノード４０は、Ｂ＜ｂであるか否かを判定する（１９０１）。

Ｂ＜ｂである場合、行き先のノード４０は、自ノード４０の上側にある。ステップ１９０１においてＢ＜ｂであると判定された場合、ステップ１８０６でＡ＜ａであると判定されていることから、行き先のノード４０は、自ノード４０の右上側にある。

この場合、ノード４０は、受信した要求又は応答の送信元のノード４０を特定する。まず、受信した要求又は応答が自ノード４０の右側に隣接するノード４０から送信されたか否かを判定する（１９０２）。具体的には、送信元のノード４０のアドレスを（Ｃ、Ｄ）としたとき、（Ｃ、Ｄ）＝（Ａ＋１、Ｂ）であるか否かを判定する。

ステップ１９０２において、（Ｃ、Ｄ）＝（Ａ＋１、Ｂ）であると判定された場合、受信した要求又は応答が自ノード４０の右側に隣接するノード４０から送信されている。この場合、ノード４０は、要求又は応答を上側に隣接するノード４０（Ａ、Ｂ＋１）に送信する（１９０３）。その結果、ノード４０は、要求又は応答を、送信元のノード４０（Ａ＋１、Ｂ）に送信しない。

次に、ノード４０は、送信が成功したか否かを判定する（１９０４）。

ステップ１９０４において、送信が成功したと判定された場合、処理を終了する（１９０５）。

一方、ステップ１９０４において、送信が成功しなかったと判定された場合、迂回をすることができないため、伝送不能障害を報告して（１９０６）、処理を終了する（１９０７）。

ステップ１９０２において、（Ｃ、Ｄ）＝（Ａ＋１、Ｂ）でないと判定された場合、ノード４０は、受信した要求又は応答が自ノード４０の上側に隣接するノード４０から送信されたか否かを判定する（１９０８）。具体的には、送信元のノード４０のアドレスを（Ｃ、Ｄ）としたとき、（Ｃ、Ｄ）＝（Ａ、Ｂ＋１）であるか否かを判定する。

ステップ１９０８において、（Ｃ、Ｄ）＝（Ａ、Ｂ＋１）であると判定された場合、受信した要求又は応答が自ノード４０の上側に隣接するノード４０から送信されている。この場合、ノード４０は、要求又は応答を右側に隣接するノード４０（Ａ＋１、Ｂ）に送信する（１９０９）。その結果、ノード４０は、要求又は応答を、送信元のノード４０（Ａ、Ｂ＋１）に送信しない。

次に、ノード４０は、送信が成功したか否かを判定する（１９０４）。ステップ１９０４以降の処理は、上記で説明した通りであるので、説明を省略する。

ステップ１９０８において、（Ｃ、Ｄ）＝（Ａ、Ｂ＋１）でないと判定された場合、受信した要求又は応答が自ノード４０の上側に隣接するノード４０から送信されていない。

迂回マーク５０２が付与された要求又は応答を受信した自ノード４０が、行き先のノード４０の左下側にある（すなわち、行き先のノード４０が自ノード４０の右上側にある）場合、その要求又は応答を送信したノード４０は、受信した自ノード４０の右側又は上側に隣接するはずである。

しかし、ステップ１９０８において（Ｃ、Ｄ）＝（Ａ、Ｂ＋１）でないと判定された場合、受信した要求又は応答は、自ノード４０の上側に隣接するノード４０又は右側に隣接するノード４０のいずれから送信されたものでもない。このため、ノード４０は、不正な迂回マーク５０２を報告して（１９１０）、処理を終了する（１９１１）。

ステップ１９０１において、Ｂ＜ｂでないと判定された場合、行き先のノード４０は、自ノード４０の右下側にある。

この場合、ノード４０は、受信した要求又は応答の送信元のノード４０を特定する。まず、受信した要求又は応答が自ノード４０の下側に隣接するノード４０から送信されたか否かを判定する（１９１２）。具体的には、送信元のノード４０のアドレスを（Ｃ、Ｄ）としたとき、（Ｃ、Ｄ）＝（Ａ、Ｂ−１）であるか否かを判定する。

ステップ１９１２において、（Ｃ、Ｄ）＝（Ａ、Ｂ−１）であると判定された場合、受信した要求又は応答が自ノード４０の下側に隣接するノード４０から送信されている。この場合、ノード４０は、要求又は応答を右側に隣接するノード４０（Ａ＋１、Ｂ）に送信する（１９１３）。その結果、ノード４０は、要求又は応答を、送信元のノード４０（Ａ、Ｂ−１）に送信しない。

次に、ノード４０は、送信が成功したか否かを判定する（１９０４）。ステップ１９０４以降の処理は、上記で説明した通りであるので、説明を省略する。

ステップ１９１２において、（Ｃ、Ｄ）＝（Ａ、Ｂ−１）でないと判定された場合、ノード４０は、受信した要求又は応答が自ノード４０の右側に隣接するノード４０から送信されたか否かを判定する（１９１４）。具体的には、送信元のノード４０のアドレスを（Ｃ、Ｄ）としたとき、（Ｃ、Ｄ）＝（Ａ＋１、Ｂ）であるか否かを判定する。

ステップ１９１４において、（Ｃ、Ｄ）＝（Ａ＋１、Ｂ）であると判定された場合、受信した要求又は応答が自ノード４０の右側に隣接するノード４０から送信されている。この場合、ノード４０は、要求又は応答を下側に隣接するノード４０（Ａ、Ｂ−１）に送信する（１９１５）。その結果、ノード４０は、要求又は応答を、送信元のノード４０（Ａ＋１、Ｂ）に送信しない。

次に、ノード４０は、送信が成功したか否かを判定する（１９０４）。ステップ１９０４以降の処理は、上記で説明した通りであるので、説明を省略する。

ステップ１９１４において、（Ｃ、Ｄ）＝（Ａ＋１、Ｂ）でないと判定された場合、受信した要求又は応答が自ノード４０の右側に隣接するノード４０から送信されていない。

迂回マーク５０２が付与された要求又は応答を受信した自ノード４０が、行き先のノード４０の左上側にある（すなわち、行き先のノード４０が自ノード４０の右下側にある）場合、その要求又は応答を送信したノード４０は、受信した自ノード４０の右側又は下側に隣接するはずである。しかし、ステップ１９１４において（Ｃ、Ｄ）＝（Ａ＋１、Ｂ）でないと判定された場合、受信した要求又は応答は、自ノード４０の右側に隣接するノード４０又は下側に隣接するノード４０のいずれから送信されたものでもない。このため、ノード４０は、不正な迂回マーク５０２を報告して（１９１６）、処理を終了する（１９１７）。

図２０は、本発明の第１の実施の形態において実行される探索の例の説明図である。

図２０は、例として、探索カウント５０４の値が０より大きく、迂回マーク５０２が付与されておらず、行き先のノード４０（ａ、ｂ）と自ノード４０（Ａ、Ｂ）の位置関係がＡ＝ａ＋１かつＢ＝ｂ−１（ａ＝Ａ−１かつｂ＝Ｂ＋１）である場合のパケット５０の送信先を示す。以下の説明において、図１０、図１１及び図１３が参照される。

ノード４０（Ａ、Ｂ）が隣接するノード４０からパケット５０を受信すると（１００５）、Ａ＝ａかつＢ＝ｂを満たさず（１００９）、迂回マーク５０２が付与されていないため（１０１０）、処理は図１１のステップ１１０１に進む。

探索カウント＞０であるため（１１０３）、処理は図１３のステップ１３０１に進む。

Ａ＜ａではなく（１３０２）、Ｂ＜ｂである（１３０３）ため、処理はステップ１３０４に進む。

パケット５０に逆探索マーク５０３が付与されていない場合（１３０４）、ノード４０（Ａ、Ｂ）は、パケット５０を上側に隣接するノード４０（Ａ、Ｂ＋１）に送信する（１３０５）。

一方、パケット５０に逆探索マーク５０３が付与されている場合（１３０４）、ノード４０（Ａ、Ｂ）は、パケット５０を左側に隣接するノード４０（Ａ−１、Ｂ）に送信する（１３０９）。

また、ステップ１３０５の送信に失敗した場合（１３０６）、ノード４０（Ａ、Ｂ）は、パケット５０に逆探索マーク５０３を付与し（１３０８）、そのパケット５０を左側に隣接するノード４０（Ａ−１、Ｂ）に送信する（１３０９）。

図２１は、本発明の第１の実施の形態において実行される探索の別の例の説明図である。

図２１は、例として、探索カウント５０４の値が０より大きく、迂回マーク５０２が付与されておらず、行き先のノード４０（ａ、ｂ）と自ノード４０（Ａ、Ｂ）の位置関係がＡ＝ａかつＢ＝ｂ＋１（ｂ＝Ｂ−１）である場合のパケット５０の送信先を示す。さらに、図２１の例では、行き先のノード４０（ａ、ｂ）と自ノード４０（Ａ、Ｂ）の間のリンク４１に障害が発生している。以下の説明において、図１０、図１１及び図１５が参照される。

なお、自ノード４０（Ａ、Ｂ）の左側に隣接するノード４０（Ａ−１、Ｂ）及び右側に隣接するノード４０（Ａ＋１、Ｂ）は、共に、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る二番目に短い経路上にある。

ノード４０（Ａ、Ｂ）が隣接するノード４０からパケット５０を受信して図１０の処理が開始すると（１００５）、Ａ＝ａかつＢ＝ｂを満たさず（１００９）、迂回マーク５０２が付与されていないため（１０１０）、処理は図１１のステップ１１０１に進む。

Ａ＝ａであるため（１１０１）、処理は図１５のステップ１５０１に進む。

Ｂ＜ｂでないため（１５０１）、ノード４０（Ａ、Ｂ）は、パケット５０を下側に隣接ずるノード４０（Ａ、Ｂ−１）に送信する（１５０６）。

ステップ１５０６の送信に成功すれば処理が終了するが（１５０７、１５０８）、図２１の例では、リンク４１の障害のため、送信に失敗する。

Ｂ−１＝ｂであるため（１５０９）、探索カウント５０４の値を１増加させる（１５１０）。

探索カウント５０４の値が８より大きい場合（１５１１）、行き先のノード４０（ａ、ｂ）に至る全てのリンク４１において送信が失敗したため、伝送不能障害が報告され（１５２０）、処理が終了する（１５２１）。

探索カウント５０４の値が８以下であり（１５１１）、逆探索マーク５０３が付与されていない場合（１５１２）、ノード４０（Ａ、Ｂ）は、左側に隣接するノード４０（Ａ−１、Ｂ）にパケット５０を送信する（１５１３）。

一方、逆探索マーク５０３が付与されている場合（１５１２）、ノード４０（Ａ、Ｂ）は、右側に隣接するノード４０（Ａ＋１、Ｂ）にパケット５０を送信する（１５１７）。

ステップ１５１３の送信に失敗した場合（１５１４）、ノード４０（Ａ、Ｂ）は、パケット５０に逆探索マーク５０３を付与し（１５１６）、右側に隣接するノード４０（Ａ＋１、Ｂ）に送信する（１５１７）。

図２２は、本発明の第１の実施の形態において、ノード４０がパケット５０に迂回マーク５０２を付与する処理の説明図である。

図２２の例は、行き先のノード４０（ａ、ｂ）が自ノード４０（Ａ、Ｂ）と同じ行にあり、かつ、隣接しない場合（すなわち、Ｂ＝ｂ、Ａ＜ａであり、かつ、Ａ＋１＝ａでない場合）を示す。また、自ノード４０（Ａ、Ｂ）とその右側に隣接するノード４０（Ａ＋１、Ｂ）の間のリンク４１に障害が発生している。さらに、ノード４０（Ａ、Ｂ）とノード４０（Ａ、Ｂ＋１）との間の通信量γは、ノード４０（Ａ、Ｂ）とノード４０（Ａ、Ｂ−１）との間の通信量δより小さい。以下の説明において、図１０、図１１及び図１６が参照される。

なお、自ノード４０（Ａ、Ｂ）の上側に隣接するノード４０（Ａ、Ｂ＋１）及び下側に隣接するノード４０（Ａ、Ｂ−１）は、共に、自ノード４０（Ａ、Ｂ）から行き先のノード４０（ａ、ｂ）に至る二番目に短い経路上にある。

図１０の処理が開始すると、Ａ＝ａかつＢ＝ｂを満たさず（１００９）、迂回マーク５０２が付与されていないため（１０１０）、処理は図１１のステップ１１０１に進む。

Ａ＝ａでないが、Ｂ＝ｂであるため、処理は図１６のステップ１６０１に進む。

Ａ＜ａであるため、ノード４０（Ａ、Ｂ）は、パケット５０を右側に隣接するノード４０（Ａ＋１、Ｂ）に送信する（１６０２）。

ステップ１６０２の送信に成功すれば処理が終了するが（１６０３、１６０４）、図２２の例では、リンク４１の障害のため、送信に失敗する。

Ａ＋１＝ａでないため（１６０５）、ノード４０（Ａ、Ｂ）は、パケット５０に迂回マーク５０２を付与する（１６２２）。

通信量γが通信量δより小さいため（１６２５）、ノード４０（Ａ、Ｂ）は、上側に隣接するノード４０（Ａ、Ｂ＋１）にパケット５０を送信する（１６２６）。図２２の例では、ステップ１６２６の送信に成功して（１６２７）、処理が終了する（１６２８）。

図２３は、本発明の第１の実施の形態において、迂回マーク５０２が付与されたパケット５０を受信したノード４０が実行する処理の説明図である。

図２３の例は、図２２の例において送信されたパケット５０を受信したノード４０によって実行される処理を示す。図２３のノード４０（Ａ、Ｂ）は、図２２のノード４０（Ａ、Ｂ＋１）に相当する。以下の説明において、図１０、図１８及び図１９が参照される。

ノード４０（Ａ、Ｂ）が下側に隣接するノード４０（Ａ、Ｂ−１）からパケット５０を受信して図１０の処理が開始すると（１００５）、Ａ＝ａかつＢ＝ｂを満たさず（１００９）、迂回マーク５０２が付与されているため（１０１０）、処理は図１８のステップ１８０１に進む。

ノード４０（Ａ、Ｂ）は、パケット５０に付与された迂回マーク５０２を消去する（１８０１）。

Ａ＝ａでなく（１８０２）、Ｂ＝ｂでなく（１８０５）、Ａ＜ａである（１８０６）ため、処理は図１９のステップ１９０１に進む。

Ｂ＜ｂでなく（１９０１）、パケット５０はノード４０（Ａ、Ｂ）の下側に隣接するノード４０（Ａ、Ｂ−１）から送信されている（１９１２）。このため、ノード４０（Ａ、Ｂ）は、パケット５０を送信元のノード４０（Ａ、Ｂ−１）に送信せず、右側に隣接するノード４０（Ａ＋１、Ｂ）に送信する（１９１３）。

以上の本発明の第１の実施の形態によれば、ホスト計算機及びディスクドライブ１０４が接続されたノード４０が、リンク４１によって二次元の格子状に接続される。このため、任意の数のノード４０を接続することによって任意の規模のストレージシステムを構成することができる。

図２４は、本発明の第２の実施の形態のストレージシステムの構成を示すブロック図である。

本実施の形態のストレージシステムは、複数のストレージ制御部２４００及び複数のディスクドライブ１０４によって構成される。

ストレージ制御部２４００は、６ポートスイッチ１０２の代わりに８ポートスイッチ２４０１を備えることを除いて、本発明の第１の実施の形態のストレージ制御部１０（図１参照）と同じである。このため、本実施の形態において、本発明の第１の実施の形態と同様の部分については、説明を省略する。

図２４には、８個のストレージ制御部２４００Ａ〜２４００Ｈを示すが、本実施の形態のストレージシステムは、任意の数のストレージ制御部２４００を含むことができる。

ストレージ制御部２４００は、ホスト接続制御部１０１、８ポートスイッチ２４０１及びドライブ制御部１０３を備える。

８ポートスイッチ２４０１は、同じストレージ制御部２４００内のホスト接続制御部１０１、同じストレージ制御部２４００内のドライブ制御部１０３、隣接するストレージ制御部２４００内のホスト接続制御部１０１、隣接するストレージ制御部２４００内のドライブ制御部１０３及び他のストレージ制御部２４００内の８ポートスイッチ２４０１と接続され、これらの間の接続を切り替えるスイッチである。８ポートスイッチ２４０１は、８個のポート（図示省略）を備え、各ポートがそれぞれ一つのホスト接続制御部１０１、ドライブ制御部１０３又は他の８ポートスイッチ２４０１と接続される。

例えば、ストレージ制御部２４００Ｂ内の８ポートスイッチ２４０１Ｂの各ポートには、それぞれ、接続線２４１０Ａ〜２４１０Ｈが接続される。

接続線２４１０Ａは、図２４に示さない他のストレージ制御部２４００内の８ポートスイッチ２４０１に接続される。

接続線２４１０Ｂは、ストレージ制御部２４００Ａ内のホスト接続制御部１０１Ａに接続される。

接続線２４１０Ｃは、ストレージ制御部２４００Ｂ内のホスト接続制御部１０１Ｂに接続される。

接続線２４１０Ｄは、図２４に示さない他のストレージ制御部２４００内の８ポートスイッチ２４０１に接続される。

接続線２４１０Ｅは、ストレージ制御部２４００Ｄ内の８ポートスイッチ２４０１Ｄに接続される。

接続線２４１０Ｆは、ストレージ制御部２４００Ｆ内の８ポートスイッチ２４０１Ｆに接続される。

接続線２４１０Ｇは、ストレージ制御部２４００Ｂ内のドライブ制御部１０３Ｂに接続される。

接続線２４１０Ｈは、ストレージ制御部２４００Ａ内のドライブ制御部１０３Ａに接続される。

同様にして、ストレージ制御部２４００Ａ内の８ポートスイッチ２４０１Ａの各ポートには、それぞれ、接続線２４１０Ｊ〜２４１０Ｎ、２４１０Ｐ〜２４１０Ｒが接続される。

接続線２４１０Ｊは、図２４に示さない他のストレージ制御部２４００内の８ポートスイッチ２４０１に接続される。

接続線２４１０Ｋは、図２４に示さない他のストレージ制御部２４００内の８ポートスイッチ２４０１に接続される。

接続線２４１０Ｌは、ストレージ制御部２４００Ａ内のホスト接続制御部１０１Ａに接続される。

接続線２４１０Ｍは、ストレージ制御部２４００Ｂ内のホスト接続制御部１０１Ｂに接続される。

接続線２４１０Ｎは、ストレージ制御部２４００Ｃ内の８ポートスイッチ２４０１Ｃに接続される。

接続線２４１０Ｐは、ストレージ制御部２４００Ｂ内のドライブ制御部１０３Ｂに接続される。

接続線２４１０Ｑは、ストレージ制御部２４００Ａ内のドライブ制御部１０３Ａに接続される。

接続線２４１０Ｒは、ストレージ制御部２４００Ｅ内の８ポートスイッチ２４０１Ｅに接続される。

本実施の形態では、一つのノード４０（図４参照）が二つのストレージ制御部２４００に相当する。また、一つのリンク４１が二つの接続線２４１０に相当する。

例えば、図４のノード４０（１、１）がストレージ制御部２４００Ａ及び２４００Ｂに相当する場合、リンク４１Ａは、接続線２４１０Ａ及び２４１０Ｊに相当する。リンク４１Ｂは、接続線２４１０Ｄ及び２４１０Ｋに相当する。リンク４１Ｃは、接続線２４１０Ｅ及び２４１０Ｎに相当する。リンク４１Ｄは、接続線２４１０Ｆ及び２４１０Ｒに相当する。

この場合、図４のノード４０（２、１）は、ストレージ制御部２４００Ｃ及び２４００Ｄに相当する。このとき、ノード４０（１、１）の８ポートスイッチ２４０１Ａは、接続線２４１０Ｎによって、ノード４０（２、１）の８ポートスイッチ２４０１Ｃと接続される。一方、ノード４０（１、１）の８ポートスイッチ２４０１Ｂは、接続線２４１０Ｅによって、ノード４０（２、１）の８ポートスイッチ２４０１Ｄと接続される。

本実施の形態のノード４０は、本発明の第１の実施の形態と同様、パケット５０（図５参照）を送受信する。本実施の形態には、本発明の第１の実施の形態と同じルーティングアルゴリズム（図６〜図２３参照）が適用される。

本実施の形態によれば、各ノード４０及びリンク４１が二重化されるため、本発明の第１の実施の形態と比較して、耐障害性が向上する。

図２５は、本発明の第３の実施の形態のストレージシステムの構成を示すブロック図である。

本実施の形態のストレージシステムは、複数のストレージ制御部２５００及び複数のディスクドライブ１０４によって構成される。

ストレージ制御部２５００は、６ポートスイッチ１０２の代わりに１０ポートスイッチ２５０１を備えることを除いて、本発明の第１の実施の形態のストレージ制御部１０（図１参照）と同じである。このため、本実施の形態において、本発明の第１の実施の形態と同様の部分については、説明を省略する。

図２５には、８個のストレージ制御部２５００Ａ〜２５００Ｈを示すが、本実施の形態のストレージシステムは、任意の数のストレージ制御部２５００を含むことができる。

ストレージ制御部２５００は、ホスト接続制御部１０１、１０ポートスイッチ２５０１及びドライブ制御部１０３を備える。

１０ポートスイッチ２５０１は、同じストレージ制御部２５００内のホスト接続制御部１０１、同じストレージ制御部２５００内のドライブ制御部１０３及び他のストレージ制御部２５００内の１０ポートスイッチ２５０１と接続され、これらの間の接続を切り替えるスイッチである。１０ポートスイッチ２５０１は、１０個のポート（図示省略）を備え、各ポートがそれぞれ一つのホスト接続制御部１０１、ドライブ制御部１０３又は他の１０ポートスイッチ２５０１と接続される。

例えば、ストレージ制御部２５００Ｂ内の１０ポートスイッチ２５０１Ｂの各ポートには、それぞれ、接続線２５１０Ａ〜２５１０Ｈ、２５１０Ｊ及び２５１０Ｋが接続される。

接続線２５１０Ａは、ストレージ制御部２５００Ａ内の１０ポートスイッチ２５０１Ａに接続される。

接続線２５１０Ｂは、図２５に示さない他のストレージ制御部２５００内の１０ポートスイッチ２５０１に接続される。

接続線２５１０Ｃは、ストレージ制御部２５００Ｂ内のホスト接続制御部１０１Ｂに接続される。

接続線２５１０Ｄは、図２５に示さない他のストレージ制御部２５００内の１０ポートスイッチ２５０１に接続される。

接続線２５１０Ｅは、図２５に示さない他のストレージ制御部２５００内の１０ポートスイッチ２５０１に接続される。

接続線２５１０Ｆは、ストレージ制御部２５００Ｃ内の１０ポートスイッチ２５０１Ｃに接続される。

接続線２５１０Ｇは、ストレージ制御部２５００Ｇ内の１０ポートスイッチ２５０１Ｇに接続される。

接続線２５１０Ｈは、ストレージ制御部２５００Ｆ内の１０ポートスイッチ２５０１Ｆに接続される。

接続線２５１０Ｊは、ストレージ制御部２５００Ｂ内のドライブ制御部１０３Ｂに接続される。

接続線２５１０Ｋは、ストレージ制御部２５００Ｅ内の１０ポートスイッチ２５０１Ｅに接続される。

本実施の形態では、一つのノード４０（図４参照）が一つのストレージ制御部２５００に相当する。また、一つのリンク４１が一つの接続線２５１０に相当する。

例えば、図４のノード４０（１、１）がストレージ制御部２５００Ｂに相当する場合、リンク４１Ａ、４１Ｂ、４１Ｃ及び４１Ｄは、それぞれ、接続線２５１０Ａ、２５１０Ｄ、２５１０Ｆ及び２５１０Ｈに相当する。

さらに、図４には示さないが、接続線２５１０Ｂは、ノード４０（１、１）とノード４０（０、２）とを接続する斜め方向のリンクである。同様に、接続線２５１０Ｅはノード４０（１、１）とノード４０（２、２）とを接続する斜め方向のリンク、接続線２５１０Ｇはノード４０（１、１）とノード４０（２、０）とを接続する斜め方向のリンク、接続線２５１０Ｋはノード４０（１、１）とノード４０（０、０）とを接続する斜め方向のリンクである。

本実施の形態のノード４０は、本発明の第１の実施の形態と同様、パケット５０（図５参照）を送受信する。

本実施の形態には、本発明の第１の実施の形態と同じルーティングアルゴリズム（図６〜図２３参照）が適用されてもよいが、上記の斜め方向のリンクを利用した別のアルゴリズムが適用されてもよい。

本実施の形態によれば、上記の斜め方向のリンクを利用することによって、本発明の第１の実施の形態と比較して、耐障害性が向上する。さらに、斜め方向のノード４０が直接接続されることによって、これらのノード４０間のデータ転送性能が向上する。

図２６は、本発明の第４の実施の形態のストレージシステムの構成を示すブロック図である。

図２６の構成は、本発明の第２の実施の形態のストレージ制御部２４００の一部をフロントエンド制御部２６００によって置き換えたものである。

フロントエンド制御部２６００は、ストレージ制御部２４００内のドライブ制御部１０３をホスト接続制御部１０１によって置き換えたものである。すなわち、フロントエンド制御部２６００には、ホスト計算機のみが接続され、ディスクドライブ１０４は接続されない。

本実施の形態では、各ストレージ制御部２４００及び各フロントエンド制御部２６００が８ポートスイッチ２４０１を備える。このため、本発明の第２の実施の形態（図２４参照）と同様、二つのストレージ制御部２４００が一つのノード４０（ストレージノード）を構成する。同様にして、二つのフロントエンド制御部２６００が一つのノード４０（フロントエンドノード）を構成する。ノード４０間の接続の形態は、図４に示す通りである。

本実施の形態のノード４０は、本発明の第１の実施の形態と同様、パケット５０（図５参照）を送受信する。本実施の形態には、本発明の第１の実施の形態と同じルーティングアルゴリズム（図６〜図２３参照）が適用される。

本実施の形態のストレージシステムは、第１の実施の形態と比較して、より多くのホスト計算機と接続することができる。通常、大規模なストレージシステムには多くのホスト計算機が接続されるため、要求されるホストＩ／Ｆ２０１の数は、要求されるドライブＩ／Ｆの数よりずっと多い。本実施の形態によれば、ストレージノードを備えることによって、多くのホスト計算機と容易に接続することができる。

図２７は、本発明の第５の実施の形態のストレージシステムの構成を示すブロック図である。

図２７の構成は、本発明の第１の実施の形態のストレージ制御部１０の全部をフロントエンド制御部２７００によって置き換えたものである。

フロントエンド制御部２７００は、ストレージ制御部１０内のドライブ制御部１０３をホスト接続制御部１０１によって置き換えたものである。すなわち、フロントエンド制御部２７００には、ホスト計算機のみが接続され、ディスクドライブ１０４は接続されない。

すなわち、本実施の形態のストレージシステム１は、ディスクドライブ１０４を含まない。ディスクドライブ１０４は、フロントエンド制御部２７００に接続されたホスト計算機２７０１に接続される。また、本実施の形態のストレージシステム１には、他のストレージシステム１を接続することもできる。

本実施の形態では、各フロントエンド制御部２７００が６ポートスイッチ１０２を備える。このため、二つのフロントエンド制御部２７００が一つのノード４０（フロントエンドノード）を構成する。ノード４０間の接続の形態は、図４に示す通りである。

本実施の形態のノード４０は、本発明の第１の実施の形態と同様、パケット５０（図５参照）を送受信する。本実施の形態には、本発明の第１の実施の形態と同じルーティングアルゴリズム（図６〜図２３参照）が適用される。

本実施の形態のストレージシステム１は、例えば、ＳＡＮ（ストレージエリアネットワーク）スイッチとして使用することができる。

本実施の形態のストレージシステム１によれば、ディスクドライブと多数のホスト計算機とを自由に接続することができる。本実施の形態のストレージシステム１は、他のホスト計算機又は他のストレージシステム１のディスクドライブを各ホスト計算機に提供する際に、それらのディスクドライブを各ホスト計算機の論理ボリュームに変換する。このため、各ホスト計算機は、物理的なディスクドライブの位置や構成に関らず、それぞれの論理ボリュームを自由かつ独立に運用することができる。

以上の本発明によれば、ホスト接続制御部及びドライブ制御部がスイッチによって接続された比較的小規模なノードが構成される。そして、任意の数のノードを二次元に数珠つなぎに接続することによって、任意の規模のストレージシステムが構成される。このため、構成されるストレージシステムの規模に制限がない。また、小規模な構成において大規模なスイッチを用意する必要がないため、小規模構成のコストが上昇しない。さらに、大規模な構成においても大規模なスイッチを必要とせず、配線が比較的単純であるため、大規模構成時の配線コストの上昇が抑制される。その結果、記憶容量あたりのコストは、規模に関らず、概ね一定に抑制される。

さらに、多数のノードが二次元の格子状に接続される構成となるため、データ転送が多数のノード間の多数のデータ転送に分散される。このため、データがノード間を伝送される場合の性能の低下が抑制される。また、ホスト計算機が接続されるノードと、アクセスされるドライブが接続されるノードが離れる場合、離れた距離（間に入るノード数）が大きいほどデータの伝達に時間がかかるが，この伝達時間は間に入ってデータ転送を経由するノードの数で決まり、急激に増大することはないため、伝達時間に急激な変化のある不均一性はなく、使い易い。

さらに、各ノードは二次元の格子状に接続されるため、データの伝送経路の冗長性が高。すなわち、伝送経路に障害が発生した場合にも交代経路が多数存在するため、耐障害性が高い。

本発明の第１の実施の形態のストレージシステムの構成を示すブロック図である。 本発明の第１の実施の形態のホスト接続制御部の構成を示すブロック図である。 本発明の第１の実施の形態のドライブ制御部の構成を示すブロック図である。 本発明の第１の実施の形態のストレージシステムの接続の説明図である。 本発明の第１の実施の形態のストレージシステムにおいて使用されるパケットの説明図である。 本発明の第１の実施の形態の基本的なルーティングアルゴリズムのフローチャートである。 本発明の第１の実施の形態の基本的なルーティングアルゴリズムにおいて、自ノードが行き先のノードでない場合に実行される処理のフローチャートである。 本発明の第１の実施の形態の基本的なルーティングアルゴリズムの適用例の説明図である。 本発明の第１の実施の形態の基本的なルーティングアルゴリズムの別の適用例の説明図である。 本発明の第１の実施の形態の障害を考慮したルーティングアルゴリズムのフローチャートである。 本発明の第１の実施の形態の障害を考慮したルーティングアルゴリズムにおいて、自ノードが行き先のノードでない場合に実行される処理のフローチャートである。 本発明の第１の実施の形態の障害を考慮したルーティングアルゴリズムにおいて、行き先のノードが自ノードの右上側又は右下側にある場合に実行される処理のフローチャートである。 本発明の第１の実施の形態の障害を考慮したルーティングアルゴリズムにおいて実行される探索の処理のフローチャートである。 本発明の第１の実施の形態の障害を考慮したルーティングアルゴリズムにおいて実行される探索の処理のうち、行き先のノードが自ノードの右上側又は右下側にある場合に実行される処理のフローチャートである。 本発明の第１の実施の形態の障害を考慮したルーティングアルゴリズムにおいて、行き先のノードが自ノードと同じ列にある場合に実行される処理のフローチャートである。 本発明の第１の実施の形態の障害を考慮したルーティングアルゴリズムにおいて、行き先のノードが自ノードと同じ行にある場合に実行される処理のフローチャートである。 本発明の第１の実施の形態の障害を考慮したルーティングアルゴリズムにおいて、行き先のノードが自ノードと同じ行又は同じ列にある場合に実行される探索の処理のフローチャートである。 本発明の第１の実施の形態の障害を考慮したルーティングアルゴリズムにおいて、要求又は応答に迂回マークが付与されていた場合に実行される処理のフローチャートである。 本発明の第１の実施の形態の障害を考慮したルーティングアルゴリズムにおいて、要求又は応答に迂回マークが付与されていた場合であって、行き先のノードが自ノードの右側にある場合に実行される処理のフローチャートである。 本発明の第１の実施の形態において実行される探索の例の説明図である。 本発明の第１の実施の形態において実行される探索の別の例の説明図である。 本発明の第１の実施の形態において、ノードがパケットに迂回マークを付与する処理の説明図である。 本発明の第１の実施の形態において、迂回マークが付与されたパケットを受信したノードが実行する処理の説明図である。 本発明の第２の実施の形態のストレージシステムの構成を示すブロック図である。 本発明の第３の実施の形態のストレージシステムの構成を示すブロック図である。 本発明の第４の実施の形態のストレージシステムの構成を示すブロック図である。 本発明の第５の実施の形態のストレージシステムの構成を示すブロック図である。

符号の説明

１０、２４００、２５００ ストレージ制御部
１０１ ホスト接続制御部
１０２ ６ポートスイッチ
１０３ ドライブ制御部
１０４ ディスクドライブ
１１０、２４１０、２５１０ 接続線
２０１ ホストＩ／Ｆ部
２０２、３０２ プロセッサ
２０３、３０３ メモリ
２０４、３０４ ローカル接続スイッチ部
３０１ ドライブＩ／Ｆ部
４０ ノード
４１ リンク
５０ パケット
２６００、２７００ フロントエンド制御部
２４０１ ８ポートスイッチ
２５０１ １０ポートスイッチ
２７０１ ホスト計算機

Claims (2)

1. ホスト計算機に接続されるストレージシステムにおいて、
   前記ストレージシステムは、複数のノードと、前記ノードに接続された複数のディスクドライブと、を備え、
   前記各ノードは、
   前記ホスト計算機に接続され、前記ホスト計算機と通信するホストインターフェース部と、
   前記ディスクドライブに接続され、前記ディスクドライブにアクセスするドライブインターフェース部と、
   前記ホストインターフェース部及び前記ドライブインターフェース部と通信するスイッチと、を備え、
   前記スイッチが他の四つの前記ノード内の前記スイッチと接続されることによって前記各ノードが二次元の格子状に接続され、
   前記各ディスクドライブは、異なる前記ノードに備わる二つの前記ドライブインターフェース部に接続され、
   前記ノードは、
   二次元のアドレスを有し、
   少なくとも、行き先の前記ノードの前記アドレス、迂回マーク、逆探索マーク、及び、初期値が０である探索カウントを含むパケットを他の前記ノードとの間で送受信し、
   前記パケットを受信すると、自ノードの前記アドレスと、前記受信したパケットに含まれる前記行き先のノードのアドレスとを比較し、
   前記自ノードのアドレスと前記行き先のノードのアドレスとが一致しない場合、前記自ノードから前記行き先のノードまでの間の最短経路上にあり、かつ、前記自ノードに隣接するノードを決定し、
   前記最短経路上にあり、かつ、前記自ノードに隣接するノードが二つ決定された場合、当該決定された二つのノードの通信量を比較し、
   当該決定された二つのノードのうち、前記通信量が小さい一方の前記ノードに前記パケットを送信し、
   当該送信に失敗した場合、当該決定された二つのノードのうち、他方の前記ノードに前記パケットを送信し、
   前記最短経路上にあり、かつ、前記自ノードに隣接するノードが一つのみ決定された場合、当該決定されたノードに前記パケットを送信し、
   当該送信に失敗した場合、前記行き先のノードが前記自ノードに隣接するか否かを判定し、
   前記行き先のノードが前記自ノードに隣接しないと判定された場合、前記迂回マークを有効にすると共に、前記自ノードから前記行き先のノードまでの間の２番目に短い経路上にあり、かつ、前記自ノードに隣接する二つのノードを決定し、
   前記決定された２番目に短い経路上にあり、かつ、前記自ノードに隣接するノードの通信量を測定し、
   前記通信量が小さい一方の前記２番目に短い経路上にあり、かつ、前記自ノードに隣接するノードに前記パケットを送信し、
   当該送信に失敗した場合、他方の前記２番目に短い経路上にあり、かつ、前記自ノードに隣接するノードに前記パケットを送信し、
   前記迂回マークが有効にされた前記パケットを受信した前記ノードは、当該パケットの前記迂回マークを無効にすると共に、前記受信したノードから前記行き先のノードまでの間の最短経路上にあり、かつ、前記受信したノードに隣接する二つのノードのうち、当該パケットを送信したノード以外のノードに当該パケットを送信し、
   前記行き先のノードが前記自ノードに隣接すると判定された場合であって、前記逆探索マークが無効である場合、前記探索カウントを１増加すると共に、当該パケットを、前記行き先のノードを周回する第１方向の前記ノードに送信し、
   前記行き先のノードに隣接しないノードは、前記探索カウントの値が１以上であり、かつ、前記逆探索マークが無効である前記パケットを受信した場合、当該パケットを前記第１方向の前記ノードに送信し、
   前記第１方向の前記ノードへの前記パケットの送信に失敗した場合、前記逆探索マークを有効とし、前記探索カウントを１に設定し、当該パケットを、前記行き先のノードを前記第１方向の反対方向に周回する第２方向の前記ノードに送信し、
   前記行き先のノードが前記自ノードに隣接すると判定された場合であって、前記逆探索マークが有効である場合、前記探索カウントを１増加すると共に、当該パケットを前記第２方向の前記ノードに送信し、
   前記行き先のノードに隣接しないノードは、前記探索カウントの値が１以上であり、かつ、前記逆探索マークが有効である前記パケットを受信した場合、当該パケットを前記第２方向の前記ノードに送信し、
   前記逆探索マークが有効であるときに前記パケットの送信に失敗した場合、及び、前記探索カウントが８を超えた場合、障害を報告することを特徴とするストレージシステム。
2. ホスト計算機に接続されるストレージシステムの制御方法であって、
   前記ストレージシステムは、複数のノードと、前記ノードに接続された複数のディスクドライブと、を備え、
   前記各ノードは、
   前記ホスト計算機に接続され、前記ホスト計算機と通信するホストインターフェース部と、
   前記ディスクドライブに接続され、前記ディスクドライブにアクセスするドライブインターフェース部と、
   前記ホストインターフェース部及び前記ドライブインターフェース部と通信するスイッチと、を備え、
   前記スイッチが他の四つの前記ノード内の前記スイッチと接続されることによって前記各ノードが二次元の格子状に接続され、
   前記各ディスクドライブは、異なる前記ノードに備わる二つの前記ドライブインターフェース部に接続され、
   前記ノードは、二次元のアドレスを有し、
   前記制御方法は、
   前記ノードが、少なくとも、行き先の前記ノードの前記アドレス、迂回マーク、逆探索マーク、及び、初期値が０である探索カウントを含むパケットを受信すると、自ノードの前記アドレスと、前記受信したパケットに含まれる前記行き先のノードのアドレスとを比較する手順と、
   前記自ノードのアドレスと前記行き先のノードのアドレスとが一致しない場合、前記自ノードから前記行き先のノードまでの間の最短経路上にあり、かつ、前記自ノードに隣接するノードを決定する手順と、
   前記最短経路上にあり、かつ、前記自ノードに隣接するノードが二つ決定された場合、当該決定された二つのノードの通信量を比較する手順と、
   当該決定された二つのノードのうち、前記通信量が小さい一方の前記ノードに前記パケットを送信する手順と、
   当該送信に失敗した場合、当該決定された二つのノードのうち、他方の前記ノードに前記パケットを送信する手順と、
   前記最短経路上にあり、かつ、前記自ノードに隣接するノードが一つのみ決定された場合、当該決定されたノードに前記パケットを送信する手順と、
   当該送信に失敗した場合、前記行き先のノードが前記自ノードに隣接するか否かを判定する手順と、
   前記行き先のノードが前記自ノードに隣接しないと判定された場合、前記迂回マークを有効にすると共に、前記自ノードから前記行き先のノードまでの間の２番目に短い経路上にあり、かつ、前記自ノードに隣接する二つのノードを決定する手順と、
   前記決定された２番目に短い経路上にあり、かつ、前記自ノードに隣接するノードの通信量を測定する手順と、
   前記通信量が小さい一方の前記２番目に短い経路上にあり、かつ、前記自ノードに隣接するノードに前記パケットを送信する手順と、
   当該送信に失敗した場合、他方の前記２番目に短い経路上にあり、かつ、前記自ノードに隣接するノードに前記パケットを送信する手順と、
   前記迂回マークが有効にされた前記パケットを受信した前記ノードは、当該パケットの前記迂回マークを無効にすると共に、前記受信したノードから前記行き先のノードまでの間の最短経路上にあり、かつ、前記受信したノードに隣接する二つのノードのうち、当該パケットを送信したノード以外のノードに当該パケットを送信する手順と、
   前記行き先のノードが前記自ノードに隣接すると判定された場合であって、前記逆探索マークが無効である場合、前記探索カウントを１増加すると共に、当該パケットを、前記行き先のノードを周回する第１方向の前記ノードに送信する手順と、
   自ノードが前記行き先のノードに隣接しない場合であって、前記探索カウントの値が１以上であり、かつ、前記逆探索マークが無効である前記パケットを受信した場合、当該パケットを前記第１方向の前記ノードに送信する手順と、
   前記第１方向の前記ノードへの前記パケットの送信に失敗した場合、前記逆探索マークを有効とし、前記探索カウントを１に設定し、当該パケットを、前記行き先のノードを前記第１方向の反対方向に周回する第２方向の前記ノードに送信する手順と、
   前記行き先のノードが前記自ノードに隣接すると判定された場合であって、前記逆探索マークが有効である場合、前記探索カウントを１増加すると共に、当該パケットを前記第２方向の前記ノードに送信する手順と、
   自ノードが前記行き先のノードに隣接しない場合であって、前記探索カウントの値が１以上であり、かつ、前記逆探索マークが有効である前記パケットを受信した場合、当該パケットを前記第２方向の前記ノードに送信する手順と、
   前記逆探索マークが有効であるときに前記パケットの送信に失敗した場合、及び、前記探索カウントが８を超えた場合、障害を報告する手順と、を含むことを特徴とするストレージシステムの制御方法。

Images