JP6885237B2 - ノード間通信装置、並列処理装置及びノード間通信経路制御方法 - Google Patents

Description

本発明は、ノード間通信装置、並列処理装置及びノード間通信経路制御方法に関する。

一般にスーパーコンピュータは、多数のノードと呼ばれる計算機をインターコネクトと呼ばれるネットワークにより相互に接続した構成をとる。インターコネクトを介した通信は、ノード内のインターコネクト制御用のユニットによって制御される。インターコネクト制御用のユニットは、ＩＣＣ（Inter Connect Controller）と呼ばれることがある。

近年、ＣＰＵ（Central Processing Unit）の高性能化により計算機の処理が著しく向上しており、これに伴いＣＰＵ間で受け渡すデータ量は増加し、インターコネクトに求められる帯域も増加傾向にある。そのため、金属配線を用いた電気通信では望む帯域を確保することが困難であり、帯域の大きな光通信を用いることがインターコネクトの主流となりつつある。光通信は、光モジュールと呼ばれる光と電気とを交換する交換素子を使用することにより実現される。光モジュールは、インターコネクト制御用のユニットと電気信号のやり取りを行う回路部分と、光信号と電気信号の変換を行う光素子部分との２つの部分に大きく分けることができる。

ノード同士を接続する経路はリンクと呼ばれる。一般に１つのリンクは、信号の送受信を行うための通信経路であるレーンを複数有する。そして、インターコネクト制御用のユニットには、リンクの数分のポートが用意されており、それぞれのポートは別々のノードに接続される。

ここで、インターコネクト制御用のユニットは、動的レーン縮退と呼ばれる機能を有する。動的レーン縮退は、あるリンクで障害が検出された際に、リンクの中で問題のあるレーンを切り離し、動作可能なレーンを用いて通信動作を継続させる機能である。例えば、特定のリンクが使用する受光素子が故障した場合で説明する。この場合、インターコネクト制御用のユニットにより、特定のリンクにおいてパケット再送回数の規定値超過などのエラーが検出される。このような通信継続が困難と判断されるエラーが検出されると、インターコネクト制御用のユニットは、特定のリンクに対してレーン縮退を実行する。レーン縮退を実行する際に、インターコネクト制御用のユニットは、レーンごとに用意されたエラーカウンタを用いて切り離すレーンを決定する。具体的には、インターコネクト制御用のユニットは、各レーンのカウント値とエラーカウンタの値を比較し、より多くのエラーが検出されたレーンを切り離し対象とする。そして、ある特定のレーンを切り離す場合、インターコネクト制御用のユニットは、例えば、切り離し対象のレーン以外のレーンを有効化するようにリンクの再初期化を実行する。

さらに、例えば、特定のリンクが２つのレーンを有する場合、既に１つのレーンが縮退されている状態で、残りのレーンにおいて通信継続が困難と判断されるエラーが検出されると、特定のリンク内には使用可能なレーンが無くなる。この場合、インターコネクト制御用のユニットは、その特定のリンク自体の無効化処理を行い、システム内計算資源からその特定のリンクを切り離す。

また、光通信は電気通信と比較して研究開発の歴史が浅く、光モジュールは、電気信号を処理し光信号を扱わない他のデバイスに比べて故障率が高い傾向にある。例えば、光モジュールには発光素子の発光が突然停止する頓死と呼ばれる特有の故障モードが存在する。さらに、近年インターコネクトの伝送容量拡大要求に応えるかたちで光モジュールの小型化及び高密度化が進んでおり、通信速度の高速化と相まって光モジュールの発熱量は増加傾向にある。発熱はデバイスの故障を加速することが知られており、故障率増加の要因となる。このような理由から、光モジュールは、他のデバイスに比べて故障しやすい傾向にあり、インターコネクトにおけるレーン縮退及びリンク無効化を引き起こす大きな要因に挙げられる。

このようなリンク又はレーンなどの通信障害に関する技術として以下のような技術が提案されている。例えば、縮退可能な論理レーン番号及びレーン幅に制限がある場合に、物理レーンと論理レーンの再割り当てを行うことで、リンク無効化を回避する従来技術がある。また、未使用の物理レーンを利用してレーン縮退状態を解消する従来技術がある。また、パスを部分パスに分割し、部分パス毎に障害検出を行って、障害が発生した部分パスを迂回する経路に切り替える従来技術がある。また、パスに与えられた優先度情報に基づいて、パスのリソースを流用する従来技術がある。また、故障個所を判定する技術として、光パスの特定の区間を指定して光信号を用いて指定区間の導通試験を行う従来技術がある。さらに、スイッチが故障した場合にバイパススイッチを経由して通信を行えるように多段結合網を形成する従来技術がある。

特開２００５−１８２４８５号公報 特開２０１３−２００６１６号公報 特開２００３−２５８８５１号公報 国際公開第２００８／０４４６４６号 特開平１１−１９１７５４号公報 特開平０５−１１１０６５号公報

しかしながら、リンク無効化が実施されると、当該リンクは、システム運用から切り離されハードウェアの交換待ちの状態となる。しかし、交換部品及び交換人員が即座に手配できるとは限らず、交換までの期間、システムは計算資源が制限された状態となる。システムに投入されるジョブには使用するノード数に加えてノードの接続形状が限定されるものもあり、リンクの無効化は、そのようなジョブの実行を阻害する。このように、リンク無効化が発生した場合、通信動作の継続性を維持することは困難となる。そのため、システムの可用性を維持するためには、リンク無効化を回避することが好ましい。そのため、リンク無効化を引き起こす大きな要因である光モジュールの故障への対処が重要となる。

そこで、リンク無効化又はそれによる悪影響を回避する方法として、物理レーンを冗長に用意する方法や、リンク内で使用する物理レーンを切り替える方法が考えられる。他にも、他のノードを経由した迂回経路に切り替えることで、故障リンクで接続される２ノード間の通信を継続する方法が考えらえる。

しかし、年々システムは大規模化する傾向にあり、ノード同士を接続するインターコネクトのリンクは莫大な数となりつつある。そのため、冗長なレーンを用意する方法は、コストが増大するおそれがあり実現困難である。また、単一リンク内で切り替えを行う方法では、リンク内に障害未検出のレーンがあることが前提となるが、それが無ければリンクの回復は困難であり、通信動作の継続性を維持することは困難となる。

さらに、他のノードを介する迂回路を用いる方法では、通信レイテンシの増大を招くおそれがある。加えて、この方法では、他の複数のリンクと帯域を共有することになる。例えば、４つのノードを巡回するようにリンクが設置された場合、１つのリンクで故障が発生すると、他の３つのリンクにおいて帯域を共有することになり、それら他の３つのリンクを使用する通信に対して悪影響をおよぼす恐れがある。このため、他のノードを介する迂回路を用いる方法は、スーパーコンピュータなどのＨＰＣ（High Performance Computing）の分野に用いることは、大きな性能低下を引き起こすおそれが大きいため適用困難である。

この点、物理レーンと論理レーンの再割り当てを行う従来技術は、単一リンク内のレーンに関して経路切替えを行う技術であり、リンク内の全レーンが故障した場合にはリンク無効化が発生し、通信動作の継続性を維持することは困難である。また、未使用の物理レーンを利用してレーン縮退状態を解消する従来技術では、未使用の物理レーンが存在することが前提であり、未使用レーンが存在しない場合には通信動作の継続性を維持することは困難である。また、障害が発生した部分パスを迂回する経路に切り替える従来技術を用いても、１つのリンクで結ばれたノード同士でリンク無効化が発生した場合、通信動作の継続性を維持することは困難である。また、優先度情報に基づいてパスのリソースを流用する従来技術を用いても、リンクの全てのレーンに障害が発生した場合、流用するリソースが無く、リンク無効化は発生してしまい、通信動作の継続性を維持することは困難である。光信号を用いて指定区間の導通試験を行う従来技術では、故障区間の特定は可能であるが、故障区間への対応は提供されず、通信動作の継続性を維持することは困難である。さらに、バイパススイッチにより多段結合網を形成する従来技術は、１つのリンク内に実現することは困難であり、通信動作の継続性を維持することは困難である。

開示の技術は、上記に鑑みてなされたものであって、通信動作の継続性を維持するノード間通信装置、並列処理装置及びノード間通信経路制御方法を提供することを目的とする。

本願の開示するノード間通信装置、並列処理装置及びノード間通信経路制御方法の一つの態様において、第１信号伝送経路は、第１演算処理装置と複数の第２演算処理装置それぞれとを結ぶ複数のリンクに含まれる複数のレーン毎の一部にあたる。第２信号伝送経路は、複数の前記レーン毎の他の一部にあたる。試験部は、各前記第１信号伝送経路の導通試験及び各前記第２信号伝送経路の導通試験を行う。接続切替部は、前記試験部により特定のリンクが有する前記レーンの全てで前記第１信号伝送経路又は前記第２信号伝送経路の故障が発生したことが検出された場合、他のリンクが有する前記レーンに含まれる前記第１信号伝送経路又は前記第２信号伝送経路を経由させることで前記第１信号伝送経路及び前記第２信号伝送経路を迂回させて、前記第１演算処理装置と前記第２演算処理装置との接続を維持するように、前記第１演算処理装置、前記第１信号伝送経路、前記第２信号伝送経路及び前記第２演算処理装置の接続を切り替える。

１つの側面では、本発明は、通信動作の継続性を維持することができる。

図１は、光モジュールを介した通信システムの概略構成図である。 図２は、ノード及びノード間通信装置のハードウェア構成図である。 図３は、ノード間通信装置のブロック図である。 図４は、送信テスト実施時の状態を表す図である。 図５は、資源管理情報の一例を表す図である。 図６は、資源割当情報の一例を表す図である。 図７は、単一リンク内でのレーンの再構成を表す図である。 図８は、単一リンク内での再構成を行った場合の資源管理情報及び資源割当情報を表す図である。 図９は、リンク間に跨るレーンの再構成を表す図である。 図１０は、リンク間に跨るレーンの再構成を行った場合の資源管理情報及び資源割当情報を表す図である。 図１１は、経路切替部の構成図である。 図１２は、実施例に係るノード間通信装置による故障個所の特定処理のフローチャートである。 図１３は、実施例に係るノード間通信装置による資源の再割り当て処理のフローチャートである。 図１４は、実施例に係るノード間通信装置によるリンク間に跨る資源の再割り当て処理のフローチャートである。

以下に、本願の開示するノード間通信装置、並列処理装置及びノード間通信経路制御方法の実施例を図面に基づいて詳細に説明する。なお、以下の実施例により本願の開示するノード間通信装置、並列処理装置及びノード間通信経路制御方法が限定されるものではない。

図１は、光モジュールを介した通信システムの概略構成図である。図１に示すように、図１における通信システムは、２台のノード１を有する。ノード１は、それぞれ、光モジュール１１及びインターコネクト制御回路１２を有する。

光モジュール１１は、互いにファイバーケーブル１１０で接続される。光モジュール１１は、通信先のノード１へ送信する電気信号の入力をインターコネクト制御回路１２から受ける。そして、光モジュール１１は、電気信号を光信号に変換する。そして、光モジュール１１は、光信号に変換した信号をファイバーケーブル１１０を経由させて、送信先のノード１の光モジュール１１へ送信する。

また、光モジュール１１は、送信元のノード１の光モジュール１１からファイバーケーブル１１０を介して光信号を受信する。そして、光モジュール１１は、受信した光信号を電気信号に変換してインターコネクト制御回路１２へ出力する。

インターコネクト制御回路１２は、他のノード１から受信した信号におけるタイミング調整や送信経路の選択などの送受の制御を行う。ここで、図１では、ノード１が１対１で接続される場合を図示したが、実際にはノード１はそれぞれに複数の他のノード１が接続されるので、インターコネクト制御回路１２は、これらの複数のノード１との間の通信の制御を行う。

次に、図２を参照して、ノード間通信の制御の機能について説明する。図２は、ノード及びノード間通信装置のハードウェア構成図である。ここでは、１つのシステムボード１００に、複数のノード１及びノード間通信装置２が搭載された場合を例に説明する。ただし、ノード１は、異なるシステムボード１００に配置され互いに通信する構成でもよい。このシステムボード１００及びそれを搭載した情報処理装置、並びに、図１に示したファイバーケーブル１１０で接続されたノード１が、「並列処理装置」の一例にあたる。

ノード１は、ＣＰＵ１０、光モジュール１１及びメモリ１３を有する。そして、ＣＰＵ１０は、インターコネクト制御回路１２を有する。各ノード１の光モジュール１１は、図１で示したように互いにファイバーケーブル１１０で接続されるが、図２では、説明を分かり易くするため、ファイバーケーブル１１０は省略されている。

ＣＰＵ１０は、メモリ１３を用いて演算処理を行う。また、ＣＰＵ１０は、光モジュール１１を用いて他のノード１のＣＰＵ１０と通信を行う。このＣＰＵ１０が、「第１演算処理装置」及び「第２演算処理装置」の一例にあたる。

インターコネクト制御回路１２は、自己が搭載されたＣＰＵ１０と他のノード１に搭載されたＣＰＵ１０との間の通信を制御する。他のノード１との間を結ぶレーンに異常が発生していない場合、インターコネクト制御回路１２は、予め決められた初期状態で各ノード１との間を結ぶリンクにレーンを割り当て通信を行う。

また、インターコネクト制御回路１２は、他のノード１との通信に異常が発生した場合、異常が発生した故障レーンを特定しサービスプロセッサ２１に通知する。その後、インターコネクト制御回路１２は、停止指示及び再初期化指示をサービスプロセッサ２１からを受ける。この再初期化指示には、故障個所を迂回するように新たに設定された各リンクに対する各レーンの割り当て情報が含まれる。そして、インターコネクト制御回路１２は、自己が有する各ポートを初期化後、取得した割り当て情報を用いて各ポートの設定を行う。その後、インターコネクト制御回路１２は、新たに設定したポートを用いて他のノード１との通信を行う。

他のノード１との間の通信における異常発生時に、光モジュール１１は、テスト用の経路の切り替え指示及び信号の折り返し指示をサービスプロセッサ２１から受ける。そして、光モジュール１１は、指示にしたがいテスト用に経路を設定する。

その後、光モジュール１１は、ノード間通信装置２に搭載されたテスト回路２２が有するテストパターン生成回路２２１からテスト信号の入力を受ける。そして、光モジュール１１は、テスト用に設定した経路に取得したテスト信号を流し、各経路を通過した信号をノード間通信装置２に搭載されたテスト回路２２が有するエラーチェック回路２２２へ出力する。

その後、光モジュール１１は、故障個所を迂回するための経路設定の入力をサービスプロセッサ２１から受ける。そして、光モジュール１１は、サービスプロセッサ２１からの指定にしたがい経路を切り替えて経路設定を行う。

ノード間通信装置２は、ノード１同士の間の通信で故障が発生したことを検出し、故障個所を迂回させて通信を継続させる。ノード間通信装置２は、サービスプロセッサ２１及びテスト回路２２を有する。

サービスプロセッサ２１は、光モジュール１１及びインターコネクト制御回路１２とＩ２Ｃ（Inter Integrated Circuit）（登録商標）の規格のバスで接続される。サービスプロセッサ２１は、故障レーンの通知をインターコネクト制御回路１２から受ける。次に、サービスプロセッサ２１は、テスト用の経路の切り替え指示及び信号の折り返し指示をインターコネクト制御回路１２に通知する。

そして、サービスプロセッサ２１は、テスト回路２２のテストパターン生成回路２２１に対してテストの実行指示を送信する。その後、サービスプロセッサ２１は、テスト回路２２のエラーカウンタレジスタ２２３に格納された各レーンのエラーのカウント数を取得し故障レーンにおける故障個所を特定する。

その後、サービスプロセッサ２１は、各ノード１との通信が継続するように特定した故障個所を迂回する経路を決定する。そして、サービスプロセッサ２１は、決定した経路への切り替えを光モジュール１１に指示する。さらに、サービスプロセッサ２１は、再設定を行うリンクの停止指示及び再初期化指示をインターコネクト制御回路１２へ送信する。この再初期化指示により、サービスプロセッサ２１は、故障個所を迂回するように新たに設定された各リンクに対する各レーンの割り当てをインターコネクト制御回路１２に指示する。

テスト回路２２は、論理回路の組み合わせで実現される組み込み回路などで実現される。テスト回路２２は、テストパターン生成回路２２１、エラーチェック回路２２２及びエラーカウンタレジスタ２２３を有する。

テストパターン生成回路２２１は、テストの実行指示をサービスプロセッサ２１から受ける。そして、テストパターン生成回路２２１は、予め決められたテストパターンを有するテスト信号を生成する。そして、テストパターン生成回路２２１は、生成したテスト信号を光モジュール１１に入力する。

エラーカウンタレジスタ２２３は、テスト対象となるレーンのテスト箇所毎に対応するカウンタを有する。

エラーチェック回路２２２は、光モジュール１１が有するテスト用に設定された経路を経由して出力されたテスト信号を取得する。そして、エラーチェック回路２２２は、予め決められたテストパターンと取得したテスト信号のパターンを比較してエラーが発生しているか否かを判定する。エラーが発生している場合、エラーチェック回路２２２は、そのテスト信号が経由した故障個所に対応するエラーカウンタレジスタ２２３が有するカウンタを１つインクリメントする。

次に、図３を参照して、ノード間通信装置２の通信経路切替処理及び光モジュールの動作について詳細に説明する。図３は、ノード間通信装置のブロック図である。

ここでは、以下の環境の場合の通信経路切替処理について説明する。インターコネクト制御回路１２は、２つのポート１２１及びポート１２２を有する。そして、ポート１２１は、リンク＃＃０で他のノード１と接続される。また、ポート１２２は、リンク＃＃１で他のノード１と接続される。

さらに、リンク＃＃０は、レーン３０１及び３０２を有する。また、リンク＃＃１は、レーン３１１及び３１２を有する。ここで、本実施例では、レーン３０１、３０２、３１１及び３１２は、ポート１２１における接続点及びノード１と外部との接続点により規定される。図３では、ポート１２１の接続点及びノード１と外部との接続点に符号を付して各レーン３０１、３０２、３１１及び３１２を表した。例えば、レーン３０１は、ポート１２１における接続点及びノード１と外部との接続点が同一であれば、光モジュール１１内の経路が異なっても同じレーン３０１である。

また、光モジュール１１は、テスト信号切替部１１１、経路切替部１１２、電気信号処理部１１３、経路折返部１１４、テスト信号切替部１１５、経路切替部１１６、電気光変換部１１７、経路折返部１１８及び経路切替部１１９を有する。

テスト信号切替部１１１は、ポート１２１におけるレーン３０１及び３０２の接続点及びポート１２２におけるレーン３１１及び３１２の接続点と４本の通信経路で接続される。さらに、テスト信号切替部１１１とは、４本の通信経路であるチャネル＃Ａ０〜＃Ａ３で経路切替部１１２と接続される。図３では、チャネル＃Ａ０〜＃Ａ３を、「Ｃｈ＃Ａ０〜＃Ａ３」として表した。

また、経路切替部１１２は、４本の通信経路であるチャネル＃Ｂ０〜＃Ｂ３で電気信号処理部１１３と接続される。図３では、チャネル＃Ｂ０〜＃Ｂ３を、「Ｃｈ＃Ｂ０〜＃Ｂ３」として表した。電気信号処理部１１３は、４本の通信経路であるチャネル＃Ｃ０〜＃Ｃ３で経路折返部１１４と接続される。図３では、チャネル＃Ｃ０〜＃Ｃ３を、「Ｃｈ＃Ｃ０〜＃Ｃ３」と表した。

また、経路折返部１１４は、４本の通信経路でテスト信号切替部１１５と接続される。また、テスト信号切替部１１５は、４本の通信経路で経路切替部１１６と接続される。

また、経路切替部１１６は、４本の通信経路であるチャネル＃Ｄ０〜＃Ｄ３で電気光変換部１１７と接続される。図３では、チャネル＃Ｄ０〜＃Ｄ３を、「Ｃｈ＃Ｄ０〜＃Ｄ３」として表した。電気光変換部１１７は、４本の通信経路であるチャネル＃Ｅ０〜＃Ｅ３で経路折返部１１８と接続される。図３では、チャネル＃Ｅ０〜＃Ｅ３を、「Ｃｈ＃Ｅ０〜＃Ｅ３」と表した。

また、経路折返部１１８は、４本の通信経路で経路切替部１１９と接続される。さらに、経路切替部１１９は、４本の通信経路であるチャネル＃Ｆ０〜＃Ｆ３でレーン３０１、３０２、３１１及び３１２における外部との接続点と接続される。

さらに、テスト信号切替部１１１は、ノード間通信装置２の送信テスト実施部２０１から延びる４本のテスト信号の通信経路が接続される。そして、テスト信号切替部１１１は、チャネル＃Ａ０〜＃Ａ３のそれぞれぞれの接続元を、ポート１２１及び１２２から延びる通信経路と送信テスト実施部２０１から延びるテスト信号の通信経路とのいずれかに選択的に切り替えることができる。

また、経路切替部１１２は、チャネル＃Ａ０〜＃Ａ３とチャネル＃Ｂ０〜＃Ｂ３との接続を切り替えることができる。

また、経路折返部１１４は、チャネル＃Ｃ０〜＃Ｃ３をテスト信号切替部１１５に繋がる４本の通信経路に接続するか折り返すかを選択的に切り替えることができる。ここで、チャネル＃Ｃ０〜＃Ｃ３とテスト信号切替部１１５に繋がる４本の通信経路とを接続する場合の接続経路は固定である。図３では、経路折返部１１４は、チャネル＃Ｃ０〜＃Ｃ３を、縦方向に同じラインに位置する通信経路に接続する。

また、テスト信号切替部１１５は、ノード間通信装置２の送信テスト実施部２０１から延びる４本のテスト信号の通信経路が接続される。そして、テスト信号切替部１１５は、経路切替部１１６に接続する４本の通信経路のそれぞれぞれの接続元を、経路折返部１１４から延びる通信経路と送信テスト実施部２０１から延びるテスト信号の通信経路とのいずれかに選択的に切り替えることができる。

また、経路切替部１１６は、テスト信号切替部１１５から延びる４本の通信経路とチャネル＃Ｄ０〜＃Ｄ３との接続を切り替えることができる。

また、経路折返部１１８は、チャネル＃Ｅ０〜＃Ｅ３を経路切替部１１９に繋がる４本の通信経路に接続するか折り返すかを選択的に切り替えることができる。ここで、チャネル＃Ｅ０〜＃Ｅ３を経路切替部１１９に繋がる４本の通信経路に接続する場合の接続経路は固定である。図３では、経路折返部１１８は、チャネル＃Ｅ０〜＃Ｅ３を、縦方向に同じラインに位置する通信経路に接続する。

また、経路切替部１１９は、経路折返部１１８から延びる４本の通信経路とチャネル＃Ｆ０〜＃Ｆ３との接続を切り替えることができる。

電気信号処理部１１３は、ＡＤ（Analog Digital）変換、ＤＡ（Digital Analog）変換及びシリアルパラレル変換を行う。以下では、電気信号処理部１１３における、チャネル＃Ｂ０〜＃Ｂ３とチャネル＃Ｃ０〜＃Ｃ３のそれぞれを結ぶ経路を、＃Ｂ０−＃Ｃ０〜＃Ｂ３−＃Ｃ３と表す場合がある。この＃Ｂ０−＃Ｃ０〜＃Ｂ３−＃Ｃ３が、「第１信号伝送経路」の一例にあたる。

電気光変換部１１７は、インターコネクト制御回路１２から他のノード１へ向かって送出された信号を電気信号から光信号に変換する。また、電気光変換部１１７は、他のノード１から受信した信号を光信号から電気信号に変換する。図３において、チャネル＃Ｄ０〜＃Ｄ３とチャネル＃Ｅ０〜＃Ｅ３のそれぞれを結ぶ経路上に配置された各部材は、電気光変換モジュールである。以下では、電気光変換部１１７における、チャネル＃Ｄ０〜＃Ｄ３とチャネル＃Ｅ０〜＃Ｅ３のそれぞれを結ぶ経路を、＃Ｄ０−＃Ｅ０〜＃Ｄ３−＃Ｅ３と表す場合がある。この＃Ｄ０−＃Ｅ０〜＃Ｄ３−＃Ｅ３が、「第２信号伝送経路」の一例にあたる。

電気信号処理部１１３の通信経路である＃Ｂ０−＃Ｃ０〜＃Ｂ３−＃Ｃ３及び電気光変換部１１７の通信経路である＃Ｄ０−＃Ｅ０〜＃Ｄ３−＃Ｅ３は、レーン３０１、３０２、３１１及び３１２に割り当てられることで、ノード１間の通信経路として使用される。以下では、レーン３０１、３０２、３１１及び３１２に割り当てられる電気信号処理部１１３及び電気光変換部１１７における通信経路である＃Ｂ０−＃Ｃ０〜＃Ｂ３−＃Ｃ３のことを、「資源」と呼ぶ場合がある。

また、ここでは、光モジュール１１において＃Ｄ０−＃Ｅ０〜＃Ｄ３−＃Ｅ３又は電気光変換部１１７の経路のいずれかもしくは双方で故障が発生した場合について説明する。なお、図３に示した構成では、レーン３０１及び３０２の両方で通信が不通になった場合、リンク＃＃０は使用できなくなる。したがって、レーン３０１及び３０２の双方に異常が発生した場合、リンク＃＃１の無効化を回避するために、レーン３０１及び３０２のいずれかの通信を維持することが望ましい。これは、リンク＃＃１も同様である。

次に、ノード間通信装置２について説明する。ノード間通信装置２は、送信テスト実施部２０１、送信テスト制御部２０２、経路切替制御部２０３及び資源管理部２０４を有する。

送信テスト制御部２０２は、図２に例示したサービスプロセッサ２１が自己に組み込まれたファームウェアを実行することで実現される。送信テスト制御部２０２は、故障レーンの通知をインターコネクト制御回路１２から受ける。ここでは、レーン３１２が故障レーンの場合を説明する。送信テスト制御部２０２は、故障レーンであるレーン３１２に割り当てられた電気信号処理部１１３及び電気光変換部１１７の資源をテスト対象の資源の情報を資源管理部２０４から取得する。ここでは、送信テスト制御部２０２は、テスト対象の資源の情報として＃Ｂ３−＃Ｃ３及び＃Ｄ３−＃Ｅ３を取得する。

次に、送信テスト制御部２０２は、図４に示すように電気信号処理部１１３のチャネル＃Ｃ３から出力された信号が折り返されてチャネル＃Ｃ３へ入力されるように経路折返部１１４を設定する。図４は、送信テスト実施時の状態を表す図である。また、送信テスト制御部２０２は、図４に示すように、電気光変換部１１７のチャネル＃Ｅ３から出力された信号が折り返されてチャネル＃Ｅ３へ入力されるように経路折返部１１８を設定する。

さらに、送信テスト制御部２０２は、図４に示すように＃Ｂ３−＃Ｃ３へ繋がるチャネル＃Ａ３が送信テスト実施部２０１から延びるテスト信号の通信経路に接続するようにテスト信号切替部１１１の経路を切り替える。また、送信テスト制御部２０２は、図４に示すように＃Ｄ３−＃Ｅ３へ繋がる通信経路が送信テスト実施部２０１から延びるテスト信号の通信経路に接続するようにテスト信号切替部１１５の経路を切り替える。

これにより、送信テスト実施部２０１から出力されたテスト信号は、故障レーンであるレーン３１２に割り当てられたチャネル＃Ａ３及び＃Ｂ３−＃Ｃ３を経由した後、折り返して＃Ｂ３−＃Ｃ３及びチャネル＃Ａ３を経由して送信テスト実施部２０１に戻る。また、送信テスト実施部２０１から出力されたテスト信号は、故障レーンであるレーン３１２に割り当てられた＃Ｄ３−＃Ｅ３を経由した後、折り返して＃Ｄ３−＃Ｅ３を経由して送信テスト実施部２０１に戻る。

そして、送信テスト制御部２０２は、テスト対象の資源である＃Ｂ３−＃Ｃ３及び＃Ｄ３−＃Ｅ３に対するテスト実施を送信テスト実施部２０１に指示する。その後、送信テスト制御部２０２は、＃Ｂ３−＃Ｃ３及び＃Ｄ３−＃Ｅ３のいずれが故障個所であるか、又は両方が故障個所であるとの通知を送信テスト実施部２０１から受信する。

そして、送信テスト制御部２０２は、故障個所を資源管理部２０４へ通知する。その後、送信テスト制御部２０２は、テスト信号切替部１１１及び１１５をノード１間を繋ぐ経路に戻し、さらに、経路折返部１１４及び１１８を信号を通過させる経路に戻す。

送信テスト実施部２０１は、図２に例示したサービスプロセッサ２１及びテスト回路２２によって実現される。送信テスト実施部２０１は、テスト対象の資源である＃Ｂ３−＃Ｃ３及び＃Ｄ３−＃Ｅ３に対するテスト実施の指示を送信テスト制御部２０２から受ける。そして、送信テスト実施部２０１は、予め決められたテストパターンを有するテスト信号を生成する。

次に、送信テスト実施部２０１は、故障レーンであるレーン３１２に割り当てられた＃Ｂ３−＃Ｃ３及び＃Ｄ３−＃Ｅ３のそれぞれに向けて生成したテスト信号を送出し、＃Ｂ３−＃Ｃ３及び＃Ｄ３−＃Ｅ３のそれぞれから返ってきた信号を取得する。そして、送信テスト実施部２０１は、帰ってきた信号に含まれるデータのパターンとテストパターンとが異なっていればエラーが発生したと判定する。そして、送信テスト実施部２０１は、エラーが発生したと判定した＃Ｂ３−＃Ｃ３又は＃Ｄ３−＃Ｅ３のいずれかもしくは双方に対応するエラーカウンタを１つインクリメントする。送信テスト実施部２０１は、以上のテストを複数回繰り返す。

その後、送信テスト実施部２０１は、テスト信号の送信回数及び各エラーカウンタの値を用いて、テスト対象の資源である＃Ｂ３−＃Ｃ３及び＃Ｄ３−＃Ｅ３のそれぞれのビットの誤り率（ＢＥＲ：Bit Error Rate）を算出する。その後、送信テスト実施部２０１は、算出したテスト対象の資源である＃Ｂ３−＃Ｃ３及び＃Ｄ３−＃Ｅ３のそれぞれのビットの誤り率が予め決められた閾値を超えたか否かを判定する。これにより、送信テスト実施部２０１は、各＃Ｂ３−＃Ｃ３及び＃Ｄ３−＃Ｅ３において故障が発生しているか否かを判定し、＃Ｂ３−＃Ｃ３及び＃Ｄ３−＃Ｅ３のいずれか又は双方を故障個所として特定する。そして、送信テスト実施部２０１は、故障個所の情報を送信テスト制御部２０２へ送信する。この送信テスト実施部２０１及び送信テスト制御部２０２が、「試験部」の一例にあたる。

資源管理部２０４は、図２に例示したサービスプロセッサ２１が自己に組み込まれたファームウェアを実行することで実現される。資源管理部２０４は、図５に示す資源管理情報４１０及び図６に示す資源割当情報４２０を有する。図５は、資源管理情報の一例を表す図である。また、図６は、資源割当情報の一例を表す図である。

図５に示すように、資源管理情報４１０は、電気信号処理部用テーブル４１１及び電気光変換部用テーブル４１２を含む。電気信号処理部用テーブル４１１は、リンク＃＃０及び＃＃１で用いられる電気信号処理部１１３内の通信経路及びその状態が登録される。また、電気信号処理部用テーブル４１１は、リンク＃＃０及び＃＃１のそれぞれに含まれる電気信号処理部１１３内の通信経路の使用可能な数を表す。

また、電気光変換部用テーブル４１２は、リンク＃＃０及び＃＃１で用いられる電気光変換部１１７内の通信経路及びその状態が登録される。また、電気光処理部用テーブル４１２は、リンク＃＃０及び＃＃１に割り当てられた電気光変換部１１７内の通信経路の使用可能な数を表す。

また、図６に示すように、資源割当情報４２０は、リンク＃＃０及び＃＃１毎に含まれる各レーン３０１、３０２、３１１及び３１２のレーン名、縮退の状態、割り当てられた資源が登録される。

資源管理部２０４は、ノード１の起動時などの故障が発生していない初期状態の場合、図３における縦方向の同じラインに位置する通信経路を接続するように経路設定を決定する。そして、資源管理部２０４は、電気信号処理部用テーブル４１１及び電気光変換部用テーブル４１２のそれぞれに、決定した経路設定にしたがってリンク＃＃０及び＃＃１毎に資源名、障害有無、割当状態及び使用可能数を登録する。例えば、初期状態の場合、資源管理部２０４は、電気信号処理部１１３の資源のうち＃Ｂ０−＃Ｃ０及び＃Ｂ１−＃Ｃ１をリンク＃＃０のレーン３０１及び３０２の資源として割り当てる。そこで、資源管理部２０４は、電気信号処理部用テーブル４１１のリンク＃＃０のテーブルに資源名として＃Ｂ０−＃Ｃ０及び＃Ｂ１−＃Ｃ１を登録し、それぞれ障害を「無」とし、さらに、割当状態を「済」にする。加えて、資源管理部２０４は、＃Ｂ０−＃Ｃ０及び＃Ｂ１−＃Ｃ１の双方が使用可能であるので、使用可能数を２とする。そして、資源管理部２０４は、決定した経路設定を経路切替制御部２０３に通知する。

また、故障レーンの発生後、資源管理部２０４は、故障個所の通知を送信テスト実施部２０１から受ける。そして、資源管理部２０４は、資源管理情報４１０のうち故障個所の障害有無を「有」に変更する。さらに、資源管理部２０４は、故障個所を含むテーブルにおける使用可能数を１つ減らす。例えば、故障レーンがレーン３１２であり＃Ｂ３−＃Ｃ３が故障した場合、資源管理部２０４は、電気信号処理部用テーブル４１１のレーン３１２を含むリンク＃＃１のテーブルにおける、＃Ｂ３−＃Ｃ３の障害有無を「有」に変更する。さらに、資源管理部２０４は、電気信号処理部用テーブル４１１のレーン３１２を含むリンク＃＃１のテーブルにおける、使用可能数を１に変更する。

次に、資源管理部２０４は、故障レーンを含むリンク＃＃０又は＃＃１に対する資源の再割り当てを行う。以下では、故障レーンを含むリンク＃＃０又は＃＃１を、「障害リンク」という。具体的には、資源管理部２０４は、故障個所を迂回させて各ノード１間の通信を継続させるように故障レーンに対する資源の再割り当てを行う。

ここで、本実施例では、なるべく多くの通信経路を確保するために、故障が発生する度に、資源管理部２０４による資源の再割当処理が行われるように説明した。ただし、故障レーンを含むリンク＃＃０及び＃＃１を用いた通信が可能であれば、資源管理部２０４は、資源の再割当処理を行わなくてもよい。例えば、リンク＃＃０がさらにレーン３０３を有する場合に、レーン３０１において電気信号処理部１１３の資源が故障し、レーン３０２において電気光変換部１１７の資源が故障した場合について説明する。この場合、リンク＃＃０の通信は可能であるが、そのままではレーン３０１及び３０２が使用できない。これに対して、以下に説明する再割当処理を実行すれば、レーン３０１及び３０２のいずれかが使用できなくなるだけで済む。

以下に、資源管理部２０４による資源の再割り当てによるレーン３０１、３０２、３１１及び３１２の再構成の詳細について説明する。資源管理部２０４は、電気信号処理部用テーブル４１１及び電気光変換部用テーブル４１２の障害リンクにおける資源の使用可能数が０になったか否かを確認する。使用可能数が０になっていない場合、資源管理部２０４は、障害リンク内での資源の再割り当てを実行する。

ここで、障害リンク内での資源の再割り当ての実行について、リンク＃＃１のレーン３１１に割り当てられた＃Ｂ２−＃Ｃ２及びレーン３１２に割り当てられた＃Ｄ３−＃Ｅ３が故障した場合で説明する。図７は、単一リンク内でのレーンの再構成を表す図である。また、図８は、単一リンク内での再構成を行った場合の資源管理情報及び資源割当情報を表す図である。

資源管理部２０４は、資源管理情報４１０の電気信号処理部用テーブル４１１及び電気光変換部用テーブル４１２及び資源割当情報４２０におけるリンク＃＃１を初期化する。具体的には、資源管理部２０４は、資源管理情報４１０の電気信号処理部用テーブル４１１及び電気光変換部用テーブル４１２におけるリンク＃＃１の全ての資源の割当状態を「未」に設定する。また、資源管理部２０４は、資源割当情報４２０におけるリンク＃＃１の全てのレーン３１１及び３１２の縮退を「有」に設定し、さらに、割当資源を全てクリアする。

次に、資源管理部２０４は、レーン３１１及び３１２から資源の割り当ての対象とする割当対象レーンとしてレーン３１１を選択する。そして、資源管理部２０４は、資源管理情報４１０の電気信号処理部用テーブル４１１におけるリンク＃＃１に障害が無く且つ未割り当ての資源があるか否かを判定する。この場合、障害が無く且つ未割り当ての資源として＃Ｂ３−＃Ｃ３があるので、資源管理部２０４は、割当対象レーンであるレーン３１１に＃Ｂ３−＃Ｃ３を割り当てることを決定する。そして、資源管理部２０４は、図８に示すように、資源割当情報４２０のリンク＃＃１におけるレーン３１１の電気信号処理部１１３の割当資源として＃Ｂ３−＃Ｃ３を登録する。さらに、資源管理部２０４は、資源管理情報４１０の電気信号処理部用テーブル４１１のリンク＃＃１における＃Ｂ３−＃Ｃ３の割当状態を「済」に変更する。

次に、資源管理部２０４は、資源管理情報４１０の電気光変換部用テーブル４１２におけるリンク＃＃１に障害が無く且つ未割り当ての資源があるか否かを判定する。この場合、障害が無く且つ未割り当ての資源として＃Ｄ２−＃Ｅ２があるので、資源管理部２０４は、割当対象レーンであるレーン３１１に＃Ｄ３−＃Ｅ３を割り当てることを決定する。そして、資源管理部２０４は、図８に示すように、資源割当情報４２０のリンク＃＃１におけるレーン３１１の電気光変換部１１７の割当資源として＃Ｄ２−＃Ｅ２を登録する。さらに、資源管理部２０４は、資源割当情報４２０のリンク＃＃１におけるレーン３１１の縮退を「無」に設定する。また、資源管理部２０４は、資源管理情報４１０の電気光変換部用テーブル４１２のリンク＃＃１における＃Ｄ２−＃Ｅ２の割当状態を「済」に変更する。

次に、資源管理部２０４は、レーン３１１及び３１２から資源の割り当ての対象とする割当対象レーンとしてレーン３１２を選択する。そして、資源管理部２０４は、資源管理情報４１０の電気信号処理部用テーブル４１１におけるリンク＃＃１に障害が無く且つ未割り当ての資源があるか否かを判定する。この場合、＃Ｂ２−＃Ｃ２は故障しており、＃Ｂ３−＃Ｃ３は割り当て済みである。そこで、資源管理部２０４は、障害リンク内での資源の再割り当ての処理を終了する。これにより、光モジュール１１におけるレーン３１１の経路は図７の点線に挟まれた経路に決定される。また、レーン３１２は、縮退される。この場合、資源管理情報４１０及び資源割当情報４２０は、図８に示すような状態となる。

これに対して、電気信号処理部用テーブル４１１及び電気光変換部用テーブル４１２の障害リンクにおける資源の使用可能数が０になった場合、資源管理部２０４は、リンク間に跨る資源の再割り当てを実行する。

ここで、リンク間に跨る資源の再割り当ての実行について、リンク＃＃１のレーン３１１に割り当てられた＃Ｂ２−＃Ｃ２及び＃Ｄ２−＃Ｅ２、並びに、レーン３１２に割り当てられた＃Ｄ３−＃Ｅ３が故障した場合で説明する。図９は、リンク間に跨るレーンの再構成を表す図である。また、図１０は、リンク間に跨るレーンの再構成を行った場合の資源管理情報及び資源割当情報を表す図である。

資源管理部２０４は、リンク＃＃１との間で資源を共有する共有リンクを特定する。ここでは、リンク＃＃０及び＃＃１の２つであるので、資源管理部２０４は、リンク＃＃０を共有リンクとする。

ただし、例えば、リンク＃＃１〜＃＃ｎがある場合、資源管理部２０４は、以下の手順で共有リンクの特定を行う。資源管理部２０４は、障害リンク以外のリンク＃＃０及び＃＃２〜＃＃ｎ毎の電気信号処理部１１３の資源の使用可能数及び電気光変換部１１７の資源の使用可能数を資源管理情報４１０から取得する。そして、資源管理部２０４は、取得した両方の使用可能数のうち小さい方の数を、各リンク＃＃０及び＃＃２〜＃＃ｎの構成可能なレーン数とする。次に、資源管理部２０４は、リンク＃＃０及び＃＃２〜＃＃ｎの中に構成可能なレーン数が２以上のものが存在するか否かを判定する。構成可能なレーン数が２以上の物がある場合、資源管理部２０４は、リンク＃＃０及び＃＃２〜＃＃ｎのうち構成可能レーン数が最大のものを共有リンクとする。

資源管理部２０４は、資源管理情報４１０の電気信号処理部用テーブル４１１及び電気光変換部用テーブル４１２及び資源割当情報４２０における障害リンクであるリンク＃＃１及び共有リンクであるリンク＃＃０の情報を初期化する。具体的には、資源管理部２０４は、資源管理情報４１０の電気信号処理部用テーブル４１１及び電気光変換部用テーブル４１２におけるリンク＃＃０及び＃＃１の全ての資源の割当状態を「未」に設定する。また、資源管理部２０４は、資源割当情報４２０におけるリンク＃＃０及び＃＃１の全てのレーン３１１及び３１２の縮退を「有」に設定し、さらに、割当資源を全てクリアする。

次に、資源管理部２０４は、障害リンクであるリンク＃＃１及び共有リンクであるリンク＃＃０のいずれか一方を割当対象リンクとして選択する。例えば、資源管理部２０４は、リンク＃＃０を割り当て対象リンクとして選択する。

次に、資源管理部２０４は、割当対象リンクとして選択したリンク＃＃０が有するレーン３０１及び３０２の中から資源の割り当ての対象とする割当対象レーンを１つ選択する。例えば、資源管理部２０４は、レーン３０１を選択する。そして、資源管理部２０４は、資源管理情報４１０の電気信号処理部用テーブル４１１におけるリンク＃＃０又はリンク＃＃１に障害が無く且つ未割り当ての資源があるか否かを判定する。この場合、障害が無く且つ未割り当ての資源として＃Ｂ０−＃Ｃ０があるので、資源管理部２０４は、割当対象レーンであるレーン３０１に＃Ｂ０−＃Ｃ０を割り当てることを決定する。そして、資源管理部２０４は、図１０に示すように、資源割当情報４２０のリンク＃＃０におけるレーン３０１の電気信号処理部１１３の割当資源として＃Ｂ０−＃Ｃ０を登録する。さらに、資源管理部２０４は、資源管理情報４１０の電気信号処理部用テーブル４１１のリンク＃＃０における＃Ｂ０−＃Ｃ０の割当状態を「済」に変更する。

次に、資源管理部２０４は、資源管理情報４１０の電気光変換部用テーブル４１２におけるリンク＃＃０又は＃＃１に障害が無く且つ未割り当ての資源があるか否かを判定する。この場合、障害が無く且つ未割り当ての資源として＃Ｄ０−＃Ｅ０があるので、資源管理部２０４は、割当対象レーンであるレーン３０１に＃Ｄ０−＃Ｅ０を割り当てることを決定する。そして、資源管理部２０４は、図１０に示すように、資源割当情報４２０のリンク＃＃０におけるレーン３０１の電気光変換部１１７の割当資源として＃Ｄ０−＃Ｅ０を登録する。さらに、資源管理部２０４は、資源割当情報４２０のリンク＃＃０におけるレーン３０１の縮退を「無」に設定する。また、資源管理部２０４は、資源管理情報４１０の電気光変換部用テーブル４１２のリンク＃＃０における＃Ｄ０−＃Ｅ０の割当状態を「済」に変更する。

次に、資源管理部２０４は、障害リンク及び共有リンクのうち割当対象リンクとして選択したリンク＃＃０とは反対のリンク＃＃１を割当対象リンクとして選択する。そして、資源管理部２０４は、割当対象リンクとして選択したリンク＃＃１が有するレーン３１１及び３１２の中から資源の割り当ての対象とする割当対象レーンを１つ選択する。例えば、資源管理部２０４は、レーン３１１を選択する。そして、資源管理部２０４は、資源管理情報４１０の電気信号処理部用テーブル４１１におけるリンク＃＃０又はリンク＃＃１に障害が無く且つ未割り当ての資源があるか否かを判定する。この場合、障害が無く且つ未割り当ての資源として＃Ｂ１−＃Ｃ１があるので、資源管理部２０４は、割当対象レーンであるレーン３１１に＃Ｂ１−＃Ｃ１を割り当てることを決定する。そして、資源管理部２０４は、図１０に示すように、資源割当情報４２０のリンク＃＃１におけるレーン３１１の電気信号処理部１１３の割当資源として＃Ｂ１−＃Ｃ１を登録する。さらに、資源管理部２０４は、資源管理情報４１０の電気信号処理部用テーブル４１１のリンク＃＃０における＃Ｂ１−＃Ｃ１の割当状態を「済」に変更する。

ここで、資源管理部２０４は、本実施例では、レーン３０１及びレーン３０２の両方に対して、電気信号処理部用テーブル４１１におけるリンク＃＃０の資源から選択したが、一方の資源をリンク＃＃１の資源から選択してもよい。

次に、資源管理部２０４は、資源管理情報４１０の電気光変換部用テーブル４１２におけるリンク＃＃０又は＃＃１に障害が無く且つ未割り当ての資源があるか否かを判定する。この場合、障害が無く且つ未割り当ての資源として＃Ｄ１−＃Ｅ１があるので、資源管理部２０４は、割当対象レーンであるレーン３１１に＃Ｄ１−＃Ｅ１を割り当てることを決定する。そして、資源管理部２０４は、図１０に示すように、資源割当情報４２０のリンク＃＃１におけるレーン３１１の電気光変換部１１７の割当資源として＃Ｄ１−＃Ｅ１を登録する。さらに、資源管理部２０４は、資源割当情報４２０のリンク＃＃１におけるレーン３１１の縮退を「無」に設定する。また、資源管理部２０４は、資源管理情報４１０の電気光変換部用テーブル４１２のリンク＃＃０における＃Ｄ１−＃Ｅ１の割当状態を「済」に変更する。

次に、資源管理部２０４は、障害リンク及び共有リンクのうち割当対象リンクとして選択したリンク＃＃１とは反対のリンク＃＃０を割当対象リンクとして選択する。そして、資源管理部２０４は、割当対象リンクとして選択したリンク＃＃０が有する残りのレーン３１２を割当対象レーンとして選択する。そして、資源管理部２０４は、資源管理情報４１０の電気信号処理部用テーブル４１１におけるリンク＃＃０又はリンク＃＃１に障害が無く且つ未割り当ての資源があるか否かを判定する。この場合、障害が無く且つ未割り当ての資源として＃Ｂ３−＃Ｃ３があるので、資源管理部２０４は、割当対象レーンであるレーン３１１に＃Ｂ３−＃Ｃ３を割り当てることを決定する。そして、資源管理部２０４は、図１０に示すように、資源割当情報４２０のリンク＃＃１におけるレーン３１１の電気信号処理部１１３の割当資源として＃Ｂ３−＃Ｃ３を登録する。さらに、資源管理部２０４は、資源管理情報４１０の電気信号処理部用テーブル４１１のリンク＃＃０における＃Ｂ３−＃Ｃ３の割当状態を「済」に変更する。

次に、資源管理部２０４は、資源管理情報４１０の電気光変換部用テーブル４１２におけるリンク＃＃０又は＃＃１に障害が無く且つ未割り当ての資源があるか否かを判定する。この場合、＃Ｄ０−＃Ｅ０及び＃Ｄ１−＃Ｄ１は割り当て済みであり、＃Ｄ２−＃Ｅ２及び＃Ｄ３−＃Ｄ３は故障している。そこで、資源管理部２０４は、リンク間に跨る資源の再割り当ての処理を終了する。これにより、光モジュール１１におけるレーン３０１及び３１１の経路は図９の点線に挟まれた経路に決定される。また、レーン３０２及び３１２は、縮退される。この場合、資源管理情報４１０及び資源割当情報４２０は、図１０に示すような状態となる。

ここで、本実施例では、資源管理部２０４は、リンク＃＃１又は＃＃０に割り当てられた電気信号処理部１１３又は電気光変換部１１７の資源の使用可能数が０になったときに、リンク間に跨る資源の再割り当てを行った。ただし、資源管理部２０４は、資源の使用可能数が残っている状態でもリンク間に跨る資源の再割り当てを行う構成にすることもできる。例えば、資源管理部２０４は、レーンの再割り当てを行う場合には常にリンク間に跨る資源の再割り当てを行ってもよい。このように、資源の使用可能数が０でない場合でも、リンク間に跨る資源の再割り当てを行うことで、資源管理部２０４は、通信帯域のバランスを維持することができる。

図３に戻って説明を続ける。資源管理部２０４は、資源の再割り当てによるレーン３０１、３０２、３１１及び３１２の再構成を行った後、資源割当情報４２０に登録された各資源の割り当てを取得する。そして、資源管理部２０４は、資源割当情報４２０に登録された各資源の割り当ての情報を経路切替制御部２０３へ出力する。

経路切替制御部２０３は、図２に例示したサービスプロセッサ２１が自己に組み込まれたファームウェアを実行することで実現される。経路切替制御部２０３は、資源割当情報４２０に登録された各資源の割り当ての情報の入力を資源管理部２０４から受ける。そして、経路切替制御部２０３は、各資源の割り当てにしたがった経路切替部１１２及び経路切替部１１６の経路設定を決定する。この決定された経路設定は、故障個所を迂回するための経路設定となる。そして、経路切替制御部２０３は、決定した経路設定にしたがって経路切替部１１２及び経路切替部１１６を切り替える。ここで、単一リンク内での資源の再割り当ての場合、障害リンクは既に無効とされているので、経路切替制御部２０３は、経路の切り替えに際して障害リンクの停止時を行わなくてもよい。これに対して、リンク間に跨る資源の再割り当ての場合、共有リンクは動作中である。そこで、リンク間に跨る資源の再割り当ての場合、経路切替制御部２０３は、共有リンクの停止指示をインターコネクト制御回路１２へ出力した後に切替処理を行う。

ここで、図１１を参照して、経路切替部１１２及び経路切替部１１６の経路の切り替えの詳細について説明する。図１１は、経路切替部の構成図である。ここでは、経路切替部１１２を例に説明する。

経路切替部１１２は、クロスバスイッチ５１及び割当情報保存部５２を有する。経路切替制御部２０３は、決定された経路設定の情報を割当情報保存部５２に格納する。例えば、経路切替制御部２０３は、経路設定の情報として図１１の割当情報保存部５２に示すように、接続されるチャネル＃Ａ０〜＃Ａ２とチャネル＃Ｂ０、＃Ｂ１及び＃Ｂ３の組み合わせを登録する。クロスバスイッチ５１は、割当情報保存部５２に格納された経路設定の情報にしたがいチャネル＃Ａ０〜＃Ａ３とチャネル＃Ｂ０〜＃Ｂ３とを接続する。図１１では、チャネル＃Ａ３及びチャネル＃Ｂ２の情報は割当情報保存部５２に格納されていないので、クロスバスイッチ５１は、チャネル＃Ａ３及びチャネル＃Ｂ２の接続は行わない。

そして、経路切替部１１２及び経路切替部１１６の経路の切り替え後、経路切替制御部２０３は、障害リンク、又は、障害リンク及び共有リンクの再初期化指示をインターコネクト制御回路１２に送信する。この経路切替制御部２０３及び資源管理部２０４が、「接続切替部」の一例にあたる。

次に、図１２を参照して、本実施例に係るノード間通信装置２による故障個所の特定処理の流れについて説明する。図１２は、実施例に係るノード間通信装置による故障個所の特定処理のフローチャートである。

インターコネクト制御回路１２は、故障レーンを送信テスト制御部２０２に通知する（ステップＳ１）。

送信テスト制御部２０２は、故障レーンの通知をインターコネクト制御回路１２から受ける。そして、送信テスト制御部２０２は、通知を受けた故障レーンをテスト対象レーンとする。次に、資源管理部２０４が有する資源割当情報４２０から故障レーンへ割り当てられた割当資源を特定する（ステップＳ２）。

次に、送信テスト制御部２０２は、テスト対象レーンにおいて信号を折り返す信号を折り返すように、経路折返部１１４及び１１８を設定する（ステップＳ３）。

次に、送信テスト制御部２０２は、テスト対象レーンにおいて信号が送信テスト実施部２０１から送られるように、テスト信号切替部１１１及び１１５を設定する（ステップＳ４）。

そして、送信テスト制御部２０２は、設定完了を送信テスト実施部２０１に通知し（ステップＳ５）、テスト対象レーンのテストの実行を送信テスト実施部２０１に指示する。

送信テスト実施部２０１は、設定完了の通知及びテスト対象レーンのテストの実行の指示を送信テスト制御部２０２から受ける。そして、送信テスト実施部２０１は、テストレーンに対してテストパターンを有する信号を送出する。その後、送信テスト実施部２０１は、返ってきた信号を用いてＢＥＲチェックを実行して、故障レーンにおける故障個所を特定する（ステップＳ６）。

その後、送信テスト実施部２０１は、特定した故障個所の情報を送信テスト制御部２０２に通知する。送信テスト制御部２０２は、送信テスト実施部２０１から取得した故障個所の情報を資源管理部２０４に通知する（ステップＳ７）。

資源管理部２０４は、資源管理情報４１０における故障個所の情報を更新する（ステップＳ８）。具体的には、送信テスト制御部２０２は、資源管理情報４１０の電気信号処理部用テーブル４１１及び電気光変換部用テーブル４１２における故障個所の障害有無の欄を「有」に変更し、故障個所に対応する使用可能数を１つ減らす。

次に、図１３を参照して、本実施例に係るノード間通信装置２による資源の再割り当て処理の流れについて説明する。図１３は、実施例に係るノード間通信装置による資源の再割り当て処理のフローチャートである。ここでは、レーン３０１、３０２、３１１及び３１２、並びに、それ以外にもレーンが存在する場合の他のレーンを区別せずに、「レーン３００」という。

資源管理部２０４は、資源管理情報４１０の電気信号処理部用テーブル４１１及び電気光変換部用テーブル４１２を参照して、いずれかで故障レーンを含む障害リンクの資源の使用可能数が０か否かを判定する（ステップＳ１０１）。

資源の使用可能数が０の場合（ステップＳ１０１：肯定）、資源管理部２０４は、リンク間に跨る資源の再割り当て処理を実行する（ステップＳ１０２）。その後、資源管理部２０４は、資源の再割り当て処理を終了する。

これに対して、資源の使用可能数が０でない場合（ステップＳ１０１：否定）、資源管理部２０４は、単一リンク内の資源の再割り当て処理を開始する。まず、資源管理部２０４は、資源管理情報４１０及び資源割当情報４２０における障害リンクの情報を初期化する（ステップＳ１０３）。

そして、資源管理部２０４は、障害リンクが有するレーン３００の中から資源の割り当てを行う割当対象レーンを１つ選択する（ステップＳ１０４）。

次に、資源管理部２０４は、障害リンクに関する資源管理情報４１０における電気信号処理部１１３の情報、すなわち電気信号処理部用テーブル４１１における障害リンクの資源の情報を資源管理情報４１０から取得する（ステップＳ１０５）。

次に、資源管理部２０４は、電気信号処理部１１３に障害リンクの資源で障害が発生しておらず且つ未割り当てである割り当て可能な資源が有るか否かを判定する（ステップＳ１０６）。未割り当ての資源が無い場合（ステップＳ１０６：否定）、資源管理部２０４は、資源の再割り当て処理を終了する。

これに対して、未割り当ての資源が有る場合（ステップＳ１０６：肯定）、資源管理部２０４は、電気信号処理部１１３の資源を割当対象レーンに割り当てる（ステップＳ１０７）。

次に、資源管理部２０４は、資源割当情報４２０における割当対象レーンに割り当てた電気信号処理部１１３の資源名及び資源管理情報４１０における割り当てた電気信号処理部１１３の資源の割当状態を登録する（ステップＳ１０８）。

次に、資源管理部２０４は、障害リンクに関する資源管理情報４１０における電気光変換部１１７の情報、すなわち電気光変換部用テーブル４１２における障害リンクの資源の情報を資源管理情報４１０から取得する（ステップＳ１０９）。

次に、資源管理部２０４は、電気光変換部１１７に障害リンクの資源で障害が発生しておらず且つ未割り当てである割り当て可能な資源が有るか否かを判定する（ステップＳ１１０）。未割り当ての資源が無い場合（ステップＳ１１０：否定）、資源管理部２０４は、資源の再割り当て処理を終了する。

これに対して、未割り当ての資源が有る場合（ステップＳ１１０：肯定）、資源管理部２０４は、電気光変換部１１７の資源を割当対象レーンに割り当てる（ステップＳ１１１）。

次に、資源管理部２０４は、資源割当情報４２０における割当対象レーンに割り当てた電気光変換部１１７の資源名及び資源管理情報４１０における割り当てた電気光変換部１１７の資源の割当状態を登録する（ステップＳ１１２）。

次に、資源管理部２０４は、資源割当情報４２０における割当対象レーンの縮退の情報を「無」に設定する（ステップＳ１１３）。

その後、資源管理部２０４は、資源未割り当てのレーン３００が障害リンクに有るか否かを判定する（ステップＳ１１４）。資源未割り当てのレーン３００が存在する場合（ステップＳ１１４：肯定）、資源管理部２０４は、ステップＳ１０４へ戻る。

これに対して、資源未割り当てのレーン３００が存在しない場合（ステップＳ１１４：否定）、資源管理部２０４は、資源の再割り当て処理を終了する。

次に、図１４を参照して、本実施例に係るノード間通信装置２によるリンク間に跨る資源の再割り当て処理の流れについて説明する。図１４は、実施例に係るノード間通信装置によるリンク間に跨る資源の再割り当て処理のフローチャートである。ここでは、リンク＃＃０及び＃＃１、並びに、それ以外にもリンクが存在する場合の他のリンクを区別せずに、「リンク＃＃ｎ」という。また、レーン３０１、３０２、３１１及び３１２、並びに、それ以外にもレーンが存在する場合のレーンを区別せずに、「レーン３００」という。

資源管理部２０４は、資源管理情報４１０を用いて、故障リンク以外の他のリンク＃＃ｎ毎の構成可能なレーン数を算出する（ステップＳ２０１）。

次に、資源管理部２０４は、構成可能なレーン数が２以上のリンク＃＃ｎが存在するか否かを判定する（ステップＳ２０２）。構成可能なレーン数が２以上のリンク＃＃ｎが存在しない場合（ステップＳ２０２：否定）、資源管理部２０４は、資源の再割り当て処理を終了する。

これに対して、構成可能なレーン数が２以上のリンク＃＃ｎが存在する場合（ステップＳ２０２：肯定）、資源管理部２０４は、構成可能なレーン数が２以上のリンク＃＃ｎの中から構成可能なレーン数が最大のリンク＃＃ｎを共有リンクとして特定する（ステップＳ２０３）。

次に、資源管理部２０４は、資源管理情報４１０及び資源割当情報４２０における障害リンク及び共有リンクの情報を初期化する（ステップＳ２０４）。

そして、資源管理部２０４は、障害リンク又は共有リンクのうち割当対象リンクを１つ選択する（ステップＳ２０５）。

そして、資源管理部２０４は、障害リンク又は共有リンクが有するレーン３００の中から資源の割り当てを行う割当対象レーンを１つ選択する（ステップＳ２０６）。

次に、資源管理部２０４は、障害リンク及び共有リンクに関する資源管理情報４１０における電気信号処理部１１３の情報を取得する（ステップＳ２０７）。すなわち、資源管理部２０４は、電気信号処理部用テーブル４１１における障害リンク及び共有リンクの資源の情報を資源管理情報４１０から取得する。

次に、資源管理部２０４は、電気信号処理部１１３に障害リンク又は共有リンクの資源で障害が発生しておらず且つ未割り当てである割り当て可能な資源が有るか否かを判定する（ステップＳ２０８）。未割り当ての資源が無い場合（ステップＳ２０８：否定）、資源管理部２０４は、資源の再割り当て処理を終了する。

これに対して、未割り当ての資源が有る場合（ステップＳ２０８：肯定）、資源管理部２０４は、電気信号処理部１１３の資源を割当対象レーンに割り当てる（ステップＳ２０９）。

次に、資源管理部２０４は、資源割当情報４２０における割当対象レーンに割り当てた電気信号処理部１１３の資源名及び資源管理情報４１０における割り当てた電気信号処理部１１３の資源の割当状態を登録する（ステップＳ２１０）。

次に、資源管理部２０４は、障害リンク及び供給リンクに関する資源管理情報４１０における電気光変換部１１７の情報を取得する（ステップＳ２１１）。すなわち、資源管理部２０４は、電気光変換部用テーブル４１２における障害リンク及び共有リンクの資源の情報を資源管理情報４１０から取得する。

次に、資源管理部２０４は、電気光変換部１１７に障害リンク又は共有リンクの資源で障害が発生しておらず且つ未割り当てである割り当て可能な資源が有るか否かを判定する（ステップＳ２１２）。未割り当ての資源が無い場合（ステップＳ２１２：否定）、資源管理部２０４は、資源の再割り当て処理を終了する。

これに対して、未割り当ての資源が有る場合（ステップＳ２１２：肯定）、資源管理部２０４は、電気光変換部１１７の資源を割当対象レーンに割り当てる（ステップＳ２１３）。

次に、資源管理部２０４は、資源割当情報４２０における割当対象レーンに割り当てた電気光変換部１１７の資源名及び資源管理情報４１０における割り当てた電気光変換部１１７の資源の割当状態を登録する（ステップＳ２１４）。

次に、資源管理部２０４は、資源割当情報４２０における割当対象レーンの縮退の情報を「無」に設定する（ステップＳ２１５）。

その後、資源管理部２０４は、資源未割り当てのレーン３００が障害リンク又は共有リンクに有るか否かを判定する（ステップＳ２１６）。資源未割り当てのレーン３００が存在する場合（ステップＳ２１６：肯定）、資源管理部２０４は、割り当て対象リンクとして選択中のリンク＃＃ｎとは逆のリンク＃＃ｎを割り当て対象リンクとして選択する（ステップＳ２１７）。その後、資源管理部２０４は、ステップＳ２０６へ戻る。

これに対して、資源未割り当てのレーン３００が存在しない場合（ステップＳ２１６：否定）、資源管理部２０４は、資源の再割り当て処理を終了する。

以上に説明したように、本実施例に係るノード間通信装置は、障害リンクに割り当てられた資源でノード間を結ぶレーンが形成できる場合、障害リンク内の資源を用いてノード間を結ぶレーンを再構成する。また、障害リンクに割り当てられた資源でノード間を結ぶレーンが形成困難な場合、ノード間通信装置は、他のリンクが使用する資源を用いて障害リンク及び他のリンクにおけるノード間を結ぶレーンを再構成する。これにより、リンク内の全レーンで光モジュールの故障が検出された場合であっても、リンクの無効化を回避し、ノード間の通信を継続することができる。これにより、ノード形状が所定の形に指定されたジョブの実行が阻害されることを回避し、システムの可用性を向上させることができる。

１ ノード
２ ノード間通信装置
１０ ＣＰＵ
１１ 光モジュール
１２ インターコネクト制御回路
１３ メモリ
２１ サービスプロセッサ
２２ テスト回路
１１１ テスト信号切替部
１１２ 経路切替部
１１３ 電気信号処理部
１１４ 経路折返部
１１５ テスト信号切替部
１１６ 経路切替部
１１７ 電気光変換部
１１８ 経路折返部
１１９ 経路切替部
１２１，１２２ ポート
２０１ 送信テスト実施部
２０２ 送信テスト制御部
２０３ 経路切替制御部
２０４ 資源管理部
２２１ テストパターン生成回路
２２２ エラーチェック回路
２２３ エラーカウンタレジスタ
３００，３０１,３０２，３１１，３１２ レーン
４１０ 資源管理情報
４１１ 電気信号処理部用テーブル
４１２ 電気光変換部用テーブル
４２０ 資源割当情報
＃＃０〜＃＃ｎ リンク

Claims (7)

1. 第１演算処理装置と複数の第２演算処理装置それぞれとを結ぶ複数のリンクに含まれる複数のレーン毎の一部にあたる第１信号伝送経路と、
   複数の前記レーン毎の他の一部にあたる第２信号伝送経路と、
   各前記第１信号伝送経路の導通試験及び各前記第２信号伝送経路の導通試験を行う試験部と、
   前記試験部により特定のリンクが有する前記レーンの全てで前記第１信号伝送経路又は前記第２信号伝送経路の故障が発生したことが検出された場合、他のリンクが有する前記レーンに含まれる前記第１信号伝送経路又は前記第２信号伝送経路を経由させることで前記第１信号伝送経路及び前記第２信号伝送経路を迂回させて、前記第１演算処理装置と前記第２演算処理装置との接続を維持するように、前記第１演算処理装置、前記第１信号伝送経路、前記第２信号伝送経路及び前記第２演算処理装置の接続を切り替える接続切替部と
   を備えたことを特徴とするノード間通信装置。
2. 前記接続切替部は、前記第１演算処理装置と前記第１信号伝送経路との接続、前記第１信号伝送経路と前記第２信号伝送経路との接続、及び、前記第２信号伝送経路と前記第２演算処理装置との接続を切り替えることを特徴とする請求項１に記載のノード間通信装置。
3. 前記接続切替部は、特定のレーンで障害が発生した場合に、前記特定のレーンにおける前記第１演算処理装置の接続点と前記第２演算処理装置の接続点とを結ぶように、前記第１演算処理装置と前記第１信号伝送経路との接続、前記第１信号伝送経路と前記第２信号伝送経路との接続、及び、前記第２信号伝送経路と前記第２演算処理装置との接続を切り替えることを特徴とする請求項１又は２に記載のノード間通信装置。
4. 前記試験部は、各前記第１信号伝送経路の一方から信号を入力し、各前記第１信号伝送経路の他方からの出力信号を折り返し、各前記第１信号伝送経路の前記一方からの出力信号を取得して導通試験を行い、且つ、各前記第２信号伝送経路の一方から信号を入力し、各前記第２信号伝送経路の他方からの出力信号を折り返し、各前記第２信号伝送経路の前記一方からの出力信号を取得して導通試験を行うことを特徴とする請求項１〜３のいずれか一つに記載のノード間通信装置。
5. 前記第１信号伝送経路を複数有し、各前記第１信号伝送経路において電気信号を処理する電気信号処理部と、
   前記第２信号伝送経路を複数有し、各前記第２信号伝送経路において電気信号と光信号との変換を行う電気光変換部と
   をさらに備えたことを特徴とする請求項１〜４のいずれか一つに記載のノード間通信装置。
6. 第１演算処理装置及び複数の第２演算処理装置と、
   前記第１演算処理装置と複数の前記第２演算処理装置それぞれとを結ぶ複数のリンクに含まれる複数のレーン毎の一部にあたる第１信号伝送経路と、
   複数の前記レーン毎の他の一部にあたる第２信号伝送経路と、
   各前記第１信号伝送経路の導通試験及び各前記第２信号伝送経路の導通試験を行う試験部と、
   前記試験部により特定のリンクが有する前記レーンの全てで前記第１信号伝送経路又は前記第２信号伝送経路の故障が発生したことが検出された場合、他のリンクが有する前記レーンに含まれる前記第１信号伝送経路又は前記第２信号伝送経路を経由させることで前記第１信号伝送経路及び前記第２信号伝送経路を迂回させて、前記第１演算処理装置と前記第２演算処理装置との接続を維持するように、前記第１演算処理装置、前記第１信号伝送経路、前記第２信号伝送経路及び前記第２演算処理装置の接続を切り替える接続切替部と
   を備えたことを特徴とする並列処理装置。
7. 第１演算処理装置と複数の第２演算処理装置それぞれとを結ぶ複数のリンクに含まれる複数のレーン毎の一部にあたる第１信号伝送経路のそれぞれの導通試験を行い、
   複数の前記レーン毎の他の一部にあたる第２信号伝送経路のそれぞれの導通試験を行い、
   特定のリンクが有する前記レーンの全てで前記第１信号伝送経路又は前記第２信号伝送経路の故障が発生したことが検出された場合、他のリンクが有する前記レーンに含まれる前記第１信号伝送経路又は前記第２信号伝送経路を経由させることで前記第１信号伝送経路及び故障が検出された前記第２信号伝送経路を迂回させて、前記レーンによる前記第１演算処理装置と前記第２演算処理装置との接続を維持するように、前記第１演算処理装置、前記第１信号伝送経路、前記第２信号伝送経路及び前記第２演算処理装置の接続を切り替える
   ことを特徴とするノード間通信経路制御方法。

Images