JP7167687B2 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。

複数のノード（プロセッサ）を含むネットワークでは、各ノードに固有の番号を割り当てることで、ノード間での通信が可能になる。例えば、ネットワークに接続された複数のプロセッサに、互いに重複しない仮のプロセッサ番号を割り当ててプロセッサ数を把握した後、実のプロセッサ番号を順に割り当てる手法が提案されている（例えば、特許文献１参照）。また、６次元メッシュ／トーラスネットワークを採用したスーパーコンピュータが提案されている（例えば、特許文献２参照）。

特開平６－２６６６７４号公報 特開２０１６－２０７０１０号公報

複数のノードを含むネットワークでは、予め決められたノード間の接続仕様にしたがって各ノードに座標等のＩＤ（IDentification）が割り当てられる。各ノードが、パケットの送信先のノードの座標と自ノードの座標との差分に基づいて、パケットを転送する次元方向（すなわち、ケーブル）を決める場合、各ノードは、自ノードに接続されるケーブルがどの次元方向のものであるかを認識していればよい。すなわち、各ノードは、パケットの転送先のノードの位置を知らなくてよい。

例えば、複数のサーバを組み合わせて複数のノードを含むシステムを構築する場合であって、システムによりノード数が異なる場合、システム毎にノード間の接続状況が異なる。このため、ノードに座標を割り当てる前にノード間の接続状況を把握する必要がある。しかしながら、座標の差分に基づいてパケットを転送する次元方向を決める場合、座標が割り当てられていないとパケットの宛先を指定できず、パケットを送信することができない。したがって、ノード間の接続状況を把握することが困難になる。

１つの側面では、本発明は、ネットワークに含まれる複数のノードの接続状況を把握することを目的とする。

一つの観点によれば、次元ルーティング手法により情報を転送する複数のノードの接続関係を抽出する情報処理装置において、前記複数のノードの各々は、複数のポートを有し、前記複数のポートの各々に接続されるケーブルを介して他のノードのいずれかに接続され、前記複数のノードの１つである第１ノードに第１座標情報を割り当て、前記第１ノードを除く複数の第２ノードに第１座標情報に対して複数の次元の１つが"１"異なる第２座標情報を割り当てる割り当て処理と、前記第１ノードの複数のポートから前記第１ノードを示すノード識別情報と送信元のポートを示すポート識別情報とを含む第１情報を送信させ、第１情報を受信した前記第２ノードの受信バッファに、受信した第１情報に含まれるノード識別情報とポート識別情報との対応を保持させる第１情報送信処理と、第１情報を受信した前記第２ノードから前記受信バッファに保持されたノード識別情報とポート識別情報とを取得し、取得したノード識別情報とポート識別情報とに基づいて前記第１ノードに隣接する隣接ノードを特定する特定処理とを、前記複数のノードの各々を前記第１ノードに順次割り当てて実行することで、前記複数のノードの接続関係を抽出することを特徴とする。

１つの側面では、本発明は、ネットワークに含まれる複数のノードの接続状況を把握することができる。

一実施形態における演算処理装置を含む情報処理システムの一例を示す図である。 図１において、ノードを含むシステムボードがラックに収納された場合の初期状態の一例を示す図である。 図１の情報処理装置が実行する抽出処理の一例を示す図である。 図１の情報処理装置の動作フローの一例を示す図である。 別の実施形態における情報処理装置を含む情報処理システムの一例を示す図である。 図５のノードＮＡの一例を示す図である。 図５のノードＮＢの一例を示す図である。 図５の情報処理装置が実行するノードの接続関係を抽出する抽出処理の一例を示す図である。 図８の続きを示す図である。 図９の続きを示す図である。 全てのノードからテストパケットを送信し、図９および図１０で説明した処理を実行した後に判明したノードの接続関係の一例を示す図である。 図５の情報処理装置の動作フローの一例を示す図である。 図１２のステップＳ２０の一例を示す図である。

以下、図面を用いて実施形態が説明される。

図１は、一実施形態における情報処理装置を含む情報処理システムの一例を示す。図１に示す情報処理システム１００は、複数のケーブル１０を介して相互に接続された複数のノード１１と、各ノード１１に共通に接続された情報処理装置１２とを有する。例えば、情報処理システム１００は、所定数のノードに演算を実行させることで、ニューラルネットワークの深層学習等を実行してもよい。特に図示していないが、各ノード１１は、例えば、並列に演算を実行する複数の演算装置と、複数の演算装置を統括する演算統括部と、演算に使用するデータおよび演算結果を保持するメモリとを有する。例えば、情報処理システム１００は、所定数のノード１１を含むシステムボードをラック等に収納し、ノード１１間をケーブル１０で相互に接続することで構築される。

情報処理装置１２は、ネットワークに含まれるケーブル１０とは異なる通信線１３を介して全てのノード１１に接続され、全てのノード１１と通信が可能である。例えば、情報処理装置１２は、サーバであり、情報処理プログラムを実行するＣＰＵ（Central Processing Unit）、情報処理プログラムが格納されるメモリ、ハードディスク装置およびノード１１と通信するための通信インタフェース等を有する。

また、情報処理装置１２は、情報処理プログラムが記録されたＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）またはＵＳＢ（Universal Serial Bus）メモリ等の記録媒体ＲＭを接続する入出力インタフェースを有してもよい。この場合、情報処理プログラムは、入出力インタフェースを介してハードディスク装置等に格納される。情報処理装置１２は、後述するように、情報処理プログラムを実行することで、ノード１１間の接続情報を抽出する抽出処理を実行する。なお、情報処理装置１２は、例えば、ノード１１の状態を監視することで、ノード１１の故障を検出してもよく、ノード１１の電源を管理してもよい。

図１に示す例では、複数のケーブル１０と複数のノード１１とにより、３次元トーラスネットワークが構築される。各ノード１１は、Ｘ軸（＋Ｘ、－Ｘ）、Ｙ軸（＋Ｙ、－Ｙ）およびＺ軸（＋Ｚ、－Ｚ）のいずれかがそれぞれ割り当てられた６本のケーブル１０に接続される。図１では、Ｚ軸に接続されるノード１１の記載は省略される。以下では、Ｘ、Ｙ、Ｚの各軸は、次元とも称され、＋Ｘ、－Ｘ等の方向を含む次元は、次元情報とも称される。なお、情報処理システム１００に構築されるネットワークは、メッシュネットワーク等の他のネットワークでもよく、３次元以外の次元でもよい。

各ノード１１には、ネットワーク上でのノード１１の位置（座標）を識別可能な座標情報が割り当てられる。座標情報は、座標空間（Ｘ、Ｙ、Ｚ）上でのノード１１の位置が分かるように、（０、０、０）、（０、３、１）等の座標を含む。なお、この実施形態では、ケーブル１０を介して互いに隣接するノード１１の座標は、次元のいずれか１つが”１”だけ異なるように割り当てられる。例えば、座標が（３、３、３）のノード１１に隣接するノード１１の座標は、（２、３、３）、（４、３、３）、（３、２、３）、（３、４、３）、（３、３、２）、（３、３、４）のいずれかである。以下では、ノード１１を座標で示す場合、ノード（２、３、３）等と称される。

各ノード１１は、例えば、次元ルーティングの手法を用いて、まず、送信先のノード１１のＸ軸の座標と一致するまでＸ軸方向にパケットを転送し、次に、送信先のノード１１のＹ軸の座標と一致するまでＹ軸方向にパケットを転送する。そして、送信先のノード１１のＺ軸の座標が一致するまでＺ軸方向にパケットが転送されることで、パケットが送信先のノード１１に届く。すなわち、各ノード１１は、受信したパケットに含まれる送信先のノード１１の座標情報と自ノード１１の座標情報との差分に基づいて、受信したパケットを転送する次元を決め、決めた次元が割り当てられたケーブル１０に、受信したパケットを転送する。例えば、ノード（０、０、１）からノード（１、１、３）にパケットを送信する場合、パケットは、ノード（１、０、１）、（１、１、１）、（１、１、２）、（１、１、３）に順次転送される。

図２は、図１において、ノード１１を含むシステムボード１４がラックに収納された場合の初期状態の一例を示す。ラックにシステムボード１４を収納し、ノード１１間をケーブル１０で接続した時点では、座標は各ノード１１に割り当てられておらず、各ノード１１は、ケーブル１０が接続されたポート番号を認識しているだけである。すなわち、ノード１１間の接続関係は不明である。

図２では、ケーブル１０が接続される６つのポート番号を０番から５番で示している。以下では、ポート番号はケーブル番号とも称される。このように、初期状態では、ケーブル番号と次元情報とは対応付けられておらず、各ノード１１に接続された各ケーブル１０の次元情報は確定していない。そこで、情報処理装置１２は、情報処理プログラムを実行することで、ノード１１の接続関係を抽出する抽出処理を実行する。換言すれば、情報処理装置１２は、各ノード１１がどのケーブル１０を介してどのノード１１に接続されているかを判定する。

図３は、図１の情報処理装置１２が実行する抽出処理の一例を示す。まず、情報処理装置１２は、複数のノード１１の１つであるノード１１Ａに固有の座標情報（Ｘ、Ｙ、Ｚ）＝（０、０、１）を割り当て、残りのノード１１に共通の座標情報（Ｘ、Ｙ、Ｚ）＝（０、０、０）を割り当てる割り当て処理を実行する。固有の座標情報が割り当てられたノード１１Ａは、第１ノードの一例である。

次に、情報処理装置１２は、ノード１１Ａに指示して、ノード１１Ａに接続された６本のケーブル１０の各々にテストパケットを送信させる送信処理を実行する。テストパケットに含まれる情報は、第１情報の一例である。例えば、固有の座標情報と共通の座標情報とは、次元Ｘ、Ｙ、ＺのうちのＺのみが”１”異なる。これにより、テストパケットの宛先の座標（０、０、０）とした場合、ケーブル１０を介してノード１１Ａと直接接続された６つのノード１１Ｂのみにテストパケットを送信することができる。換言すれば、各ノード１１に正式な座標を割り当てる前であって、ノード１１間の接続関係が不明な初期状態においても、テストパケットを６本のケーブル１０のそれぞれ接続された６つのノード１１に受信させることができる。

なお、テストパケットの送信先のノード（０、０、０）は、テストパケットの送信元のノード（０、０、１）に対して、次元方向Ｚが”－１”異なる。このため、ノード１１Ａは、自ノードが有する次元情報レジスタ１５に設定された情報に基づいて、ノード（０、０、０）へのテストパケットを、次元方向（－Ｚ）のケーブル１０に送信する。次元情報レジスタ１５は、ケーブル１０と、ケーブル１０に割り当てる次元との関係が登録される登録部の一例である。

次元情報レジスタ１５は、各ノード１１に設けられ、図３の下側の枠内に示すように、ケーブル番号（ポート番号）に対応して次元情報（＋Ｘ、－Ｘ、＋Ｙ、－Ｙ、＋Ｚ、－Ｚ）を格納する領域を有し、ケーブル１０がどの次元方向に接続されているかを示す。情報処理装置１２は、テストパケットを送信する毎にノード１１Ａの次元情報レジスタ１５を更新し、図３の下側の枠内の矢印方向の遷移で示すように、次元情報（－Ｚ）とケーブル番号との対応を順次ずらしていく。これにより、ノード１１Ａは、共通の座標情報（０、０、０）が割り当てられたノード１１のうち、ノード１１Ａに隣接して接続された６つのノード１１Ｂ(隣接ノード)のみに、パケットを順次転送することができる。

この後、情報処理装置１２は、全てのノード１１を探索し、テストパケットを受信したノード１１を検出することで、ノード１１Ａに接続された６本のケーブル１０に接続された隣接ノード１１Ｂを特定する特定処理を実行する。なお、テストパケットを受信したケーブル１０の番号と、テストパケットの送信元のノード１１を識別する識別情報とを格納する受信情報保持部が、各ノード１１に設けられてもよい。この場合、情報処理装置１２は、各ノード１１の受信情報保持部に記憶された情報に基づいて、ノード１１Ａに接続された６本のケーブル１０に接続された隣接ノード１１Ｂを特定する特定処理を実行することができる。

この後、情報処理装置１２は、上述した割り当て処理と送信処理と特定処理とを、固有の座標情報（０、０、１）を割り当てるノード１１Ａを順次切り替えながら実行する。これにより、全てのノード１１（１１Ａ）に接続された６本のケーブル１０に接続された隣接ノード１１Ｂを特定することができ、全てのノード１１の接続関係を抽出することができる。すなわち、各ノード１１がどのケーブル１０を介してどのノード１１に接続されているかを認識することができ、図１に示すネットワークの接続関係を判明することができる。この後、情報処理システム１００は、例えば、判明したノード１１の接続関係に基づいて、各ノード１１に座標を割り当てる。これにより、座標情報を含むネットワークを構築することができる。

図４は、図１の情報処理装置１２の動作フローの一例を示す。図４に示すフローは、例えば、情報処理装置１２が情報処理プログラムを実行することで実現される。すなわち、図４は、情報処理装置１２による情報処理方法の一例および情報処理プログラムの一例を示す。

まず、ステップＳ１において、情報処理装置１２は、ノード１１の１つに固有の座標情報（０、０、１）を割り当てる。次に、ステップＳ２において、情報処理装置１２は、残りのノード１１に共通の座標情報（０、０、０）を割り当てる。次に、ステップＳ３において、情報処理装置１２は、ノード（０、０、１）に、ノード（０、０、１）に接続されたケーブル１０を介して、ノード（０、０、１）に接続された複数のノード（０、０、０）にテストパケットを送信させる。

次に、ステップＳ４において、情報処理装置１２は、全てのノード１１を探索し、テストパケットを受信したノード１１を検出し、ノード（０、０、１）のケーブル１０に接続された隣接ノード１１Ｂを特定する。次に、ステップＳ５において、情報処理装置１２は、全てのノード１１に固有の座標情報（０、０、１）を割り当ててテストパケットを送信した場合、処理をステップＳ６に移行する。情報処理装置１２は、固有の座標情報（０、０、１）を割り当てていないノード１１がある場合、処理をステップＳ１に戻す。

ステップＳ６において、情報処理装置１２は、固有の座標情報（０、０、１）を割り当てたノード１１毎に特定した隣接ノードの情報に基づいて、全てのノード１１の接続関係を抽出し、処理を終了する。

以上、図１から図４に示す実施形態では、固有の座標情報を割り当てるノード１１Ａを順次ずらし、ノード１１Ａからテストパケットを送信し、テストパケットを受信したノード１１を、ケーブル１０を介してノード１１Ａに接続された隣接ノード１１Ｂと特定する。これにより、ノード１１間の接続関係が不明なネットワークにおいて、ノード１１間の接続状況を把握することができる。

ノード１１Ａに割り当てる固有の座標情報と他のノード１１に割り当てる共通の座標情報とは、次元の１つのみが”１”だけ異なる。これにより、各ノード１１に正式な座標を割り当てる前の初期状態において、ノード１１Ａから他のノード１１に向けてテストパケットを送信することで、テストパケットを６本のケーブル１０のそれぞれに直接接続されたノード１１のみに受信させることができる。

情報処理装置１２は、ノード１１Ａの次元情報レジスタ１５に設定する次元情報（－Ｚ）とケーブル番号との対応を、テストパケットを送信する毎に順次ずらしていく。これにより、例えば、次元ルーティング方式において、ノード１１Ａは、共通の座標情報（０、０、０）が割り当てられた複数のノード１１のうち、ノード１１Ａに直接接続された隣接ノード１１Ｂのみに、テストパケットを順次転送することができる。

全てのノード１１を、固有の座標情報が割り当てられたノード１１Ａに順次設定することで判明したノード１１間の接続情報に基づいて、各ノード１１に座標情報を割り当てることで、座標情報を含むネットワークを構築することができる。換言すれば、ラックに収納されるシステムボード１４の枚数やノード１１の数にかかわりなく、座標情報を含むネットワークを構築することができ、各種情報処理を実行する情報処理システム１００として運用することができる。

図５は、別の実施形態における情報処理装置を含む情報処理システムの一例を示す。図１で説明した要素および機能と同様の要素および機能については、詳細な説明は省略される。図５に示す情報処理システム１０２は、複数のケーブル１０を介して相互に接続された２４個のノードＮ（Ｎ１－Ｎ２４）と、ノードＮに接続された所定数の情報処理装置（Ｈ）２０と、スイッチ（ＳＷ）３０とを有する。例えば、情報処理システム１０２は、所定数のノードＮに演算を実行させることで、ニューラルネットワークの深層学習等を実行する。

情報処理装置２０は、ケーブル１０とは異なる通信線１３とスイッチ３０とを介して全てのノードＮに接続され、全てのノードＮと通信が可能である。スイッチ３０は、情報処理装置２０とノードＮと間で転送されるパケット等の転送経路を切り換える。図５の縦方向に配置される２つの情報処理装置２０の間および図５の横方向に配置される２つの情報処理装置２０の間は、それぞれ２本の通信線４０を介して互いに接続され、４つの情報処理装置２０は、互いに通信可能である。

例えば、情報処理装置２０は、図１に示した情報処理装置１２と同様にサーバであり、情報処理プログラムを実行するＣＰＵ、情報処理プログラムが格納されるメモリ、ハードディスク装置およびノードＮと通信するための通信インタフェース等を有する。また、情報処理装置２０は、図１に示した情報処理装置１２と同様に、情報処理プログラムが記録された記録媒体ＲＭを接続する入出力インタフェースを有してもよい。

例えば、図５に示す情報処理システム１０２は、４つのノードＮを各々含む６枚のシステムボードをラックに収納し、ノードＮ間をケーブル１０で接続することで構築される。情報処理装置２０は、ラック内に配置されてもよく、ラック外に配置されてもよい。ラックにシステムボード１４を収納し、ノード１１間をケーブル１０で接続した時点では、情報処理装置２０は、どのノードＮがどのケーブル１０を介して他のノードＮに接続されているかを認識していない。すなわち、ノードＮ間の接続関係は不明である。このため、情報処理装置２０は、図８から図１３で説明するように、ノードＮ間の接続情報を抽出する抽出処理を実行する。

各ノードＮは、１０本のケーブルを介して他のノードＮに接続される。なお、ノードＮ１、Ｎ３、Ｎ４、Ｎ６、Ｎ７、Ｎ９、Ｎ１０、Ｎ１２、Ｎ１３、Ｎ１５、Ｎ１６、Ｎ１８、Ｎ１９、Ｎ２１、Ｎ２２、Ｎ２４は、互いに同じ構成を有する。ノードＮ２、Ｎ５、Ｎ８、Ｎ１１、Ｎ１４、Ｎ１７、Ｎ２０、Ｎ２３は、互いに同じ構成を有する。以下では、ノードＮ１、Ｎ３、Ｎ４、Ｎ６、Ｎ７、Ｎ９、Ｎ１０、Ｎ１２、Ｎ１３、Ｎ１５、Ｎ１６、Ｎ１８、Ｎ１９、Ｎ２１、Ｎ２２、Ｎ２４は、ノードＮＡとも称される。ノードＮＮ２、Ｎ８、Ｎ５、Ｎ１１、Ｎ１４、Ｎ１７、Ｎ２０、Ｎ２３は、ノードＮＢとも称される。ノードＮＡは、ノードＮＢに比べて処理性能が高い。

なお、情報処理システム１０２は、全て同じノードＮＡを有してもよい。また、情報処理システム１０２が含むノードＮの総数は、２４個に限定されず、ラックに収納されるシステムボードの枚数や、システムボードに搭載されるノードＮの数により相違されてもよい。

図６は、図５のノードＮＡの一例を示す。ノードＮＡは、ＤＭＡ（Direct Memory Access）エンジン部２０２、演算統括部２０４、４つの並列演算装置２０６、４つの演算制御部２０８、４つのメモリ制御部２１０および４つのメモリ２１２を有する。また、ノードＮＡは、通信制御部２１４、ネットワーク構成管理部２１６、ネットワーク制御部２１８、通信用バッファ２２０およびインターコネクト装置２２２を有する。ノードＮＡにおいて、メモリ２１２以外は、１つのチップ内に集積されてもよい。なお、ノードＮＡにおいて、並列演算装置２０６、演算制御部２０８、メモリ制御部２１０およびメモリ２１２のそれぞれ数は、４つに限定されず、２つあるいは８つでもよい。また、メモリ２１２は、複数の並列演算装置２０６に共有されてもよい。

ＤＭＡエンジン部２０２は、通信制御部２１４と演算統括部２０４とからの指示に基づいて動作し、例えば、通信制御部２１４および通信線１３を介して接続される図示しない情報処理装置２０とメモリ制御部２１０との間でのデータの転送を制御する。通信制御部２１４は、例えば、ＰＣＩ（Peripheral Component Interconnect）プロトコルに基づいて、通信線１３を介して接続される情報処理装置２０等との通信を制御し、命令列、データ、制御情報等の転送を制御する。

演算統括部２０４は、通信制御部２１４を介して情報処理装置２０から受信した指示に基づいて、演算制御部２０８に並列演算装置２０６の動作を制御させ、また、ネットワーク制御部２１８の動作を制御する。並列演算装置２０６は、積和演算器等を含む複数の処理ユニットを有し、演算制御部２０８からの指示に基づいて、複数の演算を並列に実行する。演算制御部２０８は、演算統括部２０４からの指示に基づいて、並列演算装置２０６の動作を制御する。

メモリ制御部２１０は、ＤＭＡエンジン部２０２またはネットワーク制御部２１８からの指示に基づいて、メモリ２１２のアクセス動作を制御する。メモリ２１２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等の複数のメモリチップが積層されたメモリモジュールである。メモリ２１２は、並列演算装置２０６が実行する演算命令、演算データおよび並列演算装置２０６の動作を制御する制御命令等を保持し、並列演算装置２０６が演算命令の実行により得た演算結果を保持する。

ネットワーク構成管理部２１６は、図３に示した次元情報レジスタ１５と同様の次元情報レジスタ２３２と、自ノードＮのＩＤ（識別情報）および自ノードＮの座標情報を保持する座標情報レジスタ２３４と、テストパケット用の受信バッファ２３６とを有する。座標情報レジスタ２３４および受信バッファ２３６の例は、図８で説明される。次元情報レジスタ２３２は、１０本のケーブル１０に対応して、１０本のケーブル１０のそれぞれに割り当てる１０個の次元情報を格納する領域を有する。次元情報レジスタ２３２は、ケーブル１０と、ケーブル１０に割り当てる次元との関係が登録される登録部の一例である。

ネットワーク構成管理部２１６は、情報処理装置２０からの指示に基づいて、テストパケットを送信する。また、ネットワーク構成管理部２１６は、テストパケットを受信した場合、テストパケットに含まれるエントリ番号に対応する受信バッファ２３６のエントリにテストパケットの送信元のノードＮのＩＤを示す情報を格納する。さらに、ネットワーク構成管理部２１６は、情報処理装置２０からの指示に基づいて、受信バッファ２３６が保持する情報を情報処理装置２０に出力する。ネットワーク制御部２１８は、演算統括部２０４、メモリ制御部２１０、ネットワーク構成管理部２１６、通信用バッファ２２０およびインターコネクト装置２２２との間での情報の授受を管理する。

通信用バッファ２２０は、インターコネクト装置２２２を介して送受信するデータを保持する。インターコネクト装置２２２は、ケーブル１０を介して他のノードＮのインターコネクト装置２２２に接続される。インターコネクト装置２２２は、通信用バッファ２２０からパケットを受信した場合、パケットに含まれる転送先のノードＮの座標情報を参照し、次元ルーティングの規則にしたがって、パケットを転送する次元方向を算出する。そして、インターコネクト装置２２２は、算出した次元方向が割り当てられたケーブル１０（ポート）にパケットを転送する。

インターコネクト装置２２２は、他のノードＮからパケットを受信した場合であって、受信したパケットに含まれる転送先の座標情報が自ノードＮを示す場合、パケットを通信用バッファ２２０に出力する。インターコネクト装置２２２は、受信したパケットに含まれる転送先の座標情報が他のノードＮを示す場合、次元ルーティングの規則にしたがって、パケットを転送する次元方向を算出する。インターコネクト装置２２２は、算出した次元方向が割り当てられたケーブル１０（ポート）にパケットを転送する。

図７は、図５のノードＮＢの一例を示す。図６と同じ要素については、同じ符号を付し、詳細な説明は省略する。ノードＮＢは、並列演算装置２０６、演算制御部２０８、メモリ制御部２１０およびメモリ２１２をそれぞれ１つ有することを除き、ノードＮＡと同様の構成である。すなわち、ノードＮＢの処理性能は、ノードＮＡの処理性能に比べて低い。ノードＮＢにおいても、メモリ２１２以外は、１つのチップ内に集積されてもよい。なお、ノードＮＢにおいて、並列演算装置２０６、演算制御部２０８、メモリ制御部２１０およびメモリ２１２の数は、１つに限定されない。

図８から図１０は、図５の情報処理装置２０が実行するノードＮの接続関係を抽出する抽出処理の一例を示す。図８には、各ノードＮ１－Ｎ２４が有する座標情報レジスタ２３４および受信バッファ２３６と、情報処理装置２０が有する隣接情報リスト２２とが示される。

座標情報レジスタ２３４は、自ノードＮのＩＤと、自ノードＮの座標情報（Ａ、Ｂ、Ｃ）とを保持する領域を有する。図８に示す例では、情報処理装置２０は、各ノードＮに仮のＩＤを割り当て、仮のＩＤを座標情報レジスタ２３４に格納する。説明を分かりやすくするため、図８では、座標情報レジスタ２３４に格納された仮のＩＤは、ノードＮ１－Ｎ２４の符号と同じにされている。受信バッファ２３６は、例えば、各ノードＮに接続されるケーブル（すなわち、ポート）の数に対応する１０個のエントリを有する。初期状態では、受信バッファ２３６の各エントリは、"０"に設定されている。ＩＤは、識別情報の一例である。

情報処理装置２０は、まず、ノードＮ１に固有の座標情報（Ａ、Ｂ、Ｃ）＝（０、０、１）を割り当て、残りのノードＮ２－Ｎ２４に共通の座標情報（Ａ、Ｂ、Ｃ）＝（０、０、０）を割り当てる割り当て処理を実行する。なお、座標情報の次元数（＝”３”）は、一例である。固有の座標情報が割り当てられたノードＮ１は、第１ノードの一例である。図３と同様に、固有の座標情報と共通の座標情報とは、１つの次元（例えば、次元Ｃ）のみ、”１”だけ異なる。

次に、情報処理装置２０は、ノードＮ１に接続された１０本のケーブル１０の各々を介してテストパケットを送信させる送信処理を実行する。例えば、テストパケットには、ノードＮ１のＩＤを示す情報（例えば、”１”）と、テストパケットの宛先のノードＮの受信バッファ２３６のエントリ番号とを含む。例えば、エントリ番号は、テストパケットを送信するケーブル１０（ポート）の番号に設定される。テストパケットに含まれる情報は、第１情報の一例である。

この際、まず、情報処理装置２０は、ノードＮ１の０番目のポートに次元”－Ｃ”を割り当てる情報を次元情報レジスタ２３２に書き込む。例えば、ポート番号は、ケーブル番号に等しい。そして、情報処理装置２０は、テストパケットの宛先を座標（０、０、０）とし、テストパケットを送信するケーブル番号と同じ値（＝”０”）が割り当てられた受信バッファ２３６のエントリを格納先に指定して、テストパケットをノードＮ１に送信させる。テストパケットに含まれる受信バッファ２３６のエントリの格納先を示す情報は、格納先情報の一例である。これにより、０番目のポートに接続されたケーブル１０を介してノードＮ１に接続されたノードＮ（例えば、Ｎ２）にテストパケットが転送される。

次に、情報処理装置２０は、ノードＮ１の１番目のポートに次元”－Ｃ”を割り当てる情報を次元情報レジスタ２３２に書き込む。そして、情報処理装置２０は、テストパケットの宛先を座標（０、０、０）とし、テストパケットを送信するケーブル番号と同じ値（＝”１”）が割り当てられた受信バッファ２３６のエントリを格納先に指定して、テストパケットをノードＮ１に送信させる。これにより、１番目のポートに接続されたケーブル１０を介してノードＮ１に接続されたノードＮ（例えば、Ｎ２）にテストパケットが転送される。

この後、情報処理装置２０は、次元情報レジスタ２３２を順次書き換えて、次元”－Ｃ”を割り当てるポートを１つずつずらし、ケーブル番号と同じ値が割り当てられた受信バッファ２３６のエントリを格納先に指定して、テストパケットをノードＮ１に送信させる。これにより、１０本のケーブルを介してノードＮ１に直接接続された全てのノードＮにテストパケットが転送される。例えば、図５に示すネットワークでは、テストパケットは、ノードＮ１から、４本のケーブル１０を介してノードＮ２に送信され、２本のケーブル１０を介してノードＮ７に送信され、４本のケーブル１０を介してノードＮ１３に送信される。

なお、図８に示す隣接情報リスト２２は、１０本のケーブル１０の番号（０から９）に対応して、テストパケットの送信元のノードＮの番号を格納する領域（”発”）と、テストパケットの送信先のノードＮの番号を格納する領域（”着”）とを有する。隣接情報リスト２２は、ノードＮ毎に設けられる。

図９は、ノードＮ１からテストパケットを１０回送信した後の状態を示す。ノードＮ２は、受信バッファ２３６の０番から３番のエントリが格納先に指定されたテストパケットをノードＮ１から順次受信し、受信バッファ２３６の０番から３番のエントリに、テストパケットの宛先のノードＮ１を示す”１”を格納する（図９（ａ））。ノードＮ７は、受信バッファ２３６の６番、７番のエントリが格納先に指定されたテストパケットをノードＮ１から順次受信し、受信バッファ２３６の６番、７番のエントリに、テストパケットの宛先のノードＮ１を示す”１”を格納する（図９（ｂ））。ノードＮ１３は、受信バッファ２３６の４番、５番、８番、９番のエントリが格納先に指定されたテストパケットをノードＮ１から順次受信する。ノードＮ１３は、受信バッファ２３６の４番、５番、８番、９番のエントリに、テストパケットの宛先のノードＮ１を示す”１”を格納する（図９（ｃ））。

情報処理装置２０は、ノードＮ１からテストパケットを１０回送信した後、全てのノードＮ１－Ｎ２４を探索する。そして、情報処理装置２０は、エントリに”１”を保持している受信バッファ２３６を検出することで、ノードＮ１からテストパケットを受信したノードＮを検出する。なお、テストパケットを送信したノードＮ１は探索対象から外されてもよい。

情報処理装置２０は、ノードＮ２の受信バッファ２３６の０番目のエントリに格納された”１”に基づいて、ノードＮ１の０番目のケーブルがノードＮ２に接続されていると判定する。そして、情報処理装置２０は、ノードＮ１に対応する隣接情報リスト２２において、ケーブル番号”０”に対応する”発”の領域にノードＮ１を示す”１”を格納し、ケーブル番号”０”に対応する”着”の領域にノードＮ２を示す”２”を格納する。すなわち、情報処理装置２０は、ノードＮ１の０番目のケーブルがノードＮ２に接続されていることを示す情報を隣接情報リスト２２に格納する。

また、情報処理装置２０は、ノードＮ２の受信バッファ２３６の１番目、２番目、３番目のエントリに格納された”１”に基づいて、ノードＮ１の１番目、２番目、３番目のケーブルがノードＮ２に接続されていると判定する。そして、情報処理装置２０は、隣接情報リスト２２において、ケーブル番号”１”、”２”、”３”に対応する”発”の領域にノードＮ１を示す”１”を格納し、ケーブル番号”１”、”２”、”３”に対応する”着”の領域にノードＮ２を示す”２”を格納する。すなわち、情報処理装置２０は、ノードＮ１の１番目、２番目、３番目のケーブルがノードＮ２に接続されていることを示す情報を隣接情報リスト２２に格納する。

同様にして、情報処理装置２０は、ノードＮ７の受信バッファ２３６に格納された情報に基づいて、ノードＮ１の６番目、７番目のケーブルがノードＮ７に接続されていることを示す情報を隣接情報リスト２２に格納する。情報処理装置２０は、ノードＮ１３の受信バッファ２３６に格納された情報に基づいて、ノードＮ１の４番、５番、８番、９番のケーブルがノードＮ１３に接続されていることを示す情報を隣接情報リスト２２に格納する。

このように、情報処理装置２０は、ノードＮ１からテストパケットを受信したノードＮ２、Ｎ７、Ｎ１３が、ノードＮ１のどのケーブル１０（ポート）に接続されているかを特定する特定処理を実行する。すなわち、テストパケットを送信するケーブル番号が割り当てられた受信バッファ２３６のエントリを格納先に指定してテストパケットを送信することで、送信元のノードＮのどのケーブル１０がどのノードＮに接続されているかを検出することができる。

図１０は、ノードＮ３からテストパケットを１０回送信した後の状態を示す。ノードＮ２は、受信バッファ２３６の０番から３番のエントリが格納先に指定されたテストパケットをノードＮ３から順次受信し、受信バッファ２３６の０番から３番のエントリに、テストパケットの宛先のノードＮ３を示す”３”を格納する（図１０（ａ））。ノードＮ９は、受信バッファ２３６の６番、７番のエントリが格納先に指定されたテストパケットをノードＮ３から順次受信し、受信バッファ２３６の６番、７番のエントリに、テストパケットの宛先のノードＮ３を示す”３”を格納する（図１０（ｂ））。ノードＮ１５は、受信バッファ２３６の４番、５番、８番、９番のエントリが格納先に指定されたテストパケットをノードＮ３から順次受信する。ノードＮ１５は、受信バッファ２３６の４番、５番、８番、９番のエントリに、テストパケットの宛先のノードＮ３を示す”３”を格納する（図１０（ｃ））。

図１０では、情報処理装置２０は、ノードＮ３からテストパケットを１０回送信した後、全てのノードＮ１－Ｎ２４を探索し、エントリに”３”を保持している受信バッファ２３６を検出することで、ノードＮ３からテストパケットを受信したノードＮを検出する。そして、情報処理装置２０は、図９の説明と同様に、ノードＮ３からテストパケットを受信したノードＮ２、Ｎ９、Ｎ１５が、ノードＮ３のどのケーブル１０（ポート）に接続されているかを特定する特定処理を実行する。

なお、図９と図１０において、ノードＮ２の受信バッファ２３６の０番目から３番目のエントリには、ノードＮ１を示す情報”１”が格納された後、ノードＮ３を示す”３”が上書きされる。しかしながら、情報処理装置２０は、テストパケットを送信するノードＮを切り換えて、１０本のケーブル１０にテストパケットを送信する毎に、全ノードＮの受信バッファ２３６を参照し、隣接情報リスト２２を生成する。これにより、受信バッファ２３６に保持された情報が上書きされる場合にも、正しい隣接情報リスト２２を作成することができる。また、受信バッファ２３６には、テストパケットを送信したノードＮの番号が格納され、ノードＮの番号は、隣接情報リスト２２を作成する毎に異なる。このため、テストパケットを送信するノードＮを切り換える毎に、受信バッファ２３６をクリアしなくても、情報処理装置２０は、正しい隣接情報リスト２２を作成することができる。

図９および図１０で説明した処理と同様に、情報処理装置２０は、全てのノードＮについて、割り当て処理、送信処理および特定処理を実行し、その都度、隣接情報リスト２２を作成する。そして、情報処理装置２０は、作成した２４個の隣接情報リスト２２に基づいて、ノードＮの接続関係を抽出する。例えば、図９では、ノードＮ１の０番目のケーブル１０がノードＮ２に接続されていることを特定できるが、ノードＮ１の０番目のケーブル１０がノードＮ２のどのケーブル１０に接続されているかは特定できない。

しかしながら、ノードＮ２からテストパケットを送信した後に作成される隣接情報リスト２２に基づいて、例えば、ノードＮ２の２番目のケーブル１０がノードＮ１に接続されていることを特定することができる。これにより、ノードＮ１の０番目のケーブル１０がノードＮ２の２番目のケーブル１０に接続されていることを特定することができる。

図１１は、全てのノードＮからテストパケットを送信し、図９および図１０で説明した処理を実行した後に判明したノードＮ１－Ｎ２４の接続関係の一例を示す。なお、実際には、ノードＮ間を接続するケーブル１０の番号まで特定されるが、図１１での記載は省略し、ノードＮ間を接続するケーブルの本数のみが記載される。

図１２および図１３は、図５の情報処理装置２０の動作フローの一例を示す。図１２および図１３に示すフローは、例えば、情報処理装置２０が情報処理プログラムを実行することで実現される。すなわち、図１２および図１３は、情報処理装置２０による情報処理方法の一例および情報処理プログラムの一例を示す。図１２および図１３に示すフローでは、情報処理装置２０は、図８から図１１で説明したノードＮの接続関係を抽出する動作を示す。

まず、図１２のステップＳ１０において、情報処理装置２０は、全てのノードＮの座標情報を（０、０、０）に設定する。ステップＳ１２からステップＳ２２の処理は、全てのノードＮ（ｎ個）のそれぞれについて実行される。

ステップＳ１２において、情報処理装置２０は、ｉ番目のノードＮの座標情報を（０、０、１）に変更する。ステップＳ１４、Ｓ１６の処理は、１０本のケーブルのそれぞれについて実行される。ステップＳ１４において、情報処理装置２０は、ｄ番目のケーブル１０を使用して、座標情報が（０、０、１）のノードＮから座標情報が（０、０、０）のノードＮにテストパケットを送信させる。テストパケットは、送信元のノードＮのＩＤ（＝”ｉ”）と、送信先のノードＮの受信バッファ２３６のエントリの番号ｄ（＝ケーブル番号）とを含む。テストパケットを受信したノードＮは、テストパケットに含まれる送信元のノードＮのＩＤ（＝”ｉ”）を、受信バッファ２３６のｄ番目のエントリに格納する。

次に、ステップＳ１６において、情報処理装置２０は、テストパケットの送信元のノードＮの次元情報レジスタ２３２を書き換えて、図３と同様に、テストパケットを送信するケーブル１０（ポート）を１つシフトする。

テストパケットの送信元のノードＮから１０本のケーブル１０のそれぞれにテストパケットを送信した場合、ステップＳ２０において、情報処理装置２０は、全てのノードＮを探索する。そして、情報処理装置２０は、テストパケットを受信したノードＮの受信バッファ２３６に保持された情報に基づいて、隣接情報リスト２２を作成する。ステップ２０の処理の例は、図１３に示される。

次に、ステップＳ２２において、情報処理装置２０は、ｉ番目のノードＮのＩＤを（０、０、０）に変更し、全てのノードＮに対する操作が完了していない場合、処理をステップＳ１２に戻す。全てのノードＮに対する操作が完了した場合、処理を終了する。

図１３は、図１２のステップＳ２０の一例を示す。ステップＳ２０２からステップＳ２０６の処理は、全てのノードＮ（ｎ個）のそれぞれを探索先に指定して実行され、さらに、ノードＮ毎に、受信バッファ２３６の１０個のエントリ（ｄ＝”０”～”９”）のそれぞれについて実行される。

ステップＳ２０２において、情報処理装置２０は、探索先のノードＮの受信バッファ２３６のｄ番目のエントリの値ｍを取得する。次に、ステップＳ２０４において、情報処理装置２０は、値ｍがテストパケットの送信元のノードＮ（＝”ｉ”）を示す場合、処理をステップＳ２０４に移行する。情報処理装置２０は、値ｍがテストパケットの送信元のノードＮ（＝”ｉ”）を示す場合、処理をステップＳ２０６に移行する。情報処理装置２０は、値ｍがテストパケットの送信元のノードＮ（＝”ｉ”）を示さない場合、以下に示す判定処理を実行する。

判定処理では、情報処理装置２０は、値ｍがテストパケットの送信元のノードＮ（＝”ｉ”）を示さない場合であって、受信バッファ２３６の全てのエントリの値を取得していない場合、処理をステップＳ２０２に戻す。情報処理装置２０は、値ｍがテストパケットの送信元のノードＮ（＝”ｉ”）を示さない場合であって、受信バッファ２３６の全てのエントリの値を取得した場合、探索対象のノードＮを更新し（ｋ＋１）、値ｄを”０”にリセットし、処理をステップＳ２０２に戻す。さらに、情報処理装置２０は、値ｍがテストパケットの送信元のノードＮ（＝”ｉ”）を示さない場合であって、全てのノードＮの探索が完了した場合、処理を終了する。

ステップＳ２０６において、情報処理装置２０は、隣接情報リスト２２において、”発”の領域に”ｉ”を格納し、”着”の領域に”ｋ”を格納し、”ケーブル”の領域に”ｄ”を格納する。そして、情報処理装置２０は、受信バッファ２３６の全てのエントリの値を取得していない場合、処理をステップＳ２０２に戻す。情報処理装置２０は、受信バッファ２３６の全てのエントリの値を取得した場合、探索対象のノードＮを更新し（ｋ＝ｋ＋１）、値ｄを”０”にリセットし、処理をステップＳ２０２に戻す。さらに、情報処理装置２０は、全てのノードＮの探索が完了した場合、処理を終了する。

以上、図５から図１３に示す実施形態においても、図１から図４に示す実施形態と同様に、ノードＮ間の接続関係が不明なネットワークにおいて、ノードＮ間の接続状況を把握することができる。把握した接続状況に基づいて、各ノードに座標情報を割り当てることで、座標情報を含むネットワークを構築することができる。

テストパケットの送信元のノードＮの座標情報と他のノードの座標情報とを、次元の１つのみを”１”だけ相違させることで、ノードＮ間の接続関係が不明な状態でも、テストパケットを送信することができる。これにより、テストパケットの送信元のノードＮに直接接続されたノードＮのみにテストパケットを受信させることができる。

テストパケットの送信元のノードＮの次元情報レジスタ２３２に設定する次元情報（－Ｃ）とケーブル番号との対応を、テストパケットを送信する毎に順次シフトする。これにより、次元ルーティングでパケットを転送する方式において、ノードＮ間の接続関係が不明な状態でも、テストパケットの送信元のノードＮに直接接続されたノードＮのみに、テストパケットを順次転送することができる。

さらに、図５から図１３に示す実施形態では、ノードＮ間の接続関係を抽出する前に、全てのノードＮに仮のＩＤを割り当て、テストパケットの送信元のノードＮの仮のＩＤをテストパケットに含める。これにより、テストパケットを受信したノードＮの受信バッファ２３６にテストパケットの送信元のノードＮのＩＤを格納することができ、隣接情報リスト２２を作成することができる。すなわち、ノードＮ間の接続情報を抽出することができる。

情報処理装置２０は、テストパケットに、送信元のノードＮのＩＤと、送信先のノードＮの受信バッファ２３６の格納先のエントリ番号を含ませる。そして、テストパケットを受信したノードＮに、テストパケットに含まれる送信元のノードＮのＩＤを受信バッファ２３６の格納先に指定したエントリに格納させる。これにより、情報処理装置２０は、受信バッファ２３６に保持された情報に基づいて、テストパケットを受信したノードＮがテストパケットの送信元のノードＮのどのケーブル１０と接続されているかを判定することができる。さらに、全てのノードＮからテストパケットを送信することで、情報処理装置２０は、各ノードＮの各ケーブルが他のノードＮのどのポートに接続されているかを判定することができ、ノードＮ間の接続情報を抽出することができる。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

１０ ケーブル
１１ ノード
１２ 情報処理装置
１３ 通信線
１４ システムボード
１５ 次元情報レジスタ
１６ 加算部
２０ 情報処理装置
３０ スイッチ
４０ 通信線
１００、１０２ 情報処理システム
２３２ 次元情報レジスタ
２３４ 座標情報レジスタ
２３６ 受信バッファ
Ｎ、ＮＡ、ＮＢ ノード

Claims (6)

1. 次元ルーティング手法により情報を転送する複数のノードを制御する情報処理装置において、
   前記複数のノードの各々は、複数のポートを有し、前記複数のポートの各々に接続されるケーブルを介して他のノードのいずれかに接続され、
   前記複数のノードの１つである第１ノードに第１座標情報を割り当て、前記第１ノードを除く複数の第２ノードに第１座標情報に対して複数の次元の１つが"１"異なる第２座標情報を割り当てる割り当て処理と、
   前記第１ノードの複数のポートから前記複数の第２ノードに前記第１ノードを示すノード識別情報と送信するポートを示す送信ポート識別情報とを含む第１情報を送信させ、第１情報を受信した前記第２ノードの受信バッファに、受信した第１情報に含まれるノード識別情報と送信ポート識別情報との対応関係を保持させる第１情報送信処理と、
   第１情報を受信した前記第２ノードから前記受信バッファに保持されたノード識別情報とポート識別情報とを取得し、取得したノード識別情報とポート識別情報とに基づいて前記第１ノードに隣接する隣接ノードを特定する特定処理とを、
   前記複数のノードの各々を前記第１ノードに順次割り当てて実行することで、前記複数のノードの接続関係を抽出することを特徴とする情報処理装置。
2. 前記複数のノードの各々は、前記複数のポートのそれぞれに割り当てる次元と前記複数のポートとの関係が登録される登録部を有し、
   前記第１情報送信処理において、前記第１ノードの前記登録部の"１"異なる次元を割り当てるポートを順次変え、"１"異なる次元を割り当てた前記第１ノードのポートから前記登録部に割り当てた次元に第１情報を送信させることを特徴とする請求項１に記載の情報処理装置。
3. 前記受信バッファは、第１情報に含まれるノード識別情報を格納するエントリを、第１情報を受信する前記複数のポートの数に対応して有し、
   前記第１ノードが前記複数のポートから各々送信する第１情報に含まれる送信ポート識別情報は、ノード識別情報を格納するエントリのエントリ番号を示し、
   前記特定処理において、前記隣接ノード毎に、ノード識別情報が格納されたエントリに基づいて、第１情報を送信した前記第１ノードのポートを特定し、
   前記複数のノードの全てを前記第１ノードに割り当てて前記特定処理を完了した後、前記特定処理の各々で特定された情報に基づいて前記複数のノードの接続関係を抽出することを特徴とする請求項１または請求項２に記載の情報処理装置。
4. 最初の前記割り当て処理の実行前に、前記複数のノードの各々に、仮のノード識別情報を割り当てることを特徴とする請求項１ないし請求項３のいずれか１項に記載の情報処理装置。
5. 次元ルーティング手法により情報を転送する複数のノードを制御する情報処理装置により前記複数のノードの接続関係を抽出する情報処理方法において、
   前記複数のノードの各々は、複数のポートを有し、前記複数のポートの各々に接続されるケーブルを介して他のノードのいずれかに接続され、
   前記複数のノードの１つである第１ノードに第１座標情報を割り当て、前記第１ノードを除く複数の第２ノードに第１座標情報に対して複数の次元の１つが"１"異なる第２座標情報を割り当てる割り当て処理と、
   前記第１ノードの複数のポートから前記複数の第２ノードに前記第１ノードを示すノード識別情報と送信するポートを示す送信ポート識別情報とを含む第１情報を送信させ、第１情報を受信した前記第２ノードの受信バッファに、受信した第１情報に含まれるノード識別情報と送信ポート識別情報との対応関係を保持させる第１情報送信処理と、
   第１情報を受信した前記第２ノードから前記受信バッファに保持されたノード識別情報とポート識別情報とを取得し、取得したノード識別情報とポート識別情報とに基づいて前記第１ノードに隣接する隣接ノードを特定する特定処理とを、
   前記複数のノードの各々を前記第１ノードに順次割り当てて実行することで、前記複数のノードの接続関係を抽出することを特徴とする情報処理方法。
6. 次元ルーティング手法により情報を転送する複数のノードを制御する情報処理装置に前記複数のノードの接続関係を抽出させる情報処理プログラムにおいて、
   前記複数のノードの１つである第１ノードに第１座標情報を割り当て、前記第１ノードを除く複数の第２ノードに第１座標情報に対して複数の次元の１つが"１"異なる第２座標情報を割り当てる割り当て処理と、
   前記第１ノードの複数のポートから前記複数の第２ノードに前記第１ノードを示すノード識別情報と送信するポートを示す送信ポート識別情報とを含む第１情報を送信させ、第１情報を受信した前記第２ノードの受信バッファに、受信した第１情報に含まれるノード識別情報と送信ポート識別情報との対応関係を保持させる第１情報送信処理と、
   第１情報を受信した前記第２ノードから前記受信バッファに保持されたノード識別情報とポート識別情報とを取得し、取得したノード識別情報とポート識別情報とに基づいて前記第１ノードに隣接する隣接ノードを特定する特定処理とを、
   前記複数のノードの各々を前記第１ノードに順次割り当てて実行することで、前記情報処理装置に、前記複数のノードの接続関係を抽出させる情報処理プログラム。

Images