JP3996455B2 - 情報処理システムのデータ転送方法及び情報処理システム - Google Patents
情報処理システムのデータ転送方法及び情報処理システム Download PDFInfo
- Publication number
- JP3996455B2 JP3996455B2 JP2002190476A JP2002190476A JP3996455B2 JP 3996455 B2 JP3996455 B2 JP 3996455B2 JP 2002190476 A JP2002190476 A JP 2002190476A JP 2002190476 A JP2002190476 A JP 2002190476A JP 3996455 B2 JP3996455 B2 JP 3996455B2
- Authority
- JP
- Japan
- Prior art keywords
- domain
- node
- router
- chassis
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 23
- 230000010365 information processing Effects 0.000 title claims 7
- 230000005540 biological transmission Effects 0.000 claims 5
- 238000010586 diagram Methods 0.000 description 9
- 230000004044 response Effects 0.000 description 8
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
- H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/02—Topology update or discovery
- H04L45/04—Interdomain routing, e.g. hierarchical routing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Multi Processors (AREA)
Description
【０００１】
【発明の属する技術分野】
本出願は、米国特許法３５ Ｕ．Ｓ．Ｃ． §１１９（ｅ）に基づき２００１年６月２８日付けで出願された出願番号６０／３０２，２２６の「ＲＯＵＴＩＮＧＭＥＣＨＡＮＩＳＭ ＦＯＲ ＳＴＡＴＩＣ ＬＯＡＤ ＢＡＬＡＮＣＩＮＧ ＩＮＡ ＰＡＲＴＩＴＩＯＮＥＤ ＣＯＭＰＵＴＥＲ ＳＹＳＴＥＭ ＷＩＴＨ Ａ ＦＵＬＬＹ ＣＯＮＮＥＣＴＥＤ ＮＥＴＷＯＲＫ」という名称のＨｉｔｏｓｈｉ Ｏｉ、Ｐａｔｉｃｋ Ｎ． Ｃｏｎｗａｙ、Ｔａｋｅｓｈｉ Ｓｈｉｍｉｚｕ、Ｋａｚｕｎｏｒｉ Ｍａｓｕｙａｍａ、Ｓｕｄｈｅｅｒ Ｍｉｒｙａｌａ、Ｊｅｒｅｍｙ Ｆａｒｒｅｌｌ、及びＮｏｒｉｏ Ｋａｉｄｏによる仮出願による優先権を主張するものであり、この引用によってそのすべてが本明細書に包含される。
本発明は、コンピュータシステムにおける共有メモリ構造の論理パーティション化に関するものであり、更に詳しくは、パーティション化されたコンピュータシステムにおけるメッセージトラフィックのバランシングに関する。
【０００２】
【従来の技術】
マルチノードコンピュータネットワークは、それぞれが独自のアドレス空間を有し独立したマシンとして機能する複数のドメインにパーティション化することができる。この場合、オペレーティングシステムは、それぞれのドメインにおいて別々に稼動する。ドメインにパーティション化することによって、コンピュータネットワークのリソースを異なるタスクに効率的に割り当てることが可能になり、コンピュータシステムの使用法に柔軟性をもたらすと共に、コンピュータリソースを隔離することによって、特定ドメインにおけるハードウェア又はソフトウェア障害が、システムのその他のドメインの稼動を妨げることのないように制限できる。
【０００３】
【発明が解決しようとする課題】
マルチノードコンピュータネットワークのハードウェア実装には、グループ化された中央処理装置（ＣＰＵ）及び入力／出力（Ｉ／Ｏ）ノードが１つのモジュールとして存在するものがあり、それらをしばしばシャーシ又はキャビネットと呼ぶ。これらの複数のシャーシを１つに結合し、マルチノードクラスタを形成することができる。複数シャーシシステムをいくつかのドメインにパーティション化した場合、あるドメインに存在するノードは、その他のドメインのノードに対して読み取り及び書き込み要求を実行することはできない。この結果、ドメインが異なるシャーシを結合するケーブル（ドメイン間ケーブル）が、メッセージトラフィックに使用されず、同一ドメイン内のシャーシを結合するケーブル（ドメイン内ケーブル）が、メッセージトラフィックによって非常に輻輳することになる。パーティション化されたシステムにおいては、通常、ドメイン内メッセージトラフィックが、ドメイン間メッセージトラフィックよりも多い。
【０００４】
メッセージトラフィックのバランスシングをとる方法としては、既知のものがいくつか存在するが、カリフォルニア州Ｐａｌｏ Ａｌｔｏに所在するＨｅｗｌｅｔｔ Ｐａｃｋａｒｄ ＣｏｍｐａｎｙのＨＰ９０００「Ｓｕｐｅｒｄｏｍｅ」Ｓｅｒｖｅｒがその１つである。しかし、このシステムはパーティション化されたシステムにおける未使用経路による負荷バランシングをサポートしていない。また、メッセージトラフィックのバランスをとる別の方法として、動的適応ルーティング（Dynamic Adaptive Routing）があるが、これには複雑な実装が必要であり、ハードウェアコストの上昇を招くことになる。
【０００５】
【課題を解決するための手段】
本発明には、ドメイン間ケーブル上の入力／出力（Ｉ／Ｏ）メッセージトラフィックのバランスをとってドメイン内ケーブル上の輻輳を軽減するためのシステムと方法が含まれている。パーティション化されたマルチシャーシコンピュータシステムは、少なくとも２つのドメインを有している（図１を参照）。これらのドメインは互いに隔離されており、いずれのドメインもその他のドメインの共有アドレス空間に対して直接読み取り及び書き込みを実行することはできない。システム内の各ドメインは、そのドメイン内に少なくとも１つのシャーシを有している。同一ドメイン内のシャーシはドメイン内ケーブルを介して結合されており、ドメインが異なるシャーシはドメイン間ケーブルを介して結合されている。シャーシとしては、通信可能に結合されたプロセッサノード、Ｉ／Ｏノード、メモリノード、及びルータを備えているものが望ましい。また、ルータは、少なくとも２つのルーティングテーブルを維持管理し、メッセージのルーティング先となる出口ポートを判定するものが望ましい（図４を参照）。この場合、第１ルーティングテーブルは、Ｉ／Ｏノードからのトランザクション用にプログラムされており、第２ルーティングテーブルは、プロセッサノードからのトランザクション用にプログラムされている。
【０００６】
各々のトランザクションにおいて、ソースノードは、宛先ノードに対して情報又はリソースを要求する。この要求メッセージは、その要求メッセージを受信する宛先ノードＩＤを示す宛先ノードフィールドと、ソースノードを示すＩ／Ｏビットフィールドと、データを格納するペイロードフィールドとからなるフォーマットを有している。本発明の一実施例においては、宛先ノードＩＤとＩ／Ｏビットに基づいて、トランザクションをＩ／Ｏトランザクション及びプロセッサ−メモリトランザクション（非Ｉ／Ｏトランザクション）に分類する。宛先ノードがＩ／Ｏであるか、或いはソースノードがＩ／ＯノードであることをＩ／Ｏビットが示している場合、該トランザクションはＩ／Ｏトランザクションとして分類され、ドメイン間ケーブルを介してルーティングされる。そうでなければ、トランザクションはプロセッサ−メモリトランザクション（非Ｉ／Ｏ）に分類され、ドメイン内ケーブルを介してルーティングされる。本発明においては、Ｉ／Ｏトランザクションをドメイン間ケーブルを介してルーティングすることによって、使用頻度の高いドメイン内ケーブル上のメッセージトラフィックの輻輳を軽減している。この結果、プロセッサ−メモリトランザクションのレイテンシー（待ち時間）を削減する効果がある。
【０００７】
【発明の実施の形態】
図１は、ドメイン１、ドメイン２、及びドメインＮという複数のドメインにパーティション化された従来のコンピュータシステム１００のブロックダイアグラムであり、それぞれのドメインは独自のアドレス空間を有する独立したマシンとして動作する。ドメイン１、２、及びＮは互いに隔離されており、いずれのドメインもその他のドメインの共有アドレス空間に対して直接読み取り又は書き込みを実行できない。図１の各ドメインは、ＣＰＵノード１１０−１〜１１０−ｎ（１１０と総称する）、メモリノード１１５−１〜１１５−ｎ（１１５と総称する）、及びＩ／Ｏノード１２０−１〜１２０−ｎ（１２０と総称する）などの複数のノードを備えている。各ＣＰＵノード１１０は、Ｉｎｔｅｌ又はＩｎｔｅｌ互換のＰｅｎｔｉｕｍTMクラス以上のプロセッサ、Ｓｕｎ ＳＰＡＲＣTMクラス以上のプロセッサ、或いはＩＢＭ／Ｍｏｔｏｒｏｌａ ＰｏｗｅｒＰＣTMクラス以上のプロセッサなどの従来型の処理装置である。また、各Ｉ／Ｏノード１２０は、ストレージデバイス、入力デバイス、周辺デバイスなどの従来型のＩ／Ｏシステムであり、各メモリノード１１５は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）システム、スタティックランダムアクセスメモリ（ＳＲＡＭ）システムなどの従来型のメモリシステムである。これらのノード１１０、１１５、１２０は、相互接続１２５を介して接続されている。該相互接続１２５は、命令、データ、及びその他の信号のノード間での転送を実現するために複数のノードを結合している。なお、相互接続１２５は、ルータ又はスイッチを使用して実装されたメッシュ、リング、又はハイパーキューブなどであってよい。パーティション化されたコンピュータシステム１００においては、ドメイン１、２、及びＮの読み取り及び書き込み要求は、各々のドメイン内のノード間でのみ実行可能である。
【０００８】
図２は、本発明の一実施例による完全相互接続３シャーシコンピュータシステム２００のブロックダイアグラムである。コンピュータシステム２００は、ドメイン１ １６０及びドメイン２ １８０という２つのドメインにパーティション化されている。これらのドメインは互いに隔離されており、いずれのドメインも、もう一方のドメインの共有アドレス空間に対して直接読み取り又は書き込みを実行することはできない。ドメイン１内には、シャーシＡ及びシャーシＢが存在しており、ドメイン２内には、シャーシＣが存在している。すべてのシャーシＡ、Ｂ、及びＣは、従来型の高速データ転送ネットワークケーブルによって完全に相互接続されており、専用のリンクを形成している。たとえば、ドメイン１内のシャーシＡ及びＢは、ドメイン内ケーブルＡ−Ｂ１６１を介して接続されており、シャーシＡ及びＣは、ドメイン間ケーブルＡ−Ｃ１６３を介して接続され、シャーシＢ及びＣは、ドメイン間ケーブルＣ−Ｂ１６７を介して接続されている。
【０００９】
各シャーシＡ、Ｂ、及びＣは、Ｐノード１１０ａ〜１１０ｃ（１１０と総称する）、Ｉ／Ｏノード１２０ａ〜１２０ｃ（１２０と総称する）、及びルータ１５０ａ〜１５０ｃ（１５０と総称する）を備えている。Ｐノード１１０としては、プロセッサ及びメモリを備えているものが望ましい。図２に示されている実施例においては、３つのＰノード１１０及び３つのＩ／Ｏノード（Ｉ）１２０からなる合計６つのノードを備えている。ただし、パーティション化されたシステム２００は、いくつのノードを備えてもよい。
【００１０】
各シャーシＡ、Ｂ、及びＣ内の各ルータ１５０ａ〜１５０ｃは、そのシャーシのＰノード１１０と信号線の第１セット１５５によって通信可能に結合しており、そのシャーシのＩノード１２０と信号線の第２セット１５７によって通信可能に結合している。シャーシＡ内のルータ１５０ａは、ケーブルＡ−Ｂ１６１（直接経路）を介してシャーシＢ内のルータ１５０ｂと結合している。また、シャーシＡ内のルータ１５０ａは、ケーブルＡ−Ｃ１６３（間接経路）を介してシャーシＣ内のルータ１５０ｃと結合している。そして、シャーシＢ内のルータ１５０ｂは、ケーブルＣ−Ｂ１６７（間接経路）を介してシャーシＣ内のルータ１５０ｃと結合している。なお、信号線の第1セット１５５、信号線の第２セット１５７、及びケーブル１６１、１６３、及び１６７は、１本以上のデータワイヤなど、どのような信号通信媒体であってもよい。
【００１１】
各ルータ１５０は、複数の出口ポートを有する従来型の４×４クロスバースイッチである。これらのルータ１５０は、メッセージの転送先である次のネットワークポイントを判定する。ルータ１５０ａ〜１５０ｃ内部の小さな数字０、１、２、３は、図２の実施例におけるノードとケーブルの接続ポートを示している。更に、各ルータ１５０は、少なくとも１つのルーティングテーブルの維持管理をも行う（その一例を図４に示している）。
【００１２】
本発明においては、Ｉ／Ｏトランザクションとプロセッサ−メモリトランザクション（非Ｉ／Ｏトランザクション）という２つのカテゴリが存在する。各トランザクションで、ソースノードが宛先ノードに対して情報又はリソースを要求する。簡単にするため、これらの要求メッセージをメッセージと総称する。Ｉ／Ｏ直接メモリアクセス（ＤＭＡ）トランザクションは、Ｉ／Ｏノードから起動され（ＩからＰのトラフィック）、構成レジスタ（未図示）アクセスは、プロセッサノードから起動される（ＰからＩのトラフィック）。これらのＩ／Ｏトランザクションは、非Ｉ／Ｏトランザクションほどメモリアクセスのレイテンシーに敏感ではない。次に、Ｉ／Ｏトランザクションの例について、図６を参照して説明する。図６に示すように、Ｐノード０がＩノード３に対して情報を要求する。このトランザクションは、ドメイン間ケーブルＣ−Ｂ１６７とＡ−Ｃ１６３を介してルーティングされる。本発明においては、Ｉ／Ｏトランザクションをケーブル１６３や１６７などの未使用のドメイン間ケーブルによってルーティングすることにより、ドメイン内ケーブル１６１上のトラフィックを削減する効果を奏しており、この結果、レイテンシーが減少される。
【００１３】
一方、プロセッサ−メモリトランザクションにおいては、図５に示すように、ドメイン１のシャーシＡ内のＰノード０が、同一ドメイン内のシャーシＢの他のＰノード２のメモリに対して情報を要求し、また逆も同様である。このトランザクションは、Ａ−Ｂケーブル１６１などのドメイン内ケーブルを介してルーティングされる。
【００１４】
次に、図３を参照すれば、本発明の一実施例における要求メッセージ３００のフォーマットが図示されている。このフォーマットとしては、宛先ノードＩＤフィールド１０、Ｉ／Ｏビットフィールド２０、及びペイロードフィールド３０を有するものが望ましい。
【００１５】
システム内の各ノード（ＣＰＵ又はＩ／Ｏノード）は、グローバルな一意のノードＩＤを有している。宛先ノードＩＤフィールド１０は、メッセージを受信するノードのＩＤを示すものであり、これにはＰノード１１０又はＩ／Ｏノード１２０が該当する。
【００１６】
Ｉ／Ｏビットフィールド２０は、ソースノード（その要求メッセージを作成したノード）を識別するフィールドである。前述のとおり、例えば、メッセージは、Ｉ／Ｏノード或いはＰノードで作成される。このＩ／Ｏビットを適切に設定するのは、ソースノードの責任である。Ｉ／Ｏビットフィールド２０には、「０」又は「１」のビット値を格納するのが望ましい。本発明の一実施例においては、ビット値「１」は、ソースノードがＩ／Ｏノードであることを示しており、ビット値「０」は、ソースノードがプロセッサノードであることを示している。また、本発明の別の実施例においては、ビット値「１」は、ソースノードがプロセッサノードであることを示し、ビット値「０」は、ソースノードがＩ／Ｏノードであることを示している。ルータ１５０は、このＩ／Ｏビットを使用してルーティングテーブルを選択する。なお、ペイロードフィールド３０には、データ自身が格納される。
【００１７】
図４には、各シャーシＡ、Ｂ、及びＣの各ルータ１５０ａ〜１５０ｃの２つのルーティングテーブルが示されている。ルーティングテーブル４１０ａ〜４１０ｃ（４１０と総称する）は、Ｐノード１１０からのトランザクションに対して使用される。一方、ルーティングテーブル４２０ａ〜４２０ｃは、各々のシャーシ内のＩ／Ｏノード１２０からのトランザクションに対して使用される。これらのルーティングテーブル４１０及び４２０内のエントリに対しては、宛先ノードＩＤに応じたインデックスが付加されている。各エントリは、メッセージをルーティングすべきルータ１５０ａ、１５０ｂ、１５０ｃの出口ポート（例えば、ポート０、１、２、又は３）を示している。なお、ルーティングテーブル４１０及び４２０内の網掛けされたエントリは、その宛先ノードがメッセージが作成されたドメインの外にあることを示している。例えば、図４に示しているように、シャーシＡ及びＢの場合、宛先ノード４及び５はドメイン１の外にあり、宛先ノード０、１、２、及び３はドメイン１の中にある。シャーシＣの場合には、宛先ノード０、１、２、及び３はドメイン２の外にあり、宛先ノード４及び５はドメイン２の中にある。そして、下線のエントリは、メッセージが間接経路（ドメイン間ケーブル）によってルーティングされることを示している。次に、ルーティングテーブル４１０及び４２０の使用方法の例を、図５及び６を参照しつつ説明する。
【００１８】
まず図５を参照すれば、これは、ドメイン内ケーブルＡ−Ｂ１６１を使用するプロセッサ−メモリ（ＰからＰ)メッセージトランザクションのブロックダイアグラムを示している。まず、シャーシＡのノード０のプロセッサがメッセージをノード２に対して送信する。ルータ１５０は、そのメッセージのＩ／Ｏビットに基づいて、ソースノードを識別すると共に宛先ノードを識別する。Ｉ／Ｏビット＝０の場合、Ｐノード０がソースノードであることを示している。宛先ノードはノード２である。シャーシＡ内のルータ１５０ａは、図５のＰルーティングテーブル４１０ａを使用して出口ポートを判定する。ルーティングテーブル４１０ａ内の宛先ノードＩＤ２に対応するエントリは、メッセージをルータ１５０ａのポート２にルーティングすることを示している。この結果、メッセージはケーブルＡ−Ｂ１６１を介して送信され、シャーシＢ内のルータ１５０ｂに到達する。このメッセージは、シャーシＡ内のＰノードからのものであるため、そのＩ／Ｏ＝０である。したがって、Ｐルーティングテーブル４１０ｂを使用して出口ポートを判定する。Ｐルーティングテーブル４１０ｂは、メッセージをポート０とＰノード２にルーティングすることを示している。
【００１９】
メモリアクセスが完了すると、シャーシＢ内のＰノード２は、Ｉ／Ｏ＝０の応答メッセージをシャーシＡ内のＰノード０に対して送り返す。ルータ１５０ｂは、その応答メッセージの宛先ノードＩＤとＩ／Ｏビットを読み取り、その要求メッセージがＰノードからのものであると判定する。この結果、Ｐルーティングテーブル４１０ｂを使用する。ノード０（応答メッセージの宛先）に対応するエントリは、メッセージをケーブルＡ−Ｂ１６１を介してルータ１５０ａのポート２にルーティングすることを示している。この結果、メッセージは、ケーブルＡ−Ｂ１６１を介して送信され、シャーシＡ内のルータ１５０ａに到達する。Ｉ／Ｏ＝０であり、Ｐルーティングテーブル４１０ａを使用する。Ｐルーティングテーブル４１０ａのインデックスは、メッセージをポート０にルーティングする必要があることを示している。
【００２０】
次に、図６を参照すれば、ドメイン間ケーブルＣ−Ｂ１６７とＡ−Ｃ１６３を使用するＩ／Ｏトランザクション（ＰからＩ）のルーティングメカニズムの動作が示されている。シャーシＡ内のＰノード０が、Ｉ／Ｏ＝０でシャーシＢ内のＩノード３にアクセスする。ルータ１５０ａは、このメッセージを受信するとメッセージに格納されているＩ／Ｏビットを分析する。この場合、Ｉ／Ｏビットは、そのメッセージがＩ／Ｏノードではなく、Ｐノードからのものであることを示している。したがって、ルータ１５０ａはＰルーティングテーブル（Ｐ）４１０ａを選択する。図４に示すように、宛先ノードＩＤ３は、メッセージをルータ１５０ａのポート３からシャーシＣに接続されたケーブルＡ−Ｃ１６３にルーティングすることを示している。したがって、メッセージは、Ａ−Ｃケーブル１６３を介して送信され、ルータ１５０ｃに到達する。このメッセージは、Ｉ／Ｏノードからのものではないため、Ｉ／Ｏ＝０であり、Ｐルーティングテーブル４１０ｃを使用する。Ｐルーティングテーブル４１０ｃは、メッセージをポート２からシャーシＢに接続されたケーブルＣ−Ｂ１６７にルーティングする必要があることを示している。したがって、メッセージは、Ｃ−Ｂケーブル１６７を介して送信され、ルータ１５０ｂに到達する。Ｉ／Ｏ＝０であり、Ｐルーティングテーブル４１０ｂを使用する。Ｐルーティングテーブル４１０ｂのインデックスは、メッセージをポート１にルーティングすることを示しており、これは、要求メッセージの宛先（ノード３）である。
【００２１】
Ｉ／Ｏアクセスが完了した後に、Ｉノード３は、Ｉ／Ｏ＝１の応答メッセージをノード０内のＰに送り返す。Ｉ／Ｏ＝１であるため、ルータ１５０ｂにおいてＩ／Ｏルーティングテーブル４２０ｂを使用する。宛先ノードＩＤであるノード０に対応するエントリは、メッセージをポート３からシャーシＣに接続されたケーブルＣ−Ｂ１６７にルーティングすることを示している。したがって、メッセージは、ケーブルＣ−Ｂを介して送信され、ルータ１５０ｃに到達する。なお、メッセージをケーブルＣ−Ｂ１６７を介して送信する前に、メッセージのＩ／Ｏビットが１から０に変更されることに留意されたい。さもなければ、作成元ではないシャーシ内のルータ１５０によってＩ／Ｏビットが無視される。
【００２２】
このメッセージが同一シャーシ内のＩ／Ｏノードからのものではないため、Ｐルーティングテーブル４１０ｃを使用して出口ポートを判定する。Ｐルーティングテーブル４１０ｃは、メッセージをルータ１５０ｃのポート３からシャーシＡに接続されたケーブルＡ−Ｃ１６３にルーティングすることを示している。したがって、メッセージは、ケーブルＡ−Ｃ１６３を介して送信され、ルータ１５０ａに到達する。このメッセージが同一シャーシ内のＩ／Ｏノードからのものではないため、Ｉ／Ｏ＝０であり、Ｐルーティングテーブル４１０ａを使用する。Ｐルーティングテーブル４１０ａは、メッセージをポート０にルーティングすることを示しており、これは、この応答メッセージの宛先である。この結果、Ｉ／Ｏトランザクションはドメイン間ケーブル１６３、１６７を介してルーティングされ、これによって、ドメイン内ケーブル１６１上の輻輳が軽減される。
【００２３】
次に、図７を参照すれば、本発明に従ってトラフィックのバランスをとる方法のフローチャートが示されている。このプロセスは段階６１０から始まり、段階６２０でルータ１５０がメッセージを受信する。段階６３０で、ルータ１５０はそのメッセージの宛先ノードＩＤを識別する。また、ルータ１５０は、ソースノードがＩ／Ｏノードであるか又はプロセッサノードであるかを示すＩ／Ｏビットの識別も行う。宛先のノードがＩ／Ｏノードであるか、又はソースノードがＩ／Ｏノードであることを、Ｉ／Ｏビットが示している場合、段階６４０において、このトランザクションは、Ｉ／Ｏトランザクションに分類され、段階６５０でドメイン間ケーブルを介してルーティングされる。同様に、ソースノードがＰノードの場合にも、メッセージはドメイン間ケーブルを介してルーティングされる。ルーティングテーブル４１０及び４２０に付加されたインデックス（図４を参照）によって、システムは出口ポートを判定できる。一方、トランザクションが非Ｉ／Ｏトランザクション（プロセッサ−メモリ）の場合、段階６６０において、メッセージは、ドメイン内ケーブルを介してルーティングされ、段階６７０で、このプロセスは終了する。
（付記１）少なくとも２つのドメインにパーティション化されたコンピュータシステムであって、第１ドメインは第１ケーブルによって結合された少なくとも第１及び第２シャーシを有し、第２ドメインは少なくとも１つのシャーシを有し、前記第１ドメインの各シャーシは第２ケーブルと第３ケーブルによって前記第２ドメインのシャーシに結合され、前記各シャーシは複数のプロセッサノード、Ｉ／Ｏノード、及びメモリノードを含むコンピュータシステムにおいてメッセージトラフィックのバランスをとる方法であって、
メッセージを受信する段階と、
前記メッセージから宛先ノードと、ソースノードがＩ／Ｏノードであるかどうかを示す指定値を有するＩ／Ｏビットを識別する段階と、
前記ソースノードがＩ／Ｏノードであることを示す前記Ｉ／Ｏビットに応答し、前記メッセージを前記第２ケーブル及び第３ケーブルを介して前記第１シャーシから前記第２シャーシにルーティングする段階とを有することを特徴とする方法。
（付記２）Ｉ／Ｏノードである前記宛先ノードに対応し、前記メッセージを前記第２ケーブル及び第３ケーブルを介して前記第１シャーシから前記第２シャーシにルーティングする段階を有する付記１に記載の方法。
（付記３）前記ソースノードが非Ｉ／Ｏノードであり前記宛先ノードが非Ｉ／Ｏノードであることを示す前記Ｉ／Ｏビットに応答し、前記メッセージを前記第１ケーブルを介して前記第１シャーシから前記第２シャーシにルーティングする段階を有する付記１に記載の方法。
（付記４）各シャーシはルータを有し、該ルータはプロセッサノードからのトランザクションを識別するためのルーティングテーブルを備えており、該ルーティングテーブルにインデックスを付加してプロセッサノードであるソースノードに基づいて出口ポートを判定する段階を更に有する付記１に記載の方法。
（付記５）各シャーシは更にルータを有し、該ルータはＩ／Ｏノードからのトランザクションを識別するためのルーティングテーブルを備えており、該ルーティングテーブルにインデックスを付加してＩ／Ｏノードであるソースノードに基づいて出口ポートを判定する段階を更に有する付記１に記載の方法。
（付記６）前記ソースノードがＩ／Ｏノードの場合に前記Ｉ／Ｏビットの指定値が「１」である付記１に記載の方法。
（付記７）前記ソースノードがプロセッサノードの場合に前記Ｉ／Ｏビットの指定値が「０」である付記１に記載の方法。
（付記８）前記ソースノードがプロセッサノードの場合に前記Ｉ／Ｏビットの指定値が「１」である付記１に記載の方法。
（付記９）前記ソースノードがＩ／Ｏノードの場合に前記Ｉ／Ｏビットの指定値が「０」である付記１に記載の方法。
（付記１０）少なくとも２つのドメインにパーティション化されたマルチシャーシコンピュータシステムにおいて、第１ドメインは第１ケーブルによって結合された少なくとも第１及び第２シャーシを有し、第２ドメインは少なくとも１つのシャーシを有し、前記第１ドメインの各シャーシは第２ケーブルと第３ケーブルによって前記第２ドメインのシャーシに結合され、前記各シャーシは複数のプロセッサノード、Ｉ／Ｏノード、及びメモリノードを含むシステムであって、
メッセージを受信する手段と、
前記メッセージから宛先ノードと、ソースノードがＩ／Ｏノードであるかどうかを示す指定値を有するＩ／Ｏビットを識別する手段と、
前記ソースノードがＩ／Ｏノードであることを示す前記Ｉ／Ｏビットに応答し、前記メッセージを前記第２ケーブル及び第３ケーブルを介して前記第１シャーシから前記第２シャーシにルーティングする手段とを有することを特徴とするシステム。
（付記１１）Ｉ／Ｏノードである前記宛先ノードに対応し、前記メッセージを前記第２ケーブル及び第３ケーブルを介して前記第１シャーシから前記第２シャーシにルーティングする手段を有する付記１０に記載のシステム。
（付記１２）前記ソースノードが非Ｉ／Ｏノードであり前記宛先ノードが非Ｉ／Ｏノードであることを示す前記Ｉ／Ｏビットに応答し、前記メッセージを前記第１ケーブルを介して前記第１シャーシから前記第２シャーシにルーティングする段階を有する付記１０に記載のシステム。
（付記１３）少なくとも２つのドメインにパーティション化されたマルチシャーシコンピュータシステムであって、
第１ケーブルによって結合された少なくとも２つのシャーシを有する第１ドメインと、
少なくとも１つのシャーシを有する第２ドメインとを有し、
前記第１ドメインの各シャーシは第２ケーブル及び第３ケーブルによって前記第２ドメインのシャーシに結合され、前記第１ドメイン及び第２ドメインの各シャーシは要求メッセージを前記第１ケーブル及び第２ケーブルを介してルーティングするルータを含むことを特徴とするシステム。
（付記１４）複数のＩ／Ｏノードを有し、前記ルータは前記Ｉ／Ｏノードからのトランザクションを識別するためのルーティングテーブルを維持管理する付記１３に記載のシステム。
（付記１５）複数のプロセッサノードを有し、前記ルータは前記プロセッサノードからのトランザクションを識別するためのルーティングテーブルを維持管理する付記１３に記載のシステム。
【図面の簡単な説明】
【図１】図１は、マルチノードネットワークコンピュータシステムの全体アーキテクチャの一実施例を示すブロックダイアグラムである。
【図２】図２は、本発明の実施例に従って２つのドメインにパーティション化された完全相互接続３シャーシシステムのブロックダイアグラムである。
【図３】図３は、本発明による一実施例における要求メッセージのフォーマットを図示したものである。
【図４】図４は、ルーティングテーブルのブロックダイアグラムである。
【図５】図５は、ドメイン内ケーブルを使用するプロセッサ−メモリ（ＰからＰ）メッセージトランザクションのブロックダイアグラムである。
【図６】図６は、ドメイン間ケーブルを使用するプロセッサ−Ｉ／Ｏトランザクションのブロックダイアグラムである。
【図７】図７は、図２の実施例において実行する方法のフローチャートである。
【発明の属する技術分野】
本出願は、米国特許法３５ Ｕ．Ｓ．Ｃ． §１１９（ｅ）に基づき２００１年６月２８日付けで出願された出願番号６０／３０２，２２６の「ＲＯＵＴＩＮＧＭＥＣＨＡＮＩＳＭ ＦＯＲ ＳＴＡＴＩＣ ＬＯＡＤ ＢＡＬＡＮＣＩＮＧ ＩＮＡ ＰＡＲＴＩＴＩＯＮＥＤ ＣＯＭＰＵＴＥＲ ＳＹＳＴＥＭ ＷＩＴＨ Ａ ＦＵＬＬＹ ＣＯＮＮＥＣＴＥＤ ＮＥＴＷＯＲＫ」という名称のＨｉｔｏｓｈｉ Ｏｉ、Ｐａｔｉｃｋ Ｎ． Ｃｏｎｗａｙ、Ｔａｋｅｓｈｉ Ｓｈｉｍｉｚｕ、Ｋａｚｕｎｏｒｉ Ｍａｓｕｙａｍａ、Ｓｕｄｈｅｅｒ Ｍｉｒｙａｌａ、Ｊｅｒｅｍｙ Ｆａｒｒｅｌｌ、及びＮｏｒｉｏ Ｋａｉｄｏによる仮出願による優先権を主張するものであり、この引用によってそのすべてが本明細書に包含される。
本発明は、コンピュータシステムにおける共有メモリ構造の論理パーティション化に関するものであり、更に詳しくは、パーティション化されたコンピュータシステムにおけるメッセージトラフィックのバランシングに関する。
【０００２】
【従来の技術】
マルチノードコンピュータネットワークは、それぞれが独自のアドレス空間を有し独立したマシンとして機能する複数のドメインにパーティション化することができる。この場合、オペレーティングシステムは、それぞれのドメインにおいて別々に稼動する。ドメインにパーティション化することによって、コンピュータネットワークのリソースを異なるタスクに効率的に割り当てることが可能になり、コンピュータシステムの使用法に柔軟性をもたらすと共に、コンピュータリソースを隔離することによって、特定ドメインにおけるハードウェア又はソフトウェア障害が、システムのその他のドメインの稼動を妨げることのないように制限できる。
【０００３】
【発明が解決しようとする課題】
マルチノードコンピュータネットワークのハードウェア実装には、グループ化された中央処理装置（ＣＰＵ）及び入力／出力（Ｉ／Ｏ）ノードが１つのモジュールとして存在するものがあり、それらをしばしばシャーシ又はキャビネットと呼ぶ。これらの複数のシャーシを１つに結合し、マルチノードクラスタを形成することができる。複数シャーシシステムをいくつかのドメインにパーティション化した場合、あるドメインに存在するノードは、その他のドメインのノードに対して読み取り及び書き込み要求を実行することはできない。この結果、ドメインが異なるシャーシを結合するケーブル（ドメイン間ケーブル）が、メッセージトラフィックに使用されず、同一ドメイン内のシャーシを結合するケーブル（ドメイン内ケーブル）が、メッセージトラフィックによって非常に輻輳することになる。パーティション化されたシステムにおいては、通常、ドメイン内メッセージトラフィックが、ドメイン間メッセージトラフィックよりも多い。
【０００４】
メッセージトラフィックのバランスシングをとる方法としては、既知のものがいくつか存在するが、カリフォルニア州Ｐａｌｏ Ａｌｔｏに所在するＨｅｗｌｅｔｔ Ｐａｃｋａｒｄ ＣｏｍｐａｎｙのＨＰ９０００「Ｓｕｐｅｒｄｏｍｅ」Ｓｅｒｖｅｒがその１つである。しかし、このシステムはパーティション化されたシステムにおける未使用経路による負荷バランシングをサポートしていない。また、メッセージトラフィックのバランスをとる別の方法として、動的適応ルーティング（Dynamic Adaptive Routing）があるが、これには複雑な実装が必要であり、ハードウェアコストの上昇を招くことになる。
【０００５】
【課題を解決するための手段】
本発明には、ドメイン間ケーブル上の入力／出力（Ｉ／Ｏ）メッセージトラフィックのバランスをとってドメイン内ケーブル上の輻輳を軽減するためのシステムと方法が含まれている。パーティション化されたマルチシャーシコンピュータシステムは、少なくとも２つのドメインを有している（図１を参照）。これらのドメインは互いに隔離されており、いずれのドメインもその他のドメインの共有アドレス空間に対して直接読み取り及び書き込みを実行することはできない。システム内の各ドメインは、そのドメイン内に少なくとも１つのシャーシを有している。同一ドメイン内のシャーシはドメイン内ケーブルを介して結合されており、ドメインが異なるシャーシはドメイン間ケーブルを介して結合されている。シャーシとしては、通信可能に結合されたプロセッサノード、Ｉ／Ｏノード、メモリノード、及びルータを備えているものが望ましい。また、ルータは、少なくとも２つのルーティングテーブルを維持管理し、メッセージのルーティング先となる出口ポートを判定するものが望ましい（図４を参照）。この場合、第１ルーティングテーブルは、Ｉ／Ｏノードからのトランザクション用にプログラムされており、第２ルーティングテーブルは、プロセッサノードからのトランザクション用にプログラムされている。
【０００６】
各々のトランザクションにおいて、ソースノードは、宛先ノードに対して情報又はリソースを要求する。この要求メッセージは、その要求メッセージを受信する宛先ノードＩＤを示す宛先ノードフィールドと、ソースノードを示すＩ／Ｏビットフィールドと、データを格納するペイロードフィールドとからなるフォーマットを有している。本発明の一実施例においては、宛先ノードＩＤとＩ／Ｏビットに基づいて、トランザクションをＩ／Ｏトランザクション及びプロセッサ−メモリトランザクション（非Ｉ／Ｏトランザクション）に分類する。宛先ノードがＩ／Ｏであるか、或いはソースノードがＩ／ＯノードであることをＩ／Ｏビットが示している場合、該トランザクションはＩ／Ｏトランザクションとして分類され、ドメイン間ケーブルを介してルーティングされる。そうでなければ、トランザクションはプロセッサ−メモリトランザクション（非Ｉ／Ｏ）に分類され、ドメイン内ケーブルを介してルーティングされる。本発明においては、Ｉ／Ｏトランザクションをドメイン間ケーブルを介してルーティングすることによって、使用頻度の高いドメイン内ケーブル上のメッセージトラフィックの輻輳を軽減している。この結果、プロセッサ−メモリトランザクションのレイテンシー（待ち時間）を削減する効果がある。
【０００７】
【発明の実施の形態】
図１は、ドメイン１、ドメイン２、及びドメインＮという複数のドメインにパーティション化された従来のコンピュータシステム１００のブロックダイアグラムであり、それぞれのドメインは独自のアドレス空間を有する独立したマシンとして動作する。ドメイン１、２、及びＮは互いに隔離されており、いずれのドメインもその他のドメインの共有アドレス空間に対して直接読み取り又は書き込みを実行できない。図１の各ドメインは、ＣＰＵノード１１０−１〜１１０−ｎ（１１０と総称する）、メモリノード１１５−１〜１１５−ｎ（１１５と総称する）、及びＩ／Ｏノード１２０−１〜１２０−ｎ（１２０と総称する）などの複数のノードを備えている。各ＣＰＵノード１１０は、Ｉｎｔｅｌ又はＩｎｔｅｌ互換のＰｅｎｔｉｕｍTMクラス以上のプロセッサ、Ｓｕｎ ＳＰＡＲＣTMクラス以上のプロセッサ、或いはＩＢＭ／Ｍｏｔｏｒｏｌａ ＰｏｗｅｒＰＣTMクラス以上のプロセッサなどの従来型の処理装置である。また、各Ｉ／Ｏノード１２０は、ストレージデバイス、入力デバイス、周辺デバイスなどの従来型のＩ／Ｏシステムであり、各メモリノード１１５は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）システム、スタティックランダムアクセスメモリ（ＳＲＡＭ）システムなどの従来型のメモリシステムである。これらのノード１１０、１１５、１２０は、相互接続１２５を介して接続されている。該相互接続１２５は、命令、データ、及びその他の信号のノード間での転送を実現するために複数のノードを結合している。なお、相互接続１２５は、ルータ又はスイッチを使用して実装されたメッシュ、リング、又はハイパーキューブなどであってよい。パーティション化されたコンピュータシステム１００においては、ドメイン１、２、及びＮの読み取り及び書き込み要求は、各々のドメイン内のノード間でのみ実行可能である。
【０００８】
図２は、本発明の一実施例による完全相互接続３シャーシコンピュータシステム２００のブロックダイアグラムである。コンピュータシステム２００は、ドメイン１ １６０及びドメイン２ １８０という２つのドメインにパーティション化されている。これらのドメインは互いに隔離されており、いずれのドメインも、もう一方のドメインの共有アドレス空間に対して直接読み取り又は書き込みを実行することはできない。ドメイン１内には、シャーシＡ及びシャーシＢが存在しており、ドメイン２内には、シャーシＣが存在している。すべてのシャーシＡ、Ｂ、及びＣは、従来型の高速データ転送ネットワークケーブルによって完全に相互接続されており、専用のリンクを形成している。たとえば、ドメイン１内のシャーシＡ及びＢは、ドメイン内ケーブルＡ−Ｂ１６１を介して接続されており、シャーシＡ及びＣは、ドメイン間ケーブルＡ−Ｃ１６３を介して接続され、シャーシＢ及びＣは、ドメイン間ケーブルＣ−Ｂ１６７を介して接続されている。
【０００９】
各シャーシＡ、Ｂ、及びＣは、Ｐノード１１０ａ〜１１０ｃ（１１０と総称する）、Ｉ／Ｏノード１２０ａ〜１２０ｃ（１２０と総称する）、及びルータ１５０ａ〜１５０ｃ（１５０と総称する）を備えている。Ｐノード１１０としては、プロセッサ及びメモリを備えているものが望ましい。図２に示されている実施例においては、３つのＰノード１１０及び３つのＩ／Ｏノード（Ｉ）１２０からなる合計６つのノードを備えている。ただし、パーティション化されたシステム２００は、いくつのノードを備えてもよい。
【００１０】
各シャーシＡ、Ｂ、及びＣ内の各ルータ１５０ａ〜１５０ｃは、そのシャーシのＰノード１１０と信号線の第１セット１５５によって通信可能に結合しており、そのシャーシのＩノード１２０と信号線の第２セット１５７によって通信可能に結合している。シャーシＡ内のルータ１５０ａは、ケーブルＡ−Ｂ１６１（直接経路）を介してシャーシＢ内のルータ１５０ｂと結合している。また、シャーシＡ内のルータ１５０ａは、ケーブルＡ−Ｃ１６３（間接経路）を介してシャーシＣ内のルータ１５０ｃと結合している。そして、シャーシＢ内のルータ１５０ｂは、ケーブルＣ−Ｂ１６７（間接経路）を介してシャーシＣ内のルータ１５０ｃと結合している。なお、信号線の第1セット１５５、信号線の第２セット１５７、及びケーブル１６１、１６３、及び１６７は、１本以上のデータワイヤなど、どのような信号通信媒体であってもよい。
【００１１】
各ルータ１５０は、複数の出口ポートを有する従来型の４×４クロスバースイッチである。これらのルータ１５０は、メッセージの転送先である次のネットワークポイントを判定する。ルータ１５０ａ〜１５０ｃ内部の小さな数字０、１、２、３は、図２の実施例におけるノードとケーブルの接続ポートを示している。更に、各ルータ１５０は、少なくとも１つのルーティングテーブルの維持管理をも行う（その一例を図４に示している）。
【００１２】
本発明においては、Ｉ／Ｏトランザクションとプロセッサ−メモリトランザクション（非Ｉ／Ｏトランザクション）という２つのカテゴリが存在する。各トランザクションで、ソースノードが宛先ノードに対して情報又はリソースを要求する。簡単にするため、これらの要求メッセージをメッセージと総称する。Ｉ／Ｏ直接メモリアクセス（ＤＭＡ）トランザクションは、Ｉ／Ｏノードから起動され（ＩからＰのトラフィック）、構成レジスタ（未図示）アクセスは、プロセッサノードから起動される（ＰからＩのトラフィック）。これらのＩ／Ｏトランザクションは、非Ｉ／Ｏトランザクションほどメモリアクセスのレイテンシーに敏感ではない。次に、Ｉ／Ｏトランザクションの例について、図６を参照して説明する。図６に示すように、Ｐノード０がＩノード３に対して情報を要求する。このトランザクションは、ドメイン間ケーブルＣ−Ｂ１６７とＡ−Ｃ１６３を介してルーティングされる。本発明においては、Ｉ／Ｏトランザクションをケーブル１６３や１６７などの未使用のドメイン間ケーブルによってルーティングすることにより、ドメイン内ケーブル１６１上のトラフィックを削減する効果を奏しており、この結果、レイテンシーが減少される。
【００１３】
一方、プロセッサ−メモリトランザクションにおいては、図５に示すように、ドメイン１のシャーシＡ内のＰノード０が、同一ドメイン内のシャーシＢの他のＰノード２のメモリに対して情報を要求し、また逆も同様である。このトランザクションは、Ａ−Ｂケーブル１６１などのドメイン内ケーブルを介してルーティングされる。
【００１４】
次に、図３を参照すれば、本発明の一実施例における要求メッセージ３００のフォーマットが図示されている。このフォーマットとしては、宛先ノードＩＤフィールド１０、Ｉ／Ｏビットフィールド２０、及びペイロードフィールド３０を有するものが望ましい。
【００１５】
システム内の各ノード（ＣＰＵ又はＩ／Ｏノード）は、グローバルな一意のノードＩＤを有している。宛先ノードＩＤフィールド１０は、メッセージを受信するノードのＩＤを示すものであり、これにはＰノード１１０又はＩ／Ｏノード１２０が該当する。
【００１６】
Ｉ／Ｏビットフィールド２０は、ソースノード（その要求メッセージを作成したノード）を識別するフィールドである。前述のとおり、例えば、メッセージは、Ｉ／Ｏノード或いはＰノードで作成される。このＩ／Ｏビットを適切に設定するのは、ソースノードの責任である。Ｉ／Ｏビットフィールド２０には、「０」又は「１」のビット値を格納するのが望ましい。本発明の一実施例においては、ビット値「１」は、ソースノードがＩ／Ｏノードであることを示しており、ビット値「０」は、ソースノードがプロセッサノードであることを示している。また、本発明の別の実施例においては、ビット値「１」は、ソースノードがプロセッサノードであることを示し、ビット値「０」は、ソースノードがＩ／Ｏノードであることを示している。ルータ１５０は、このＩ／Ｏビットを使用してルーティングテーブルを選択する。なお、ペイロードフィールド３０には、データ自身が格納される。
【００１７】
図４には、各シャーシＡ、Ｂ、及びＣの各ルータ１５０ａ〜１５０ｃの２つのルーティングテーブルが示されている。ルーティングテーブル４１０ａ〜４１０ｃ（４１０と総称する）は、Ｐノード１１０からのトランザクションに対して使用される。一方、ルーティングテーブル４２０ａ〜４２０ｃは、各々のシャーシ内のＩ／Ｏノード１２０からのトランザクションに対して使用される。これらのルーティングテーブル４１０及び４２０内のエントリに対しては、宛先ノードＩＤに応じたインデックスが付加されている。各エントリは、メッセージをルーティングすべきルータ１５０ａ、１５０ｂ、１５０ｃの出口ポート（例えば、ポート０、１、２、又は３）を示している。なお、ルーティングテーブル４１０及び４２０内の網掛けされたエントリは、その宛先ノードがメッセージが作成されたドメインの外にあることを示している。例えば、図４に示しているように、シャーシＡ及びＢの場合、宛先ノード４及び５はドメイン１の外にあり、宛先ノード０、１、２、及び３はドメイン１の中にある。シャーシＣの場合には、宛先ノード０、１、２、及び３はドメイン２の外にあり、宛先ノード４及び５はドメイン２の中にある。そして、下線のエントリは、メッセージが間接経路（ドメイン間ケーブル）によってルーティングされることを示している。次に、ルーティングテーブル４１０及び４２０の使用方法の例を、図５及び６を参照しつつ説明する。
【００１８】
まず図５を参照すれば、これは、ドメイン内ケーブルＡ−Ｂ１６１を使用するプロセッサ−メモリ（ＰからＰ)メッセージトランザクションのブロックダイアグラムを示している。まず、シャーシＡのノード０のプロセッサがメッセージをノード２に対して送信する。ルータ１５０は、そのメッセージのＩ／Ｏビットに基づいて、ソースノードを識別すると共に宛先ノードを識別する。Ｉ／Ｏビット＝０の場合、Ｐノード０がソースノードであることを示している。宛先ノードはノード２である。シャーシＡ内のルータ１５０ａは、図５のＰルーティングテーブル４１０ａを使用して出口ポートを判定する。ルーティングテーブル４１０ａ内の宛先ノードＩＤ２に対応するエントリは、メッセージをルータ１５０ａのポート２にルーティングすることを示している。この結果、メッセージはケーブルＡ−Ｂ１６１を介して送信され、シャーシＢ内のルータ１５０ｂに到達する。このメッセージは、シャーシＡ内のＰノードからのものであるため、そのＩ／Ｏ＝０である。したがって、Ｐルーティングテーブル４１０ｂを使用して出口ポートを判定する。Ｐルーティングテーブル４１０ｂは、メッセージをポート０とＰノード２にルーティングすることを示している。
【００１９】
メモリアクセスが完了すると、シャーシＢ内のＰノード２は、Ｉ／Ｏ＝０の応答メッセージをシャーシＡ内のＰノード０に対して送り返す。ルータ１５０ｂは、その応答メッセージの宛先ノードＩＤとＩ／Ｏビットを読み取り、その要求メッセージがＰノードからのものであると判定する。この結果、Ｐルーティングテーブル４１０ｂを使用する。ノード０（応答メッセージの宛先）に対応するエントリは、メッセージをケーブルＡ−Ｂ１６１を介してルータ１５０ａのポート２にルーティングすることを示している。この結果、メッセージは、ケーブルＡ−Ｂ１６１を介して送信され、シャーシＡ内のルータ１５０ａに到達する。Ｉ／Ｏ＝０であり、Ｐルーティングテーブル４１０ａを使用する。Ｐルーティングテーブル４１０ａのインデックスは、メッセージをポート０にルーティングする必要があることを示している。
【００２０】
次に、図６を参照すれば、ドメイン間ケーブルＣ−Ｂ１６７とＡ−Ｃ１６３を使用するＩ／Ｏトランザクション（ＰからＩ）のルーティングメカニズムの動作が示されている。シャーシＡ内のＰノード０が、Ｉ／Ｏ＝０でシャーシＢ内のＩノード３にアクセスする。ルータ１５０ａは、このメッセージを受信するとメッセージに格納されているＩ／Ｏビットを分析する。この場合、Ｉ／Ｏビットは、そのメッセージがＩ／Ｏノードではなく、Ｐノードからのものであることを示している。したがって、ルータ１５０ａはＰルーティングテーブル（Ｐ）４１０ａを選択する。図４に示すように、宛先ノードＩＤ３は、メッセージをルータ１５０ａのポート３からシャーシＣに接続されたケーブルＡ−Ｃ１６３にルーティングすることを示している。したがって、メッセージは、Ａ−Ｃケーブル１６３を介して送信され、ルータ１５０ｃに到達する。このメッセージは、Ｉ／Ｏノードからのものではないため、Ｉ／Ｏ＝０であり、Ｐルーティングテーブル４１０ｃを使用する。Ｐルーティングテーブル４１０ｃは、メッセージをポート２からシャーシＢに接続されたケーブルＣ−Ｂ１６７にルーティングする必要があることを示している。したがって、メッセージは、Ｃ−Ｂケーブル１６７を介して送信され、ルータ１５０ｂに到達する。Ｉ／Ｏ＝０であり、Ｐルーティングテーブル４１０ｂを使用する。Ｐルーティングテーブル４１０ｂのインデックスは、メッセージをポート１にルーティングすることを示しており、これは、要求メッセージの宛先（ノード３）である。
【００２１】
Ｉ／Ｏアクセスが完了した後に、Ｉノード３は、Ｉ／Ｏ＝１の応答メッセージをノード０内のＰに送り返す。Ｉ／Ｏ＝１であるため、ルータ１５０ｂにおいてＩ／Ｏルーティングテーブル４２０ｂを使用する。宛先ノードＩＤであるノード０に対応するエントリは、メッセージをポート３からシャーシＣに接続されたケーブルＣ−Ｂ１６７にルーティングすることを示している。したがって、メッセージは、ケーブルＣ−Ｂを介して送信され、ルータ１５０ｃに到達する。なお、メッセージをケーブルＣ−Ｂ１６７を介して送信する前に、メッセージのＩ／Ｏビットが１から０に変更されることに留意されたい。さもなければ、作成元ではないシャーシ内のルータ１５０によってＩ／Ｏビットが無視される。
【００２２】
このメッセージが同一シャーシ内のＩ／Ｏノードからのものではないため、Ｐルーティングテーブル４１０ｃを使用して出口ポートを判定する。Ｐルーティングテーブル４１０ｃは、メッセージをルータ１５０ｃのポート３からシャーシＡに接続されたケーブルＡ−Ｃ１６３にルーティングすることを示している。したがって、メッセージは、ケーブルＡ−Ｃ１６３を介して送信され、ルータ１５０ａに到達する。このメッセージが同一シャーシ内のＩ／Ｏノードからのものではないため、Ｉ／Ｏ＝０であり、Ｐルーティングテーブル４１０ａを使用する。Ｐルーティングテーブル４１０ａは、メッセージをポート０にルーティングすることを示しており、これは、この応答メッセージの宛先である。この結果、Ｉ／Ｏトランザクションはドメイン間ケーブル１６３、１６７を介してルーティングされ、これによって、ドメイン内ケーブル１６１上の輻輳が軽減される。
【００２３】
次に、図７を参照すれば、本発明に従ってトラフィックのバランスをとる方法のフローチャートが示されている。このプロセスは段階６１０から始まり、段階６２０でルータ１５０がメッセージを受信する。段階６３０で、ルータ１５０はそのメッセージの宛先ノードＩＤを識別する。また、ルータ１５０は、ソースノードがＩ／Ｏノードであるか又はプロセッサノードであるかを示すＩ／Ｏビットの識別も行う。宛先のノードがＩ／Ｏノードであるか、又はソースノードがＩ／Ｏノードであることを、Ｉ／Ｏビットが示している場合、段階６４０において、このトランザクションは、Ｉ／Ｏトランザクションに分類され、段階６５０でドメイン間ケーブルを介してルーティングされる。同様に、ソースノードがＰノードの場合にも、メッセージはドメイン間ケーブルを介してルーティングされる。ルーティングテーブル４１０及び４２０に付加されたインデックス（図４を参照）によって、システムは出口ポートを判定できる。一方、トランザクションが非Ｉ／Ｏトランザクション（プロセッサ−メモリ）の場合、段階６６０において、メッセージは、ドメイン内ケーブルを介してルーティングされ、段階６７０で、このプロセスは終了する。
（付記１）少なくとも２つのドメインにパーティション化されたコンピュータシステムであって、第１ドメインは第１ケーブルによって結合された少なくとも第１及び第２シャーシを有し、第２ドメインは少なくとも１つのシャーシを有し、前記第１ドメインの各シャーシは第２ケーブルと第３ケーブルによって前記第２ドメインのシャーシに結合され、前記各シャーシは複数のプロセッサノード、Ｉ／Ｏノード、及びメモリノードを含むコンピュータシステムにおいてメッセージトラフィックのバランスをとる方法であって、
メッセージを受信する段階と、
前記メッセージから宛先ノードと、ソースノードがＩ／Ｏノードであるかどうかを示す指定値を有するＩ／Ｏビットを識別する段階と、
前記ソースノードがＩ／Ｏノードであることを示す前記Ｉ／Ｏビットに応答し、前記メッセージを前記第２ケーブル及び第３ケーブルを介して前記第１シャーシから前記第２シャーシにルーティングする段階とを有することを特徴とする方法。
（付記２）Ｉ／Ｏノードである前記宛先ノードに対応し、前記メッセージを前記第２ケーブル及び第３ケーブルを介して前記第１シャーシから前記第２シャーシにルーティングする段階を有する付記１に記載の方法。
（付記３）前記ソースノードが非Ｉ／Ｏノードであり前記宛先ノードが非Ｉ／Ｏノードであることを示す前記Ｉ／Ｏビットに応答し、前記メッセージを前記第１ケーブルを介して前記第１シャーシから前記第２シャーシにルーティングする段階を有する付記１に記載の方法。
（付記４）各シャーシはルータを有し、該ルータはプロセッサノードからのトランザクションを識別するためのルーティングテーブルを備えており、該ルーティングテーブルにインデックスを付加してプロセッサノードであるソースノードに基づいて出口ポートを判定する段階を更に有する付記１に記載の方法。
（付記５）各シャーシは更にルータを有し、該ルータはＩ／Ｏノードからのトランザクションを識別するためのルーティングテーブルを備えており、該ルーティングテーブルにインデックスを付加してＩ／Ｏノードであるソースノードに基づいて出口ポートを判定する段階を更に有する付記１に記載の方法。
（付記６）前記ソースノードがＩ／Ｏノードの場合に前記Ｉ／Ｏビットの指定値が「１」である付記１に記載の方法。
（付記７）前記ソースノードがプロセッサノードの場合に前記Ｉ／Ｏビットの指定値が「０」である付記１に記載の方法。
（付記８）前記ソースノードがプロセッサノードの場合に前記Ｉ／Ｏビットの指定値が「１」である付記１に記載の方法。
（付記９）前記ソースノードがＩ／Ｏノードの場合に前記Ｉ／Ｏビットの指定値が「０」である付記１に記載の方法。
（付記１０）少なくとも２つのドメインにパーティション化されたマルチシャーシコンピュータシステムにおいて、第１ドメインは第１ケーブルによって結合された少なくとも第１及び第２シャーシを有し、第２ドメインは少なくとも１つのシャーシを有し、前記第１ドメインの各シャーシは第２ケーブルと第３ケーブルによって前記第２ドメインのシャーシに結合され、前記各シャーシは複数のプロセッサノード、Ｉ／Ｏノード、及びメモリノードを含むシステムであって、
メッセージを受信する手段と、
前記メッセージから宛先ノードと、ソースノードがＩ／Ｏノードであるかどうかを示す指定値を有するＩ／Ｏビットを識別する手段と、
前記ソースノードがＩ／Ｏノードであることを示す前記Ｉ／Ｏビットに応答し、前記メッセージを前記第２ケーブル及び第３ケーブルを介して前記第１シャーシから前記第２シャーシにルーティングする手段とを有することを特徴とするシステム。
（付記１１）Ｉ／Ｏノードである前記宛先ノードに対応し、前記メッセージを前記第２ケーブル及び第３ケーブルを介して前記第１シャーシから前記第２シャーシにルーティングする手段を有する付記１０に記載のシステム。
（付記１２）前記ソースノードが非Ｉ／Ｏノードであり前記宛先ノードが非Ｉ／Ｏノードであることを示す前記Ｉ／Ｏビットに応答し、前記メッセージを前記第１ケーブルを介して前記第１シャーシから前記第２シャーシにルーティングする段階を有する付記１０に記載のシステム。
（付記１３）少なくとも２つのドメインにパーティション化されたマルチシャーシコンピュータシステムであって、
第１ケーブルによって結合された少なくとも２つのシャーシを有する第１ドメインと、
少なくとも１つのシャーシを有する第２ドメインとを有し、
前記第１ドメインの各シャーシは第２ケーブル及び第３ケーブルによって前記第２ドメインのシャーシに結合され、前記第１ドメイン及び第２ドメインの各シャーシは要求メッセージを前記第１ケーブル及び第２ケーブルを介してルーティングするルータを含むことを特徴とするシステム。
（付記１４）複数のＩ／Ｏノードを有し、前記ルータは前記Ｉ／Ｏノードからのトランザクションを識別するためのルーティングテーブルを維持管理する付記１３に記載のシステム。
（付記１５）複数のプロセッサノードを有し、前記ルータは前記プロセッサノードからのトランザクションを識別するためのルーティングテーブルを維持管理する付記１３に記載のシステム。
【図面の簡単な説明】
【図１】図１は、マルチノードネットワークコンピュータシステムの全体アーキテクチャの一実施例を示すブロックダイアグラムである。
【図２】図２は、本発明の実施例に従って２つのドメインにパーティション化された完全相互接続３シャーシシステムのブロックダイアグラムである。
【図３】図３は、本発明による一実施例における要求メッセージのフォーマットを図示したものである。
【図４】図４は、ルーティングテーブルのブロックダイアグラムである。
【図５】図５は、ドメイン内ケーブルを使用するプロセッサ−メモリ（ＰからＰ）メッセージトランザクションのブロックダイアグラムである。
【図６】図６は、ドメイン間ケーブルを使用するプロセッサ−Ｉ／Ｏトランザクションのブロックダイアグラムである。
【図７】図７は、図２の実施例において実行する方法のフローチャートである。
Claims (8)
- それぞれプロセッサ、入出力装置及びルータを有し、同一筐体内において相互接続された第１及び第２のドメインと、前記第１のドメインと前記第２のドメインのそれぞれと相互接続された第３のドメインとを有し、前記第１乃至第３のドメイン間相互にデータを送受信する情報処理システムのデータ転送方法において、
前記第１のドメインが有するルータが、前記第１のドメインが有するプロセッサ又は入出力装置からデータを受信するステップと、
前記第１のドメインが有するルータが、前記受信したデータが有する情報に基づいて、前記データの転送元及び転送先を識別するステップと、
前記データの転送先が前記第２のドメインであると識別するとともに、送信元が前記第１のドメインが有する入出力装置であると認識した場合には、前記データを前記第３のドメインに転送するステップとを有することを特徴とするデータ転送方法。 - 前記第３のドメインが前記受信した前記データを前記第２のドメインに転送するステップを有することを特徴とする請求項１に記載のデータ転送方法。
- 前記第１のドメインが有するルータが、前記受信したデータが有する情報に基づいて、前記データの送信元及び送信先を識別するステップは、前記データが有する情報を用いて、前記ルータが有するルーティングテーブルが有する経路情報を選択することにより、前記データの送信元及び転送先を識別することを特徴とする請求項１又は２に記載のデータ転送方法。
- 前記第１のドメインが有するルータと、前記第２のドメインが有するルータは、前記筐体内で相互に接続されることを特徴とする請求項１乃至３のいずれか一項に記載のデータ転送方法。
- プロセッサと入出力装置を有する第１のドメインと、
前記第１のドメインと相互接続された第２のドメインと、
前記第１のドメインと前記第２のドメインのそれぞれと相互接続された第３のドメインと、
前記第１のドメインが有するプロセッサ又は入出力装置からデータを受信し、前記受信したデータが有する情報に基づいて、前記データの転送先が前記第２のドメインであり、かつ、送信元が前記第１のドメインが有する入出力装置であると識別した場合には、前記データを前記第３のドメインに転送するルータとを有することを特徴とする情報処理システム。 - 前記第１のドメインが有するルータは、前記第３のドメインが前記受信した前記データを前記第２のドメインに転送することを特徴とする請求項５に記載の情報処理システム。
- 前記第１のドメインが有するルータはルーティングテーブルを有し、
前記データが有する情報を用いて、前記ルーティングテーブルが有する経路情報を選択することにより、前記データの送信元及び送信先を識別することを特徴とする請求項５又は６に記載の情報処理システム。 - 前記第１のドメインが有するルータと、前記第２のドメインが有するルータは、前記筐体内で相互に接続されることを特徴とする請求項５乃至７のいずれか一項に記載の情報処理システム。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US30222601P | 2001-06-28 | 2001-06-28 | |
| US60/302226 | 2001-06-28 | ||
| US10/077,144 US7159017B2 (en) | 2001-06-28 | 2002-02-15 | Routing mechanism for static load balancing in a partitioned computer system with a fully connected network |
| US10/077144 | 2002-02-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003114879A JP2003114879A (ja) | 2003-04-18 |
| JP3996455B2 true JP3996455B2 (ja) | 2007-10-24 |
Family
ID=26758946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002190476A Expired - Fee Related JP3996455B2 (ja) | 2001-06-28 | 2002-06-28 | 情報処理システムのデータ転送方法及び情報処理システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7159017B2 (ja) |
| JP (1) | JP3996455B2 (ja) |
Families Citing this family (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6766360B1 (en) | 2000-07-14 | 2004-07-20 | Fujitsu Limited | Caching mechanism for remote read-only data in a cache coherent non-uniform memory access (CCNUMA) architecture |
| US6754776B2 (en) | 2001-05-17 | 2004-06-22 | Fujitsu Limited | Method and system for logical partitioning of cache memory structures in a partitoned computer system |
| US7380001B2 (en) * | 2001-05-17 | 2008-05-27 | Fujitsu Limited | Fault containment and error handling in a partitioned system with shared resources |
| US6961761B2 (en) * | 2001-05-17 | 2005-11-01 | Fujitsu Limited | System and method for partitioning a computer system into domains |
| US6862634B2 (en) | 2001-06-29 | 2005-03-01 | Fujitsu Limited | Mechanism to improve performance in a multi-node computer system |
| US6915370B2 (en) * | 2001-12-20 | 2005-07-05 | Intel Corporation | Domain partitioning in a multi-node system |
| US7275081B1 (en) | 2002-06-10 | 2007-09-25 | Juniper Networks, Inc. | Managing state information in a computing environment |
| US7167479B2 (en) * | 2002-06-21 | 2007-01-23 | Thomson Licensing | Multi-chassis broadcast router having a common clock |
| US7739403B1 (en) | 2003-10-03 | 2010-06-15 | Juniper Networks, Inc. | Synchronizing state information between control units |
| US8782654B2 (en) | 2004-03-13 | 2014-07-15 | Adaptive Computing Enterprises, Inc. | Co-allocating a reservation spanning different compute resources types |
| WO2005091136A1 (en) | 2004-03-13 | 2005-09-29 | Cluster Resources, Inc. | System and method for a self-optimizing reservation in time of compute resources |
| JP3780457B2 (ja) * | 2004-06-07 | 2006-05-31 | 株式会社トヨタＩｔ開発センター | 信号処理装置、方法、プログラムおよび記録媒体 |
| US20070266388A1 (en) | 2004-06-18 | 2007-11-15 | Cluster Resources, Inc. | System and method for providing advanced reservations in a compute environment |
| US8176490B1 (en) | 2004-08-20 | 2012-05-08 | Adaptive Computing Enterprises, Inc. | System and method of interfacing a workload manager and scheduler with an identity manager |
| CA2586763C (en) | 2004-11-08 | 2013-12-17 | Cluster Resources, Inc. | System and method of providing system jobs within a compute environment |
| US8863143B2 (en) | 2006-03-16 | 2014-10-14 | Adaptive Computing Enterprises, Inc. | System and method for managing a hybrid compute environment |
| US9231886B2 (en) | 2005-03-16 | 2016-01-05 | Adaptive Computing Enterprises, Inc. | Simple integration of an on-demand compute environment |
| WO2006108187A2 (en) | 2005-04-07 | 2006-10-12 | Cluster Resources, Inc. | On-demand access to compute resources |
| US7606241B1 (en) | 2005-08-12 | 2009-10-20 | Juniper Networks, Inc. | Extending standalone router syntax to multi-chassis routers |
| US7552262B1 (en) | 2005-08-31 | 2009-06-23 | Juniper Networks, Inc. | Integration of an operative standalone router into a multi-chassis router |
| US8135857B1 (en) | 2005-09-26 | 2012-03-13 | Juniper Networks, Inc. | Centralized configuration of a multi-chassis router |
| US7747999B1 (en) | 2005-09-26 | 2010-06-29 | Juniper Networks, Inc. | Software installation in a multi-chassis network device |
| US7518986B1 (en) | 2005-11-16 | 2009-04-14 | Juniper Networks, Inc. | Push-based hierarchical state propagation within a multi-chassis network device |
| US7804769B1 (en) * | 2005-12-01 | 2010-09-28 | Juniper Networks, Inc. | Non-stop forwarding in a multi-chassis router |
| US7630385B2 (en) * | 2006-08-04 | 2009-12-08 | Oyadomari Randy I | Multiple domains in a multi-chassis system |
| US8041773B2 (en) | 2007-09-24 | 2011-10-18 | The Research Foundation Of State University Of New York | Automatic clustering for self-organizing grids |
| US8108503B2 (en) | 2009-01-14 | 2012-01-31 | International Business Machines Corporation | Dynamic load balancing between chassis in a blade center |
| US9465771B2 (en) | 2009-09-24 | 2016-10-11 | Iii Holdings 2, Llc | Server on a chip and node cards comprising one or more of same |
| US20110103391A1 (en) | 2009-10-30 | 2011-05-05 | Smooth-Stone, Inc. C/O Barry Evans | System and method for high-performance, low-power data center interconnect fabric |
| US9054990B2 (en) | 2009-10-30 | 2015-06-09 | Iii Holdings 2, Llc | System and method for data center security enhancements leveraging server SOCs or server fabrics |
| US8599863B2 (en) | 2009-10-30 | 2013-12-03 | Calxeda, Inc. | System and method for using a multi-protocol fabric module across a distributed server interconnect fabric |
| US20130107444A1 (en) | 2011-10-28 | 2013-05-02 | Calxeda, Inc. | System and method for flexible storage and networking provisioning in large scalable processor installations |
| US9077654B2 (en) | 2009-10-30 | 2015-07-07 | Iii Holdings 2, Llc | System and method for data center security enhancements leveraging managed server SOCs |
| US9876735B2 (en) | 2009-10-30 | 2018-01-23 | Iii Holdings 2, Llc | Performance and power optimized computer system architectures and methods leveraging power optimized tree fabric interconnect |
| US9311269B2 (en) | 2009-10-30 | 2016-04-12 | Iii Holdings 2, Llc | Network proxy for high-performance, low-power data center interconnect fabric |
| US10877695B2 (en) | 2009-10-30 | 2020-12-29 | Iii Holdings 2, Llc | Memcached server functionality in a cluster of data processing nodes |
| US11720290B2 (en) | 2009-10-30 | 2023-08-08 | Iii Holdings 2, Llc | Memcached server functionality in a cluster of data processing nodes |
| US9648102B1 (en) | 2012-12-27 | 2017-05-09 | Iii Holdings 2, Llc | Memcached server functionality in a cluster of data processing nodes |
| US9680770B2 (en) | 2009-10-30 | 2017-06-13 | Iii Holdings 2, Llc | System and method for using a multi-protocol fabric module across a distributed server interconnect fabric |
| US9565094B2 (en) * | 2009-11-13 | 2017-02-07 | International Business Machines Corporation | I/O routing in a multidimensional torus network |
| US9954760B2 (en) | 2010-01-29 | 2018-04-24 | International Business Machines Corporation | I/O routing in a multidimensional torus network |
| JP2012181585A (ja) * | 2011-02-28 | 2012-09-20 | Seiko Epson Corp | デバイスシステムおよびチップ |
| US9100348B2 (en) | 2011-10-03 | 2015-08-04 | Intel Corporation | Managing sideband routers in on-die system fabric |
| US9092594B2 (en) | 2011-10-31 | 2015-07-28 | Iii Holdings 2, Llc | Node card management in a modular and large scalable server system |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3516432B2 (ja) * | 1997-11-18 | 2004-04-05 | 株式会社東芝 | ノード装置及びパケット転送方法 |
| US6536000B1 (en) * | 1999-10-15 | 2003-03-18 | Sun Microsystems, Inc. | Communication error reporting mechanism in a multiprocessing computer system |
| US6678840B1 (en) * | 2000-08-31 | 2004-01-13 | Hewlett-Packard Development Company, Lp. | Fault containment and error recovery in a scalable multiprocessor |
| US6973517B1 (en) * | 2000-08-31 | 2005-12-06 | Hewlett-Packard Development Company, L.P. | Partition formation using microprocessors in a multiprocessor computer system |
| US6961761B2 (en) * | 2001-05-17 | 2005-11-01 | Fujitsu Limited | System and method for partitioning a computer system into domains |
-
2002
- 2002-02-15 US US10/077,144 patent/US7159017B2/en not_active Expired - Fee Related
- 2002-06-28 JP JP2002190476A patent/JP3996455B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20030007493A1 (en) | 2003-01-09 |
| JP2003114879A (ja) | 2003-04-18 |
| US7159017B2 (en) | 2007-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3996455B2 (ja) | 情報処理システムのデータ転送方法及び情報処理システム | |
| US6529963B1 (en) | Methods and apparatus for interconnecting independent fibre channel fabrics | |
| US6246680B1 (en) | Highly integrated multi-layer switch element architecture | |
| US7643477B2 (en) | Buffering data packets according to multiple flow control schemes | |
| US7921251B2 (en) | Globally unique transaction identifiers | |
| US6971098B2 (en) | Method and apparatus for managing transaction requests in a multi-node architecture | |
| US6862634B2 (en) | Mechanism to improve performance in a multi-node computer system | |
| US8204054B2 (en) | System having a plurality of nodes connected in multi-dimensional matrix, method of controlling system and apparatus | |
| EP1786157B1 (en) | Switched integrated circuit connection architectures and techniques | |
| US6785715B2 (en) | Storage subsystem | |
| JPH09153892A (ja) | ワームホール・ネットワークにおけるメッセージ送達方法およびシステム | |
| JP3206126B2 (ja) | 分散クロスバー・スイッチ・アーキテクチャにおけるスイッチング・アレイ | |
| US6631421B1 (en) | Recursive partitioning of networks | |
| US7218638B2 (en) | Switch operation scheduling mechanism with concurrent connection and queue scheduling | |
| US11960437B2 (en) | Systems and methods for multi-branch routing for interconnected chip networks | |
| US20230244626A1 (en) | Parallel dataflow routing scheme systems and methods | |
| US6567856B1 (en) | Deadlock-free routing | |
| US7272151B2 (en) | Centralized switching fabric scheduler supporting simultaneous updates | |
| US20020161453A1 (en) | Collective memory network for parallel processing and method therefor | |
| US20020110130A1 (en) | System for routing data packets through a crossbar switch in expansion mode | |
| JP2000172655A (ja) | データ処理装置およびデータ処理方法 | |
| JP2004120642A (ja) | ルータ装置、及び転送制御方法 | |
| JP2002359630A (ja) | スイッチ装置およびデータ転送システム | |
| JPH09307932A (ja) | サービス制御ノード内動作制御方法 | |
| JP2001067329A (ja) | ネットワーク装置およびプロセッシングシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050520 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070316 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070327 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070528 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070703 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070802 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110810 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120810 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120810 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130810 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |