JPH1097512A - プロセッサ間データ転送方法及び並列計算機 - Google Patents

Abstract

(57)【要約】 【課題】 同一ノードに複数のスレッドを割り当てた場
合でも、スレッド間でのブロードキャストを可能にする
ことにある。。 【解決手段】 １ノードに複数のスレッドを割り付けた
場合には、図１のテーブルＣＩＴ３０にスレッドの受信
領域のリンク情報を登録し、ブロードキャスト転送の時
のみリンク情報に従い、複数の受信領域３３、３４に受
信データを書き込む。 【効果】 複数のスレッドが1つのノードに割り当てら
れた場合にも、ブロードキャスト機能が利用できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は並列計算機システム
に関する。さらに詳しくは、並列計算機システムにおけ
る、プロセッサ間のデータ転送方法に関する。

【０００２】

【従来の技術】並列計算機においては、プロセッサ間の
データ転送を高速化することが、システム全体の高速化
につながる。プロセッサ間のデータ転送のパタンとして
は、(1)1ノードから1ノードへの転送、(2)1ノードから
複数ノードへの転送、(3)複数ノードから1ノードへの転
送、(4)複数ノードから複数ノードへの転送、の4パタン
が存在する。このうち、(1)が最も基本的で重要な転送
パタンであるが、(2)についても、例えば行列乗算のよ
うな基本的な演算で多発することから、その高速化技術
が必要とされている。なお、(2)の転送パタンに対し
て、ブロードキャストもしくはマルチキャストといった
呼び方があるが、ここではブロードキャストという言葉
で表す。

【０００３】ブロードキャストをハードウェアで実現す
ることでその高速化を図った例としては、特開平１−２
６７７６３号公報に開示されているものがある。これ
は、キューブ型のネットワークを前提とし、ｎ台のプロ
セッサをｎ＝ｎ1×ｎ2×…×ｎnと因数分解し、これら
の因数の各々を一辺の格子点数とするｎ次元格子空間上
にプロセッサを並べ、その各辺をクロスバスイッチから
なる部分ネットワークで結合して、並列にブロードキャ
スト処理を行うというものである。

【０００４】上記特開平１−２６７７６３号公報に開示
されているものは、基本的に1ノードから全ノードへブ
ロードキャスト方式であり、この方式では、ブロードキ
ャストするノード群が、ネットワーク上でまとまった形
状をしていないとブロードキャストができない。

【０００５】これに対し、特開平５−２８１２２号公報
は、並列システム内の一部のノード群へのブロードキャ
ストを実現する手段を開示している。上記特開平５−２
８１２２号公報に開示された技術を利用すれば、大規模
な並列計算機システムにおいて、任意のノードを集めて
システムの部分集合を形成し、その部分集合の中でのみ
ブロードキャストを行うことが可能である。この機能に
より、例えば大規模並列計算機でプログラムを実行する
際に、プログラムをいくつかのスレッドに分割しておい
て、そのスレッドを処理量が少ない任意のノードにダイ
ナミックに割り当てるような運用をする場合にも、ブロ
ードキャスト機能が利用できる。

【０００６】また、特開平７−２６２１５５号公報は、
複数のノードから同時にブロードキャストが発生した場
合にも、ブロードキャストをシリアライズすることで、
ネットワークのデッドロックの発生を防ぐ方式を開示す
る。

【０００７】

【発明が解決しようとする課題】前記のように、プログ
ラムをいくつかのスレッドに分割しておいて、そのスレ
ッドを処理量が少ない任意のノードにダイナミックに割
り当てるような運用をする場合、上記特開平５−２８１
２２号公報に開示されている方式のブロードキャストを
利用するには、各スレッドを必ず別なノードに割り当て
なければならない。例えば、あるDOループを128個に等
分割して128個のスレッドを生成した場合には、各スレ
ッドを必ず別なノードに割り当てなければならない。

【０００８】この条件は、例えばセンタ運用のような使
用環境で、各ノードの仕事量のばらつきを考慮して、仕
事量の少ないノードに複数スレッドを割り当てたい場合
に制約となる場合がある。

【０００９】そこで、本発明が解決しようとする課題
は、同一ノードに複数のスレッドを割り当てた場合で
も、スレッド間でのブロードキャストを可能にすること
にある。

【００１０】

【課題を解決するための手段】上記課題は、該放送通信
手段で送られてきたデータの受信に対応して、所定の場
合に上記受信データに対しそのノード内の複数の受信領
域を割り当てることにより達成される。

【００１１】

【発明の実施の形態】以下、本発明の1実施例を示す。
最初に本実施例の概要を、図１を用いて説明する。

【００１２】［概要］ （１）システム構成 図１は複数ノード（ノード１、ノード１１など）を、ノ
ード間ネットワーク１００で結合したシステムである。
ノードの構成を、ノード１を用いて説明する（他のノー
ドも同様の構成を持つ）。ノード１はＣＰＵ２と、ネッ
トワークインタフェースアダプタＮＩＡ３と、主記憶制
御回路ＳＣ４と、主記憶５とを持つ。ＮＩＡ３は、ノー
ド間ネットワーク１００を通して、ノード間でデータを
転送する機能を持つ。主記憶５には、オペレーティング
システム（ＯＳ）により管理される領域６がある。つま
り、領域６は、ＣＰＵ２が持つアドレス変換機構によ
り、ＯＳのみにアクセスを許可する。

【００１３】ＯＳが管理する領域には、ＮＩＡのために
２種類のテーブルを用意する。１つはCommunication ID
Table (CIT)２０、もう一つはAddress translation Ta
ble(AT)２１である。各テーブルの内容については、通
信動作の説明の中で記述する。

【００１４】（２）基本的な1対1通信動作（詳細は後述
する） ＣＰＵ２は、ＮＩＡ３を起動することで、ノード間デー
タ転送を実行する。この場合、システムコールを利用し
てＯＳ管理領域６に通信制御情報(Control Word)ＣＷ２
２を書き込み、さらにＳＣ４を通してＮＩＡ３にＣＷ２
２のアドレスを通知する。

【００１５】各ノードの主記憶には、送信用／受信用の
領域が複数ある。図１のノード１においては、通信領域
７、８がある。各通信領域には、識別子（以降ＩＤ番号
と表現する）が用意される。ＣＰＵ２がＮＩＡ３を起動
する際には、ＩＤ番号をＣＷ２２中に指定することによ
り、どの通信領域に対する送信要求かを区別する。ま
た、送信するデータを、送り先のノードのどの通信領域
に書き込むかについても、送信側ノードのＣＷ２２中で
指定する。

【００１６】例として、ノード１のＣＰＵ２が、ＩＤ番
号０で管理される通信領域内の送信データ２３を、ノー
ド１１内のＩＤ番号３で管理される通信領域内の受信領
域３３に書き込みたい場合について簡単に説明する。Ｃ
ＰＵ２はシステムコールを利用してＯＳ管理領域６内の
ＣＷ２２中に、以下の情報を記述する。 （ａ）送信データを含む通信領域７のＩＤ番号（＝０）
と通信領域７中における送信データ２３の相対位置 （ｂ）送信先ノード番号（ノード１１のネットワーク上
での識別番号）と受信領域を含む通信領域１７のＩＤ番
号（＝３）と通信領域１７における受信領域３３の相対
位置 さらにＣＰＵ２は、ＣＷ２２の主記憶上の位置を、ＳＣ
４経由でＮＩＡ３に通知する。通知されたＮＩＡ３は、
通知に従いＣＷ２２を読み出す。ＮＩＡ３はＣＷ２２の
情報の内、まず送信データを含む通信領域７のＩＤ番号
を用いて、Communication ID Table ＣＩＴ２０を検索
する。ＣＩＴ２０内には、通信領域７のために用意され
たAddress translation Table ＡＴ２１を指すポインタ
と、通信領域７の仮想アドレス上の位置情報とがある。
ＮＩＡ３はこの情報に従ってＡＴ２１をアクセスするこ
とでアドレス変換情報を入手し、さらに前述した通信領
域７中における送信データ２３の相対位置情報を用いる
ことで、送信データ２３を読み出し、パケットの形式に
してノード間ネットワーク１００に送り出す。パケット
のヘッダ情報としては、送信先ノード番号とともに、受
信領域を含む通信領域１７のＩＤ番号（＝３）と通信領
域１７における受信領域３３の相対位置との情報を持
つ。

【００１７】ネットワーク１００は、パケットヘッダの
情報に従い、パケットをノード１１のＮＩＡ１３に送達
する。ＮＩＡ１３はこれを受けると、まずヘッダから受
信領域を含む通信領域１７のＩＤ番号（＝３）の情報を
読み出し、これに従いＣＩＴ３０を検索する。ＣＩＴ３
０内には、通信領域１７のために用意されたAddresstra
nslation Table ＡＴ３１を指すポインタと、通信領域
１７の仮想アドレス上の位置情報とがある。ＮＩＡ１３
はこの情報に従ってＡＴをアクセスし、さらにパケット
ヘッダ中の情報（通信領域１７中における送信データ３
３の相対位置情報）を用いることで、受信領域３３を特
定し、受信データを書き込むことができる。

【００１８】（３）ブロードキャスト時の通信動作 ブロードキャストの動作を説明するために、ノード１上
の通信領域７上の送信データ２３をブロードキャスト
し、ノード１の通信領域８、ノード１１の通信領域１８
で受ける場合について説明する。ＣＰＵ２はＣＷ２２を
通常と同様に用意するが、その際にブロードキャスト指
定をＣＷ２２中にする。この場合、ＮＩＡ３は、ノード
間ネットワーク１００へブロードキャスト要求パケット
を送り出す。本実施例では、ノード間ネットワーク１０
０内におけるブロードキャストの実現手段についてはそ
の詳細を記述しないが、特開平７−２６２１５５で開示
される方式により逐次化したあと、特開平５−２８１２
２で開示される方式により任意ノードへとブロードキャ
ストされるものとする。この場合、ノード間ネットワー
クから、ブロードキャストパケットがＮＩＡ３とＮＩＡ
１３とに到着する。

【００１９】この場合、ブロードキャストするノード毎
に受信領域のＩＤを変えることは事実上不可能であるこ
とから、ＣＰＵ２はＣＷ２２に受信領域のＩＤ＝３のみ
指定する。これにより、送信データ２３はノード間ネッ
トワークを通してノード１の受信領域２４、ならびにノ
ード１１の受信領域３４にブロードキャストされる。

【００２０】ところで、技術計算のように大きなループ
を持つプログラムは、ループを分割して複数ノードで実
行することで、並列処理が実現できるが、この動作は、
親プロセスがスレッドを複数ノードに投げることで実現
される。この際、親プロセスは全てのノードにスレッド
を均等に投げるのではなく、各ノードの負荷状況を観察
し、なるべく処理負担の少ないノードにスレッドを投げ
るようにした方が効率がよい場合がある。

【００２１】このような動作の場合、複数スレッドを同
一のノードに割り付けた方が効率がよいケースが出てく
る。図１では、ノード１上の親プロセスがスレッドを３
つ生成し、各ノードの負荷状況を勘案して投げようとし
た結果、ノード１にスレッド０を、ノード１１にスレッ
ド１をとりあえず投げたとする。他のノードの負荷が極
めて重い場合には、さらにスレッド２もノード１１に割
り付けるのが最も効率がよいことになる。

【００２２】さて、前記の通り、受信側ＮＩＡ１３は、
パケット中のＩＤ情報により受信領域を特定するので、
同一のノード１１内には、同一のＩＤを持つ通信領域が
存在してならない。従って、、スレッド１用の通信領域
１７（ＩＤ＝３）とスレッド２用の通信領域１８（ＩＤ
＝５）とは、別ＩＤで管理せざるを得ない。（こうする
ことで、例えばノード１上のスレッド０からノード１１
にデータを送信する場合にも、ＣＷ２２に指定するＩＤ
番号を切り替えることでスレッド１／スレッド２への通
信を切り替えることができる。） 従って、上述のような複数のスレッドを同一のノードに
割り付けた場合において、、同一スレッドの通信領域を
1対1通信の場合とブロードキャスト通信の場合とで別Ｉ
Ｄで管理しなければ、前記ブロードキャスト機能を使用
できない。

【００２３】この問題は、例えば、図１中のスレッド２
用の通信領域１８を1対1通信に対してはＩＤ＝５で管理
し、ブロードキャスト受信に対してはＩＤ＝３としてス
レッド０、スレッド１の通信領域と同一ＩＤで管理でき
れば解決される。

【００２４】そこで、本実施例では、データを受信する
際に必ずＣＩＴ２０、３０を検索することに着目し、Ｃ
ＩＴ３０のＩＤ＝３に対するエントリ中にＩＤ＝５の領
域へのリンク情報を記録しておく。これにより、ＩＤ＝
３の領域に対するブロードキャスト要求に対しては、Ｉ
Ｄ＝５の領域１８へのブロードキャストもＮＩＡ１３が
自動にできるようになる。

【００２５】次に、ブロードキャスト送信動作／受信動
作の詳細について、図１〜１３および表１を用いて説明
する。

【００２６】まず、通常の1対1通信における動作と、図
１に示すようにスレッドを分割処理する際のブロードキ
ャスト通信における動作を説明する。

【００２７】（１）1対1通信 図１に示す送信データ２３を受信領域３３に送信する場
合の動作を説明する。

【００２８】［送信側の動作］プロセス中で送信要求シ
ステムコールが発行されると、ＣＰＵ２は、信号線ｎ
２、ＳＣ４、信号線ｎ６を通して、主記憶５中のＯＳ管
理領域６内にＣＷ２２を書き込む。なお、ＣＷ２２は物
理アドレス上で連続していることが必要となる。つま
り、複数ページにまたがらないようにＣＷ２２を作成す
る。

【００２９】ＣＷ２２のフォーマットを図８に示す。Ｂ
Ｃビット１５０は、ＣＷ２２がブロードキャスト要求で
あるかどうかを示す。本例は1対1通信であるため、ＢＣ
ビット１５０は０である。送信先ノード番号１５８に
は、送信先であるノード１１のＩＤ（ノード間ネットワ
ーク１００におけるＩＤ）を入れる。送信元ＩＤ１５３
には、送信データ２３が入っている領域７のＩＤ＝０を
入れる。送信先ＩＤ１５４には、受信領域３３が存在す
る領域１７のＩＤ＝３を入れる。送信元データオフセッ
ト１５５、送信データ長１５６、送信先データオフセッ
ト１５７については後述する。

【００３０】ＣＷ２２を書き込んだ後、ＣＰＵ２は、信
号線ｎ２、ＳＣ４、信号線ｎ３を通して、ＣＷ２２の位
置情報をＮＩＡ３に通知する。ＮＩＡ３の内部構成を図
２を用いて説明する。ＮＩＡ３中には、ＣＷＡＲ５０と
ＣＩＴＳＲ４５の２本のレジスタが存在する。これらは
ＣＰＵ２から見ると、メモリ空間に存在するメモリマッ
プドレジスタとして見える。これらのレジスタは、ＣＰ
Ｕ２のアドレス変換機構により、ＯＳのみにアクセスを
許可する。

【００３１】ＣＷ２２の位置情報として、ＣＷ２２の先
頭実アドレスをＣＷＡＲ５０に、ＳＣインタフェース部
４０、信号線ｎ２２を通してセットする。なお、ＮＩＡ
３は、送信動作を行っていない場合にのみ、上記のＣＷ
ＡＲ５０への書き込みを受け付け、送信動作中に書き込
まれた場合についてはその書き込みを無視する。ＣＰＵ
２は、書き込みが受け付けられたかどうかについては、
信号線ｎ２、ＳＣ４、信号線ｎ３、ＳＣインタフェース
部４０、信号線ｎ２２を通してＣＷＡＲ５０の読み出し
要求を出し、結果を信号線ｎ２３、ＳＣインタフェース
部４０、信号線ｎ４、ＳＣ４、信号線ｎ１を通して得る
ことで確認する。この時、ＣＷＡＲ５０への書き込みが
受け付けられた場合には書き込んだ値が読め、無視され
た場合にはエラー値＝０が読み出せる。ＣＰＵ２はＣＷ
ＡＲ５０を読み出した結果が０であった場合には、再度
ＣＷＡＲ５０への書き込みを実行する。なお、ＣＷＡＲ
５０への書き込み受け付けの可否については、その要求
を信号線ｎ２０を通して認知した送信制御部４１が判断
し、結果を信号線ｎ２１を通してＣＷＡＲ５０に伝達す
る。つまり、送信制御部４１は、現在送信動作中の場合
にＣＷＡＲ５０にデータが書き込まれた場合について
は、その書き込みを信号線ｎ２０を通して知ると、信号
線ｎ２１を通してＣＷＡＲ５０をリセットする。なお本
実施例については、送信制御部４１および受信制御部４
３については、コントローラとマイクロコードによりそ
の動作を実現する。

【００３２】送信制御部４１は、送信動作中でない時に
ＣＷＡＲ５０への書き込みがあったことを信号線ｎ２０
を受け付けると、ＣＷ２２の先頭実アドレス情報を信号
線ｎ２０を通して得る。更にその先頭実アドレスからＣ
Ｗ２２のサイズだけ（本例では１６バイト）の主記憶読
み出し要求を、信号線ｎ２４、ＳＣインタフェース部４
０、信号線ｎ４、ＳＣ４、信号線ｎ６を通して主記憶５
まで出す。同時に、信号線ｎ２５を通してＣＷ情報のバ
ッファＣＷＳＢ５１を登録可能な状態にする。読み出し
要求を受けて、ＣＷ２２の情報が信号線ｎ５、ＳＣ４、
信号線ｎ３を通してＳＣインタフェース部４０に伝わっ
た後、登録可能な状態であるＣＷＳＢ５１に信号線ｎ２
７を通して登録される。

【００３３】送信制御部４１は、ＣＷＳＢ５１への登録
完了を信号線ｎ２６を通して認知すると、登録された情
報の内、送信元ＩＤ１５３の情報（ＩＤ＝０）を、信号
線ｎ２５、ｎ２６を通して読み出す。読み出した結果に
従い、ＣＩＴ２０をアクセスする。これと同時に、ＣＩ
Ｔ情報のバッファであるＣＩＴＳＢ５２を、登録可能な
状態に信号線ｎ２８を通してセットする。

【００３４】ここでまず、ＣＩＴ２０の構成を図３を用
いて説明する。図３はＣＩＴ２０の構成を示す。ＣＩＴ
２０は物理連続に用意され、その中身は先頭からＩＤ＝
０の為のＣＩＴエントリ１０１、ＩＤ＝１の為のＣＩＴ
エントリ１０２というように、ＩＤの順にエントリが並
んでいる。なお、本実施例では、ＩＤは０から２５５ま
で付けられ、さらに各エントリ（図４に示す）は１６バ
イトであることから、ＣＩＴ２０のサイズは４ＫＢとな
る。ＣＩＴ２０は、各ノードあたり１つだけ存在する。

【００３５】ＣＩＴエントリの内容を、図４に示す。有
効ビット１１０はそのエントリが有効かどうかを示す
（有効であれば１）。ＢＣ元ビット１１１、リンクビッ
ト１１２、リンク先ＩＤ１１３については、ブロードキ
ャスト受信側ノードでのみ有効となるため、後述する
（他のケースでは、これらの値は無視される）。通信領
域サイズ１１４と通信領域開始ポイント１１７について
は、後述する。ＡＴアドレス１１５には、本エントリに
対応する通信領域のために用意するアドレス変換情報テ
ーブルＡＴ２１の先頭実アドレスを記録する。ページサ
イズ１１６については、ＡＴ２１によるアドレス変換の
単位を示す。なお、ページサイズ１１６にセットする値
と、ＡＴ２１によるアドレス変換の単位の関係は、表１
に示す通りである。

【００３６】

【表１】

【００３７】ＣＩＴＳＢ５２への登録動作に説明を戻す
と、送信制御部４１は、ＣＷＳＢ５１から得た送信元Ｉ
Ｄ１５３の情報にＣＩＴエントリサイズ（本例では１６
バイト）を掛けた値についてアクセス要求を信号線ｎ２
４を通してＳＣインタフェース部４０に出す。ＳＣイン
タフェース部４０では、ＣＩＴアクセス要求を受ける
と、ＣＩＴの開始アドレスを保持するレジスタＣＩＴＳ
Ｒ４５の値を足し込み、信号線ｎ４、ＳＣ４、信号線ｎ
６を通して、主記憶５中のＣＩＴエントリをアクセスす
る。なお、ＣＩＴＳＲ４５は、システム立ち上げ時にＣ
ＰＵ２がセットしておく。

【００３８】送信制御部４１は、必要とするＣＩＴエン
トリ（ＩＤ＝０に対応するエントリ）が信号線ｎ５、Ｓ
Ｃ４、信号線ｎ３、ＳＣインタフェース部４０、信号線
ｎ３０を通してＣＩＴＳＢ５２まで登録されたことを信
号線ｎ２９を通して認知すると、ＣＷＳＢ５１およびＣ
ＩＴＳＢ５２中の情報に従い、送信データ２３の仮想ア
ドレスを算出し、ＡＴ２１をアクセスしながら送信デー
タ２３を読み出す。以下、このアドレス変換をしながら
データを読み出す動作を説明する。

【００３９】まず、ＣＷＳＢ５１の情報とＣＩＴＳＢ５
２の情報により仮想アドレス上で特定される送信データ
２３を、図９を用いて説明する。図９で示す各パラメー
タの内、通信領域開始ポイント１１７、ページサイズ１
１６、通信領域サイズ１１４は、ＣＩＴＳＢ５２中に登
録された値であり、送信元データオフセット１５５、送
信データ長１５６は、ＣＷＳＢ５１中に登録された値で
ある。図９に示すとおり、送信データ２３の位置を仮想
アドレス中で特定できる。ただし、ＮＩＡが送信データ
２３を読み出すには、これを実アドレスに変換しなけれ
ばならない。この仮想アドレスから実アドレスへ変換す
る際にＡＴ２１を利用する。

【００４０】ＡＴ２１の構成を図５に示す。１つのＡＴ
には、一つの通信領域、例えば通信領域７の実アドレス
データのみが登録される。通信領域７に対するＡＴは、
通信領域７のＩＤ（＝０）により特定されるＣＩＴエン
トリ（図４）中のＡＴアドレス１１５（実アドレスで指
定）により、先頭実アドレスを指定される。ＡＴエント
リは、通信領域を覆うのに必要十分な数を用意する。例
えば、図９に示されるような場合は、４エントリ用意し
なければならない。なお、図５中の各エントリ１３０〜
１３３は、図９中の各ページ１７０〜１７３に対応す
る。また、通信領域は仮想アドレス上で連続な領域であ
るから、ＡＴ２１はハッシュなど使用せずに、ここで示
すように単純な構成の方が効率が良い。

【００４１】ＡＴエントリの構成を図６に示す。有効ビ
ット１４０はそのエントリの有効／無効を示す（１であ
れば有効）。通信領域実アドレス１４１は、エントリが
対応するページの実アドレスを登録する。

【００４２】説明を図２に戻す。送信データ２３を送り
出す上で必要なＡＴエントリの位置情報は、以上のよう
にＣＷＳＢ５１、ＣＩＴＳＢ５２に登録された値から判
定できる。この位置情報を元に、送信制御部４１は信号
線ｎ２４、ＳＣインタフェース部４０、信号線ｎ４、Ｓ
Ｃ４、信号線ｎ６を通して主記憶５上のＡＴ２１に対し
て読み出し要求を出し、得られた値を信号線ｎ５、ＳＣ
４、信号線ｎ３、ＳＣインタフェース部４０、信号線ｎ
３３を通してＡＴＳＢ５３に登録する。

【００４３】送信制御部は、ＡＴエントリ情報のＡＴＳ
Ｂ５３への登録を信号線ｎ３２を通して認知すると、ま
ずＣＷＳＢ５１に登録された情報に基づき、送信パケッ
トのヘッダ生成を信号線ｎ３５を経由して送信部４２に
通知する。パケット構成を図１３に示す。この内、送信
データ２０７を除いた部分をパケットヘッダと呼ぶ。Ｂ
Ｃビット２００は、ブロードキャスト用のパケットかど
うかを示す。この例は1対1転送であるから、ＢＣビット
は２００は０となる。送信先ノード番号２１０には、ノ
ード間ネットワーク１００におけるノード１１のＩＤが
入る。ＢＣ要求ビット２０３には、ブロードキャストを
要求するパケットかどうかが入る（後述する）。送信先
ＩＤ２０４には、送信先の通信領域のＩＤ（ここではＩ
Ｄ＝３）が入る。送信データ長２０５は送信するデータ
の長さ、送信先データオフセット２０６には送信先の書
き込み位置を示すデータが入る（後述する）。以上の部
分がパケットのヘッダである。これらの情報は、全てＣ
ＷＳＢ５１に登録された情報の同名の情報と同一であ
る。

【００４４】次に、送信制御部４１はＣＷＳＢ５１、Ｃ
ＩＴＳＢ５２、ＡＴＳＢ５３に登録された情報を元に、
ＳＣインタフェース部４０、ＳＣ４等を通して主記憶ア
クセスし、送信データを読み出す。読み出したデータは
ＳＣインタフェース部４０から信号線ｎ３４を通して送
信部４２に送られ、図１３中の送信データ２０７を形成
する。なお、送信データ読み出し途中でページ境界を跨
る場合には、一旦送信動作を中断し、ＡＴエントリ情報
をＡＴＳＢ５３に登録し直してから、送信動作を再開す
る。

【００４５】形成された送信パケットは、ノード間ネッ
トワーク１００を通して、ノード１１に転送される。

【００４６】［受信側の動作］受信側ノード１１のＮＩ
Ａ１３の動作は、ノード間ネットワーク１００からパケ
ットを受信した際に始まる。受信側ＮＩＡ１３の動作を
図２を用いて説明する。受信側のＮＩＡ１３は、信号線
１８を通して受信部４４にパケットを受信すると、直ち
にパケットヘッダ情報をＨＤＲＢ５８に登録する。この
登録を受信制御部４３が認知すると、送信側と同様にア
ドレス変換を行い、受信領域３３の実アドレスを特定す
る。送信側でＣＷＳＢ５１に登録した送信元データオフ
セット１５７、送信データ長１５６の情報は、受信側で
はパケットヘッダからＨＤＲＢ５８に登録された情報を
利用する。また、送信側でＣＩＴＳＢ５２に登録された
通信領域開始ポイント１１７、通信領域サイズ１１４、
ページサイズ１１６の情報は、受信側では受信側のＣＩ
Ｔ３０の情報をＣＩＴＲＢ５５に登録して利用する。更
に、送信側でＡＴＳＢ５３に登録したＡＴエントリ情報
は、受信側では受信側のＡＴ３１（ＣＩＴＲＢ５５に登
録した情報からＡＴ３１が特定される）の情報をＡＴＲ
Ｂ５４に登録して使用する（仮想アドレス中における受
信領域の特定手法を図１０に示す）。以上のように、送
信側と同様に受信領域３３の実アドレスが特定し、さら
にその受信領域３３にパケット中の送信データ２０７
を、受信バッファＤＴＲＢ５９、ＳＣインタフェース部
４０、ＳＣ１４を通して書き込む。

【００４７】（２）ブロードキャスト通信 図１に示す送信データ２３を受信領域２４、３３、３４
にブロードキャストする場合の動作を説明する。

【００４８】［送信側の動作］送信側の動作について
は、1対1通信の場合とほとんど変わらない。但し、ＣＰ
Ｕ２が作るＣＷ２２のフォーマットを図７のように変更
する。変更点はＢＣビット１５０を１にし、ブロードキ
ャストの際に利用するカラーの情報をカラー１５１に指
定する。カラー情報を付加することで、カラー毎にブロ
ードキャスト先を設定することができる（特開平５−２
８１２２で開示される技術を利用する）。また、ＢＣ逐
次化ＥＸ番号１５２には、ブロードキャストをシリアラ
イズするネットワーク要素へのＩＤを指定する（特開平
７−２６２１５５で開示される技術を利用する）。ネッ
トワークパケットは、ノード１から出るパケットの形式
が図１１のようになる。このパケットは、ノード１から
ブロードキャストをシリアライズするネットワーク要素
までのパケットであり、シリアライズする要素で図１２
に示すパケットに変換されて、各ノードにブロードキャ
ストされる（特開平７−２６２１５５で開示される技術
を利用する）。

【００４９】［受信側の動作」受信側の動作は、スレッ
ドが１つしか割り当てられていないノード１について
は、1対1通信の場合と同様である。スレッドが複数割り
当てられるノード１１の動作を説明する。なお、本実施
は、１つのノードに２つまでのスレッドを割り付けられ
る方式を示す（後述するリンク先ＩＤ１１３、ＡＴＲＢ
５６、ＣＩＴＲＢ５７を増やすことで、１つのノードに
さらに多くのスレッドを割り付けることは可能であ
る）。

【００５０】最初に複数スレッドを割り付ける際の動作
について説明する。前述の通り、対応する通信領域につ
いても、別のＩＤを付ける必要がある。図１の例では、
スレッド１用通信領域１７とスレッド２用の通信領域１
８とは本来であれば同一のＩＤを付加したいのである
が、別ＩＤを付加せざるを得ない。この場合、スレッド
２用の通信領域１８にＩＤ＝５を付加する際に、ＣＩＴ
３０のＩＤ＝３に対応するエントリにＩＤ＝５へのリン
ク情報を付加する。この方法を図４を用いて説明する。
図４中のリンクビット１１２はリンクの有無を表す（１
ならリンク有り）。リンク先ＩＤ１１３には、リンク先
の番号を表す。この例では、ＩＤ＝３に対応するエント
リのリンク先ＩＤ１１３に、ＩＤ＝５を登録しておく。

【００５１】次に、複数領域に同時にブロードキャスト
データを受信する動作を説明する。ブロードキャスト情
報を受信した際に、ＣＩＴＲＢ５５に登録されたＣＩＴ
３０のエントリ情報のリンクビット１１２を受信制御部
４３はチェックし、これが１である場合には、リンク先
ＩＤ＝５に対応するＣＩＴ情報をＣＩＴＲＢ５７に登録
する。またＨＤＲＢ５８、ＣＩＴＲＢ５７の情報を元
に、ＩＤ＝５に対応するＡＴのエントリをＡＴＲＢ５６
に登録する。

【００５２】なお、ＣＩＴＲＢ５５、５７に登録するデ
ータの内、通信領域サイズは同一でなければエラーとな
る。ＣＩＴはＯＳが設定するので、通常このようなこと
は起こらない。

【００５３】受信制御部４３は、受信部からＤＴＲＢ５
９に蓄積されたデータをまずＡＴＲＢ５４、ＣＩＴＲＢ
５５で指定される受信領域３３に書き込み、次にＡＴＲ
Ｂ５６、ＣＩＴＲＢ５７で指定される受信領域３４に書
き込む動作を行う。なお、ＤＴＲＢ５９に入りきらない
受信データがある場合には、そのデータは受信部４４お
よびノード間ネットワーク１００、送信側ノード１で待
たせる（ウォームホールルーティング前提）。ＤＴＲＢ
５９のデータを受信領域３３、３４双方に書き込み終え
た後に、後続のデータを受信部４４からＤＴＲＢ５９に
登録する。

【００５４】なお、既に述べたとおり、1対1通信の場合
には、ＣＩＴエントリのリンクビット１１２、リンク先
ＩＤ１１３は無視される。

【００５５】

【発明の効果】複数のスレッドが1つのノードに割り当
てられた場合にも、ブロードキャスト機能が利用でき
る。

【図面の簡単な説明】

【図１】本発明のブロードキャスト方式を実装する並列
計算機を表す図。

【図２】本発明のブロードキャスト方式を実装するNIA
(ネットワークインタフェースアダプタ)を表す図。

【図３】本発明におけるCommunication ID Table (CID)
の内容を表す図。

【図４】本発明におけるCommunication ID Tableのエン
トリの内容を表す図。

【図５】本発明におけるAddress translation Table (A
T)の内容を表す図。

【図６】本発明におけるAddress translation Table の
エントリの内容を表す図。

【図７】本発明におけるブロードキャスト用のControl
Word (CW)の内容を表す図。

【図８】本発明における1対1通信用のControl Word (C
W)の内容を表す図。

【図９】本発明における送信用領域の仮想アドレス空間
での位置を表す図。

【図１０】本発明における受信用領域の仮想アドレス空
間での位置を表す図。

【図１１】本発明のネットワークにおけるシリアライズ
クロスバへのブロードキャスト要求パケットを表す図。

【図１２】本発明のネットワークにおけるシリアライズ
クロスバからのブロードキャストパケットを表す図。

【図１３】本発明のネットワークにおける1対1通信パケ
ットを表す図。

【符号の説明】

ｎ１〜ｎ５８…信号線

Claims (12)

【特許請求の範囲】
1. 【請求項１】それぞれがプロセッサと主記憶とを有する
   複数のノードと、1つの該ノードから1つの該ノードへデ
   ータを転送する1対1通信手段と、1つの該ノードから複
   数の該ノードへ同じデータを放送する放送通信手段とを
   有する並列計算機において、 それぞれの該ノードは、該放送通信手段で送られてきた
   データの受信に対応して、所定の場合に上記受信データ
   に対しそのノード内の複数の受信領域を割り当てること
   を特徴とするプロセッサ間データ転送方法。
2. 【請求項２】それぞれがプロセッサと主記憶とを有する
   複数のノードと、1つの該ノードから1つの該ノードへデ
   ータを転送する1対1通信手段と、1つの該ノードから複
   数の該ノードへ同じデータを放送する放送通信手段とを
   有する並列計算機において、 該ノードは、そのノード内の複数の受信領域をリンクす
   るリンク情報を保持する手段を有することを特徴とする
   並列計算機。
3. 【請求項３】請求項２に記載の並列計算機において、上
   記リンク情報を保持する手段は、受信領域を特定する情
   報をエントリとするテーブルであることを特徴とする並
   列計算機。
4. 【請求項４】それぞれがプロセッサと主記憶とを有する
   複数のノードと、1つの該ノードから1つの該ノードへデ
   ータを転送する1対1通信手段と、1つの該ノードから複
   数の該ノードへ同じデータを放送する放送通信手段とを
   有する並列計算機において、 該ノードは、該ノード内の複数の受信領域をそれぞれ別
   な識別子で管理し、各識別子が別な識別子とリンクされ
   ているか否かを示すテーブルを有することを特徴とする
   並列計算機。
5. 【請求項５】それぞれがプロセッサと主記憶とを有する
   複数のノードと、1つの該ノードから1つの該ノードへデ
   ータを転送する1対1通信手段と、1つの該ノードから複
   数の該ノードへ同じデータを放送する放送通信手段とを
   有する並列計算機において、 該ノード内の複数の受信領域をそれぞれ別な識別子で管
   理する手段と、 それぞれが該複数の受信領域毎に設けられた複数のアド
   レス変換テーブルとを有することを特徴とする並列計算
   機。
6. 【請求項６】請求項５に記載の並列計算機において、 該ノードは、該識別子と該アドレス変換テーブルとを結
   合する結合テーブル更に有することを特徴とする並列計
   算機。
7. 【請求項７】請求項６に記載の並列計算機において、 該結合テーブルは、アドレス変換の変換単位の情報を有
   することを特徴とする並列計算機。
8. 【請求項８】請求項２又は３の何れかに記載の並列計算
   機において、 該放送通信手段で送られてきたデータに対して、上記リ
   ンク情報に応じてそのデータにより指定された受信領域
   とその受信領域にリンクされた受信領域とを割り当て、 該1対1通信手段で送られてきたデータに対して、そのデ
   ータにより指定された受信領域を割り当てることを特徴
   とするプロセッサ間データ転送方法。
9. 【請求項９】請求項４記載の並列計算機において、 該放送通信手段で送られてきたデータを受信する際に該
   テーブルを検索するステップと、 該受信データが指定する識別子で管理される受信領域と
   別な識別子で管理されている受信領域とがリンクされて
   いるかを判断するステップとを有することを特徴とする
   プロセッサ間データ転送方法。
10. 【請求項１０】請求項５記載の並列計算機において、 データを受信する際に、受信データが指定する該識別子
    を識別するステップと、 該識別された該識別子に応じて該アドレス変換テーブル
    を特定するステップと、 該特定されたアドレス変換テーブルに従いアドレスを変
    換するステップとを有するプロセッサ間データ転送方
    法。
11. 【請求項１１】請求項６に記載の並列計算機において、 データを受信する際に、受信データが指定する該識別子
    から該結合テーブルを利用して該アドレス変換テーブル
    を特定するステップと、 該アドレス変換テーブルに従いアドレスを変換するステ
    ップとを有するプロセッサ間データ転送方法。
12. 【請求項１２】請求項７に記載の並列計算機において、 データを受信する際に、受信データが指定する該識別子
    から該結合テーブルを利用して該アドレス変換テーブル
    を特定するステップと、 該変換単位を用いて該アドレス変換テーブルを検索する
    ステップとを有するプロセッサ間データ転送方法。