JP2869101B2 - 並列計算機のデータ通信システム - Google Patents

Description

【発明の詳細な説明】 （イ） 産業上の利用分野 本発明は、計算機のデータ通信システム、特に複数の
プロセッサ間で、各プロセッサに与えられたプロセッサ
番号に従って、データの送受信を行なう並列計算機にお
けるデータ通信システムに関する。

（ロ） 従来の技術 近年、実用的な並列処理計算機の実現に向けて研究が
進められており、特に、半導体技術の進歩に伴い、通信
制御部とデータ処理部をあわせたものを、１チップの要
素プロセッサLSIとして実現し、この要素プロセッサLSI
を多数個接続して、並列処理プロセッサを実現する研究
が多く見られる。

本願発明者は、情報処理学会第38回（平成元年前期）
論文集2T−２に開示されているように、１チップの要素
プロセッサLSIを、最大1024台接続した大規模並列デー
タ駆動計算機EDDEN（Enhanced Data Driven ENgine）の
開発を進めている。EDDENでは、プロセッサ群を行列配
置して隣接プロセッサ間を通信線で結合し、通信データ
を行き先のプロセッサに向けて最短距離で転送すること
を目標にしている。

一般に上述のような並列計算機においては、行方向の
プロセッサ数、及び列方向のプロセッサ数は、並列計算
機のシステム設計の段階に決定されて固定となっている
ため、プロセッサ台数、即ち並列計算機システムの規模
を変更する際には、プロセッサ通信の制御回路等を再設
計して、製造をやり直さねばならなかった。また、プロ
セッサ群を単に２次元格子状に結合するか、あるいはED
DENのように循環的な信号線を設けていわゆるトーラス
状に結合するかの選択も設計時になされており、プロセ
ッサの製造が終了すると、もはや容易に変更することは
できなかった。

一方、並列処理の適応分野は広く、各種の応用や、許
容できる計算コストに適したシステム規模や結合網の形
態が要求される。しかし、このようにシステム規模や結
合網を変更するたびにハードウェアを再開発することは
大きなオーバヘッドとなる。

（ハ） 発明が解決しようとする課題 本発明は上述の点に鑑みてなされたものであって、結
合網のサイズを容易に変更できる並列計算機のデータ通
信システムを提供することである。更に本発明は、結合
網の構成を容易に変更することのできる並列計算機のデ
ータ通信システムを提供することである。

（ニ） 課題を解決するための手段 本発明のデータ通信システムにおいては、並列計算機
の各要素プロセッサは、隣接プロセッサとの結合のため
に複数の通信ポートを備えており、各プロセッサは固有
のプロセッサ番号で識別される。通信データには、デー
タの行き先のプロセッサ番号が付加されている。また、
各プロセッサには外部より結合網の行列サイズと、結合
網がトーラス状か２次元格子状かを指定するネットワー
クモード信号が入力される。行列サイズは、行方向のプ
ロセッサ数を規定する行方向サイズと列方向のプロセッ
サ数を規定する列方向サイズから構成される。また、前
記プロセッサ番号はｎビットの行方向番号とｍビットの
列方向番号から構成される。前記各プロセッサの通信制
御部に前記通信データが到着した時、該通信制御部にお
いて行き先のプロセッサの行番号と自身のプロセッサの
行番号の差、及び行き先のプロセッサの列番号と自身の
プロセッサの列番号の差を算出し、更に行方向サイズ及
びネットワークモードに応じて行番号の差の値ｎビット
うちの１ビットを符号ビットとして選択的に出力し、列
方向サイズ及びネットワークモードに応じて列番号の差
の値ｍビットうちの１ビットを符号ビットとして選択的
に出力する。

斯して生成された差の値がゼロであるか否か、あるい
は符号ビットが正を示すか負を示すかに応じて、通信デ
ータを隣接する複数のプロセッサおよび自身のプロセッ
サのうちのいずれかに向けて選択的に出力する。

（ホ） 作用 本発明のデータ通信システムは、通信データが保持す
る行き先プロセッサ番号と自身のプロセッサ番号の差が
正であるか負であるかゼロであるかに応じて通信データ
を隣接する複数のプロセッサおよび自身のプロセッサの
データ処理部のうちのいずれかに向けて選択的に出力す
る。この時、予め指定された結合網のサイズ及びネット
ワークモードに応じて、差の値のうちのどのビットを符
号ビットとするかを可変にできる。従って、システムの
規模に応じて、行方向のプロセッサ数、列方向のプロセ
ッサ数を予め設定し、更に結合網がトーラス状であるか
２次元格子状であるかを予め設定してやれば、設定した
値に応じて、常に通信データを最短経路で行き先プロセ
ッサに向けて転送することができる。従って、ハードウ
ェアの再開発を必要とせずに、システムの規模および、
結合網の形態を容易に変更できるデータ通信システムを
実現できる。

（ヘ） 実施例 第１図に本発明実施例としての高並列データ駆動計算
機のシステムを示し、第２図に要素プロセッサの構成を
示す。

まず第２図の要素プロセッサ（PE）は、基本的にはプ
ログラム記憶（PS）、発火制御・カラー管理部（FCC
M）、命令実行部（EXE）、及びキューメモリ（Ｑ）が巡
回パイプライン（リング）構造に接続された構成であ
る。

プログラム記憶（PS）はノード番号の更新、定数付
与、及び結果のコピーを行う。発火制御・カラー管理部
（FCCM）は、左右オペランドの待ち合わせ及びカラーの
獲得・解放の管理を行なう。命令実行部（EXE）は、浮
動小数点・整数演算、条件判定、分岐などの命令を実行
する。キュー（Ｑ）は、リング上でのあらゆるデータ流
変動を吸収する緩衝記憶である。

ベクトル演算制御部（VC）は、ベクトル演算関連命
令、及び外部データメモリアクセス命令の実行制御を行
う。外部データメモリ（EDM）は、構造体、ベクトルデ
ータ等を格納するメモリである。

通信制御部（NC）は、東西南北４系統の通信ポートを
備え、最大1024プロセッサ（PE）のトーラス結合網に基
づくルーティング制御を行う。入力制御部（IC）は、通
信制御部からリングへのデータパケットの入力処理を行
う。出力制御部（OC）は、リングから通信制御部へのデ
ータパケットの出力処理を行う。ベクトル演算制御部
（VC）と、入力制御部（IC）及び出力制御部（OC）の間
には構造体（ベクトル）データ通信用のバイパス線を備
えている。

斯様な要素プロセッサ（PE）を多数用いたEDDENの基
本的な構成は第１図に示すようにｎ×ｎ台の要素プロセ
ッサをトーラス結合網で接続することを基本とする。該
トーラス結合網とは、多数のプロセッサを行列配置し、
各縦方向のプロセッサ群を循環的に結合する複数の縦通
信線と各横方向のプロセッサ群を循環的に結合する複数
の横通信線とで任意のプロセッサ間のデータ通信を可能
としたものである。

本実施例システムでは、ネットワークと外部とのデー
タのやりとりは、ネットワークインタフェース（NIF）
を挿入して行う。

上述の構成のデータ駆動計算機で用いられるデータパ
ケットには、大別してプログラム実行に使用する実行パ
ケットとプログラム実行以外に使用する非実行パケット
があり、第４図（ａ）〜（ｅ）にその実例を示してい
る。パケット形式は、構造体データを保持したパケット
以外は固定長とし、プロセサ（PE）内のパイプラインリ
ング上では33ビット×２語、ネットワーク上（通信制御
部）においては18ビット×４語構成である。以下に、第
４図のパケットフォーマットにおける各フィールドの内
容について説明する。

HD（1bit）:2語パケットの際の１語目（ヘッダ）と２
語目（テイル）の識別子。ヘッダの時“1" EX（1bit）：パイプラインリングから通信制御部へ向
けて出力すべきパケットを識別するフラグ。

MODE（2bit）：実行パケット、非実行パケット等のパ
ケットの種類を識別する識別コード。

Ｓ−CODE:MODEと合わせてパケットに対する処理を規
定する識別コード。

OPCODE−Ｍ（5bit）及びOPCODE−Ｓ（6bit）：命令の
種類を識別する命令コード。

NODE＃（11bit）：データフローグラフのノード番
号。

COLOR（4bit）：カラー。サブルーチンコールによる
プログラム共用など、同一データフローグラフを多重実
行する際に環境を識別するための識別番号。

DATA（32bit）：整数、浮動小数点数などの数値デー
タ。

HT（1bit）：ネットワーク上のパケットでヘッダ、テ
イルとその中間の語とを識別するフラグ。RQ（1bit）：
ネットワーク上を転送されるパケットに付加するフラグ
で、ネットワーク上でデータが１語転送されるたびに値
が反転するため、語の存在を認識できる。更に、値が反
転することが、パケットを前方へ転送するための転送要
求信号となる。また、HTフラグと合わせて、ヘッダとテ
イルとを識別できる。

ADDRESS（16bit）：各メモリのロード／ダンプなどの
際に、メモリアドレスを格納する。

また、パイプラインリング上の入力制御部（IC）に
は、自身のプロセッサ番号を格納しておくためのプロセ
ッサ番号レジスタを備えている。第６図にプロセッサ番
号レジスタの構成を示す。PE番号Ｘは横方向（東西方
向）のPE番号（列番号）であり、PE番号Ｙは縦方向（南
北方向）のPE番号（行番号）である。両者を合わせて各
プロセッサを固有に識別するプロセッサ番号となる。

第６図に示すPEACTと称するフラグビットは、プロセ
ッサ番号が既に設定されているかどうかを示すフラグで
あり、設定されていなければ“0"であり、設定された時
に“1"となる。

通信制御部（NC）は、第４図（ｃ）及び同図（ｅ）の
如きパケットを通信ポートを介して受けとる。

第５図に、MODEによって識別されるパケットの種類を
示す。同図に示すように、MODE＝00を保持したパケット
は、ホスト計算機へ向けて出力される結果パケットとし
て識別される。

また、第１図に示すように、各プロセッサには外部よ
り行方向のネットワークサイズSIZE−Ｘ、列方向のネッ
トワークサイズSIZE−Ｙ、及びネットワークモード信号
NMCが入力されている。

通信制御部の動作についてさらに詳細に説明する。第
３図に通信制御部（NC）の構成を模式的に示す。同図に
於て、（RWI）及び（RWO）は、西（Ｗ）入出力ポートを
構成する自己同期式の入力シフトレジスタ及び出力シフ
トレジスタであり、４段の18ビットレジスタからなる。
同様に（REI）（REO）は東（Ｅ）入出力ポート、（RN
I）（RNO）は北（Ｎ）入出力ポート、（RSI）（RSO）は
南（Ｓ）入出力ポートを構成している。また、○は合流
回路、◎は分岐回路を示している。

第３図を用いて、通信制御部におけるルーティングア
ルゴリズムについて説明する。Μ１〜Μ５はそれぞれパ
ケットの合流回路であり、同図に示した番号の順に優先
度をつけて、到着したパケットを合流させる（番号１が
最も優先度が高い）。

R1〜R5はそれぞれパケットの分岐回路であり、以下の
ようなアルゴリズムで処理を行う。

I.自分のプロセッサ番号（行番号、列番号）を（y,
x）、パケットの行き先プロセッサ番号を（Y,X）とし、 Δｘ＝Ｘ−x,Δｙ＝Ｙ−ｙを算出する。

更に外部から与えられたネットワークサイズ（SIZE−
X,SIZE−Ｙ）及びネットワークモード（NMC）をもとに
Δｘ、Δｙの正負の符号を判定する。

II.プロセッサ番号は、ＮからＳの方向に順に ｙ＝０、１、２、・・・ｐ ＷからＥの方向に順に ｘ＝０、１、２、・・・ｑとする。

III.MODEはパケットのMODEフィールドの値を意味し、MO
DE＝00はホスト計算機行きのパケットであることを意味
する。

以上の条件で以下の分岐動作を行う。

（１）R1: MODE≠00かつ（PEACT＝０またはΔｙ＝０）の時、パ
ケットをＰへ出力。

MODE＝00かつPEACT＝１かつΔｙ＝０の時、パケット
をＥに出力。

上記以外の時、パケットをＳへ出力。

（２）R2: MODE≠00かつ（PEACT＝０または（Δｘ＝０かつΔｙ
＝０））の時、パケットをＰへ出力。

PEACT＝１かつΔｘ＝０かつΔｙ＞０の時、パケット
をＳへ出力。

PEACT＝１かつΔｘ＝０かつΔｙ＜０の時、パケット
をＮへ出力。

上記以外の時、パケットをＷへ出力。

（３）R3: MODE≠０かつ（PEACT＝０または（Δｘ＝０かつΔｙ
＝０））の時、パケットをＰへ出力。

PEACT＝１かつΔｘ＝０かつΔｙ＞０の時、パケット
をＳへ出力。

PEACT＝１かつΔｘ＝０かつΔｙ＜０の時、パケット
をＮへ出力。

上記以外の時、パケットをＥへ出力。

（４）R4: MODE≠00かつ（PEACT0またはΔｙ＝０）の時、パケッ
トをＰへ出力。

MODE＝00かつPEACT＝１かつΔｙ＝０の時、パケット
をＥへ出力。

上記以外の時、パケットをＮへ出力。

（５）R5: Δｘ＝０かつΔｙ＞０の時、パケットをＳへ出力。

Δｘ＝０かつΔｙ＜０の時、パケットをＮへ出力。

Δｘ＜０の時、パケットをＷへ出力。

上記以外の時、パケットをＥへ出力。

以上の説明からわかるように、PEACT＝１のノーマル
動作モードにおいては、各プロセッサ通信制御部は、パ
ケットの行き先＝（Y,X）、各プロセッサのプロセッサ
番号＝（y,x）の時、Ｘ＝ｘでない限り、パケットをＷ
からＥへ、あるいはＥからＷへ転送する。Ｘ＝ｘであれ
ば、Ｙ＝ｙでない限りパケットをＮからＳへ、あるいは
ＳからＮへ転送する。さらに、ＷまたはＥのポートから
ＮまたはＳのポートにパケットを転送する時、あるいは
パイプラインリング内部からＷ、Ｅ、Ｎ、Ｓのいずれか
のポートにパケットを転送する時には、常にプロセッサ
間距離が小さくなる方向が選択されることになり、最短
距離でのパケット通信制御機能（セルフルーティング機
能）が実現される。

さらに、パケットが行き先のプロセッサに到着し、Δ
ｘ＝Δｙ＝０が検出されると、MODE≠00ならば行き先プ
ロセッサのパイプラインリングに入力されて処理され、
MODE＝00のホスト計算機行きのパケットであればパイプ
ラインリングには入力せずに特定の通信ポートに（Ｅに
到着したパケット以外は全てＥポートに）出力する。

以上はルーティングアルゴリズムの一例であるが、こ
れに限られるものではない。

本発明のデータ通信システムの主たる特徴は、上記の
分岐回路R1〜R5に於て、外部から入力されているネット
ワークサイズ（SIZE−Ｘ、SIZE−Ｙ）及びネットワーク
モード信号（NMC）に応じて前記Δｘ及びΔｙの正負を
決定することにより、システム規模やネットワーク構成
を可変にできる点にある。

第７図（ａ）及び同図（ｂ）にネットワークサイズSI
ZE−Ｘ、及びSIZE−Ｙの意味を示し、更に同図（ｃ）に
ネットワークモード信号NMCの意味を示す。更に、第８
図には第７図の各信号の意味条件に応じてΔｘ、Δｙの
符号ビット等を生成する分岐条件生成回路の構成の一例
を示す。

第８図は、Ａポートに入力されるパケットの行き先＝
（Y,X）からＢポートに入力される各プロセッサのプロ
セッサ番号＝（y,x）を減じる減算器（SUB）と、この減
算器（SUB）のＡ−Ｂポートから出力される減算結果か
らパケットが行き先のプロセッサに到着したこと（Δｘ
＝Δｙ＝０）を検出するためのNOR回路と、第７図
（ａ）のSIZE−Ｘ、同図（ｂ）のSIZE−Ｙ、及び同図
（ｃ）のNMCに従って、減算器（SUB）のＡ−Ｂポートか
ら出力される減算結果を出力するマルチプレクサ（MP
X）とを備えている。このマルチプレクサ（MPX）として
は、８入力［I0〜I7］の１出力［Ｚ］を、３ビット制御
コードで選択できる市販のLSIが使用できる。

これら第７図の信号条件、及び第８図の分岐条件生成
回路の構成から明らかなように、信号NMCが２次元格子
状モードの時、上記マルチプレクサ（MPX）は、Δｘ、
Δｙの符号ビットとして常に差の最上位ビット、即ち２
の補数演算における本来の符号ビットを選択する。

一方、この信号NMCがトーラスモードの時、マルチプ
レクサ（MPX）はΔｘ、Δｙの符号ビットとして、サイ
ズが大きい程上位のビットを選択することになる。

以上のような制御によって、第１図のトーラス結合採
用時における行方向列方向プロセッサ数ｎ、ｍを１、
２、４、８、16、32・・・と可変にできるとともに、第
１図における両端のプロセッサを結合する循環的通信線
を取り除き、本通信システムを２次元格子状に構成する
場合でも常に最短経路でのデータ通信が可能になる。

（ト） 発明の効果 以上の説明から明らかなように、本発明によれば、ハ
ードウェアの再製作を必要とせずに、プロセッサ間ネッ
トワーク（結合網）のサイズ及び結合網の構成変更に容
易に対応できるデータ通信システムを実現できる。

【図面の簡単な説明】

第１図は本発明のデータ通信システムを示すシステム
図、第２図は本発明のプロセッサの概略構成を示すブロ
ック図、第３図は本発明のプロセッサの要部の模式図、
第４図（ａ）乃至（ｅ）はパケットの構成図、第５図は
パケットの識別コードの一部を示す対応図、第６図は本
発明のプロセッサ内部のプロセッサ番号レジスタの構成
図、第７図（ａ）乃至（ｃ）は本発明のデータ通信シス
テムに与えられる制御信号の意味を示す対応表図、第８
図は本発明のデータ通信システムにおける通信制御回路
の一部分の構成図である。 （PE）……プロセッサ、（PS）……プログラム記憶部、
（EXE）……命令実行部、（NC）……通信制御部、（NI
F）……ネットワークインタフェイス、（R1）〜（R5）
……分岐回路、（SUB）……減算器、（MPX）……マルチ
プレクサ。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】複数のプロセッサを行列配置し、各縦方向
   のプロセッサ列を結合する複数の縦通信線と、各横方向
   のプロセッサ行を結合する複数の横通信線とでプロセッ
   サ間のデータ通信を行う並列計算機のデータ通信システ
   ムであって、 前記各プロセッサには、通信制御部の動作モードを規定
   するネットワークモード信号が予め外部より与えられ、
   前記各プロセッサの通信制御部において前記行方向およ
   び列方向のプロセッサ番号の差の符号ビットを生成する
   際に、該ネットワークモードが循環的結合モードを示し
   ていれば、前記行方向サイズに応じて前記行番号の差の
   値ｎビットうちの１ビットを行方向差の符号ビットとし
   て選択的に出力し、更に前記列方向サイズに応じて前記
   列番号の差の値ｍビットうちの１ビットを列方向の差の
   符号ビットとして選択的に出力し、該ネットワークモー
   ドが２次元結合モードを示していれば行方向、列方向の
   差の符号ビットとして差の値の最上位ビットを固定的に
   出力して経路選択を行うことにより、 各縦方向のプロセッサ群の両端のプロセッサを結合する
   通信線及び各横方向のプロセッサ群の両端のプロセッサ
   を結合する通信線を設けてプロセッサ群を循環的に結合
   した場合にも、該両端のプロセッサを結合する通信線を
   設けずにプロセッサ群を２次元格子状に結合した場合に
   も、前記通信データを行き先のプロセッサまで最短経路
   で転送できることを特徴となす並列計算機のデータ通信
   システム。