JPH0512230A - 計算機のデータ通信システム - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、構造体データのような可変ワード
数のデータを保持するデータパケットの通信に対して
も、通信データのデッドロックを回避できる計算機のデ
ータ通信システムを提供するものである。 【構成】 本発明のデータ通信システムは、少なくとも
東西南北４系統の通信ポートを備えるプロセッサＰＥを
行方向（即ち東西方向にｎ台）、列方向（即ち南北方向
にｍ台）、合計ｎ×ｍ台行列配置し、各東西方向のプロ
セッサ行を循環的に結合する複数の東西通信線と各南北
方向のプロセッサ列を循環的に結合する複数の南北通信
線とでプロセッサ間のデータ通信を行う計算機のデータ
通信システムであり、各プロセッサは双方向通信、単方
向通信の少なくとも２種類の通信制御モードを備えるも
のである。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、計算機のデータ通信シ
ステム、特に複数のプロセッサ間でデータ通信を行う並
列計算機におけるデータ通信システムに関する。

【０００２】

【従来の技術】近年、半導体技術の進歩に伴い同種のハ
ードウェアを多数並べることが容易になり、要素プロセ
ッサを複数台相互接続して並列に演算処理を行う事がで
きる並列計算機の研究が盛んである。

【０００３】例えば、本出願の発明者は、情報処理学会
第38回（平成元年前期）論文集２Ｔ−２に開示されてい
るように、１チップの要素プロセッサＬＳＩを、最大10
24台接続した大規模データ駆動計算機（Enhanced Data
Driven ENgine）の開発を進めている。このような大規
模データ駆動計算機における要素プロセッサ間の通信は
全て双方向通信となっており、任意の２つのプロセサ間
において、最短距離でのデータ通信を可能としたもので
ある。

【０００４】更に、この種大規模データ駆動計算機にお
けるプロセッサ間通信方式に於て、複数のプロセッサを
接続する通信線が双方向パラレル通信線として、送信、
受信のいずれの方向の通信においても同一の通信リンク
を共通に使用できるようにして、この通信リンクに使用
する信号線の数の削減を図ることが提案されている。

【０００５】前述の並列処理計算機の如く、プロセッサ
間の通信を双方向通信とすることにより、通信効率を向
上できると共に、通信網の一様性を保つことができ、更
にプロセッサ間を接続する通信線を双方向のデータ通信
で共用することにより、要素プロセッサの入出力端子数
を削減できるので、１チップＬＳＩ化が可能になる。

【０００６】このような従来の計算機のデータ通信シス
テムによれば、複数ワードからなる１つのデータパケッ
トがある方向に転送されている時には、このパケットが
複数の要素プロセッサにまたがって存在するという事態
が生じ得る。更に、このデータパケットと逆方向に転送
されている別のデータパケットがやはり複数の要素プロ
セッサにまたがって存在する事態があると、各々のデー
タパケットが、相手のデータパケットの転送を待って停
止してしまい、両方が永久に動けなくなってしまうとい
うデッドロックを生じる原因となる。

【０００７】これを回避するためには各プロセッサに１
パケット分のワード数に相当するデータバッファを持
ち、上述のような、１つのパケットが複数プロセッサに
またがって存在するという事態が生じないようにすれば
よい。即ち、もしデータパケットのワード数が一定であ
れば、そのワード数分のデータバッファを各要素プロセ
ッサに保持すればよい。

【０００８】しかしながら、例えば、１次元配列（ベク
トル）データのようにワード数が非常に多くかつ一定で
ないようなデータ（所謂、構造体データ）を保持する構
造体データパケットを要素プロセッサ間で通信する場合
には、上述のように各プロセッサにデータバッファを保
持するようになしても、結局はこの種デッドロックを回
避することは不可能であった。即ち、構造体データパケ
ットのワード数が各プロセッサのデータバッファの容量
を越えると、やはり１つのデータパケットが複数のプロ
セッサにまたがって存在する事態が生じるのである。

【０００９】

【発明が解決しようとする課題】本発明は上述の点に鑑
みてなされたものであり、構造体データのような可変ワ
ード数のデータを保持するデータパケットの通信に対し
ても、上述のようなデッドロックを回避できる計算機の
データ通信システムを提供するものである。

【００１０】

【課題を解決するための手段】本発明のデータ通信シス
テムは、少なくとも東西南北４系統の通信ポートを備え
るプロセッサを行方向、即ち東西方向にｎ台、列方向即
ち南北方向にｍ台、合計ｎ×ｍ台行列配置し、各東西方
向のプロセッサ行を循環的に結合する複数の東西通信線
と各南北方向のプロセッサ列を循環的に結合する複数の
南北通信線とでプロセッサ間のデータ通信を行う計算機
のデータ通信システムであり、各プロセッサは双方向通
信、単方向通信の少なくとも２種類の通信制御モードを
備えるものである。

【００１１】また、本発明のデータ通信システムは、上
述のシステムに於て、各プロセッサが双方向通信制御モ
ードに設定されている時は、前記各東西通信線における
東から西へのデータ送信及び西から東へのデータ送信、
前記各南北通信線における南から北へのデータ送信及び
北から南へのデータ送信の全てが許可され、各プロセッ
サが単方向通信制御モードに設定されている時は、前記
各東西通信線においては西から東へのデータ送信のみが
許可され、前記各南北通信線においては北から南へのデ
ータ送信のみが許可されるものである。

【００１２】更に詳細には、前記各プロセッサは固有の
プロセッサ番号で識別され、前記通信データは少なくと
もデータの行き先のプロセッサ番号を保持している。そ
して、各プロセッサに前記４系統の通信ポートのいずれ
かを介して前記通信データが到着した時に、該通信デー
タが保持する行き先プロセッサ番号と自身のプロセッサ
番号を比較し、両プロセッサ番号が一致すれば該データ
を自身のプロセッサにおいて処理し、前記両プロセッサ
番号が一致せず、かつ双方向通信制御モードの場合は該
データを前記東西南北４系統の通信ポートのうちのいず
れかに選択的に出力し、前記両プロセッサ番号が一致せ
ず、かつ単方向通信制御モードの場合は、該データを東
通信ポートまたは南通信ポートのいずれかに選択的に出
力するものである また、各プロセッサの内部で他のプ
ロセッサへの通信データが生じた時に、双方向通信制御
モードの場合は、該通信データが保持する行き先プロセ
ッサ番号と自身のプロセッサ番号とに基づいて該データ
を前記東西南北４系統の通信ポートのうちのいずれかに
選択的に出力し、単方向通信制御モードの場合は、該通
信データが保持する行き先プロセッサ番号と自身のプロ
セッサ番号とに基づいて該データを東通信ポートまたは
南通信ポートのいずれかに選択的に出力するものであ
る。

【００１３】

【作用】本発明のデータ通信システムによれば、各プロ
セッサの通信制御モードを変更することにより、双方向
通信に起因するデッドロックをも回避することができ
る。即ち、通信システム上で通信されるデータパケット
群が全て固定ワード数のデータパケットの時は、各プロ
セッサを双方向通信制御モードに設定し、通信されるデ
ータパケット群が可変ワード数のデータパケットを含む
時は、各プロセッサを単方向通信制御モードに設定し、
例えば西から東方向への一方向、北から南方向への一方
向の通信のみによって任意の２つのプロセッサ間のデー
タ通信を行うことのよって、２つのデータパケットが同
一通信線上で互いに逆方向に転送される事態を禁止でき
る。これによって、構造体データなどのワード数が多く
可変であるデータパケットの通信時においても前述のデ
ッドロックを防止でき、データパケットがいかなるデー
タ量を含んでいようとも、デッドロックの発生を皆無に
することが可能となる。

【００１４】

【実施例】図１に本発明実施例としての高並列データ駆
動計算機システムを示し、図２に高並列データ駆動計算
機システムの基本構成要素である要素プロセッサの構成
を示す。

【００１５】まず、図１において、ＰＥは要素プロセッ
サであり、ＮＩＦはネットワークインタフェースであ
る。本実施例では、要素プロセッサ（ＰＥ）がトーラス
状に結合されている。即ち、各々東西南北４系統の通信
ポートを有する複数の要素プロセッサ（ＰＥ）が行列配
置され、各行方向即ち東西方向の要素プロセッサ群、及
び各列方向即ち南北方向の要素プロセッサ群が、それぞ
れ複数の通信リンクによって循環的にリング状に結合さ
れている。また、各行方向のリングにネットワークイン
タフェース（ＮＩＦ）が挿入されている。ネットワーク
インタフェース（ＮＩＦ）にはホストインタフェースが
接続されており、ホストインタフェースには更にホスト
計算機が接続されているこのような構成によって、まず
ホスト計算機からホストインタフェース、ネットワーク
インタフェース（ＮＩＦ）を介してプログラム、及び初
期データがロードされる。各要素プロセッサは、このプ
ログラムに従って、プロセッサ間で相互にデータ通信を
行いながら並列的に演算を行う。図２の要素プロセッサ
（ＰＥ）は、基本的にはプログラム記憶（ＰＳ）、発火
制御・カラー管理部（ＦＣＣＭ）、命令実行ユニット
（ＥＸＥ）及びキューメモリ（Ｑ）が循環パイプライン
（リング）構造に接続された構成としている。プログラ
ム記憶（ＰＳ）はノード番号の更新、定数付与及び結果
のコピーを行う。発火制御・カラー管理部（ＦＣＣＭ）
は、２段階の待ち合わせ記憶方式で発火制御及びカラー
の獲得・解放の管理を行う命令実行ユニット（ＥＸＥ）
は、浮動小数点演算整数演算、条件判定、分岐、簡易定
数発生などの命令及びそれらの複合命令を実行する。

【００１６】キューメモリ（Ｑ）はリング状でのあらゆ
るデータ流変動を吸収する緩衝記憶である。緩衝記憶が
必要となるのは、コピー、リングへの強制的入力、
リングからの出力遅延、ＦＣＣＭにおける待ちリス
トのサーチ、などが生じたときである。本要素プロセッ
サ（ＰＥ）にはキュー（Ｑ）のデータ滞在量に応じて
〜の動作モードを動的に変更する機能を付加し、これ
によって並列度の制御を行う。また、キュー（Ｑ）がや
むなくオーバーフローしたときには外部データメモリ
（ＥＤＭ）上に外部キューを形成してこれを吸収し、プ
ログラム実行の継続を図る。

【００１７】ネットワーク制御部（ＮＣ）は、東西南北
４系統の通信ポ−ト（１）（２）（３）（４）を保持
し、最大１０２４プロセッサ（ＰＥ）のトーラス結合網
に基づくルーティング制御を行う。また、自身に向けて
到着したデータパケットを、巡回パイプライン部に向け
て入力するための入力ポート（５）及び巡回パイプライ
ンからのデータパケットをネットワーク制御部に出力す
るための出力ポート（６）を備える。

【００１８】ベクトル演算制御ユニット（ＶＣ）は、ベ
クトル演算関連命令、及び通常のメモリアクセス命令の
実行制御を行う。ベクトル演算制御ユニット（ＶＣ）と
入力制御部（ＩＣ）の間には、ベクトルデータを入力す
るためのベクトル入力バス（７を備えている。また、ベ
クトル演算制御ユニット（ＶＣ）と入力制御部（ＩＣ）
の間には、ベクトルデータを出力するためのベクトル出
力バス（８を備えている。

【００１９】上述の構成のデータ駆動計算機において、
プロセッサ間通信に用いられる通信データパケットの構
成を図４に示す。通信データパケットには大別して、図
４（ａ）に示すスカラパケットと、図４（ｂ）に示す構
造体パケットがある。

【００２０】図４においてＰＥ−Ｘ、ＰＥ−Ｙはそれぞ
れ行き先ＰＥの列番号、行番号である。ＣＴＬはカラ
ー、あるいはロードダンプ先を示すコードなどの制御情
報である。ＯＴは、プロセッサ結合網の外部行きのパケ
ットを識別する外部フラグである。ＮＯＤＥ番号はデー
タフローグラフにおいて命令を識別するためのノード番
号である。ＤＡＴＡはデータ値であり、スカラパケット
では３２ビットの単一データを上位、下位に分けて保持
し、構造体パケットでは複数即ちｎワードの３２ビット
データを保持する。各ワードの上位２ビットによって、
パケットのヘッダ、テイル、及びそれ以外のワードを識
別できる。また、最上位のフラグは１ワード毎に値が反
転することによりデータの存在を示す転送制御ビットの
役割をも果たす。

【００２１】また、パイプラインリング上の入力制御部
（ＩＣ）には、自身のプロセッサ番号を格納しておくた
めのプロセッサ番号レジスタを備えている。図５にプロ
セッサ番号レジスタの構成を示す。ＰＥ−Ｘは東西方向
のプロセッサ番号（列番号）であり、ＰＥ−Ｙは南北方
向のプロセッサ番号（行番号）である。両者を合わせて
各プロセッサを固有に識別するプロセッサ番号となる。

【００２２】図５に示すPEACTと称するフラグビット
は、プロセッサ番号が既に設定されているかどうかを示
すフラグである。PEACTフラグは、システムの初期化信
号（ハードウェアリセット）に応じて ”０”になる。

【００２３】通信制御部（ＮＣ）は、図４ (ａ）及び
(ｂ)の如きパケットを通信ポートを介して受け取る。
PEACT＝０の時は、通信制御部は東西南北あらゆるポー
トから入力される全てのデータパケットを、自身へのデ
ータパケットとみなしてパイプラインリングに入力して
処理を行う。PEACT＝１の時に、プロセッサ番号レジス
タへのデータをロードするパケットが到着すると、通信
制御部はこれを入力制御部（ＩＣ）に入力し、ここでプ
ロセッサ番号レジスタに所定のプロセッサ番号がロード
されるとともに、PEACTフラグが ”１”にセットされ
る。

【００２４】PEACT＝１の時、通信制御部は到着したパ
ケットを所定のアルゴリズムに従って、いずれかの通信
ポートに出力するか、パイプラインリングに入力するか
を判定する。

【００２５】また、ＯＴ＝１のパケットが到着した時
は、通信制御部はこれがネットワークインタフェース
（ＮＩＦ）を経てプロセッサ結合網外部へ転送されるよ
うに通信制御を行う。

【００２６】また、図示はしないが、本実施例の各要素
プロセッサには外部より、プロセッサ間通信時のデータ
通信の方向を双方向モードにするか単方向モードにする
かを区別するモード信号ＴＡＮが入力される。

【００２７】本発明の主たる特長は、上述の如くＴＡＮ
信号に従って、プロセッサ間通信が双方向的に行われる
モードとプロセッサ間通信が単方向的に行われるモード
を切り替えることができる点にある。

【００２８】これを説明するために通信制御部の動作に
ついてさらに詳細に説明する。図３に通信制御部の構成
を模式的に示す。同図において、(RWI)及び(RWO)は、西
入出力ポートを構成する自己同期式の入力シフトレジス
タであり、同様に(REI)(REO)は東入出力ポートを、(RN
I)(RNO)は北入出力ポートを、(RSI)(RSO)は南入出力ポ
ートを構成している。また、○は合流回路、◎は分岐回
路を示している。

【００２９】図３を用いて通信制御部におけるルーティ
ングアルゴリズムについて説明する。Ｍ１〜Ｍ５は、そ
れぞれパケットの合流回路であり、図の数字に示したよ
うな優先度でパケットを合流させる(１が最優先)。Ｒ１
〜Ｒ５は、それぞれパケットの分岐回路であり、以下の
ようなアルゴリズムで処理を行う。

【００３０】１．自分のプロセッサ番号（行番号、列番
号）＝（ｘ，ｙ），パケットの行き先プロセッサ番号＝
（Ｘ，Ｙ）とし、ネットワークの配列サイズ＝ｐ×ｑ
（ｐ行ｑ列）とし、 Δｘ≡（Ｘ−ｘ）mod ｑ ，｜Δｘ｜≦ｑ／２ Δｙ≡（Ｙ−ｙ）mod ｐ ，｜Δｙ｜≦ｐ／２ とする。（mod は、モジュロ演算を示す。） ２．プロセッサ番号は、ＮからＳの方向に順にｙ＝０、
１、２、・・・ｐ ＷからＥの方向に順にｘ＝０、１、２、・・・ｑ とする。

【００３１】３．ＯＴは、パケットのＯＴビットの値を
意味し、ＯＴ＝１はプロセッサ結合網の外部行きパケッ
トであることを示す。

【００３２】以下に分岐回路における処理を述べる。 １．ＰＥＡＣＴ＝０の時 Ｗ，Ｅ，Ｎ，Ｓいずれから来たパケットもＰへ入力す
る。 ２．ＰＥＡＣＴ＝１の時 （１）Ｒ３：Δｘ＝０かつΔｙ＞０ならばＳへ出力。

【００３３】 Δｘ＝０かつΔｙ＜０かつＴＡＮ＝１ならばＳへ出力。

【００３４】 Δｘ＝０かつΔｙ＜０かつＴＡＮ＝０ならばＮへ出力。

【００３５】 Δｘ＝０かつΔｙ＝０かつＯＴ＝０ならばＰヘ入力。

【００３６】それ以外は、Ｅへ出力。 （２）Ｒ２：Δｘ＝０かつΔｙ＞０ならばＳへ出力。

【００３７】 Δｘ＝０かつΔｙ＜０かつＴＡＮ＝１ならばＳへ出力。

【００３８】 Δｘ＝０かつΔｙ＜０かつＴＡＮ＝０ならばＮへ出力。

【００３９】 Δｘ＝０かつΔｙ＝０かつＯＴ＝０ならばＰヘ入力。

【００４０】それ以外は、Ｗへ出力。 （３）Ｒ１：Δｙ＝０かつＯＴ＝０ならばＰへ入力。

【００４１】 Δｙ＝０かつＯＴ＝１ならばＥヘ出力。

【００４２】それ以外は、Ｓへ出力。 （４）Ｒ４：Δｙ＝０かつＯＴ＝０ならばＰへ入力。

【００４３】 Δｙ＝０かつＯＴ＝１ならばＥヘ出力。

【００４４】それ以外は、Ｎへ出力。 （５）Ｒ５：Δｘ＝０かつΔｙ＞０ならばＳへ出力。

【００４５】 Δｘ＝０かつΔｙ＜０かつＴＡＮ＝１ならばＳへ出力。

【００４６】 Δｘ＝０かつΔｙ＜０かつＴＡＮ＝０ならばＮへ出力。

【００４７】 Δｘ＜０かつＴＡＮ＝０ならばＷヘ出力。

【００４８】それ以外は、Ｅへ出力。

【００４９】以上がルーティングアルゴリズムの詳細で
あるが、これに限られるものではない。

【００５０】以上の説明からわかるように、プロセッサ
間で通信されるパケットは、ＰＥＡＣＴ＝１のとき、列
番号が一致するまで東西（Ｅ⇔Ｗ）方向の通信線上を転
送され、列番号が一致したところで、南北(Ｓ⇔Ｎ）方
向の通信線上に移り、更に行番号が一致するまで南北通
信線上を転送されて目的のプロセッサに到達する。

【００５１】更にこのようなプロセッサ間通信は、ＴＡ
Ｎ＝０の時は東から西、西から東、南から北、北から南
の全ての方向のデータ送信によって行われるがＴＡＮ＝
１の時は東から西へのデータ送信、南から北へのデータ
送信は禁止されて、単方向のデータ送信のみによってプ
ロセッサ間通信が行われる用になっている。

【００５２】以上の説明から、本発明のデータ通信シス
テムによって、双方向通信に起因するデッドロックをも
回避することができることがわかる。即ち、通信システ
ム上で通信されるデータパケット群が全て固定ワード数
のデータパケットの時は、各プロセッサを双方向通信制
御モード（ＴＡＮ＝０）に設定し、通信されるデータパ
ケット群が可変ワード数のデータパケットを含む時は、
各プロセッサを単方向通信制御モード（ＴＡＮ＝１）に
設定し西から東方向、北から南方向の通信のみによって
任意の２つのプロセッサ間のデータ通信を行うことのよ
って、２つのデータパケットが同一通信線上で互いに逆
方向に転送される事態を防止できる。

【００５３】

【発明の効果】以上の説明から明らかなように、本発明
によって構造体データなどのワード数が多く可変である
データパケットの通信時においてもデッドロックを防止
でき、データパケットがいかなるデータ量を含んでいよ
うとも、デッドロックを生じない高機能なデータ通信シ
ステムを実現できる。

【図面の簡単な説明】

【図１】本発明の並列処理計算機を示す構成図、

【図２】本発明の並列処理計算機の基本構成要素である
要素プロセッサを示す構成図、

【図３】本発明の要素プロセッサ要部を示す模式図、

【図４】データパケットの構成図、

【図５】本発明の要素プロセッサ内部のプロセッサ番号
レジスタの構成図。

【符号の説明】

ＰＥ 要素プロセッサ、 ＮＩＦ ネットワークインタフェース、 ＮＣ 通信制御部、 ＰＳ プログラム記憶部、 ＥＸＥ 命令実行部。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 少なくとも東西南北４系統の通信ポート
   を備えるプロセッサを、行方向即ち東西方向にｎ台、列
   方向即ち南北方向にｍ台、合計ｎ×ｍ台行列配置し、各
   東西方向のプロセッサ行を循環的に結合する複数の東西
   通信線と各南北方向のプロセッサ列を循環的に結合する
   複数の南北通信線とでプロセッサ間のデータ通信を行う
   計算機のデータ通信システムにおいて、 各プロセッサは双方向通信、単方向通信の少なくとも２
   種類の通信制御モードを有しており、各プロセッサが双
   方向通信制御モードに設定されている時は、前記各東西
   通信線に於ける東から西へのデータ送信及び西から東へ
   のデータ送信、前記各南北通信線に於ける南から北への
   データ送信及び北から南へのデータ送信の全てを許可
   し、一方、各プロセッサが単方向通信制御モードに設定
   されている時は、前記各東西通信線においては西から東
   へのデータ送信のみを許可すると共に前記各南北通信線
   においては北から南へのデータ送信のみを許可すること
   により、通信制御モードに応じて通信データの流れを制
   御可能とした計算機のデータ通信システム。
2. 【請求項２】 前記各プロセッサは固有のプロセッサ番
   号で識別され、前記通信データは少なくともデータの行
   き先のプロセッサ番号を保持しており、 各プロセッサに前記４系統の通信ポートのいずれかを介
   して前記通信データが到着した時、該通信データが保持
   する行き先プロセッサ番号と自身のプロセッサ番号を比
   較し、両プロセッサ番号が一致すれば該データを自身の
   プロセッサにおいて処理し、前記両プロセッサ番号が一
   致せず、かつ双方向通信制御モードの場合は、該データ
   を前記東西南北４系統の通信ポートのうちのいずれかに
   選択的に出力し、前記両プロセッサ番号が一致せず、か
   つ単方向通信制御モードの場合は、該データを東通信ポ
   ートまたは南通信ポートのいずれかに選択的に出力し、 各プロセッサの内部で他のプロセッサへの通信データが
   生じた時、双方向通信制御モードの場合は、該通信デー
   タが保持する行き先プロセッサ番号と自身のプロセッサ
   番号とに基づいて該データを前記東西南北４系統の通信
   ポートのうちのいずれかに選択的に出力し、単方向通信
   制御モードの場合は、該通信データが保持する行き先プ
   ロセッサ番号と自身のプロセッサ番号とに基づいて該デ
   ータを東通信ポートまたは南通信ポートのいずれかに選
   択的に出力することを特徴となす請求項１記載の計算機
   のデータ通信システム。