JP2840295B2

JP2840295B2 - 計算機のデータ通信システム

Info

Publication number: JP2840295B2
Application number: JP1153277A
Authority: JP
Inventors: 宏喜三浦
Original assignee: Sanyo Denki Co Ltd
Current assignee: Sanyo Denki Co Ltd
Priority date: 1989-06-15
Filing date: 1989-06-15
Publication date: 1998-12-24
Anticipated expiration: 2013-12-24
Also published as: JPH0318957A

Description

【発明の詳細な説明】（イ）産業上の利用分野本発明は、計算機のデータ通信システム、特に複数の
プロセッサ間で、各プロセッサに与えられたプロセッサ
番号に従って、データの送受信を行なう並列処理計算機
におけるデータ通信システムに関する。

（ロ）従来の技術近年、実用的な並列処理計算機の実現に向けて研究が
進められており、特に、半導体技術の進歩に伴い、通信
制御部とデータ処理部をあわせたものを、１チップの要
素プロセッサLSIとして実現し、この要素プロセッサLSI
を多数個接続して、並列処理プロセッサを実現する研究
が多く見られる。

例えば、昭和59年４月９日付で発行された日経エレク
トロニクスの第181頁から第218頁に開示されている並列
処理計算機においては、Imppと呼ばれる１チップの要素
プロセッサをリング状に複数個接続してデータの送受信
を行うデータ通信システムを構成している。

また、本願発明者は、情報処理学会第38回（平成元年
前期）論文集2T−２に開示されているように、１チップ
の要素プロセッサLSIを、最大1024台接続した大規模並
列データ駆動計算機EDDEN（Enhanced Data Driven ENgi
ne）の開発を進めている。

（ハ）発明が解決しようとする課題上述のような並列処理計算機においては、各要素プロ
セッサにプロセッサ番号をつけて識別し、通信データに
は行き先のプロセッサ番号を付加しておき、各プロセッ
サは到着した通信データのプロセッサ番号と自身のプロ
セッサ番号とを比較することによって、通信データを選
択的に自身のデータ処理部に入力するという方法がよく
用いられる。

このようなデータ通信システムを実現するためには、
まず、各プロセッサにプロセッサ番号を設定する機能が
必要であり、例えば、上述のImppと呼ばれるプロセッサ
においては、例えば、４ビットで表わされるモジュール
番号を、チップに外付けしたモジュール設定用バッファ
によって設定する方法がとられている（前記日経エレク
トロニクス第206頁の図14参照）。

この場合、LSIのデータ信号用ピンを、モジュール番
号設定用ピンとして共用しているため、各要素プロセッ
サに対して、外付け回路として、モジュール番号設定用
の３ステートバッファ、ディップスイッチなどが必要と
なる。ここで、LSIにモジュール番号設定用ピンを別途
設ける方法も考えられ、この場合、上記の３ステートバ
ッファは不要となる。しかし、当然ながら、LSIの総ピ
ン数が増加することになる。

前述の、EDDENのように多数の要素プロセッサを接続
するシステムにおいては、ひとつの要素プロセッサのLS
Iパッケージの大きさ、及び外付け回路の規模が、シス
テム全体の大きさに大きな影響を及ぼすことになるた
め、LSIの総ピン数、及び外付け回路の規模は、できる
限り小さい方が望ましい。

また、前述のように要素プロセッサLSIの各々に対し
て外部から直接にプロッセ番号を設定する方法では、プ
ロセッサ番号を変更したい時には、各プロセッサに対応
するディップスイッチ全てを操作するといった多大な作
業が必要となる。

従って、本発明の目的は、LSIの総ピン数を増加させ
ることなく、かつ外付け回路を全く必要とせずに、各要
素プロセッサにプロセッサ番号を設定できる計算機のデ
ータ通信システムを提供することである。更に本発明の
目的は、ディップスイッチの操作などの煩わしい作業を
必要とせずに各要素プロセッサのプロセッサ番号を容易
に、設定、変更できる計算機のデータ通信システムを提
供することである。

（ニ）課題を解決するための手段本発明のデータ通信システムは、複数のプロセッサ間
で行き先のプロセッサ番号を保持したパケット形式の通
信データの送受を行うシステムにおいて、各プロセッサは、特殊動作モード、ノーマル動作モー
ドの少なくとも２つの動作モードをもち、各プロセッサは、特殊動作モードにおいては、該プロ
セッサに上記通信データが転送されて来た時、通信デー
タが保持するプロセッサ番号にかかわらずに、転送され
て来たデータの行き先を自身とみなして、通信データに
よって指示される処理を行なう。特に通信データがプロ
セッサ番号の設定を指示している時は、プロセッサ番号
の設定処理を行ない、プロセッサ番号が設定されたプロ
セッサは自動的にノーマル動作モードに移行する。

上記ノーマル動作モードにおいては、前記プロセッサ
番号の設定処理によって設定されたプロセッサ番号を自
身プロセッサ番号とみなし、該プロセッサに、通信デー
タが転送されて来た時、通信データが保持するプロセッ
サ番号が自身のプロセッサ番号と一致すれば、その通信
データの行き先を自身とみなして、プロセッサにおいて
通信データによって指示される処理を行う。通信データ
の保持するプロセッサ番号が自身プロセッサ番号と一致
しなければ、その通信データの行き先を他のプロセッサ
とみなして、通信データを隣接する他のプロセッサに転
送する。

さらに、上記各モードの設定は、ハードウェアリセッ
トなどの外部からの初期化信号が利用でき、このリセッ
ト信号でまず特殊動作モード設定、該モード終了でノー
マルモードへの移行が行える。

（ホ）作用本発明のデータ通信システムによれば、外部から（ホ
スト計算機から）送出する通信データパケットによっ
て、各プロセッサにプロセッサ番号を設定できる。即
ち、計算機の電源投入時には、各プロセッサはプロセッ
サ番号を持たない状態となるが、次に各プロセッサを特
殊動作モードに設定することによって、各プロセッサは
到着するあらゆるデータパケットを受け入れるようにな
る。

従って、この時にホスト計算機からプロセッサ番号
（ｎ）の設定パケットを出力すると、このパケットが最
初に到達したプロセッサにプロセッサ番号（ｎ）が設定
される。このようにプロセッサ番号の設定が完了したプ
ロセッサは自動的にノーマル動作モードへと移行し、以
後はプロセッサｎとして、行き先番号ｎを待つパケット
以外は受けつけないようになる。次にホスト計算機から
プロセッサ番号（ｎ＋１）の設定パケットを出力する
と、このパケットは、プロセッサｎを通過して次に到達
したプロセッサにプロセッサ番号（ｎ＋１）を設定し、
このプロセッサはプロセッサｎ＋１となってノーマル動
作モードへと移行する。このようにして、全プロセッサ
に各々固有のプロセッサ番号を設定することができ、全
プロセッサにプロセッサ番号が設定されると、全プロセ
ッサがノーマル動作モードで動作するようになり、以後
は各プロセッサは自分のプロセッサ番号を保持した通信
データパケットのみを選択的に処理し、それ以外のパケ
ットについては、その行き先へ速やかに到達できるよう
に経路選択（ルーティング）制御が行える。

以上のような作用より、本発明システムは、各プロセ
ッサに全く外付け回路を必要とせずに、更にプロセッサ
LSIのピン数の増加もなしに、さらにディップスイッチ
を一つ一つ設定するといった作業を必要とせずに、各プ
ロセッサにプロセッサ番号を設定できる。

（ヘ）実施例第１図に高並列データ駆動計算機のシステムを示し、
第２図に該計算機の各要素プロセッサの構成を示す。

まず第２図の要素プロセッサ（PE）は、基本的にはプ
ログラム記憶（PS）、発火制御・カラー管理部（FCC
M）、命令実行部（EXE）、及びキューメモリ（Ｑ）が巡
回パイプライン（リング）構造に接続された構成であ
り、それぞれにつき以下に説明する。

プログラム記憶（PS）はノード番号の更新、定数付
与、及び結果のコピーを行う。発火制御・カラー管理部
（FCCM）は、左右オペランドの待ち合わせ及びカラーの
獲得・解放の管理を行なう。命令実行部（EXE）は、浮
動小数点・整数演算、条件判定、分岐などの命令を実行
する。キュー（Ｑ）は、リング上でのあらゆるデータ流
変動を吸収する緩衝記憶である。

ベクトル演算制御部（VC）は、ベクトル演算関連命
令、及び外部データメモリアクセス命令の実行制御を行
う。外部データメモリ（EDM）は、構造体、ベクトルデ
ータ等を格納するメモリである。

通信制御部（NC）は、東西南北４系統の通信ポートを
備え、最大1024プロセッサ（PE）のトーラス結合網に基
づくルーティング制御を行う。入力制御（IC）は、通信
制御部からリングへのデータパケットの入力処理を行
う。出力制御部（OC）は、リングから通信制御部へのデ
ータパケットの出力処理を行う。ベクトル演算制御部
（VC）と、入力制御部（IC）及び出力制御部（OC）の間
には構造体（ベクトル）データ通信用のバイパス線を備
えている。

斯様な要素プログラム（PE）を多数用いたEDDENの基
本的な構成は第１図に示すようにｎ×ｎ台の要素プロセ
ッサをトーラス結合網で接続することを基本とする。該
トーラス結合網とは、多数のプロセッサを行列配置し、
各縦方向のプロセッサ群を循環的に結合する複数の縦通
信線と各横方向のプロセッサ群を循環的に結合する複数
の横通信線とで任意のプロセッサ間のデータ通信を可能
としたものである。

このようなシステムでは、ネットワークと外部とのデ
ータのやりとりは、ネットワークインタフェース（NI
F）を挿入して行うことになる。

上述の構成のデータ駆動計算機で用いられるデータパ
ケットには、大別してプログラム実行に使用する実行パ
ケットとプログラム実行以外に使用する非実行パケット
があり、第４図（ａ）〜（ｅ）にその実例を示してい
る。パケット形式は、構造体データを保持したパケット
以外は固定長とし、プロセサ（PE）内のパイプラインリ
ング上では33ビット×２語、ネットワーク上（通信制御
部）においては18ビット×４語構成である。

以下に、第４図のパケットフォーマットにおける各フ
ィールド内容について説明する。

HD（1bit）:2語パケットの際の１語目（ヘッダ）と２語
目（テイル）の識別子。ヘッダの時の“1"。

EX（1bit）：パイプラインリングから通信制御部へ向け
て出力すべきパケットを識別するフラグ。

MODE（2bit）：実行パケット、非実行パケットなどのパ
ケットの種類を識別する識別コード。

Ｓ−CODE:MODEと合わせてパケットに対する処理を規定
する識別コード。

OPCODE−Ｍ（5bit）及びOPCODE−Ｓ（6bit）：命令の種
類を識別する命令コード。

NODE＃（11bit）：データフローグラフのノード番号。

COLOR（4bit）：カラー。サブルーチンコールによるプ
ログラム共用など、同一データフローグラフを多重実行
する際に環境を識別するための識別番号。

DATA（32bit）：整数、浮動小数点数などの数値デー
タ。

HT（1bit）：ネットワーク上のパケットでヘッダ、テイ
ルとその中間の語とを識別するフラグ。

RQ（1bit）：ネットワーク上を転送されるパケットに付
加するフラグで、ネットワーク上でデータが１語転送さ
れるたびに値が反転する為、語の存在を認識できる。更
に、値が反転することが、パケットを前方へ転送するた
めの転送要求信号となる。また、HTフラグと合わせて、
ヘッダとテイルとを識別できる。

ADDRESS（16bit）：各メモリのロード／ダンプなどの際
に、メモリアドレスを格納する。

第５図にはロード／ダンプパケットが保持する識別コ
ードを示す。同図に示すような識別コードを保持したパ
ケットによって、各プロセッサ（PE）の各部のダンプ、
ロードが遂行される。

また、パイプラインリング上の入力制御部（IC）に
は、自身のプロセッサ番号を格納しておくためのプロセ
ッサ番号レジスタを備えている。第６図にプロセッサ番
号レジスタの構成を示す。同図のPE番号Ｘは横方向（東
西方向）のPE番号（列番号）であり、PE番号Ｙは縦方向
（南北方向）のPE番号（行番号）である。両者を合わせ
て各プロセッサを固有に識別するプロセッサ番号とな
る。又、同図のPEACTと称するフラグビットは、プロセ
ッサ番号が既に設定されているかどうかを示すフラグで
あり、設定されていなければ“0"であり、設定された時
に“1"となる。

本発明の計算機の特徴は、上述のPEACTフラグの値に
応じて、通信制御部（NC）がその処理モードを変更する
点にある。即ち、該通信制御部（NC）は、PEACTフラグ
が“0"の時は特殊動作モードで処理を行い、PEACTフラ
グが“1"の時はノーマル動作モードで処理を行う。通信
制御部（NC）は、第４図（ｃ）及び同図（ｅ）の如きパ
ケットを通信ポートを介して受けとる。

特殊動作モードにおいては、通信制御部は東西南北に
あらゆるポートから入力される全てのデータパケット
を、自身へのパケットとみなして、パイプラインリング
に入力し、識別コードによって指示される所定の処理を
行わしめる。この時、東西南北いずれかのポートに、第
５図に示したプロセッサ番号レジスタへのロードを示す
識別コードを持つ非実行パケットが到着すると、通信制
御部は、これをパイプラインリング上の入力制御部（I
C）に入力し、ここでプロセッサ番号レジスタに所定の
プロセッサ番号がロードされるとともにPEACTフラグが
“1"にセットされる。このようにしてPEACTフラグが
“1"にセットされると該プロセッサの通信制御部（NC）
は、ノーマル動作モードで動作するようになる。

ノーマル動作モードにおいては、通信制御部は到着し
たパケットの１語目にあるPE＃（パケットの行き先プロ
セッサ番号）と自身のプロセッサ番号レジスタにセット
されている自身のプロセッサ番号とを比較して、両者が
一致した時にのみ該パケットをパイプラインリングに入
力し、一致しない時は、所定のルーティングアルゴリズ
ムに従って該パケットを東西南北いずれかのポートに出
力して隣接するプロセッサに向けて転送する。

通信制御部の動作についてさらに詳細に説明する。第
３図に通信制御部（NC）の構成を模式的に示す。同図に
於て、（RWI）及び（RWO）は、西（Ｗ）入出力ポートを
構成する自己同期式の入力シフトレジスタ及び出力シフ
トレジスタであり、４段の18ビットレジスタからなる。
同様に（REI）（REO）は東（Ｅ）入出力ポート、（RN
I）（RNO）は北（Ｎ）入出力ポート、（RSI）（RSO）は
南（Ｓ）入出力ポートを構成している。また、○は合流
回路、◎は分岐回路を示している。

第３図を用いて、通信制御部におけるルーティングア
ルゴリズムについて説明する。M1〜M5はそれぞれパケッ
トの合流回路であり、同図に示した番号の順に優先度を
つけて、到着したパケットを合流させる（番号１が最も
優先度が高い）。R1〜R5はそれぞれパケットの分岐回路
であり、以下のようなアルゴリズムで処理を行う。

§I.自分のプロセッサ番号（行番号、列番号）を（y,
x）、ネットワークの配列サイズをｐ×ｑ（p:縦方向、
q:横方向）、パケットの行き先プロセッサ番号を（Y,
X）とし、 Δｘ≡（Ｘ−ｘ）mod q,|Δx|≦q/2 Δｙ≡（Ｙ−ｙ）mod p,|Δy|≦p/2 とする。（modは、モジュロ演算を示す。） §II.プロセッサ番号はＮからＳの方向に順にｙ＝０、１、２、・・・ｐＷからＥの方向に順にｘ＝０、１、２、・・・ｑとする。

§III.MODEはパケットのMODEフィールドの値を意味し、
MODE＝00はホスト行きのパケットであることを意味す
る。

以下に分岐条件を示す。

（１）.R1 PEACT＝０またはΔｙ＝０の時、パケットをＰへ出
力。

上記以外の時、パケットをＳへ出力。

（２）.R2 PEACT＝０または（Δｘ＝０かつΔｙ＝０）の時、パ
ケットをＰへ出力。

PEACT＝１かつΔｘ＝０かつΔｙ＞０の時、パケット
をＳへ出力。

PEACT＝１かつΔｘ＝０かつΔｙ＜０の時、パケット
をＮへ出力。

上記以外の時、パケットをＷへ出力。

（３）.R3 PEACT＝０または（Δｘ＝０かつΔｙ＝０）の時、パ
ケットをＰへ出力。

上記以外の時、パケットをＥへ出力。

（４）.R4 PEACT＝０またはΔｙ＝０の時、パケットをＰへ出
力。

上記以外の時、パケットをＮへ出力。

（５）.R5 Δｘ＝０かつΔｙ＞０の時、パケットをＳへ出力。

Δｘ＝０かつΔｙ＜０の時、パケットをＮへ出力。

Δｘ＜０の時、パケットをＷへ出力。

上記以外の時、パケットをＥへ出力。

以上がルーティングアルゴリズムの一例であるが、こ
れに限られるものではない。

次に、上述の説明の如き通信制御部を備えた要素プロ
セッサ（PE）を４×４（ｐ＝ｑ＝４）の配列に接続した
計算機EDDENの全体構成の一例を第７図に示し、本発明
実施例の更に詳細な説明を行う。

第７図において、ホストコンピュータから出力される
データは、ホストインタフェースにおいて第４図（ｃ）
あるいは（ｅ）の形式に変換されて、入力線（IN）、ネ
ットワークインタフェース（NIF）を介して４×４台の
プロセッサ群に入力される。

同図の計算機の電源が投入された時には、各PEのプロ
セッサ番号レジスタの値は不定である。次にハードウェ
アリセット信号（RST）を全PEに供給してやると、全て
のPEのPEACTフラグが０にクリアされて、全てのPEの通
信制御部の動作モードは特殊動作モードに設定される。
次にホストコンピュータから、前述のような経路でプロ
セッサ番号レジスタへのロードパケット（データ値＝0
0）が発せられると、該パケットは左上（１行１列）のP
EのＷポートに到達する。該PEの通信制御部内の分岐回
路R3は、PEACT＝０という条件を検知しパケットをＰ
（パイプラインリング内）に向けて転送し、該PEのプロ
セッサ番号レジスタに番号00が設定されるとともに該PE
のPEACTフラグは、“1"にセットされる。以後、該PE
は、PE00として識別される（数字は、左が行番号、右が
列番号）。

次に、プロセッサ番号レジスタへのロードパケット
（PE＃＝01、データ値＝01）が発せられると、同様にパ
ケットは、PE00のＷポートに到達するが、該プロセッサ
のPEACT＝１となっているため、今度は、PE00のR3にお
いてΔｘ≠０であるためのパケットはＥポートに出力さ
れて、１行２列のPEのＷポートに到達する。１行２列の
PEでは、PEACT＝０であるため、該PEに番号01がセット
されてPEACT＝１にセットされる。同様にして、ロード
パケット（PE＃＝02、データ値02）によって、PE02が設
定され、ロードパケット（PE＃＝03、データ値03）によ
って、PE03が設定される。次に、ロードパケット（PE＃
＝10、データ値10）がPE00のＷポートに到達すると、該
PEのR3においては、Δｘ＝０かつΔｙ＞０の条件が検知
されて、パケットはＳポートへ出力され、２行１列のPE
がPE10に設定される。同様にして、PE11、PE12、・・・
PE33の全てのPEに番号が制定されると、全てのPEのPEAC
Tフラグは“1"にセットされており、計算機全体がノー
マル動作モードで動作するようになる。

前述のアルゴリズムからわかるように、ノーマル動作
モードにおいては、本計算機は、パケットの行き先＝
（Y,X）、各PEのプロセッサ番号＝（y,x）の時、Ｘ＝ｘ
でない限り、パケットをＷからＥへ、あるいはＥからＷ
へ転送する。Ｘ＝ｘであれば、Ｙ＝ｙでない限りパケッ
トをＮからＳへ、あるいはＳからＮへ転送する。さら
に、ＷまたはＥのポートからＮまたはＳのポートにパケ
ットを転送する時、あるいはパイプラインリング内部か
らＷ、Ｅ、Ｎ、Ｓのいずれかのポートにパケットを転送
する時には、前述のモジュロ演算によって、プロセッサ
間距離が小さくなる方向が選択されることになり、常に
最短距離でのパケット通信制御機能（セルフルーティン
グ機能）が実現される。

（ト）発明の効果以上の説明から明らかなように、本発明によれば、要
素プロセッサLSIの総ピン数を増加させることなく、か
つ外付け回路を全く必要とせずに、各要素プロセッサに
プロセッサ番号を設定することができる。さらに、ディ
ップスイッチの操作などの煩わしい作業を必要とせずに
各要素プロセッサのプロセッサ番号を容易に、設定、変
更することができる。

【図面の簡単な説明】

第１図は、本発明のデータ通信システムを示すシステム
図、第２図は本発明のプロセッサの概略構成を示すブロ
ック図、第３図は本発明のプロセッサの要部の模式図、
第４図（ａ）乃至（ｅ）はパケットの構成図、第５図は
パケットの識別コードの一部を示す対応図、第６図は本
発明のプロセッサ内部のプロセッサ番号レジスタの構成
図、第７図は本発明のデータ通信システムを示す更に詳
細なシステム図である。（PE）……プロセッサ、（PS）……プログラム記憶、
（EXE）……命令実行部、（NC）……通信制御部、（NI
F）……ネットワークインタフェイス。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06F 15/16 ＪＩＣＳＴ科学技術文献データベース

Claims

(57)【特許請求の範囲】

【請求項１】複数のプロセッサ間で送信先プロセッサの
プロセッサ番号を含む通信データを送受信する計算機の
データ通信システムにおいて、各プロセッサは、特殊動作モード、ノーマル動作モード
の少なくとも２つの保持可能な動作モードを持ち、前記特殊動作モードにおいては、各プロセッサは上記通
信データが転送されて来た時、該データが保持するプロ
セッサ番号にかからずに該データが指示する処理を実行
し、該指示がプロセッサ番号の設定である時にはプロセ
ッサ番号の設定処理を行い、該プロセッサ番号が設定処
理されたプロセッサは前記ノーマル動作モードに移行
し、前記ノーマル動作モードにおいては、各プロセッサは上
記特殊動作モードのプロセッサ番号設定処理で設定され
たプロセッサ番号を自身のプロセッサ番号として用い、
該プロセッサに、前記通信データが転送されて来た時、
該データの保持するプロセッサ番号が設定された自身の
プロセッサ番号と一致すれば、該プロセッサにおいて該
データによって指示される処理を行い、該データの保持
するプロセッサ番号が設定された自身のプロセッサ番号
と一致しなければ、該データを隣接するプロセッサに転
送することを特徴とした計算機のデータ通信システム。
【請求項２】前記各プロセッサは、外部からの初期化信
号の入力に応じて、前記特殊動作モードに設定され、前
記プロセッサ番号の設定処理の終了に応じて、自動的に
前記ノーマル動作モードに移行することを特徴とした請
求項１記載の計算機のデータ通信システム。