JPH0462656A - プロセッサ装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の目的〕 （産業上の利用分野） 本発明は多数の隣接結合されたプロセッサ装置によって
構成される並列計算機におけるプロセッサ装置間通信方
式に関する。

（従来の技術） 多数のプロセッサ装置から成る並列計算機では、２次元
トーラスネットワークや　Ｎ−ＣＵＢＥネットワーク等
によってプロセッサ装置間を隣接するプロセッサ装置同
士で接続するのが一般的である。従って、直接結合され
ていないプロセッサ装置間の通信は、途中直接結合され
るいくつかのプロセッサ装置を経由して行うことになる
。

以下、並列計算機におけるプロセッサ装置間の通信につ
いて第３図を参照して説明する。

第３図に示される従来の並列計算機においては、多数の
プロセッサ装置が２次元格子状に隣接結合される。また
、大規模な並列計算機では通信が性能上のネックとなる
為、プロセッサ装置の通信制御部のハードウェア化によ
るメツセージ通信の高速化が必要不可欠であり、それぞ
れのプロセッサ装置は第５図に示すようにメツセージ通
信制御部、メモリ回路部１０３、及びプロセッサ１０１
より成る。

メツセージ通信制御部（以下、ルータともいう）はハー
ドウェア化されており、すなわち４つの人力ポートＡ、
Ｂ、Ｃ，Ｄ、４つの出力ポートＡ。

Ｂ、Ｃ，Ｄ、５つのバッファメモリ１１５、及びＤＭＡ
制御部１０７によって構成され、プロセッサ装置とは同
時に動作する。通常、プロセッサ装置間におけるメツセ
ージ通信は、目的アドレスとデータ長とを含むヘッダ一
部、及びデータ本体とから成るパケットを単位に転送さ
れる。

以下、従来の通信方式における動作について説明する。

まず、任意のプロセッサがメツセージの送信を開始する
際には、当該プロセッサはメモリ回路部１０３内の送信
するメツセージの格納アドレスをルータに知らせる。ル
ータはメモリ回路部１０３から指定された格納アドレス
に格納されるメッセジデータを読みたして適当な出力ポ
ートより出力する。このときルータの、それぞれの入力
ポートは１対１て対応づけられたバッファメモリ１］５
を持ち、前記バッファメモリが空のとき、新たなメツセ
ージデータの入力を受は付ける。

次に、ルータは入力されたメツセージデータを前記バッ
ファメモリ１１５に格納し、このメツセージデータのヘ
ッダ一部のアドレス部によって次の転送先を判断する。

このとき、バッファメモリ１１５内のメツセージデータ
が自分宛のメツセージではないとき、ルータは適当な出
力ポートより出力してメツセージを他のプロセッサ装置
に転送する。また自分宛のメツセージであるときには、
入力されたメツセージデータをメモリ回路部１０３の指
定されたアドレスに書き込み、割り込みによりメツセー
ジ受信をプロセッサ１０１に知らせる。この様にして複
数の入力ポートは同時に動作し、出力ポートが一致しな
い限り複数のメッセジデータの転送が同時に行われる。

次に第４図に示す２次元格子ネットワークの場合、１つ
の格子が１×１の大きさとするとき、１つの基準プロセ
ッサ装置から距離Ｎの範囲内には４ＸＮ個のプロセッサ
装置が存在する。アクセス時間、すなわちメモリの速度
はメツセージ転送速度と等しく、メツセージデータは２
次元格子上最短距離で転送されるものとする。このとき
、従来例において、プロセッサ装置２２（第４図中、Ｐ
Ｅ２２で示す。以下、同様）から距離２にある８個のプ
ロセッサ装置０２．１１．１３．２０．２４．３１．３
３．４２が一斉にプロセッサ装置２２にメソセージを送
信したとすると、プロセッサ装置２２か最初の一つのメ
ツセージを受信している間、残りの７つのメツセージは
待たされることになる。このようなメツセージの待合わ
せは別のメツセージの待合わせを誘発することになる。

例えば、プロセッサ装置０２，１１．．１３，２０．２
４，３１，３３．４２がほぼ同時刻にプロセッサ装置２
２に向けてメツセージデータを送信し、僅かに遅れてプ
ロセッサ装置２５がプロセッサ装置２３にメツセージデ
ータを送信したとする。

このとき、プロセッサ装置２２は一度に一つのメツセー
ジデータしか受信できない為、メツセージデータをｍｌ
、ｍ２．ｍ３．ｍ４．ｍ５．ｍ６゜ｍ７．ｍ８の順に受
信する。また、プロセッサ装置２４のメツセージデータ
はプロセッサ装置２３を介してプロセッサ装置２２へ送
信されるため、メツセージデータｍ８がプロセッサ装置
２２に受信されるまでの間プロセッサ装置２３の入力バ
ッファメモリにはメツセージデータｍ８が格納されてい
るため、メツセージデータｍ８がプロセッサ装置２２へ
出力されるまでの間、プロセッサ装置２５からプロセッ
サ装置２３へのメツセージｍ９は待たされる。

上述したように従来のプロセッサ装置間通信方式では、
多量のメツセージ通信が行われるときメツセージの待ち
合わせが発生しやすく、さらに１のメツセージの待ち合
わせが別のメツセージの待ち合わせを誘発させることに
よって連鎖的にシステムの中に多量の待ち合わせメツセ
ージが発生し、実質的なプロセッサ装置間通信速度を大
幅に低下させてしまうという欠点があった。

更に従来例では、プログラムのバグやハードウェアの故
障等、なんらかの理由によってプロセッサ装置２２がメ
ツセージを受信出来ない状態にあると、メツセージｍｌ
、ｍ２．　　　　　　ｍ９はルータ内のバッファメモリ
に溜ったままとなるため、新たなメツセージデータの転
送を阻害してしまう。

そのため、最終的にはシステム内のすべてのプロセッサ
装置がメツセージデータを送信できない状態、即ち通信
がデッドロック状態になってしまうことがあった。

一方、システム内に故障が発生したときは、故障の原因
を調査することが必要であるが、通信ネットワークがデ
ッドロック状態にあるためプロセッサ装置の状態を知る
ためにプロセッサ装置間通信を使用することができず、
デバッグを非常にやりにくいものにしていた。

（発明が解決しようとする課題） 以上述べたように従来のプロセッサ装置間通信方式では
、多量のメツセージ通信に伴なってメツセージの待ち合
わせが発生するため、実質的な通信速度が低下したり、
故障等が生じたときには通信がデッドロック状態になっ
てしまうという欠点があった。

本発明は従来のプロセッサ装置間通信方式で発生するメ
ツセージの待ち合わせによる実質的な通信速度の低下及
びデッドロックの問題を解決し、高速で信頼性の高いプ
ロセッサ装置間通信制御方式を提供することを目的とし
ている。

〔発明の構成〕

（課題を解決するための手段） 本願が提供する第１の発明は、プロセッサ装置に、入力
ポートと、この入力ポートに接続される複数の格納手段
とを具備し、前記入力ポートにメツセージデータが入力
されるとき前記複数の格納手段の中から該メツセージデ
ータを格納し得る格納手段を選択して該メツセージデー
タを格納するように制御することを要旨とする。

本願が提供する第２の発明は、プロセッサ装置に、入力
ポートと、記憶手段と、前記入力ポートに接続される複
数の格納手段とを具備し、前記入力ポートにメツセージ
データが入力されるとき前記複数の格納手段の中から該
メツセージデータを格納し得る格納手段を選択して該メ
ツセージデータを格納するように制御するとともに、前
記メツセージデータを格納し得る格納手段がないときに
は前記複数の格納手段の中から１つを選択し、既に格納
されているメツセージデータを前記記憶手段に移した後
に入力メツセージデータを当該格納手段に格納するよう
に制御することを要旨とする。

本願か提供する第３の発明は、プロセッサ装置に、入力
ポートと、出力ポートと、前記人力ポートに接続される
複数の格納手段とを具備し、この複数の格納手段に格納
されるメツセージデータを前記出力ポートから出力する
際に、出力ポートを同じくするメツセージデータが複数
個存在するときには、該メツセージデータが有する優先
度に関する情報に従って該当するメツセージデータを当
該出力ポートから出力するように制御することを要旨と
する。

（作用） 本願節１の発明によれば、プロセッサ装置に具備される
人力ポートにメツセージデータが人力されるときに、同
しくプロセッサ装置に具備される複数の格納手段の中か
ら、例えば空等であって該メツセージデータを格納し得
る格納手段が在るときには当該メツセージデータを格納
し得る格納手段を選択して該メツセージデータを格納す
る。

本願箱２の発明によれば、プロセッサ装置に具備される
入力ポートにメッセージデータが入力されるときに、同
じくプロセッサ装置に具備される複数の格納手段の中か
ら、例えば空等であって該メツセージデータを格納し得
る格納手段が在るときには当該メツセージデータを格納
し得る格納手段を選択して該メツセージデータを格納す
るとともに、当該メツセージデータを格納し得る格納手
段がないときには複数の格納手段の中から１つを選択し
、既に格納されているメツセージデータを記憶手段に移
した後に入力メツセージデータを当該格納手段に当該メ
ツセージデータを格納する。

本願箱３の発明によれば、プロセッサ装置に具備される
複数の格納手段に格納されるメツセージデータを同じく
プロセッサ装置に具備される出力ポートから出力する際
に、前記複数の格納手段に出力ポートを同じくするメツ
セージデータが複数存在するときには、該メツセージデ
ータが有する優先度に関する情報に従って該当するメツ
セージデータを当該出力ポートから出力するように制御
する。

（実施例） まず、本発明のプロセッサ装置間通信方式に係るプロセ
ッサ装置の一実施例の概要を説明する。

本実施例のプロセッサ装置は、メッセージルティング制
御部（以下、単にルータともいう）を有し、このルータ
にそれぞれの人力ポート若しくは出力ポートに対応して
複数個のバッファメモリがそれぞれ設けられる。このと
き複数の入力ポート若しくは出力ポートはそれぞれ前記
複数のバッファメモリを共有するものであり、またバッ
ファメモリの数はルータの入力ポートの数または出力ポ
ートの数と一致させる必要はない。

次に、前記ルータの有する機能を列挙する。

まず第１に、ルータが有する複数のバッファメモリの中
に空のバッファメモリか存在するとき、ルータは入力ポ
ートから前記空バッファにメツセージデータを入力でき
る。尚、この時複数の入力ポートが同時に、かつ同一の
空バツフアメモリを選択する事がないような制御か行わ
れる。

第２に、ルータはバッファメモリにメツセージデータが
格納されているとき、前記格納されたメツセージデータ
のアドレス部及び出力ポートの状態によって、前記メツ
セージデータを出力すべき出力ポートを選択する。この
選択された出力ポートよりメツセージデータの出力が可
能なとき、前記バッファメモリに格納されたメツセージ
データを前記出力ポートから出力する。メツセージデー
タの出力により前記バッファメモリは空になる。

第３に、ルータは前記複数のバッファメモリの中の空で
はないバッファメモリを選択して、前記バッファメモリ
に格納されたメツセージブータラルータの外部に設置さ
れたメモリに格納し、前記バッフアメモリを空にするこ
とが出来る。

第４に、ルータは前記複数のバッファメモリの中に空の
バッファメモリが存在するとき、前記外部メモリに格納
されたメツセージデータを再び前記空バッファに格納す
ることが出来る。

第５に、メツセージデータは優先度に関する情報を持ち
、前記ルータの持つ複数個のバッファメモリの中に、出
力ポートを同じくするメツセージデータが複数個存在す
るとき、優先度の高い方のメツセージデータを選択して
先に該出力ポートから出力する。

以下、図面を参照して本発明に係る一実施例を具体的に
かつ詳細に説明する。

第１図は本発明に係るプロセッサ装置の構成を示すブロ
ック図である。７ 第１図に示すように本実施例のプロセッサ装置はプロセ
ッサ１、メモリ回路部３、及びルーティング制御部５と
から成る。また、このルーティング制御部５は４個の入
力ポート、９個のバッファメモリ１５ａ、１５ｂ、　〜
、１５ｉ及びこのバッフ７メモリ１５ａ、１５ｂ、　〜
　１５ｉにそれぞれ接続されるバッファメモリ制御部１
７ａ、１７ｂ、〜、１７ｉ、４個の出力ポート、及びＤ
ＭＡ制御部７とを有している。

また、それぞれの入力ポートは入力制御部１１゜ステー
タス出力線、データ入力線を持つ。

以下、第２図を参照して実施例における動作をメツセー
ジの入力、メツセージの出力、及びＤＭＡ制御部７の３
つに分けて説明する。

まず、メツセージの入力時における動作について説明す
る。

まず、最初にステップＳ１で入力制御部１１はステータ
ス線にビジー信号を出力してメツセージの人力を禁止す
る。続いて当該人力制御部１１はステップＳ３において
、空のバッファメモリ１５を確保する。このときバッフ
ァメモリ１５ａ、１５ｂ、〜、１５１の中に空のバッフ
ァメモリが存在しないときには、ステップＳ５へ進みＤ
ＭＡ制御部７に要求をだして、出力待ちになっているバ
ッファメモリ１５の有無を確認する。出力待ちのバッフ
ァメモリ１５が有るときには、ステップＳ７へ進み、当
該バッファメモリ内のメツセージデータをルータ外部の
メモリ回路部３に移して空のバッファメモリ１５を作る
。このとき、複数の人力ボートか同時に同一のバッファ
メモリ１５を確保するのを防く為に適当な調停回路を設
け、一つの空バツフアメモリ１５にはただ一つの入力ボ
ートのみを対応させるようにする。人力制御部１１はス
テップＳ９において空のバッファメモリ１５を確保した
ならステップＳｌｌへ進みステータス線にレディー信号
を出力してメツセージデータの入力を許可する。

そして入力されたメツセージデータはステップ３１Ｂに
おいて当該空バツフアメモリ１５に格納される。

次に、メツセージの出力時における動作について説明す
る。

それぞれのバッファメモリ１５ａ、１５ｂ。

１５ｉはバッファメモリ制御部１７ａ、１７ｂ、　　・
・　、１７１を持つ。このバッファメモリ制御部１７は
ステップＳ１５においてバッファメモリ１５内に格納さ
れたメツセージデータのヘッダ部に含まれる目的アドレ
ス、出力ポートの状態、及び他のバッファメモリの状態
とから前記メツセージデータを出力する為の出力ポート
を決定する。

一般に二つのプロセッサ装置を結ぶメツセージの転送経
路は複数存在するのでメツセージデータを出力可能な出
力ポートも複数存在する。たたし出力ポートに入力され
るステータス信号がビジーである時、この出力ポートか
らはメツセージデータを出力出来ない。また、レディー
状態にある出力ポートに対して同時に複数のバッファメ
モリから出力要求が来ることがあるが、メツセージの優
先度を考慮した調停回路によって優先度の高いただ一つ
のバッファメモリのみからの要求が許可される。このよ
うにして出力ポートの決定したバッフ７メモリ１５は格
納されているメツセージデータを当該決定された出力ポ
ートから出力して、バッファメモリ１５を空にする。

次にＤＭＡ制御部７における動作について説明する。

ＤＭＡ制御部７はステップＳ５．Ｓ７において入力制御
部１１より空バツフアメモリ１５の確保に対する要求が
あったとき、メツセージを格納しているバッファメモリ
１５の中から優先度が低くかつ現在出力可能な出力ポー
トの存在しないバッファメモリ１５を選び出して格納さ
れているメツセージデータをルータ外部に置かれている
メモリ回路部３に書出し、当該バッファメモリ１５を空
にする。

一方、メモリ回路部３に書込まれたメツセージデータは
メモリ回路部３内でポインタにより結合し、書込まれた
順で再び読みだす事ができるようにしておく。その後、
どの入力ボートにも確保さｔ’ｔ−ｃ−なく、かつ空の
バッファメモリが存在するとき、前記メモリ回路部３よ
りメツセージデータを読みだして、前記空バツフアメモ
リに当該メツセージデータを格納しておく。

上述したように本実施例では入力バッファメモリの数が
人力ポートの数より多い場合について説明したが、人力
バッファメモリの数を人力ポートの数より少なくするこ
とも可能である。例えば１６次元Ｎ−ＣＵＢＥネットワ
ークを実現するためには一つのプロセッサ装置は１６個
の入力ボート、及び１６個の出力ポートを持たなければ
ならない。

すなわち従来のプロセッサ装置では１６個の入力ポート
のそれぞれに対応して一つのバッファメモリを設けてい
たか、実際上１６個のバッファメモリが同時にメツセー
ジデータで満たされることはほとんとないことは経験上
明らかである。従って本発明の適用によって入力ポート
の数より少ない数のバッファメモリ、例えば１６個の入
力ポートに対して５個のバッファメモリを設けることで
十分に効果を上げることができ、またハードウェアを節
約してなおかつ高速なプロセッサ装置間通信を実現する
ことができる。

上述したように、従来方式ではルータの人カポトが持っ
ただ一つのバッファメモリにメッセジデータが格納され
ていると、前記入力ポートはこれ以上のメツセージデー
タを受は付けることが出来ないため、容易にメツセージ
の待合わせが発生した。これに対して本実施例では全て
の入カポトに共有のバッファメモリを複数個設け１．そ
れぞれの入力ポートは空のバッファメモリか存在するか
ぎり複数のメツセージデータを入力して、前記バッファ
メモリに格納できる為、メ・ソセージの待合わせの開度
は減少する。

また、本実施例では全てのバッファメモリか全ての入力
ポートに共有されるが、複数の入力ポートにメツセージ
入力かあったとき、適当な調停手段によりそれぞれの入
力ポートに異なる空／＜、７フアを割り当てる事により
、前記複数の人カメ・ソセージを同時にバッファメモリ
に格納できる。

また、メツセージデータの格納されたバッファメモリが
複数個あるときは、それぞれのメ・ンセージデータの出
力ポートが互いに異なる限り同時に出力して他のプロセ
ッサ装置に転送される。従って本実施例によればハード
ウェア化されたルータによって高速なメツセージ転送が
実現できる。

更に本実施例ではバッファメモリ内に溜まっているメツ
セージデータを一時的にルータの外部に設置されたメモ
リに置いて空のバッファメモリを作ること、及び前記メ
モリに置かれたメツセージデータを再び空バッファに戻
すことにより、仮想的に無限個のバッファメモリか存在
するかのように見せ掛ける事ができる。

この様に並列に動作するハードウェア化された複数個の
バッファメモリ、及び前記外部メモリ上に作った仮想的
な無限個のバッファメモリとによってメツセージの待合
せによるプロセッサ装置間通信速度の低下の問題は解決
される。

更にメツセージデータに優先度に関する情報を持たせ、
優先度の高いメツセージデータの方を優先して転送する
ことにより、システムが通信デッドロックの状態にあっ
ても優先度を高くしたデバッグメツセージを転送させる
ことができる。

従って本実施例によって通信混雑時のデバッグの困難さ
の問題は解決する。

〔発明の効果〕

本発明によればハードウェア化したルーティング制御部
によってプロセッサ装置間通信を高速化でき、かつメツ
セージデータの待ちあわせによる通信混雑に起因する実
質的なプロセッサ装置間通信速度の低下を解決できる。

更に優先メツセージの実現によって通信混雑時において
も特定のメ・ソセージを目的地まで確実に転送でき、通
信デッドロック発生時においてもメツセージ通信による
システムのデバッグが可能になる。また優先メツセージ
はデッドロックとは無関係に単に高速転送を目的とした
メツセージ転送としても有用であり、本発明により柔軟
なメツセージ通信が実現可能になる。

【図面の簡単な説明】

第１図は本発明の一実施例であるプロセッサ装置ＰＥの
構成を示すブロック図、第２図は第１図に示すプロセッ
サ装置ＰＥの動作を説明するフローチャート、第３図は
２次元格子ネットワークによって結合された並列計算機
の１例を示す図、第４図はメツセージの待ち合わせによ
るメツセージ転送時間の遅れを説明する図、第５図は従
来のプロセッサ装置の構成を示すブロック図である。 ＰＥ・・・プロセッサ装置 １・・・プロセッサ ３・・・メモリ回路 ５・・・ルーティング制御部 ７・・−ＤＭＡ制御部 １１ａ、ｌｌｂ、Ｉｌ、ｃ、１ｉｄ １５ａ、＋５ｂ、”・１５ｉ １７ａ、　１７ｂ、　・・＋、　Ｌ７ｉ１９ａ、１９ｂ
、１９ｃ、１９ｄ ・入力制御部 ・・バッファメモリ ・・バッファメモリ制御部 ・・・出力制御部

Claims (3)

【特許請求の範囲】
1. （１）プロセッサ装置に、入力ポートと、この入力ポー
   トに接続される複数の格納手段とを具備し、前記入力ポ
   ートにメッセージデータが入力されるとき前記複数の格
   納手段の中から該メッセージデータを格納し得る格納手
   段を選択して該メッセージデータを格納するように制御
   することを特徴とするプロセッサ装置間通信方式。
2. （２）プロセッサ装置に、入力ポートと、記憶手段と、
   前記入力ポートに接続される複数の格納手段とを具備し
   、前記入力ポートにメッセージデータが入力されるとき
   前記複数の格納手段の中から該メッセージデータを格納
   し得る格納手段を選択して該メッセージデータを格納す
   るように制御するとともに、前記メッセージデータを格
   納し得る格納手段がないときには前記複数の格納手段の
   中から１つを選択し、既に格納されているメッセージデ
   ータを前記記憶手段に移した後に入力メッセージデータ
   を当該格納手段に格納するように制御することを特徴と
   するプロセッサ装置間通信方式。
3. （３）プロセッサ装置に、入力ポートと、出力ポートと
   、前記入力ポートに接続される複数の格納手段とを具備
   し、この複数の格納手段に格納されるメッセージデータ
   を前記出力ポートから出力する際に、出力ポートを同じ
   くするメッセージデータが複数個存在するときには、該
   メッセージデータが有する優先度に関する情報に従って
   該当するメッセージデータを当該出力ポートから出力す
   るように制御することを特徴とするプロセッサ装置間通
   信方式。