JPS63172362A

JPS63172362A - プロセツサ間通信方式

Info

Publication number: JPS63172362A
Application number: JP62004522A
Authority: JP
Inventors: Fumiyasu Hirose; 広瀬　文保
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1987-01-12
Filing date: 1987-01-12
Publication date: 1988-07-16

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔概要〕互いにデータ交換を行う複数台のブロモ、すを（ｌｉｉ
ｉえたマルチプロセッサシステムにおいて、プロセッサ
を階層的にグループ化し、同一グループ内のデータ交換
を高速に行わせ、同一グループ外のデータ交換について
は１階層の上位と下位との間のデータ交換を高速に行わ
せ、またデータの送出は他のプロセッサのデータ送出タ
イミングと独立に行わせることによって１台数が多いプ
ロセンサシステムの通信ネットワークを、高速かつ物量
が少なくかつ制御が節単に構成できるようにしている。

〔産業上の利用分野〕

本発明は、複数台のプロセッサが互いにデータを交換し
ながら処理を進めることによって、１つの仕事を達成す
るようなマルチプロセッサシステムに係り、特にプロセ
ッサ間の通信を効率よく実現できるようにしたプロセッ
サ間通信方式に関するものである。

ＶＬＳ　Ｉ製作技術等のめざましい進歩により。

ハードウェアが安価に、大規模に製作できるようになっ
たため、プロセッサを大量に並べて、その間を通信ネッ
トワークでつなぎ、１つの仕事を各プロセッサに分割し
１通信ネットワークを用いて互いにデータ交換をしなが
ら、並列に処理を進めることによって、処理の高速化を
図るアーキテクチャが、現実的なものとなってきている
。

この目的の達成のためには、プロセッサ間の通（Ｉｔが
高速に行われて、プロセッサの並列処理を妨げないこと
が重要であるが、プロセッサ間に必要な論理的通信パス
は、プロセッサ数Ｎの中から２つを組として取り出す場
合の数。

Ｈｃｘ　＝　　Ｎ　（Ｎ　　ｌ　）　／　２で増加する
。即ち、プロセッサ数Ｎの２乗で増加する。そのため、
単に高速化のみを考えた通信方式ではハードウェアの量
が爆発的に増大して現実的なサイズにシステムをまとめ
ることができない。

そこで、高速かつハードウェア品の少ない通イ３方式が
重要となってくる。

〔従来の技術〕

第８図は従来の通信ネットワークの例を示す。

第８図において、ＰＯ，ＰＩ、・・・はプロセッサ。

ＳＯ，Ｓｌ、　・・・はスイッチを表す。

物量を最小限に抑える立場から従来用いられているのが
、第８図（ａ）に示す共通ハス型である。

しかし、このタイプのネットワークは、一度に一対のプ
ロセッサ間の通信しか許さないので５１０セフサが大量
に存在するときには、はとんど実用的でない。

第８図（ｂ）は、ｖ４接プロセッサ結合型のネットワー
クを示し、あるプロセッサ間の通信を、その他のプロセ
ッサを経由して行わせるものである。

しかし、このタイプのものは、プロセッサの処理能力を
、他のプロセッサの通信用にさかなければならないので
、やはり高速性の観点から問題がある。

第８図（Ｃ）は、クロスバスイッチ型のものである。こ
れは、２以上のプロセッサのデータ転送先が競合しない
限り、同時にデータを交換できるが、物量がプロセッサ
数の２乗で増大するため。

プロセッサ数が多い場合には、実現が困難である。

第８図（ｄ）は、多段ネットワークスイッチ型のもので
あって、２対２のクロスバスイッチ５Ｏ２Ｓｌ、・・・
を多段に接続することにより、クロスバの高速性を保ち
ながら、物量を減らしている。高速通信を必要とするマ
ルチプロセッサシステムで多用されているものである。

しかし、プロセッサ数Ｎに対して、物量が、Ｎ　ｌｏｇ
Ｎに比例して増大するため、大量のプロセッサを結合す
る方式としては、必ずしも充分ではない。

〔発明が解決しようとする問題点〕

上記第８図（ｄ）に示す多段ネットワークスイッチ型の
ものは、構造が全く対称で、どのプロセッサ間にも同等
のデータ転送能力を保障している。

ごのため、物量が、　（Ｎ／２）ｌｏｇｚＮで増大する
。

しかし１例えば論理装置のゲートをプロセッサにみたて
、信号線を固定されたネットワークとみなすと、ＬＳＩ
の内部では信号線が多いが、ＬＳＩの入出力ピンはそれ
に比して少なく、また、大型計算機を構成するゲートｆ
ｆｌは極めて多いが、プリント板間の信号線数はそれに
比べると極めて小さい。これと同じように、実際のシス
テムでは、プロセッサが大量に存在するシステムに、あ
る一つの仕事を分割して割りつける場合、プロセッサ間
におけるデータ交換の確率は、プロセッサの対によって
、必ずしも均一ではない。

そこで、第８図（ｄ）に示すような均一の転送能力を保
障しているネットワークでは、一部のデータ交換のパス
が、非常に頻繁に活性化される一方で、多くのデータ交
換のパスは遊んでいると考えられる。データ転送能力に
さほど影響を与えずに、その部分を削除することが可能
であれば、より無駄のないシステムを構成できると考え
られる。

また、第８図（ａ）、（ｃ）、（ｄ）では、データの転
送先が競合すると、どちらかのデータ転送を待たせる必
要があり、そのための制御を行わなければならない。即
ち、他のプロセッサの転送要求に依存して、自分のデー
タ転送タイミングを制御することが必要となり、制御が
複雑になるという問題がある。

以上の点から１本発明は、第１に、プロセッサ間のデー
タ交換がネックとなって、処理速度がプロセッサ台数の
増加にみあって向上しないという問題を解決することを
目的とし、第２に、従来の高速データ交換を可能とする
方式が必要とするハードウェア量が、プロセッサ数の増
加によって。

急激に増大化してしまい１台数の多いプロセッサシステ
ムに適用しにくいという問題を解決することを目的とし
、第３に、２台以上のプロセッサが同一のプロセッサに
対して、同時にデータを送りたい場合など、データ転送
の要求が競合したときに、それを調整する制御を簡単化
する方式を提供することを目的としている。

〔問題点を解決するための手段〕

第１図は本発明の原理ブロック図を示す。

第１図において、１０はデータ交換用のスイッチングモ
ジュール、１１はデータ入力部、１２はデータ保持部、
１３はデータ選択出力部、ＰＯないしＰＩ３はプロセッ
サ、ＧｌないしＧ４はＷｈ　Ｎ化されたグループを表す
。

本発明の場合、プロセッサＰＯ−ｒ’１５は、予め台数
に応じて階層的にグループ化される。以下。

・グループ分けの数Ｎｃ　　（グループ化の単位となる
数）が、４の場合を例に説明する。

グループＧＯ〜Ｇ３は、第１階層グループであり、これ
らの４つのグループＧＯ−０３により。

第２階層グループＧ４が構成されている。第２階層グル
ープＧ４と同レベルのグループを４個まとめて、さらに
上位のグループを構成することもできる。なお、グルー
プのメンバ数が、グループ化の中位数（４）より少ない
グループがあってもよい。また、プロセンサの中に、最
下位レベルのグループ（第１階層グループ）に属さない
で、上位のグループにだけ属するものがあってもよい。

各グループＧＯ−０４は、同様な内部構成を持つスイッ
チングモジュール１０を備えている。このスイッチング
モジュール１０は、データ入力部１１とデータ保持部１
２とデータ選択出力部１３とを持つ。

データ入力部１１は、同一グループに属する各プロセッ
サまたは下位のスイッチングモジュール１０からと、上
位グループがある場合に、その上位のスイッチングモジ
ュール１０から転送されたデータを、各々独立に入力す
る回路である。

データ保持部１２は、データ入力部１１が入力したデー
タを、転送先に応じて逐次出力するまで。

データを保持する回路である。

データ選！」り出力部１３は、同一グループに属する各
プロセッサまたは下位のスイッチングモジュール１０．
および上位グループがある場合にその上位のスイッチン
グモジュール１０のいずれかに対し、データ保持部１２
が保持するデータを選択的に転送する回路である。

各プロセッサＰＯ〜ＰＩ５および各スイッチングモジュ
ール（ＳＭＯ〜５Ｍ４）１０は、第１図６ご示すＡ−Ｘ
の信号線によって接続される。

〔作用）データ交換がグループ内であるとき１例えばプロセッサ
ＰＯからプロセンサＰ３ヘデータを送るとき、プロセッ
サＰＯは、スイッチングモジュール（ＳＭＯ）１０ヘデ
ータを送り、ＳＭＯは、信号ｍＤを経由してプロセッサ
Ｐ３にデータを送る。

データ交換が異なるグループ間であるとき１例えば１０
セツサＰ４からプロセッサ１）１１へデー夕を送るとき
には、プロセッサＰ４は、スイッチングモジュール（Ｓ
ＭＩ）１０にデータを送り。

ＳＭＩは、信号線Ｒを介して、第２階層グループＧ４の
スイッチングモジュール（５Ｍ４）１０にデータを送り
、５Ｍ４は、信号線Ｗを介して、８Ｍ２にデータを送り
、８Ｍ２は、信号線りを経由して、プロセッサｐＨにデ
ータを送る。

各スイッチングモジュール１０では、データ人力部１１
によって、データの転送元毎に独立にデータを受け取り
、データ保持部１２によって、データを保持するので、
データ交換を依願する装置（プロセッサまたはスイッチ
ングモジュール）は。

他のプロセッサ等の装置のデータ転送が、同じスイッチ
ングモジュールｌＯ内で存在しているか否かにかかわら
ず、即ち、他のデータ交換依願によって待たされること
なく、データを送り込むことができる。

また、スイッチングモジュール１０に対するデータ交換
依願が、同時に複数存在し、データの転送先が競合する
場合等には、データ保持部１２が保持するデータが、デ
ータ選択出力部１３によって、転送先に応じて逐次転送
されるので、外部における排他制御等が不要となる。

プｒｌセッサが９階層的にグループ化され、各グループ
に、データ交換を行うスイッチングモジュール１０がυ
１り当てられる構成であるため、全体のハードウェア量
が少ない。また、どの階層でも。

同一グループ内では、１つのスイッチングモノ１−ル１
０を介してデータを交換できるため、高速にデータを送
ることができる。

〔実施例〕

第２図は本発明の一実施例に用いられるスイ。

チッグモジュールの例、第３図は第２図に示ずｒ）ＩＳ
Ｏバッファの例、第４図は本発明の一実施例システム、
第５図はＰＩＳＯバッファの回路構成例、第６図は本発
明の一実施例における通信データのフォーマント例、第
７図は本発明と比較するだめの従来の多段スイッチング
ネットワークの例を示す。

本発明に用いられるデータ交換のためのスイッチングを
担当する部分、即ち、第１図に示すスイッチングモジュ
ールｌＯは２例えば第２図に示すようになっている。第
２図において、２０はＰＩＳｏ（パラレルインシリアル
アウト）バッファである。以下、第１図の場合と同様に
グループ分けの数Ｎ６が４の場合について説明する。

入力端子ＩＮＸ、ＩＮＯ〜ｒＮ３には、必要に応じてパ
リティビットを含む０本のデータと、４本のデータ有効
信号とが、それぞれ入力される。

ＩＮＸには、上位装置からのデータが入力され。

ＩＮＯ〜ＩＮ３には、同一グループに属する下位装置（
プロセッサまたはスイッチングモジュール）からのデー
タが入力される。

出力端子ＯＵ’ｒＸ、０ＵＴＯ〜０ＵＴ３からは。

それぞれ０本のデータと４木のデータ有効信号が出力さ
れる。０ＵＴＸは、上位グループの他のスイッチングモ
ジュール１０に接続され、０ＵＴＯ〜ＯＬＩ　Ｔ　３は
、それぞれ同一グループに属する下位装置に接続される
。

入力端子ＩＮＸ、ＩＮＯ〜ＩＮ３への各入力データは、
データ有効信号の１つが１′であると。

それに対応するｐｔｓｏバッファ　（Ｘ、０〜３）２０
の１つに受け取られる。

各１）ｌｓＯバッフγ２０は２例えば第３図に示すよう
になっている。第３図において、３０はバッファ、３１
は選択器である。

各バッファ３０への入力ＤＩＯ−ＤＩ３は、０本のデー
タと、１本のデータ有効１３号である。各バッファ３０
には、データ有効（８号に応して、それぞれ独立にデー
タが取り込まれる。バッファ３０は１例えばＦＩＦＯメ
そりで構成され、各バッファ３０が満杯（またはデータ
量がある闇値以上）になると、バッファフル信号が出力
される。

′Ｊ５１沢３Ｈ３１は、最もデータがたまっているバッ
ファ３０を優先的に選択し９例えばそのデータ内に示さ
れる転送先アドレス等からデータ有効信号を生成して、
データを出力する。出力ＤＯは、ｎ木のデータと４本の
データ有効信号である。ただし５転送先ハソフアからバ
ッファフル信号か到若している場合には、そのデータの
転送を止め、他のバッファ３０のデータを、他の転送先
へ送出する。バッファ　（Ｏ〜３）３０のどのデータの
送り先もフルであるときに限って、ＰＩＳＯハソファ２
０は、データの送出を一時停止する。

１６台のプロセッサを、４台ずつブルーフ“分けして、
第３図に示ずＰｌｓｏバッファ２０を介して接続した例
を、第４図に示す。

プロセッサＰＯ〜Ｐ３，１）４〜Ｐ７．Ｐ８〜Ｐ１１、
ＰＬ２〜Ｉ）　１５が、それぞれ第１階層のグループに
なっている。プロセッサＰＯ−Ｐ１５の全体が第２階層
のグループである。第４図に示すＯＰは出力ボートであ
り、ＪＰは入力ポートである。化カポ−）ＯＰ、入力ポ
ートＩＰは、上位装置または他の外部装置に接続される
。

プロセッサＰＯからプロセッサＰ３ヘデータを送る場合
、プロセッサＰＯは、４本のデータ有効信号のうち、ｐ
ｒｓｏバッファ２０−３に対応するデータ有効信号だけ
を有効として、データを送る。ＰＩＳＯハソファ２０−
３において、プロセッサＩ）０からの入力が、第３図に
示す入力１）　Ｉ　１に割り当てられていたとすると、
第３図図示バッファ（１）３０にデータが取り込まれる
。そして。

選ＩＲ器３１を経由して、プロセッサＰ３に転送される
。

プロセッサＰ４からプロセッサＰｆｌへのデータ転送は
、ＰＩＳＯバッフ：ｒ２０−ＸＩ、ＰＩＳＯハソファ２
０−１８．ＰＩＳＯバッファ２０−１１を経由して行わ
れる。

第５図は、ＰＩＳＯバッファの詳細な回路構成例を示し
ている。第５図において、４０は選択決定２Ｌ　　４１
−０〜４１−３．　４１−Ｘはレジスタ。

４２はマルチプレクサ回路、４３はバソワッフル信号出
力回路を表す。

プロセッサ間通信データのフォーマットは１例えば第６
図に示すようになっている。１つのデータ転送嗅位は、
一般的に可変長である。データ幅Ｗが、■クロックでネ
ットワーク上を移動できるデータ量である。このデータ
幅Ｗをデータ語という。ひとまとまりのデータは、各デ
ータ語の先頭にあるデータ区切り情ｆｌｓＤによって１
区別される。例えばデータ区切り情報ＳＤを１ビツトと
すると、データの最後のみ“ｌ”　（ＩＦ、ＮＤ）を立
て。

その他は“０”とすることにより、データの区切りを認
識する。ただし、データ転送ｆｉｔ位を固定長とする場
合には、データ区切り情報ＳＤは不要である。例えば、
先頭のデータ語は、データ転送先のアドレス情報を持つ
。

第５図に示すレジスタ４１−０〜４１−３には。

初！ｔｌｊ的には、第６図に示すデータの先頭語である
転送先アドレス等を含むデータがランチされる。

各バッファ３０は、データ残留数に関する信号ＮＯ〜Ｎ
３によって、バッファにたまっている各データ量を１選
択決定器４０に知らせる。この信号は、実際の個数であ
ってもよいが１例えば個数の２進表現の上位ｉビットを
教えるなど、情報を圧縮して２のｉ乗にサンプリングし
たデータ量を教え、かつ空を表す１本を加えることによ
り、信号線の本数を凍らずこともできる。例えば、バッ
ファの深さを２にワードとしたとき、残留数を表ずには
、１１ビツト必要であるが、ｉ＝２とすると、“００”
で０〜０．５に個、′０１”で０．５に〜ＩＫ個、“ｌ
Ｏ″でＩＫ−１，５に個、“１１”で１．５　Ｋ〜２に
個を表し、空を表す１本、また必要に応して満を表す１
本を加えて、各４本で構成できる。

選択決定器４０は、転送先のバッファフル（３号を受け
て、現在フルでない転送先へのデータを保持するバッフ
ァ　（０〜３）３０を、レジスタ４１−０〜４１−３上
にある転送先アドレスからＩＱ　ｌｉ＆し、その中から
、データ残留量の最も多いバッファを、信号ＮＯ〜Ｎ３
から認識することにより５どのバッファ３０のデータを
転送するかを決定する。決定結果は、読出し信号ＲＯ−
Ｒ３とし“ζ。

各バッファ３０に通知される。

マルチプレクサ回路４２は１選ｆＪｔ決定器４０から選
択信号ＳＥＬを受けて、　　ｒ）Ｏ−Ｄ３の１つをセレ
クトする。レジスタ４１−Ｘは、その値をラッチする。

このデータは５選択決定２Ｓ４０が転送先アドレスから
生成した４木のデータ有効信号と共に出力される。この
データ有効信号は、転送先のバッファ４個のうち、この
データを取り込むべきバッファを指定する。

この選択状況は、データの区切り情報を２選択決定器４
０がデータ転送中のデータ（レジスタ４１−０〜４１−
３のうち選ばれているデータ）がら検出するまでロック
される。ロックを解除した時点では、再びレジスタ４１
−０〜４１−３には。

データの先頭語であるところのデータ転送先を含むデー
タかラッチされており、初期状態に戻る。

選択決定器４０には、それを含むＰｅ５ｏバツフア２０
の本通信ネットワーク上における位置情報が、予め内部
に設定されている。それにより。

転送先アドレスをレジスタ４１−０〜４１−３から受け
て、そのデータが４つの転送先バッファのうち、どれへ
送られるべきがを決定できる。

転送先のアドレスに関する表現法は、ユニークであって
もよいし、ユニークでなくてもよい。例えば、６４台の
プロセッサがあって、その転送先を６ビツトで表現すれ
ば、転送先はユニークで。

データ有効信号４本のうち１本のみが有効となる。

例えば、転送先を１２ビツトで表現し、６ビノトのアド
レスの各ビットに対して、２ビソト表現で、”ｏｏ”＝
ｏ、　　０１”＝１．”ｌＯ”＝１ｏｒｏ、　　”！１
″＝］ｏｒＯというように、複数の行き先を一度に表現
すれば、データ有効信号４本のうら、同時に複数本が有
効になり、複数バッファへの同時転送が可能となる。こ
の場合１例えば。

”　００００００００１００１”の転送先は、６ビソト
のアＩレスの’　０００００１”および“００００１１
”に該当し、その２つの転送先に対するデータ有効信号
が有効化される。なお、このようなアドレス表現は、他
にも種々の変更が可能である。

次に、第７図に示す従来の多段スイッチングネソ）ワー
クの例と、第１図に示す本発明に係るネットワーク例と
を比較する。

プロセッサの数をＮ（ただし、Ｎ＝４’）とすると、多
段スイッチングネットワークで必要となるスイッチング
モジュールの数Ａｈよび本発明で必要となるスイッチン
グモジュールの数Ｂは。

Ａ　−（Ｎ／　４　）ｌｏｇ４ＮＢ＝　　（Ｎ−１）／３である。即ち、以下の通りとなる。

プロセ　スイッチングモジュール゛　比率Ｂ／Ａヱ丈数
　人区従来）ｒ３に１発１ＪＬ　　　　％１６８５６２
，５［ｉ４　　　　４８　　　　　　２１　　　　４３．８
２５６　　　２５６　　　　　　８５　　　　３３．２
１Ｋ　　　１２８０　　　　　３４１　　　　２６．６
４Ｋ　　　　６Ｋ　　　　　１３６５　　　　２２．２
１６Ｋ　　　　２８Ｋ　　　　　５４６１　　　　１９
．０６４Ｋ　　　１２８Ｋ　　　　　２１８４５　　　
　１７．０２５６　Ｋ　　　５１Ｇ　Ｋ　　　　　８７
３８１　　　　１４．８１　Ｍ　　　２５６０　Ｋ　　
　　３４９５２５　　　　１３．３これから明らかなよ
うに１本発明によれば、スイッチングモジュールの数を
大幅に削減でき１本ネットワークの物品に及ぼず１３　
Ｗは極めて大きい。

次に、転送速度に関して比較すると、以下の通りである
。本発明の適用例において、同一グループ内にあるプロ
セッサ間の転送速度については。

明らかに、第７図に示す多段スイッチングネットワーク
と同様なデータ転送幅を持つ。また、あるプロセッサへ
のデータ転送幅５例えば第１図に示ずプ「１セツサＰ１
５に対するプロセッサＩ）　Ｏ〜１〕１１からのデータ
転送能力を考えると、プロセッサＰ　ｌ　５のデータ受
け取り能力が最もネックとなるため、２方式は同様な転
送速度を持つ。

また、上記実施例から明らかなように、制御が非常に簡
弔であり、制御のための物品が少なくて済む。制御が簡
単であると、制御に嬰する時間が短く、データ転送のク
ロックを向上させることもできる。

〔発明の効果〕

以上説明したように１本発明によれば、大量のプロセッ
サ間のデータ通信を５物量の増加を抑えながら、高速に
また節華な制御で行うことができるようになる。

【図面の簡単な説明】

第１図は本発明の原理ブロック図、第２図は本発明の一
実施例に用いられるスイッチングモジュールの例、第３
図は第２図に示すｒ’［ｓｏバッファの例、第４図は本
発明の一実施例システム、第５図はＰＩＳＯバッファの
回路構成例、第６図は本発明の一実施例における通ずＳ
データのフォーマント例、第７図は本発明と比較するた
めの従来の多段スイッチングネットワークの例、第８図
は従来の通信ネットワークの例を示す。図中、１０はスイッチングモジュール、１１はデータ入
力部、１２はデータ保持部、１３はデータ選択出力部、
ＰＯ〜Ｉ）１５はプロセッサ、ＧＯ〜Ｇ４はグループを
表す。

Claims

【特許請求の範囲】複数台のプロセッサ（Ｐ０、Ｐ１、…）が互いにデータ
を交換しながら処理を進めるマルチプロセッサシステム
において、（ａ）上記プロセッサは、台数に応じて階層的にグルー
プ化され、（ｂ）上記各階層化されたグループは、データ交換手段
（１０）を備え、（ｂ−１）該データ交換手段（１０）は、同一グループ
に属する上記各プロセッサまたは下位の各データ交換手
段からと、上位グループがある場合にその上位のデータ
交換手段からとのデータ交換依頼を、各々独立に受け取
るデータ入力手段（１１）と、（ｂ−２）データ交換依頼が複数存在する場合に、受け
取ったデータを出力するまでデータを保持するデータ保
持手段（１２）と、（ｂ−３）同一グループに属する上記各プロセッサまた
は下位の各データ交換手段、および上位グループがある
場合にその上位のデータ交換手段のいずれかに対し、受
け取ったデータを選択的に転送するデータ選択出力手段
（１３）とを備え、（ｃ）上記各プロセッサは、上記デ
ータ交換手段（１０）を介して接続されている、ことを特徴とするプロセッサ間通信方式。