JPH06266678A - 並列処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、システムに故障した電子回路が存
在したり、電子回路数が多くなった場合においても１電
子回路で複数の種類の同期を高速に取ることのできる並
列処理装置を提供することを目的とする。 【構成】 それぞれが独立に動作し得る複数の電子回路
を構成要素とする並列処理装置であって、前記複数の電
子回路のそれぞれに接続され同期の種類を表す同期番号
を通知する同期番号放送バスと、前記複数の電子回路の
それぞれに接続され論理積機能を具備する同期判定バス
と、同期番号放送バスを介して通知する同期番号を制御
する同期コントローラと、この同期コントローラに同期
番号を与える同期番号設定手段と、この同期番号設定手
段で設定された同期番号に対応して、前記複数の電子回
路のそれぞれに接続される同期判定バスが全て同期完了
状態になったことを検知する検知手段とを備えて構成さ
れる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、並列処理装置に関し、
特に並列処理装置の同期方式、プロセッサエレメント間
の通信方式及びメモリアクセス方式に関するものであ
る。

【０００２】

【従来の技術】近年、並列処理装置に関して種々提案さ
れている。例えば、従来の並列計算機においては、少数
のプロセッシングエレメント（以下、ＰＥと略す）で同
期を取る場合、ワイヤード論理和で構成されている同期
バスを全てのＰＥに接続し、ＰＥは同期点まで実行終了
したら同期バスに出力する信号をアクティブにすること
により、同期の完了を判定していた。

【０００３】このワイヤード論理和で構成されている同
期バスは、接続されているＰＥの出力信号が全てアクテ
ィブにならないとアクティブにならないので、同期バス
の状態を見るだけで同期の完了が判定できる。

【０００４】しかし、ワイヤード論理和で構成された同
期バスだけで同期を取る場合、１つのＰＥで複数の種類
の同期をとるには同期の種類だけの同期バスが必要とな
り、また、１つのＰＥが故障した場合、故障したＰＥが
同期バスの出力を常にネガティブにしてしまうことも考
えられるので、同期が全く取れなくなる恐れがある。ま
た、多数のＰＥで同期を取る場合、ＰＥ間を結合するデ
ータやプログラムを伝送するネットワークを使用して同
期を指示するメッセージを送り同期を取ることができ
る。同期を指示するメッセージをＰＥに伝送する方式に
より同期を取る方法では、１つのＰＥから同期を取らな
くてはならない全てのＰＥに１つずつ同期メッセージを
送っていたのでは時間がかかり過ぎてしまうので、常に
１つ隣のＰＥに対して同期メッセージを伝送していくバ
ケツリレー式に伝送する方法が多く採用されている。

【０００５】この方法だと、ＰＥから一つ隣のＰＥに同
期メッセージを送っていく時に、どうしてもハードウェ
アおよびソフトウェアの遅延が生じるので、特にＰＥ数
が多い場合は高速な同期処理を行うことができない。ま
た仮に、同期メッセージを隣のＰＥに伝送する箇所に高
速なハードウェアを用いたとしても、ＰＥ数が多くなる
に従って遅延が累積されるので、高速な同期をとること
ができない。

【０００６】また、ワームホールルーティングを行な
う、並列計算機システムでのプロセッサエレメント間通
信では、メッセージの転送に際して、他のＰＥに送るべ
きメッセージを受けとった中継ＰＥは到着したメッセー
ジを即座に次の中継ＰＥあるいは目的ＰＥに送るという
動作を行なっていた。

【０００７】このような計算機間結合網では、中継ＰＥ
の異常動作が起きた場合には、先に送信されたメッセー
ジを、後に送信されたメッセージが追い越すということ
が原理的に起こる可能性があり、シストリックアレイや
ウェーブフロントアレイのようにデータの到着順序の逆
転を許容しない並列処理方式実行時には計算結果が保証
できなくなる。

【０００８】そのため従来は、疎粒度のメッセージ交換
を行なう計算機間結合網に対しては、長期間重なること
のないビット長の多いシーケンス番号の伝送を行なった
り、ソフトウェアによって対策が行なわれたりしていた
が、シストリックアレイのような細粒度並列処理を行な
うための計算機間結合網に対しては、通信の度にソフト
ウェアが動作したり、ヘッダー情報が多くなるような異
常動作対策は、処理速度が遅くなるため、特に対策はと
られていなかった。

【０００９】以上のように、従来はシストリックアレイ
のような細粒度並列処理時の高いシステム性能と、メッ
セージ到着順序を両立させることは困難であった。

【００１０】さらに、メモリを有する複数のＰＥにより
構成される並列計算機等の並列処理装置において多くの
ＰＥ数で分散共有メモリを実装する場合、ＰＥの構成部
品の一つであるプロセッサのアドレスバスの大きさによ
って分散共有メモリの最大容量が決められる。従来の並
列計算機においてはＰＥ数と各ＰＥに実装されているメ
モリの容量の積（システム全体のメモリ容量もしくは分
散共有メモリで使用できる最大メモリ容量）がプロセッ
サのアドレスバスで充分表現可能な範囲であったため、
問題は生じなかったが分散共有メモリで使用できるメモ
リ容量がプロセッサのアドレスバスで表現できる範囲を
超越して大きくなる場合において従来の方法では対応す
ることができない。

【００１１】また、並列計算機のアプリケーションの科
学技術計算向け等のような一部のものでは、同じアドレ
ス間に対してブロック状のデータを何度も転送する必要
がある。従来ではこの様なアプリケーションにおいてブ
ロック状のデータを転送する場合はＤＭＡ（Ｄｉｒｅｃ
ｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コントローラを用い
て転送を実行しなければならなかった。これらの方法で
はブロック状のデータを転送する時に必ずシステムプロ
グラムが起動してしまうので１回で数十μｓ〜数百μｓ
程度のソフトウェアオーバーヘッドがかかってしまい処
理の高速化が望めない。

【００１２】

【発明が解決しようとする課題】上述したように、並列
計算機において、故障したＰＥがシステムに存在した場
合や、ＰＥ数が多くなった時、１ＰＥあたり複数の同期
を取りたい時に高速な同期処理を実施することが困難で
あった。

【００１３】本発明は、上記課題に鑑みてなされたもの
で、システムに故障したＰＥが存在したり、ＰＥ数が多
くなった場合においても１ＰＥで複数の種類の同期を高
速に取ることのできる並列処理装置を提供することを目
的とする。

【００１４】また、並列処理装置の細粒度処理時のＰＥ
間通信において、簡単なハードウェアによって、システ
ム全体の性能を低下させることなく、計算機結合網の異
常動作を即座に検出することのできる並列処理装置を提
供することを目的とする。

【００１５】また、分散共有メモリを有する大規模な並
列処理装置を構成する場合、プロセッサのアドレスバス
の大きさ以上の分散共有メモリを使用することが困難で
あった。また、複数のユーザで使用する時のプロテクシ
ョンやブロック状のデータ転送をシステムプログラムの
仲介なしに高速で行なうことが困難であった。

【００１６】本発明は、上記課題に鑑みてなされたもの
で、分散共有メモリを用いた並列処理装置において汎用
マイクロプロセッサの改造をすること無くプロセッサの
アドレスバスの大きさ以上のメモリを使用し、ブロック
状のデータ転送をシステムプログラムの仲介なしで高速
に行なうことのできる並列処理装置を提供することを目
的とする。

【００１７】

【課題を解決するための手段】上記目的を達成するため
本願第１の発明は、それぞれが独立に動作し得る複数の
電子回路を構成要素とする並列処理装置であって、前記
複数の電子回路のそれぞれに接続され同期の種類を表す
同期番号を通知する同期番号放送バスと、前記複数の電
子回路のそれぞれに接続され論理積機能を具備する同期
判定バスと、同期番号放送バスを介して通知する同期番
号を制御する同期コントローラと、この同期コントロー
ラに同期番号を与える同期番号設定手段と、この同期番
号設定手段で設定された同期番号に対応して、前記複数
の電子回路のそれぞれに接続される同期判定バスが全て
同期完了状態になったことを検知する検知手段とを有す
ることを要旨とする。

【００１８】望ましくは、電子回路ブロック内に使用し
ない同期番号の応答義務をマスクする為の同期番号マス
ク手段を有すると良い。

【００１９】また、望ましくは、電子回路ブロックが同
期の応答義務を遂行しなくても対応する同期判定バスで
同期がとれたことにすることを指示する無条件同期完了
信号を具備する同期コントローラを有すると良い。

【００２０】さらに望ましくは、同期コントローラに接
続されている同期判定バスの状態を知る手段と、同期コ
ントローラ間の同期判定を行なう同期コントローラ間同
期判定手段および同期コントローラ間の同期が完了した
ことを電子回路ブロックへ通知する全体同期完了通知手
段を有すると良い。

【００２１】また、本願第２の発明は、ネットワークを
介して接続される複数の電子回路を構成要素とする並列
処理装置であって、これら複数の電子回路間の通信に関
し、少なくとも送信側電子回路はメッセージ送信手段と
短ビット長の数値系列を発生する数値系列発生手段とを
具備し、受信側電子回路はメッセージ受信手段と前記数
値系列発生手段で発生された数値系列の順序を検査する
検査手段を具備し、送信側電子回路のメッセージ送信手
段にあっては、メッセージ送信の際には数値系列発生手
段で発生された数値系列を各メッセージのヘッダに付加
して送信し、受信側電子回路のメッセージ受信手段にあ
っては、受信したメッセージの数値系列の順序の検査を
検査手段で行なうことを要旨とする。

【００２２】望ましくは、送信側電子回路としてのＰＥ
が一定の数のメッセージを送信する毎に、あるいは一定
時間毎に、それまでに送信されたメッセージ列によって
生成された検査符号を伝送し、受信側電子回路としての
ＰＥでそれまでに伝送されたメッセージの順序の正当性
を検査すると良い。

【００２３】また、本願第３の発明は、メモリを有し、
それぞれが独立に動作し得る複数の電子回路を構成要素
とする並列処理装置であって、前記各電子回路はそれぞ
れのメモリを各電子回路で走行するプロセスのユーザ空
間にマッピングし、このマッピングに基づいて任意の電
子回路で発生したメモリアドレスが他の電子回路のメモ
リに対応することが判別されるときには当該他の電子回
路へのリモートアクセスメッセージを生成するリモート
アクセスメッセージ生成手段と、このリモートアクセス
メッセージ生成手段で生成されるリモートアクセスメッ
セージの受信に応じてこのリモートアクセスメッセージ
の内容に対応する応答を行なうリモートアクセスメッセ
ージ応答手段とを有することを要旨とする。

【００２４】望ましくは、各電子回路としてのＰＥで走
行するプロセスのユーザ空間にマッピングされる他ＰＥ
の数と他ＰＥの１つあたりのメモリ容量を可変させる手
段を具備すると良い。

【００２５】また、望ましくは、システムに複数のユー
ザまたは複数のプロセスが実在するマルチプロセッサシ
ステムにおいて、各プロセスの生存中は他ＰＥのメモリ
をプロセスのユーザ空間に固定的にマッピングし、ユー
ザまたはプロセスを識別する識別情報付加手段を具備す
るリモートアクセスメッセージ生成部と、リモートアク
セスメッセージ中の識別情報により他ＰＥにおける自メ
モリのアクセス権限を判定し、リモートアクセスの内容
とアクセス権限の判定の結果に対応する応答を行なう手
段を具備するリモートアクセス応答部を具備すると良
い。

【００２６】さらに、本願第４の発明は、メモリを有
し、それぞれが独立に動作し得る複数の電子回路を構成
要素とする並列処理装置であって、あらかじめブロック
状のデータ授受を要求するリモートアクセスメッセージ
に反映される通信制御語をユーザモードではアクセス不
可能なシステム領域に格納する格納手段と、この格納手
段でシステム領域に格納される通信制御語の起動を指示
するアドレスをユーザモードからアクセス可能なユーザ
空間にマッピングするマッピング手段とを有することを
要旨とする。

【００２７】

【作用】上述の如く構成すれば、本願第１の発明の並列
処理装置は、同期コントローラは同期番号設定手段によ
り電子回路で使用される同期の種類を表す同期番号が設
定され、同期コントローラに接続されている同期番号放
送バスを用いて同期番号を電子回路に通知する。電子回
路にはｎ本の同期番号放送バスおよび論理積の機能を具
備する同期判定バスが接続されており、同期番号放送バ
スおよび同期判定バスはそれぞれ複数の電子回路が接続
されている。

【００２８】電子回路は、電子回路に接続されているｎ
本の同期番号放送バスのうち、予め決められている優先
度の高い順に同期番号放送バスより通知されている同期
番号に対して同期点に到達しているかを調べ、同期点に
到達していて、かつ、優先度の一つ高い同期判定バスの
状態がアクティブ（同期がとれている状態）であれば、
同期番号放送バスに対応した同期判定バスに出力する信
号をアクティブにする。

【００２９】同期判定バスは論理積機能を持つように構
成されているので同期判定バスに接続された全ての電子
回路が同期判定バスへの出力信号をアクティブにしない
と同期判定バスはアクティブとならないので、同期判定
バスがアクティブになると同期判定バスに接続されてい
る全ての電子回路の同期が完了したことになる。

【００３０】また、１つでも同期点に到達していない電
子回路が存在すれば、同期点に到達していない電子回路
に接続されている同期判定バスがネガティブになったま
まであるから、電子回路がｎ本の同期番号放送バスのう
ち、優先度の高い順に同期判定を行ない、同期点に到達
し、かつ、優先度の一つ高い同期判定バスがアクティブ
の時に同期判定バスに出力する信号をアクティブにして
いけば、同期点に到達していない電子回路に接続された
同期判定バスはネガティブになったままであるので、そ
れ以降の優先度が低い同期判定バスは必ずネガティブに
なったままである。

【００３１】以上より、同期完了のチェックは電子回路
の優先度の最も低い同期判定バスの状態をチェックする
だけでシステム全体の同期状態を知ることができる。優
先度の最も低い同期判定バスがアクティブなら同期が完
了したことを示し、ネガティブなら同期が完了していな
いことを示している。

【００３２】また、電子回路にｎ本の同期番号放送バス
から通知される同期番号に対する同期の応答義務をマス
クする為の同期番号マスク手段を具備し、同期コントロ
ーラから同期番号放送バスを経由して電子回路に入力さ
れる同期番号のうち、電子回路では予め同期の応答義務
をマスクされた同期番号が入力されたとき、同期の応答
義務をマスクされた同期番号が入力された同期番号放送
バスに対する同期の結果は、たとえ同期状態レジスタで
同期点に到達したことを示す状態に設定されていない場
合でも同期点に到達していることにしてもよい。

【００３３】これにより、電子回路で使用しない同期番
号がシステム内に存在する時、同期番号マスク手段によ
り同期番号放送バスから通知される同期番号に対応する
同期の応答義務をマスクすることができるので、電子回
路は使用しない同期番号に対して同期の処理をする必要
がなくなり、電子回路の負荷を低減させると共に関与し
ない同期番号に対する同期の応答をするために電子回路
にコンテクストスイッチさせて応答を待つ必要がなくな
るので同期を高速化できる。

【００３４】また、電子回路が同期の応答義務を遂行し
なくても対応する同期判定バスで同期がとれたことにす
ることを指示する無条件同期完了信号を具備する同期コ
ントローラを具備し、システム内の任意の電子回路間で
同期をとることとしても良い。

【００３５】これにより、同期コントローラは、同期を
とる必要のない電子回路ブロックに対して、同期コント
ローラから要求される同期の応答義務を遂行しなくても
同期コントローラに対応する同期判定バスで同期が取れ
たことを指示する無条件同期完了信号を同期コントロー
ラに接続し、電子回路では同期番号放送バスや同期判定
バスのようにｎ本の無条件同期完了信号を接続する手段
を具備することで、同期をとる必要のない電子回路が同
期の処理を行なう必要がなくなり、電子回路の負荷が低
減されると共に関与しない同期番号に対する同期の応答
をするために電子回路にコンテクストスイッチさせて応
答を待つ必要がなくなるので同期を高速化できる。

【００３６】例えば、故障した電子回路がシステム中に
存在する場合、同期コントローラから故障した電子回路
に接続されている無条件同期完了信号をアクティブと
し、故障した電子回路に接続されているｎ本の無条件同
期完了信号により同期判定バスが無条件で同期が取れた
ことにすることにより、故障した電子回路によって故障
した電子回路に接続されているｎ本の同期判定バスが常
に同期を取れていない状態にされても、故障した電子回
路および故障した電子回路に接続されているｎ本の同期
判定バスと接続されている電子回路を除く電子回路間で
同期をとることができる。

【００３７】また、同期コントローラは接続されている
同期判定バスの状態を知る手段と、同期コントローラ間
の同期判定を行なう同期コントローラ間同期判定手段お
よび同期コントローラ間の同期が完了したことを電子回
路へ通知する全体同期完了通知手段を具備し、システム
内の任意の電子回路間で同期をとることとしても良い。

【００３８】この場合、まず全ての同期コントローラと
接続されている同期コントローラ間同期判定手段が同期
コントローラに接続されている全ての同期判定バスの同
期がとれていることを調べる。同期コントローラ間同期
判定手段により全ての同期判定バスの同期がとれている
ことが分かれば、同期判定バスに接続されている電子回
路ブロックも同期が取れていることになるので、システ
ム全体の電子回路ブロック間で同期が取れたことを知る
ことができる。

【００３９】電子回路ブロックの同期がとれたことが分
かれば、同期の完了を全ての電子回路ブロックに通知す
る為に、全体同期完了通知手段を用いて全ての電子回路
ブロックに同期の完了が通知される。

【００４０】なお、同期コントローラ間に同期判定バス
と同等の機能を具備することにより電子回路ブロックに
接続される同期判定バスの本数を低減させることができ
るので、電子回路ブロック間の同期判定バスに使用され
る配線量が少なくなり、同期判定バスの本数が低減した
分だけ電子回路ブロック内の同期処理に必要な手段が簡
略化できるが、同期コントローラ間の同期状態を調べる
同期コントローラ間同期判定手段および同期の完了を全
ての電子回路ブロックに通知するための全体同期完了通
知手段という特別な仕掛が必要となる。

【００４１】また、本願第２の発明の並列処理装置は、
送信メッセージのヘッダに、短ビット長の数値系列発生
器によりハード的に規則的な数値系列を発生し挿入し、
受信側で同様の発生器からの数値系列と比較することに
より、少ないハード量と、少ないヘッダー中のビット使
用量で、リアルタイムにメッセージの順序の正当性を検
査することができる。

【００４２】また、有限ビット長の数値系列では検出で
きないメッセージの追い越しの検出が可能な検査符号生
成器をメッセージ送信部とメッセージ受信部に具備し
て、一定のメッセージ数毎にチェックポイントを設け、
チェックポイント間の送信データから生成した検査符号
を伝送し、追い越し検出を行なうようにしても良い。

【００４３】これにより、従来、検出できなかったメッ
セージの順序の狂いを、それまでに送信側電子回路とし
てのＰＥで送信したメッセージ列に対する検査符号を生
成してチェックポイント毎に伝送し、受信側電子回路と
してのＰＥでそれを検査することにより、検出すること
ができる。

【００４４】本願第３の発明の並列処理装置は、メモリ
を有する複数の電子回路としてのＰＥから構成されるマ
ルチプロセッサシステムにおいて、ＰＥで走行するプロ
セスが自ＰＥを含む複数のＰＥに実装されている物理メ
モリをユーザ空間にマッピングし、ＰＥで走行するプロ
セスがユーザ空間をアクセスした時、アクセスされたメ
モリアドレスが他ＰＥ上に実装されている物理メモリに
対応する場合、ユーザ空間のメモリアクセスはリモート
アクセスメッセージ生成部によりリモートアクセスメッ
セージに変換され、リモートアクセスメッセージはネッ
トワークを通って目的とするＰＥに伝達される。

【００４５】ネットワークから入力されたリモートアク
セスメッセージはリモートアクセスメッセージ応答部で
受けられ、リモートアクセスメッセージに対応した処理
を行う。ここでリモートアクセスメッセージがリモート
メモリに対するライト動作を指示するリモートライトメ
ッセージであれば、リモートアクセスメッセージ応答部
はリモートアクセスメッセージで送られたメモリアドレ
スに対してデータを自ＰＥ内のメモリに書き込む。ま
た、リモートアクセスメッセージがリモートメモリに対
するリード動作を指示するリモートリードメッセージで
あれば、リモートアクセスメッセージ応答部は自ＰＥ内
のメモリからリモートアクセスメッセージに記載された
メモリアドレスのデータを読み込み、読み込まれたデー
タをリモートアクセスレスポンスメッセージという形の
リモートアクセスメッセージに変換し、再びネットワー
クを通してリモートリードメッセージを送信したＰＥに
伝送する。

【００４６】ネットワークよりリモートアクセスレスポ
ンスメッセージを受信したＰＥは、リモートアクセスメ
ッセージ応答部によりリード結果をＰＥに含まれるプロ
セッサに返す。このようにＰＥ上で走行するプロセスは
ユーザ空間に他ＰＥの物理メモリをマッピングすること
ができるので、本発明により他ＰＥとの間で分散した共
有メモリを持つことが可能となる。

【００４７】また、各ＰＥで走行するプロセスのユーザ
空間にマッピングされる他ＰＥの数と他ＰＥの一つあた
りのメモリ容量を可変させるようにしても良い。

【００４８】これにより、ＰＥで走行するプロセスが自
ＰＥを含む複数のＰＥに実装されている物理メモリをユ
ーザ空間にマッピングする時に、プロセスにマッピング
される他ＰＥ数と、他ＰＥ一つあたりのマッピングされ
るメモリ容量を可変にする手段を具備することになる。
すなわち、マッピングされる他ＰＥ数が少ない時は自Ｐ
Ｅの近傍のＰＥのみ使用することで他ＰＥ一つあたりの
マッピングされるメモリ容量を大きくし、マッピングさ
れる他ＰＥ数が多い時は遠方までのＰＥを使用するかわ
りに他ＰＥ一つあたりのマッピングされるメモリ容量を
小さくする。これにより、物理的に制限のあるプロセッ
サのアドレスバスを用いても、プロセスは物理メモリを
ユーザ空間にマッピングする時にプロセスの特性によ
り、少しのＰＥでも、多くのＰＥでもメモリを最大限に
使用することができる。

【００４９】また、システムに複数のユーザまたは複数
のプロセスが実在するマルチプロセッサシステムにおい
て、各プロセスの生存中は他ＰＥのメモリをプロセスの
ユーザ空間に固定的にマッピングし、ユーザまたはプロ
セスを識別する識別情報付加手段を具備するリモートア
クセスメッセージ生成部と、リモートアクセスメッセー
ジ中の識別情報により他ＰＥにおける自メモリのアクセ
ス権限を判定し、リモートアクセスの内容とアクセス権
限の判定の結果に対応する応答を行なう手段を具備して
もよい。

【００５０】これにより、システム内に複数のユーザま
たは複数のプロセスが存在する場合、共有してメモリを
使用するプロセス単位で、各プロセスに他ユーザのプロ
セスと判別できるような識別情報を付加し、各プロセス
の生存中は他ＰＥのメモリをプロセスのユーザ空間に固
定的にマッピングし、ユーザまたはプロセスを識別する
識別情報付加手段を具備するリモートアクセスメッセー
ジ生成部と、リモートアクセスメッセージ中の識別情報
により他ＰＥにおける自メモリのアクセス権限を判定
し、リモートアクセスの内容とアクセス権限の判定の結
果に対応する応答を行なう手段を具備するリモートアク
セスメッセージ応答部を具備することになる。

【００５１】例えば、ＰＥは他ＰＥで走行するプロセス
からメモリをマッピングされた時に、プロセスの識別情
報と、使用開始アドレスおよび使用されるメモリの大き
さを記憶しておく。プロセスが他ＰＥにマッピングされ
たユーザ空間をアクセスした時、識別情報付加手段を具
備するリモートアクセスメッセージ生成部によりリモー
トアクセスメッセージにプロセスの識別情報が付加さ
れ、リモートアクセスメッセージを受信したＰＥは、リ
モートアクセスメッセージ応答部によりリモートアクセ
スメッセージに付加されている識別情報と、メモリアド
レスからメモリのアクセス権限を判断し、アクセス権限
があればリモートアクセスメッセージに示されている処
理を実施する。また、アクセス権限がなければリモート
アクセスメッセージに記述されていたことに誤りがある
と考えられるので、リモートアクセスメッセージを送信
したＰＥにプロテクションエラーであることを通知す
る。本発明により、システムをマルチユーザ、マルチタ
スクの環境で動作させた時に、不正なリモートアクセス
を防止することができ、誤って他ユーザのメモリ領域を
破壊することを防止できる。

【００５２】本願第４の発明の並列処理装置は、電子回
路としてのＰＥで走行するプロセスがブロック状のデー
タ授受を行う前に、ＯＳ等のシステムプログラムに目的
とするブロック状のデータの授受を行う通信制御語をシ
ステム領域に用意してもらい、ユーザモードでアクセス
可能なユーザ空間に通信制御語の起動を指示するアドレ
スをマッピングしてもらう。実際にプロセスがブロック
状のデータを授受する時は、システムプログラムによっ
てマッピングされた通信制御語の起動を指示するアドレ
スをアクセスすればよい。通信制御語の起動を指示する
アドレスがアクセスされると、プロセッサからメモリア
ドレスが出され、リモートアクセスメッセージ生成部は
プロセッサから受け取ったメモリアドレスに対応する通
信制御語を読み取り、通信制御語に記述されたリモート
アクセスメッセージを順次生成し、ネットワークを経由
して、目的とするＰＥのリモートアクセスメッセージ応
答部に伝達する。リモートアクセスメッセージ応答部は
リモートアクセスメッセージに指示されている応答を行
い、必要があれば他ＰＥにリモートアクセスメッセージ
に対する応答のリモートアクセスレスポンスメッセージ
を送信する。本発明により、ブロック状のデータを授受
する時はユーザ空間に割り当てられた通信制御語の起動
を指示するアドレスをアクセスするだけでＯＳ等のシス
テムプログラムの仲介なしにブロックアクセスが可能と
なるので、高速にブロック状のデータの授受が可能とな
る。

【００５３】

【実施例】以下、本発明に係る一実施例を図面を参照し
て説明する。図１は本発明に係る並列処理装置の構成を
示したブロック図である。

【００５４】図１は第１の発明にかかる第１の実施例を
示した図であり、電子回路ブロック（若しくは、単に電
子回路或いはＰＥ）として並列計算機におけるＰＥを４
つ（ＰＥ０、ＰＥ１、ＰＥ２およびＰＥ３）使用し、１
つのＰＥには２本の同期番号放送バスＢ3 および同期判
定バスＢ5 を接続する。同期判定バスＢ5 は論理積機能
を実施する為にワイヤード論理和により構成されてい
る。

【００５５】ＰＥ０には同期番号放送バスＢ3a、同期番
号放送バスＢ3c、同期判定バスＢ5aおよび同期判定バス
Ｂ5cが接続され、ＰＥ１、ＰＥ２およびＰＥ３も同様に
同期番号放送バスＢ3 と同期判定バスＢ5 が接続され
る。同期番号設定手段１０として同期コントローラ３に
同期番号を通知する同期番号初期化バスＢ1 および同期
番号初期化バスＢ1 に同期番号を出力する同期番号コン
トローラ１が用いられる。

【００５６】図２は第１の実施例における電子回路ブロ
ック（ＰＥ）の構成図であり、同期を取る為の同期手段
５７と、ＣＰＵ５１と、メモリ５３および同期手段５７
とＣＰＵ５１を接続する為のＣＰＵインタフェース５５
を具備している。

【００５７】同期手段５７は、同期番号放送バスＢ3 と
同期判定バスＢ5 に接続されており、同期番号放送バス
Ｂ3 より入力された同期番号に対応するＣＰＵ５１の同
期状態を格納する同期状態レジスタ５７３，５７７およ
び複数の同期番号放送バスＢ3 から入力される同期番号
に対する同期処理の協調制御を行なう行・列間協調制御
部５７５から構成されている。

【００５８】図２の同期判定バスＢ50は、例えば図１に
おけるＰＥ０およびＰＥ２の同期判定バスＢ5aと対応
し、ＰＥ１およびＰＥ３の同期判定バスＢ5bと対応す
る。図２の同期判定バスＢ51は図１におけるＰＥ０およ
びＰＥ１の同期判定バスＢ5cに対応し、ＰＥ２およびＰ
Ｅ３の同期判定バスＢ5dに対応する。図２の同期番号放
送バスＢ30は図１におけるＰＥ０およびＰＥ２の同期番
号放送バスＢ3aに対応し、ＰＥ１およびＰＥ３の同期番
号放送バスＢ3bに対応する。図２の同期番号放送バスＢ
31は図１におけるＰＥ０およびＰＥ１の同期番号放送バ
スＢ3cに対応し、ＰＥ２およびＰＥ３の同期番号放送バ
スＢ3dに対応する。

【００５９】図１に示される実施例で同期をとるとき、
ＰＥで使用される同期番号を予め同期番号コントローラ
１に設定し、同期番号コントローラ１は一定の時間毎に
設定されている同期番号を順次、同期番号初期化バスＢ
1 を用いて同期コントローラ３に通知する。同期コント
ローラ３は同期番号初期化バスＢ1 から通知された同期
番号を同期番号放送バスＢ3 を用いてＰＥに通知する。

【００６０】ＰＥでは同期番号放送バスＢ30により通知
された同期番号に対して同期点に到達しているかを同期
状態レジスタ５７３の値により調べ、同期点に到達して
いれば同期判定バスＢ50に出力する信号をアクティブと
し、同期点に到達していなければ同期判定バスＢ50に出
力する信号をネガティブにしたままとする。次にＰＥは
同期番号放送バスＢ31より通知された同期番号に対して
同期点に到達しているかを同期状態レジスタ５７７の値
により調べ、同期判定バスＢ50がアクティブであり、か
つ、同期点に到達しているのであれば同期判定バスＢ51
に出力する信号をアクティブとする。ＰＥ０が同期番号
放送バスＢ31より通知された同期番号に対して同期点に
到達していなかったり、同期判定バスＢ50がネガティブ
の状態であるのならば同期判定バスＢ51に出力する信号
はネガティブのままとなる。

【００６１】同期判定バスＢ5 はワイヤード論理和で構
成されているので同期判定バスＢ5aをアクティブ（すな
わち同期が取れた状態）にするには、ＰＥ０とＰＥ２の
２つが同期点に到達していなければならず、同期判定バ
スＢ5bをアクティブにするには、ＰＥ１とＰＥ３の２つ
が同期点に到達していなければならない。同期判定バス
Ｂ5cをアクティブにする為にはＰＥ０とＰＥ１が同期点
に到達していて、かつ、ＰＥ０に接続されている同期判
定バスＢ5aとＰＥ１に接続されている同期判定バスＢ5b
がアクティブでなければならない。

【００６２】従って、同期判定バスＢ5cがアクティブに
なったということはＰＥ０、ＰＥ１、ＰＥ２およびＰＥ
３で同期が取れたことになる。同期判定バスＢ5dについ
ても同期判定バスＢ5cと同様で、ＰＥ０、ＰＥ１、ＰＥ
２およびＰＥ３で同期が取れたときにアクティブとな
る。

【００６３】このように同期の完了チェックはＰＥ０と
ＰＥ１では同期判定バスＢ5cの状態を調べれば良く、Ｐ
Ｅ２とＰＥ３では同期判定バスＢ5dの状態を調べるだけ
で良い。同期が完了したら、行・列間協調制御部５７５
はＣＰＵインタフェース５５を経由してＣＰＵ５１に同
期の完了を通知する。

【００６４】図３は第２の実施例を示した図であり、第
１の実施例における図１の電子回路ブロック構成図を示
している。図３の同期判定バスＢ50は図１におけるＰＥ
０およびＰＥ２の同期判定バスＢ5aに対応し、ＰＥ１お
よびＰＥ３の同期判定バスＢ5bに対応する。図３の同期
判定バスＢ51は図１におけるＰＥ０およびＰＥ１の同期
判定バスＢ5cに対応し、ＰＥ２およびＰＥ３の同期判定
バスＢ5dに対応する。図３の同期番号放送バスＢ30は図
１におけるＰＥ０およびＰＥ２の同期番号放送バスＢ3a
に対応し、ＰＥ１およびＰＥ３の同期番号放送バスｂに
対応する。図３の同期番号放送バスＢ31は図１における
ＰＥ０およびＰＥ１の同期番号放送バスＢ3cに対応し、
ＰＥ２およびＰＥ３の同期番号放送バスＢ3dに対応す
る。

【００６５】電子回路ブロックは、２本の同期番号放送
バスＢ3 と同期判定バスＢ5 に接続されており、電子回
路ブロックで使用しない同期番号に対して自動的に同期
の応答処理を実施する同期番号マスク手段と、ＣＰＵ
と、メモリおよびＣＰＵと同期番号マスク手段を接続す
るＣＰＵインタフェースより構成されている。同期番号
マスク手段は、電子回路ブロックが使用しない同期番号
に対する同期の応答義務をマスクすることを指示する同
期マスクレジスタ５７４，５７６と、ＣＰＵ５１から同
期の状態を格納する同期状態レジスタ５７３Ａ，５７７
Ａと、同期番号放送バスＢ30と同期番号放送バスＢ31か
ら入力される同期に対する協調制御を行なう行・列間協
調制御部５７５から構成される。

【００６６】電子回路ブロックは予め使用しない同期番
号に対して同期番号マスクレジスタ５７４に同期の応答
義務をマスクすることを設定しておく。電子回路ブロッ
クは同期番号放送バスＢ30から入力された同期番号に対
する同期状態レジスタ５７３Ａと同期番号マスクレジス
タ５７４の状態を調べ、同期番号放送バスＢ30により入
力された同期番号に対して同期点に到達しているか、ま
たは、同期番号マスクレジスタ５７４により入力された
同期番号がマスクされていることが判明すれば同期判定
バスＢ50に出力する信号をアクティブにする。

【００６７】同期番号放送バスＢ31から入力された同期
番号に対しては、同期状態レジスタ５７７Ａと同期番号
マスクレジスタ５７６の状態を調べ、同期番号放送バス
Ｂ31により入力された同期番号に対して同期点に到達し
ているか、または、同期番号マスクレジスタにより入力
された同期番号がマスクされていることが判明し、か
つ、同期判定バスＢ50が同期の取れたアクティブの状態
であれば同期判定バスＢ51に出力する信号をアクティブ
にする。

【００６８】同期判定バスＢ5 はワイヤード論理和で構
成されているので同期判定バスＢ5に接続された全ての
電子回路ブロックが同期判定バスＢ5 に出力する信号を
アクティブ、すなわち同期がとれた状態にしなければ同
期判定バスＢ5 はアクティブにならない。同期の完了は
第１の実施例と同様に電子回路ブロックに接続されてい
る全ての同期判定バスＢ5 がアクティブになった状態で
表される。実際には優先度の最も低い同期判定バスＢ5
がアクティブになった状態である。

【００６９】本実施例では、同期判定バスＢ5 がアクテ
ィブとなった状態が同期を完了したことになり、行・列
間協調制御部５７５はＣＰＵインタフェース５５を経由
してＣＰＵに同期の完了を通知する。ここで、各ＰＥの
同期番号マスクレジスタ５７４，５７６が図４（０がマ
スクされておらず、１がマスクされている状態を表す）
であり、同期状態レジスタが図５（０が同期点に到達し
ておらず、１が同期点に到達したことを表す）の状態の
ときに同期番号１に対する同期を取る場合、同期番号コ
ントローラから同期番号初期化バスＢ1 を経由して各同
期コントローラ３に同期番号１が伝達される。

【００７０】同期コントローラ３は同期番号放送バスＢ
3 を使用して各ＰＥに同期番号１を伝達する。ＰＥは図
４に示される同期番号マスクレジスタ５７４，５７６の
値と、図５に示される同期状態レジスタ５７３Ａ，５７
７Ａの値を調べて図６のように同期判定バスＢ50に出力
する信号を出す。図６において、１がアクティブを示
し、０がネガティブを示す。

【００７１】図６から、ＰＥ０、ＰＥ２およびＰＥ３は
同期点に到達しているが、ＰＥ１は同期点に到達してい
ないことが読みとれるので、同期判定バスＢ5aは１とな
り、同期判定バスＢ5bは０となる。従って、同期判定バ
スＢ5cと同期判定バスＢ5dは０になる。ＰＥ１が同期点
に到達しないと同期判定バスＢ5 の信号はいつまでも変
化しないが、ＰＥ１が同期点に到達することでＰＥ１か
ら同期判定バスＢ50に出力す信号が１になり、同期判定
バスＢ5bが１となる。

【００７２】その結果、同期判定バスＢ5cと同期判定バ
スＢ5dの状態が１となるのでシステム全体での同期が完
了したことになる。ＰＥの行・列間協調制御部５７５は
自ＰＥの同期判定バスＢ51（同期判定バスＢ5cまたは同
期判定バスＢ5d）の状態を監視し、アクティブとなれば
ＣＰＵインタフェース５５を経由してＣＰＵ５１に同期
が完了したことを通知する。

【００７３】図７は第３の実施例を示した図であり、電
子回路ブロックとして並列計算機におけるＰＥを４つ
（ＰＥ０、ＰＥ１、ＰＥ２およびＰＥ３）使用し、１つ
のＰＥには２本の同期番号放送バスＢ3 、同期判定バス
Ｂ5 および無条件同期完了信号Ｂ7 を接続する。同期判
定バスＢ5 は論理積機能を実施するためにワイヤード論
理和により構成されており、ＰＥ０には同期番号放送バ
スＢ3a、同期番号放送バスＢ3c，同期判定バスＢ5a、同
期判定バスＢ5c、無条件同期完了信号Ｂ7aおよび無条件
同期完了信号Ｂ7cが接続され、ＰＥ１、ＰＥ２およびＰ
Ｅ３も同様に同期番号放送バスＢ3 と同期判定バスＢ5
および無条件同期完了信号Ｂ7 が接続されている。

【００７４】同期番号設定手段１０として同期コントロ
ーラ３に同期番号を通知する同期番号初期化バスＢ1 お
よび同期番号初期化バスＢ1 に同期番号を出力する同期
番号コントローラ１が用いられる。

【００７５】図８は第３の実施例における電子回路ブロ
ック（ＰＥ）の構成図であり、同期を取る為の同期手段
と、ＣＰＵ５１と、メモリ５３および同期手段５７とＣ
ＰＵ５１を接続する為のＣＰＵインタフェース５５を具
備している。同期手段５７は、同期番号放送バスＢ3 、
同期判定バスＢ5 および無条件同期完了信号Ｂ7 に接続
されており、同期番号放送バスＢ3 より入力された同期
番号に対応するＣＰＵ５１の同期状態を格納する同期状
態レジスタ５７３，５７７と、２本の同期番号放送バス
Ｂ3 から入力される同期番号に対する同期処理および無
条件同期完了信号Ｂ7 に対する制御処理を実施する行・
列間協調制御部５７５Ｂから構成されている。

【００７６】図８の同期判定バスＢ50は図７におけるＰ
Ｅ０およびＰＥ２の同期判定バスＢ5aに対応し、ＰＥ１
およびＰＥ３の同期判定バスＢ5bに対応する。図８の同
期判定バスＢ5 は図７におけるＰＥ０およびＰＥ１の同
期判定バスＢ5cに対応し、ＰＥ２およびＰＥ３の同期判
定バスＢ5dに対応する。図８の同期番号放送バスＢ30は
図７におけるＰＥ０およびＰＥ２の同期番号放送バスａ
に対応し、ＰＥ１およびＰＥ３の同期番号放送バスＢ3b
に対応する。図８の同期番号放送バスＢ3 は図７におけ
るＰＥ０およびＰＥ１の同期番号放送バスＢ3cに対応
し、ＰＥ２およびＰＥ３の同期番号放送バスＢ3dに対応
する。図８の無条件同期完了信号Ｂ70は図７におけるＰ
Ｅ０およびＰＥ２の無条件同期完了信号Ｂ7aに対応し、
ＰＥ１およびＰＥ３の無条件同期完了信号Ｂ7bに対応す
る。図８の無条件同期完了信号Ｂ71は図７におけるＰＥ
０およびＰＥ１の無条件同期完了信号Ｂ7cに対応し、Ｐ
Ｅ２およびＰＥ３の無条件同期完了信号Ｂ7dに対応す
る。

【００７７】図７に示される実施例で同期をとるとき、
ＰＥで使用される同期番号を予め同期番号コントローラ
１に設定し、同期番号コントローラ１は一定の時間毎に
設定されている同期番号を順次、同期番号初期化バスＢ
1 を用いて同期コントローラ３に通知する。同期コント
ローラ３は同期番号初期化バスＢ1 から通知された同期
番号を同期番号放送バスＢ3 を用いてＰＥに通知する。
また、同期コントローラ３には同期番号放送バスＢ3 を
経由して接続されている全てのＰＥで使用される無条件
で同期番号放送バスＢ3 より通達された同期番号に対す
る同期がとれたことにすることを指示する無条件同期完
了信号Ｂ7 が接続されており、同期コントローラ３に予
め設定されている同期番号に関しては無条件同期番号を
アクティブすることで、接続させているＰＥ間の同期が
無条件でとれたことにすることを指示する。ＰＥでは同
期番号放送バスＢ30により通知された同期番号に対して
同期点に到達しているかを同期状態レジスタ０の値によ
り調べ、同期点に到達していれば同期判定バスＢ50に出
力する信号をアクティブとし、同期点に到達していなけ
れば同期判定バスＢ50に出力する信号をネガティブにし
たままとする。

【００７８】次にＰＥは同期番号放送バスＢ3 より通知
された同期番号に対して同期点に到達しているかを同期
状態レジスタの値により調べ、同期判定バスＢ50がアク
ティブであるか、または、無条件同期完了信号Ｂ70がア
クティブ（無条件で同期番号放送バスＢ30に対して同期
点に到達したことにすることを指示している）であり、
同期点に到達しているのであれば同期判定バスＢ5 に出
力する信号をアクティブとする。同期判定バスＢ5 はワ
イヤード論理和で構成されているので同期判定バスＢ5a
をアクティブ（すなわち同期が取れた状態）にするに
は、ＰＥ０とＰＥ２の２つが同期点に到達していなけれ
ばならず、同期判定バスＢ5bをアクティブにするには、
ＰＥ１とＰＥ３の２つが同期点に到達していなければな
らない。

【００７９】同期判定バスＢ5cをアクティブにする為に
はＰＥ０とＰＥ１が同期点に到達していて、かつ、ＰＥ
０に接続されている同期判定バスＢ5aとＰＥ１に接続さ
れている同期判定バスＢ5bがアクティブでなければなら
ない。

【００８０】従って、同期判定バスＢ5cがアクティブに
なったということはＰＥ０、ＰＥ１、ＰＥ２およびＰＥ
３で同期が取れたことになる。同期判定バスＢ5dについ
ても同期判定バスＢ5cと同様で、ＰＥ０、ＰＥ１、ＰＥ
２およびＰＥ３で同期で同期が取れたときにアクティブ
となる。

【００８１】このように同期の完了チェックはＰＥ０と
ＰＥ１では同期判定バスＢ5cの状態を調べれば良く、Ｐ
Ｅ２とＰＥ３では同期判定バスＢ5dの状態を調べるだけ
で良い。同期が完了したら、行・列間協調制御部５７５
ＢはＣＰＵインタフェース５５を経由してＣＰＵ５１に
同期の完了を通知する。

【００８２】図９は第４の実施例を示した図であり、電
子回路ブロックとしてＰＥを４つ（ＰＥ０、ＰＥ１、Ｐ
Ｅ２およびＰＥ３）使用し、１つのＰＥには１本の同期
番号放送バスＢ3 および同期判定バスＢ5 を接続する。
同期判定バスＢ5 は論理積機能を実施する為にワイヤー
ド論理和により構成されている。

【００８３】同期コントローラ３間で同期が取れたこと
を調べる同期コントローラ間同期判定手段として同期コ
ントローラ３ａと同期コントローラ３ｂをワイヤード論
理和で接続する為の同期コントローラ間同期バスＢ9 を
具備する。同期番号設定手段として同期コントローラ３
に同期番号を通知する同期番号初期化バスＢ1 および同
期番号初期化バスＢ1 に同期番号を出力する同期番号コ
ントローラ１が用いられ、全体の同期が完了したことを
ＰＥに通知する為に同期コントローラ３からＰＥに接続
される同期完了通知信号Ｂ7 を具備する。

【００８４】図１０は第４の実施例における電子回路ブ
ロック（ＰＥ）の構成図であり、同期を取る為の同期手
段５７と、ＣＰＵ５１と、メモリ５３と、同期手段５７
とＣＰＵ５１を接続する為のＣＰＵインタフェース５５
を具備している。同期手段５７は、同期番号放送バスＢ
3 と、同期判定バスＢ5 と、同期完了通知バスＢ7 に接
続されており、同期放送バスＢ3 より入力された同期番
号に対応するＣＰＵ５１の同期状態を格納する同期状態
レジスタ５７３と、同期を制御する同期制御部５７５Ａ
から構成されている。図１０の同期判定バスＢ5 は図９
における各ＰＥの同期判定バスＢ5aまたは同期判定バス
Ｂ5bに対応し、図１０の同期番号放送バスＢ3 は図９に
おける各ＰＥの同期番号放送バスＢ3aまたは同期番号放
送バスＢ3bに対応する。

【００８５】図１０に示される実施例で同期をとるに
は、ＰＥで使用される同期番号を予め同期番号コントロ
ーラ１に設定しておき、同期番号コントローラ１は一定
の時間毎に設定されている同期番号を順次、同期番号初
期化バスＢ1 を用いて同期コントローラ３に通知する。
同期コントローラ３は同期番号初期化バスＢ1 より通知
された同期番号を同期番号放送バスＢ3 を用いてＰＥに
通知する。ＰＥでは同期番号放送バスＢ3 より通知され
た同期番号に対して同期点に到達しているかを同期状態
レジスタ５７３の値より調べ、同期点に到達していれば
同期判定バスＢ5に出力する信号をアクティブにし、同
期点に到達していなければ同期判定バスＢ5 に出力する
信号をネガティブにしたままとする。

【００８６】同期判定バスＢ5 はワイヤード論理和で構
成されているので、同期判定バスＢ5 をアクティブにす
るには、同期判定バスＢ5 に接続された全てのＰＥが同
期判定バスＢ5 に出力する信号をアクティブにしなけれ
ばならない。よって、同期判定バスＢ5aをアクティブ
（すなわち同期が取れた状態）にするには、ＰＥ０とＰ
Ｅ２の２つが同期点に到達していなければならず、同期
判定バスＢ5bをアクティブにするには、ＰＥ１とＰＥ３
の２つが同期点に到達していなければならない。

【００８７】同期コントローラ３は接続されている同期
判定バスＢ5 の状態を調べて、同期判定バスＢ5 に接続
されているＰＥが全て同期点に到達していることが判明
すれば、同期コントローラ間同期バスＢ9 に出力する信
号をアクティブにする。同期コントローラ間同期バスＢ
9 はワイヤード論理和で構成されているので、全ての同
期コントローラ３が同期点に到達していないと、信号が
アクティブとならない。

【００８８】同期コントローラ３は同期コントローラ間
同期バスＢ9 の状態を監視していて、同期コントローラ
間同期バスＢ9 がアクティブになったら接続されている
同期完了通知信号を用いてＰＥに全体の同期が完了した
ことを通知する。ＰＥでは同期完了通知信号によって同
期の完了を同期制御部に通知され、同期制御部がＣＰＵ
インタフェースを通じてＣＰＵに同期の完了を通知す
る。

【００８９】本実施例において、全体同期完了通知手段
として同期番号放送バスＢ3 と独立した同期完了通知バ
スＢ7 を具備しているが、同期コントローラ３から同期
番号放送バスＢ3 に出される所定の同期番号に直前の同
期番号に対する同期が完了した意味を持たせることによ
り、同期完了通知バスＢ7 を省略することができる。ま
た、同期コントローラ間同期判定手段は必ずしもワイヤ
ード論理和で構成されるバスを使用する必要はない。

【００９０】次に第５の実施例を説明する。電子回路ブ
ロックとして並列計算機におけるＰＥを使用し、同期番
号設定手段として同期コントローラ３に同期番号を通知
する同期番号初期化バスＢ1 と、同期番号初期化バスＢ
1 に同期番号を出力する同期番号コントローラ１と、同
期コントローラ３間の同期状態を調べる同期コントロー
ラ間同期判定手段および同期が完了した時にＰＥに同期
完了を通知する全体同期完了通知手段を具備し、１つの
ＰＥにｎ本の同期番号放送バスＢ3 および論理積機能を
実施するためにワイヤード論理和で構成されている同期
判定バスＢ5 を接続し、同期の為にＰＥ間を論理的にｎ
＋１次元に並べる。

【００９１】ＰＥをｎ＋１次元に並べる時、ＰＥに接続
されているｎ本の同期番号放送バスおよび同期判定バス
Ｂ5 によりｎ次元を実現し、残りの１次元分は同期コン
トローラ間同期判定バスを用いて構成する。始め、同期
番号放送バスＢ3 および同期判定バスＢ5 によりｎ次元
に接続されたＰＥが同期点に到達しているかを調べ、次
に残りの１次元に対して同期コントローラ間同期判定手
段により同期コントローラ３が同期点に到達しているか
をしらべる。

【００９２】全ての同期コントローラ３が同期点に到達
していることが判明すればシステム全体のＰＥで同期が
取れたことになる。以下に同期を取る為の手順を示す。
ＰＥでは予め決められている同期番号放送バスＢ3 の優
先度の高い順に同期番号放送バスＢ3 より通知された同
期番号に対して同期点に到達しているかを調べ、同期点
に到達していて、かつ、優先度の一つ高い同期番号放送
バスＢ3 に対応する同期判定バスＢ5 がアクティブなら
ば同期番号放送バスＢ3 に対応する同期判定バスＢ5 に
出力する信号をアクティブにし、同期点に到達していな
い状態や、優先度の一つ高い同期番号放送バスＢ3 に対
応する同期判定バスＢ5 の状態がネガティブならば同期
判定バスＢ5 に出力する信号をネガティブにしたままと
する。

【００９３】同期判定バスＢ5 は前述したようにワイヤ
ード論理和で構成されているので同期判定バスＢ5 をア
クティブ（すなわち同期が取れた状態）にするには、同
期判定バスＢ5 に接続されているＰＥから同期判定バス
Ｂ5 に出力される信号が全てアクティブでなければなら
ない。

【００９４】同期コントローラ３は、接続されている同
期判定バスＢ5 の状態がアクティブかどうかを監視して
いて、アクティブであれば同期コントローラ間同期判定
手段に知らせる。同期コントローラ間同期判定手段は全
ての同期コントローラ３から同期判定バスＢ5 がアクテ
ィブになったことを通知されるとシステム全体のＰＥ間
で同期が取れたことになるので、全体同期完了通知手段
を用いて同期が完了したことをＰＥに通知する。

【００９５】以上、説明したように、独立に動作する複
数の電子回路ブロックから構成されるシステムにおい
て、電子回路ブロックにｎ本の同期番号放送バスおよび
同期判定バスを具備することにより、１本の同期判定バ
スで同期を構成した時と比べて接続されているＰＥ数が
少ないので、少ない伝搬遅延で同期判定バスを駆動する
ことができる。

【００９６】本実施例において、同期の種類は同期番号
を用いて表現しているので、同期の種類数の同期判定バ
スが不要になり、多くの同期種類をサポートしても配線
数が少なくて済む。また、同期番号マスク手段を具備す
ることで、マルチユーザ環境で使用した時も他ユーザの
同期によって生じる処理のロスが少なく、不要な同期番
号を処理する時のコンテクストスイッチによる処理のロ
スを防止する。

【００９７】無条件同期完了信号を具備することによ
り、システム内に故障した電子回路ブロックが生じて
も、故障した電子回路ブロックと故障した電子回路ブロ
ックに同期判定バスを通じて接続されている電子回路ブ
ロックを除く電子回路ブロックで同期を取ることができ
る。無条件同期完了信号を具備しない場合は、システム
中に１つでも故障した電子回路ブロックが生じると全て
の電子回路ブロックで同期が取れなくなり、不便が生じ
る。

【００９８】図１１は、プロセッサ間通信を実現する手
段の一実施例であり、図１２はその送信側の、図１３は
受信側のフローチャートである。

【００９９】送信側ＰＥは、図１１および図１２に示す
ように送信するメッセージのヘッダ中に、送り先情報な
どの通常のメッセージヘッダに含まれる情報の他に、例
えば０，１，２，…，２５５のような短いビット長の、
あらかじめ定められた数値系列をメッセージの検査符号
として付加し（ステップＳ３）、送信するデータを加
え、メッセージパケットを構成し送信する（ステップＳ
５）。

【０１００】受信側では、図１３に示すようにステップ
Ｓ１３で受けとったメッセージのヘッダ部から検査符号
部分を取りだし、送信側と同一の検査符号系列（０，
１，２，…，２５５）が得られていることを検査する
（ステップＳ１５）。

【０１０１】例えば、図１４のように検査符号系列が
（０，１，２）という系列でくるべきところで、受信系
列が（０，１，３）という系列であった場合には、
（２）と受信されるべきところで（３）という系列がシ
ーケンス番号を持つメッセージが到着しているので、異
常動作が起きた時点で即座に故障発生が検出できる。

【０１０２】図１５は、他の実施例である。付加する数
値系列を、長さ８の検査符号系列として、図１５の系列
Ｂで示すような２進数表現で、00,10,01,11,10,01,00,1
1 という、同じ数値が複数回出現する系列としている。
数値系列内で同一の数値は繰り返されることがない、図
１５の系列Ａで示すような000,001,010,011,100,101,11
0,111 という系列では、多くのビット数が検査符号のた
めに必要であったが、系列Ｂでしめすような系列を使用
することにより検査符号系列のビット長を削減すること
が可能になる。

【０１０３】例えば、長さ２５６の数値系列を５ビット
の長さで表したとすると、先の例では８ビット必要であ
ったものが３ビット減少することになり、仮にメッセー
ジを１００００回送ったとすると、検査符号のビット数
を、３００００ビット削減できる。また、パラレル通信
路を用いていた場合、通信路のビット幅のきりの良いと
ころにメッセージ長を階段上に決めることができる。

【０１０４】シストリックアレイのように、通信バンド
幅が処理速度を決めるようなマシンでは通信路のビット
幅は大きく（例えば３２ビット幅）とる場合もあり、ヘ
ッダ情報を検査符号と合わせて３２ビット幅に収めるこ
とにより、例えば３２ビット幅のデータでシストリック
演算を行なったときに、ヘッダが１語、データが１語と
いうケースとヘッダが１ビットあふれたためにヘッダが
２語、データが１語というケースが生じ、全体の処理性
能が５０％分異なるという場合も想定できる。

【０１０５】ゆえに、ヘッダにおける検査符号のビット
数を小さくとれるか否かということが性能向上に大きく
寄与する場合があり、その場合の本発明の効果は非常に
大きい。

【０１０６】図１６は、他の実施例である。本実施例で
は、生成および検査が容易な、Ｍ系列乱数を検査のため
の数値系列としている。Ｍ系列乱数は、シフトレジスタ
と排他的論理和ゲートの組合せという非常に簡単なハー
ドウェアで生成できる。図１５に示す例では９段のシフ
トレジスタを使用し、周期が511 のＭ系列乱数を得てい
る。

【０１０７】受信側のシーケンス番号の検査も同様なシ
フトレジスタと排他的論理和ゲートのみで構成できる
が、通信開始時には送信側のＭ系列乱数発生器と同一の
数値系列を発生するために、送信側と同一の初期化デー
タを与えなければならない。本実施例に示す方式では、
原理上、最後のメッセージを送信した後も、特に対策を
講じなければ、シフトレジスタの段数だけダミーのメッ
セージを送らなければ、それまでのシーケンスが正しい
ことが検査できない。そこで図１７に示すように、最後
のメッセージを送った後に、送信側の系列発生器のシフ
トレジスタの状態を、受信側に送り、受信側の系列発生
器のシフトレジスタの状態と比較検査を行なうこととす
れば、ダミーメッセージを多数送ることなく、速やかに
故障発生の有無の判定を行なうことができる。

【０１０８】前述の図１５および図１６で示す実施例
と、図１１で示す実施例においてメッセージの数が使用
した数値系列のビット長で表しうる数より大きい場合に
は、メッセージヘッダに付加される検査用の数値系列が
過去に送信されたものと同一となる場合があるので、完
全には異常動作の検出を行なうことができない。

【０１０９】そこで、本実施例では、それまでに送った
メッセージ列に対して、適当なメッセージ数毎、あるい
は期間を定めて、それまでに送信されたメッセージ列の
追い越し検出が可能なような、例えば図２０で示すよう
な巡回冗長多項式を応用した回路で検査符号を発生し、
それを受信側に伝送し、受信側ＰＥで受けとったメッセ
ージ列から送信側と同一の方法で生成した検査符号と、
送信側ＰＥから送られてきた検査符号とを比較し、前述
の実施例の方式では検出できなかった故障の検出を行な
う。

【０１１０】図１８は送信側の動作を説明するためのフ
ローチャート、図１９は受信側の動作を説明するための
フローチャートである。

【０１１１】まず、図１８を参照するに、ステップＳ２
１でメッセージを送信し、チェックポイントで（ステッ
プＳ２５）、検査符号を送信する（ステップＳ２７）。
また、送信が終了したときには検査符号を送信（ステッ
プＳ２９）して終了する。

【０１１２】図１９を参照するに、ステップＳ３１でメ
ッセージを受信し、ステップＳ３３で到着したメッセー
ジが検査符号であるかどうかを判断し、検査符号でなけ
ればステップＳ３５に進み、メッセージが検出符号であ
る場合にはステップＳ３７に進む。また、ステップＳ３
５で受信メッセージの異常が検出されたときにはステッ
プＳ４５に進み、異常検出として終了する。またステッ
プＳ３５で受信メッセージの異常が検出されないときに
はステップＳ４３に進み受信処理を行ったのち、ステッ
プＳ３１に戻り、待機状態となる。

【０１１３】一方、ステップＳ３３でメッセージが検査
符号であるときには、ステップＳ３７に進み、受信した
検査符号が一致するか否かを見る。一致しないときに
は、ステップＳ４５に進み、異常検出として終了する。
また、ステップＳ３７で一致したときには終了（ステッ
プＳ３９，Ｓ４１）もしくはステップＳ３１に戻り、待
機状態となる。

【０１１４】以上、説明したように本実施例は、従来で
は行われていなかった細粒度通信を行なう計算機結合網
における、低オーバーヘッドにしてリアルタイムでの結
合網の異常動作検出が行なうことができるため、システ
ムの信頼性向上に寄与することが可能となる。

【０１１５】また、メッセージの追い越しを、受信側Ｐ
Ｅのみで検出でき、送信元ＰＥに問い合わせることがな
いため、計算機ネットワーク内でのメッセージのトラフ
ィックを増加させず、なおかつ送信側ＰＥでは送信した
メッセージを伝送路の障害の検査のために、データを保
持したり、処理を行なう必要が無いため、計算機の負荷
が軽くなり、計算機システム全体の性能向上に寄与す
る。

【０１１６】また、検査を少ないビット数の検査符号を
加えることでできるため、パラレル通信時のヘッダ語数
の増加を押え、シストリック動作時の大幅な性能低下を
防止できる。さらに、従来、検出できなかった計算機結
合網のより完全な、異常動作の検出を行なうことができ
る。それにより、計算機システムの信頼性向上に寄与す
ることが可能となる。

【０１１７】図２１は本発明にかかる一実施例を示した
図であり、並列計算機におけるＰＥの内部構成を示して
いる。図２１において、ＰＥ４１はプロセッサ４１１、
１６ＭＢのメモリ４１３、プロセッサ４１１からのメモ
リアドレスが他ＰＥの物理メモリに対応する場合に、他
ＰＥへのリモートアクセスメッセージを生成し、また、
ユーザまたはプロセスを識別する識別情報付加手段が具
備されたリモートアクセスメッセージ生成部４１７、リ
モートアクセスメッセージを受信するとリモートアクセ
スメッセージ中の識別情報により自メモリに対するアク
セス権限を調べ、アクセス権限がある時にリモートアク
セスメッセージに対応する応答を行うリモートアクセス
メッセージ応答部４１９、ブロック状のデータを送信す
る時にリモートアクセスメッセージに反映される通信制
御語を格納する通信制御語格納領域４１５およびリモー
トアクセスメッセージが目的とするＰＥに送受信する為
に使用されるネットワークと接続されているルーティン
グ部４２１より構成されている。

【０１１８】また、これらプロセッサ４１１、メモリ４
１３、通信制御語格納領域４１５、リモートアクセスメ
ッセージ生成部４１７およびリモートアクセスメッセー
ジ応答部４１９はプロセッサバスＢp を用いて接続され
ている。

【０１１９】図２２はＰＥ間の接続例を示したもので、
図２１に示されている４つのＰＥ（ＰＥ０、ＰＥ１、Ｐ
Ｅ２およびＰＥ３）をネットワークで接続している。

【０１２０】図２３は、ＰＥ０で走行するプロセス１が
３２ＭＢのユーザ空間を複数のＰＥの物理メモリをマッ
ピングしている図を示しており、各メモリ空間の端にメ
モリアドレスを１６進表記で記述してあり、各ＰＥから
はプロセス１に８ＭＢずつマッピングされている。

【０１２１】ＰＥ０で走行するプロセス１は図２３で示
すようにプロセス１のユーザ空間の論理アドレス０×０
０００００番地から０×３ＦＦＦＦＦ番地をＰＥ０の物
理アドレス０×４０００００番地から０×７ＦＦＦＦＦ
番地にマッピングし、以下同様にＰＥ１、ＰＥ２および
ＰＥ３の物理アドレスをユーザ空間にマッピングしてい
る。

【０１２２】ＰＥ０のプロセッサから出力されるメモリ
アドレスは図２４に示されるようになっており、プロセ
ッサがＰＥアドレスとＰＥ内アドレスを計算しやすくす
るようなマッピングになっている。

【０１２３】図２５はリモートアクセスメッセージ生成
部４１７の構成例を示した図である。このリモートアク
セスメッセージ生成部４１７は、プロセッサバスＢp に
出力されたアドレスからＰＥ番号を取り出し、リモート
アクセスメッセージヘッダ組立部４８１にＰＥ番号を通
知するＰＥ番号抽出部４７１と、プロセッサバスＢｐに
出力されたバス制御情報やアドレス情報などからリモー
トアクセスメッセージの種類を取り出し、リモートアク
セスメッセージヘッダ組立部４８１にリモートアクセス
メッセージの動作を通知するメッセージ動作指令部４７
３と、プロセッサバスＢｐにに出力されたアドレスから
通信先のＰＥのメモリアドレスを取り出し、リモートア
クセスメッセージヘッダ組立部４８１にメモリアドレス
を通知するメモリアドレス抽出部４７５と、プロセッサ
バスＢｐに出力されたデータからリモートアクセスメッ
セージで送信するデータを取り出し、リモートアクセス
メッセージヘッダ組立部４８１に送信データを通知する
送信データ抽出部４７７と、プロセッサで走行している
プロセスを識別する識別情報が入れられている識別情報
レジスタ４７９およびリモートアクセスメッセージに組
み立てるリモートアクセスメッセージヘッダ組立部４８
１より構成される。

【０１２４】また、リモートアクセスメッセージ生成部
４１７は、リモートアクセスメッセージ応答部４１９が
リモートアクセスレスポンスメッセージのアクセス権限
のチェックをできるように送信メッセージをリモートア
クセスメッセージ応答部４１９に対して送る。識別情報
レジスタ４７９は、プロセッサがプロセスを切り替える
時に、実行するプロセスの識別情報を書換えなければな
らない。リモートアクセスメッセージヘッダ組立部４８
１では、例えばＰＥ番号抽出部４７１、メッセージ動作
指令部４７３、メモリアドレス抽出部４７５、送信デー
タ抽出部４７７、識別情報レジスタ４７９の出力の順に
並べてリモートアクセスメッセージに組み立て、ルーテ
ィング部４２１に送る。ルーティング部４２１ではリモ
ートアクセスメッセージヘッダ組立部４８１より送られ
たリモートアクセスメッセージに自ＰＥ番号とチェック
サムを付加してからネットワークに送る。

【０１２５】図２６はリモートアクセスメッセージ応答
部４１９の構成例を示した図である。このリモートアク
セスメッセージ応答部４１９は、リモートアクセスメッ
セージ判定部４９１と、リモートアクセスメモリプロテ
クション判定部４９３と、識別情報管理テーブル４９５
と、メモリアクセス部４９７およびリモートアクセスレ
スポンスメッセージ生成部４９９から構成されている。
また、リモートアクセスメッセージ応答部４１９は、リ
モートアクセスレスポンスメッセージを受信した時にア
クセス権限のチェックを行なう為に、リモートアクセス
メッセージ生成部４１７からリモートアクセスレスポン
スメッセージが返信されるメッセージに関して、送信メ
ッセージを受ける。

【０１２６】リモートアクセスメッセージ判定部４９１
は、ネットワークからルーティング部を経由して受信さ
れたメッセージがリモートアクセスメッセージとして正
当なものかどうかを調べ、正当であればリモートアクセ
スメモリプロテクション判定部４９３に処理を移す。メ
ッセージが不当な時は、リモートアクセスレスポンスメ
ッセージ生成部４９９に処理を移し、エラーメッセージ
を送信元のＰＥに返信する。

【０１２７】リモートアクセスメモリプロテクション判
定部４９３は、リモートアクセスメッセージに付加され
てきたメモリのアドレスと識別情報を識別情報管理テー
ブル４９５の値と比べて、リモートアクセスメッセージ
で指定されているアドレスにアクセス権限があるかを調
べる。

【０１２８】プロセス生存中は他ＰＥのメモリを固定的
にマッピングするので、識別情報管理テーブル４９５の
値は動作中は変化せず、アクセス権限判定が容易とな
る。アクセス権限があれば、メモリアクセス部４９７に
処理を移し、メモリアクセスを行い、アクセス権限がな
ければリモートアクセスレスポンスメッセージ生成部４
９９に処理を移し、エラーメッセージを送信元のＰＥに
返信する。

【０１２９】メモリアクセス部４９７はメッセージで指
定されている内容のメモリアクセスを行い、返信の必要
があれば、リモートアクセスレスポンスメッセージ生成
部４９９に処理を移し、返送処理を行う。リモートアク
セスレスポンスメッセージ生成部４９９は、エラーに対
するレスポンスを送信元のＰＥに返送すると共に、リー
ド結果を送信元のＰＥに返送する。

【０１３０】ここで、図２２、図２３で示されたシステ
ムにおいて、実際にＰＥ０で走行するプロセス１からリ
モートメモリのデータを読み書きすることを考える。プ
ロセスはプロテクションをするために識別情報（識別番
号）を決めておかなければならないので、ここではＰＥ
０のプロセス１に識別情報として識別番号１を与えるこ
とにする。プロセス１がユーザ空間の０×Ｅ０００００
番地に０を書き込むとき、０×Ｅ０００００番地は、実
際はＰＥ３の物理メモリであるので、プロセス１がユー
ザ空間の０×Ｅ０００００番地に対して０を書き込む命
令を実行すると、ＰＥ０のプロセッサでは図２４に示さ
れるように０×１Ｅ０００００番地のメモリアドレスを
プロセッサバスＢp に対して出力する。

【０１３１】リモートアクセスメッセージ生成部４１７
は、プロセッサバスＢｐから相手のＰＥ番号３、リモー
トライトメッセージの動作、相手先のＰＥのメモリアド
レス０×６０００００番地および書き込むデータを読み
とり、図２７のメッセージをルーティング部に送る。

【０１３２】ルーティング部４２１は図２７のメッセー
ジを受け取ると、図２８の形のメッセージにしてからネ
ットワークに送信する。図２８で示されるメッセージは
図２７のメッセージに自ＰＥのアドレスとメッセージ本
体のチェックサムが付加されている。チェックサムは偶
数パリティで実現しているが、ＣＲＣ等で実現してもよ
い。図２８で示されるメッセージはネットワークを通
り、ＰＥ３で受信される。ＰＥ３で受信されたリモート
アクセスメッセージはルーティング部４２１で図２９に
示すようにチェックサムが削られ、リモートアクセスメ
ッセージ応答部４１９に渡される。

【０１３３】リモートアクセスメッセージ応答部４１９
では、図２９で示されるメッセージを受け取ったらリモ
ートアクセスメッセージ判定部４９１で正当なリモート
アクセスメッセージかどうかを調べる。図２９に示され
るメッセージは正しいので、次のリモートアクセスメモ
リプロテクション判定部４９３でメッセージ中のメモリ
アドレスと識別番号が識別情報管理テーブル４９５に設
定されているかを調べる。

【０１３４】メッセージは識別番号１、メモリアドレス
０×６０００００と記されているのに対して図２６に記
されている識別情報管理テーブル４９５の識別番号１に
はメモリの開始アドレスが０×４０００００でメモリ容
量が０×４０００００、すなわち、メモリアドレスに変
換すると０×４０００００番地から０×ＦＦＦＦＦＦ番
地までが許されている。

【０１３５】従って、このメッセージはＰＥ３の０ｘ６
０００００番地に対するメモリアクセスが可能であるの
で、メモリアクセス部４９７からプロセッサバスＢｐを
駆動してメモリにデータを書き込むことができる。仮に
リモートアクセスメッセージ応答部４１９にメッセージ
が入ってから何らかの原因によりエラー等が生じれば、
リモートアクセスレスポンスメッセージ生成部４９９よ
りエラーメッセージが送信元のＰＥ０に送られる。

【０１３６】ＰＥ０がリモートメモリに対してリードの
アクセスをした場合は、ライトアクセスと同じ方法でリ
モートアクセスメッセージ応答部４１９のメモリアクセ
ス部４９７までメッセージを伝送させ、メモリアクセス
部４９７ではプロセッサバスＢｐを駆動してメモリから
必要なデータを読み込む。ここで読み込まれたデータを
７とすると、読み込まれたデータはリモートアクセスレ
スポンスメッセージ生成部４９９により図３０に示され
るメッセージとなり、ルーティング部４２１により図３
１に示されるメッセージに変換され、ネットワークを経
由してＰＥ０に伝達される。

【０１３７】図３１は図３０に比べて自ＰＥのアドレス
と偶数パリティのチェックサムが付加されている。リモ
ートアクセスレスポンスデータはＰＥ０のルーティング
部４２１を経由した時に図３２に示されるメッセージに
変化する。

【０１３８】図３２は図３１のメッセージの最後に付け
られたチェックサムを省いたものである。図３２で示さ
れるメッセージはリモートアクセスメッセージ応答部４
１９で受信され、リモートアクセスメッセージ判定部４
９１でリモートアクセスレスポンスメッセージであるこ
とが判定され、かつ、リモートアクセスメッセージ生成
部４１７より送られたメッセージのヘッダとリモートア
クセスレスポンスメッセージのヘッダによりアクセス権
限を調べ、アクセス権限があればリード結果をプロセッ
サバスＢｐを経由してプロセッサに返す。

【０１３９】図３３は、通信制御語格納領域の構成を示
した図であり、ブロックリードもしくはブロックライト
のコマンド、ブロックアクセス開始アドレス、ブロック
アクセス相手ＰＥ、ブロックアクセス相手メモリアドレ
スおよびブロック長からなる項目で設定され、６種類の
通信制御語（ブロック制御番号）が設定できる。ユーザ
空間はシステムプログラムによって管理されており、使
用しているユーザ空間が物理メモリ上で連続しているか
を認知しているのはシステムプログラムだけである。従
って、ユーザが不用意に通信制御語格納領域の通信制御
語を記述してしまうと本来、使用してはいけないアドレ
ス空間まで通信制御語に定義される場合があり、これを
防止する為に、通信制御語格納領域はユーザモードでは
書き込みできないようにするが、システムコールによっ
て設定され、ユーザ空間にマッピングされる。

【０１４０】図３３のブロック制御番号１を起動するメ
モリアドレス０×４００００００番地が図２４で示され
るようにＰＥ０で走行するプロセス１のユーザ空間０×
８００００００番地にマッピングされている場合、プロ
セス１が０×８００００００番地をアクセスすると、プ
ロセッサからブロック制御番号１を起動するメモリアド
レス０×４００００００が発生される。

【０１４１】リモートアクセスメッセージ生成部４１７
はブロック制御番号１を起動するメモリアドレス０×４
００００００番地に対するアクセスを確認すると通信制
御語格納領域の番号１に設定された項目を自動的に読み
とって、通信制御語に書かれた動作を達成するようにリ
モートアクセスメッセージを発生する。図３３のブロッ
ク制御番号２〜ブロック制御番号６に対しても同様にし
てリモートアクセスメモリに対するブロック制御を行う
ことができる。

【０１４２】本実施例では１回の通信制御語を起動する
アドレスで１個の通信制御語を実行するだけであるが、
１回の起動コマンドで複数の通信制御語を起動できるよ
うに通信制御語格納領域に後続ブロック制御番号ポイン
タ等の項目を増やしてもよい。また、通信制御語格納領
域に連想記憶装置を導入し、より多くの制御語をプログ
ラムしておき、頻繁に用いる通信は高速化されるように
しても良い。

【０１４３】図３６は一実施例を示した図であり、図３
４で示されるプロセッサを走行するプロセスのユーザ空
間（論理アドレス）からメモリアドレス（物理アドレ
ス）に変換した時のメモリアドレスのマップを示してい
る。

【０１４４】図３４は並列計算機におけるＰＥの構成を
表したものであり、２６ビットのメモリアドレスバスを
持つプロセッサ４１１、８ＭＢのメモリ４１３Ａ、リモ
ートメモリアドレスベースレジスタ４１６、リモートア
クセスメッセージ生成部４１７Ａ、リモートアクセスメ
ッセージ応答部４１９およびルーティング部４２１Ａよ
り構成されている。ＰＥ間は図３５に示すように２次元
トーラスのトポロジーで接続されており、横方向をｘ方
向、縦方向をｙ方向と呼び、また、図３５のｘ方向およ
びｙ方向のうち、矢印の始点を各方向の原点とする。

【０１４５】図３６はＰＥのプロセッサ４１１のメモリ
アドレスを示している。プロセッサ４１１は２６ビット
のメモリアドレスを具備しているので最大で６４ＭＢの
メモリがアクセスできるが、図３５のシステムは８ＭＢ
のメモリを持つＰＥが１６個存在するので、全体として
１２８ＭＢのメモリを持つことになり、ＰＥから全ての
メモリ４１３Ａをアクセスすることができない。そこ
で、プロセッサ４１１がユーザ空間からメモリアドレス
に変換し、プロセッサ外部に出力するメモリアドレスを
例えば、図３６に示すものとして、リモートメモリアド
レスベースレジスタを併用してアドレス拡張を行なう。

【０１４６】図３６のメモリアドレス（ビット）はメモ
リアドレスの各ビットを表しており、メモリアクセスの
対象とするＰＥによりモード１、モード２およびモード
３が存在する。ｘ方向相対アドレスおよびｙ方向相対ア
ドレスは自ＰＥから目的とするＰＥ迄の相対的な距離を
表す。相対アドレスはモードにより表現できるビット数
が決まっており、モード１では１ビット、モード２では
２ビット、モード３では４ビットである。この相対アド
レスは２の補数で表現するので、自ＰＥを中心とする上
下左右を表現できる。但し、モード１における相対アド
レスは１ビットしか表現できないので、自ＰＥからｘ、
ｙ方向とも負の方向のＰＥを指定することができない。
メモリアドレスの２４ビットと２５ビットはモードを選
択する為に用いられ、２４ビットと２５ビットが共に０
の時は、自ＰＥ内で使用するアドレスにしている。

【０１４７】図３６のリモートメモリアドレスはｘ方向
相対アドレスおよびｙ方向相対アドレスで指定されたＰ
Ｅで使用されるアドレスに用いられる。しかし、このま
まではＰＥに実装された８ＭＢのメモリのうち、多くて
も半分しか使用できないので図３４に示すリモートアド
レスベースレジスタ４１６を設けることにより８ＭＢの
メモリをアクセスできるようにする。リモートメモリア
ドレスベースレジスタ４１６はプロセッサ４１１により
設定され、リモートアクセスメッセージ生成部４１７Ａ
では図３７に示すようにリモートアドレスベースレジス
タ４１６とリモートメモリアドレスを合体させて物理メ
モリアドレスを生成する。

【０１４８】リモートメモリアドレスレジスタとリモー
トメモリマスクレジスタをビット単位で論理和をとり、
その結果とリモートメモリアドレスをビット単位で論理
積をとったものが物理メモリアドレスである。リモート
メモリアドレスはモードによりビット長が異なるが、２
２ビットに満たない時は下位ビットを合わせ、上位ビッ
トの空白には０を入れる。リモートメモリマスクレジス
タは使用しているモードにより値が決まっており、モー
ド別の値を図３８に示す。

【０１４９】ここで、図３９で示されるようにＰＥ１２
のプロセスのユーザ空間にＰＥ６の物理メモリ空間がマ
ッピングされていた時、ＰＥ１２からＰＥ６の物理メモ
リ空間をアクセスすることを考える。ＰＥ１２からＰＥ
６への相対距離は、ｘ方向、ｙ方向共に２もしくは−２
（マイナスは図３５に示される各方向の矢印と逆向きに
進むことを示す）なので図３６で示されるモード２かモ
ード３のどちらでも使用できることになる。実際のシス
テムでは一つのＰＥが一つのＰＥだけのメモリをマッピ
ングすることは考えられないので、マッピングに使用す
るＰＥの数と相対距離を考えれば、どのモードでアクセ
スしたらいいか分かるが、今回は１対１のマッピングを
想定しているのでどちらのモードを使用してもよい。

【０１５０】しかし、図３５のシステムではモード２な
らばシステム内の全てのＰＥをアクセスできる距離にな
っているので、本実施例ではモード２を使用して説明す
る。本実施例で用いられるプロセッサはテーブルルック
アップバッファ（以下、ＴＬＢと略す）を用いたアドレ
ス変換機構を具備するのものとする。ＰＥ１２で走行す
るプロセスが図３９で示されるプロセスのユーザ空間の
０×Ａ０００００番地をアクセスした時、ＰＥのプロセ
ッサ内に含まれる論理アドレス（ユーザ空間のアドレ
ス）からプロセッサから外部に出力する物理アドレス
（プロセッサ出力アドレス）に変換するＴＬＢを用いて
論理アドレスの上位ビットが物理アドレスに変換され
る。プロセッサ出力アドレスは下位１２ビットに論理ア
ドレスの下位１２ビットをそのまま使用し、上位１４ビ
ットはＴＬＢにより変換された物理アドレスを使用す
る。

【０１５１】ＴＬＢはプロセッサ内に用意されるが、プ
ロセッサに内蔵されたＴＬＢの容量以上のアドレス変換
を行なう為にメモリ内にもアドレス変換データが蓄えら
れる。プロセスが論理アドレス０×Ａ０００００番地を
アクセスするとＴＬＢ内に論理アドレスを物理アドレス
に変換する為のデータが格納されているかを調べる。ア
ドレス変換用のデータがＴＬＢ内に格納されていなけれ
ばぺージフォルトハンドラによってメモリ上のアドレス
変換用のデータがＴＬＢ内に格納され、同時に、リモー
トメモリアドレスベースレジスタにもデータが格納され
る。

【０１５２】ＴＬＢにはリモートアドレスベースレジス
タに格納されているデータからアクセスできるアドレス
用の変換情報が格納されており、ＴＬＢに格納されてい
ないアドレスを変換するにはページフォルトハンドラに
よってＴＬＢ内の変換データとリモートメモリアドレス
ベースレジスタの値を書き換えなければならない。プロ
セスが論理アドレス０×Ａ０００００番地をアクセスし
た場合、ＴＬＢ内にアドレス変換用データが設定されて
いなければ、ページフォルトハンドラによりＴＬＢに論
理アドレス０×Ａ００、物理アドレス０ｘ２Ａ００が格
納され、プロセッサ出力アドレスはＴＬＢの出力と、論
理アドレスの下位１２ビットを使用して０ｘ２Ａ０００
００番地となる。

【０１５３】リモートメモリアクセスメッセージ生成部
４１７Ａでは、プロセッサ出力アドレス０×２Ａ０００
００番地を、図３６で示されるように解釈する。上位２
ビットの０ｘ２はモード２を示しているので図３８で示
される表からリモートメモリマスクレジスタを０×３０
とする。中位の４ビットの０ｘＡより、ＰＥ相対アドレ
スがｘ，ｙ方向共に−２であることからアクセス先はＰ
Ｅ６だと判定する。

【０１５４】また、下位の２０ビットとリモートメモリ
アドレスベースレジスタ４１６の０×６０とリモートメ
モリマスクレジスタの０×３０を使用して図４０で示さ
れるようにして物理メモリ空間のアドレスの０×６００
０００を求める。図４０のリモートメモリマスクレジス
タは図３６で示される全てのモードに対応できるように
最大の２２ビット幅で示されているので、モード２を使
用する場合は、上位の２ビットを空白にして（０とみな
す）処理を行なう。

【０１５５】以上により、ＰＥ１２のプロセスからのユ
ーザ空間のアクセスがＰＥ６の物理メモリ空間のアドレ
スに変換されるので、リモートアクセスメッセージ生成
部はＰＥ６に対してリモートアクセスメッセージを送信
する。ＰＥ６ではリモートアクセスメッセージに対する
応答を行い必要があればＰＥ１２に返信を行う。

【０１５６】次にＰＥ１２のプロセスが引きつづいてユ
ーザ空間の０×Ａ００００４番地をアクセスする場合、
ＴＬＢには０×Ａ０００００番地をアクセスした時にア
ドレス変換に必要なデータが格納されているので、論理
アドレス０×Ａ０００００番地をアクセスした時のデー
タがそのまま使用できることから、ページフォルトハン
ドラは起動せず、また、リモートメモリアドレスベース
レジスタの値も０×６０でよいので書き換える必要がな
いので、論理アドレス０×Ａ０００００番地をアクセス
した時に比べてページフォルトハンドラによるソフトウ
ェア処理が省略でき、高速リモートアクセスができる。

【０１５７】なお、本実施例ではＰＥアドレスを相対ア
ドレスの場合について示したが、絶対アドレスで行なう
ことも可能である。

【０１５８】上述したように、本実施例によれば、メモ
リを有する複数のＰＥから構成されるマルチプロセッサ
システムにおいて、システムプログラムの介在なしでユ
ーザモードの中からブロック転送を含むリモートアクセ
スが可能であることから従来数十〜数百μs かかってい
たソフトウェアオーバヘッドが１メモリアクセスの時間
である数十ｎｓ程度に短縮され、高速なプロセッサ間通
信が可能となる。

【０１５９】リモートアクセスメッセージ生成部４１７
Ａに識別情報付加手段を具備し、リモートアクセスメッ
セージ応答部４１９にメッセージ中の識別情報を自ＰＥ
の識別情報管理テーブル４９５と比較してリモートアク
セスメッセージに対するアクセス権限のチェックを行な
う手段を具備することにより、システムプログラムの実
行なしでアクセス権限を調べることができるので高速な
プロテクションのチェックができる。

【０１６０】ＰＥの構成要素の一つであるプロセッサの
アドレスバスの大きさ以上のメモリを使用する時にユー
ザがマッピングできるＰＥ数とＰＥ一つあたりのメモリ
容量を可変にすることでプロセスの性質に合わせてメモ
リを使用できると共にプロセッサのアドレスバスで表現
できる大きさ以上のメモリを使用することができる。

【０１６１】

【発明の効果】以上説明したように本発明は、システム
に故障した電子回路が存在したり、電子回路数が多くな
った場合においても１電子回路で複数の種類の同期を高
速に取ることのできる並列処理装置を提供することを目
的とする。

【０１６２】また、並列処理装置の細粒度処理時の電子
回路間通信において、簡単なハードウェアによって、シ
ステム全体の性能を低下させることなく、計算機結合網
の異常動作を即座に検出することのできる並列処理装置
を提供することを目的とする。

【０１６３】さらには、分散共有メモリを用いた並列処
理装置において汎用マイクロプロセッサの改造をするこ
と無くプロセッサのアドレスバスの大きさ以上のメモリ
を使用し、ブロック状のデータ転送をシステムプログラ
ムの仲介なしで高速に行なうことのできる並列処理装置
を提供することを目的とする。

【図面の簡単な説明】

【図１】本発明に係る第１の実施例を示した図である。

【図２】第１の実施例におけるＰＥの内部構成を示した
図である。

【図３】第２の実施例を示した図である。

【図４】ＰＥの同期番号マスクレジスタの内容例を示し
た図である。

【図５】ＰＥの同期状態レジスタの内容例を示した図で
ある。

【図６】ＰＥから同期判定バス０に出力する信号を示し
た図である。

【図７】第３の実施例を示した図である。

【図８】第３の実施例におけるＰＥの内部構成を示した
図である。

【図９】第４の実施例を示した図である。

【図１０】ＰＥの内部構成を示した図である。

【図１１】メッセージヘッダーに格納された検査符号で
ある。

【図１２】メッセージヘッダーに検査符号を挿入した送
信処理のフローチャートである。

【図１３】メッセージヘッダーに検査符号を挿入した受
信処理のフローチャートである。

【図１４】故障発生時の受信メッセージにおける検査符
号系列である。

【図１５】同一数値が複数回出現する検査符号系列であ
る。

【図１６】Ｍ系列乱数を検査符号系列に用いたときの送
受信処理である。

【図１７】伝送終了時の検査処理である。

【図１８】チェックポイント毎の送信部のメッセージ順
序の検査処理のフローチャートである。

【図１９】チェックポイント毎の受信部のメッセージ順
序の検査処理のフローチャートである。

【図２０】メッセージ列からの検査符号発生器である。

【図２１】ＰＥの構成例を示した図である。

【図２２】ＰＥ間の結合を示した図である。

【図２３】ユーザ空間とＰＥの物理メモリ空間の対応を
示した図である。

【図２４】ユーザ空間とプロセッサのメモリアドレス空
間の対応を示した図である。

【図２５】ＰＥのリモートアクセスメッセージ生成部の
構成例を示した図である。

【図２６】ＰＥのリモートアクセスメッセージ応答部の
構成例を示した図である。

【図２７】リモートアクセスメッセージを示した図であ
る。

【図２８】リモートアクセスメッセージを示したの図で
ある。

【図２９】リモートアクセスメッセージを示した図であ
る。

【図３０】リモートアクセスレスポンスメッセージを示
した図である。

【図３１】リモートアクセスレスポンスメッセージを示
した図である。

【図３２】リモートアクセスレスポンスメッセージを示
した図である。

【図３３】通信制御語格納領域を示した図である。

【図３４】ＰＥの構成例を示した図である。

【図３５】ＰＥ間の結合を示した図である。

【図３６】メモリアドレスの例を示した図である。

【図３７】物理アドレスを求める方法を示した図であ
る。

【図３８】リモートメモリマスクレジスタのモードにお
けるデータを示した図である。

【図３９】ＰＥ１２がＰＥ６のメモリをマッピングした
図である。

【図４０】物理メモリアドレスを計算した図である。

【符号の説明】

１ 同期番号コントローラ ３ 同期コントローラ ５ 電子回路ブロック １０ 同期番号設定手段

Claims (4)

【特許請求の範囲】
1. 【請求項１】 それぞれが独立に動作し得る複数の電子
   回路を構成要素とする並列処理装置であって、 前記複数の電子回路のそれぞれに接続され同期の種類を
   表す同期番号を通知する同期番号放送バスと、 前記複数の電子回路のそれぞれに接続され論理積機能を
   具備する同期判定バスと、 同期番号放送バスを介して通知する同期番号を制御する
   同期コントローラと、 この同期コントローラに同期番号を与える同期番号設定
   手段と、 この同期番号設定手段で設定された同期番号に対応し
   て、前記複数の電子回路のそれぞれに接続される同期判
   定バスが全て同期完了状態になったことを検知する検知
   手段と、を有することを特徴とする並列処理装置。
2. 【請求項２】 ネットワークを介して接続される複数の
   電子回路を構成要素とする並列処理装置であって、 これら複数の電子回路間の通信に関し、少なくとも送信
   側電子回路はメッセージ送信手段と短ビット長の数値系
   列を発生する数値系列発生手段とを具備し、受信側電子
   回路はメッセージ受信手段と前記数値系列発生手段で発
   生された数値系列の順序を検査する検査手段を具備し、 送信側電子回路のメッセージ送信手段にあっては、メッ
   セージ送信の際には数値系列発生手段で発生された数値
   系列を各メッセージのヘッダに付加して送信し、受信側
   電子回路のメッセージ受信手段にあっては、受信したメ
   ッセージの数値系列の順序の検査を検査手段で行なうこ
   とを特徴とする並列処理装置。
3. 【請求項３】 メモリを有し、それぞれが独立に動作し
   得る複数の電子回路を構成要素とする並列処理装置であ
   って、 前記各電子回路はそれぞれのメモリを各電子回路で走行
   するプロセスのユーザ空間にマッピングし、このマッピ
   ングに基づいて任意の電子回路で発生したメモリアドレ
   スが他の電子回路のメモリに対応することが判別される
   ときには当該他の電子回路へのリモートアクセスメッセ
   ージを生成するリモートアクセスメッセージ生成手段
   と、 このリモートアクセスメッセージ生成手段で生成される
   リモートアクセスメッセージの受信に応じてこのリモー
   トアクセスメッセージの内容に対応する応答を行なうリ
   モートアクセスメッセージ応答手段とを有することを特
   徴とする並列処理装置。
4. 【請求項４】 メモリを有し、それぞれが独立に動作し
   得る複数の電子回路を構成要素とする並列処理装置であ
   って、 あらかじめブロック状のデータ授受を要求するリモート
   アクセスメッセージに反映される通信制御語をユーザモ
   ードではアクセス不可能なシステム領域に格納する格納
   手段と、 この格納手段でシステム領域に格納される通信制御語の
   起動を指示するアドレスをユーザモードからアクセス可
   能なユーザ空間にマッピングするマッピング手段とを有
   することを特徴とする並列処理装置。