JP2559918B2 - 並列計算機における同期制御方式 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、多数の独立に動作する
計算機（以後、プロセッサエレメントをあらわすＰＥと
略す）を通信ネットワークで接続し互いに同期して並列
動作させる並列計算機のプロセッサ間同期方式におい
て、同期，ステータス及び安定状態の検出方式に関す
る。

【０００２】

【従来の技術】半導体技術の進歩により、高性能なマイ
クロプロセッサや大容量のメモリを安価・小型に構成す
ることが可能になり、このようなマイクロプロセッサや
メモリを多数使用して並列計算機を容易につくることが
できるようになってきた。１つの仕事を複数のＰＥで並
列処理するためには、仕事を分割し各ＰＥに割りつけて
実行させればよい。この並列処理の並列実行に当たって
は、処理の順序関係に注意する必要がある。すなわち、
全ＰＥがある処理を終了させた後にはじめて、次の処理
を行うことを保証する必要がある場合がある。この保証
のために効率良いプロセッサ間同期機能が必要である。
これにより、高速な並列計算機が実現できる。

【０００３】並列計算機の第１の方式として共有メモリ
方式がある。この方式では全ＰＥで共有するメモリを持
ち、そのメモリの一部に対して排他的に読みだし、書き
込みを行うことによりプロセッサ間同期機能を実現して
いる。

【０００４】並列計算機の第２の方式として同期レジス
タ方式がある。この方式では、個々のＰＥに同期用レジ
スタを用意し、全ＰＥの同期レジスタの出力の論理積を
検出し、全ＰＥに返すことにより全ＰＥでの同期を検出
する。

【０００５】並列計算機の第３の方式として状態検出方
式がある。これは、図２１に示すように、並列計算機シ
ステムのＰＥにおいて、まず各ＰＥ内で処理１を実行
し、それが終了した後、処理２として他のＰＥ間でメッ
セージの送信／受信を行い、そのメッセージの処理が終
了すると次の処理に移行する。全てのＰＥがメッセージ
待ち状態にあることを、ホストプロセッサが知り、各Ｐ
Ｅにコマンドを放送し、各ＰＥは、それに対応するコマ
ンドの処理を開始する。このようにして、各ＰＥがその
状態を知り、次のステップに移行する。

【０００６】

【発明が解決しようとする課題】共有メモリ方式には、
ＰＥ数が大きくなると、メモリへのアクセスが頻発する
という欠点がある。

【０００７】同期レジスタ方式では、同期レジスタのア
クセスは、ＰＥごとに独立に行えるので、メモリアクセ
スの競合は起こらない。この方式の同期機構は、図２２
(a)のように処理１において全ＰＥが同じように異常な
く働いている時には問題はない。処理１を全ＰＥが終了
し同期が成立したことを同期レジスタで検出して処理２
に進めばよい。もし処理１で１つのＰＥに何らかの異常
事態（例えば、プログラムのバグ、０除算やオーバフロ
ーなど）が起きた場合には２通りの対処のしかで従来行
われていた。図２２(b)のように１つのＰＥの処理１で
のエラーを無視して他の全ての同期レジスタで同期を検
出して処理２を続行させる方法と、図２２(c)のように
１つのＰＥの処理１でエラーを検出したらそこで全ての
ＰＥの処理１を中断する方法である。この場合、前者の
方法は処理１でエラーを起こしたＰＥ以外は、エラーの
ことに全く気付かずに処理２を続けてしまうので、エラ
ーの発見が遅れ無駄な処理を実行してしまうという問題
がある。さらに、最後までエラーに気付かず間違った答
えを出す可能性さえある。また、後者の方法では、処理
１でエラーを起こしたＰＥ以外にエラーの情報が伝わら
ないためエラーを起こしたＰＥ以外のＰＥは全て同期待
ちに入り、エラーを起こしたＰＥからの同期信号を受信
しないので全ＰＥの同期処理は終了せず、したがって処
理２に進まないという問題がある。

【０００８】さらに、従来のシステムでは、ネットワー
クにメッセージがまだ残っている場合の、同期要求ある
いはステータス要求の検出が不十分であった。すなわ
ち、メッセージが各ＰＥにはないか、ＰＥ間の通信経路
に残っているときに、同期要求あるいはステータス要求
を出してしまうと、処理は次のステップに移ってしま
い、ネットワークに残っている前の処理で処理されるべ
きデータがあるＰＥに到達すると、次のステップでその
データを処理してしまうという問題があった。すなわ
ち、全てのＰＥが同期成立にあるとき、あるＰＥだけが
他のＰＥより早く同期成立を知り、次のステップへ移行
する可能性があった。

【０００９】本発明の並列計算機システムにおいて、全
ＰＥの同期と同時に全ＰＥのステータスを検出すること
により１つのＰＥにエラーが発生した場合も、直ちに適
切な対処を行うことにより、他のＰＥが誤まった処理を
実行したり、あるいは同期待ちの状態に置かれてしまう
ことを防止できるので、結果としてプロセッサ間同期を
高速に達成して演算速度を向上することを目的とする。

【００１０】また、本発明の並列計算機システムにおい
て、一度安定状態になったことを各ＰＥが正確に知り、
特に全てのＰＥがメッセージ待ち状態にあっても、ネッ
トワーク内にメッセージが存在すると、安定状態ではな
い（メッセージがいつかは、ＰＥに到着し、そのＰＥは
メッセージ待ちの状態ではなくなる）ので、ネットワー
ク内にメッセージがないことを検出して、同期要求ステ
ータスに関してプロセッサ間の安定状態を検出すること
を目的とする。

【００１１】

【課題を解決するための手段】図１は第１の本発明の原
理を示すブロック図である。本発明は、同期レジスタ方
式を前提とする方式である。すなわち多数の独立に作動
する計算機を接続した構成の分散メモリ型並列計算機で
あって、個々のＰＥに同期要求レジスタと同期検出レジ
スタと、全ＰＥの同期要求レジスタの論理積をとる手段
と、その結果を全ＰＥに分配する手段と、分配された結
果によって全ＰＥの同期検出を行う同期検出手段１を有
する並列計算機同期方式を前提とする。

【００１２】ステータス要求レジスタ２は、個々のＰＥ
に設けられ、例えばステータスが正常のときに、そのＰ
ＥのＣＰＵから論理１を入力する。次に判断手段４は、
全ＰＥのステータスが正常であることを判断する。

【００１３】分配手段５は判断手段４の出力を全ＰＥに
分配する。全ＰＥのステータスが正常でありかつ、全Ｐ
Ｅの同期成立検出手段１によって全ＰＥの同期が成立し
たことを検出したとき、ステータス検出レジスタ３の内
容を変化させる。

【００１４】ステータス検出レジスタ３で全ＰＥのステ
ータスが正常であると検出されたとき、次の処理に進行
する。図２は第２の本発明の原理図であり、多数の独立
に動作する計算機を通信ネットワークで接続した分散メ
モリ型並列計算機に係るものであり、ＰＥ個々に同期要
求レジスタと同期検出レジスタと、全ＰＥの同期要求レ
ジスタの論理積をとる手段と、その結果を全ＰＥに分配
する手段と、自ＰＥの同期要求を行い全ＰＥの同期成立
を検出する手段６を有する。第２の発明ではこれに代え
て、通信ネットワークの状態信号を受信する手段７を有
し、更にその状態信号を受信する信号線と同期要求レジ
スタの出力とにより自ＰＥ上に同期要求がありかつ、ネ
ットワークにメッセージがないことを検出する同期安定
要求手段８とを具備することを特徴とする。

【００１５】さらに、図３は第３の本発明の原理図であ
り、多数の独立に動作する計算機を通信ネットワークで
接続した分散メモリ型並列計算機に係るものであり、Ｐ
Ｅ個々にステータス要求レジスタとステータス検出レジ
スタと、全ＰＥのステータス要求レジスタの論理積をと
る手段と、その結果を全ＰＥに分配する手段とからな
り、自ＰＥのステータス要求を行い全ＰＥのステータス
要求成立を検出する手段９を有する。第３の発明ではこ
れに代えて、通信ネットワークの状態信号を受信する手
段１０を有し、更にその状態信号を受信する信号線とス
テータス要求レジスタの出力とにより自ＰＥ上にステー
タス要求がありかつ、ネットワークにメッセージがない
ことを検出するステータス安定要求手段１１とを具備す
ることを特徴とする。

【００１６】

【作 用】第１の発明はある処理１において、ブロック
１に示すように全ＰＥの同期が確立し、さらにブロック
４で全ＰＥのステータスが正常であることが確立された
ときはじめて、各ＰＥからのステータス正常を示す信号
を出力し、次にステータスクリアして、次の処理２に進
むようにした。したがって、処理１において、エラーが
あったときには、例えば処理１において全ＰＥの同期が
確立した場合でも処理２に進まない。そして、処理１に
おいて、エラーがあったことを直ちに判別することがで
きる。そして、そのエラーに対して適切な処理を施せる
ので、各ＰＥが１つのＰＥのエラーのために誤まった動
作を実行したり、同期待状態におかれたりすることを防
止できる。

【００１７】第２の発明は、ネットワークの状態を観測
して、安定状態を検出する。本発明で定義される安定状
態とは通信経路上にメッセージがなく、かつ全てのＰＥ
にメッセージがなく、全てのＰＥがメッセージ待ち状態
にあることである。全てのＰＥがメッセージ待ち状態に
あるためには、各ＰＥが同期要求をネットワークにメッ
セージがないことを示す信号とＡＮＤをとる形で出力し
て、自分以外の他の全てのＰＥも各ＰＥと同じ同期要求
を出していることを自分自身が知る、すなわち、同期検
出を行えばよい。すなわち、本発明は、従来の同期検出
に加えて、ネットワークにメッセージがないという条件
を加えるものである。ここで、ネットワークにメッセー
ジがないとは、各ＰＥにメッセージがなく、かつ各ＰＥ
を接続する通信経路上にもないことを言う。

【００１８】ネットワーク上にメッセージがあるという
ことは、少なくとも１つのＰＥにメッセージがあるかあ
るいは全てのＰＥにメッセージがなく、全てのＰＥがメ
ッセージ待ち状態にあるにもかかわらず、メッセージが
通信経路上にあることである。そのメッセージがいつか
は、どこかのＰＥに到達して、そのＰＥはメッセージ待
ち状態ではなくなり、不安定状態となる。すなわち、各
ＰＥが処理を終了し、同期要求を出力しても、メッセー
ジがネットワーク上に残っていれば、そのメッセージ
は、いつかどこかのＰＥに入ってそのＰＥがメッセージ
の処理を再び実行しなければならなくなって、同期要求
を出力したことに反してしまう。したがって、本発明で
はネットワーク状態をみることによりネットワークにメ
ッセージがないことを検出してから、同期安定要求を出
力するようにした。これにより、同期安定要求を出力し
た後でＰＥが再びメッセージの処理をしなければならな
くなるという同期安定要求に反する状態が出現すること
を回避できる。

【００１９】さらに、第３の発明では、ステータスを検
出する際にもネットワーク状態を検出するようにした。

【００２０】

【実施例】まず、本発明が適用される並列計算機のシス
テムの具体例について説明する。本発明が適用される並
列計算機システムは、分散メモリ型高並列コンピュータ
である。６４〜１０２４台のプロセッサ・エレメント
（セル）とホスト計算機であるエンジニアリング・ワー
クステーション（ＥＷＳ）から構成される。全セルとホ
ストを接続するコマンドバスとセル同士を接続するトー
ラスネットワークの２種類のネットワークによって、セ
ル─ホスト間やセル同士の通信を行う。

【００２１】セル単体は、３２ビットのReduced Instru
ction Set Computer（ＲＩＳＣ）型マイクロプロセッサ
と高速浮動少数点演算器により高い演算性能を高性能の
ＤＭＡコントローラにより高速・高性能なデータ通信能
力を実現している。各セルには、アプリケーションに対
応した特殊処理ハードウエア（オプション）の付加が可
能であり、種々のアプリケーションに適した、専用並列
マシンにカストマイズすることが可能である。

【００２２】図４に本発明の適用される並列計算機シス
テムの基本システム構成を示す。本発明の適用される並
列計算機システムは、分散マルチインストラクションマ
ルチデータ（ＭＩＭＤ）型の高並列プロセッサである。
各プロセッサエレメントは、セルと呼ばれて全て同一の
構成である。各セルは、高性能３２ビットマイクロプロ
セッサ、高速ＦＰＵ、キャッシュメモリ、大容量主記
憶、ネットワークインタフェース、コマンドバスインタ
フェースから構成される。

【００２３】セル同士は、２次元トーラス状のトポロジ
ーを持つトーラスネットワークによって４つの隣接する
セルと接続している。また、コマンドバスによって全セ
ルとホスト計算機が接続している。また、各セルには、
外部に画像入出力デバイスや高速Ｉ／Ｏインタフェー
ス、ディスクインタフェース、拡張メモリ、ベクタープ
ロセッサなどのオプションハードウエアを付加すること
が可能である。

【００２４】図５に本発明の適用される並列計算機シス
テム内の各セルプロセッサのハードウエア構成を示す。
基本部は、整数演算・論理演算・制御を行うＲＩＳＣ型
のマイクロプロセッサＩＵと高速浮動演算器ＦＰＵから
成り、高速なキャッシュメモリＣＭと接続される。キャ
ッシュメモリは、１２８ＫＢの容量があり、高いヒット
率と、低いメモリバストラフィックを実現するため、コ
ピーバッグ方式を採用した。

【００２５】メッセージコントローラＭＳＣは、高性能
ＤＭＡコントローラとキャッシュコントローラが内部に
あり、ディスクの転送の高速化を実現する。ＤＲＡＭコ
ントローラは、４Ｍビットまたは１ＭビットのＤＲＡＭ
の制御とエラーの検出・訂正を行う。コマンドバスイン
タフェースＢＩＦは、コマンドバスとのディスク転送
を、ルーティングコントローラＲＴＣは、トーラスネッ
トワークとのディスク転送を行う。

【００２６】ＭＳＣ，ＤＲＡＭＣ，ＲＴＣ，ＢＩＦは、
ＬＢＵＳと呼ばれる内部バスに接続される。ＬＢＵＳ
は、３２ビット幅のアドレス・データ多重のバスであ
る。ＬＢＵＳは各セルごとにコネクタを介して外部に取
り出されており、種々のオプションハードウエアの付加
を可能にしている。

【００２７】電源投入後、ホスト計算機から本システム
の初期化を行う。システム初期化は、本システムがもつ
種々のリソースの機能チェックと初期化設定を行うこと
である。システム初期化は、コマンドバスを経由して、
ホストから放送した初期化プログラムロードし、それを
実行することにより行われれる。この時同時に各セルの
セルｉｄも設定される。

【００２８】初期化された、本システムのセル内では、
セルＯＳ（ＣＰＵからなるセルを動かすＯＳ）が走って
おり、ユーザプログラムのロード・実行要求を待ってい
る。ユーザプログラムも、コマンドバスを経由して、各
セルに放送される。セル内に配置されたユーザプログラ
ムは、ホストからの指示に従って実行される。

【００２９】セルに初期化データを設定したい場合に
は、ホスト計算機から初期化データをコマンドバスを通
じて放送することにより行う。コマンドバスによる放送
は、ホストからセルだけでなく、一つのセルから他のセ
ル群へ放送を行うことも可能である。また放送先は、任
意のセルをグループ化し、そのグループｉｄが一致した
セル群にのみ行うこともできる。

【００３０】トーラスネットワークは、図６に示すよう
な、ルーティングユニットＲＴＣをトーラス状のネット
ワークで結んだ構成である。ＲＴＣの４本のポートは、
東西南北（ＥＷＳＮ）と呼び、各セル間で、ＮとＳとＷ
とＥとはそれぞれ接続される。ＲＴＣの個々のデータ転
送路は、それぞれ１６ビット幅のデータと制御信号から
成る。ＲＴＣは、任意セル間の通信における中継処理を
各セルのＣＰＵの介在なく、ハードウェアで高速に行
う。最大構成は、３２×３２（１０２４台）である。

【００３１】ルーティングユニットＲＴＣは、図７のよ
うな構成をとる。ルーティングは、まずＸ方向へ進み、
次にＹ方向へ進む。送信セルと受信セルが同じときは、
必ず同じ径路を使用する（スタティック・ルーティン
グ）のでメッセージの追い越しは発生しない。ＲＴＣ内
部では、Ｎ−Ｓ方向のルーティングユニットとＷ−Ｅ方
向のルーティングユニットが独立に存在し直列に接続さ
れた構成である。

【００３２】個々のルーティングユニットは、データの
行き先の判断と、バッファリングを行う。データ転送の
レイテンシを低くするために、ワームホールルーティン
グと呼ばれるルーティング方式を取り入れている。ま
た、複数のセルが同時に送信要求を出しても、デッドロ
ックやスループット低下がおきないように、構造化バッ
ファプールと呼ばれるバッファ管理アルゴリズムを採用
している。

【００３３】ワームホールルーティングは、メッセージ
のヘッダが直接、入力チャネルから出力チャネルへ中継
ルートをつくりながら、送り出されていくようなルーテ
ィング方式である。各中継ノードでは、メッセージの一
部分をバッファリングする。

【００３４】図８に示すように、通常のストア・アンド
・フォワード・ルーティングでは中継ノードがメッセー
ジ全体をバッファリングするのに対し、ワームホールル
ーティングでは、フリットと呼ぶ数ワードのデータのみ
が中継ノードにバッファされる。あるセルがメッセージ
のヘッドを受信すると、中継ルートのチャネルを選択
し、フリットをそのチャネルへ転送する。後続のフリッ
トはヘッダのフリットが選択したルートと同じルートに
転送されていく。

【００３５】ワームホールルーティングを採用すること
により、メッセージの送信から受信までの遅延時間（レ
イテンシ）を小さくすることができる。ストア＆フォワ
ードルーティングのレイテンシが、セル間距離とメッセ
ージサイズの積に比例するのに対して、ワームホールル
ーティングのレイテンシは、セル間距離とメッセージサ
イズの和に比例する。

【００３６】一方、１つのメッセージが転送されている
間、そのメッセージが使用されているチャネルをブロッ
クするので、デッドロックの発生とスループットの低下
を起こす可能性がある。ＲＴＣでは、レイテンシが小さ
いことを特徴とするワームホールルーティングに構造化
バッファプールのアルゴリズムを取り入れることによ
り、低レイテンシかつ高スループット，デッドロックフ
リーを実現した。これによって、ネットワーク全体で通
信が行われているとき、ネットワークの一部分の輻輳に
よりネットワーク全体の性能が低下することがなくな
る。また、送信されたメッセージが宛先セルで必ず受信
される限り、ネットワーク上でのデッドロックは発生し
ない。

【００３７】ＲＴＣが扱うデータは、図９に示すような
形式で、メッセージの先頭を示すヘッダとメッセージ本
体，メッセージの終了を示すエンドビットから成る。ヘ
ッダには、種々の制御情報を乗せる。エンドビットは、
メッセージコントローラが自動的に付加する。

【００３８】さて、このようなシステムにおいて、本発
明にかかる同期機能を以下に述べる。並列処理において
は、全セルの処理の終了を確認してから、次の処理に進
むことを保証できるような機構が必須である。同期・ス
テータス系は、同期処理を効率良く行うハードウエアで
ある。

【００３９】図１０で、各セルは、自分の処理１が終了
したら、同期要求を行う。全セルが同期要求を出したこ
とを確認できるまで各セルは、同期待ちにはいる。同期
の確立はハードウエアによって通知され、その後、処理
２の実行が開始される。すなわち、本発明のシステムの
ような高並列計算機では、全プロセッサがある状態にな
るのを待って次の状態へ進むといった処理が多く現れ、
同期・ステータス系は、このようなタイプの同期を効率
よく実現する。

【００４０】同期・ステータス系の基本的な動作は、次
のようになる。同期系では、各セルに同期要求レジスタ
を持たせ、全セルでその出力の論理積（ＡＮＤ）をとっ
た値が１になったら、同期検出レジスタをセットする。
この時同時に、同期要求レジスタをクリヤする。同期検
出レジスタがセットされていることは、全セルが同期を
要求したことを示しているので、これを用いて全セルが
プログラム中の部分に来たことが保証できる。

【００４１】ステータス系では、各セルにステータス要
求レジスタを持たせ、全セルでその出力の論理積（ＡＮ
Ｄ）をとった値をステータス検出レジスタにセットする
ようにする。ステータス検出レジスタは、全セルのステ
ータス要求レジスタの論理積の時々刻々の値を表してい
る。

【００４２】本システムの同期・ステータス系は、最大
１０２４台のセルのレジスタの出力のＡＮＤをとるため
に、図１１のような階層ネットワーク構成をとってい
る。また、並行して複数の要因について動作が可能にな
るように、要因ごとに時分割動作を行っている。同期・
ステータス系ネットワークは、階層ネットワークの時分
割使用により、８要因の高速同期，８要因の高速ステー
タス，３２要因の低速同期，３２要因の低速ステータス
の処理が可能である。同期・ステータス系のレジスタ類
は、ＢＩＦチップ内に実装されている。

【００４３】同期系には、同期要求レジスタ，同期検出
レジスタ，同期マスクレジスタ，同期割り込みマスクレ
ジスタのリソースがある。それぞれ、高速同期系は、８
ビット、低速同期系は３２ビットのレジスタである。

【００４４】同期要求はＣＰＵが同期要求レジスタをセ
ットすることにより行う。同期が確立すると、同期検出
レジスタの対応するビットがセットされ、同期要求レジ
スタはリセットされる。ＣＰＵは、同期検出レジスタを
監視することにより、同期の確立を知ることができる。
同期が確立した時に、対応する同期割り込みマスクレジ
スタがセットされていなければ、ＣＰＵに割り込みがは
いるのでこれによる通知も可能である。また、同期マス
クレジスタをセットすると、そのセルは、同期に参加し
ない。すなわち、自分は、その同期の検出をしないし、
他のセルに対しては、常に同期要求状態になる。マスク
機能を用いて、特定のグループのセル群のみで同期をと
ることが容易になる。

【００４５】ステータス系には、ステータスレジスタ，
ステータス検出レジスタ，ステータスマスクレジスタの
リソースがある。それぞれ、高速ステータス系は、８ビ
ット、低速ステータス系は３２ビットのレジスタであ
る。

【００４６】ステータス要求はＣＰＵがステータス要求
レジスタをセットすることにより行う。ステータス検出
レジスタには、全セルのステータス要求レジスタの値の
ＡＮＤがセットされる。すなわち、ステータス検出レジ
スタの値は、その時の全セルのステータスを表す。ステ
ータスマスクレジスタをセットすると、そのセルは、ス
テータスに参加しない。他のセルに対しては、常にステ
ータス要求状態になる。マスク機能を用いることによ
り、特定のグループのセル群のみでステータスをとるこ
とが容易になる。

【００４７】同期＆ステータスは、同期が確立した時点
の各セルのステータスを得るための機能である。同期＆
ステータスモードレジスタをセットすることにより、同
期系とステータス系を結合して、同期＆ステータス動作
を行う。同期＆ステータスモードのセットは、各要因ご
とに可能である。同期＆ステータスモードでは、同期系
の動作は変わらないが、ステータス系の動作に変化があ
る。通常モードでは、ステータス検出レジスタには、常
に全セルのステータスのＡＮＤがセットされていた。同
期＆ステータスモードでは、同期が検出された瞬間の
み、全セルのステータスをセットする。

【００４８】図１２に同期＆ステータスの使用方法を示
す。各セルのＣＰＵは、同期要求地点にきたら、先ずそ
れまでの処理が正常に実行されていれば、ステータス要
求レジスタをセットする。なにかエラーがあった場合
は、ステータス要求レジスタをクリアする。その後、同
期要求レジスタをセットしてＣＰＵは、同期要求待ちに
はいる。同期完了を待っていたＣＰＵは、同期完了を検
出すると、ステータス検出レジスタの値を読みだし、前
の処理を全てのセルがエラーなく実行したことを確認し
てから、次のステップに進む。もし１つ以上のセルでエ
ラーが発生していた場合は、ステータス検出レジスタの
値は、０となり全セルが処理を終了させる。

【００４９】同期＆ステータスにより、処理の途中でな
んらかのエラーが発生した場合に、同期を検出するとセ
ルが全体の処理状況を確認できる。任意の１セルの異常
処理を全セルが検出判断して、適切な処理をとることが
できるので、正常終了したセルが同期待ちを続けるよう
なことがなくなる。

【００５０】図１３に、本発明の実現の一実施例を示
す。先ず、同期を検出する手順を示す。各ＰＥのＣＰＵ
（図１４を参照）は、同期要求レジスタ２１をセットし
て同期検出待ちにはいる。同期要求レジスタ２１の出力
は、全ＰＥで論理積がＡＮＤ回路２４でとられ全ＰＥに
返ってくる。全てのＰＥが同期要求レジスタ２１をセッ
トすると、その論理積出力は１になり、全ＰＥの同期検
出レジスタ２３をセットし、同時に同期要求レジスタ２
１をクリアする。

【００５１】各ＰＥのＣＰＵは、ダイナミックループで
同期検出レジスタ２３を監視することや、同期要求レジ
スタ２３がセットされたことを要因とした割り込みによ
って同期が確立したことを知ることができる。同期を検
出したＣＰＵは次のステップに進む。

【００５２】本発明では、同期に加えてステータス情報
も得るために以下の手順で処理を行う。図１３において
モードレジスタ２８の出力のＭＯＤＥは０とする。各Ｐ
ＥのＣＰＵは、同期要求地点にきたら、先ずそれまでの
処理が正常に実行されていれば、ステータス要求レジス
タ３１にステータスをセットする。例えばエラーがあっ
た場合はステータスをクリアする。その後、同期要求レ
ジスタ２１をセットして同期要求待ちにはいる。同期要
求レジスタ２１の出力とステータス要求レジスタ３１の
出力はそれぞれ全ＰＥで論理積がＡＮＤ回路２４および
３４でとられ、全ＰＥに返ってくる。全てのＰＥが同期
要求レジスタ２１をセットすると、その論理積出力は１
になり全ＰＥの同期検出レジスタ２３がセットされる。
同時に同期要求レジスタ２１をクリアするＡＮＤ回路２
４の“１”出力がステータス線３６上のＯＲ回路３７，
ＡＮＤ回路３８を介してステータス検出レジスタ３３に
送られる。全ＰＥのステータスに異常がなく、ステータ
ス要求レジスタ３１の出力が論理１のとき、ＡＮＤ回路
３４は論理１を出力し、この出力が全てのＰＥに再び分
配される。そして、各ＰＥにおいて、ステータス線３６
を介して送られてきた全てのＰＥの同期成立を示す信号
とＡＮＤ回路３４から送られてきた全てのＰＥのステー
タス要求成立を示す信号との論理積をＡＮＤ回路３８で
とって、ステータス検出レジスタ３３をセットする。

【００５３】同期完了を待っていたＣＰＵは、ステータ
ス検出レジスタ３３の値を読みだし、前の処理で全ての
ＰＥがエラー無く実行したことを確認してから、次のス
テップに進む。もし１つ以上のＰＥでエラーが発生して
いた場合は、ＡＮＤ回路３４の出力は論理０となり、全
ＰＥの同期がとれていても、ＡＮＤ回路３９を介してス
テータス検出レジスタ３３の値は０となり、全ＰＥは次
のが処理を実行しない。ステータス線３６のデータは、
同期が検出された時のみ有効となり、ステータス検出レ
ジスタ３３を更新するので、全ＰＥの同期確立時のステ
ータスを検出することが保証される。

【００５４】ＭＯＤＥをＣＰＵから読み書きできる別の
モードレジスタ２８によって制御することにより、同期
系とステータス系を独立したものとしても、同期兼ステ
ータス系としても使用することができる。すなわち、モ
ードレジスタ２８の出力のＭＯＤＥが１のときは、たと
えステータス線３６の信号が０で、全ＰＥの同期が成立
していないときでも、全ＰＥのステータスに異常がなけ
れば、ステータス検出レジスタ３３を１にセットでき
る。したがって、同期系に関係なくステータス系を独立
して動作させることができる。

【００５５】図１４は、図１３に示した本発明の実施例
によって構成されるＰＥの構成と、並列計算機システム
の全体の構成を示す。図１３と同一部分は、同一参照番
号を付して説明を省略する。

【００５６】１つのＰＥは、ＣＰＵ４１と記憶装置ＭＥ
Ｍ４２にデータバスラインで接続された同期要求レジス
タ２１，同期検出レジスタ２３，ステータス要求レジス
タ３１，ステータス検出レジスタ３３，モードレジスタ
２８，カウンタ５１が接続される。データバスはＰＥ間
通信インターフェース４３を介してネットワーク４４に
接続され、他のＰＥとの通信が行われる。各ＰＥの同期
要求レジスタ２１とステータス要求レジスタ３１はＡＮ
Ｄ回路２４および３４に接続され、このＡＮＤ回路２
４，３４の出力は各ＰＥの同期検出レジスタ２３，ステ
ータス検出レジスタ３３にそれぞれ分配される。

【００５７】並列計算機にとって、同期待ちの時間は無
駄な時間なので極力短くしたい。プログラムを実行する
上で、どのＰＥの同期待ち時間が長いか知ることは重要
である。図１５に示した実施例では、個々のＰＥ毎にク
ロックをカウントするカウンタ５１を設け、同期要求レ
ジスタ２１の出力（全ＰＥで論理積をとる前）が１のと
きにカウントアップし、同期検出されたとき、カウント
を終了するものである。同期要求・同期検出が繰り返さ
れる場合は、同期を要求している時間が積算されること
になる。

【００５８】ユーザは、先ずカウンタ５１をクリアしプ
ログラムを実行し、最後にカウンタの値を読み出す。こ
れにより、そのプログラムの同期オーバヘッドを知るこ
とができる。このような機能はソフトウェアでも実現可
能であるが、ソフトウエアで実行すると、測定をしてい
る時と測定していないときで、プログラムの実行時間が
変化するため、正確な時間が測定できないし思わぬバグ
を引き起こすこともある。

【００５９】処理の途中で何らかのエラーが発生した場
合に、同期を検出すると同時にそのエラーがあったこと
を全ＰＥが確認する必要がある。例えば、図１６のよう
に本実施例によれば、１ＰＥにおいて処理１が終了し、
同期成立したのち正常終了を全ＰＥについて検出判断し
て、異常のときは適切な異常処理をとることができるの
で、正常終了したＰＥが同期待ちを続けるようなことが
なくなる。そして、正常終了のときは処理２に進行す
る。

【００６０】図１６において、正常終了の判断にかえ
て、各ＰＥにおける演算処理が所定の誤差の範囲内に収
束したかを判断し、収束したとき次の処理２に進行する
ようにしてもよい。この場合、図１３において、収束し
ていたとき、ステータス要求レジスタ３１のステータス
をセットするようにすればよい。

【００６１】図１７に本発明の他の実施例を示す。以下
の処理で全ＰＥの安定状態を検出する。ネットワーク状
態信号６０は１のときに、ネットワークにメッセージが
存在することを表現する信号で、反転回路６１の出力
は、ネットワーク上にメッセージがないときに、１にな
る信号である。すなわち、ネットワーク状態信号６０は
ネットワークからの信号線でネットワークにメッセージ
が存在する時に１になるのだから、全ＰＥの少なくとも
１つのネットワーク状態信号線が１のときのは、ネット
ワーク内にメッセージがあることを示している。

【００６２】ここで、ネットワーク状態の検出の方式を
図１８に示す。まず、自ＰＥにメッセージがあるかを判
断し、自ＰＥにメッセージがあるときには、ネットワー
クにメッセージある状態を示しつづける。この判断は、
自ＰＥの所定レジスタにデータがあるかを検出すること
により行う。自ＰＥにメッセージがないとき、所定時間
たったかを判断する。この所定時間とは相手ＰＥまでの
データの伝播時間に対応する。所定時間たったときに
は、ネットワークにメッセージがないことを示す、すな
わち、自ＰＥにメッセージがなく、かつ所定時間たった
ということは、自ＰＥとその相手ＰＥとの間の通信経路
との両方にメッセージがないことすなわち、ネットワー
クにメッセージがないことを示す。

【００６３】図１７において、同期要求レジスタ６２は
同期要求信号６３が１の時にセットされ、この同期要求
レジスタ６２のセットは、当該ＰＥの当該処理ステップ
が終了し、他のＰＥに対して同期要求を発する。メッセ
ージ受信信号６４は、自ＰＥに対してネットワークから
メッセージが到着したことを示す信号線である。この信
号が１の時にはＯＲ回路６５の出力は１であるから同期
要求レジスタ６２はクリアされる。例えば１つのＰＥが
処理を終えたつもりで同期要求信号を出した場合に当該
ＰＥに遅れて、メッセージが到着した場合にはこのメッ
セージ受信によって同期要求レジスタ６２をクリアし、
当該ＰＥからの同期要求６３の誤りを訂正する。また、
同期要求レジスタ６２はＡＮＤ回路６８によってもクリ
アされるが、これは、ＡＮＤ回路６８によって同期検出
レジスタ６９をセットしたあとは、その処理ステップに
おける同期要求レジスタ６２をリセットして次の処理に
おける自ＰＥからの同期要求信号６３待ちにするためで
ある。

【００６４】ＣＰＵは、ＰＥに処理するメッセージがな
くなると同期要求レジスタ６２をセットして、同期要求
を出力し安定状態になるのを待つ。このＰＥからメッセ
ージが到着するとメッセージ受信信号６４の信号線が１
になり、まず、この信号線の１により、同期要求レジス
タ６２はクリアされる。なお、ＣＰＵが同期要求レジス
タ６２をクリアする場合、ネットワークから次のメッセ
ージ全体を受信する以前に、同期要求レジスタ６２をク
リアしなければならない。ＣＰＵは、そのメッセージの
処理が終了すると再び同期要求レジスタ６２をセットす
る。

【００６５】同期要求レジスタ６２の出力とネットワー
ク状態信号６０の反転と、さらにメッセージ送信管理部
７１及びメッセージ受信管理部７２（図１９の説明参
照）の出力との論理積がＡＮＤ回路６６でとられて、Ａ
ＮＤ回路６６から、同期安定要求信号が出力され、この
各ＰＥからの同期安定要求信号について、全ＰＥで論理
積がＡＮＤ回路６７でとられ、全ＰＥに返ってくる。ネ
ットワーク内にメッセージが存在するときは、各ＰＥか
らの同期要求が同期要求レジスタ６２から出力されてい
ても、反転回路６１の出力は０であるのでＡＮＤ回路６
６の出力は０となり、同期安定要求信号は出力されな
い。したがって少なくとも１つのＰＥのネットワーク状
態が１になっているときは全体の論理積出力（ＡＮＤ回
路６７の出力）は１にならない。

【００６６】全ＰＥの同期要求レジスタ６２がセットさ
れネットワーク内にメッセージが存在しないとき、ＡＮ
Ｄ回路６６からは同期安定要求信号が出力され、全体の
論理積出力は１になり、ＡＮＤ回路６８を介して全ＰＥ
の同期検出レジスタ６９をセットし、同時に同期要求レ
ジスタ６２をクリアする。ＡＮＤ回路６８には、ＡＮＤ
回路６６の出力であって、ネットワークにメッセージが
なく、自ＰＥが同期要求していることを示す同期安定要
求信号が入力されるとともに、ＡＮＤ回路６７の出力で
あって全ＰＥが同期安定要求をしている信号も入力され
る。このＡＮＤ回路６８によって、同期安定要求信号が
確実に出力していることを確認する。

【００６７】同期検出レジスタ６９は、ネットワークに
メッセージがないことも条件として出力が生じるので、
全ＰＥの安定状態を、同期検出レジスタ６９の出力を監
視することにより、知ることができる。本発明では、あ
るＰＥが他よりも早く安定状態を知り、次のステップに
移りメッセージを送信することはなく、全てのＰＥは同
期検出レジスタ６９が安定状態が確立したことを検出し
たあとはじめて、次のステップに移行することができ
る。

【００６８】図１９に本発明の他の実施例の回路構成を
示し、この実施例は、各ＰＥのステータスの検出の際
に、ネットワークの状態を考慮するものである。以下の
処理で、全ＰＥの安定状態を検出する。

【００６９】ネットワーク状態７０は、ネットワークか
らの信号線で、ネットワークにメッセージが存在すると
きは、各ＰＥのすくなくとも一つの信号線は、ネットワ
ーク内にメッセージがあることを示している。なお、こ
の信号はネットワークにメッセージがないときに１とな
る。

【００７０】メッセージ送信管理部７１（各ＰＥごとに
ある）は、送信すべきメッセージが一つもないことを示
している。メッセージ受信管理部７２（各ＰＥごとにあ
る）は、受信したメッセージが一つもないことを示して
いる。各ＰＥのＣＰＵは、メッセージを受信するとき
は、このメッセージ受信管理部からメッセージを受け取
る。

【００７１】ネットワーク状態７０は各ＰＥにおいて、
メッセージ送信管理部７１、メッセージ受信管理部７２
以外にメッセージがあるか否かを示す信号である。メッ
セージ受信７３は、ＰＥに対してネットワークからメッ
セージが到着したことを示す信号線である。この信号に
よりステータス要求７４でセットされていたステータス
要求レジスタ７５はクリアされる。

【００７２】ＣＰＵは、ＰＥに処理するメッセージがな
くなると、ステータス要求レジスタ７５をセットして、
安定状態になるのを待つ。このＰＥにメッセージが到着
すると、メッセージ受信の信号線が１になり、ステータ
ス要求レジスタ７５はクリアされる。ＣＰＵは、そのメ
ッセージの処理が終了すると、再び、ステータス要求レ
ジスタをセットする。

【００７３】ステータス要求レジスタ７５の出力とネッ
トワーク状態７０とメッセージ送信管理部７１、メッセ
ージ受信管理部７２の出力の論理積の出力がＡＮＤ回路
７６でとられ、全ＰＥのＡＮＤ論理積がアンド回路７７
でとられ、全ＰＥに返ってくる。ネットワーク内にメッ
セージが存在するときは、少なくとも一つのネットワー
ク状態が０になっているので、全体の論理積出力は１に
ならない。

【００７４】全ＰＥのステータス要求レジスタ７５がセ
ットされ、ネットワーク内にメッセージが存在しないと
き、全体の論理積出力は１になり、全ＰＥのステータス
検出レジスタ７８をアンド回路７９を介してセットす
る。各ＰＥがネットワークからのメッセージ受信によ
り、メッセージ待ち状態からメッセージ処理状態（各Ｐ
Ｅが安定状態にない）に移行するとき、ＣＰＵがステー
タス要求レジスタ７５をクリアするのではなく、メッセ
ージ受信７３の信号線により、ステータス要求レジスタ
７５をクリアする場合、ネットワークからメッセージ全
体を受信する以前に、ステータス要求レジスタ７５をク
リアしなければならない。

【００７５】全ＰＥは、安定状態をステータス検出レジ
スタ７８を監視することにより知ることができる。ある
ＰＥが他よりも早く安定状態を知り、次のステップに移
り、メッセージを送信した場合でも、他のＰＥはステー
タス検出レジスタ７８から、安定状態が確立したことを
検出できるので、次のステップに移行することができ
る。

【００７６】図２０は本発明のさらに他の実施例の回路
図である。図１７、図１９と同一部分には同一参照番号
を付して説明を省略する。この実施例においては、図１
３に示した同期成立を検出したのちにステータスの検出
を行う同期ステータス方式において、同期要求の有無、
ステータス要求の有無を判断する場合にも、ネットワー
ク状態を検出する。

【００７７】

【発明の効果】第１の発明によれば、全ＰＥの同期成立
した場合でも１ＰＥの異常処理等のステータスを全ＰＥ
が検出判断して、適切な処理が行えるので、並列計算機
システムにおいて演算処理時間を向上することができ
る。

【００７８】また、同期・ステータスモード制御レジス
タとして、モードレジスタを設けることにより、同期・
ステータス独立モードと同期兼ステータスモードの両方
の実現が行え、同期・ステータス系ハードウェアの適用
範囲が広がる。

【００７９】さらに、同期待ち時間の積算カウンタを設
けることにより、ＰＥの動作を変えることなく、複数の
ＰＥの負荷の分散具合を知ることができる。第２の発明
では、ネットワークの状態を同期検出回路に組み込むこ
とにより、ネットワークの状態を含めた全ＰＥの安定状
態を検出することができる。

【００８０】また、各ＰＥがネットワークからのメッセ
ージ受信により、メッセージ待ち状態からメッセージ処
理状態（各ＰＥが安定状態にない）に移行するとき、Ｃ
ＰＵが同期要求レジスタをクリアするのではなく、メッ
セージ受信の信号線により同期要求レジスタをクリアす
ることにより、高速にかつ安全に安定状態を検出するこ
とができる。

【００８１】第３の発明では、ネットワークの状態をス
テータス検出回路に組み込むことにより、ネットワーク
の状態を含めた全ＰＥの安定状態を検出することができ
る。また、本発明では、メッセージ受信により、直接ス
テータス要求レジスタをリセットしているので、メッセ
ージ受信したとき、ＣＰＵからのステータス要求によっ
て、ステータス要求レジスタをセットする場合よりも、
ステータス要求レジスタからより高速にステータス要求
を出力することができる。

【図面の簡単な説明】

【図１】第１の本発明の原理を示すブロック図である。

【図２】第２の本発明の原理を示すブロック図である。

【図３】第３の本発明の原理を示すブロック図である。

【図４】本発明の適用される並列計算機システムのハー
ドウェアの構成図である。

【図５】セルの構成を示す図である。

【図６】トーラスネットワークの構成図である。

【図７】ＲＴＣの構成図である。

【図８】ワームホールとストア＆フォワードルーティン
グを示す図である。

【図９】ＲＴＣのメッセージを説明する図である。

【図１０】同期処理を説明する図である。

【図１１】同期＆ステータス系の構成を示す図である。

【図１２】同期＆ステータス処理の使用例を示す図であ
る。

【図１３】第１の実施例に係る同期＆ステータス回路の
構成図である。

【図１４】第１の実施例において、ＰＥの構成と並列計
算機システムの全体の構成を示す図である。

【図１５】第１の実施例において、同期待ち時間カウン
タを示す図である。

【図１６】第１の実施例による同期＆ステータス処理を
示す図である。

【図１７】第２の実施例のブロック図である。

【図１８】第２の実施例において、ネットワーク状態検
出のフローチャートである。

【図１９】第３の実施例のブロック図である。

【図２０】第４の実施例のブロック図である。

【図２１】従来の安定状態検出のフローチャートであ
る。

【図２２】従来のＰＥの処理と同期を示す図である。

【符号の説明】

１ 全ＰＥの同期成立検出手段 ２ ステータス要求レジスタ ３ ステータス検出レジスタ

Claims (14)

(57)【特許請求の範囲】
1. 【請求項１】 複数の独立に作動する計算機を接続した
   構成の分散メモリ型並列計算機であって、 個々の計算機が独立に同期要求を行い同期要求信号を保
   持する同期要求レジスタ手段と、 全計算機の同期要求レジスタからの要求があったことを
   判断する同期判断手段と、 その判断結果を全計算機に分配する同期分配手段と、 分配された判断結果によって同期検出を行う同期検出レ
   ジスタ手段と、 個々の計算機に設けられ独立に、各計算機での処理を所
   定のとおり実行されたか否かを示すステータスの要求を
   行いステータス要求信号を保持するステータス要求レジ
   スタ手段（２）と、 全計算機のステータス要求レジスタからの要求有を判断
   するステータス判断手段（４）と、 該判断結果を全計算機に分配するステータス分配手段
   （５）と、 該ステータス分配手段（５）により分配された前記判断
   結果と前記同期分配手段により分配された前記判断結果
   とによってステータス検出を行うステータス検出レジス
   タ手段（３）とを持つことにより、全計算機で同期が確
   立した時の全計算機のステータスを検出できることを特
   徴とするプロセッサ間同期制御方式。
2. 【請求項２】 請求項１において、同期系とステータス
   系を接続・切断を制御するモードレジスタを有すること
   により、同期兼ステータス系としてあるいは、同期系と
   ステータス系を独立した系として切換えて動作すること
   を特徴とするプロセッサ間同期制御方式。
3. 【請求項３】 前記請求項１記載の並列計算機同期方式
   において、各計算機はクロックをカウントするカウンタ
   を持ち、同期を要求してから同期を検出するまでの時間
   を各計算機毎に積算し、プログラムの処理時間に影響を
   与えることなく、各計算機毎の同期オーバヘッドの時間
   を測定できることを特徴とする同期時間測定方法。
4. 【請求項４】 請求項１記載のステータス検出レジスタ
   は各計算機にエラーが発生したことを検出するプロセッ
   サ間同期制御方式。
5. 【請求項５】 請求項１記載のステータス検出レジスタ
   は各計算機における演算値が収束したことを検出するプ
   ロセッサ間同期制御方式。
6. 【請求項６】 複数の計算機を独立に作動する分散メモ
   リ型並列計算機において、 全計算機の同期成立を検出する手段と、 各計算機の処理が所定のとおり実行されたか否かを示す
   ステータスを他の全ての計算機に分配するステータス要
   求分配手段と、 全計算機のステータスが所定のステータスになりかつ全
   計算機が同期成立したことを検出するステータス検出手
   段と、 該ステータス検出手段の出力により全計算機が次のステ
   ップに進むことを特徴とする並列計算機におけるプロセ
   ッサ間同期制御方式。
7. 【請求項７】 多数の独立に動作する計算機を通信ネッ
   トワークで接続した分散メモリ型並列計算機において、 個々の計算機が独立に同期要求を行い同期要求信号を保
   持する同期要求レジスタ手段と、全計算機の同期要求レ
   ジスタからの出力の論理積をとる手段と、その結果を全
   計算機に分配する手段と、その分配された結果によって
   同期検出を行う同期検出レジスタ手段（６）と、通信ネットワークにメッセージがあるかないかを示す 状
   態信号を通信ネットワークから受信する手段（７）と、 前記同期要求レジスタの出力と前記状態信号を受信する
   信号線とにより自計算機の同期要求があり、かつネット
   ワークにメッセージがないことを検出する同期安定要求
   検出手段（８）とを具備することによりネットワークに
   メッセージなくかつ全計算機がメッセージ待ち状態にあ
   ることを検出することを特徴とする並列計算機における
   安定状態検出方式。
8. 【請求項８】 通信ネットワークから計算機にメッセー
   ジが到着したことを示す手段と、 該到着を示す信号により同期要求レジスタをクリアする
   回路とを具備することを特徴とする請求項７記載の並列
   計算機における安定状態検出方式。
9. 【請求項９】 前記同期安定要求検出手段（８）は、ネ
   ットワークの状態を示す信号線の信号と同期要求レジス
   タの出力との論理積をとる手段であることを特徴とする
   請求項７記載の並列計算機における安定状態検出方式。
10. 【請求項１０】 前記安定要求検出手段（８）の出力と
    全計算機が同期安定要求をしていることとの論理積をと
    って同期検出レジスタをセットすることを特徴とする請
    求項７記載の並列計算機における安定状態検出方式。
11. 【請求項１１】 メッセージの送信管理部、受信管理部
    からメッセージがないことを示す手段を持ち、その状態
    を示す信号線と同期要求レジスタの出力との論理積をと
    ることを特徴とする請求項７記載の安定状態検出方式。
12. 【請求項１２】 多数の独立に動作する計算機を通信ネ
    ットワークで接続した分散メモリ型並列計算機におい
    て、 個々の計算機の処理が所定のとおり実行されたか否かを
    示すステータス要求レジスタと、 全計算機のステータスに要求レジスタの論理積をとる手
    段と、 その結果を全計算機に分配する手段と、 分配された結果によってステータスの検出を行うステー
    タス検出レジスタ手段（９）と、 通信ネットワークの状態を示す手段（１０）とを持ち、 ステータス要求レジスタの出力とネットワークの状態を
    示す信号との論理積をとる、ことにより、ネットワーク
    にメッセージがなく、かつ、全計算機がメッセージ待ち
    状態にあることを検出することができることを特徴とす
    る安定状態検出方式。
13. 【請求項１３】 通信ネットワークから計算機にメッセ
    ージが到着したことを示す手段を持ち、到着を示す信号
    により、ステータス要求レジスタをクリアする回路を付
    加する、ことにより、安全に全計算機の安定時状態を検
    出することができることを特徴とする請求項１２記載の
    安定状態検出方式。
14. 【請求項１４】 メッセージの送信管理部、受信管理部
    からメッセージがあることを示す手段を持ち、 その状態を示す信号線とステータス要求レジスタの出力
    とネットワークの状態を示す出力との論理積をとること
    を特徴とする請求項１２記載の安定状態検出方式。