JP2976700B2 - プロセッサ間同期制御方式 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本願発明は、複数個の演算プロセ
ッサからなる演算処理装置、複数個のモジュールにイン
ターリーブされた記憶装置、演算処理装置と記憶装置を
接続する相互結合網、並びに演算プロセッサ相互間の同
期制御に用いる同期制御用レジスタより構成される情報
処理装置におけるプロセッサ間同期制御方式に関する。

【０００２】

【従来の技術】複数個の演算プロセッサと、複数個のモ
ジュールにインターリーブされたメモリ、プロセッサと
メモリを接続する相互結合網、並びにプロセッサ間の同
期制御に用いる同期制御用レジスタより構成される密結
合マルチプロセッサ構成の並列計算機を図１にブロック
図で示す。この並列計算機において、プロセッサ間の共
有データの転送はメモリを介して行われる。このとき、
正しく共有データの受渡しを行うため、プロセッサ間の
同期制御に同期制御用レジスタが用いられる。

【０００３】同期制御用レジスタを用いた共有データの
受渡しは、次のように行われる。始めに同期制御用レジ
スタの内容をクリア（０値）にしておく。書き込み側プ
ロセッサは転送を行う共有データをメモリに書き込む
と、該プロセッサは同期制御レジスタのフラグをセット
（１値）する。読み込み側プロセッサはこの同期制御レ
ジスタがセットされたことを確認した後にメモリより共
有データを読み出す。これにより、書き込み側プロセッ
サの共有データの書き込みと、読み込み側プロセッサの
共有データの読み込みの順序性は保証され、正しく共有
データの転送を行うことができる。

【０００４】このとき、書き込み側プロセッサにおいて
は、共有のデータの書き込みと、同期制御用レジスタ書
き込みの順序性を保証しておくことが必要になる。即
ち、共有データの書き込み終了したことを確認した後
に、同期制御用レジスタに書き込みを行う必要がある。
共有データの書き込み終了以前に同期制御用レジスタの
フラグをセットすれば、当然正しいデータ転送は行われ
ない。この共有データ書き込みと同期制御用レジスタ書
き込みの順序性保証の方法は、いくつか考えられる。

【０００５】まず、順序性保証を満足する結合網を採用
すれば簡単に順序性保証は実現できる。ここで、順序性
保証を満足する結合網とは、プロセッサからのメモリア
クセス要求発行の時間的な順序関係を保証し、その順序
通りにメモリに対してアクセスを行う結合網である。こ
のような結合網として例えばバス結合がある。この場
合、書き込み側プロセッサは共有データ書き込み命令を
発行した後に同期制御用レジスタにフラグのセットを行
えばよい。即ち、同期制御用レジスタで保証された書き
込み命令と読み込み命令の順序性が、結合網で保持され
てメモリに対し発行されるので、正しいデータの転送が
可能になる。

【０００６】しかし、バッファ付き多段結合網で、パケ
ット交換制御による調停制御を行う結合網では、メモリ
アクセスの順序性保証を満足しないため、順序性保証制
御の回路を追加する必要がある。この回路の一例とし
て、プロセッサと記憶装置間に共有データを書き込み完
了を返す信号線を設け、全てのメモリアクセスに対して
記憶装置はメモリアクセス完了を示すＡｃｋ信号を、こ
の信号線を使ってプロセッサに返す。書き込み側プロセ
ッサはこれらの信号を受け取った後に同期制御用レジス
タのフラグセット命令を発行する。

【０００７】

【発明が解決しようとする課題】プロセッサ台数が数十
台以上になると、順序性保証を満足する結合網を実現す
ることは、かなり困難になる。つまり、その制御が複雑
になり、結合網の実効スループットを落とす恐れがあ
る。この場合、パケット交換制御の多段結合網を採用す
ることが多い。

【０００８】しかし、多段結合網で前述した順序性保証
制御方法を用いた場合、同期制御用レジスタのフラグの
セット操作のＴＡＴ（ターンアランドタイム）が長くな
ってしまい、システムの性能劣化の原因になる。即ち、
共有メモリへの書き込み命令信号が記憶装置に到達し、
メモリアクセスが完了したことを示すＡｃｋ信号が返っ
て来るまで、同期制御用レジスタのフラグセット命令発
行ができないため無駄な待ちが発生してしまう。

【０００９】

【課題を解決するための手段】前述の課題を解決するた
めの本願の発明のプロセッサ間同期制御方式は、複数の
プロセッサとメモリを結合する、交換スイッチより構成
される多段の結合網において、各段の交換スイッチにメ
モリリクエストが通過したことを示すＡｃｋ信号発生回
路を設け、同期制御用レジスタを各段に分散させて配置
し、また、このレジスタに書き込んだＰＥ番号を保持す
るレジスタと、複数個ある同期制御用レジスタを選択す
るセレクタを持たせることにより、プロセッサ間で共有
データを転送するのに必要な同期制御を高速に行うこと
ができる手段を有する。

【００１０】このとき多段結合網は次の条件を満足すれ
ば、ネットワークのトポロジーに関係無く本願発明を適
用できる。即ち、プロセッサとメモリモジュールを一意
に決めれば、結合網内のルートが唯一１ルートのみ決ま
り、交換スイッチ、パス上で前後のメモリリクエストパ
ケットの追越しが起こらない結合網ならば良い。

【００１１】複数個のプロセッサ間のメモリアクセスパ
ケットが、結合網内のある段以降からメモリまでの同一
のパスを使用すれば、その段以降のメモリアクセスの順
序性は保証される。従って、同期制御用レジスタのフラ
グのセットは、この段を全てのメモリアクセスパケット
が通過したことが確認できた時点で可能である。そこ
で、各段に同期制御用レジスタを各々分散させて配置し
（物理的には複数個のレジスタより構成されるが、論理
的には１つの同期制御用レジスタとして見える）、本レ
ジスタの書き込み側は、各段においてメモリリクエスト
パケットが通過したことを保証したときに各々別に書き
込みを行い、読み込み側は書き込みプロセッサ番号と読
み込みプロセッサ番号より、読み出すべき同期制御用レ
ジスタを選択して読み出すことにより、２つのプロセッ
サ間での同期制御を高速に行うことが可能になる。

【００１２】

【実施例】以下、本願発明の一実施例を図２を参照して
説明する。実施例として相互結合網としてバッファ付き
の交換スイッチを用いたオメガ網を使い、８台のプロセ
ッサと８個にインターリーブされたメモリモジュールか
らなるマルチプロセッサ構成での同期方法について述べ
る。以下、同期制御用レジスタのことを通信レジスタと
呼ぶ。

【００１３】図２では、８台のプロセッサ０、…、７
と、８個のモジュールにインターリーブされたメモリモ
ジュール１００、…、１０７と、それらを結合するオメ
ガを示している。オメガ網は３段のステージで構成さ
れ、各段４個の２×２のバッファ付き交換スイッチが配
置される。初段の交換スイッチを００、…、０３とし、
中段の交換スイッチを１０、…、１３、終段の交換スイ
ッチを２０、…、２３とする。オメガ網であるので、プ
ロセッサと交換スイッチ間、また、交換スイッチ間はシ
ャッフル式に結合される。交換スイッチ内での２個のパ
ケットの競合調停は各交換スイッチが行い、競合が発生
した場合、優先度の高いリクエストを通し、低いリクエ
ストは交換スイッチ内のバッファで待たされる。

【００１４】各段には各々カウンタ３０、３１、３２と
セレクタ４０、４１、４２、通信レジスタ部５０、５
１、５２を設ける。カウンタは各４個の交換スイッチと
接続される。セレクタの入力側はカウンタと通信レジス
タバスに接続され、カウンタからの信号と通信レジスタ
バスからの信号を選択する。

【００１５】また、各通信レジスタに対応して、この通
信レジスタに値を書き込んだＰＥ番号を保持するＰＥ番
号レジスタ部６０がある。さらにデコーダ部６１、通信
レジスタから読み出された値を選択する通信レジスタセ
レクタ部６２がある。

【００１６】通常のメモリアクセス命令（メモリ書き込
み命令、メモリ読み込み命令）パケットとして発行さ
れ、オメガ網内のメモリアクセスパスを通りメモリに到
達する。メモリはパケットのＯＰＣＯＤＥに従いメモリ
アクセスを行う。

【００１７】通信レジスタを操作する命令は次の通りで
ある。 （１）ＳＣＲ（通信レジスタ書き込み） プロセッサは通信レジスタバスを用いて、各通信レジス
タ部５０、…、５２のＣＲアドレスが示す通信レジスタ
の内容を書き換える。合わせて、ＰＥ番号レジスタ部６
０のＣＲアドレスが示すＰＥ番号レジスタに、自分のプ
ロセッサ番号を書き込む。また、各セレクタ４０、…、
４２に通信レジスタバスのＷｒｉｔｅＤＡＴＡを選択す
る選択信号がある。 （２）ＣＳＣＲ（順序保証付き通信レジスタ書き込み） プロセッサはメモリアクセスパスに対して、本命令パケ
ットを送出する。また、通信レジスタバスを用いて、Ｐ
Ｅ番号レジスタ部６０のＣＲアドレスが示すＰＥ番号レ
ジスタに、自分のプロセッサ番号を書き込み、各セレク
タ４０、…、４２に交換スイッチからの信号を選択する
選択信号を送る。初段の交換スイッチ００、…、０３は
本ＣＳＣＲパケットを受け取ると、２個の出力ポートに
対してＣＳＣＲパケットをブロードキャストする。ま
た、カウンタ３０に対してもＣＳＣＲパケットを送出す
る。カウンタ３０はＣＳＣＲパケットを受け取るとセレ
クタ４０に送り、セレクタ４０は通信レジスタ部５０に
本ＣＳＣＲパケットを送る。通信レジスタ部５０はＣＳ
ＣＲパケット内のＣＲアドレスが示す通信レジスタの内
容をＣＳＣＲパケット内のデータの値に置き換える。中
段の２個の交換スイッチ１０、…、１３は各々本ＣＳＣ
Ｒパケットを受け取ると、２個の出力ポートに対してＣ
ＳＣＲパケットをブロードキャストする。また、カウン
タ３１に対してもＣＳＣＲパケットを送出する。カウン
タ３１は２個の交換スイッチより各々ＣＳＣＲパケット
を受け取るまで待つ。２個のＣＳＣＲパケットを受け取
るとこれをセレクタ４１に送り、セレクタ４１は通信レ
ジスタ部５１に本ＣＳＣＲパケットを送る。通信レジス
タ部５１はＣＳＣＲパケット内のＣＲアドレスが示す通
信レジスタの内容をＣＳＣＲパケット内のデータの値に
書き換える。終段の４個の交換スイッチ２０、…、２３
は各々本ＣＳＣＲパケットを受け取ると、カウンタ３２
に対してＣＳＣＲパケットを送出する。カウンタ３２は
４個の交換スイッチより各々ＣＳＣＲパケットを受け取
るまで待つ。４個のＣＳＣＲパケットを受け取るとこれ
をセレクタ４２に送り、セレクタ４２は通信レジスタ部
５２に本ＣＳＣＲパケットを送る。通信レジスタ部５２
はＣＳＣＲパケット内のＣＲアドレスが示す通信レジス
タの内容をＣＳＣＲパケット内データの値に書き換え
る。 （３）ＬＣＲ（通信レジスタ読み込み） プロセッサは通信レジスタバスを用いて、各通信レジス
タ部５０、…、５２のＣＲアドレスが示す通信レジスタ
の内容を読み出す。合わせて、ＰＥ番号レジスタ部６０
のＣＲアドレスが示すＰＥ番号レジスタの内容を読み出
す。通信レジスタ部は複数個あるので、どの通信レジス
タ部の通信レジスタの内容を選択するかは、通信レジス
タセレクタ部６２とデコーダ６１で行う。デコーダ部６
１はＰＥ番号レジスタ部６０より読み出されたＰＥ番号
と、自分のプロセッサ番号を比較し、通信レジスタセレ
クタ部６２に選択番号を送る。通信レジスタセレクタ部
６２は選択番号に従い、通信レジスタから読み出された
データを選択し、このデータをプロセッサに返す。ここ
で、選択信号は以下の通りになる。ＬＣＲを発行したプ
ロセッサ番号を（ａ１，ａ２，ａ３）とする。（ａ１，
ａ２，ａ３）はＰＥ番号の２進数表現とし、ａをａの補
数表現とする。ＰＥ番号レジスタ部より読み出されたＰ
Ｅ番号が（ａ１，ａ２，ａ３）ならば、通信レジスタ部
５０を選択する選択信号を送出する。ＰＥ番号レジスタ
部より読み出されたＰＥ番号が（ａ１，ａ２，ａ３）な
らば、通信レジスタ部５１を選択する選択信号を送出す
る。ＰＥ番号レジスタ部より読み出されたＰＥ番号が
（ａ１，ａ２，ａ３）ならば、通信レジスタ部５２を選
択する選択信号を送出する。

【００１８】この構成において、２台のプロセッサ間の
共有データ転送は次のように行われる。始めに書き込み
側のプロセッサはＳＣＲ命令を用いて通信レジスタをク
リア（０値）する。このとき、３個の通信レジスタ部５
０、…、５２の同一ＣＲアドレスのＣＲレジスタの値が
クリアされることになる。

【００１９】書き込み側プロセッサがメモリに対しデー
タ書き込み命令を発行した後に、該プロセッサはＣＳＣ
Ｒ命令を発行する。このＣＳＣＲ命令は通信レジスタに
フラグをセット（１値）にする命令である。読み込み側
のプロセッサはこの通信レジスタに対し、ＬＣＲ命令に
よりフラグがセットされるまでチェックを行い、セット
されれば共有のデータの読み込み命令を発行する。

【００２０】書き込み側のプロセッサ番号を（ａ１，ａ
２，ａ３）とする。読み込み側のプロセッサ番号が（ａ
１，ａ２，ａ３）であるならば、任意のメモリモジュー
ルに対して書き込み側のメモリリクエストパケットと読
み込み側のメモリリクエストパケットは初段の交換スイ
ッチ以降同一のパスを通るので、初段のスイッチ以降は
メモリアクセスの追い越しが起こらず順序性は保証され
る。この場合、ＣＳＣＲ，ＬＣＲ命令規約によれば、通
信レジスタセレクト部６２は通信レジスタ部５０のデー
タを選択する。つまり、書き込み側のＣＳＣＲパケット
が初段の交換スイッチを通過した後にフラグのセットが
行われるため、順序性の保証は満足される。

【００２１】読み込み側のプロセッサ番号が（ａ１，ａ
２，ａ３）であるならば、任意のメモリモジュールに対
して、書き込み側のメモリリクエストパケットと読み込
み側のメモリリクエストパケットは中段の交換スイッチ
以降同一のパスを通るので、中段のスイッチ以降はメモ
リアクセスの追い越しが起らず順序性は保証される。こ
の場合、通信レジスタとセレクト部６２は通信レジスタ
部５１のデータを選択する。つまり、書き込み側のＣＳ
ＣＲパケットが中段の２個の交換スイッチを通過した後
にフラグのセットが行われるため、順序性の保証は満足
される。

【００２２】読み込み側のプロセッサ番号が（ａ１，ａ
２，ａ３）であるならば、任意のメモリモジュールに対
して、書き込み側のメモリリクエストパケットと読み込
み側のメモリリクエストパケットは終段の交換スイッチ
まで別パスを通るので、終段の４個の交換スイッチを通
過したことを確認して通信レジスタのフラグのセットを
行わないと、順序性が保証されない。この場合、通信レ
ジスタとセレクト部６２は通信レジスタ部５２のデータ
を選択する。つまり、書き込み側のＣＳＣＲパケットが
３段目の４個の交換スイッチを通過した後にフラグのセ
ットが行われるため、順序性の保証は満足される。

【００２３】図３は通信レジスタ部のブロック図を示し
ている。通信レジスタ部は複数個のレジスタ００、…、
０ｎより構成される通信レジスタファイル０と通信レジ
スタ制御部１より構成される。ＷｒｉｔｅＤＡＴＡ１０
０信号線は図２のセレクタ４０、…、４２の出力であ
り、ＲｅａｄＤＡＴＡ１０１信号線は図２の通信レジス
タセレクタ部６２の入力になる。

【００２４】ＯＰＣＣＯＤＥ１０２で示される命令が書
き込み命令ならば、ＣＲアドレス１０２で示されるアド
レスの通信レジスタの値をＷｒｉｔｅＤＡＴＡ１００の
値に置き換える。ＯＰＣＣＯＤＥ１０２で示される命令
が読み出し命令ならば、ＣＲアドレス１０２に示される
アドレスの通信レジスタの値をＲｅａｄＤＡＴＡ１０１
の信号線に出力する。

【００２５】図４はＰＥ番号レジスタ部のブロック図を
示している。ＰＥ番号レジスタ部は複数個のＰＥ番号レ
ジスタ００、…、０ｎより構成されるＰＥ番号レジスタ
ファイル０とＰＥ番号レジスタ制御部１より構成され
る。ＷｒｉｔｅＰＥ番号は図２の通信レジスタバス２０
０のＰＥ番号フィールドの信号線であり、ＲｅａｄＰＥ
番号１０１は図２のデコーダ６１の入力になる。

【００２６】ＯＰＣＣＯＤＥ１０２で示される命令が書
き込み命令ならば、ＣＲアドレス１０２で示されるアド
レスのＰＥ番号レジスタの値をＷｒｉｔｅＰＥ番号１０
０の値に置き換える。ＯＰＣＣＯＤＥ１０２で示される
命令が読み出し命令ならば、ＣＲアドレス１０２で示さ
れるアドレスのＰＥ番号レジスタの値をＲｅａｄＰＥ番
号１０１の信号線に出力する。

【００２７】図５は交換スイッチのブロック図を示して
いる。交換スイッチは入力ポート＃０、＃１のリクエス
トパケットの調停を行うアービタと、アービタからのの
選択信号５０よりルーティングを行う２×３交換スイッ
チ１より構成される。通常のメモリリクエストの場合は
２×２の交換スイッチとして機能し、パケットを希望す
る出力ポートにルーティングを行う。ＣＳＣＲパケット
が入力すると、２個の出力ポートとセレクタへのポート
に対して該パケットをブロードキャストを行う機能を有
する。

【００２８】図６はＣＲ操作命令のパケットを示してい
る。ＣＲ操作パケットは、ＯＰＣＣＯＤＥフィールド０
０、１０、ＣＲアドレス０２、１２以外にＣＲ命令を発
行したＰＥ番号が入っている自ＰＥ番号フィールドから
構成される。（ＣＲ書き込みの場合はデータフィールド
０３も含まれる）

【００２９】

【発明の効果】以上に述べたように、書き込み側プロセ
ッサによる同期制御レジスタのフラグのセットを、メモ
リからの書き込み完了を示すＡｃｋ信号を記憶装置より
受け取ってから行うのに比較して、本願発明の同期制御
方式では、あるプロセッサ関係においてはメモリリクエ
ストパケットが、結合網のある段を通過した時点、即ち
メモリに到達する以前で可能になるので、同期制御のオ
ーバーヘッドはかなり低減可能になると考えられる。

【００３０】特に将来においては、性能向上を得るため
多数台のプロセッサを多段結合で接続することが必須と
なると予測され、この時、多段結合の段数は増加し、メ
モリからＡｓｋ信号を返す方式ではオーバーヘッドが大
きくなり、性能向上のネックになることが考えられる。
このような場合において特に本方式は有効である。

【図面の簡単な説明】

【図１】一般的な密結合マルチプロセッサ構成の並列計
算機を示すブロック図。

【図２】本願発明の一実施例を示すブロック図であり、
特に結合網にオメガ網を用いたマルチプロセッサ構成を
詳細に説明する構成図。

【図３】通信レジスタ部を詳細に説明する構成図。

【図４】ＰＥ番号レジスタ部を詳細に説明する構成図。

【図５】交換スイッチを詳細に説明する構成図。

【図６】ＳＣＲ，ＣＳＣＲ，ＬＣＲパケットを詳細に説
明する構成図。

【符号の説明】

図１において、 ０、…、ｎ プロセッサ ２０ 相互結合網 ３０ 同期制御用レジスタ装置 １０１、…、１０ｎ メモリモジュール ２０１ 通信レジスタバス 図２において、 ０、…、７ プロセッサ ００、…、２３ バッファ付き２×２交換スイッチ ３０、…、３２ カウンタ ４０、…、４２ セレクタ ５０、…、５２ 通信レジスタ部 ６０ ＰＥ番号レジスタ部 ６１ デコーダ ６２ 通信レジスタセレクタ部 １００、…、１０７ メモリモジュール ２００ 通信レジスタバス 図３において、 ０ 通信レジスタファイル １ 通信レジスタ制御部 ００、…、０ｎ 通信レジスタ １００ ＷｒｉｔｅＤＡＴＡ信号線 １０１ ＲｅａｄＤＡＴＡ信号線 １０２ ＯＰＣＣＯＤＥ，ＣＲアドレス信号線 図４において、 ０ ＰＥ番号レジスタファイル １ ＰＥ番号レジスタ制御部 ００、…、０ｎ ＰＥ番号レジスタ １００ ＷｒｉｔｅＰＥ信号線 １０１ ＲｅａｄＰＥ信号線 １０２ ＯＰＣＣＯＤＥ，ＣＲアドレス信号線 図５において、 ０ アービタ １ ２×３スイツチ ００、０１ アドレス、ＯＰＯＣＯＤＥ入力ポート １０、１１ ＯＰＣＯＤＥ出力ポート ２０、２１ データ入力ポート ３０、３１ データ出力ポート ４０ アドレス、ＯＰＯＣＯＤＥ出力ポート（対カウ
ンタ） ４１ データ出力ポート（対カウンタ） ５０ 選択信号 図６において、 ００、１０ ＯＰＣＯＤＥフィールド ０１、１１ 自ＰＥ番号フィールド ０２、１２ ＣＲアドレスフィールド ０３ Ｗｒｉｔｅデータフィールド

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 複数個の演算プロセッサからなる演算処
   理装置、複数個のモジュールにインターリーブされた記
   憶装置、前記演算処理装置と前記記憶装置とを相互に接
   続する多段の相互結合網、及び前記演算プロセッサ相互
   間の同期制御に用いる同期制御用レジスタより構成され
   る情報処理装置において、接合網の交換スイッチに同期
   信号を発生させる回路と、結合網の各段に分散させて配
   置した同期制御用レジスタと、該とレジスタに書き込み
   を行ったプロセッサ番号を保持するレジスタと、複数個
   の同期制御用レジスタを選択するセレクタとを有するこ
   とにより、複数個のプロセッサ間の共有データ転送にお
   ける同期制御を高速に行うことを特徴とするプロセッサ
   間同期制御方式。