JPH08241293A - 遠隔メモリアクセス制御装置 - Google Patents

Abstract

(57)【要約】 【目的】 ＴＬＢのミスヒットに起因する割り込み発生
を排除し、かつ、遠隔メモリアクセスパケットを連続的
に発生させる。 【構成】 物理的に分散され論理的に複数のプロセッサ
から共有メモリとしてアクセス可能な分散共有メモリを
持つ並列計算機にて対応するプロセッサの分散共有メモ
リへの遠隔メモリアクセスを制御する遠隔メモリアクセ
ス制御装置であって、アドレスを指定するポインタ指定
手段と、生成するパケット数を指定するパケット数指定
手段と、遠隔メモリアクセス要求を検出する手段と、該
要求が検出されるとポインタ指定手段にて指示されるア
ドレスを元に対応するプロセッサのローカルメモリから
パケット生成用情報を読み出す手段と、読み出されたパ
ケット生成用情報に基づいてパケット数指定手段にて指
示される個数分、分散共有メモリに対して遠隔メモリア
クセスするパケットを生成する手段とを備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、遠隔に実装されたメモ
リに対してアクセスを行うことができる分散共有メモリ
方式の並列計算機における遠隔メモリアクセス制御装置
に係り、特にリストベクトルによってアクセス先を細か
く制御しつつ高速にアクセスできる遠隔メモリアクセス
制御装置に関する。

【０００２】

【従来の技術】従来の分散共有メモリ型並列計算機で
は、マイクロプロセッサから出されるリード要求やライ
ト要求を受けて、その１回のアクセスが遠隔メモリへの
アクセスを意味した場合は１つの遠隔メモリアクセスパ
ケットを生成していた。

【０００３】このため、様々なアドレスの遠隔メモリに
１語ずつアクセスするような処理を行う場合は、（ｉ）
マイクロプロセッサがメモリからアクセス先のアドレス
そのものを読みだし、あるいはメモリから読みだしたデ
ータを元にそのアドレスを計算により求め、（ii）その
結果をアドレスとして遠隔メモリにアクセスをする、と
いう一連の動作を、マイクロプロセッサのプログラムの
中で逐次に処理しなければならなかった。

【０００４】さらに、多数の遠隔プロセッサ上の遠隔メ
モリに少しずつアクセスするような場合は、マイクロプ
ロセッサ内のデータキャッシュを大量の遠隔メモリアド
レス情報が通過するような不都合や、マイクロプロセッ
サ内のトランスレーション・ルックアサイド・バッファ
（Ｔｒｎｓｌａｔｉｏｎ Ｌｏｏｋ Ａｓｉｄｅ Ｂｕ
ｆｆｅｒ；以下、ＴＬＢと略記する）の限られた個数の
エントリを次々とページ外にはみでる遠隔メモリアドレ
スが食いつぶしてしまうおそれがあった。

【０００５】また従来は、応答パケットを用いて遠隔メ
モリへの書き込みが完了したかどうかを確認していたの
で、全ての応答が戻ってくるまでの時間だけ遅く書き込
みの完了が伝わるために、処理が遅くなり、プロセッサ
間結合網を応答パケットにより混雑させてしまうという
欠点があった。

【０００６】

【発明の解決しようとする課題】以上のように、従来の
分散共有メモリ型並列計算機では、遠隔メモリアクセス
制御装置が結合網に出力するパケットは間欠的にしか発
生させることができないばかりか、マイクロプロセッサ
の処理時間を増加させ、その他の演算処理と通信のオー
バーラップを阻害したり、遠隔メモリアドレス情報がキ
ャッシュやＴＬＢを通過するためにキャッシュやＴＬＢ
のヒット率を低下させたりしてしまうという問題点があ
った。

【０００７】本発明は、上記事情に鑑みてなされたもの
であり、キャッシュやＴＬＢのミスヒットに起因する割
り込み発生を排除し、かつ、遠隔メモリアクセスパケッ
トを連続的に発生させることの可能な遠隔メモリアクセ
ス制御装置を提供することを目的とする。

【０００８】また、本発明は、遠隔メモリへの書き込み
処理に対する応答パケットにより結合網を混雑させるこ
とがないようする遠隔メモリアクセス制御装置を提供す
ることを目的とする。

【０００９】

【課題を解決するための手段】第１の発明は、複数のプ
ロセッサと物理的に分散して実装され論理的に該複数の
プロセッサから共有メモリとしてアクセス可能な分散共
有メモリとを具備する並列計算機において対応するプロ
セッサの該分散共有メモリに対する遠隔メモリアクセス
を制御する遠隔メモリアクセス制御装置であって、パケ
ット生成用情報のアドレスを指定するポインタ指定手段
と、生成するパケットの個数を指定するパケット数指定
手段と、前記対応するプロセッサからの遠隔メモリアク
セス要求を検出するアクセス要求検出手段と、前記遠隔
メモリアクセス要求が検出された場合、前記ポインタ指
定手段により指示される前記アドレスを元にして、前記
対応するプロセッサのローカルメモリから所定のフォー
マットのパケット生成用情報を読み出すローカルメモリ
アクセス手段と、読み出された前記パケット生成用情報
に基づいて、前記パケット数指定手段により指示される
パケット数分、前記分散共有メモリに対して遠隔メモリ
アクセスするパケットを生成するパケット生成手段とを
備えたことを特徴とする。

【００１０】第２の発明は、第１の発明に係る遠隔メモ
リアクセス制御装置において、前記ローカルメモリに格
納される前記パケット生成用情報の格納フォーマットを
配列とすることを特徴とする。

【００１１】第３の発明は、第１の発明に係る遠隔メモ
リアクセス制御装置において、前記パケット生成用情報
を一時的に格納する第１のバッファ手段と、書き込みデ
ータを一時的に格納する第２のバッファ手段とをさらに
備え、前記ローカルメモリアクセス手段は、前記遠隔メ
モリアクセス要求が遠隔メモリ書き込み要求である場
合、前記ローカルメモリから前記第１及び第２のバッフ
ァ手段に情報を取り込むものであるとともに、前記パケ
ット生成手段は、前記遠隔メモリアクセス要求が遠隔メ
モリ書き込み要求である場合、対応する前記パケット生
成用情報と前記書き込みデータとの組がそろったものか
ら、該組の内容に基づいて遠隔メモリ書き込みパケット
を生成するものであって、前記ローカルメモリアクセス
手段と前記パケット生成手段とを、パイプライン的に同
時動作させるようにしたことを特徴とする。

【００１２】第４の発明は、第３の発明に係る遠隔メモ
リアクセス制御装置において、前記ローカルメモリアク
セス手段は、連続アクセスが高速なローカルメモリをア
クセスするものであり、前記パケット生成用情報および
前記書き込みデータを前記ローカルメモリから連続アク
セスによって各々複数パケット分、前記第１および第２
のバッファ手段に取り込むようにしたことを特徴とす
る。

【００１３】第５の発明は、第１の発明に係る遠隔メモ
リアクセス制御装置において、前記パケットが運ぶべき
情報のデータ語数を指定するバースト長指定手段をさら
に具備し、該バースト長指定手段により指定される語数
の読み書きを行う遠隔メモリバーストアクセスパケット
を生成するようにしたことを特徴とする。

【００１４】第６の発明は、第１の発明に係る遠隔メモ
リアクセス制御装置において、前記パケット生成用情報
には、メモリアドレスの他に当該パケットが運ぶべき情
報のデータ語数を持たせ、各パケット毎に所望の語数の
連続データの読み書きを行う遠隔メモリバーストアクセ
スパケットを生成するようにしたことを特徴とする。

【００１５】第７の発明は、第１の発明に係る遠隔メモ
リアクセス制御装置において、前記パケット生成手段に
は、非特権モードでのプログラムからは特権モードに移
行することなく直接制御することが不可能なプロテクシ
ョン情報付加機構を設けるとともに、他のプロセッサか
らの遠隔メモリアクセスパケットを受信した場合に、該
パケット中のプロテクション情報に基づいてメモリアク
セスの許可不許可を制御するメモリアクセス保護機構を
備えたことを特徴とする。

【００１６】第８の発明は、複数のベクトルプロセッサ
と物理的に分散して実装され論理的に該複数のベクトル
プロセッサから共有メモリとしてアクセス可能な分散共
有メモリとを具備する並列計算機においてベクトルプロ
セッサの該分散共有メモリに対する遠隔メモリアクセス
を制御する遠隔メモリアクセス制御装置であって、ベク
トルプロセッサがフェッチしたベクトル命令によりパケ
ット生成が起動され、ベクトルプロセッサのベクトルロ
ード手段によりローカルメモリからベクトルレジスタに
ロードされたパケット生成用情報に基づいて、ベクトル
長指定手段により指示されるパケット数分、前記分散共
有メモリに対して遠隔メモリアクセスするパケットを生
成するパケット生成手段を備えたことを特徴とする。

【００１７】第９の発明は、第８の発明に係る遠隔メモ
リアクセス制御装置において、パケット生成用情報を前
記ベクトルレジスタの少なくとも１つに格納するととも
に、前記ローカルメモリからロードした書き込みデータ
またはベクトル演算器からの出力として得られる書き込
みデータを前記ベクトルレジスタの他のベクトルレジス
タに格納し、対応するパケット生成用情報と書き込みデ
ータを組み合わせて、前記フェッチしたベクトル命令に
よって遠隔メモリ書き込みパケットを生成することを特
徴とする。

【００１８】第１０の発明は、第８の発明に係る遠隔メ
モリアクセス制御装置において、前記ローカルメモリに
格納される前記パケット生成用情報の格納フォーマット
を配列とすることを特徴とする。

【００１９】第１１の発明は、第８の発明に係る遠隔メ
モリアクセス制御装置において、前記パケットが運ぶべ
き情報のデータ語数を指定できるベクトル命令を設け、
所定の語数の連続データの読み書きを１つのパケットで
行う遠隔メモリバーストアクセスパケットを生成するこ
とを特徴とする。

【００２０】第１２の発明は、第８の発明に係る遠隔メ
モリアクセス制御装置において、前記パケット生成用情
報には、メモリアドレスの他に当該パケットが運ぶべき
情報のデータ語数を持たせ、各パケット毎に所望の語数
の連続データの読み書きを行う遠隔メモリバーストアク
セスパケットを生成するようにしたことを特徴とする。

【００２１】第１３の発明は、第８の発明に係る遠隔メ
モリアクセス制御装置において、前記パケット生成手段
には、非特権モードでのプログラムからは特権モードに
移行することなく直接制御することが不可能なプロテク
ション情報付加機構を設けるとともに、他のプロセッサ
からの遠隔メモリアクセスパケットを受信した場合に、
該パケット中のプロテクション情報に基づいてメモリア
クセスの許可不許可を制御するメモリアクセス保護機構
を備えたことを特徴とする。

【００２２】第１４の発明は、第７または第１３の発明
に係る遠隔メモリアクセス制御装置において、遠隔メモ
リを指定するアドレスとして送信側でシステムコールに
よって変換をかけた変換後アドレスを前記ローカルメモ
リに準備し、実際の遠隔メモリアクセスの際には、前記
変換後アドレスを再利用することを特徴とする。

【００２３】第１５の発明は、複数のプロセッサと物理
的に分散して実装され論理的に該複数のプロセッサから
共有メモリとしてアクセス可能な分散共有メモリとを具
備する並列計算機において対応するプロセッサの該分散
共有メモリに対する遠隔メモリアクセスを制御する遠隔
メモリアクセス制御装置であって、前記対応するプロセ
ッサからの遠隔書き込み要求を検出するアクセス要求検
出手段と、前記遠隔書き込み要求に応答して、対応する
パケットを生成し、所定のプロセッサに向けて送信する
手段と、前記対応するプロセッサ以外のプロセッサから
前記遠隔書き込み要求に対応するパケットを受信する手
段と、前記遠隔書き込み要求に対応するパケットの内容
に応じて、対応するローカルメモリにデータ書き込み処
理を行なう手段と、前記遠隔書き込み要求に対応するパ
ケットに対する前記処理の完了の回数を計数するカウン
タ手段とを備えたことを特徴とする。

【００２４】

【作用】第１の発明に係る遠隔メモリアクセス制御装置
では、パケット生成用情報の一部または全部を少なくと
も１つ以上のパケットに対応する分だけ所定のフォーマ
ットに基づいてローカルメモリに格納しておき、そのア
ドレスをポインタ指定手段（パケット生成用情報ポイン
タ指定レジスタ）に設定し、生成するパケットの個数を
パケット数指定手段（パケット数指定レジスタ）に設定
する。その状態まで準備ができたところで、対応する
（外部）プロセッサから遠隔メモリアクセスパケットの
生成を指示する。

【００２５】指示を受けた遠隔メモリアクセス制御装置
は、パケット生成用情報ポインタ指定レジスタに設定さ
れたアドレスからローカルメモリ上のパケット生成用情
報を１パケット分読みだし、これを用いて遠隔メモリア
クセスパケットを生成し、パケット生成用情報ポインタ
指定レジスタの値を１パケット分のパケット生成用情報
のデータバイト数だけ進ませ、パケット数指定レジスタ
の値を１つデクリメントする。

【００２６】さらに、上記のパケット生成の一連の動作
を、パケット数指定レジスタの値が０になるまで繰り返
す。このようにして、プロセッサからの１回の起動で、
複数の遠隔メモリアクセスパケットが生成されるので、
プロセッサは、遠隔メモリアクセス制御装置を起動した
後は、遠隔メモリアクセスの処理のために忙殺されるこ
となく別の処理を行うことが可能となる。また、パケッ
ト生成用情報は、プロセッサのキャッシュを通過しない
ので、プロセッサのキャッシュのヒット率も向上する。

【００２７】第２の発明に係る遠隔メモリアクセス制御
装置では、ローカルメモリに格納されるパケット生成用
情報の格納フォーマットを配列とするので、パケット生
成用情報を次々とローカルメモリから遠隔メモリアクセ
ス制御装置に取り込んでくる際に、アドレスの生成が簡
単であり、例えばリンクドリストを用いてアクセスする
ような場合と比べてアドレス入手のためのメモリアクセ
スが無くなり、パケット生成用情報や遠隔書き込みデー
タの読みだしや、プロセッサのメモリアクセスなどのた
めにローカルメモリのバンド幅を有効に活用できる。

【００２８】第３の発明に係る遠隔メモリアクセス制御
装置では、送信側においてパケット生成用情報を一時的
に格納しておくバッファ手段と、書き込みデータを一時
的に格納しておくバッファ手段を具備する。このように
すると、複数パケット分のパケット生成用情報や書き込
みデータが同時に遠隔メモリアクセス制御装置内に存在
することができ、複数パケット分のパケット生成用情報
を読みだした後に複数パケット分の書き込みデータを読
みだしたり、例えばパケット生成手段が１番目のパケッ
トの生成を行いつつ、メモリアクセス手段が４番目のパ
ケットの別のパケットのためのパケット生成用情報を読
みだすというように、パイプライン動作をさせることに
よりパケット生成手段がメモリアクセス手段と同時に動
作できる。よって、短い間隔で遠隔メモリ書き込みパケ
ットを生成することができる。

【００２９】遠隔メモリ書き込みパケットは、パケット
生成用情報を一時的に格納しておくバッファ手段と、書
き込みデータを一時的に格納しておくバッファ手段のど
ちらかが空にならない限り、これらを組み合わせて休む
こと無く遠隔メモリ書き込みパケットを生成することが
できる。

【００３０】第４の発明に係る遠隔メモリアクセス制御
装置では、連続アクセスが高速なローカルメモリをアク
セスするローカルメモリアクセス手段を具備するので、
パケット生成用情報を一時的に格納しておくバッファ手
段と、書き込みデータを一時的に格納しておくバッファ
手段に複数パケット分のパケット生成用情報や書き込み
データをそれぞれまとめてローカルメモリからロードす
ることを許容するので、連続アクセスによる高い実効メ
モリバンド幅を使いながら各々複数パケット分バッファ
手段に高速に取り込むことができる。

【００３１】第５の発明に係る遠隔メモリアクセス制御
装置では、パケットが運ぶべきデータ語数を指定するバ
ースト長指定手段（バースト長指定レジスタ）を具備す
る。遠隔メモリアクセスをプロセッサから起動する前
に、バースト長指定レジスタにパケットが運ぶべきデー
タ語数を設定しておく。パケット生成手段は、上記レジ
スタで指定される語数の読み書きを行う遠隔メモリバー
ストアクセスパケットを生成する。

【００３２】このようにして、遠隔メモリアドレスなど
からなる１つのパケットヘッダーに対して、バースト長
で指定されるブロック状のデータが運ばれることになる
ので、常に１語ずつ遠隔メモリアクセスを行うより結合
網やメモリバンド幅が有効に活用されることになる。

【００３３】第６の発明に係る遠隔メモリアクセス制御
装置では、ローカルメモリに格納されるパケット生成用
情報としてメモリアドレスの他にパケットが運ぶべきデ
ータ語数を具備する。

【００３４】パケット生成手段は、遠隔メモリアクセス
パケットを生成する際に、パケット生成用情報中のパケ
ットが運ぶべきデータ語数（バースト長）を参照しつ
つ、読みだしならば、バースト長をヘッダーに含む遠隔
メモリ読みだし要求パケットを生成し、書き込みなら
ば、ローカルメモリから読みだしたデータをバースト長
の分だけデータ部に含む遠隔メモリ書き込みパケットを
生成する。バースト長は、パケット毎にパケット生成用
情報に含まれるので、アクセス先によって異なるバース
ト長でアクセスすることが可能となる。

【００３５】第７の発明に係る遠隔メモリアクセス制御
装置では、パケット生成手段に非特権モードでのプログ
ラムからは特権モードに移行することなく直接制御する
ことが不可能なプロテクション情報付加機構を具備す
る。

【００３６】特権モードからはプロテクション情報を書
き換えることができるので、プロセッサがコンテクスト
スイッチして他のユーザーのプロセスに切り替わる時に
オペレーティングシステムがこれからプロセッサや遠隔
メモリアクセス制御装置などの資源を割り当てるプロセ
スＩＤなどを設定しておき非特権モードでの遠隔メモリ
アクセス時にはパケット生成手段がこの情報をパケット
のヘッダーに埋め込む。つまり非特権モードでローカル
メモリ上のパケット生成用情報を書き換えても、他人の
遠隔メモリに誤って書き込むことは受信側のメモリアク
セス保護機構でパケットヘッダー中のプロテクション情
報をチェックすることによって排除される。

【００３７】第８の発明に係る遠隔メモリアクセス制御
装置では、分散共有メモリ型並列計算機において、ベク
トルプロセッサの機能の一部として実現される。まず、
遠隔メモリをアクセスするパケットを生成するためのパ
ケット生成用情報の一部または全部を少なくとも１つ以
上のパケットに対応する分だけ所定のフォーマットに基
づいてローカルメモリに格納しておく。

【００３８】次に、ベクトルプロセッサがフェッチした
ベクトルロード命令によってローカルメモリからベクト
ルレジスタにパケット生成用情報のロードを開始する。
次に、生成するパケットの個数に対応する情報をベクト
ル長指定手段（ベクトル長指定レジスタ）に設定した状
態でベクトルプロセッサがフェッチしたベクトル遠隔メ
モリアクセス命令を起動させる。

【００３９】こうして、メモリアクセス手段とパケット
生成手段が同時進行でパイプライン動作し、１回のベク
トル遠隔メモリアクセス命令によって次々と遠隔メモリ
アクセスパケットが生成される。メインのプロセッサ
は、遠隔メモリアクセス開始の許可をベクトルプロセッ
サに通知した後は、遠隔メモリアクセスの処理のために
忙殺されることなく別の処理を行うことが可能となる。
また、パケット生成用情報は、メインのプロセッサのキ
ャッシュを通過しないので、メインのプロセッサのキャ
ッシュのヒット率も向上する。

【００４０】第９の発明に係る遠隔メモリアクセス制御
装置では、書き込みデータをベクトルレジスタ上にお
く。よってベクトル演算器がある場合は、演算器からの
結果がベクトルレジスタに保持され、それをベクトル遠
隔メモリ書き込み命令のソースオペランドとして指定し
た場合はメモリを経由することなくパケット生成手段に
おいて、別のベクトルレジスタにローカルメモリからロ
ードされるパケット生成用情報と組み合わされて遠隔メ
モリ書き込みパケットが次々と生成される。

【００４１】第１０の発明に係る遠隔メモリアクセス制
御装置では、ローカルメモリに格納されるパケット生成
用情報の格納フォーマットを配列とする。このため、ベ
クトルロード命令によって簡単かつ高速にベクトルレジ
スタにパケット生成用情報をロードすることができる。

【００４２】第１１の発明に係る遠隔メモリアクセス制
御装置では、パケットが運ぶべきデータ語数（バースト
長）を指定可能なベクトル命令を具備する。バースト長
の指定は、例えば汎用のスカラレジスタであっても良い
し、専用のレジスタを設けても良く、ここに値を設定し
た状態でベクトル遠隔メモリバーストアクセス命令を起
動する。

【００４３】すると、パケット生成手段は、上記レジス
タで指定される語数の読み書きを行う遠隔メモリバース
トアクセスパケットを生成する。このようにして、遠隔
メモリアドレスなどからなる１つのパケットヘッダーに
対して、バースト長で指定されるブロック状のデータが
運ばれることになるので、常に１語ずつ遠隔メモリアク
セスを行うより結合網やメモリバンド幅が有効に活用さ
れることになる。

【００４４】第１２の発明に係る遠隔メモリアクセス制
御装置では、ローカルメモリに保持され、ベクトルレジ
スタにロードされるパケット生成用情報として、メモリ
アドレスの他にパケットが運ぶべきデータ語数（バース
ト長）を具備する。

【００４５】パケット生成手段は、遠隔メモリアクセス
パケットを生成する際にパケット生成用情報中のバース
ト長を参照しつつ、読みだしならば、バースト長をヘッ
ダーに含む遠隔メモリ読みだし要求パケットを生成し、
書き込みならば、ベクトルレジスタ上のデータをバース
ト長の分だけデータ部に含む遠隔メモリ書き込みパケッ
トを生成する。バースト長は、パケット毎にパケット生
成用情報に含まれるので、アクセス先によって異なるバ
ースト長でアクセスすることが可能となる。

【００４６】第１３の発明に係る遠隔メモリアクセス制
御装置では、パケット生成手段に非特権モードでのプロ
グラムからは特権モードに移行することなく直接制御す
ることが不可能なプロテクション情報付加機構を具備す
る。

【００４７】特権モードからはプロテクション情報を書
き換えることができるので、プロセッサがコンテクスト
スイッチして他のユーザーのプロセスに切り替わる時に
オペレーティングシステムがこれからプロセッサや遠隔
メモリアクセス制御装置などの資源を割り当てるプロセ
スＩＤなどを設定しておき非特権モードでの遠隔メモリ
アクセス時にはパケット生成手段がこの情報をパケット
のヘッダーに埋め込む。

【００４８】つまり、非特権モードでローカルメモリ上
のパケット生成用情報を書き換えても、他人の遠隔メモ
リに誤って書き込むことは受信側のメモリアクセス保護
機構でパケットヘッダー中のプロテクション情報をチェ
ックすることによって排除される。

【００４９】第１４の発明に係る遠隔メモリアクセス装
置では、パケット生成手段に非特権モードでのプログラ
ムからは特権モードに移行することなく直接制御するこ
とが不可能なプロテクション情報付加機構を利用する。

【００５０】特権モードからはプロテクション情報を書
き換えることができるので、プロセッサがコンテクスト
スイッチして他のユーザーのプロセスに切り替わる時に
オペレーティングシステムがこれからプロセッサや遠隔
メモリアクセス制御装置などの資源を割り当てるプロセ
スＩＤなどを設定しておき非特権モードでの遠隔メモリ
アクセス時にはパケット生成手段がこの情報をパケット
のヘッダーに埋め込む。

【００５１】遠隔メモリを指定するアドレスは送信側で
システムコールによって変換をかけた変換後アドレスが
ローカルメモリに準備されるので、非特権モードでロー
カルメモリ上の変換後アドレスを書き換えられる危険性
がある。しかし、他人の遠隔メモリに誤って書き込むこ
とは受信側のメモリアクセス保護機構でパケットヘッダ
ー中のプロテクション情報をチェックすることによって
排除される。

【００５２】実際の遠隔メモリアクセス時には上記の変
換後アドレスを再利用することによってアドレス変換を
通信実行時に逐一行わなくても良くなるので、送信側に
ＴＬＢやシステムコールの多発をなくすことができる。

【００５３】遠隔メモリアクセスの場合、送信先のプロ
セッサ番号は遠隔メモリのアドレスの一部を形成するこ
とになるが、これらは通常別のプロセッサならば異なる
ＴＬＢエントリを必要とするために、送信側でＴＬＢに
よるアドレス変換が逐一必要な方式では送信先プロセッ
サが多いとＴＬＢミスヒットが連発することになるが、
本発明の場合は通信が多数回繰り返される場合でも、変
換は事前に１回だけ行うに過ぎないので、このような問
題点がない。

【００５４】第１５の発明に係る遠隔メモリアクセス制
御装置では、受信した遠隔書き込み要求に対する処理の
完了の回数を計数するカウンタを具備する。よって、遠
隔ノードから書き込まれる回数が、書き込まれる側のプ
ログラムでわかっているような処理を行う場合は、遠隔
書き込みに対する応答パケットを返送することなしに、
受信側でカウントされる上記カウンタの値を受信側でチ
ェックし、所定の回数の書き込みパケットの処理が完了
したことを確認してから全体でバリア同期をとることに
よって、遠隔書き込みパケットを送信した側に速やかに
書き込みの完了が伝わるので高速であり、プロセッサ間
結合網に対する負担も軽くなる。

【００５５】

【実施例】以下、図面を参照しながら本発明の実施例を
説明する。 （実施例１）最初に、本実施例の主な構成と、その作用
効果について述べる。

【００５６】＜実施例１の主な構成＞本実施例は、物理
的に分散して実装され論理的に複数のプロセッサ（２）
から共有メモリとしてアクセス可能な分散共有メモリ
（３）を具備する並列計算機において、遠隔メモリをア
クセスするパケットを生成するためのパケット生成用情
報の一部または全部を所望の個数のパケットに対応する
分、所定のフォーマットに基づいて遠隔メモリアクセス
制御装置（１）の外部でかつ手元にあるローカルメモリ
（３）に格納しておき、遠隔メモリアクセス制御装置
（１）内部にパケット生成用情報のアドレスを指定する
パケット生成用情報ポインタ指定レジスタ（１０４）
と、生成するパケット数を指定するパケット数指定レジ
スタ（１０５）を具備し、外部プロセッサ（２）からの
１回の指示によって所望の個数の遠隔メモリアクセスパ
ケットを生成する。

【００５７】＜実施例１の主な作用効果＞本実施例の遠
隔メモリアクセス制御装置では、パケット生成用情報の
一部または全部を所望の個数のパケットに対応する分だ
け所定のフォーマットに基づいてローカルメモリ（３）
に格納しておき、そのアドレスをパケット生成用情報ポ
インタ指定レジスタ（１０４）に設定し、生成するパケ
ット数をパケット数指定レジスタ（１０５）に設定す
る。その状態まで準備ができたところで外部プロセッサ
（２）から遠隔メモリアクセスパケットの生成を指示す
る。

【００５８】指示を受けた遠隔メモリアクセス制御装置
（１）は、パケット生成用情報ポインタ指定レジスタ
（１０４）に設定されたアドレスからローカルメモリ
（３）上のパケット生成用情報を１パケット分読みだ
し、これを用いて遠隔メモリアクセスパケットを生成
し、パケット生成用情報ポインタ指定レジスタ（１０
４）の値を１パケット分のパケット生成用情報のデータ
バイト数だけ進ませ、パケット数指定レジスタ（１０
５）の値を１つデクリメントする。

【００５９】上記のパケット生成の一連の動作を、パケ
ット数指定レジスタの値が０になるまで繰り返す。この
ようにして、外部プロセッサ（２）からの１回の起動
で、複数の遠隔メモリアクセスパケットが生成されるの
で、外部プロセッサ（２）は遠隔メモリアクセス制御装
置（１）を起動した後は遠隔メモリアクセスの処理のた
めに忙殺されることなく別の処理を行うことが可能とな
る。また、パケット生成用情報は、外部プロセッサ
（２）のキャッシュ（３１）を通過しないので、外部プ
ロセッサ（２）のキャッシュ（３１）のヒット率も向上
する。

【００６０】以下、さらに具体的に本実施例を説明す
る。 ＜実施例１の具体的説明＞図１および図２は、本実施例
の遠隔メモリアクセス制御装置を具備した並列計算機の
要素プロセッサ（ＰＥ）を示す図である。

【００６１】並列計算機は、プロセッサ間結合網により
複数の要素プロセッサを相互接続することにより実現さ
れる。本実施例では、要素プロセッサの相互接続方式は
任意とする。

【００６２】図のように、各要素プロセッサでは、遠隔
メモリアクセス制御装置１、マイクロプロセッサ２およ
びローカルメモリ３が、外部バス４により接続されてい
る。プロセッサ間結合網には、遠隔メモリアクセス制御
装置１が直接接続される。本実施例では、各要素プロセ
ッサのローカルメモリ３を分散共有メモリとして使うこ
ととする。

【００６３】マイクロプロセッサ２は、ＣＰＵ３３に加
えて、近年の一般的なマイクロプロセッサのように、キ
ャッシュメモリ３１およびアドレス変換用のＴＬＢ３２
を備えるものとする。キャッシュメモリ３１は、過去の
メモリアクセスデータを記憶して、それにヒットするメ
モリアクセスはローカルメモリ３や遠隔メモリ（図示せ
ず）にアクセスに行かないことにより性能向上に寄与す
る。ＴＬＢ３２は、ローカルメモリ３上のページテーブ
ルをキャッシングすることにより、ＴＬＢ３２がヒット
している間はオーバーヘッドなしにアドレス変換が行わ
れる。よって、これらはアクセスの局所性のある場合効
果を発揮する。

【００６４】ところで、従来の分散共有メモリ型並列計
算機においては、プロセッサ間通信をメモリアクセスの
形で実現しており、アクセスの局所性のある場合に効果
を発揮する仕組みを使って、アクセスの局所性の薄い処
理であるプロセッサ間通信を実現しているために、遠隔
メモリアクセスのために用いられるアドレス情報のキャ
ッシュの通過によるキャッシュのミスヒットの増加や、
遠隔メモリアクセスのために用いられる遠隔プロセッサ
毎に異なるエントリを用いることに起因するアクセス先
のプロセッサ数が多い場合のＴＬＢミスヒットの増加と
いった弊害を生じていた。

【００６５】本実施例ではそのような弊害を解消するた
めに、遠隔メモリアクセス制御装置１を、マイクロプロ
セッサ２からのメモリアクセスを監視する形でアクセス
ごとに起動されるようにするとともに、マイクロプロセ
ッサ２とは起動時以外は独立した形態で動作するように
して、プロセッサ間通信すなわち遠隔メモリアクセスを
実現している。

【００６６】図１および図２のように、遠隔メモリアク
セス制御装置１は、パケット生成部１００、バスインタ
フェース部１０１、メモリアドレス生成部１０２、制御
装置内ＴＬＢ１０３、パケット生成用情報ポインタ指定
レジスタ１０４、パケット数指定レジスタ１０５、パケ
ットデータ部ポインタ指定レジスタ１０６、バースト長
指定レジスタ１０７、プロセスＩＤ指定レジスタ１０
８、パケット生成用情報バッファ１０９、送信パケット
データ部バッファ１１０、送信パケットバッファ１１
１、受信パケットバッファ１１２、パケット受信部１１
３、応答待ち読み出し要求数カウンタ１１４、応答待ち
書き込み要求数カウンタ１１５、受信書き込み処理完了
回数カウンタ１１６、プロセッサ間結合網インタフェー
ス部１１７、返信パケットバッファ１２１、ステータス
レジスタ１２２を具備する。

【００６７】この遠隔メモリアクセス制御装置１は、バ
スインタフェース部１０１により外部バス４に接続され
ており、これらを介して、遠隔メモリアクセス制御装置
１の内部構成要素とマイクロプロセッサ２やローカルメ
モリ３の間で情報の転送が行なわれる。

【００６８】制御装置内ＴＬＢ１０３、パケット生成用
情報ポインタ指定レジスタ１０４、パケット数指定レジ
スタ１０５、パケットデータ部ポインタ指定レジスタ１
０６、バースト長指定レジスタ１０７、プロセスＩＤ指
定レジスタ１０８は、マイクロプロセッサ２のメモリ空
間上にマップされるなどしてアクセスされる。

【００６９】ここで、好ましくは、パケット生成部（１
００）に非特権モードでのプログラムからは特権モード
に移行することなく直接制御することが不可能なプロテ
クション情報付加機構を設け、遠隔メモリアクセスパケ
ットを受信する側にパケット中のプロテクション情報に
基づいてメモリアクセスの許可不許可を制御するメモリ
アクセス保護機構を設けても良い。特権モードからはプ
ロテクション情報を書き換えることができるので、プロ
セッサ（２）がコンテクストスイッチして他のユーザー
のプロセスに切り替わる時にオペレーティングシステム
がこれから外部プロセッサや遠隔メモリアクセス制御装
置などの資源を割り当てるプロセスＩＤなどを設定して
おき、非特権モードでの遠隔メモリアクセス時にはパケ
ット生成部（１００）がこの情報をパケットのヘッダー
に埋め込む。つまり、非特権モードでローカルメモリ
（３）上のパケット生成用情報を書き換えても、他人の
遠隔メモリに誤って書き込むことは、受信側のメモリア
クセス保護機構でパケットヘッダー中のプロテクション
情報をチェックすることによって排除されるという利点
がある。

【００７０】本実施例では、上記のような機構を採用す
ることとし、制御装置内ＴＬＢ１０３とプロセスＩＤ指
定レジスタ１０８は、マイクロプロセッサ２の特権モー
ドでしかアクセスできない領域にマップされるようにす
る。

【００７１】制御装置内ＴＬＢ１０３には、メモリアド
レス生成部１０２が発生するメモリアクセス時のアドレ
ス変換に用いられる物理アドレスと論理アドレスの組の
他に、ＴＬＢ３２のエントリ毎に付けられたプロセスＩ
Ｄを保持する。その実体はローカルメモリ３の特権モー
ドでしかアクセスできない領域に上にあり、ＴＬＢ３２
にはその情報がキャッシングされる。なお、ここでいう
プロセスとは仮想アドレス空間を割り当てる単位であ
り、複数のプロセッサにまたがって同一のプロセスＩＤ
を使用する複数のスレッドが存在する。

【００７２】プロセスＩＤ指定レジスタ１０８には、遠
隔メモリアクセス制御装置１を割り当てられているプロ
セスＩＤが保持され、パケット生成部１００で生成され
るパケットのヘッダーには、プロセスＩＤ指定レジスタ
１０８上のプロセスＩＤが埋め込まれる。このように、
制御装置内ＴＬＢ１０３とプロセスＩＤ指定レジスタ１
０８は、プロテクション情報を保持し、不正なメモリア
クセスを防止するための機構であるために、ユーザーモ
ードからは直接アクセスはさせないようにする。

【００７３】一方、通信の際にＯＳを介さずユーザーモ
ードで処理することができれば、トラップによるコンテ
クストスイッチに伴う大きなオーバーヘッドを回避する
ことができるので、パケット生成用情報ポインタ指定レ
ジスタ１０４、パケット数指定レジスタ１０５、パケッ
トデータ部ポインタ指定レジスタ１０６、バースト長指
定レジスタ１０７は、ユーザーモードから直接アクセス
できるメモリ空間にマップすることが望ましい。

【００７４】ここで、好ましくは、ローカルメモリ
（３）に格納されるパケット生成用情報の格納フォーマ
ットを配列とすると良い。そのようにした場合、パケッ
ト生成用情報を次々とローカルメモリ３から遠隔メモリ
アクセス制御装置１に取り込んでくる際に、アドレスの
生成が簡単であり、例えばリンクドリストを用いてアク
セスするような場合と比べてアドレス入手のためのメモ
リアクセスが無くなり、パケット生成用情報や遠隔書き
込みデータの読みだしや、外部プロセッサのメモリアク
セスなどのためにローカルメモリのバンド幅を有効に活
用できる。

【００７５】本実施例では、ローカルメモリ３に格納さ
れるパケット生成用情報の格納フォーマットを配列とす
る。本実施例の遠隔メモリアクセス制御装置によるプロ
セッサ間通信を行う場合には、パケット数ｎはパケット
数指定レジスタ１０５に設定され、ｎ個のパケットのヘ
ッダー情報を生成するために必要なパケット生成用情報
がパケット生成用情報ポインタ指定レジスタ１０４に設
定されたローカルメモリ３上に準備される。本実施例で
は、パケット生成用情報の格納フォーマットを配列とし
たので、パケット生成用情報は、ローカルメモリ３上の
論理的に連続した領域上に準備される。

【００７６】ヘッダー情報には、プロセッサ間結合網に
おけるルーティング情報となる遠隔ノードを識別する実
アドレスや、遠隔ノード内のローカルメモリにおけるア
ドレスが必要となり、遠隔読み出しやアクノリッジ付き
の遠隔書き込みの場合はさらに読み出したデータやアク
ノリッジを返送すべきノードの実アドレスやノード内ア
ドレスが必要となる。

【００７７】遠隔書き込みを行う場合は、ローカルメモ
リ３上に書き込むべきデータを準備する。ここでは、送
信パケット毎にバースト長Ｌ語のデータを持つものと
し、１回の起動によりｎ個の送信パケットが生成される
ものとする。

【００７８】ここで、好ましくは、パケットが運ぶべき
データ語数を指定するバースト長指定レジスタ（１０
７）を設け、遠隔メモリアクセスを外部プロセッサ
（２）から起動する前にバースト長指定レジスタ（１０
７）にパケットが運ぶべきデータ語数を設定しておき、
パケット生成部（１００）は、バースト長指定レジスタ
（１０７）で指定される語数の読み書きを行う遠隔メモ
リバーストアクセスパケットを生成するようにしても良
い。バースト長指定レジスタ１０７を具備せず、Ｌを設
定できない構成の場合は、１語しかデータ部を持つこと
ができなくなるのでパケットのプロセッサ間結合網上で
の伝送効率が低下するが、上記のようにすれば、遠隔メ
モリアドレスなどからなる１つのパケットヘッダーに対
して、バースト長で指定されるブロック状のデータが運
ばれることになるので、常に１語ずつ遠隔メモリアクセ
スを行うより、結合網やメモリバンド幅が有効に活用さ
れることになる。

【００７９】本実施例では、バースト長指定レジスタ１
０７を具備することとし、バースト長指定レジスタ１０
７にＬが設定される。書き込むべきデータは、Ｌ×ｎの
二次元配列として論理的に連続した領域に格納される。
この二次元配列の先頭アドレスを、パケットデータ部ポ
インタ指定レジスタ１０６に設定する。

【００８０】さて、遠隔メモリアクセスの起動は、本実
施例では、マイクロプロセッサ２からユーザーモードの
まま起動用のアドレスをアクセスすることにより行う。
通信実行時のユーザーモードからの遠隔メモリアクセス
の起動は、ユーザー空間上の起動用アドレスを実際の物
理起動アドレスにマップしてもらうように事前にＯＳに
１回だけ依頼することによって実現される。

【００８１】本実施例では、遠隔メモリアクセスの起動
用アドレスは、遠隔読み出し起動用とアクノリッジなし
遠隔書き込み起動用とアクノリッジ付きの遠隔書き込み
起動用の３種類があるものとする。

【００８２】バスインタフェース部１０１が起動用のア
ドレスへのアクセスを検知すると、メモリアドレス生成
部１０２内の残りパケット数カウンタにパケット数指定
レジスタ１０５の値がコピーされ、メモリアドレス生成
部１０２は、パケット生成用情報ポインタ指定レジスタ
１０４、書き込みの場合のパケットデータ部ポインタ指
定レジスタ１０６およびバースト長指定レジスタ１０７
上の情報を基に、ローカルメモリ３のアクセス要求の生
成を開始する。

【００８３】パケット生成用情報ポインタは、論理アド
レスで指定されており、その論理アドレスを制御装置内
ＴＬＢ１０３により変換した物理メモリアドレスで指定
されるローカルメモリ３をアクセスして、パケット生成
用情報バッファ１０９にパケット生成用情報をロードす
る。このとき、本実施例では、ローカルメモリ３に格納
されるパケット生成用情報の格納フォーマットを配列と
しているので、パケット生成用情報は論理的に連続した
領域に格納されるため、リンクドリストをたどる場合の
ようにアドレスの生成のために再びメモリアクセスをし
なくても、簡単なカウンターによって容易にかつ高速に
アドレスを生成することが可能である。

【００８４】同様に、パケットデータ部ポインタは、論
理アドレスで指定されており、遠隔メモリ書き込みが起
動された場合は、その論理アドレスを制御装置内ＴＬＢ
１０３により変換した物理メモリアドレスで指定される
ローカルメモリ３をアクセスして、送信パケットデータ
部バッファ１１０に送信パケットデータ部をロードす
る。

【００８５】このとき、書き込むべきデータは、Ｌ×ｎ
の二次元配列として論理的に連続した領域に格納される
ため、リンクドリストをたどる場合のようにアドレスの
生成のために再びメモリアクセスをしなくても、簡単な
カウンターによって容易にかつ高速にアドレスを生成す
ることが可能である。

【００８６】ここで、好ましくは、送信側においてパケ
ット生成用情報を一時的に格納しておくバッファ（１０
９）と、書き込みデータを一時的に格納しておくバッフ
ァ（１１０）を設け、ローカルメモリ（３）から上記バ
ッファに取り込むローカルメモリアクセス部と、対応す
るパケット生成用情報と書き込みデータの組がそろった
ものから遠隔メモリ書き込みパケットを生成するパケッ
ト生成部（１００）が、パイプライン的に同時動作をす
るようにしても良い。このようにすると、複数パケット
分のパケット生成用情報や書き込みデータが同時に遠隔
メモリアクセス制御装置（１）内に存在することがで
き、複数パケット分のパケット生成用情報を読みだした
後に複数パケット分の書き込みデータを読みだしたり、
例えばパケット生成部（１００）が１番目のパケットの
生成を行いつつ、メモリアクセス部が４番目のパケット
のためのパケット生成用情報を読みだすというように、
パイプライン動作をさせることによりパケット生成部
（１００）がメモリアクセス部と同時に動作できる。よ
って、短い間隔で遠隔メモリ書き込みパケットを生成す
ることができる。遠隔メモリ書き込みパケットは、パケ
ット生成用情報を一時的に格納しておくバッファと、書
き込みデータを一時的に格納しておくバッファのどちら
かが空にならない限り、これらを組み合わせて休むこと
無く遠隔メモリ書き込みパケットを生成することができ
る。

【００８７】また、好ましくは、上記のようなパイプラ
イン動作を可能とする仕組みにおいて、前記ローカルメ
モリアクセス部は、ローカルメモリを高速に連続アクセ
スするようにし、パケット生成用情報や書き込みデータ
を上記ローカルメモリから連続アクセスによって各々複
数パケット分バッファに取り込むようにしても良い。こ
の場合、パケット生成用情報を一時的に格納しておくバ
ッファ（１０９）と、書き込みデータを一時的に格納し
ておくバッファ（１１０）が、複数パケット分のパケッ
ト生成用情報や書き込みデータをそれぞれまとめてロー
カルメモリ（３）からロードすることを許容するので、
連続アクセスによる高い実効メモリバンド幅を使いなが
ら各々複数パケット分バッファに高速に取り込むことが
できる。

【００８８】図３は、ローカルメモリ３に格納されるパ
ケット生成用情報の格納フォーマットを配列とし、か
つ、ローカルメモリ３に対するアクセスとパケット生成
をパイプライン動作できるようにした場合の、パケット
送信時のパイプライン動作を示す図である。配列のアド
レス発生に１クロック、１ワードのメモリアクセスに３
クロック、ヘッダー部１ワードでデータ部１ワードのパ
ケット生成に２クロックかかるものとして図示してい
る。

【００８９】本実施例では、パケット生成部１００は、
上記のアドレス発生動作やメモリアクセス動作に並行し
て動作する。この例では、パイプラインのボトルネック
となっているステージは、メモリアクセスのステージで
あり、１パケットを作るために２回のメモリアクセスが
必要なことから６クロックに１パケットの割合でパケッ
トを生成している。

【００９０】図４は、ローカルメモリ３に格納されるパ
ケット生成用情報の格納フォーマットを配列とし、ロー
カルメモリ３に対するアクセスとパケット生成をパイプ
ライン動作できるようにし、さらに、ローカルメモリ３
に連続アクセスする場合の、パケット送信時のパイプラ
イン動作を示す図である。配列のアドレス発生に１クロ
ック、ランダムメモリアクセスの遅延が２クロック、以
降連続アクセス時のメモリ読み出し転送レートが１ワー
ドあたり１クロック、ヘッダー部１ワードでデータ部１
ワードのパケット生成に２クロックかかるものとして図
示している。

【００９１】メモリとしてニブルモードやページモード
を持ったＤＲＡＭや同期ＤＲＡＭを使用した場合は、連
続アクセスを行うとメモリバンド幅が向上する。複数パ
ケット分のヘッダー（パケット生成情報）や複数パケッ
ト分のデータ部をブロック状にアクセスすることによっ
てメモリバンド幅が向上し、例えば４パケット分を一塊
として動作させると１２クロックに４パケット生成でき
るので、図３の場合の２倍のレートでパケットを生成す
ることが可能となっている。

【００９２】ここで、メモリアドレス生成部１０２は、
バッファ１０９，１１０に受けきれないほどロード要求
を出しすぎると、データを受けられる状態になるまでロ
ーカルメモリ３をアクセスする外部バス４を長期間待た
したまま占有し、パケットの受信やマイクロプロセッサ
２によるメモリアクセスを遅延させてしまうので、パケ
ット生成用情報バッファ１０９や送信パケットデータ部
バッファ１１０の残り容量を考慮しながらローカルメモ
リ３への読み出し要求を発生することが望ましい。

【００９３】本実施例において、遠隔読み出しが起動さ
れた場合は、パケット生成部１００内の残りパケット数
カウンタにパケット数指定レジスタ１０５の値がコピー
され、パケット生成部１００は、パケット生成用情報バ
ッファ１０９にデータが存在し、生成したパケット数が
パケット数指定レジスタ１０５の遠隔読み出しが起動さ
れた時点での値に達する（残りパケット数カウンタが０
になる）まで、プロセスＩＤ指定レジスタ１０８上の値
とバースト長指定レジスタ１０７上の値をパケットヘッ
ダーに組み込みながらパケットを生成する。

【００９４】図５は、遠隔読み出し要求パケットの例を
示した図である。（ａ）に示すように、ヘッダーの第一
ワードのパケットタイプフィールドには、遠隔読み出し
要求を示すコードが記入され、プロセスＩＤ、バースト
長、パケット生成用情報から得られるデスティネーショ
ン物理ＰＥ番号、デスティネーションＰＥ内論理メモリ
アドレスにより残りのフィールドは構成される。（ｂ）
に示すように、第二ワードには、レスポンスパケット生
成用に自分の物理ＰＥ番号と、パケット生成用情報から
得られるレスポンスデータ書き込み先ＰＥ内論理メモリ
アドレスが記入される。

【００９５】パケット生成部１００は、上記のようなパ
ケットを、（必要に応じて送信パケットバッファ１１１
を介して、）プロセッサ間結合網インタフェース１１７
に渡し、パケット生成部１００内の残り生成パケット数
カウンタをデクリメントし、応答待ち読み出し要求数カ
ウンタ１１４をインクリメントする。残り生成パケット
数カウンタが０になると、パケット生成部１００はステ
ータスレジスタ１２２のパケット生成完了を通知するビ
ットを立てる。

【００９６】一方、遠隔書き込みが起動された場合は、
パケット生成部１００内の残り生成パケット数カウンタ
にパケット数指定レジスタ１０５の値がコピーされ、パ
ケット生成部１００はパケット生成用情報バッファ１０
９と送信パケットデータ部バッファ１１０の双方にデー
タが存在し、生成したパケット数がパケット数指定レジ
スタ１０５の遠隔読み出しが起動された時点での値に達
する（残り生成パケット数カウンタが０になる）まで、
プロセスＩＤ指定レジスタ１０８上の値とバースト長指
定レジスタ１０７上の値ををパケットヘッダーに組み込
みながら送信パケットデータ部を付加してパケットを生
成する。

【００９７】図６は、アクノリッジ付きの遠隔書き込み
要求パケットヘッダーの例を示した図である。（ａ）に
示すように、ヘッダーの第一ワードのパケットタイプフ
ィールドには、アクノリッジ付きの遠隔書き込み要求を
示すコードが記入され、プロセスＩＤ、バースト長、パ
ケット生成用情報から得られるデスティネーション物理
ＰＥ番号、デスティネーションＰＥ内論理メモリアドレ
スにより残りのフィールドは構成される。（ｂ）に示す
ように、第二ワードには、レスポンスパケット生成用に
自分の物理ＰＥ番号が記入される。

【００９８】図７は、アクノリッジなしの遠隔書き込み
要求パケットヘッダーの例を示した図である。パケット
タイプフィールドには、アクノリッジなしの遠隔書き込
み要求を示すコードが記入され、プロセスＩＤ、バース
ト長、パケット生成用情報から得られるデスティネーシ
ョン物理ＰＥ番号、デスティネーションＰＥ内論理メモ
リアドレスにより残りのフィールドは構成される。

【００９９】パケット生成部１００は、上記のようなパ
ケットヘッダーを付加したパケットをプロセッサ間結合
網インタフェース１１７に渡し、パケット生成部１００
内の残り生成パケット数カウンタをデクリメントする。
ここで、アクノリッジ付きの遠隔書き込みであった場合
は、さらに応答待ち書き込み要求数カウンタ１１５をイ
ンクリメントする。残り生成パケット数カウンタが０に
なると、パケット生成部１００はステータスレジスタ１
２２のパケット生成完了を通知するビットを立てる。

【０１００】以上のように本実施例では、バッファへの
ローカルメモリ３上のデータのロードをするステージ
と、パケットを生成するステージがパイプライン的に同
時動作する。よって、ローカルメモリアクセスとパケッ
ト生成が逐時に行われる方式に比べて高いレートでパケ
ットを生成することが可能となる。

【０１０１】次に、受信について説明する。パケット受
信部１１３は、受信パケットバッファ１１２を介してプ
ロセッサ間結合網から種々のパケットを受信し、それぞ
れに応じた動作を行う。例えば、受信するパケットのう
ち３種は既に述べた遠隔読み出し要求パケット、アクノ
リッジ付き遠隔書き込み要求パケット、アクノリッジな
し遠隔書き込み要求パケットである。その他に、遠隔読
み出し応答パケット、遠隔書き込み応答パケットの２種
類がある。

【０１０２】以下、この５種類それぞれについて説明す
る。パケット受信部１１３が遠隔読み出し要求パケット
を受信した場合は、メモリアドレス生成部１０２に、パ
ケットヘッダー内に存在するプロセスＩＤ、バースト長
および読み出し先頭アドレス（仮想アドレス）を渡し、
パケット生成部１００に、プロセスＩＤ、応答を返送す
べきノードのアドレス（ソース物理ＰＥ番号）および応
答データ書き込み先ＰＥ内論理メモリアドレスを渡す。

【０１０３】メモリアドレス生成部１０２は、制御装置
内ＴＬＢ１０３を用いてプロセスＩＤによるアクセス権
限チェックを行った後、読み出し先頭アドレスの物理ア
ドレスを生成し、バスインタフェース部１０１を介して
ローカルメモリ３からデータを読み出し、返信パケット
データ部バッファ１２１に格納する。

【０１０４】パケット生成部１００は、パケット受信部
１１３から受け取ったプロセスＩＤ、ソース物理ＰＥ番
号および応答データ書き込み先ＰＥ内論理メモリアドレ
スからヘッダーを生成しつつ、返信パケットデータ部バ
ッファ１２１にデータが入ったらヘッダーとあわせてパ
ケットとし、プロセッサ間結合網インタフェース部１１
７に渡す。

【０１０５】パケット受信部１１３がアクノリッジなし
遠隔書き込み要求パケットを受信した場合は、メモリア
ドレス生成部１０２に、パケットヘッダー内に存在する
プロセスＩＤ、バースト長と書き込み先頭アドレス（仮
想アドレス）および書き込みデータを渡す。

【０１０６】メモリアドレス生成部１０２は、制御装置
内ＴＬＢ１０３を用いてプロセスＩＤによるアクセス権
限チェックと書き込み先頭アドレスの物理アドレスを生
成し、バスインタフェース部１０１を介してローカルメ
モリ３に、書き込みデータを書き込む。

【０１０７】ここで、好ましくは、受信した遠隔書き込
み要求に対する処理の完了の回数を計数するカウンタを
設けても良い。遠隔ノードから書き込まれる回数が、書
き込まれる側のプログラムでわかっているような処理を
行う場合は、遠隔書き込みに対する応答パケットを返送
することなしに、受信側でカウントされる上記カウンタ
の値を受信側でチェックし、所定の回数の書き込みパケ
ットの処理が完了したことを確認してから全体でバリア
同期をとることによって、遠隔書き込みパケットを送信
した側に速やかに書き込みの完了が伝わるので高速であ
り、プロセッサ間結合網に対する負担も軽くなる。

【０１０８】本実施例では、受信書き込み処理完了回数
カウンタ１１６を具備することとしており、これが動作
状態にある場合は、バスインタフェース部１０１が受信
した遠隔書き込み要求に伴うローカルメモリへ３の書き
込みを完了するたびに受信書き込み処理完了回数カウン
タ１１６はデクリメントされる。このカウンタ１１６の
初期化は、受信書き込み処理を一時停止させた状態で予
めマイクロプロセッサ２から予想される遠隔書き込み回
数をセットしておき、受信書き込み処理の一時停止を解
除し、受信書き込み処理完了回数カウンタ１１６を動作
状態にして遠隔書き込み要求パケットの到着を待機す
る。そこに設定された回数だけ受信書き込み処理が完了
すると、受信書き込み処理完了回数カウンタ１１６は０
となり、ステータスレジスタ１２２に指定回数に達した
旨が反映される。マイクロプロセッサ２は、この値をポ
ーリングするか、割り込みをかけてもらうことにより受
け取るべきデータを自ＰＥが全て受け取ったことを認識
し、全ＰＥがそのような状態になった場合に次のフェー
ズに進むべき場合はそこでバリア同期をかけることによ
り、書き込みに関する応答パケットなしに書き込み完了
の同期を高速にとることが可能となる。

【０１０９】パケット受信部１１３がアクノリッジあり
遠隔書き込み要求パケットを受信した場合は、メモリア
ドレス生成部１０２に、パケットヘッダー内に存在する
プロセスＩＤ、バースト長と書き込み先頭アドレス（仮
想アドレス）および書き込みデータを渡し、一方、パケ
ット生成部１００に、プロセスＩＤおよび応答を返送す
べきノードのアドレス（ソース物理ＰＥ番号）を渡す。

【０１１０】メモリアドレス生成部１０２は、制御装置
内ＴＬＢ１０３を用いてプロセスＩＤによるアクセス権
限チェックと書き込み先頭アドレスの物理アドレスを生
成し、バスインタフェース部１０１を介してローカルメ
モリ３に書き込みデータを書き込み、書き込みが完了し
たところでパケット生成部１００にアクノリッジパケッ
トの送信を指示する。

【０１１１】パケット生成部１００は、パケット受信部
１１３から受け取ったプロセスＩＤとソース物理ＰＥ番
号から遠隔書き込みアクノリッジパケットを生成し、プ
ロセッサ間結合網インタフェース部１１７に渡す。

【０１１２】パケット受信部１１３が遠隔読み出し応答
パケットを受信した場合は、アクノリッジなし遠隔書き
込み要求パケットと概ね同じ動作をし、応答待ち書き込
み要求数カウンタ１１５のかわりに応答待ち読み出し要
求数カウンタ１１４をデクリメントする。応答待ち読み
出し要求カウンタ１１４が０になったらステータスレジ
スタ１２２の遠隔読み出し動作の完了を示すビットを立
てる。

【０１１３】なお、パケットヘッダー内に存在するプロ
セスＩＤと、プロセスＩＤ指定レジスタ１０８の値を比
較して、一致しなかった場合は、アクノリッジが戻って
くる前にコンテクストスイッチが起こってしまって、デ
クリメントすべき応答待ち読み出し要求数カウンタ１１
４はローカルメモリ３上に退避されているので、外部マ
イクロプロセッサ２に割り込みをかけてＯＳに対して退
避済みのプロセスに対する遠隔書き込み応答パケットを
受信したことを通知する。ＯＳはローカルメモリ３上に
退避された対応する応答待ち読み出し要求数カウンタ１
１４をデクリメントしてコンテクストを割り込み前の状
態に戻す。

【０１１４】パケット受信部１１３が遠隔書き込み応答
パケットを受信した場合は、パケットヘッダー内に存在
するプロセスＩＤと、プロセスＩＤ設定レジスタの値を
比較して、一致した場合は応答待ち書き込み要求数カウ
ンタ１１５をデクリメントする。応答待ち書き込み要求
数カウンタ１１５が０になったらステータスレジスタ１
２２のアクノリッジ付き遠隔書き込み動作の完了を示す
ビットを立てる。

【０１１５】なお、パケットヘッダー内に存在するプロ
セスＩＤと、プロセスＩＤ設定レジスタの値を比較して
一致しなかった場合は、アクノリッジが戻ってくる前に
コンテクストスイッチが起こってしまって、デクリメン
トすべき応答待ち書き込み要求数カウンタ１１５は、ロ
ーカルメモリ３上に退避されているので、外部マイクロ
プロセッサ２に割り込みをかけてＯＳに対して退避済み
のプロセスに対する遠隔書き込み応答パケットを受信し
たことを通知する。ＯＳはローカルメモリ３上に退避さ
れた対応する応答待ち書き込み要求数カウンタ１１５を
デクリメントしてコンテクストを割り込み前の状態に戻
す。

【０１１６】次に、並列計算機上での本実施例の遠隔メ
モリアクセス制御装置の使用例を説明する。図８は、８
×９＝７２個の要素プロセッサ（ＰＥ）を具備した二次
元メッシュ結合型並列計算機における複数のユーザーの
ジョブ混在と故障ＰＥの代替を有するマッピング状況の
例を示した図である。ＰＥ０〜ＰＥ３１はプロセス１に
割り当てられるが、４×４の論理ＰＥを割り当てようと
したときにＰＥ４６が故障しているため、ＰＥ３６〜Ｐ
Ｅ３９、ＰＥ４４、ＰＥ４５、ＰＥ４７、ＰＥ５２〜Ｐ
Ｅ５５、ＰＥ６０〜ＰＥ６３、ＰＥ７０がプロセス２に
割り当てられている。

【０１１７】図９は、プロセス２の論理的なＰＥ群を示
した図である。括弧の中の数字は物理ＰＥ番号で括弧の
外の番号は論理ＰＥ番号である。論理ＰＥ番号は０〜１
５まで連続しているが、対応する物理ＰＥ番号はプロセ
ス２のように割り当てられる位置や故障ＰＥの存在によ
り必ずしも連続しない。

【０１１８】図１０は、プロセス２のアドレス変換の様
子を示した図である。プロセス２の送信側ＰＥにおける
仮想アドレス（ローカル論理アドレスと呼ぶ）では、各
ＰＥ上に分散配置されたメモリが論理的に連続した領域
にマッピングされている。

【０１１９】しかし、図８に示されるように物理ＰＥ番
号は必ずしも連続していないために、図１０のようにＰ
Ｅアドレス部のみを物理アドレスとしたメモリ空間（グ
ローバル中間アドレス）においては不規則的にとびとび
の物理ＰＥ番号に対応した不規則的にとびとびのメモリ
領域にローカル論理アドレスは変換され、結合網上を行
き交うパケットの中のヘッダー情報の一部として取り扱
われる。結合網は、パケットヘッダー中の物理ＰＥ番号
をもとにメッセージのルーティングを行う。

【０１２０】各ＰＥ上で時分割的にマルチユーザー運用
を行っていたり、ローカルに実装されている半導体メモ
リ以上のメモリが存在するように見せかけるために仮想
記憶をローカルに行う場合は、さらにグローバル中間ア
ドレス中のＰＥアドレス部を除いたビットとして表現さ
れるＰＥ内メモリアドレスが、受信側ＰＥ上でＰＥ内論
理メモリアドレスからＰＥ内物理メモリアドレスに変換
される。

【０１２１】本実施例では、この変換は、受信側の制御
装置内ＴＬＢを用いて実現される。受信側でのアドレス
変換は、手元のメモリに対するアドレス変換であるので
局所性が利用でき、ＴＬＢが効果的である。

【０１２２】一方、どの物理ＰＥ番号が大域的共有メモ
リ空間上にマップされているのかということは、ユーザ
ーは直接知らずにローカル論理アドレス空間上でプログ
ラミングすべきであるし、ジョブへのプロセッサの割当
が行われる実行時にＯＳが管理すべき情報でありアドレ
スの変換が必要になるが、このアドレス変換は例えば全
ＰＥ間で小量の別々のデータを互いに交換しあう全対全
通信（ａｌｌ ｔｏａｌｌ ｐｅｒｓｏｎａｌｉｚｅｄ
ｃｏｍｍｕｎｉｃａｔｉｏｎ）を行うような場合は、
頻繁に論理ＰＥ番号も変化するようなアクセスとなるた
め、ＴＬＢのエントリ数が通信する相手ＰＥ数より少な
いとＴＬＢがミスヒットの連続となり逆効果となる。

【０１２３】図１１は、１６×１６の正方行列Ａ，Ｂを
１６個のＰＥで列方向に分割し１列ずつ保持させたとこ
ろから行列Ａの転置行列Ｂを生成する際にＰＥ２が行う
べき通信パターンを示した図である。ＰＥ２に保持され
たＡ（ｋ，２）はそれぞれＢ（２，ｋ）に代入される。
ここでｋは０〜１５の整数である。Ｂ（２，ｋ）は１６
個のＰＥに分割されているので、この代入操作は全て異
なるＰＥへの通信となる。同様な通信が他の全てのＰＥ
においても発生するので、この処理は全対全通信とな
る。この例のように割り当てられたＰＥ数が１６程度で
あれば通常のマイクロプロセッサ内部のＴＬＢのエント
リ数より少ないので全対全通信を行ってもＴＬＢは効果
が期待できるが、数百以上のＰＥを持つ高並列計算機や
超並列計算機上で百以上のＰＥを用いたプロセスにおい
て全対全通信を繰り返し行う場合を想定すると、マイク
ロプロセッサ内部のＴＬＢのように数十程度に限定され
た個数のエントリしか持たないＴＬＢを用いてＰＥアド
レスを論理ＰＥアドレスから物理ＰＥアドレスに変換す
る方式は、ＴＬＢのエントリは再利用されずにＴＬＢミ
スヒットを連発してしまう。

【０１２４】そこで、好ましくは、パケット生成部（１
００）に非特権モードでのプログラムからは特権モード
に移行することなく直接制御することが不可能なプロテ
クション情報付加機構を設け、遠隔メモリアクセスパケ
ットを受信する側にパケット中のプロテクション情報に
基づいてメモリアクセスの許可不許可を制御するメモリ
アクセス保護機構を設けるとともに、遠隔メモリを指定
するアドレスとして送信側でシステムコールによって変
換をかけた変換後アドレスをローカルメモリ（３）に準
備し、実際の遠隔メモリアクセス時には上記の変換後ア
ドレスを再利用するようにしても良い。

【０１２５】すなわち、特権モードからはプロテクショ
ン情報を書き換えることができるので、プロセッサがコ
ンテクストスイッチして他のユーザーのプロセスに切り
替わる時にオペレーティングシステムがこれから外部プ
ロセッサ（２）や遠隔メモリアクセス制御装置（１）な
どの資源を割り当てるプロセスＩＤなどを設定しておき
非特権モードでの遠隔メモリアクセス時にはパケット生
成部がこの情報をパケットのヘッダーに埋め込む。

【０１２６】遠隔メモリを指定するアドレスは送信側で
システムコールによって変換をかけた変換後アドレスが
ローカルメモリ（３）に準備されるので、非特権モード
でローカルメモリ（３）上の変換後アドレスを書き換え
られる危険性がある。しかし、他人の遠隔メモリに誤っ
て書き込むことは受信側のメモリアクセス保護機構でパ
ケットヘッダー中のプロテクション情報をチェックする
ことによって排除される。

【０１２７】実際の遠隔メモリアクセス時には、上記の
変換後アドレスを再利用することによってアドレス変換
を通信実行時に逐一行わなくても良くなるので、送信側
にＴＬＢやシステムコールの多発をなくすことができ
る。

【０１２８】遠隔メモリアクセスの場合、送信先のプロ
セッサ番号は遠隔メモリのアドレスの一部を形成するこ
とになるが、これらは通常別のプロセッサならば異なる
ＴＬＢエントリを必要とするために、送信側でＴＬＢに
よるアドレス変換が逐一必要な方式では送信先プロセッ
サが多いとＴＬＢミスヒットが連発することになるが、
上記のようにすれば、通信が多数回繰り返される場合で
も、変換は事前に１回だけ行うに過ぎないので、このよ
うな問題点がない。

【０１２９】本実施例では、このように、通信を始める
前に１回だけＯＳをコールし、アクセスを行いたい大域
的共有メモリアドレス（ローカル論理アドレス）を、実
ノードを識別できるアドレス（グローバル中間アドレ
ス）に変換してもらい、その情報を基に得られるパケッ
ト生成用情報をローカルメモリ３上に格納しておき、そ
の情報を再利用すると効果的である。なぜなら、ＦＦＴ
や行列転置などの科学技術計算にはしばしば用いられる
ように、アクセス先が動的に変動せず決まったアクセス
先に何度もループでアクセスが繰り返される場合は、遠
隔メモリアクセスの際にマイクロプロセッサ内部のＴＬ
Ｂは一切使わずにすませつつ、パケット送信時には制御
装置内ＴＬＢを遠隔メモリアドレスの変換のために使う
ことなく、遠隔メモリアクセス実行時にトラップを起こ
すことなしに、異なるプロセッサ上に配置された異なる
ページに属する多くの遠隔アクセス先に遠隔メモリアク
セスパケットを生成することが可能となるためである。

【０１３０】図１２は、ＰＥ２における図１１に示した
行列転置の際のアドレス変換前の書き込み先ポインタの
配列を示した図である。アドレスの上位は論理ＰＥ番号
であり、これがワード毎に全て異なる。アドレスの下位
はＰＥ内論理メモリアドレスであり、行列Ａ，Ｂの要素
が８バイトのデータからなるとすると、この値は配列Ｂ
の各ＰＥ内におけるベースアドレスに８バイト×２要素
目＝１６を加算したものである。

【０１３１】図１３は、図９のマッピングがされたプロ
セス２におけるＰＥ２における図１１に示した行列転置
の際のアドレス変換後の書き込み先ポインタの配列を示
した図である。アドレスの上位が論理ＰＥ番号から物理
ＰＥ番号に変換されている。この配列は、図１２を準備
した上で、前述のように通信を始める前に１回だけＯＳ
をコールすることによって得られる。この配列が、パケ
ット生成用情報に対応する。

【０１３２】なお、本実施例では、プロセッサ間結合網
が絶対アドレスを用いてルーティングするものとしてア
ドレスの上位を物理ＰＥ番号そのものに変換したが、プ
ロセッサ間結合網が相対アドレスを用いてルーティング
する場合には、ルーティングに便利なように書き込み元
のＰＥアドレスと書き込み先のＰＥアドレスから計算さ
れる相対アドレスに変換し、そのままルーティング情報
として使える形にすることが望ましい。

【０１３３】次に、図１１で示される通信を行う場合の
動作例について解説する。この動作を行うためには、ま
ず、６４ｂｉｔデータ１６個からなる送信用データの配
列Ａ、受信用データの配列Ｂ、および図１３に示したパ
ケット生成情報の配列Ｃをメモリ上に準備する。

【０１３４】受信書き込み処理完了カウンタ１１６に
“１６”を、パケット数指定レジスタ１０５に“１６”
を、バースト長指定レジスタ１０７に“２”（３２ｂｉ
ｔデータ２ワード分を意味する）を、パケットデータ部
ポインタ指定レジスタ１０６に“配列Ａの先頭アドレ
ス”を、パケット生成用情報ポインタ指定レジスタ１０
４に“配列Ｃの先頭アドレス”を、マイクロプロセッサ
２からそれぞれ設定し、「アクノリッジなし遠隔書き込
み要求アドレス」をマイクロプロセッサ２からアクセス
することによって、遠隔書き込み動作が起動される。

【０１３５】パケット生成部１００は、図７のようなヘ
ッダーと６４ｂｉｔのデータ部を持つ１６個のパケット
を、配列Ｃの情報に基づき生成する。１６個のパケット
全ての生成が終わると、ステータスレジスタ１２２には
パケット生成の終了を示すビットが立つ。

【０１３６】ＰＥ２以外の他のＰＥでも同様の動作が行
われ、ＰＥ２は自分を含めた１６個のＰＥから１個ずつ
上記のようなパケットを受け取る。順番に、１６個のア
クノリッジなし遠隔書き込み要求パケットのデータ部
を、ヘッダー部に含まれるＰＥ内論理メモリアドレスを
制御装置内ＴＬＢ１０３で変換して得られる物理メモリ
アドレスに書き込むと、受信書き込み処理完了回数カウ
ンタ１１６が“０”となり、ステータスレジスタ１２２
に受信書き込み完了のビットを立てて、遠隔書き込み動
作は完了する。

【０１３７】マイクロプロセッサ２は、受信書き込み完
了をポーリングして、ステータスレジスタ１２２の受信
書き込み完了ビットが立ったことを検知したら、バリア
同期を実行する。全てのＰＥがバリア同期を実行する
と、全対全通信が完了したことになり、行列Ａを転置し
た行列Ｂが得られたことになる。

【０１３８】以上の動作例ではアクノリッジなしの遠隔
書き込みを用いて実現することを示したが、アクノリッ
ジ付きの遠隔書き込みや、遠隔読み出しを用いても同様
のことが実現できる。本動作例では書き込み先および書
き込まれ回数が静的に決まる例であるので、アクノリッ
ジなしの遠隔書き込みを用いることが、応答メッセージ
が不要なことから最も高速な実現形態となる。

【０１３９】（変形例１）次に、実施例１の変形例を説
明する。変形例１では、実施例１の遠隔メモリアクセス
制御装置において、ローカルメモリ３に格納されるパケ
ット生成用情報として、メモリアドレスの他に、パケッ
トが運ぶべきデータ語数を用意し、パケット毎に異なる
語数の連続データの読み書きを行う遠隔メモリバースト
アクセスパケットを生成する。

【０１４０】パケット生成部１００は、遠隔メモリアク
セスパケットを生成する際に、パケット生成用情報中の
パケットが運ぶべきデータ語数（バースト長）を参照し
つつ、読みだしならば、バースト長をヘッダーに含む遠
隔メモリ読みだし要求パケットを生成し、書き込みなら
ば、ローカルメモリから読みだしたデータを元に、バー
スト長の分だけ、データ部に含む遠隔メモリ書き込みパ
ケットを生成する。バースト長は、パケット毎にパケッ
ト生成用情報に含まれるので、アクセス先によって異な
るバースト長でアクセスすることが可能となる。

【０１４１】図１４は、この変形例を説明するための図
であり、メッセージ毎に指定できるバースト長を持つパ
ケット生成用情報に対応する配列の例を示した図であ
る。図１の遠隔メモリアクセス制御装置１におけるバー
スト長指定レジスタ１０７上の値は全てのパケット生成
に際して用いられていたが、ここでの例のようにパケッ
ト生成を行う場合は、図５、図６、図７のパケットヘッ
ダー内のバースト長には、図１４のパケット生成用情報
の中にある個別のバースト長が用いられる。

【０１４２】例えば、図１４のパケット生成用情報の中
の先頭の要素に対応するパケットは物理ＰＥ番号３６を
持つＰＥに対するデータ２語を書き込むまたは読み出す
パケットを生成し、２番目の要素に対応するパケットは
物理ＰＥ番号３７を持つＰＥに対するデータ３語を書き
込むまたは読み出すパケットを生成する。

【０１４３】図７の形式のパケット生成情報が用いられ
るのか図１４の形式のパケット生成情報が用いられるの
かは、遠隔アクセスの起動をかけるためのアドレスを別
のアドレスにマッピングさせておくことなどによって区
別できる。

【０１４４】（実施例２）最初に、本実施例の主な構成
と、その作用効果について述べる。 ＜実施例２の主な構成＞本実施例は、物理的に分散して
実装され論理的に複数のベクトルプロセッサ（２５）か
ら共有メモリとしてアクセス可能な分散共有メモリ（２
３）を具備する並列計算機において、生成パケット数に
対応する情報をベクトル長指定レジスタ（２３６）によ
り指定し、遠隔メモリをアクセスするパケットを生成す
るためのパケット生成用情報の一部または全部を所望の
個数のパケットに対応する分、所定のフォーマットに基
づいて遠隔メモリアクセス制御装置（２１）の外部でか
つ手元にあるローカルメモリ（２３）に格納しておき、
ベクトルプロセッサ（２５）がフェッチしたベクトル命
令によってローカルメモリ（２３）からベクトルレジス
タ（２３４）にパケット生成用情報をロードし、これら
を用いてベクトルプロセッサ（２５）がフェッチしたベ
クトル命令によって遠隔メモリアクセスパケットを生成
する。

【０１４５】＜実施例２の主な作用効果＞本実施例の遠
隔メモリアクセス制御装置（２１）は、分散共有メモリ
型並列計算機において、ベクトルプロセッサ（２５）の
機能の一部として実現される。まず、遠隔メモリをアク
セスするパケットを生成するためのパケット生成用情報
の一部または全部を所望の個数のパケットに対応する分
だけ、所定のフォーマットに基づいてローカルメモリ
（２３）に格納しておく。次に、ベクトルプロセッサ
（２５）自身がフェッチしたベクトルロード命令によっ
てローカルメモリ（２３）からベクトルレジスタ（２３
４）にパケット生成用情報のロードを開始する。次に、
生成パケット数に対応する情報をベクトル長指定レジス
タ（２３６）に設定した状態で、ベクトルプロセッサ
（２５）がフェッチしたベクトル遠隔メモリアクセス命
令を起動させる。

【０１４６】このようにして、メモリアクセス部とパケ
ット生成部（２００）が同時進行でパイプライン動作
し、１回のベクトル遠隔メモリアクセス命令によって次
々と遠隔メモリアクセスパケットが生成される。外部プ
ロセッサ（２２）は遠隔メモリアクセス開始の許可をベ
クトルプロセッサに通知した後は遠隔メモリアクセスの
処理のために忙殺されることなく別の処理を行うことが
可能となる。また、パケット生成用情報は、外部プロセ
ッサ（２２）のキャッシュ（４１）を通過しないので、
外部プロセッサ（２２）のキャッシュ（４１）のヒット
率も向上する。

【０１４７】また、ベクトル演算器からの結果は出たら
メモリに出入りすることなく遠隔メッセージのデータと
することができるので、メモリアクセスのボトルネック
を回避した高速な遠隔メモリアクセスが実現される。

【０１４８】以下、さらに具体的に本実施例を説明す
る。 ＜実施例２の具体的説明＞図１５および図１６は、本実
施例のコプロセッサを具備する並列計算機の要素プロセ
ッサの構成を示す図である。

【０１４９】並列計算機は、プロセッサ間結合網により
複数の要素プロセッサを相互接続することにより実現さ
れる。本実施例では、要素プロセッサの相互接続方式は
任意とする。

【０１５０】図のように、各要素プロセッサでは、遠隔
メモリアクセス制御装置とベクトルプロセッサが一体化
されたコプロセッサ２１、汎用マイクロプロセッサによ
り実現されるメインプロセッサ２２およびローカルメモ
リ２３が、外部バス２４により接続されている。プロセ
ッサ間結合網には、遠隔メモリアクセス制御装置２１が
直接接続される。本実施例では、各要素プロセッサのロ
ーカルメモリ２３を分散共有メモリとして使うこととす
る。

【０１５１】実施例１と同様に、マイクロプロセッサ２
２は、ＣＰＵ４３に加えて、キャッシュメモリ４１およ
びアドレス変換用のＴＬＢ４２を備えるものとする。ま
た、メインプロセッサ２２は、外部バス２４を介してロ
ーカルメモリ２３やベクトルプロセッサ２１の内部資源
をアクセスする。本実施例では、このメインプロセッサ
２２上でＯＳやユーザープログラムの一部が動作し、ベ
クトルプロセッサ２１はそのコプロセッサという位置づ
けとなっている。

【０１５２】しかし、本実施例のようにＴＬＢやキャッ
シュメモリを備えた汎用のマイクロプロセッサによって
実現されるメインプロセッサ（２２）とコプロセッサ
（２１）の組み合わせで実現しなければならないわけで
はなく、カスタム設計により本実施例よりも緊密に結合
されたスカラプロセッサとベクトルプロセッサにより実
現するなどしても構わない。

【０１５３】図１５および図１６のように、コプロセッ
サ２１は、ベクトル演算パイプライン２３２、ロードス
トアパイプライン２３３、ベクトルレジスタ２３４、ス
カラレジスタ２３５、ベクトル長指定レジスタ２３６、
ステータスレジスタ２２２、プロセスＩＤ指定レジスタ
２０８、命令バッファ２４１、命令制御部２４２、ベク
トルプロセッサ内結合網２４３、バスインタフェース部
２０１、プロセッサ間結合網インタフェース部２１７、
パケット生成部２００、パケット受信部２１３、送信パ
ケットバッファ２１１、受信パケットバッファ２１２、
応答待ち読み出し要求カウンタ２１４、応答待ち書き込
み要求カウンタ２１５、受信書き込み処理完了回数カウ
ンタ２１６、コプロセッサ内ＴＬＢ２０３、返信パケッ
トデータ部バッファ２２１、メモリアドレス生成部２０
２を具備する。

【０１５４】ローカルメモリ２３には、メインプロセッ
サ内ＴＬＢ４２やコプロセッサ内ＴＬＢ２１にキャッシ
ングされるべきページテーブルの本体や、ベクトルプロ
セッサ２１のためのプログラムや、メインプロセッサ２
２のためのプログラムや、パケット生成用情報の配列や
送信パケットデータ部などのその他のデータが保持され
る。

【０１５５】ここで、好ましくは、パケット生成部（２
００）に非特権モードでのプログラムからは特権モード
に移行することなく直接制御することが不可能なプロテ
クション情報付加機構を設け、遠隔メモリアクセスパケ
ットを受信する側にパケット中のプロテクション情報に
基づいてメモリアクセスの許可不許可を制御するメモリ
アクセス保護機構を設けると良い。特権モードからはプ
ロテクション情報を書き換えることができるので、プロ
セッサがコンテクストスイッチして他のユーザーのプロ
セスに切り替わる時にオペレーティングシステムがこれ
から外部プロセッサや遠隔メモリアクセス制御装置など
の資源を割り当てるプロセスＩＤなどを設定しておき非
特権モードでの遠隔メモリアクセス時にはパケット生成
部がこの情報をパケットのヘッダーに埋め込む。つま
り、非特権モードでローカルメモリ（２３）上のパケッ
ト生成用情報を書き換えても、他人の遠隔メモリに誤っ
て書き込むことは受信側のメモリアクセス保護機構でパ
ケットヘッダー中のプロテクション情報をチェックする
ことによって排除される。

【０１５６】本実施例では、上記のような機構を採用す
るとととし、コプロセッサ内ＴＬＢ２０３とプロセスＩ
Ｄ指定レジスタ２０８は、マイクロプロセッサの特権モ
ードでしかアクセスできない領域にマップされる。

【０１５７】コプロセッサ内ＴＬＢ２０３には、メモリ
アドレス生成部２０２が発生するメモリアクセス時のア
ドレス変換に用いられる物理アドレスと論理アドレスの
組の他に、ＴＬＢ４２のエントリ毎に付けられたプロセ
スＩＤを保持する。その実体はローカルメモリ２３の特
権モードでしかアクセスできない領域に上にあり、ＴＬ
Ｂ４２にはその情報がキャッシングされる。なお、ここ
でいうプロセスとは、仮想アドレス空間を割り当てる単
位であり、複数のプロセッサにまたがって同一のプロセ
スＩＤを使用する複数のスレッドが存在する。

【０１５８】プロセスＩＤ指定レジスタ２０８には、コ
プロセッサ２１を割り当てられているプロセスＩＤが保
持され、パケット生成部２００で生成されるパケットの
ヘッダーには、プロセスＩＤ指定レジスタ２０８上のプ
ロセスＩＤが埋め込まれる。このように、コプロセッサ
内ＴＬＢ２０３とプロセスＩＤ指定レジスタ２０８は、
プロテクション情報を保持し、不正なメモリアクセスを
防止するための機構であるために、ユーザーモードから
は直接アクセスはさせないようになっている。

【０１５９】コプロセッサ２１内部のベクトルプロセッ
サは、メインプロセッサ２２からの指示に基づき、命令
制御部２４２がローカルメモリ２３上のコプロセッサ用
プログラムを命令バッファに読み込んでは、命令バッフ
ァ２４１上の命令をデコードして、ベクトル演算パイプ
ライン２３２、ロードストアパイプライライン２３３、
スカラレジスタ２３５、ベクトルレジスタ２３４などへ
の制御信号を送り、メインプロセッサ２２とは同期命令
や割り込み処理が発生しない限り独立して動作する。

【０１６０】コプロセッサ２１の命令としては、スカラ
レジスタ２３５やベクトル長指定レジスタ２３６にロー
カルメモリ２３や命令バッファ２４１からデータをロー
ドする命令や、ベクトルレジスタ２３４にローカルメモ
リ２３からデータをロードするベクトルロード命令ＶＬ
Ｄや、ベクトルレジスタ２３４からローカルメモリ２３
にデータをストアするベクトルストア命令ＶＳＴや、ベ
クトルレジスタ２３４やスカラレジスタ２３５上の値の
間で加算や乗算などの演算を実行し結果をベクトルレジ
スタ２３４に格納するベクトル演算命令や、後述するベ
クトル送信命令などが存在する。

【０１６１】ベクトルプロセッサ内結合網２４３は、ベ
クトル命令が指定するオペランドによって制御されるベ
クトルプロセッサ内資源間のデータ転送経路となる。こ
こで、好ましくは、ローカルメモリ（２３）に格納され
るパケット生成用情報の格納フォーマットを配列とする
と良い。そのようにした場合、ベクトルロード命令によ
って簡単かつ高速にベクトルレジスタにパケット生成用
情報をロードすることができる。

【０１６２】本実施例では、ローカルメモリ２３に格納
されるパケット生成用情報の格納フォーマットを配列と
する。本実施例のコプロセッサ２１によるプロセッサ間
通信を行う場合、まず、遠隔アクセスを行うケースで
は、書き込みのときも読み出しのときもパケット生成用
情報をベクトルレジスタ２３４にロードする必要があ
る。本実施例では、パケット生成用情報の格納フォーマ
ットを配列としており、ｎ個のパケットのヘッダー情報
を生成するために必要な情報が、まずローカルメモリ２
３上の連続した領域上に配列として準備される。

【０１６３】ここで、好ましくは、パケット生成部（２
００）に非特権モードでのプログラムからは特権モード
に移行することなく直接制御することが不可能なプロテ
クション情報付加機構を設け、遠隔メモリアクセスパケ
ットを受信する側にパケット中のプロテクション情報に
基づいてメモリアクセスの許可不許可を制御するメモリ
アクセス保護機構を設けるとともに、遠隔メモリを指定
するアドレスとして送信側でシステムコールによって変
換をかけた変換後アドレスをローカルメモリに準備し、
実際の遠隔メモリアクセス時には上記の変換後アドレス
を再利用するようにしても良い。

【０１６４】すなわち、特権モードからはプロテクショ
ン情報を書き換えることができるので、プロセッサがコ
ンテクストスイッチして他のユーザーのプロセスに切り
替わる時にオペレーティングシステムがこれから外部プ
ロセッサや遠隔メモリアクセス制御装置などの資源を割
り当てるプロセスＩＤなどを設定しておき非特権モード
での遠隔メモリアクセス時にはパケット生成部がこの情
報をパケットのヘッダーに埋め込む。

【０１６５】遠隔メモリを指定するアドレスは、送信側
でシステムコールによって変換をかけた変換後アドレス
がローカルメモリに準備されるので、非特権モードでロ
ーカルメモリ上の変換後アドレスを書き換えられる危険
性がある。しかし、他人の遠隔メモリに誤って書き込む
ことは、受信側のメモリアクセス保護機構でパケットヘ
ッダー中のプロテクション情報をチェックすることによ
って排除される。

【０１６６】実際の遠隔メモリアクセス時には、上記の
変換後アドレスを再利用することによって、アドレス変
換を通信実行時に逐一行わなくても良くなるので、送信
側にＴＬＢやシステムコールの多発をなくすことができ
る。

【０１６７】遠隔メモリアクセスの場合、送信先のプロ
セッサ番号は遠隔メモリのアドレスの一部を形成するこ
とになるので、これらは通常別のプロセッサならば異な
るＴＬＢエントリを必要とするため、送信側でＴＬＢに
よるアドレス変換が逐一必要な方式では送信先プロセッ
サが多いとＴＬＢミスヒットが連発することになるが、
上記のようにすれば、通信が多数回繰り返される場合で
も、変換は事前に１回だけ行うに過ぎないので、このよ
うな問題点がない。

【０１６８】本実施例においても、実施例１と同様に、
図７を準備した上で、上記のように通信を始める前に１
回だけＯＳをコールすることによって得られる図８の配
列が、パケット生成用情報に対応する。

【０１６９】さて、上記のパケット生成用情報に対応す
る配列の先頭アドレスをスカラレジスタＳＲ１に設定
し、ロードすべきパケット生成用情報データ数すなわち
パケット数ｎをベクトル長指定レジスタ２３６に設定
し、連続アクセスを行うことを示すアクセスステップ数
１をスカラレジスタＳＲ２に設定し、ベクトルレジスタ
ＶＲ１に対するベクトルロード命令（ＶＬＤ ＳＲ１
ＳＲ２ ＶＲ１）を実行する。

【０１７０】すると、ベクトル長、先頭アドレス、アク
セスステップ数がロードストアパイプライン２３３に転
送され、そこでメモリアドレスを発生しアクセス要求が
バスインタフェース部２０１に届き、メモリ２３をリー
ドした結果がベクトルプロセッサ内結合網２４３を経由
してベクトルレジスタＶＲ１にパケット生成用情報とし
てｎパケット分ロードされる。

【０１７１】本実施例では、パケット生成用情報の格納
フォーマットを配列としており、ｎ個のパケットのヘッ
ダー情報を生成するために必要な情報がローカルメモリ
２３上に配列として準備されているため、ベクトルロー
ド命令により効率的にパケット生成用情報がベクトルレ
ジスタ２３４にロードされる。

【０１７２】遠隔書き込みを行う場合は、さらに書き込
みデータをベクトルレジスタ２３４に準備する必要があ
る。ここでは、送信パケット毎にバースト長Ｌ語のデー
タを持ち、１回の起動によりｎ個の送信パケットを生成
するものとする。

【０１７３】遠隔書き込みを行う場合は、ローカルメモ
リ２３上に書き込むべきデータを準備しておきベクトル
ロード命令をベクトルプロセッサにより実行するなどに
よってベクトルレジスタ２３４上にロードする方法と、
ベクトルプロセッサによる演算結果を送信データとして
直接用いることが可能な場合に限りベクトルレジスタ２
３４上の演算結果を用いる方法がある。

【０１７４】まず、前者の方式によって実行する場合の
動作について説明する。図１５および図１６では書き込
むべきデータはＬ×ｎの二次元配列として論理的に連続
した領域に格納されているが、ベクトルプロセッサのベ
クトルロード命令には、連続アクセスの他に、等間隔ア
クセスやリストアクセスを行う命令が用意されているこ
とが一般的であるので、必ずしも連続領域にデータが格
納されている必要はない。

【０１７５】この例では、二次元配列の先頭アドレスを
スカラレジスタＳＲ３に設定し、ロードすべきデータ数
Ｌ×ｎをベクトル長指定レジスタ２３６に設定し、連続
アクセスを行うことを示すアクセスステップ数１をスカ
ラレジスタＳＲ２に設定し、ベクトルレジスタＶＲ１に
対するベクトルロード命令（ＶＬＤ ＳＲ３ ＳＲ２Ｖ
Ｒ２）を実行すると、ベクトルレジスタＶＲ２に送信パ
ケットデータがｎパケット分ロードされる。

【０１７６】ここで、好ましくは、パケット生成用情報
を第一のベクトルレジスタに格納し、ローカルメモリか
らのロードデータまたはベクトル演算器からの出力とし
て得られる書き込みデータを第二のベクトルレジスタに
格納し、対応するパケット生成用情報と書き込みデータ
を組み合わせて、遠隔メモリアクセス制御装置自身がフ
ェッチしたベクトル命令によって遠隔メモリ書き込みパ
ケットを生成するようにしても良い。書き込みデータを
ベクトルレジスタ上におくので、ベクトル演算器からの
結果がベクトルレジスタに保持される。それをベクトル
遠隔メモリ書き込み命令のソースオペランドとして指定
した場合、メモリを経由することなくパケット生成部に
おいて、別のベクトルレジスタにローカルメモリからロ
ードされるパケット生成用情報と組み合わされて遠隔メ
モリ書き込みパケットが次々と生成される。

【０１７７】また、好ましくは、パケットが運ぶべきデ
ータ語数（バースト長）を指定可能なベクトル命令を具
備させ、１つ以上の語数の連続データの読み書きを１つ
のパケットで行う遠隔メモリバーストアクセスパケット
を生成するようにしても良い。バースト長の指定は例え
ば汎用のスカラレジスタであっても良いし、専用のレジ
スタを設けても良く、ここに値を設定した状態でベクト
ル遠隔メモリバーストアクセス命令を起動する。する
と、パケット生成部は、該レジスタで指定される語数の
読み書きを行う遠隔メモリバーストアクセスパケットを
生成する。このようにして、遠隔メモリアドレスなどか
らなる１つのパケットヘッダーに対して、バースト長で
指定されるブロック状のデータが運ばれることになるの
で、常に１語ずつ遠隔メモリアクセスを行うより、結合
網やメモリバンド幅が有効に活用されることになる。

【０１７８】本実施例では、ベクトルレジスタ２３４上
のパケット生成用情報を用いて遠隔アクセス要求パケッ
トを生成するベクトル命令ＶＳＥＮＤＷとＶＳＥＮＤＲ
をコプロセッサ２１は具備し、ＶＳＥＮＤＷは、ベクト
ルレジスタ２３４上のパケット生成用情報と送信データ
から遠隔書き込み要求パケットを生成する。

【０１７９】とりわけ、本実施例の命令ＶＳＥＮＤＷ
は、スカラレジスタ２３５上に設定されたバースト長Ｌ
を用いてベクトルレジスタ２３４上の連続したＬ語のデ
ータに一つのヘッダーを付け遠隔メモリバースト書き込
みを要求するパケットを生成する。

【０１８０】ＶＳＥＮＤＷとＶＳＥＮＤＲの違いは、パ
ケット生成用情報がＶＳＥＮＤＷは１語からなる遠隔書
き込みに用いられ、ベクトルレジスタ２３４上の書き込
みデータをＬ語添えて送信パケットとするのに対し、Ｖ
ＳＥＮＤＲはパケット生成用情報がパケットあたり２語
からなり、データ部は無く、読み出し結果格納アドレス
を必要とする遠隔読み出し要求のために用いられる点が
異なる。

【０１８１】ベクトルレジスタＶＲ１とＶＲ２にそれぞ
れパケット生成用情報と送信データがロードされ、ＶＳ
ＥＮＤＷ命令を用いて遠隔書き込みを行う場合は、スカ
ラレジスタＳＲ４にバースト長Ｌを設定し、ベクトル長
指定レジスタ２３６にパケット数ｎを設定して、ベクト
ル送信命令（ＶＳＥＮＤＷ ＳＲ４ ＶＲ１ ＶＲ２）
を実行すると、ｎ個の遠隔バースト書き込み要求パケッ
トが生成される。

【０１８２】以上の動作をタイムチャートで示すと、実
施例１のパイプライン動作時のタイムチャートである図
４と同様になる。ここでは、配列のアドレス発生に１ク
ロック、ランダムメモリアクセスの遅延が２クロック、
以降連続アクセス時のメモリ読み出し転送レートが１ワ
ードあたり１クロック、ヘッダー部１ワードでデータ部
１ワードのパケット生成に２クロックかかるものとして
図示している。

【０１８３】このように送信データをローカルメモリか
らロードする使用方法ではベクトルプロセッサと遠隔メ
モリアクセス制御装置を一体化した効果は、パケット生
成用情報バッファや送信パケットデータ部バッファの機
能をベクトルレジスタに兼用させてハードウェアを有効
活用している点にある。

【０１８４】一方、ベクトルプロセッサによる演算結果
を送信データとして直接用いることが可能な場合に限
り、ベクトルレジスタ２３４上の演算結果を用いるもの
は、実施例１と異なり、通信性能のボトルネックとなっ
ていたメモリアクセスの回数が大幅に減少するので、よ
り高速な通信が可能となる。

【０１８５】図１７は、ベクトルプロセッサによる演算
結果を送信データとして直接用いる遠隔メモリ書き込み
の送信側動作を示す図である。ここでは、配列のアドレ
ス発生に１クロック、ランダムメモリアクセスの遅延が
２クロック、以降連続アクセス時のメモリ読み出し転送
レートが１ワードあたり１クロック、ヘッダー部１ワー
ドでデータ部１ワードのパケット生成に２クロックかか
るものとして図示している。

【０１８６】ヘッダーのためのメモリアクセスに先立ち
または並行してベクトル演算器からの結果データがベク
トルレジスタに書き込まれるならば、パケット生成は第
５サイクルから開始でき、図４の場合と比べて丸々送信
データのロードにかかっていた期間だけ速い時刻からパ
ケット生成が開始され、この例の場合は１７サイクルか
かっていた処理が１２サイクルで完了している。

【０１８７】また、実施例１と異なり、本実施例の場合
はパケット生成情報のロードとパケット生成は別の命令
で構成されるために、パケット生成情報のロードを先行
して発行させることによって容易にプリロードを実現で
き、外部バス２４が空いているならばベクトル演算器が
送信用データを計算しているうちにパケット生成情報の
ロードを済ませることも可能で、その場合はベクトル演
算器からの結果が出ると即座にパケット生成が開始さ
れ、さらなる高速化ができることがある。

【０１８８】ここで、好ましくは、受信した遠隔書き込
み要求に対する処理の完了の回数を計数するカウンタを
設けても良い。遠隔ノードから書き込まれる回数が、書
き込まれる側のプログラムでわかっているような処理を
行う場合は、遠隔書き込みに対する応答パケットを返送
することなしに、受信側でカウントされる上記カウンタ
の値を受信側でチェックし、所定の回数の書き込みパケ
ットの処理が完了したことを確認してから全体でバリア
同期をとることによって、遠隔書き込みパケットを送信
した側に速やかに書き込みの完了が伝わるので高速であ
り、プロセッサ間結合網に対する負担も軽くなる。

【０１８９】なお、送信パケットのヘッダーは、実施例
１と同様であり、図５、図６および図７のようになって
いる。また、パケット生成時や受信時の動作も、応答待
ち読み出し要求数カウンタ２１４や応答待ち書き込み要
求数カウンタ２１５の動作や、受信書き込み処理完了回
数カウンタ２１６の動作も、実施例１と同様である。

【０１９０】（変形例２）次に、実施例２の変形例を説
明する。変形例２では、実施例２の遠隔メモリアクセス
制御装置において、ローカルメモリに格納され、ベクト
ルレジスタにロードされるパケット生成用情報として、
メモリアドレスの他に、パケットが運ぶべきデータ語数
（バースト長）を用意し、１つ以上のパケット毎に異な
る語数の読み書きを行う遠隔メモリバーストアクセスパ
ケットを生成する。

【０１９１】パケット生成部は２００、遠隔メモリアク
セスパケットを生成する際に、パケット生成用情報中の
データ語数（バースト長）を参照しつつ、読みだしなら
ば、バースト長をヘッダーに含む遠隔メモリ読みだし要
求パケットを生成し、書き込みならば、ベクトルレジス
タ上のデータを元に、バースト長の分だけ、データ部に
含む遠隔メモリ書き込みパケットを生成する。バースト
長は、パケット毎にパケット生成用情報に含まれるの
で、アクセス先によって異なるバースト長でアクセスす
ることが可能となる。

【０１９２】メッセージ毎に指定できるバースト長を持
つパケット生成用情報に対応する配列は、例えば図１４
に示したものを用いることができる。図１５および図１
６のコプロセッサ３２におけるバースト長を指定するス
カラレジスタ２３５上の値は全てのパケット生成に際し
て用いられていたが、パケット生成を行う場合は、図１
１、図１２、図１３のパケットヘッダー内のバースト長
には図１４のパケット生成用情報の中にある個別のバー
スト長が用いられる。

【０１９３】例えば、図１４のパケット生成用情報の中
の先頭の要素に対応するパケットは、物理ＰＥ番号３６
を持つＰＥに対するデータ２語を書き込むまたは読み出
すパケットを生成し、２番目の要素に対応するパケット
は物理ＰＥ番号３７を持つＰＥに対するデータ３語を書
き込むまたは読み出すパケットを生成する。

【０１９４】図７の形式のパケット生成情報が用いられ
るのか図１４の形式のパケット生成情報が用いられるの
かは、遠隔アクセスの起動をかけるためのアドレスを別
のアドレスにマッピングさせておくことなどによって区
別できる。また、本発明は上述した各実施例に限定され
るものではなく、その要旨を逸脱しない範囲で、種々変
形して実施することができる。

【０１９５】

【発明の効果】本発明によれば、予めローカルメモリに
パケット生成に必要な情報を格納しておき、プロセッサ
からの１つの要求に応答して、上記情報を元に複数の遠
隔メモリアクセスパケットを生成するようにしたので、
大域的多重仮想記憶を実現しつつ、プロセッサからの遠
隔メモリアドレス発生によるキャッシュのミスヒット増
加やＴＬＢのミスヒットに起因する割り込み発生を排除
できるとともに、間欠的にしか発生させることができな
かった遠隔メモリアクセスパケットを連続的に発生させ
ることができる。

【０１９６】また、プロセッサは、従来のように遠隔メ
モリアクセスの処理のために忙殺されることなく、当該
遠隔メモリアクセス制御装置を起動した後は、別の処理
を行うことが可能となる。

【０１９７】また、複数のパケットに対するメモリアク
セスを一度にまとめて行うことができるので、バースト
メモリアクセスが促進され、実効メモリバンド幅が向上
し、高速な遠隔メモリアクセスが実現される。とりわ
け、パケット生成用情報を配列とした場合は、少ないハ
ードウェアで高速なメモリアクセスが実現される。

【０１９８】また、ベクトルプロセッサと遠隔メモリア
クセス装置を融合させた場合は、遠隔メモリ書き込み処
理におけるメモリアクセス回数を減少させることがで
き、より高速な遠隔メモリ書き込みが実現される。

【０１９９】また、本発明によれば、処理し終わった遠
隔書き込み要求を計数するカウンタを受信側に設けるの
で、受信側での書き込み回数が静的にわかる処理の場合
は、書き込みの完了を速やかに知ることが可能となり、
応答パケットにより結合網が混雑してしまうという弊害
が排除される。

【図面の簡単な説明】

【図１】本発明の第１の実施例に係る遠隔メモリアクセ
ス制御装置を具備した並列計算機の要素プロセッサの構
成を示す図

【図２】同要素プロセッサの構成を示す図

【図３】パケット送信時のパイプライン動作例を示す図

【図４】パケット送信時の他のパイプライン動作例を示
す図

【図５】遠隔読み出し要求パケットの一例を示す図

【図６】アクノリッジ付きの遠隔書き込み要求パケット
ヘッダーの一例を示す図

【図７】アクノリッジなしの遠隔書き込み要求パケット
ヘッダーの一例を示す図

【図８】二次元メッシュ結合型並列計算機におけるマッ
ピング状況の一例を示する図

【図９】論理的なＰＥ群について説明するための図

【図１０】アドレス変換の様子を示す図

【図１１】通信パターンの一例を示す図

【図１２】アドレス変換前の書き込み先ポインタの配列
の一例を示す図

【図１３】アドレス変換後の書き込み先ポインタの配列
の一例を示す図

【図１４】メッセージ毎に指定できるバースト長を具備
したパケット生成用情報に対応する配列の一例を示す図

【図１５】本発明の第２の実施例に係るコプロセッサを
具備する並列計算機の要素プロセッサの構成を示す図

【図１６】同要素プロセッサの構成を示す図

【図１７】ベクトルプロセッサによる演算結果を送信デ
ータとして直接用いる遠隔メモリ書き込みの送信側動作
を示す図

【符号の説明】

１…遠隔メモリアクセス制御装置、２…マイクロプロセ
ッサ、３…ローカルメモリ、４…外部バス、３１…キャ
ッシュメモリ、３２…ＴＬＢ、３３…ＣＰＵ、１００…
パケット生成部、１０１…バスインタフェース部、１０
２…メモリアドレス生成部、１０３…制御装置内ＴＬ
Ｂ、１０４…パケット生成用情報ポインタ指定レジス
タ、１０５…パケット数指定レジスタ、１０６…パケッ
トデータ部ポインタ指定レジスタ、１０７…バースト長
指定レジスタ、１０８…プロセスＩＤ指定レジスタ、１
０９…パケット生成用情報バッファ、１１０…送信パケ
ットデータ部バッファ、１１１…送信パケットバッフ
ァ、１１２…受信パケットバッファ、１１３…パケット
受信部、１１４…応答待ち読み出し要求数カウンタ、１
１５…応答待ち書き込み要求数カウンタ、１１６…受信
書き込み処理完了回数カウンタ、１１７…プロセッサ間
結合網インタフェース部、１２１…返信パケットバッフ
ァ、１２２…ステータスレジスタ、２１…コプロセッ
サ、２２…メインプロセッサ、２３…ローカルメモリ、
２４…外部バス、２５…ベクトルプロセッサ、４１…キ
ャッシュメモリ、４２…ＴＬＢ、４３…ＣＰＵ、２００
…パケット生成部、２０１…バスインタフェース部、２
０２…メモリアドレス生成部、２０３…コプロセッサ内
ＴＬＢ、２０８…プロセスＩＤ指定レジスタ、２１１…
送信パケットバッファ、２１２…受信パケットバッフ
ァ、２１３…パケット受信部、２１４…応答待ち読み出
し要求カウンタ、２１５…応答待ち書き込み要求カウン
タ、２１６…受信書き込み処理完了回数カウンタ、２１
７…プロセッサ間結合網インタフェース部、２２１…返
信パケットデータ部バッファ、２２２…ステータスレジ
スタ、２３２…ベクトル演算パイプライン、２３３…ロ
ードストアパイプライン、２３４…ベクトルレジスタ、
２３５…スカラレジスタ、２３６…ベクトル長指定レジ
スタ、２４１…命令バッファ、２４２…命令制御部、２
４３…ベクトルプロセッサ内結合網

Claims (15)

【特許請求の範囲】
1. 【請求項１】複数のプロセッサと物理的に分散して実装
   され論理的に該複数のプロセッサから共有メモリとして
   アクセス可能な分散共有メモリとを具備する並列計算機
   において対応するプロセッサの該分散共有メモリに対す
   る遠隔メモリアクセスを制御する遠隔メモリアクセス制
   御装置であって、 パケット生成用情報のアドレスを指定するポインタ指定
   手段と、 生成するパケットの個数を指定するパケット数指定手段
   と、 前記対応するプロセッサからの遠隔メモリアクセス要求
   を検出するアクセス要求検出手段と、 前記遠隔メモリアクセス要求が検出された場合、前記ポ
   インタ指定手段により指示される前記アドレスを元にし
   て、前記対応するプロセッサのローカルメモリから所定
   のフォーマットのパケット生成用情報を読み出すローカ
   ルメモリアクセス手段と、 読み出された前記パケット生成用情報に基づいて、前記
   パケット数指定手段により指示されるパケット数分、前
   記分散共有メモリに対して遠隔メモリアクセスするパケ
   ットを生成するパケット生成手段とを備えたことを特徴
   とする遠隔メモリアクセス制御装置。
2. 【請求項２】前記ローカルメモリに格納される前記パケ
   ット生成用情報の格納フォーマットを配列とすることを
   特徴とする請求項１に記載の遠隔メモリアクセス制御装
   置。
3. 【請求項３】前記パケット生成用情報を一時的に格納す
   る第１のバッファ手段と、書き込みデータを一時的に格
   納する第２のバッファ手段とをさらに備え、 前記ローカルメモリアクセス手段は、前記遠隔メモリア
   クセス要求が遠隔メモリ書き込み要求である場合、前記
   ローカルメモリから前記第１及び第２のバッファ手段に
   情報を取り込むものであるとともに、 前記パケット生成手段は、前記遠隔メモリアクセス要求
   が遠隔メモリ書き込み要求である場合、対応する前記パ
   ケット生成用情報と前記書き込みデータとの組がそろっ
   たものから、該組の内容に基づいて遠隔メモリ書き込み
   パケットを生成するものであって、 前記ローカルメモリアクセス手段と前記パケット生成手
   段とを、パイプライン的に同時動作させるようにしたこ
   とを特徴とする請求項１に記載の遠隔メモリアクセス制
   御装置。
4. 【請求項４】前記ローカルメモリアクセス手段は、連続
   アクセスが高速なローカルメモリをアクセスするもので
   あり、前記パケット生成用情報および前記書き込みデー
   タを前記ローカルメモリから連続アクセスによって各々
   複数パケット分、前記第１および第２のバッファ手段に
   取り込むようにしたことを特徴とする請求項３に記載の
   遠隔メモリアクセス制御装置。
5. 【請求項５】前記パケットが運ぶべき情報のデータ語数
   を指定するバースト長指定手段をさらに具備し、 該バースト長指定手段により指定される語数の読み書き
   を行う遠隔メモリバーストアクセスパケットを生成する
   ようにしたことを特徴とする請求項１に記載の遠隔メモ
   リアクセス制御装置。
6. 【請求項６】前記パケット生成用情報には、メモリアド
   レスの他に当該パケットが運ぶべき情報のデータ語数を
   持たせ、各パケット毎に所望の語数の連続データの読み
   書きを行う遠隔メモリバーストアクセスパケットを生成
   するようにしたことを特徴とする請求項１に記載の遠隔
   メモリアクセス制御装置。
7. 【請求項７】前記パケット生成手段には、非特権モード
   でのプログラムからは特権モードに移行することなく直
   接制御することが不可能なプロテクション情報付加機構
   を設けるとともに、 他のプロセッサからの遠隔メモリアクセスパケットを受
   信した場合に、該パケット中のプロテクション情報に基
   づいてメモリアクセスの許可不許可を制御するメモリア
   クセス保護機構を備えたことを特徴とする請求項１に記
   載の遠隔メモリアクセス制御装置。
8. 【請求項８】複数のベクトルプロセッサと物理的に分散
   して実装され論理的に該複数のベクトルプロセッサから
   共有メモリとしてアクセス可能な分散共有メモリとを具
   備する並列計算機においてベクトルプロセッサの該分散
   共有メモリに対する遠隔メモリアクセスを制御する遠隔
   メモリアクセス制御装置であって、 ベクトルプロセッサがフェッチしたベクトル命令により
   パケット生成が起動され、ベクトルプロセッサのベクト
   ルロード手段によりローカルメモリからベクトルレジス
   タにロードされたパケット生成用情報に基づいて、ベク
   トル長指定手段により指示されるパケット数分、前記分
   散共有メモリに対して遠隔メモリアクセスするパケット
   を生成するパケット生成手段を備えたことを特徴とする
   遠隔メモリアクセス制御装置。
9. 【請求項９】パケット生成用情報を前記ベクトルレジス
   タの少なくとも１つに格納するとともに、前記ローカル
   メモリからロードした書き込みデータまたはベクトル演
   算器からの出力として得られる書き込みデータを前記ベ
   クトルレジスタの他のベクトルレジスタに格納し、 対応するパケット生成用情報と書き込みデータを組み合
   わせて、前記フェッチしたベクトル命令によって遠隔メ
   モリ書き込みパケットを生成することを特徴とする請求
   項８に記載の遠隔メモリアクセス制御装置。
10. 【請求項１０】前記ローカルメモリに格納される前記パ
    ケット生成用情報の格納フォーマットを配列とすること
    を特徴とする請求項８に記載の遠隔メモリアクセス制御
    装置。
11. 【請求項１１】前記パケットが運ぶべき情報のデータ語
    数を指定できるベクトル命令を設け、 所定の語数の連続データの読み書きを１つのパケットで
    行う遠隔メモリバーストアクセスパケットを生成するこ
    とを特徴とする請求項８に記載の遠隔メモリアクセス制
    御装置。
12. 【請求項１２】前記パケット生成用情報には、メモリア
    ドレスの他に当該パケットが運ぶべき情報のデータ語数
    を持たせ、各パケット毎に所望の語数の連続データの読
    み書きを行う遠隔メモリバーストアクセスパケットを生
    成するようにしたことを特徴とする請求項８に記載の遠
    隔メモリアクセス制御装置。
13. 【請求項１３】前記パケット生成手段には、非特権モー
    ドでのプログラムからは特権モードに移行することなく
    直接制御することが不可能なプロテクション情報付加機
    構を設けるとともに、 他のプロセッサからの遠隔メモリアクセスパケットを受
    信した場合に、該パケット中のプロテクション情報に基
    づいてメモリアクセスの許可不許可を制御するメモリア
    クセス保護機構を備えたことを特徴とする請求項８に記
    載の遠隔メモリアクセス制御装置。
14. 【請求項１４】遠隔メモリを指定するアドレスとして送
    信側でシステムコールによって変換をかけた変換後アド
    レスを前記ローカルメモリに準備し、実際の遠隔メモリ
    アクセスの際には、前記変換後アドレスを再利用するこ
    とを特徴とする請求項７または１３に記載の遠隔メモリ
    アクセス制御装置。
15. 【請求項１５】複数のプロセッサと物理的に分散して実
    装され論理的に該複数のプロセッサから共有メモリとし
    てアクセス可能な分散共有メモリとを具備する並列計算
    機において対応するプロセッサの該分散共有メモリに対
    する遠隔メモリアクセスを制御する遠隔メモリアクセス
    制御装置であって、 前記対応するプロセッサからの遠隔書き込み要求を検出
    するアクセス要求検出手段と、 前記遠隔書き込み要求に応答して、対応するパケットを
    生成し、所定のプロセッサに向けて送信する手段と、 前記対応するプロセッサ以外のプロセッサから前記遠隔
    書き込み要求に対応するパケットを受信する手段と、 前記遠隔書き込み要求に対応するパケットの内容に応じ
    て、対応するローカルメモリにデータ書き込み処理を行
    なう手段と、 前記遠隔書き込み要求に対応するパケットに対する前記
    処理の完了の回数を計数するカウンタ手段とを備えたこ
    とを特徴とする遠隔メモリアクセス制御装置。