JP3261766B2 - マルチプロセッサシステム、共有変数更新装置、プロセッサユニット及び共有変数更新方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はマルチプロセッサ処理装
置によるプログラムの並列実行の技術において、並列実
行される複数の処理単位がメモリ資源を共有する遠隔メ
モリ操作方法技術に関する。特に、共有メモリを持たな
いマルチプロセッサ処理装置で共有変数を用いた並列処
理プログラムを実行する際に、遠隔メモリ操作の発生回
数を減少させることによって処理速度の改善を図る技術
に関連する。

【０００２】

【従来の技術】応用プログラムによる処理において、あ
る種の問題は複数の処理単位によって並列処理されるこ
とで格段の処理速度の向上が得られることが知られてい
る。このような並列処理システムは数値計算や画像処理
などの分野において多く実用化されている。

【０００３】並列処理システムを構築する際、個々の処
理を分担する複数のプロセッサユニットがハードウェア
上で特定のメモリを共有する場合と、全く共有メモリを
持たない場合とがある。後者は、ローカルエリアネット
ワークに接続された複数台のパーソナルコンピュータ、
ワークステーションを利用して、目的プログラムの並列
処理を行なう場合などが相当する。

【０００４】しかし、この様な共有メモリを持たないハ
ードウェアによるシステムであっても、高級言語による
プログラムモデルの段階では共有変数という形式で並列
実行される処理単位間の共通資源を仮定した方がアルゴ
リズムの実現上、有利な場合が多い。

【０００５】ところで、共有メモリを持たない並列処理
システムにおいて、共有変数を仮想し、参照および変更
を行なう手段は「通信」である。実現構造である「通
信」を上位構造であるプログラム言語（高級言語）の階
層に実装するために、プログラム言語の中にはSEND、RE
CEIVE等の通信を明示的に表す命令語を入れ仕様にした
ものや、通常の変数代入と等価な代入式の記述を認めた
仕様にしたものなどがある。

【０００６】しかし、とにかく実質的には前記２つのど
ちらの言語処理系もプロセッサ間の通信、あるいはプロ
グラム処理単位間の通信によって共有メモリに代替する
機構（いわゆる遠隔メモリ操作）を実現している。

【０００７】この方式に関連した従来例は特開平１−１
９４０３３号に開示されている。この発明はFORTRAN言
語にSEND（データ転送）、およびRECEIVE（データ受
信）のサブルーチンを実装した処理系を例に挙げ、並列
実行されるプログラム単位間の通信データ列に一意の識
別子を与える方法を論じている。

【０００８】上記の従来発明に代表されるこの分野の技
術は、共有変数（あるいはこの代替機構としての「通
信」）の実現にあたり、処理流れ上で共通資源に対する
アクセスが同時に起こった場合の衝突によるデータ破
壊、あるいはデットロックの発生等の障害を防ぐ機構を
実現することを主目的として開発されている。

【０００９】また、通信自体の発生度数の圧縮について
は全く言及していない。

【００１０】

【発明が解決しようとする課題】しかし、上述の従来例
では複数コンピュータがネットワークで結合された処理
系で共有変数に対するアクセス頻度の高いアルゴリズム
を実現した場合、通信自体の処理時間の増大によって実
質的に並列処理により期待された処理速度の向上が得ら
れない。

【００１１】そこで、この問題の解決方法として特願平
４−１５８１４１号に論じた方法が有る。すなわち、共
有変数を参照する際は自プロセッサの局所メモリ上に配
置した共有変数値のコピーを参照し、共有変数値を書き
換える際は通信により「共有変数が宣言された処理単
位」を実行するプロセッサの局所メモリにある共有変数
の実体とそれ以外のプロセッサに有る該共有変数のコピ
ーを共に変更する、という方法である。この方法によれ
ば、少なくとも参照の場合「通信データ列」が実際にネ
ットワーク上を転送される事がなくなり、通信発生頻度
の増大による処理速度の低下を防ぐ効果が生まれる。

【００１２】しかし、上記の発明は「変数を参照する頻
度は、変数を書き換える頻度に比較して高い」という仮
定に基づいて考案されており、この仮定に当てはまらな
い場合は特定の処理単位がプロセッサ資源を充分に利用
できないという不都合が生じる。

【００１３】図３はこのような不都合が起きた場合の処
理時間の推移を示した説明図である。ここでは、共有変
数に対する値の書き換えと、値の参照をそれぞれ生産
者、消費者になぞらえている。消費者プロセスの処理の
流れは矢印３０１に示され、生産者プロセスの処理の流
れは矢印３０３によって示される。この２つのプロセス
は独立した２台のコンピュータ上でそれぞれ実行されて
おり、共有変数値の書き換えは「通信」によっている。
また、プログラム処理中に共有変数のコピーを参照する
時間は直線３０２で示され、共有変数値を書き換える処
理の開始は直線３０４によって示される。

【００１４】このコンピュータがネットワークからパケ
ットを取得し、共有変数のコピーされたメモリ領域の値
を変更する処理時間を３０５に示す。図３（ａ）の様に
書き換え処理３０４の時間間隔が充分疎である場合は問
題は生じないが、図３（ｂ）の様に書き換え処理３０４
の時間間隔が密になった場合は消費者プロセス側ではプ
ログラムステップを消化するためのプロセッサタイムが
著しく減少する問題が生じる。これは生産者プロセスを
実行するコンピュータが、消費者プロセスを実行するコ
ンピュータに比較して高速である時に発生する可能性の
高い問題である。このようなコンピュータが並列処理シ
ステムの中に１台でも含まれることは、そのシステムに
とって大きな問題である。すなわち、複数のコンピュー
タをネットワーク上に接続して並列処理システムを運用
する場合、個々のコンピュータの処理速度が一様である
保証は無いから、特定のコンピュータに分散された処理
単位だけが著しく処理速度が遅れ、全体の処理に対する
ボトルネックを生じ、結果的に処理速度の遅滞を招くお
それが生じる。

【００１５】本発明はこの様な問題を解決するために鑑
みられたものでその目的とするところは、共有メモリを
持たない複数のコンピュータにより構成されるマルチプ
ロセッサ並列処理システムにおいて、プロセッサ間の通
信によって共有変数の使用を可能とする場合に発生する
処理のボトルネックを回避し、高速な並列処理系を実現
することにある。

【００１６】

【課題を解決するための手段】この様な課題を解決する
ために本発明の共有データ更新装置は、複数のプロセッ
サユニットが、それぞれ相互にデータの授受を行なう通
信経路によって結合されていると共に、複数のプログラ
ム実行単位が並列して実行される時、複数のプログラム
単位間の共有メモリ資源（共有変数）に対し前記通信経
路上の通信を用いた、いわゆる遠隔メモリ操作によって
参照あるいは書き換えを行なう構成のマルチプロセッサ
システムにおいて、 ある処理単位を実行時にプロセッサ
に配置する際、共有変数をこの処理単位が実行されるプ
ロセッサの局所メモリ領域に複写する複写手段と、 共有
変数参照の時間間隔と書換えの時間間隔を計測する計測
手段と、 共有変数書き換えの遠隔メモリ操作に際し、共
有変数が宣言された処理単位が実行されるプロセッサの
局所メモリに配置された共有変数（以下、共有変数の実
体と呼ぶ）の値を更新すると共に、各プロセッサの局所
メモリに配置された共有変数（以下、共有変数の複写と
呼ぶ）の値を更新する更新手段とを有し、 該共有変数に
対し、書き換え時間間隔が参照時間間隔に対し密となっ
た場合は、共有変数の複写を保持するプロセッサの局所
メモリ内容の変更処理を、該プロセッサ上で実行される
プログラム処理単位が実際に該共有変数を参照する時点
まで遅延して処理し、参照時間間隔が書き換え時間間隔
に対し密となった場合は、共有変数の複写を保持するプ
ロセッサの局所メモリ内容の変更処理を、いずれかのプ
ロセッサ上で実行されるプログラム処理単位が実際に該
共有変数の値を書き換える時点まで遅延して処理するこ
とを特徴とする。

【００１７】

【実施例】本発明に好適な一実施例について、その説明
を次の項目に従って行う。本発明の実現にあたり、最も
基本となる構成は”４−２．遅延モードでの動作”に述
べる。

【００１８】１．第１の実施例の構成の概要 ２．第１の実施例のデバイスレベルの動作 ３．第１の実施例の処理言語レベルの動作 ３−１．コンパイラの処理 ３−１．１．並列実行のためのコード生成 ３−１．２．代入時遠隔メモリ操作のコード生成 ３−１．３．参照時遠隔メモリ操作のコード生成 ３−２．実行時配置の処理 ３−３．遠隔メモリ操作ライブラリの処理 ４．共有データ参照／書き換えの処理手順 ４−１．遅延モード以外での動作 ４−２．遅延モードでの動作 ５．第１の実施例についての補足説明 ６．第２の実施例の説明 ７．第３の実施例の説明 １．第１の実施例の構成の概要 本発明の説明のため好適な実施例の一つについて、その
構成の概略を図１に示す。図１は図２に示すような、木
構造に接続されたマルチプロセッサ処理装置の一部を示
したものである。この構成において、個々のプロセッサ
エレメント２にはそれぞれ独立したマイクロプロセッサ
ユニット（以下ＭＰＵと書く）４が実装され、各プロセ
ッサエレメント２は、双方向の通信経路３によって図２
の状態に接続される。通信経路３のデータ転送手段とし
ては１Ｍビット／秒の同期式シリアル通信方式を用い
た。

【００１９】ホストプロセッサ１は、プロセッサエレメ
ント２によるマルチプロセッサ処理系を制御する目的で
使用される制御装置である。ホストプロセッサ１は、オ
ペレーティングシステムを実装し、補助記憶装置管理を
行なうファイルシステムを持つ。ホストプロセッサ１に
おいて、ユーザプログラム、コンパイラ１２等は、オペ
レーティングシステムのアプリケーションプログラム
（応用プログラム）として使用される。

【００２０】マルチプロセッサシステムを利用する使用
者は、ユーザプログラムソースコード１１を、コンパイ
ラ１２によってコンパイルし、実行可能なオブジェクト
コード１３を得る。さらに、使用者はこれを、オペレー
ティングシステムの管理下で実行する。

【００２１】以下の説明では、図２の構成上、上位の階
層に接続されたプロセッサエレメントを、親プロセッサ
エレメントと呼び、この逆の関係を子プロセッサエレメ
ントと呼ぶ。図２中の、プロセッサエレメント２ｘは、
２ｙ、２ｚに対し唯一の親プロセッサエレメントであ
り、２ｘから見ると子プロセッサエレメントは２ｙ、２
ｚの二つである。

【００２２】図２の構成のマルチプロセッサ処理装置
は、画素発生処理、探査処理などのアルゴリズムの実現
に適するが、本発明を他の結合状態のマルチプロセッサ
装置に用いることも可能である。

【００２３】２．第１の実施例のデバイスレベルの動作 図１に戻り説明を続ける。個々のＭＰＵ４はそれぞれ局
所メモリ５を管理する。局所メモリ５はＲＯＭおよびＲ
ＡＭにより構成される。ＲＯＭ領域には予め、起動時処
理、割り込み処理、通信処理および管理プログラムから
なるシステムプログラムが記録されている。各ＭＰＵ４
は、ＲＯＭ領域の管理プログラムの内容を実行し、必要
に応じてＲＡＭ領域に転送されたユーザプログラムの実
行状態に入る。通信装置６は同期式シリアル通信のイン
ターフェース回路によって構成され、データ受信時に
は、割り込み信号を割り込み処理回路７に送る。割り込
み処理回路７は、割り込み発生時例外処理の処理プログ
ラムの開始番地（これを割り込みベクタと呼ぶ）をプロ
セッサ・ローカルバスに発生し、かつＭＰＵ４に割り込
み信号を入力する一方で、割り込み時間間隔測定回路
（以下ΔＴ測定回路と書く）８に割り込み発生信号を入
力する。

【００２４】ΔＴ測定回路８は、前回の割り込み発生時
間と今回の割り込み発生時間の時間差を、予め定めた時
間幅の値と比較し、前者が短いと判断した場合、内部レ
ジスタに論理値「真」を記録する。それ以外の場合、内
部レジスタには論理値「偽」が記録される。ＭＰＵ４
は、割り込み発生の例外処理時に、ΔＴ測定回路８の内
部レジスタの値を読み取り、この結果に従って局所メモ
リに在る遅延応答フラグ９の値を変更する。

【００２５】３．第１の実施例の処理言語レベルの動作 この実施例では、説明を簡単にするため、並列処理記述
言語として次の様に仕様を限定した処理言語を用いる。

【００２６】(1)プログラム言語Pascalの仕様を用い、c
obegin、coendの２語を予約語として拡張する。この２
語に囲まれた複文（compound statement）中に現れる処
理ブロックは、可能であれば複数のプロセッサエレメン
ト２に配置され並列実行される。また、説明のためproc
edureあるいはfunctionを処理ブロックと総称する。

【００２７】(2)共有変数は、親プロセッサエレメント
で実行される処理ブロックの局所変数である。子プロセ
ッサエレメントには、この処理ブロック内で宣言された
procedure、functionが必要に応じて配置される。この
とき、子プロセッサエレメントで実行される処理ブロッ
クから観測すると、共有変数は非局所変数である。

【００２８】(3)並列実行される処理ブロック内の記述
が、手続き／関数の呼び出しを生じる記述である場合、
呼び出される手続き／関数は、親プロセッサエレメント
で実行される処理ブロック内で宣言された手続き／関数
だけが許される。

【００２９】以上の仕様において(2)に関し、図７を用
いて補足説明を行なう。処理ブロックＳ７０１が、図２
のプロセッサエレメント２ｘで実行されているとした場
合、処理ブロックの局所変数として宣言されたｘは、処
理ブロックＳ７０１、Ｓ７０３、Ｓ７０５において共有
変数である。但し処理ブロックＳ７０３、Ｓ７０５等か
ら見た時、変数ｘは非局所変数である。図７のプログラ
ムの例では、cobegin、coendからなる複文の中で呼び出
された処理ブロックが並列に実行される。例えばこれら
はプロセッサエレメント２ｘにおいて処理ブロックprod
ucerを実行し、プロセッサエレメント２ｙにおいて処理
ブロックconsumerを実行するといった配置が行なわれる
が、この手段については”３−２．”節に述べる。

【００３０】また(3)についても例示する。本実施例の
言語仕様の限定から、処理ブロックＳ７０３の中で、手
続き呼び出しＳ７０４が行なわれる場合、呼び出される
手続きは、処理ブロックＳ７０１で宣言されていなけれ
ばならない。

【００３１】３−１．コンパイラの処理 次に本実施例でのコンパイラ１２の動作を説明する。ホ
ストプロセッサ１の使用者は、アプリケーションプログ
ラムとしてホストプロセッサ１に実装されたコンパイラ
１２を用いて、実行対象であるユーザプログラムのソー
スコード１１をコンパイルする。コンパイルは、字句解
析、構文解析、コード生成、ライブラリ結合、オブジェ
クトコード記述生成の一連の処理によって行なわれる。
言語Pascalの仕様は、if.. then.. elseに対し直前結合
とすると、ＬＬ（１）文法となるため、構文解析処理
は、周知の再帰下降構文解析を用いた。この処理は従来
技術であり、例えば、中田育男：コンパイラ、産業図書
(1981)等多数の公知資料が有る。

【００３２】本実施例のコンパイル処理の中で従来のそ
れと異なるところは次の３点である。

【００３３】(1)並列実行複文のコード解析により、並
列化のためのライブラリ手続き呼び出しを伴うコード生
成を行なう点。

【００３４】(2)共有変数書き換えに際して、局所メモ
リに配置された共有変数の実体（または複写）を書き換
えると共に、遠隔メモリ操作を発生し、自分に対し接続
されたプロセッサエレメント２上の、共有変数の複写
（または実体）を書き換えるライブラリ手続きを呼び出
すコード生成を行なう点。

【００３５】(3)共有変数参照に関して、局所メモリに
複写された共有変数の値を参照するコード生成を行なう
点。

【００３６】以上の３点に着目し、図８〜１３を用いて
本実施例のコンパイラ１２の動作を説明する。言語Pasc
alがブロック構造を許すことから、コンパイラ１２の動
作は、主プログラム自体を一つの処理ブロックとみな
し、処理ブロックに対するコード生成処理の再帰呼び出
しで実行される。図８の流れ図において、宣言解析処理
部Ｓ８１と、ステートメント処理部Ｓ８２は従来の処理
と等価である。宣言解析処理部Ｓ８１において、局所手
続き、局所関数についての宣言が検出された場合、コン
パイラ１２は再帰呼び出しによって、処理ブロックの構
文解析Ｓ８０を繰り返す。

【００３７】処理ブロック構文解析Ｓ８０を呼び出すに
あたり、コンパイラ１２は、処理ブロックにユニークな
値として「ブロック番号」を与える。各処理ブロック
は、ブロック番号を指標とする配列型のデータ構造であ
るブロック管理表１４に登録される。

【００３８】宣言解析処理部Ｓ８１の終了は、予約語
「begin」を検出することによって行なわれる。この予
約語を検出した後、コンパイラは、このブロックの本文
について処理記述からのコード生成に入る。

【００３９】３−１．１．並列実行のためのコード生成 (1)の特徴を実現するために、本実施例のコンパイラは
予約語「cobegin」を検出すると、並列実行フラグをセ
ットした後（Ｓ８５）、通常のbegin文処理と同様に複
文のコード生成Ｓ８６を処理する。これに対し、予約語
「coend」が検出された場合は、並列実行フラグをクリ
アする（Ｓ８４）。ここでセット／クリアされた並列実
行フラグは、手続き／関数の呼び出しの際に参照され
る。この処理を図１３の流れ図で示す。コンパイラは、
並列実行フラグを検査し（Ｓ１３１）、「真」の場合
は、並列実行のライブラリを呼び出すコード生成を行な
う（Ｓ１３２）。この後、通常の手続き／関数の呼び出
しのコード生成が行なわれる。説明のため、これ以降、
並列実行のライブラリ呼び出しのコンパイルコードを
「_NEWPROC」と書き表す。

【００４０】図８に戻り説明を続ける。if文、while文
等の文は、複文その他の記述を包含し、この中でさらに
ステートメント処理部Ｓ８２が再帰的に繰り返される。
字句解析の結果、文の先頭の語が識別子である場合、そ
の文は代入文または手続き呼び出しである。コンパイラ
は、識別子を検出すると、処理Ｓ８３を実行する。

【００４１】処理Ｓ８３の内容を、図９を用いて説明す
る。

【００４２】コンパイラは、名前表の検索によって、取
得した識別子の名前が示すオブジェクトの型を検査する
（Ｓ９０）。その結果、この（識別子である）名前が変
数名であれば、代入文処理Ｓ９１を実行する。他方、こ
の名前が手続き名であれば、手続き呼び出し処理Ｓ９２
を実行する。

【００４３】３−１．２．代入時遠隔メモリ操作のコー
ド生成 代入文処理Ｓ９１の処理手順を図１０に示した。

【００４４】代入文処理Ｓ９１に入るとコンパイラ１２
は、さらに１語先の字句解析を行ない、識別子に続く記
号が「代入記号」である事を検査する（Ｓ１００）。代
入文でない場合、配列の指定、レコード型の指定のいず
れかである。この場合は、更に構文を解析し、配列ある
いはレコード型での要素を指定する（Ｓ１０１）。他
方、代入文の場合は、変数のアドレスが、スタックポイ
ンタからの相対値として計算される（Ｓ１０２）。次
に、このアドレスの相対値をスタックトップに配置する
機械語生成を行なう（Ｓ１０３）。この後、式の構文解
析Ｓ１０４が実行され、この処理の中で、変数値参照処
理Ｓ１０５、関数呼び出し処理Ｓ１０６らがサブルーチ
ンとして呼び出され使用される。関数呼び出し処理Ｓ１
０６は、既に図１３を用いて説明した手続き呼び出し処
理Ｓ９２と等しい。

【００４５】(2)の特徴を実現するためには、代入の対
象である変数のアクセス情報を知る必要が有る。そこで
コンパイラ１２は、名前表検索によって変数名が共有変
数であるか判断する。共有変数であると確認できる場合
（Ｓ１０７）は、共有変数書き換えのライブラリ呼び出
し（これを説明のため_R_WRITEと書く）のコード生成を
行なう（Ｓ１０８）。共有変数でない場合には、さらに
従属する処理ブロック内でアクセスされる変数か否か判
断する。

【００４６】従属する処理ブロック（図７の例では、処
理ブロックp1に、処理ブロックproducer、consumerが従
属している）からアクセスされる変数は、自ブロックか
ら見た局所変数であっても、従属ブロックを子プロセッ
サエレメント２に配置し、並列実行した場合、遠隔メモ
リ操作される可能性の有る変数である。つまり、この判
断は子プロセッサエレメントでの参照の可能性が有るか
否かの判断である（Ｓ１０９）。この判断処理の結果、
真であれば、共有変数書き換えのライブラリ呼び出しコ
ード生成（Ｓ１０８）が処理される。他方、Ｓ１０９の
判断が偽であれば、通常の変数アクセスのコード生成処
理Ｓ１１０が実行される。

【００４７】３−１．３．参照時遠隔メモリ操作のコー
ド生成 変数値参照処理Ｓ１０５の処理手順を図１１に示した。

【００４８】変数値参照処理Ｓ１０５は、上述の様に、
式の構文解析Ｓ１０４において、単純式あるいは項の解
析処理のため呼び出される。コンパイラ１２は、このと
き字句解析により一語先を取り出し、変数が配列あるい
はレコード型であるか検査する（Ｓ１１１）。結果が真
であれば、更に構文を解析し、配列あるいはレコード型
の要素を指定する（Ｓ１０１）。配列、レコード型共に
多重に指定できるが、変数の要素（あるいは単純変数で
あること）が確定した場合、コンパイラはこれが局所変
数であるか検査する（Ｓ１１２）。局所変数であれば、
通常の変数参照のコード生成Ｓ１１３を行ない、それ以
外の場合、まず共有変数であることを確認し（Ｓ１０
７）、共有変数参照のライブラリ呼び出しのコードを生
成する（Ｓ１１４）。この共有変数参照のライブラリ呼
び出しを、これ以降説明のため、_S_READと書く。

【００４９】３−１．４．共有変数の確認処理 以上の説明において使用した、共有変数であることを確
認する処理Ｓ１０７について、図１２を用いて説明す
る。

【００５０】先に示した本実施例における言語仕様の限
定から、共有変数であると判断されるのは、処理中のブ
ロックの一つ外側で宣言されたブロックの局所変数であ
る。（この例は既に図７で示した。）ブロック構造を許
す言語では、この様なブロックの従属関係を、ブロック
の宣言された深さ（ブロックレベルと呼ぶ）から判断で
きる。

【００５１】図８で、注目するブロックについて構文解
析処理／コード生成処理を開始する前に、まずブロック
レベルの値を＋１する（Ｓ８７）。また、end文を検出
し、ブロックのコード生成処理を終了した後、ブロック
レベルの値を−１する。この処理によって決定されるブ
ロックレベルの値を、変数宣言が有った場合行なわれる
変数登録処理Ｓ８９において、変数名と共に名前表に記
録しておく。この操作を前提として、共有変数の確認処
理Ｓ１０７では、処理ステップＳ１２１で、名前表から
ブロックレベルの値を取り出し、現在のブロックレベル
の値と比較する。変数のブロックレベルが、現在のブロ
ックレベルに比較し、１だけ小さい場合、本実施例では
共有変数と判断する（Ｓ１２２）。これを満たさない場
合は、変数エラー処理を行なう。言うまでもなく、他の
言語仕様を設定する事も可能である。ここでは処理の簡
単のため、この仕様とした。

【００５２】共有変数であると判断された場合は、処理
中のブロックが、この変数にアクセスするという情報を
記録する必要がある。この理由は、コンパイラ１２がコ
ード生成に際し、前述した処理Ｓ１０９の判断を必要と
するためである。本実施例において、処理ブロック単位
での変数アクセスに関する情報の記録には、図１２に示
す共有変数アクセス表１５を用いる。

【００５３】コンパイラ１２は、処理Ｓ１２２で共有変
数であると判断した場合、処理１２３によって、この変
数のスタックポインタからの相対番地１２７を、共有変
数アクセス表１５に登録する。一方、ブロック管理表１
４は、図１２に示すデータ構造を持ち、前述の様に、一
つブロックの処理に入る都度、ブロック番号を指標とし
ブロックが登録される。このとき、ブロック管理表１４
にはブロック開始番地１２８と共に、共有変数アクセス
表１５の先頭番地へのポインタ１２６が記録される。ブ
ロック管理表は他にプロセッサエレメント番号を記録す
るフィールド１２５を持つが、これは実行時に使用され
る。

【００５４】３−２．実行時配置の処理 上記手順によって生成されたオブジェクトコード１３
は、ＭＰＵ４の機械語コードによって構成される。ホス
トプロセッサ１と、ＭＰＵ４の機械語は必ずしも同一で
ある必要は無い。コンパイラ１２は、ユーザプログラム
１１の終了までコード生成を完了した後、コンパイラ１
２の作業メモリに作成したブロック管理表１４および共
有変数アクセス表１５の内容を読み出し、ブロック管理
表１６および共有変数アクセス表１７としてオブジェク
トコード１３に結合する。

【００５５】オブジェクトコード１３は、ホストプロセ
ッサ１がユーザプログラムの実行を開始する段階で、プ
ロセッサエレメント２ａにダウンロードされる。ダウン
ロードされたオブジェクトコード１３は、プロセッサエ
レメント２ａの局所メモリ５のＲＡＭ領域に確保された
ユーザプログラム領域に配置される。

【００５６】これに引き続き、ホストプロセッサ１から
プロセッサエレメント２ａに起動命令が転送される。プ
ロセッサエレメント２ａは起動命令を受信すると、シス
テムプログラムがプロセッサプログラムカウンタを、ユ
ーザプログラムの先頭番地の値に書き換える（すなわち
ジャンプする）。

【００５７】一度プロセッサエレメント２ａで実行状態
に入ったユーザプログラムは、終了までプロセッサエレ
メント２ａに管理される。ユーザプログラム中に、シス
テムライブラリの呼び出しが記述されていた場合、ソフ
トウェア例外処理によってＭＰＵ４はシステムプログラ
ムを実行する。または通信装置からの割り込み信号が入
力された場合、同様にＭＰＵ４はシステムプログラムに
入り割り込み処理プログラムを実行する。

【００５８】プロセッサエレメント２ａは、ユーザプロ
グラム処理の一部分を、プロセッサエレメント２ｂ、２
ｃ等に実行中に配置する。前節に述べたコンパイラの処
理に従って、ユーザプログラム中の、処理を並列実行す
る部分では、ライブラリ手続き_NEWPROCの呼び出しが行
われており、この呼び出しによってソフトウェア例外処
理に入ったＭＰＵ４は、次節で述べる処理手順でプログ
ラムの並列実行を行う。

【００５９】３−３．遠隔メモリ操作ライブラリの処理 本実施例のコンパイラ１２が、ユーザプログラムから実
行可能なオブジェクトコードを生成する際に、リンクす
るライブラリ手続きの中で、本発明の実施に関係するの
は次の３つである。

【００６０】(1) 手続き_NEWPROC 実行中に処理分散
を行なう手続き (2) 手続き_R_WRITE 共有変数の内容を書き換える手
続き (3) 手続き_S_READ 共有変数の内容を読み取る手続
き以下順次説明する。

【００６１】３−３．１．ライブラリ_NEWPROCの処理 プログラム実行中、オブジェクトに_NEWPROCが現れる
と、ＭＰＵ４の処理はソフトウェア例外処理としてシス
テムプログラムに入り、ライブラリ_NEWPROCの処理番地
にジャンプする。この処理ルーチンにおいて、ＭＰＵ４
は現在処理中のブロックのオブジェクトコード及びスタ
ックの内容について完全な複製を局所メモリ５のＲＡＭ
領域に生成する。また、プログラムカウンタを含むＭＰ
Ｕ４の全てのプロセッサレジスタの内容を、ＲＡＭ領域
に取ったレジスタストレージ領域に複写する。但しこの
ときプログラムカウンタ値は、_NEWPROCの次に実行すべ
きオブジェクトコードの位置を指し示す様に書き換えた
値を記録する。

【００６２】次にＭＰＵ４は、先に複製したオブジェク
トコード、スタックの複製データ、レジスタストレージ
の内容から、予め定めたデータ構造を持つデータ列を生
成する。これを図１４（Ａ）に示す形式のパケットとし
て通信装置６を介して、子プロセッサエレメント２へ転
送する。図１４において、１４１はパケット全体のデー
タ構造を示す。パケットは、順序を正しく検出する目
的、及び転送元のプロセッサエレメント２を特定する目
的から、個々に固有の識別子１４２を持ち、終了符号１
４３を終端とする。この識別子の値は、プロセッサエレ
メント２に一意に与えたプロセッサ番号と、パケットが
生成された時間の値からエンコードする事によって、各
パケットにユニークな番号を設定できる。

【００６３】識別子１４２に続くフィールドは、判別フ
ラグ１４４であり、この値が非０のパケットは、その内
容を直ちに評価すべきパケットであると判断される。値
が０のパケットに関しては、”４．共有データ参照／書
き換えの処理手順”でさらに説明する。図１４（ａ）の
パケットでは、スタック初期化コード１４５、プロセッ
サレジスタ初期化コード１４６、オブジェクトコード１
４７の順にデータ列が格納され転送される。

【００６４】親プロセッサエレメント（例えば２ｘ）で
は、子プロセッサエレメント（例えば２ｙ）に、どの処
理ブロックを配置したか記録しておく必要がある（次節
参照）。このために、親プロセッサエレメント２のＭＰ
Ｕ４は、_NEWPROCによって子プロセッサエレメント２に
配置した処理ブロックの先頭番地（相対値）の値をキー
として、ブロック管理表１６を検索する。この結果取り
出されたブロック管理表１６の要素のプロセッサエレメ
ント番号１２５の位置に、子プロセッサエレメント２の
プロセッサ番号を記録する。

【００６５】次に親プロセッサエレメント２は、図１４
（ｂ）の１４１に示す形式のパケットで、判別フラグ１
４４の値を非０とし、ブロック管理表１６、及び共有変
数アクセス表１７の完全な複写を、ステートメント１４
８に格納し子プロセッサエレメント２に転送する。この
処理は、子プロセッサエレメント２が更に処理を子プロ
セッサエレメント２に分散する上で必要とされる処理で
ある。

【００６６】以上の手順によってライブラリ_NEWPROCの
処理は終了し、子プロセッサエレメント２は、レジスタ
初期化コード１４５で指定されたプログラムカウンタの
位置から実行状態に入る。

【００６７】実行状態における各プロセッサエレメント
２のスタック領域消費の説明図を図１６に示す。図中上
方が、メモリ番地の小さい方向である。親プロセッサエ
レメント２のスタック領域を１６１に図示し、子プロセ
ッサエレメント２のスタック領域を１６２に図示した。
各処理ブロックが実行状態に入ると、ブロック先頭に配
置された機械語命令がスタック領域に局所変数のための
領域１６４を確保する。この上に演算その他で消費され
るスタック領域１６３が配置される。

【００６８】ライブラリ_NEWPROCの処理では、子プロセ
ッサエレメント２のスタック初期化動作によって、親プ
ロセッサエレメントの領域１６４が子プロセッサエレメ
ントの領域１６６に複写される。更に親プロセッサエレ
メント２において手続き呼び出しを行なったことで、そ
の引数のためのスタック消費１６７が有り、さらにこの
上にプログラムカウンタ等必要なプロセッサレジスタの
退避領域１６５が確保される。これらの状態も複写され
る。子プロセッサエレメント２で実行される処理ブロッ
クの局所変数領域１６４は、この上に配置される。

【００６９】従って、子プロセッサエレメント２から見
て共有変数の複写領域は１６６であり、共有変数の相対
アドレスは、処理ブロック開始前のスタックポインタ値
１６８からの相対アドレスである。一方、この共有変数
は、親プロセッサエレメント２では局所変数であり、そ
の格納領域は前述した１６４である。

【００７０】言うまでも無く、本実施例において共有変
数と言った場合、単一の変数を意味するのでは無く、共
有される複数の変数らの中の一つという意味である。

【００７１】３−３．２．ライブラリ_R_WRITEの処理 遠隔メモリ操作ライブラリの_R_WRITEが呼び出されるの
は、本実施例では次のどちらかの場合である。

【００７２】（１）子プロセッサエレメントにおいて、
共有変数の書き換えを行う場合（図１０の処理Ｓ１０７
を通過した場合）。

【００７３】（２）親プロセッサエレメントにおいて、
局所変数の書き換えを行う際、この局所変数が、子プロ
セッサエレメントでは、共有変数として参照されている
場合（図１０の処理Ｓ１０９の結果が真の場合）。

【００７４】実際に上記のどちらかの場合に相当するか
否かは、実行中に判断する必要は無く、コンパイラ１２
が構文解析の段階においてこれを判断し、すでにコード
生成を行っている。このため、実行時にライブラリ手続
き呼び出し_R_WRITEが検出された場合、上記（１）、
（２）のいずれかである。

【００７５】始めにコンパイラ１２のコード生成と、実
行時のＭＰＵ４の動作の関係を図１５を用いて説明す
る。説明のためここでは、ＭＰＵ４が、プロセッサレジ
スタ１５３として、データレジスタＤ、アドレスレジス
タＡ、スタックポインタＳＰを持つアキーキテクチャで
あるとする。また、次の簡単なアセンブラ文を説明に用
いる。

【００７６】”ＭＯＶ Ｘ、Ｙ”はデータの移動を示す
命令語であり、データはＸからＹへ移動することを示
す。

【００７７】（Ａ）はＡレジスタに指し示されるメモリ
の番地を示す。

【００７８】”ＭＯＶ Ｘ、−（ＳＰ）” は、移動に
先立ちスタックポインタを１ワード分減じ、スタック先
頭のメモリの番地にＸを移動することを示す。

【００７９】”ＭＯＶ （ＳＰ）＋、Ｘ”は、スタック
の先頭のメモリ番地の内容をＸに移動した後、スタック
ポインタを１ワード分増加することを示す。

【００８０】図１５に戻り説明を続ける。オブジェクト
コード領域１５１の内容を矢印１５４の方向に処理した
場合を説明する。但し、実際のコンパイル結果のコード
に代えて、ここでは図１０の処理ステップの番号を示し
た。

【００８１】ＭＰＵ４がオブジェクトコードを実行し、
変数への代入操作が発生する時、まず変数のアドレスが
求められる（処理Ｓ１０２の生成コードによる）。次
に、この値がスタックの先頭に配置される（処理Ｓ１０
３の生成コードによる）。これを変数のアドレス１５５
で示す。続いて、式の評価が行なわれ、式の値がスタッ
クの先頭に配置される（処理Ｓ１０４の生成コードによ
る）。これを式の値１５６で示す。この後、コンパイラ
１２は、処理Ｓ１１０では次のコード生成を行なう。

【００８２】MOV (SP)+,D … 式の値をＤレジスタに
転送 MOV (SP)+,A … 変数アドレスをＡレジスタに転送 MOV D,(A) … 式の値を、変数の番地に格納 これに対し処理Ｓ１０８では、ライブラリ_R_WRITEの呼
び出しコードが生成される。ライブラリ_R_WRITEは、次
の手順を実行する。

【００８３】手順１：自分に接続された子プロセッサエ
レメント２のプロセッサ番号をキーとして、ブロック管
理表１６を検索する。該当が無ければ並列処理をおこな
っていない。故に、通常処理として手順３を実行する。

【００８４】手順２：手順１で該当する要素が有った場
合、この要素のポインタ１２６から共有変数アクセス表
１７にアクセスする。共有変数アクセス表１７では、共
有変数アドレス（相対値）１２７が一致する要素が有る
かを検査する。一致が有れば、通信装置６を制御するシ
ステムプログラムを利用し、変数書き換え命令を、子プ
ロセッサエレメント２に転送する。一致が無い場合、手
順３へ移る。また、前回の制御トークンに対し、アクノ
レッジ応答が無い場合は、新たな変数書き換え命令は転
送せず、手順３に移る。

【００８５】手順３：スタックメモリ領域１５２から、
式の値１５６および変数のアドレス１５５を取り出し、
上記通常手順と同様に変数代入を行なう。

【００８６】３−３．３．ライブラリ_S_READ の処理 ライブラリ_S_READの処理の説明に先だって、通常の変
数参照の際のコンパイラ１２の生成コードの内容を説明
する。通常の場合、変数アドレスがスタックトップに配
置される様にコード生成が行なわれる。これに引き続き
次のコードが生成される。

【００８７】MOV (SP)+,A … Ａレジスタに変数のア
ドレスを移動 MOV (A),D … 変数の値をＤレジスタに移動 MOV D,-(SP) … 変数の値をスタックの先頭に移動 これに対して、図１１の処理Ｓ１１４に示した様に、共
有変数参照であれば、ライブラリ_S_READのコードが生
成される。この場合、ＭＰＵ４はソフトウェア例外処理
によってシステムプログラムに入り、次の手順で処理を
行なう。

【００８８】手順１：局所メモリ５の遅延応答フラグの
「真・偽」を判断し、真であれば遅延モード動作を行な
う。次に手順２に入る。

【００８９】手順２：上記の通常処理と同様に処理を行
なう。

【００９０】手順３：遅延モードの場合、遅延応答フラ
グ９を書き換える事によって、このモードを解除し通常
モードに戻す。

【００９１】遅延モードでの動作は、本実施例の最も大
きな特徴であり、次に説明する。

【００９２】４．共有データ参照／書き換えの処理手順 共有変数の書き換えは遠隔メモリ操作であり、「データ
転送」で実現される。このとき共有変数の書き換えに使
用するデータ転送のパケット形式は、図１４（ｂ）に示
すデータ構造をとる。前述した識別子１４２に続く判別
フラグ１４４の値が非０である場合、この形式のパケッ
トによって送られるデータ列を、本実施例では「データ
トークン」と呼ぶ。これに対し、判別フラグ１４４の値
＝０の場合のパケットによって送られるデータ列は「制
御トークン」と呼ぶ。制御トークンは、直ちに評価され
ず、むしろ実行したい命令語の転送に使用される。制御
トークンを受信したプロセッサエレメント２は、これに
対し、応答としてのパケットを、受信したパケットと同
一の識別子の値を用いて返送する。

【００９３】本実施例において共有変数書き換えのため
の通信は３回のデータ列の授受で行なわれる。この手順
は次の通りである。

【００９４】手順１：送信側が制御トークンを発信す
る。

【００９５】手順２：受信側は、制御トークンを受信し
た場合応答を返す。これをアクノレッジ応答と呼ぶ。
（以下ＡＣＫ応答と略す）。応答はデータトークンの形
式で転送される。

【００９６】手順３：送信側は、アクノレッジ応答が有
った場合、データトークンを送り、制御トークンの指定
した操作に必要なデータを受信側に送る。

【００９７】これら一連の動作は非同期処理として行な
われる。すなわち、手順１を開始したプロセッサエレメ
ント２のＭＰＵ４は、手順３まで、処理を停止し待つ事
を行なわず、手順１終了後、直ちに例外処理を抜け出
し、ユーザプログラム実行に戻る。しかし、受信側のプ
ロセッサエレメント２からＡＣＫ応答が有った場合、割
り込み回路７がＭＰＵ４に割り込み信号を入力するた
め、再び例外処理プログラムの実行が行なわれ、手順
２、３が継続的に行なわれる。

【００９８】４−１．遅延モード以外での動作 図４、図５、図６を用いて本実施例での共有変数参照及
び書き換えの動作を説明する。以下では説明のため仮
に、ある一つの共有変数に着目した時、これを参照する
処理ブロックを「消費者プロセス」と呼び、注目の共有
変数に対し書き換えを行なう処理ブロックを「生産者プ
ロセス」と呼ぶ。例えば子プロセッサエレメント２ｙに
おいて、共有変数の書き換えがあって、親プロセッサエ
レメント２ｘの局所変数を書き換えるのであれば、子プ
ロセッサエレメント２ｙの処理ブロックを「生産者プロ
セス」と呼ぶことができる。

【００９９】図４は、２つの処理単位の動作の時間推移
を説明した図である。ここで矢印３０１は消費者プロセ
スの処理の流れを示し、３０３は生産者プロセスの処理
の流れを示す。また３０２は消費者プログラム中で発生
する共有変数参照の位置を示し、３０４は生産者プロセ
ス中で発生する共有変数書き換え処理の位置を示す。実
際に共有変数を書き換える場合、通信経路３によって伝
達されたデータ列を、通信装置６によって受信したＭＰ
Ｕ４が、システムプログラム、例外処理プログラムの処
理を経て共有変数書き換えを実行する。この時の処理プ
ログラムの消費時間を、３０５で示す。

【０１００】第１回目に共有変数に対する書き換え（遠
隔メモリ操作）が発生した場合、生産者プロセスは、図
５に示した送信側プロセッサ５０１の処理を行なう。す
なわち、共有変数書き換えの制御トークンを送信し（Ｓ
５０３、および図４の矢印４０１）、続いて通常処理と
同様に自プロセッサエレメントの局所メモリにある共有
変数を書き換える（Ｓ５０４）。但し、ここで書き換え
る共有変数は、自プロセッサエレメントが、子プロセッ
サエレメント２ｙであれば、共有変数の複写されたメモ
リに相当する。また、自プロセッサエレメントが、親プ
ロセッサエレメント２ｘであれば、共有変数は、実際に
は自プロセッサが実行中の処理ブロックの局所変数であ
る。これは、ここで「生産者プロセス」と呼ぶ処理ブロ
ックの実行時の配置に依存する。

【０１０１】生産者プロセスは、以上の操作で遠隔メモ
リ操作のライブラリ手続き＿Ｒ＿ＷＲＩＴＥの実行を完
了し、通常のユーザプログラム処理に戻る。

【０１０２】消費者プロセスの処理を、図６の状態遷移
図と、図５の受信側プロセッサ５０２の処理の流れ図で
示す。プログラム起動後、消費者プロセスは、状態６０
１にあるが、上記制御トークンの受信によって、割り込
みが発生し、処理状態は６０２に遷移する。図５の流れ
図では処理Ｓ５０７が実施される。この時、これが第１
回目の共有変数書き換え処理であるため、遅延応答フラ
グ９は「偽」である。そこで処理Ｓ５０８により遅延モ
ード以外であると判断され、処理Ｓ５０９に移る（状態
６０３）。この処理において、プロセッサエレメント２
は、ＡＣＫ応答を、生産者プロセス実行中のプロセッサ
エレメント２に返す。これは図４の矢印４０２で示され
る。

【０１０３】再び生産者プロセスに戻る。生産者プロセ
ス側では、これによって割り込みが発生し、処理Ｓ５０
５に入り、ＡＣＫ応答を受信する。続いて、この時点で
の最新の共有変数の値が読み出され、データトークンに
よって、消費者プロセスに転送される（Ｓ５０６）。こ
の転送を図４の矢印４０３に示す。

【０１０４】消費者プロセスは、ＡＣＫ応答の後、待ち
状態にあり、データトークンを受信すると、この値に基
づき共有変数を書き換える（Ｓ５１０及び状態６０
４）。

【０１０５】以上が、遅延モード以外での動作の手順で
ある。

【０１０６】４−２．遅延モードでの動作 これに対し、生産者プロセスでの共有変数書き換えの時
間間隔が密である場合、短時間の後に、再び共有変数書
き換えの制御トークンの送信が行なわれる（矢印４０
４）。この時も、制御トークンは割り込み処理によって
消費者プロセスに正しく受信されるが、割り込み回路７
から割り込み信号を受信したΔＴ測定回路８によって、
前回割り込み発生時間からの時間差３０６が計測され
る。この時間差３０６が、予めプロセッサエレメント２
で決められた値に対し小さい場合、遅延応答フラグの値
が「真」となる。

【０１０７】この結果、消費者プロセス側の処理の状態
遷移（図６）は、データ受信の例外処理６０２に入る
と、遅延モードであると判断し、直ちにオブジェクト実
行状態６０１に復帰してしまう。一方、生産者プロセス
側は、前述と同様に共有変数書き換えの制御トークンを
転送後、通常のユーザプログラム実行を継続するため、
ＡＣＫ応答が有るまでの時間中に、共有変数書き換え３
０４が繰り返し発生した場合は、共有変数を次々に書き
換える。すでに”３−３．２．ライブラリ＿Ｒ＿ＷＲＩ
ＴＥの処理”に述べた様に、このとき新たな制御トーク
ンは送信しない。

【０１０８】遅延モードにおいて、消費者プロセス側
は、実際の共有変数の書き換えをライブラリ_S_READが
呼び出されるまで遅延する。消費者プロセス側で、共有
変数の読み取り３０２が発生すると、ライブラリ_S_REA
Dの実行に入り、遅延モードであるか否か判断され（Ｓ
５１１）、遅延モードであればＡＣＫ応答が返送される
（Ｓ５１２、矢印４０５）。次にデータトークンの受信
を待ち、データトークンの転送（矢印４０６）が有れ
ば、このデータに従い、共有変数の内容を変更する（Ｓ
５１３、状態Ｓ６０４）。この後、通常処理同様の共有
変数参照が行なわれる（状態６０５）。

【０１０９】５．第１の実施例についての補足説明 上記の例において、実際の発生頻度の点からは、共有変
数書き換えの時間間隔が、共有変数参照の時間間隔に比
較して疎である状態が一般的である。この場合、共有変
数参照の_S_READライブラリが実行されると、処理Ｓ５
１１で遅延モード以外と判断され、処理Ｓ５１４によ
り、自プロセッサエレメント上の共有変数（あるいはそ
の複写）１０が参照される。言うまでも無く、この処理
は通信を含まないため、極めて高速に処理できる。

【０１１０】実際の動作において、ある処理ブロック
が、子プロセッサエレメント２ｙその他に配置され、親
プロセッサエレメント２ｘの局所変数（２ｙにとって共
有変数）に対し参照及び書き換えの両方を混在して行な
う場合であっても、操作手順は以上説明と同じである。
参照は、その際のモードが遅延モードであるか否かによ
って、親プロセッサエレメント２ｘの局所メモリを参照
するか、子プロセッサエレメント２ｙの局所メモリを参
照するかが異なるが、書き換えは、あくまで親プロセッ
サエレメント２ｘの局所メモリ上にある変数（の実体）
と、各プロセッサユニット局所メモリにあるこの複写を
対象に行なわれる。具体的には、親プロセッサエレメン
ト２ｘのＭＰＵ４が、変数書き換えの制御トークンを受
信した後、割り込み処理として行なわれるソフトウェア
例外処理において、制御トークン発信者以外の子プロセ
ッサエレメント２のスタック領域に記録された共有変数
の複写の値も変更する操作を行なう。これは制御トーク
ンの転送による前述と同様の一連の操作によって行な
う。本実施例では、個々の親プロセッサエレメント２に
対し、子プロセッサエレメント２の数は二つであるか
ら、操作手順は容易である。

【０１１１】この手段によって、変数値の正当性は保証
される。例えば、別の子プロセッサエレメント２ｚが共
有変数を書き換え、これを子プロセッサエレメント２ｙ
が参照する場合でも、遅延モードでは、共有変数の最新
の値を参照するため、２ｚによる変更内容は反映され
る。言うまでも無く通常モードであれば、２ｚによる書
き換えは、親プロセッサ２ｘを中継し、子プロセッサエ
レメント２ｙの共有変数の複写も変更するため、値の正
当性にたいする保証が有る。一つの子プロセッサエレメ
ント２が、参照、書き換えを混在して行なっても、同じ
理由から変数の値の正当性は保証される。

【０１１２】６．第２の実施例の説明 第１の実施例は、共有変数に対する書き換え要求の時間
間隔の測定を目的としΔＴ測定回路８を使用した。しか
し、本発明実施の上で、これは必要不可欠の構成要素で
はない。次に第２の実施例として、ΔＴ測定回路８を用
いない構成を説明する。この実施例の処理手順の方針は
「参照要求発生以前に、１回以上の書き換え要求が有っ
た場合は、書き換え要求頻度が高いと判断する。」と言
うものである。もちろん、ここで「１回以上」と書かず
Ｎ回以上としても同じである。しかし、実際にある変数
の値は、それが参照される時点で初めて意味を持つもの
であるから、ある共有変数が書き換えられようとした場
合、それが１回めの書き換えであっても、書き換えため
の遠隔メモリ操作は、参照時点まで遅延して行なうのが
妥当である。

【０１１３】第２の実施例は、図１に示した第１の実施
例の構成において、ΔＴ測定回路８を除いて全く同一の
構成で実現される。処理のためのコンパイラ動作の点で
も、第１の実施例と等しい。第２の実施例の第１の実施
例に対する唯一の差は、共有変数参照時のライブラリ_S
_READの動作だけである。図１７を用い、この点を説明
する。

【０１１４】各プロセッサエレメント２のＭＰＵ４は、
ユーザプログラム実行状態では、オブジェクトコードを
実行する定常的な処理１７１を続けている。ここに共有
変数書き換えを指示する制御トークンが、通信装置６を
介し入力されると、割り込み回路７が、ＭＰＵ４に対し
割り込み信号を入力する。割り込み処理に入ったＭＰＵ
４は、データ受信のための例外処理１７２の処理状態に
入り、常に遅延応答モードとなる。従って、応答パケッ
トである「ＡＣＫ応答」は要求元のプロセッサエレメン
トへは返送されず、ＭＰＵ４は直ちに通常のオブジェク
トコード実行状態１７１を継続する。

【０１１５】オブジェクトコード実行状態１７１におい
て、ライブラリ手続き_S_READの実行が行なわれると、
システムプログラムは遅延応答フラグ９の内容に従い処
理分岐を行ない、遅延モードであれば、共有変数のコピ
ーを変更する処理状態１７４に入る。ここではＭＰＵ４
は次の動作を行なう。

【０１１６】手順１：書き換え要求の有ったプロセッサ
エレメント２へＡＣＫ応答を返す。

【０１１７】手順２：共有変数書き換えのためのデータ
を受信する。

【０１１８】手順３：上記データによって共有変数の複
写を更新する。

【０１１９】手順４：状態１７５へ遷移。

【０１２０】処理状態１７５では、実際の共有変数（の
複写）が参照された後、遅延応答フラグ９の内容が論理
「偽」に書き換えられることによって通常処理モード１
７３が設定され、オブジェクトコードの実行状態１７１
に戻る。

【０１２１】一方、ライブラリ手続き_S_READの呼び出
しが、次の共有変数書き換え以前に呼び出された場合、
処理モードが遅延応答モードではないことから、処理状
態１７５への遷移が起こり、共有変数の複写の値が参照
され、通信は発生しない。

【０１２２】以上の説明から明らかな様に、第２の実施
例でも、遠隔メモリ操作に伴う「通信」は、共有変数に
書き換えが有って、かつ書き換え後に更に参照する必要
が有る場合だけ発生する。共有変数に書き換えが無い限
り各プロセッサエレメント２の局所メモリが参照される
ため通信は発生せず、また書き換えが有っても、次に参
照が行なわれる時点まで通信の発生は遅延される。言う
までも無く、この間に共有変数の書き換えは複数回発生
しているかもしれないが、その都度通信が行なわれる事
は無い。すなわち、書き換えが参照より密な時間間隔で
発生しても、より疎な時間間隔である参照時まで通信は
行なわれない。反対に参照の時間間隔が書き換えより密
であれば、より疎な間隔である書き換えの時点まで通信
は発生しない。これらの判断が完全に実行時に行なわれ
る点でこの実施例は有用である。

【０１２３】７．第３の実施例の説明 第１及び第２の実施例では、共有変数書き換え動作に際
し次の手順を行なった。

【０１２４】(1)要求側から応答側に命令転送。

【０１２５】(2)応答側から要求側にＡＣＫ応答（必要
に応じ遅延）。

【０１２６】(3)要求側から応答側にデータ転送。

【０１２７】単純な実施例の変形として、これを共有変
数を参照する側から能動的に処理する方法が有る。つま
り上記の「要求側」を変数参照するプロセッサエレメン
ト２と見なし処理する方法である。この時制御トークン
の内容は”変数書き換え命令”ではなく”変数参照命
令”とすれば良い。しかし「遅延を、共有変数の値が次
に書き換えられる時点まで行なう」という方法はかなり
非現実的である。なぜなら「共有変数の値はこれ以上、
二度と再び書き換えられる事は無い。」という段階で遅
延に入ったプロセッサエレメントが”永久待ち状態”に
入ってしまう危険をはらむ方法だからである。第３の実
施例は更にこの点を考慮し、簡単な手段によって解決し
た実施例である。加えて通信時の手順を２回のパケット
転送で完結する構成とした。

【０１２８】図１８は第３の実施例の動作環境の説明図
である。機器アドレスを指定して双方向のデータ通信を
実現するネットワーク１８４によって複数台のパーソナ
ルコンピュータ１８０らが結合されている。この中の１
台のパーソナルコンピュータ１８０において、アプリケ
ーションプログラムとして並列記述言語のコンパイラ１
２が使用され、ユーザプログラムのソースコード１１か
らオブジェクトコード１３が生成され実行される。

【０１２９】ここでコンパイラ１２は、コンパイル結果
のコードについて、いわゆる遠隔プロシジャ呼び出しの
ライブラリの結合と、このライブラリの呼び出しコード
生成を行ない、処理の一部を他のパーソナルコンピュー
タ１８０に分散し、並列処理を行なうためのオブジェク
トコード１３を出力する。このオブジェクトコード１３
は、遠隔プロシジャ呼び出しのシステムサービスを行な
うオペレーティングシステムの管理下で、実行される。
あるいは、遠隔プロシジャ呼び出しライブラリの代わり
に、ネットワークオペレーティングシステムと呼ぶネッ
トワーク上のプロセッサ資源を個々のプロセスの要求に
応じ割り当てる管理方式のオペレーティングシステムの
機能を利用することもできる。

【０１３０】また並列処理言語の仕様としては、第１の
実施例で挙げた仕様を適用する。但しここでは結合形式
の差から、共有変数として認められるのは、主プログラ
ムレベルで宣言された変数だけに限定する。個々のパー
ソナルコンピュータ１８０は、通信制御装置１８３によ
ってネットワーク１８４から自分あてのパケットを取得
できる。また各パーソナルコンピュータ１８０にはＣＰ
Ｕ１８１に管理される局所メモリ１８２が実装される。
この局所メモリには必要に応じて共有変数の複写領域が
確保され、実行中のプロセスから参照が行なわれる。

【０１３１】図２０は、第３の実施例の動作を時間遷移
から説明した図である。ここでは第１の実施例にならい
共有変数を参照するプロセスを「消費者プロセス」で、
書き換える側のプロセスを「生産者プロセス」で書き表
した。既に述べた様に、一つのプログラム実行単位が両
方を混在して行なっても構わない。

【０１３２】本実施例では制御トークンを受信した場合
ＣＰＵ１８１は、直ちにその内容を評価する。この点で
この実施例は前２例と異なる。

【０１３３】本実施例の遠隔メモリ操作のための通信
は、共有変数を参照するプロセス側によって能動的に起
動される。図２０で消費者プロセスの処理流れを矢印３
０１で示し、共有変数参照の位置を３０２で示す。共有
変数参照時に消費者プロセスは通信２０１によって生産
者プロセスに制御トークンを送り共有変数値の返送を求
める。この時通信に使用するパケットの形式を図１９に
示す。パケットの基本的な構成は、第１の実施例におい
て図１４を用いて説明したものと同様である。しかし、
遅延指定のためのフラグ１９０が追加されている。通信
２０１の際には、ステートメント１４８の内容として、
共有変数の参照番号と、参照命令が転送される。ここで
共有変数領域並びに共有変数の複写領域は、参照番号か
ら計算により生成される相対アドレスで位置指定され
る。

【０１３４】この要求に対し生産者プロセスは、通信２
０２によって応答を返す。ここで通信２０２のパケット
では、遅延指定フラグ１９０の内容を論理値「真」とし
て応答する。これによって、消費者プロセス側は遅延モ
ードに入る。遅延モードでの共有変数参照動作は、共有
変数参照のライブラリ手続きにおいてモード判断の後実
行される。この動作では、自分の局所メモリ１８２上に
配置された共有変数の値が参照される。

【０１３５】この後、共有変数の書き換えが全く発生し
なければ、消費者プロセスは終了までずっと局所メモリ
１８２上の共有変数値を参照することとなる。図２０に
おいて○印２０４で示したのは、局所メモリ上の共有変
数を参照する時点である。しかし、共有変数に対し新た
な値の書き換えが発生した時、書き換えを行なったプロ
セス（生産者プロセス）は、通信２０３を行なう。通信
２０３はモードリセットの制御トークンを受信側に転送
する。モードリセットの制御トークンを受信した消費者
プロセスは、遅延モードを解除し通常の処理モードとす
る。

【０１３６】従ってこの後更に共有変数の参照があれ
ば、消費者プロセスは通信２０１によって、共有変数値
を生産者プロセスに問い合わせ、その応答を得る。以上
が第３の実施例の動作である。

【０１３７】この実施例でも、仮に遠隔メモリ操作が発
生しても、通信の発生度数は、時間間隔が疎であるアク
セスに制限される。言い換えると、「参照」か「書き換
え」の内、発生時間間隔が、より疎である処理に合わせ
た度数で通信が発生する。この特徴によって、図２に示
す木構造のマルチプロセッサ処理系、図１８に示す処理
系に限らず、シストリックアレイ型、スター型など別の
トポロジによるマルチプロセッサ処理系を構築する場合
も、遠隔メモリ操作の度数を、最小に抑えることが可能
となる。

【０１３８】以上の３つの実施例を通し、本発明がプロ
セッサ結合状態によらず、また通信手順によらず実現で
きることを示した。

【０１３９】

【発明の効果】以上の実施例から明らかな様に、本発明
のデータ更新処理によれば、並列して実行される処理単
位間での共有変数は、参照時にはプロセッサの局所メモ
リに配置された共有変数の複写が参照されるため、プロ
セッサユニット間の不要な通信は排除される。加えて共
有変数に対する書き換え処理では、書き換え時間間隔が
参照時間間隔に対して密となった時、共有変数の複写を
保持するプロセッサの局所メモリ内容の変更処理を、こ
のプロセッサ上で実行されるプログラム処理単位が、実
際に該共有変数を参照する時点まで遅延して処理するた
めに、書き換えに伴う通信も必要最小限度の度数にまで
制限される。これらの結果、遠隔メモリ操作は参照ある
いは書き換えの内、より疎である時間間隔で発生するこ
とになり、並列実行される複数の処理単位は共有変数の
機構を通信によって実現しつつも、実際の通信によるプ
ロセッサ時間資源の消費は最低に抑える事が可能とな
る。したがって、並列処理システムとしての処理速度を
通信時間＝０の理想的な状態に極めて近づけた状態にす
ることができる。

【図面の簡単な説明】

【図１】本発明の一実施例の構成図。

【図２】図１構成図の全体を表すマルチプロセッサ処理
装置の構成図。

【図３】遠隔メモリ操作が、処理上問題となる場合の説
明図。

【図４】本実施例での遠隔メモリ操作の時間遷移の説明
図。

【図５】遠隔メモリ操作の処理手順の流れ図。

【図６】遠隔メモリ操作時の受信側プロセッサの状態遷
移図。

【図７】本実施例の処理対象とする並列記述の一例の説
明図。

【図８】並列処理言語コンパイラの処理手順の一部を示
す流れ図。

【図９】並列処理言語コンパイラの処理手順の一部を示
す流れ図。

【図１０】並列処理言語コンパイラの処理手順の一部を
示す流れ図。

【図１１】並列処理言語コンパイラの処理手順の一部を
示す流れ図。

【図１２】並列処理言語コンパイラの処理手順の一部を
示す流れ図。

【図１３】並列処理言語コンパイラの処理手順の一部を
示す流れ図。

【図１４】遠隔メモリ操作の通信に使用するパケットの
説明図。

【図１５】実行時のメモリ使用状態の説明図。

【図１６】並列実行時のスタック領域消費の説明図。

【図１７】第２の実施例の動作状態の遷移図。

【図１８】第３の実施例の動作環境の構成図。

【図１９】第３の実施例が通信に使用するデータ構造の
説明図。

【図２０】第３の実施例の動作状態の時間遷移図。

【符号の説明】

１…ホストプロセッサ ２…プロセッサエレメント ３…通信経路 ４…マイクロプロセッサユニット（ＭＰＵ） ５…局所メモリ ６…通信装置 ７…割り込み回路 ８…ΔＴ測定回路 ９…遅延応答フラグ １０…共有変数（または複写された共有変数） １１…ユーザープログラムのソースコード １２…コンパイラ １３…オブジェクトコード １４…ブロック管理表 １５…共有変数アクセス表 １６…ブロック管理表 １７…共有変数アクセス表 １２４…ブロック番号 １２５…プロセッサエレメント番号 １２６…共有変数アクセス表へのポインタ １２８…ブロック開始番地 １４１…パケットのデータ列 １４２…パケットの識別子 １４３…パケットの終了符号 １４５…スタック初期化コード １４６…レジスタ初期化コード １４７…オブジェクトコード １５１…オブジェクトコード領域 １５２…スタックメモリ領域 １５３…プロセッサレジスタ １９０…遅延指定フラグ ３０１…消費者プロセスの処理の時間遷移 ３０２…プログラム中で発生する共有変数参照の位置 ３０３…生産者プロセスの処理の時間遷移 ３０４…プログラム中で発生する共有変数書き換えの位
置 ４０１…共有変数書き換えの制御トークンの転送 ５０１…送信側プロセッサ処理 ５０２…受信側プロセッサ処理 ６０１…オブジェクトコードの実行状態

フロントページの続き (56)参考文献 特開 平３−288955（ＪＰ，Ａ) 特開 平４−102159（ＪＰ，Ａ) 特開 平２−132525（ＪＰ，Ａ) Ｐｕｔｔｏ，Ｐ．Ｗ．，Ａｈａｍａ ｄ，Ｍ．”Ｓｌｏｗ Ｍｅｍｏｒｙ：Ｗ ｅａｋｅｎｉｎｇ Ｃｏｎｓｉｓ 千葉ほか，遠隔手続き派遣による分散 透明なデータ共有，情報処理学会研究報 告，1991年７月18日，Ｖｏｌ．91，Ｎ Ｏ．63（91−ＯＳ−51），Ｐ．65−72 村上ほか，遠隔手続き呼び出しに基づ いた分散Ｃ言語について，第42回（平成 ３年前期）全国大会講演論文集，1991年 ２月25日，Ｐ．５−149〜１−150 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 15/16 - 15/177

Claims (9)

(57)【特許請求の範囲】
1. 【請求項１】 各々、局所メモリを有し、互いに通信経
   路を介して接続される第１及び第２のプロセッサユニッ
   トを少なくとも備え、複数のプログラム実行単位を、少
   なくとも前記第１及び第２のプロセッサユニットによっ
   て、それぞれ、並列に実行させると共に、並列に実行さ
   れる前記複数のプログラム実行単位によって共通して利
   用され得る共有変数を、少なくとも前記第１及び第２の
   プロセッサユニットの有する前記局所メモリにそれぞれ
   格納するマルチプロセッサシステムであって、 前記第１のプロセッサユニットは、実行している前記プ
   ログラム実行単位によって共有変数の書き換え要求があ
   った場合に、前記第１のプロセッサユニットの局所メモ
   リに格納された前記共有変数を書き換えると共に、前記
   第２のプロセッサユニットに対して共有変数の書き換え
   指示を出し、該書き換え指示に対する応答が前記第２の
   プロセッサユニットからない場合には、その後、実行し
   ている前記プログラム実行単位によって前記共有変数の
   書き換え要求があっても、前記第１のプロセッサユニッ
   トの局所メモリに格納された前記共有変数の書き換えは
   行うが、前記第２のプロセッサユニットに対する前記共
   有変数の書き換え指示は出さず、 前記第２のプロセッサユニットは、前記第１のプロセッ
   サユニットから前記書き換え指示を受けても、実行して
   いる前記プログラム実行単位によって共有変数の参照要
   求があるまでは、第２のプロセッサユニットの局所メモ
   リに格納された共有変数を、前記書き換え指示に基づい
   ては書き換えず、前記第１のプロセッサユニットに対し
   ても前記応答はしないことを特徴とするマルチプロセッ
   サシステム。
2. 【請求項２】 各々、局所メモリを有し、互いに通信経
   路を介して接続される第１及び第２のプロセッサユニッ
   トを少なくとも備え、複数のプログラム実行単位を、少
   なくとも前記第１及び第２のプロセッサユニットによっ
   て、それぞれ、並列に実行させると共に、並列に実行さ
   れる前記複数のプログラム実行単位によって共通して利
   用され得る共有変数を、少なくとも前記第１及び第２の
   プロセッサユニットの有する前記局所メモリにそれぞれ
   格納するマルチプロセッサシステ ムであって、 前記第１のプロセッサユニットは、実行している前記プ
   ログラム実行単位によって共有変数の書き換え要求があ
   った場合に、前記第１のプロセッサユニットの局所メモ
   リに格納された前記共有変数を書き換えると共に、前記
   第２のプロセッサユニットに対して共有変数の書き換え
   指示を出し、 前記第２のプロセッサユニットは、前記第１のプロセッ
   サユニットから前記書き換え指示を受けた際に、前回書
   き換え指示を受けてから今回書き換え指示を受けるまで
   の時間が所定の値より大きい場合には、前記第２のプロ
   セッサユニットの局所メモリに格納された共有変数を、
   前記書き換え指示に基づいて書き換えるが、 それ以外の場合には、前記第１のプロセッサユニットか
   ら前記書き換え指示を受けても、実行している前記プロ
   グラム実行単位によって共有変数の参照要求があるまで
   は、前記第２のプロセッサユニットの局所メモリに格納
   された共有変数を、前記書き換え指示に基づいては書き
   換えない ことを特徴とするマルチプロセッサシステム。
3. 【請求項３】 複数のプロセッサユニットが、それぞれ
   相互にデータの授受を行なう通信経路によって結合され
   ていると共に、複数のプログラム実行単位が並列して実
   行される時、複数のプログラム単位間の共有メモリ資源
   （共有変数）に対し前記通信経路上の通信を用いた、い
   わゆる遠隔メモリ操作によって参照あるいは書き換えを
   行なう構成のマルチプロセッサシステムにおいて、 ある処理単位を実行時にプロセッサに配置する際、共有
   変数をこの処理単位が実行されるプロセッサの局所メモ
   リ領域に複写する複写手段と、 共有変数参照の時間間隔と書き換えの時間間隔を計測す
   る計測手段と、 共有変数書き換えの遠隔メモリ操作に際し、共有変数が
   宣言された処理単位が実行されるプロセッサの局所メモ
   リに配置された共有変数（以下、共有変数実体と呼ぶ）
   の値を更新すると共に、各プロセッサの局所メモリに配
   置された共有変数（以下、共有変数の複写と呼ぶ）の値
   を更新する更新手段を有し、 該共有変数に対し、書き換え時間間隔が参照時間間隔に
   対し密となった場合は、共有変数の複写を保持するプロ
   セッサの局所メモリ内容の変更処理を、該プロセッサ上
   で実行されるプログラム処理単位が実際に該共有変数を
   参照する時点まで遅延して処理し、 参照時間間隔が書き換え時間間隔に対し密となった場合
   は、共有変数の複写を保持するプロセッサの局所メモリ
   内容の変更処理を、いずれかのプロセッサ上で実行され
   るプログラム処理単位が実際に該共有変数の値を書き換
   える時点まで遅延して処理することを特徴とする共有変
   数更新装置。
4. 【請求項４】 請求項３に記載の共有変数更新装置にお
   いて、共有変数書き換えの時間間隔が予め系に定めた定
   数より密であると判断された場合は、遠隔メモリ操作に
   よる共有変数書き換えを停止し、各プロセッサユニット
   の局所メモリに配置された共有変数、またはこの複製に
   対しての参照を行なう状態にプログラム処理状態を遷移
   させる手段と、 この遷移状態においては、共有変数の複写の書き換えを
   行なう通信（遠隔メモリ操作）を、共有変数が宣言され
   た処理単位の実行されるプロセッサユニット以外のプロ
   セッサユニットにおいて共有変数参照が行なわれる時点
   まで遅延する手段と、 上記で遅延した遠隔メモリ操作が完了した場合、再び遠
   隔メモリ操作を許す通常処理状態に遷移させる手段と、 をさらに備えることを特徴とする共有変数更新装置。
5. 【請求項５】 請求項３に記載の共有変数更新装置にお
   いて、共有変数が宣言された処理単位の実行されるプロ
   セッサユニット以外のプロセッサユニットにおいて共有
   変数参照が行なわれる以前に、共有変数書き換えの通信
   が１回以上発生した時、遠隔メモリ操作による共有変数
   書き換えを停止し、各プロセッサユニットの局所メモリ
   に配置された共有変数またはこの複製に対しての参照を
   を行なう状態にプログラム処理状態を遷移させる手段
   と、 この遷移状態においては、共有変数の複写の書き換えを
   行なう通信（遠隔メモリ操作）を、共有変数が宣言され
   た処理単位の実行されるプロセッサユニット以外のプロ
   セッサユニットにおいて共有変数参照が行なわれる時点
   まで遅延する手段と、 上記で遅延した遠隔メモリ操作が完了した場合、再び遠
   隔メモリ操作を許す通常処理状態に遷移させる手段と、 をさらに備えることを特徴とする共有変数更新装置。
6. 【請求項６】 請求項３に記載の共有変数更新装置にお
   いて、共有変数の複写を保持するプロセッサユニット
   が、共有変数の実体を保持するプロセッサユニットに対
   し遠隔メモリ参照の通信を行ない、共有変数参照する構
   成であり、 該遠隔メモリ参照が、共有変数書き換え時点以前に発生
   した場合、共有変数の実体を保持するプロセッサユニッ
   トが共有変数値並びに、遅延状態への状態遷移の指示を
   応答する手段と、 遅延状態への状態遷移の指示をうけたプロセッサユニッ
   トにおいて、遅延状態へ遷移を生じさせる手段と、 上記遷移状態のプロセッサユニットにおいて、局所メモ
   リに配置された共有変数の複写を参照する手段と、 共有変数書き換えを行なうプロセッサユニットが、書き
   換え発生時点で、前記遅延状態解除の通信を発生する手
   段と、 をさらに備えることを特徴とする共有変数更新装置。
7. 【請求項７】 局所メモリを有し、通信経路を介して他
   のプロセッサユニットに接続され、複数のプログラム実
   行単位を前記他のプロセッサユニットと共に並列に実行
   すると共に、並列に実行される前記複数のプログラム実
   行単位によって共通して利用され得る共有変数を前記局
   所メモリに格納するプロセッサユニットであって、 前記他のプロセッサユニットから共有変数の書き換え指
   示を受けた際に、前回書き換え指示を受けてから今回書
   き換え指示を受けるまでの時間が所定の値より大きい場
   合には、前記局所メモリに格納された共有変数を、前記
   書き換え指示に基づいて書き換えるが、 それ以外の場合には、前記他のプロセッサユニットから
   前記書き換え指示を受けても、実行している前記プログ
   ラム実行単位によって共有変数の参照要求があるまで
   は、前記局所メモリに格納された共有変数を、前記書き
   換え指示に基づいては書き換えない ことを特徴とするプ
   ロセッサユニット。
8. 【請求項８】 各々、局所メモリを有し、互いに通信経
   路を介して接続される第１及び第２のプロセッサユニッ
   トを少なくとも備え、複数のプログラム実行単位を、少
   なくとも前記第１及び第２のプロセッサユニットによっ
   て、それぞれ、並列に実行させると共に、並列に実行さ
   れる前記複数のプログラム実行単位によって共通して利
   用され得る共有変数を、少なくとも前記第１及び第２の
   プロセッサユニットの有する前記局所メモリにそれぞれ
   格納するマルチプロセッサシステムにおける共有変数更
   新方法であって、 （ａ）第１のプロセッサユニットにおいて、実行される
   前記プログラム実行単位によって共有変数の書き換え要
   求があった場合に、前記第１のプロセッサユニットの局
   所メモリに格納された前記共有変数を書き換えると共
   に、前記第２のプロセッサユニットに対して共有変数の
   書き換え指示を出す工程と、 （ｂ）前記書き換え指示に対する応答が前記第２のプロ
   セッサユニットからない場合には、その後、実行してい
   る前記プログラム実行単位によって前記共有変数の書き
   換え要求があっても、前記第１のプロセッサユニットの
   局所メモリに格納された前記共有変数の書き換えは行う
   が、前記第２のプロセッサユニットに対する前記共有変
   数の書き換え指示は出ない工程と、 （ｃ）前記第２のプロセッサユニットにおいて、前記第
   １のプロセッサユニットから前記書き換え指示を受けた
   場合に、前記所定のモードに設定されているか否かを判
   定する工程と、 （ｄ）判定の結果、前記所定のモードに設定されている
   場合は、実行される前記プログラム実行単位によって共
   有変数の参照要求があるまで、前記第２のプロセッサユ
   ニットの局所メモリに格納された共有変数を、前記書き
   換え指示に基づいては書き換えず、前記第１のプロセッ
   サユニットに対しても前記応答はしない工程と、 を備えることを特徴とする共有変数更新方法。
9. 【請求項９】 請求項８に記載の共有変数更新方法にお
   いて、（ｅ） 前記第２のプロセッサユニットにおいて、前記第
   １のプロセッサユニットから前記書き換え指示を受けた
   際に、前回書き換え指示が出された時点から今回書き換
   え指示が出されるまでの時間が所定の値より小さいか否
   かを判定する工程と、（ｆ） 判定の結果、前記時間が前記所定の値より小さい
   場合は、前記所定のモードに設定し、大きい場合は、前
   記所定のモードに設定しない工程と、 をさらに備えることを特徴とする共有変数更新方法。