JPH03144847A - マルチプロセッサ・システムおよびそのプロセス同期方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 Ａ、産業上の利用分野 この発明はマルチプロセッサ・システムに関し、特に、
プロセッサ間の同期に伴うオーバーヘッドと無意味なス
ケジューリングを極力抑えて、システムの性能とプロセ
ッサ資源の使用効率を向上できるようにしたものである
。

Ｂ、従来技術 ＶＬＳＩ技術の大きな進歩により、多数のフ加セッサを
搭載したマルチプロセッサ・システムが実現されるよう
になった。そして、複数のプロセッサを用いて仕事を高
速に処理する並列処理が菫要になってきている。あるプ
ロセッサが他のプロセッサの処理結果を用いる際は、そ
の処理の完了を確認する動作つまり同期が必要である。

このように、複数のプロセッサが協調して処理を行うよ
うにするにはプロセッサ間の同期が不可欠である。

従来の同期の方法について説明する。

コンピュータシステムにおいて、現実のハードウェア資
源の管理はオペレーティングシステム（以下Ｏ８という
〉によって行われている。よって、ユーザーやプログラ
マは実プロセツサを仮想化したプロセスという概念を用
いて処理を記述する。プロセスはＯ８の管理の下で実プ
ロセツサの割当てを受け処理を実行する。この割当てを
プロセススケジューリング（以下単にスケジューリング
という）と呼び、一つのプロセスに対し一つの実プロセ
ツサが割当てられる。並列処理では協調して動作する複
数のプロセスを用意して、プロセス間で同期を取りなが
ら処理を進める。この同期の方法には一般には次の二つ
の方法が用いられている。一つはＯ８を介して同期を行
う方法で、もう一つはプロセス間の共有メモリを介して
同期を行う方法である。同期のためには同期を取り合う
プロセス間で同期情報を交換するための共有の実体が必
要になる。前者はその実体としてＯ８を後者はメモリを
用いている。

次に従来の同期法における問題点について述べる。

Ｏ８＠介して同期を実行する場合は、同期が成立しなか
ったプロセスはプロセッサの割り当てを外され休止状態
になり、空いたプロセッサには他のプロセスが割付られ
る。よって、プロセッサ資源は効率的に使われる。しか
し、Ｏ８を介しての同期はオーバーヘッドが大きく、こ
のため休止状態になったり、再びプロセッサに割付られ
たっということを繰返すと著しく効率が低減する。プロ
グラムの粒度（同期から次の同期までの間隔）が十分に
大きければ、このオーバーヘッドは無視できるが、通常
は無視できない。オーバーヘッドを少なくするためＯ８
を介しての同期ではなく共有メモリを介してのビジー・
ウェイトで同期を行うときにはこのような問題はなくな
るが、他の問題が生じる場合がある。前述のようにＯ８
は一つの実プロセツサに一つのプロセスを割付ける。こ
のスケジューリング時に、複数の特定のプロセスを同時
に複数のプロセッサに割付るといった指定が通常できな
い。そこで、ある並列処理のために複数のプロセスを生
成し、それらがお互に同期しながら動くようなプログラ
ムを考える。スケジューリングの都合で、そのプロセス
群の内のいくつかはプロセッサの割当てを受け、残りは
プロセッサの割当て待ちの状態になっているとすると、
同期を取るべき時に相手のプロセスがプロセッサにスケ
ジューリングされておらず、同期がすぐには成立させら
れずプロセッサが無駄などジー・ウェイトを行うといっ
た事態が起こる。つまり、第１図のようにプロセスがプ
ロセッサに割当てられており、Ａ１、Ａ２、Ａ３のプロ
セスがＡ４のプロセスの処理結果を使うためにビジー・
ウェイトの同期でループしているといった事態である。

この場合、ＣＰＵ時間は消費するが、タイム・スライス
か何かで再スケジューリングが起こって、Ａ４のプロセ
スが実プロセツサに割当てられるまで、プログラムは何
も進展しない。また、共有メモリを介してのビジー・ウ
ェイトで複数のプロセスが同時に一点で待ち合わせを行
うバリア同期を行うと、スケジューリングの問題の他に
も、マルチプロセッサ上で同期のための排他的メモリ・
アクセスが集中して１．データ通信路の競合等のオーバ
ーヘッドを引き起こすといった問題もある。

上述からも示唆されるように、プロセスの同期とスケジ
ューリングは密接な関係を持っている。

アプリケージクンや特定の並列処理プログラムにおいて
は、スケジューリングを調節することによって効率を上
げることができる。しかし、現状のＯ８では総てのプロ
セスを同じアルゴリズムに基づいてスケジューリングを
行っているのでアプリケーション毎のスケジューリング
の調節といったことができない。

なおこの発明に関連する先行技術の文献としてはつぎの
ちのがある。

（１）　”５ｔｅｌｌｉｘ：　ＵＮＩＸ　ｆｏｒ　ａ　
Ｇｒａｐｈｉｃｓ　Ｓｕｐｅｒｃｏｍｐｕｔｅｒ　、　
Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　Ｓｕｍｍｅｒ
　１９８８　ＵＳＥＮＩＸ　Ｃｏｎｆｅｒｅｎｃｅ、　
Ｊｕｎｅ　２０−２４．１９８８．Ｓａｎ　ｆｒａｓｃ
ｉｓｃｏ　Ｃａ１ｉｆｏｒｎｉａ　［］ＳＡ、　ＵＳＥ
）ＩＩＸ　Ａｓ５ｏｃｉａｔｉｏｎ、　ｐｐ　３２１−
３３０．　Ｔｈｏｎａｓ　Ｊ、　Ｔｅ１ｘｅｉｒａ　＆
　Ｒｏｂｅｒｔ　Ｆ、　Ｇｕｒｗｉｔこの文献には同期
用の特別なインストラクション列により同期をとるとき
に、すべてのプロセスが同期待ち状態なら、フォールト
信号をハードウェアが生成することを開示している。し
かしこの文献では共有メモリのプロセッサ情報（後述の
ようにプロセッサへのプロセスの割り当て、プロセスの
グループ分けおよびプロセスの同期に関する情報）を用
いてプロセスが所定の条件をチェックして自らが再スケ
ジュール要求を行って効率のよいプロセス同期を実現で
きるようにすることについてはなんら示唆していない。

（２）　ＩＢＭ　Ｔｅｃｈｎｉｃａｌ　Ｄｉｓｃｌｏｓ
ｕｒｅ　Ｂｕｌｌｅｔｉｎ　Ｖｏｌ。

３２　Ｎｏ、ｌ　Ｊｕｎｅ　１９８９　ｐｐ２６０−２
６２．”　ＤＥＶＩＣＥ　ＴＨＡＴ　ＰＲＯＶＩＤＥＳ
　ＦＯＲＣ０ＮＴＥＮＴＩＯＮ−ＦＲＥＥ　ＢＡＲＲＩ
ＥＲ５ＹＮＣＨＲＯＮＩＺＡＴＩＯＮ　ＩＮ　Ａ　ＭＩ
ＪＬＴＩＰＲＯＣＥＳＳＯＲ”（３）　ＩＢＭ　Ｔｅｃ
ｈｎｉｃａｌ　Ｄｉｓｃｌｏｓｕｒｅ　Ｂｕｌｌｅｔｉ
ｎ　Ｖｏｌ。

３１　Ｎｏ、１１　Ａｐｒｏｌ　１９８９　ｐｐ３８２
３８９．”ＬＯＷ−ＣＯＳＴ　ＤＥＶＩＣＥ　ＦＯＲＣ
０ＮＴＥＮＴＩＯＮ−ＦＲＥＥ　ＢＡＲＲＩＥＲ５ＹＮ
ＣＨＲＯＮＩＺＡＴＩＯＨ” （２）、（３〉の文献にはバリア同期を集中的にハード
ウェアで実行する構成が開示されているが、同期待ちに
対する工夫は示唆されていない。

（４）　Ｈ，Ｓ、　５ｔｏｎｅ　）ｌｉｇｈ−Ｐｅｒｆ
ｏｒｉ＋ａｎｃｅ　ＣｏｍｐｕｔｅｒＡｒｃｈｉｔｅｃ
ｔｕｒｅ、　ＡｄｄＬｓｏｎ−Ｗｅｓｌｅｙ、　Ｒｅａ
ｄｉｎｇ、　Ｍａｓｓａｃｈｕｓｅｔｔｓ、　１９８７ この文献にはバリア同期に関する一般的解説がなされて
いる。

Ｃ０発明が解決しようとする問題点 この発明は以上の事情を考慮してなされたものであり、
プロセッサ間の同期に伴うオーバーヘッドと無意味なス
ケジューリングを極力抑えた高性能なマルチプロセッサ
・システムを提供することを目的としている。

Ｄ１問題を解決するための手段 この発明では、以上の目的を遠戚するために、オーバー
ヘッドを減らすため共有メモリを介しての同期を採用し
、システムのプロセッサ資源に関する情報（プロセッサ
へのプロセスの割り当て、プロセスのグループ分けおよ
びプロセスの同期に関する情報）をユーザーからアクセ
スできるようにしておき、ビジー・ウェイトの同期待ち
のループで同期変数のチェックたけではなく、プロセッ
サ資源に関する情報もチェックし、そのチェックの結果
、同期が暫く成立しない状況と判断されるときはビジー
・ウェイト中のフ゛ロセスは自らプロセスの実行を中断
し、スケジューラに制御を移し、再スケジューリングを
行わせプロセッサへのプロセスの割当てを変更する。

またこの発明ではプロセッサ間の同期が複数のプロセッ
サが一斉に待ち合わせを行うバリア同期用に、プロセッ
サ毎に専用レジスタを設け、そのレジスタ間の情報を交
換する専用の通信路を用意して、バリア同期のオーバー
ヘッドを軽くする。

また、プロセッサ資源に関する情報をチェックするため
に生ずるオーバーヘッドを軽くするために支援ハードウ
ェアを設け、再スケジューリングの開始は割り込みで通
知されるようにしてもよい０ さらに再スケジューリングの際に最適なスケジューリン
グが行えるように、スケジューラのユーザーによるカス
タマイズを可能にしてもよい。また、これをＯ８の管理
下で可能にするためスケジューラを階層化してもよい。

すなわちアプリケーションを実行するために並列に動く
プロセス群はそのアプリケーションのためのユーザーの
スケジューラの直接の管理下に置かれる。さらに、再ス
ケジューリングを指示する割り込みのオーバーヘッドを
減らすためとユーザーのスケジューラが複数のプロセッ
サに対してなるべく小さなオーバーヘッドで非同期通信
を可能にするために、プロセッサの割り込みを階層化し
てその内の優先度の低いものはユーザーに解放された割
り込みとする。つまり、その割り込みがユーザーのプロ
グラムを実行中（ユーザー・モード中）に起こった場合
、ユーザーが予め設定した割り込みプログラムに制御を
移すだけでＯＳ（カーネル・モード）には制御を移さな
いようにするのである。

Ｅ、実施例 以下、この発明の実施例について図面を参照して説明を
行う。

同期処理を軽くすることを目的の一つとしているので、
共有メモリ等を介してのビジー・ウェイトで同期を行う
ことを前提にする（Ｏ８を介してでは上述のとおりオー
バーヘッドが増大する）。

この際、従来技術でも述べたように以下の二点が問題で
ある。

（１）　無駄に同期待ちを行うプロセスがプロセッサに
割り付けられて、プロセッサ資源を浪費する。

（２）　　バリア同期の際に、同期のための排他的メモ
リ・アクセスが集中して、データ通信路が競合してオー
バーヘッドを生じる。

まず、（１）の問題について述べて、解決の方針を示す
。ある処理を複数のプロセスが協調して実行している場
合（並列処理）を想定する。この処理の途中で一つのプ
ロセスを除いて他のプロセスは同期待ちになったとする
。例えばその同期待ちでないプロセスが計算結果を出す
のを今後その値が必要となるので他のプロセスすべてが
待っているといった状況である。また、プロセスの数が
プロセッサ数よりも多く、すべてのプロセスをプロセッ
サに同時に割り付けることはできないとする。この状況
で、共有メモリを介しての同期を行っているので、Ｏ８
はプロセスが同期待ちであるかどうか区別できない。そ
のため、スケジューリングの結果、同期待ちのプロセス
ばかりがプロセッサに割り付けられて、同期待ちでない
本来最優先のプロセスが実行待ちになってしまう可能性
がある。この場合、一定時間毎のタイマ割り込み時の再
スケジューリングの機会に同期待ちでないプロセスがプ
ロセッサに割り付けられるまで、プロセッサ資源を無駄
に浪費し続けることになる。

この浪費を回避するためには、プロセッサに同期待ちの
プロセスばかりが割り当てられていることが認識できな
ければならない。そこで、ビジー・ウェイトの同期待ち
のループでは同期変数のチェックたけではなく、同期待
ちの場合はシステムのプロセッサ資源に関する情報もチ
ェックする。

そのチェックの結果、状況によってはプロセスを中断し
、Ｏ８に制御を移し、再スケジューリングを実行しプロ
セッサへのプロセスの割り当てを変更する。この方式に
より無駄に同期待ちを行うプロセッサを減らすことがで
き、システムのプロセッサ資源を有効に使えるようにな
る。状況判断の方法と利用するデータについてはＥ、１
．２゜節で述べる。再スケジューリングの方法について
はＥ、１．３．節で述べる。

次に、（２）のバリア同期における排他的メモリ・アク
セスの集中の問題について解説し、その解決の方針を示
す。一つの同期変数を用いたＮ台のプロセッサによるバ
リア同期の場合、少なくともＮ回の同期変数への排他的
な操作が必要である。この部分のメモリ処理は１列化さ
れるのでＮが大きくなるとオーバーヘッドも増大する。

特に、バリア同期を取るプロセス間の粒度が揃っており
、それらのプロセスが総て同時にプロセッサに割り当て
られている（つまり、プロセッサの割当て待ちのプロセ
スがいない）状況で、このオーバーヘッドが問題となる
。このオーバーヘッドを避けるためにバリア同期専用の
同期変数を専用レジスタＣ本発明ではフラグ）としてプ
ロセッサ毎に設け、レジスタ間の値の更新は同期情報の
ための専用通信路（本発明ではブロード・キャスト型の
信号線）で行うことにする。この機構により通常のデー
タ通信路の通信量を増やすことなしにバリア同期が行え
る。当然、プロセッサへの割当てを待っているプロセス
が存在する時には、（１）の問題の解決方針に基づいた
動作を行う。具体的な機構についではＥ、２０節の中で
述べる。

プロセスが同期待ち時にプロセッサの割当てを自ら放棄
する条件とその状況判断に必要になるシステムのプロセ
ッサ資源に関する情報について述べる。ここで、プロセ
ッサ資源を有効に管理するためにプロセッサのグループ
という考え方を導入する。基本的にはプロセスのうち共
有メモリを介した同期を行うもの同士を一つのグループ
とする。つまり、グループが異なれば、共有メモリを介
したビジー・ウェイトの同期を行わない。プロセッサは
自分の上で現在実行されているプロセスのグループに属
する。同じグループのプロセスが同時に割り付けられて
いるプロセッサ群がプロセッサのグループを形成する。

第１図ではＡ１、Ａ２、Ａ３、Ａ４がプロセスのグルー
プを形成しており、図のようなプロセッサの割当ての場
合はＣＰｔ１ｌ　、ＣＰｔ１２、ＣＰｔ１３が一つのグ
ループであり、ＣＰｔ１４は別のグループである。ＵＮ
ＩＸ（米国ＡＴ＆Ｔ社の商標）系のＯ８の場合、ＰＰＩ
Ｄ　（親プロセス識別子）をこのグループの識別子とし
て流用できる。

なお説明を補助する目的で図を用いるが、今後の図中で
の記法を説明しておく。プロセスＡ２ｗとあれば、最初
のＡはグループ名を次の２はグループ内でのプロセス名
を最後のＷはそのプロセスが同期待ちであることを示す
。同期待ちでないプロセスではＷの代りにｒが用いられ
る。図の左端で長方形の破線で囲まれたプロセスは実プ
ロセツサの゛割当てを待っているプロセスである。

同期待ち時に、実行中のプロセスが自らプロセスを中断
し、プロセスの交代を要求する条件の例として以下のよ
うなものが挙げられる。

［１１自分と同じグループに属するプロセッサが総て同
期待ちになり、実行待ちのプロセスが存在する時（第２
図（ａ）参照）。

［２１自分と同じグループに属するプロセスが総て同時
にプロセッサに割り付けられており、それら総てが同期
待ちになった時。但し、これはプログラミング・エラー
（デッド・ロック）と考えられる（第３図参照）。

［３１バリア同期を行うプロセス群で一つのグループを
形成しており、自分がそのグループの一員の場合、自分
のグループに属する実行待ちかつ同期待ちでないプロセ
スが存在する時（第４図（ａ）参照）。

［４］　　自分と同じグループに属する同期待ちのプロ
セッサの数がｎを越え、実行待ちのプロセスが存在する
時。但し、ｎはＯ８またはユーザーにょって設定された
値である。

［５］　自分と同じグループに属する同期待ちのプロセ
ッサの数がｎを越え、実行待ちの自分と同じグループの
プロセスが存在する時（第５図（ａ）参照）。

［１〕、［２１、［３］の条件はプロセスを交代する方
が確実に効率が向上する条件で、［４１、［５１の条件
は発見法的で経醸則からｎの値を決めて効率の向上を狙
うものである。処理しているアプリケージタンによって
ｎの値を調節して効率を上げるべきである。［４］、［
５］の条件については、同期待ちの絶対数で判断するの
ではなく、同じグループに属するプロセッサ数とその内
の同期待ちの数の比率を基準にしてもよい。

これらの条件を満たすがどうかチェックするのに必要な
システムのプロセッサ資源に関する情報は、以下のよう
なものである。

＃１４ＧＣ（ｔｈｅ　ｎｕｍｂｅｒ　ｏｆ　１４ｙ　Ｇ
ｒｏｕｐ　Ｃｐｕｓ）　：自分のグループに属するプロ
セッサの数（グループに属するプロセスの内のプロセッ
サに割り付けられているものの数） ＬＨＶＣ（ｔｈｅ　ｎｕｍｂｅｒ　ｏｆ　Ｍｙ　ｇｒｏ
ｕｐ　ｖａｉｔｉｎｇ　Ｃｐｕｓ）　二自分のグループ
に属するプロセッサの内、同期待ちのプロセッサの数 ＃１４ＧＰ　（ｔｈｅ　ｎｕｍｂｅｒ　ｏｆ　Ｍｙ　Ｇ
ｒｏｕｐ　Ｐｒｏｃｅｓｓｅｓ）　：自分のグループに
属するプロセスの総数＃ＰＲＱ　（ｔｈｅ　ｎｕｍｂｅ
ｒ　ｏｆ　Ｐｒｏｃｅｓｓｅｓ　ｉｎ　Ｒｕｎ　Ｑｕｅ
ｕｅ）： 実行待ちのプロセスの数 ＃ＭＰＲＱ　（ｔｈｅ　ｎｕｍｂｅｒ　ｏｆ　）（ｙ　
ｇｒｏｕｐ　Ｐｒｏｃｅｓｓｅｓ　ｉｎ　Ｒｕｎ　Ｑｕ
ｅｕｅ）　： 自分のグループに属する実行待ちのプロセスの数 ＤＨＷＲ（ｔｈｅ　ｎｕｍｂｅｒ　ｏｆ　Ｍｙ　ｇｒｏ
ｕｐ　Ｎｏｔ　％ｌａｉｔｉｎｇ　ｐｒｏｃｅｓｓｅｓ
　’ｒｎ　Ｒｕｎ　ｑｕｅｕｅ）　：自分のグループに
属する実行待ちだが同期待ちでないプロセスの数 ＴＶＰＳ　（Ｔｈｒｅｓｈｏｌｄ　Ｖａｌｕｅ　ｆｏｒ
　Ｐｒｏｃｅｓｓ　５ｖｉｔｃｈ）　：上述のｎ これらの値がユーザーのプロセスから低コストで参照で
きる必要があり、共有メモリ上にカーネル（Ｏ８）側か
らもユーザー側からもアクセスできる変数として置かれ
る。アクセス権の保護に関しては、＄１ＭＷＣのみ同期
を行うユーザーのアプリケーションのプロセスからも書
き込み可能で、他はスケジューラ側のみから書き込める
。スケジューラはこれらの値をスケジューリング毎に必
要に応じて更新する。

上記で述べたプロセス切り換えのための条件判断を含む
効率のよいビジー・ウェイト同期方式についてフローチ
ャートに沿って説明する。同期変数のチェックやプロセ
ス切り換えの条件判断の具体的な方法等は、待ち合わせ
を行うプロセスの数や同期の種類によって異なる。しか
し便宜上、ここでは第６図の一つのフローチャートで待
ち合わせ処理の内容を示し、細かい差には言及しない。

第７図は従来の待ち合わせのためのループを示す。最良
の条件、つまり同期変数を初めてチェックするまえに同
期が成立し同期変数に同期成立の値がセットされている
場合において、第６図の方式のオーバーヘッドを従来の
方式と同じに抑えるために処理の頭で同期変数のチェッ
クを一度行っている（Ｓｌ）。同期完了であれば当然す
ぐに待ち合わせ処理を終了する。−回目の同期変数のチ
ェックで同期未了の場合に限り、プロセッサが同期待ち
状態に入り（Ｓ２）　、これにより影響を受ける変数（
＃ＭＭＣ等）を更新する（Ｓ３）。そして、システムの
プロセッサ資）原に関する１青報を読出して（３４）、
前出の条件によってプロセスを中断しスケジューラによ
るプロセスの再スケジューリングを要求するかどうか判
断する（Ｓ５）。条件が成立すれば、影響を受ける変数
（引へｖＣ等）を更新しくＳ６）、プロセッサの制御権
を放棄するシステム呼出し等を行ってスケジューラを呼
び出す（Ｓ７）。条件が成立しなければ、新たに同期変
数のチェックを行なう（Ｓｌｌ）。

同期が成立していなければ、プロセッサ資源に関する情
報の読出しに戻って繰返す。同期が成立していれば、プ
ロセッサが同期待ち状態を抜け１．＝れにより影響を受
ける変数（姉ＷＣ等）を更新しく５１２）、待ち合わせ
の処理を終了する（Ｓ９）。制御権を放棄して、再びプ
ロセッサに割り付けられた時は、プロセス切り換えの条
件判断が非成立の場合のフローに合流する（Ｓ８、Ｓｌ
○）。

第６図で点線で囲まれた処理の部分は共有メモリへのア
クセスを不可分で排他的に行うべき部分（＃）１％Ｊｃ
の更新）を示す。つまり、共有バスのシステムではロッ
クを掛けてアクセスする部分を示す。以下の図でも同様
である。

ハードウェア構成によっては共有変数へのアクセスの集
中の問題が存在する。それは同期待ちの処理の一番内側
のループでプロセッサ間で共有されるプロセッサ資源に
関する変数をアクセスしていることに起因する。内容の
コンシステンシを保つキャッシュ（スヌーブ・キャッシ
ュ）等のハードウェアを持たないシステムでは頻繁にコ
ストの掛かる共有メモリへのアクセスが発生し、データ
通信路の通信の競合をまねく可能性がある。しかし、従
来の方法でも共有変数である同期変数へのアクセスを同
期待ちの処理の一番内側のループで行っているので事情
は同じである。よって、以下はシステムが内容のコンシ
ステンシを保つキャッシュ等のハードウェアを持ってい
ることを前提とする。

スヌーブ・キャッシュ等を持ったシステムでは第８図の
ようにスピン・ロックを行えばオーバーヘッドを増やさ
ずに無駄なプロセス切り換えの要求を抑えられる。つま
り、第６図の方式では複数のプロセスで同時にプロセス
切り換えの条件が成立し、プロセス切り換え要求が集中
する可能性がある。そこで、第８図のように実際にプロ
セス切り換えを要求する部分をクリティカル領域として
排他制御することにより、その要求の集中を防いでいる
。ただし、ビジー・ウェイトの最内側ループにクリティ
カル領域の排他制御のための共有メモリへの排他アクセ
ス（パス・ロック等）が入ると、共有メモリへのアクセ
スが集中してオーバーヘッドが大きくなる。そこで、最
内側ループではクリティカル領域とせずにプロセス切り
換えの条件判断を行ない、条件が成立したときに限り、
クリティカル領域に入り条件判断をし直す（スピン・ロ
ック、Ｓ４’、Ｓ５°）。なお、第８図の方式の場合、
スケジューラがプロセスを切り換えてシステムのプロセ
ッサ資源に関する変数を更新する際も、アクセスは排他
制御される。また第８図において第６図と対応する個所
には対応する符号を付して詳細な説明は省略する。

第６図に書かれている待ち状態フラグ（ＰＷＦ：Ｐｒ。

ｃｅｓｓ　ｌＪａｉｔｆｎｇ　５ｔａｔｅ　Ｆｌａｇ）
と待ち状態カウンタ（ＰＷＣ：Ｐｒｏｃｅｓｓ　ｖａｉ
ｔｔｎｇ　５ｔａｔｅｓ　Ｃｏｕｎｔｅｒ）はプロセス
毎に設けられ、°スケジューラが＃ＭＮＶＲを計算する
データとなり、またスケジューリングにヒントを与える
ことができる。詳しくは次のＥ、１゜３、節で述べる。

粒度が比較的小さいプログラムでは新しい方式のオーバ
ーヘッドが従来方式に比べて目立ってくる。例えば、数
十命令毎に同期を必要とするプロセス群があり、それら
が同時に総てプロセッサに割り当てられて実行されてい
る場合、同期待ち状態に入ったとしても同期はすぐ成立
するので同期待ちのループを１〜２回程度しか回らない
と考えられる。同期待ち状態でのループの繰返し毎の処
理量は第７図と第８図から比べても判るように、新しい
方式は従来に比べてかなり重たい。そのため、ループを
１〜２回しか回らない場合は、同期が成立した（同期変
数を誰かが書き替えた）時点から実際に成立を検出して
待ち合わせ処理を終了するまでのオーバーヘッドが目立
つようになる。

そこで、プロセッサ外部からハードウェア的にプロセッ
サが同期待ち状態にいるかどうか検知できる機構を用意
して、同期待ち状態のプロセスを切り換えるべきかどう
かのチェックを専用ハードウェアに行わせ、割り込みで
条件成立を通知すれば、プロセッサは第９図のような待
ち合わせ処理で済む。これにより前出の場合でも従来方
式と遜色がなくなる。

Ｅ、１．３．再スケジューリングの改善第２図に条件［
１１が成立した場合、第４図に条件［３１が成立した場
合、第５図に条件［５］が成立した場合の再スケジュー
リングの進行の例を図示しである。プロセッサの割当て
待ちのプロセスが複数ある場合、どのプロセスをプロセ
ス切り換え時にプロセッサに割り付けるかが効率上問題
である。また、第３図ではグループＡはデッド・ロック
を起こしているので、再スケジューリングでＡのグルー
プのプロセスの実行をすべて止めるべきである。ここで
はスケジューラがどのように再スケジューリングを実行
すべきかについて述べる。

また、プロセッサ台数以上のプロセスで並列処理を行う
場合は必ず再スケジューリングが起こり、プロセスの粒
度が細かいときにはその頻度が非常に大きい。そこで、
そのような並列処理にも対応できるように再スケジュー
リングのオーバーヘッドを極力削減する必要がある。オ
ーバーヘッドの少ない階層化されたスケジューラについ
ても述べる。

前出の待ち状態フラグ（ＰＷＦ）と待ち状態カウンタ（
Ｆ’ＶＣ）はスケジューラが１１４ＮＶＲを計算するデ
ータとなり、またスケジューリングにヒントを与える。

共に初期値は”Ｏ″で、ＰＷＦはプロセスが同期待ち状
態にあることを”１”で示し、ＰＷＣは同期待ち状態に
なった回数を示す。ＰＷＦ、ＰＷＣによりスケジューラ
はプロセスが同じ同期待ち状態にいるかどうか知ること
ができる。これにより、条件［２１が成立していなくて
も、デッド・ロックが検出できる場合がある。あるグル
ープのプロセス総てが同期待ち状態の時、さらに総ての
プロセスを１回ずつプロセッサに割り付けた後も、総て
のプロセスが前と同じ同期待ち状態にあるとすれば、そ
れはデッド・ロックを意味し処理を中止すべきである。

また、同期待ち状態にない）和セスに優先権を与えると
いうスケジューリング法が採用できる。バリア同期では
、バリア同期専用のＰｌｉｌＣＢ　（Ｐｒｏｓｅｓｓ　
Ｗａｉｔｉｎｇ　Ｃｏｕｎｔｅｒ　ｆｏｒ　Ｂａｒｒｉ
ｅｒ）を設ける。但し、これはＰＷＣとは異なり待ち合
わせ処理＠行った＠数を示す。つまり、第６図の頭の同
期変数チェックの前に更新する。同じグループ内のプロ
セスが全員でバリア同期を行う場合は、同期毎にＰＷＣ
Ｂの値が揃うので、次にスケジューリングすべきプロセ
スが判る。たたし、第４図（Ｃ）、（ｄ）のようにプロ
セッサの割当て待ちでかつ同期待ちのプロセスは同期の
成立時に同期待ちではなくなる。そこで、同期成立時に
ＤＮＷＲを更新する必要がある。

この他にも、アプリケーションによっては同期を取り合
う頻度の高いプロセスの組み合わせといったことに関す
る情報が事前に得られる。そういったアプリケーション
毎の情報に基づいてスケジューリングを行えば、より良
いスケジューリングが行える。

つぎにスケジューラの階層化について説明する。

通常スケジューリングはＯ８のカーネル内で行なわれる
。よって、ユーザーのプロセスが再スケジューリングを
行ってもらうためにはカーネルへのシステム呼出しを行
う必要がある。しかし、Ｏ８側のスケジューラではユー
ザーのアプリケーション毎の木目細かなスケジューリン
グは不可能である。また、Ｏ８のカーネルとユーザーの
プロセスが多くのデータを共有すると、それを通知しあ
う手順が複雑になり、オーバーヘッドも増大する。さら
に、システム呼出しそれ自身のオーバーヘッドがかなり
重たいので、軽くプロセスの切り換えを行うのは難しい
。そこで、スケジューラを階層化して、従来の実プロセ
ツサを割り付けるためのスケジューラをカーネル・スケ
ジューラと呼び、その制御下にユーザー・スケジューラ
を設ける（第１０図参照）。ユーザー・スケジューラは
同一のアプリケーションを協調して処理するプロセス・
グループ毎に設けられ、スケジューリング方式はユーザ
ーが処理に応じて決定できる。カーネル・スケジューラ
は実プロセツサ全体の管理を行ない、プロセス・グルー
プ毎にまとめて実プロセツサを割り付ける。ユーザー・
スケジューラはグループに割当てられたプロセッサ内で
のスケジューリングを実行する。また、ユーザー・スケ
ジューラはカーネル側（カーネル・モード）ではなくユ
ーザー側（ユーザー・モード）で走る。そこで、プロセ
ス切り換えの際、システム呼出し等のオーバーヘッドが
なく、効率が向上する。

プロセス切り換えの条件が成立した場合、ユーザー・ス
ケジューラに制御を渡し、そのプロセス・グループに適
したスケジューリング・アルゴリズムで次に割当てるべ
きプロセスを選び、そのプロセスに制御を渡す。これに
より、システム呼出しのオーバーヘッドなしにプロセス
をグループ内で切り換える。第１１図はグループ八が条
件［３１でユーザー・スケジューラ使ってプロセス切り
換えを行う例を示している。

カーネル・スケジューラは各プロセス・グループからプ
ロセッサの要求台数を受け取り、なるべく要求を満たす
ようにスケジューリングを１テう。

カーネル・スケジューラはタイム・シェアリングのため
のタイマ割り込み時または周辺装置の入出力を伴うシス
テム呼出し時またはユーザー・スケジューラからのプロ
セッサ資源の追加要求・返還時に起動する。カーネル・
スケジューラによるスケジューリングの結果、空きプロ
セッサが必要になった場合は優先度の低いプロセス・グ
ループのプロセッサを取り上げる（プリエンブトする）
。

同期におけるプロセス切り換えの条件判断をハードウェ
ア化して、割り込みで条件成立をプロセッサに通知する
場合、この割り込みでユーザー・スケジューラが起動す
るようにしておく。実行モードにカーネル側とユーザー
側の区別があるプロセッサでは割り込み後はカーネル側
に制御が切り替わる。このような従来型のプロセッサを
使う時は、この割り込み時にはなるべくオーバーヘッド
なしにユーザー側に制御を返す必要がある。この点に関
し、積極的に以下のように割り込み機能を階層化したプ
ロセッサを用意すれば、オーバーヘッドの少ないユーザ
ー・モード内の割り込みが行える。優先度の違う外部割
り込みをプロセッサに用意し、優先度の低い外部割り込
みの内のいくつかにユーザー・モードの割り込みを設け
る。つまり、割り込みが発生したらユーザーが設定した
ルーチンにユーザー・モード内で制御を移す。残りの外
部割り込みは従来通りカーネル・モードへの割り込みで
ある。また、ユーザー・モードの割り込みは割り込みの
マスクの切り換え（割り込み許可・不許可の切り換え）
でユーザー側で自由にできる。このユーザー・モードの
割り込みを同期機構からの割り込みや同じグループ内の
プロセッサへの非同期の通信に使うと、カーネルに制御
が移行しないのでオーバーヘッドを減らすことができる
。同期機構がらの割り込みでは直接ユーザー・スケジュ
ーラに制御が移るようにしておく。

Ｅ、２．具体的構成例 つぎに同期機構の具体的構成例について述べる。なおビ
ジー・ウェイトの処理のオーバーヘッドを減らすため、
プロセス切り換えの条件判断はハードウェアで行う。ス
ケジューラはＥ、１゜３、節に従って階層化されたもの
がソフトウェアで実現されているとする。ここでは主に
同期機構のハードウェア側とこれを用いるビジー・ウェ
イトの処理について述べる。

第１２図に全体構成を示す。この図においてデータ通信
路は共有バス１とした。プロセッサＣＰＵＩ、ＣＰＵ２
、＝ＣＰＵｎ毎に同期コントローラＳＣＩ、ＳＣ２、＝
ＳＣｎが設けられ、同期コントローラ間はプロセッサ台
数分の信号線を持つ同期信号バス（ブロード・キャスト
型の信号線）２で結合されている。各プロセッサと同期
コントローラの間はコントローラ内のレジスタやフラグ
を読み書きするためのデータ線とコントローラからプロ
セッサへの割り込み線（前出のユーザー・モードの割り
込み）で結合している。

第１３図に同期コントローラＳＣＩの構成を示す。なお
他の同期コントローラの構成も同様である。この図にお
いて同期コントローラＳＣ１、ＳＣ２、・・ＳＣｎ毎に
同期信号バス上の特定の一本の信号線が割り当てられて
おり、その信号線に対してのみ信号（”○”か“１“の
２値）を出力できる。この出力はコントローラ内の同期
待ち出力フラグ（ＳＯＦ）またはバリア同期用同期待ち
出力フラグ（ＢＳＯＦ）　ニ対応シテおり、ＳＯＦ　（
マ；’Ｌｔ　Ｂ５０Ｆ）カセットされると信号線に”１
”が出力され、ＳＯＦ　（Ｂ５ＯＦ）がリセットされる
と”００が出力される。初期状態としてＳＷＦ、ＢＳＷ
Ｆはリセットされており、プロセッサが共有メモリ４を
介しての同期待ちのループに入るまえにＳＯＦ　（ＢＳ
ＯＦ）をセットし、ループを抜けるとリセットするよう
にプログラミングする（第９図参照）。これにより、同
期待ち状態のプロセッサに対応する同期信号バスの信号
線は総て１になる。また、同期コントローラ内には各同
期信号線に各ビットが対応するグループ・レジスタ３が
あり、自分と同じグループに属するコントローラの対応
するビットに′°１°°がスケジューラによってセット
されている。これにより、同期コントローラは自分の属
するグループのプロセッサが同期待ち状態にあるかどう
か区別できる。本同期コントローラは２つの動作モード
を持っており、モード１は（１）の問題に対応し、モー
ド２は（２）の問題とバリア同期における（１）の間Ｍ
（条件［３］）に対応している。同じグループ内では一
時点にはどちらか一方のモードしか選択できないが、グ
ループが異なればモードは異なっても構わない。モード
の切り換えはコントローラ内のレジスタ（ＭＯＤＥ）で
行なわれる。

グループで共通なレジスタやフラグは共有バスを通して
同時に書き替えることができる。つまり、スケジューラ
が共有バスにグループを特定した同期コントローラへの
命令を出力でき、それによってグループ内のコントロー
ラのレジスタが書き替わる。同様にしてスケジューラは
自分が動作しているプロセッサ以外に接続しているコン
トローラのレジスタも変更できる。このようにスケジュ
ーラによって設定されるレジスタ類は第１３図ではグル
ープ・レジスタ３、ＭＯＤＥ、υＭ、　Ｋ）４、ＰＲＱ
７ラグ、ＴＶＰＳＩ、ＴＶＰＳ２、ＭＰＲＱ　７５グ、
ＭＮＷＲ７ラグ、ＰＣＯｔ］ＮＴである。この内υ１４
．　ＫＭはユーザー・スケジューラとカーネル・スケジ
ューラのための割り込みマスクで、これが一方でもセッ
トされるとプロセッサへの割り込みが議止される。

ユーザー・スケジューラはｔＪＭ　ｆ！けを変更できる
。当然、カーネル・スケジューラは総てのレジスタとフ
ラグを変更できる。ＰＲＯフラグ、ＴＶＰＳＩ、ＴＶＰ
Ｓ２、ＭＰＲＱ７ラグ、ＭＮＷＲ７ラグはプロセッサ資
源に関する情報を格納するレジスタ類である。ＰＲｑフ
ラグ、ＭＰＲＱフラグ、ＭＮＷＲフラグはそれぞれＥ、
１．２．節（７）　＃ＰＱＲ，＄１）ｉＰＲＱ、　朴Ｎ
ｖＲニ対応しており、計数がＯであればフラグはリセッ
ト、計数がＯ以外ではフラグがセットされる。ＴＶＰＳ
Ｉ、ＣマタハＴＶＰＳ２）　　ハ条件［１１、［２］、
［４１、〔５１で＃ＭｖＣの数と比較すべき数を設定す
るためのレジスタである。例えば、条件［１１、［２］
の検出にはこれを仰ＧＣに設定する。ＰＣＯＵＮＴはカ
ーネルによるグループ内のプロセスのプリエンブトの発
生回数を計数するカウンタである。カーネル・スケジュ
ーラがプリエンブトの際に１？！けカウント・アップを
行ない、ユーザー・スケジューラがプリエンブトに対す
る処理が済むとカウント・ダウンさせる。これにより、
プリエンブトの発生をコントローラが把握し誤動作を防
ぐ。

まず、モード１の動作をのべる。同期コントローラ内に
は前述のようにプロセッサ資源に関する情報を格納する
レジスタ類があり、スケジューラにより値がセットしで
ある。＄１１４Ｗｃについては同期コントローラが同期
信号バスを監視して常時把握している。システムの状態
について前出の［１１〜［５１条件のチェックをハード
ウェアで１テない、条件を満たすとプロセッサに割り込
み信号を出力し、Ｏ８によるプロセスの再スケジューリ
ングを要求する。

次に、モード２の動作について述べる。同期コントロー
ラ内に前出のレジスタやフラグの他に読出し専用のバリ
ア同期成立フラグ（ＢＦ）が存在する。但し、スケジュ
ーラからは副作用なしに読み書きが可能である。このＢ
ＦフラグはＭＮＶＲフラグがリセッ）　　（”　Ｏ’Ｉ
　テ、Ｐｃ０ｔｌＮＴ　カＯテ、且つ自分の属するグル
ープの総てのプロセッサが同期待ち状態のときに１°゛
にセットされる。そして、このフラグが値パ１°“とし
てプロセッサから読み出されると、コントローラは以下
の動作後ＢＦフラグを自動的にリセットする。まず、自
分の同期信号線とＢ５０ＦをＯ′°にして、）４ＰＲＱ
フラグが°ｌ　ＯＩ”でない場合コントローラ内のＭＮ
ＶＲフラグを′°１°“にセットする。この後、ＢＦフ
ラグをリセットする。プログラムはこのＢＦフラグを使
って待ち合わせを行う。また、モード１ではＢ５０Ｆを
セットして同期信号線を°゛１“にしているが、このモ
ードではＢ５０Ｆの自動リセット同様にＢＦフラグの同
期成立後最初の読出しで自動的にセットできるのでビジ
ー・ウェイト処理内でセットする必要はない。同様に、
ＰＷＣＢのカウント・アップも自動化できる。結局、待
ち合わせの処理は第１４図のフローチャートのようにな
る。スケジューラによるプロセスの生成削除の際の誤動
作を防ぐため以下のように制御する。例えば、バリア同
期に参加するプロセスの生成時はコントローラ内のＭＮ
ＷＲフラグに１゛°を設定しておき、割り込みは禁止し
ておく、そしてプロセスが総て生成された後に正しいＭ
ＮＷＲフラグを設定し、割り込みを許可する。また、同
期コントローラは［３］の条件のチェックを行う。条件
が成立するとプロセスを切り換えさせるためプロセッサ
に割り込みを発生させる。但し、ＰＣＯｌｌＨＴがＯ以
外のときも＃）ＩＮＷＲが０でない場合と同じに扱い、
誤動作を防ぐ。

同期コントローラ内のレジスタはプロセス切り換え発生
毎に適宜更新され、プロセスが入替えられるプロセッサ
の同期コントローラのＳＯＦ、Ｂ５０Ｆ。

ＢＦＪＮＷＲフラグ（ＢＦはスケジューラからは自動セ
ット・リセット等の副作用動作を伴わずに読み書き出来
る）等は入替え前の値が退避され、再びそのプロセスが
割り付けられた際に、再設定される。

Ｆ０発明の詳細 な説明したようにこの発明によれば、マルチプロセッサ
・システム上で同期を取りながら走るプロセスが同時に
実プロセツサに割り付けられている場合は非常に軽く、
プロセッサ資源の台数の制限とスケジューリングの都合
で同時に割り付けられない場合でも効率よくプロセッサ
資源を使える同期が実現できる。

【図面の簡単な説明】

第１図は従来のプロセスのプロセッサへの割当てを説明
する図、第２図ないし第５図はこの発明の一実施例で採
用する再スケジュール要求の条件を説明する図、第６図
は上述一実施例を説明するフローチャート、第７図は第
６図例に対応する従来の動作を説明するフローチャート
、第８図、第９図および第１０図は第６図例の変形例を
示す図、第１１図は第１０図変形例を説明する図、第１
２図および第１３図は第６図例の具体的な構成例を示す
ブロック図、第１４図は第１３図を説明するフローチャ
ートである。 １・・・共有バス、２・・・同期信号バス、４・・・共
有メモリ、ＣＰＵ・・・プロセッサ、ＳＣ・・・同期コ
ントローラ。

Claims (9)

【特許請求の範囲】
1. （１）複数のプロセッサおよび共有メモリを具備するマ
   ルチプロセッサ・システムにおいて各プロセスが同期待
   ち状態に進むときに、上記共有メモリに記憶された同期
   変数をチェックし、同期が成立しているときには同期待
   ち状態を終了し、同期が未成立のときには同期待ち状態
   を継続するマルチプロセッサ・システムのプロセス同期
   方法において、 上記プロセスの各々が同期待ち状態に進むときに、さら
   に、 上記共有メモリに記憶されているプロセス同期に関連す
   る所定の情報をチェックし、同期の成立の可能性に関す
   る所定の条件が成立しているかどうかを判別するステッ
   プと、 上記条件が成立すると判別されたときに同期待ち状態を
   継続するステップと、 上記条件が未成立であると判別されたときに再スケジュ
   ールを要求するステップと実行することを特徴とするマ
   ルチプロセッサ・システムのプロセス同期方法。
2. （２）複数のプロセッサでそれぞれ実行されているプロ
   セスの間の同期を、共有メモリに記憶されている同期変
   数を上記プロセスの各々がチェックして実行するマルチ
   プロセッサ・システムにおいて、 上記プロセッサの各々に、当該プロセッサで実行されて
   いるプロセスが同期待ち状態に進むときに、上記共有メ
   モリに記憶されているプロセス同期に関連する所定の情
   報をチェックし、同期の成立の可能性に関する所定の条
   件が成立しているときに再スケジュール要求を送出する
   手段を設け、さらに、 上記再スケジュールの要求に基づいてプロセスの再スケ
   ジュールを実行するスケジュール手段を有することを特
   徴とするマルチプロセッサ・システム。
3. （３）複数のプロセッサでそれぞれ実行されているプロ
   セスの間の同期を共有メモリに記憶されている同期変数
   を各プロセスがチェックして実行するマルチプロセッサ
   ・システムにおいて、 上記プロセッサの各々に、 上記共有メモリに記憶されているプロセス同期に関連す
   る所定の情報を受け取って記憶する記憶手段と、 当該プロセッサで実行されているプロセスが同期待ち状
   態に進むときに、上記記憶手段に記憶されている上記情
   報をチェックし、同期の成立の可能性に関する所定の条
   件が成立しているときに再スケジュール要求を送出する
   手段とを設け、さらに、 上記再スケジュールの要求に基づいてプロセスの再スケ
   ジュールを実行する手段を有することを特徴とするマル
   チプロセッサ・システム。
4. （４）上記所定の情報はプロセスのプロセッサへの割り
   当てに関する情報、プロセスのグループ分けに関する情
   報およびプロセスの同期に関する情報とした特許請求の
   範囲第２項または第３項記載のマルチプロセッサ・シス
   テム。
5. （５）上記スケジュール手段はオペレーティング・シス
   テムとは別個にアプリケーションごとに設けられ、再ス
   ケジュールの要求時に制御をオペレーション・システム
   に移行させないようにした特許請求の範囲第３項記載の
   マルチプロセッサ・システム。
6. （６）上記再スケジュール要求を送出する手段は、対応
   するプロセッサに対して優先度の低い外部割り込み信号
   を送出し、この優先度の低い外部割り込み信号に基づい
   て、上記オペレーティング・システムとは別個にアプリ
   ケーションごとに設けられた対応するスケジュール手段
   が再スケジュールを実行し、より高い優先度の外部割り
   込み信号で上記オペレーティング・システムへ制御を移
   管するようにした特許請求の範囲第５項記載のマルチプ
   ロセッサ・システム。
7. （７）上記プロセッサはそれぞれプライベート・キャッ
   シュを有し、それぞれのプライベート・キャッシュを介
   して共有メモリの内容をアクセスする特許請求の範囲第
   ２項ないし第６項記載のマルチプロセッサ・システム。
8. （８）複数のプロセッサで実行されているプロセスの間
   のバリア同期を実行するマルチプロセッサ・システムに
   おいて、 上記プロセッサの各々に、 上記共有メモリに記憶されているプロセス同期に関連す
   る所定の情報を受け取って記憶する第１の記憶手段と、 当該プロセッサとバリア同期される他のプロセッサを指
   定する第２の記憶手段と、 他のプロセッサの各々から同期待ちに関する信号を受け
   取る同期待ち状態信号受信手段と、当該プロセッサで実
   行されているプロセスが同期待ち状態に進むときに、上
   記第１および第２の記憶手段に記憶されている情報およ
   び上記同期待ち状態信号受信手段の出力に基づいて、当
   該プロセッサとバリア同期される他のプロセッサの中に
   同期待ちでなく、かつ実行待ちであるものがあり、その
   ままではバリア同期が成立しない場合であるかどうかを
   判別し、成立しないときは再スケジュール要求を送出す
   る手段とを設け、さらに、上記プロセッサの各々の同期
   待ち状態信号受信手段を相互に接続する同期信号バスと
   、 上記再スケジュールの要求に基づいてプロセスの再スケ
   ジュールを実行する手段を有することを特徴とするマル
   チプロセッサ・システム。
9. （９）複数のプロセッサでそれぞれ実行されているプロ
   セスの間の同期を共有メモリに記憶されている同期変数
   を各プロセスがチェックして実行するマルチプロセッサ
   ・システムにおいて、 上記プロセッサの各々に、 上記共有メモリに記憶されているプロセス同期に関連す
   る所定の情報を受け取って記憶する第１の記憶手段と、 当該プロセッサとバリア同期される他のプロセッサを指
   定する第２の記憶手段と、 他のプロセッサの各々から同期待ちに関する信号を受け
   取る同期待ち状態信号受信手段と、当該プロセッサで実
   行されているプロセスが同期待ち状態に進むときに、上
   記第１および第２の記憶手段に記憶されている情報およ
   び上記同期待ち状態信号受信手段の出力に基づいて、当
   該プロセッサとバリア同期される他のプロセッサの中に
   同期待ちでなく、かつ実行待ちであるものがあり、その
   ままではバリア同期が成立しないという条件および他の
   同期の成立の可能性に関する所定の条件が成立している
   ときに再スケジュール要求を送出する手段とを設け、さ
   らに、 上記プロセッサの各々の同期待ち状態信号受信手段を相
   互に接続する同期信号バスと、 上記再スケジュールの要求に基づいてプロセスの再スケ
   ジュールを実行する手段を有することを特徴とするマル
   チプロセッサ・システム。