JPH01239665A - マルチプロセッサの負荷分散方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概　　　要〕 共有メモリを有するマルチプロセッサシステムに係り、
さらに詳しくは、負荷分散を動的に行うマルチプロセッ
サの負荷分散方式に関し、各プロセッサごとの負荷を均
等に分割するマルチプロセッサの負荷分散方式を提供す
ることを目的とし、 共有メモリを有するマルチプロセッサシステムにおいて
、各プロセッサエレメント内のローカルメモリ内に存在
し、該プロセッサエレメント内のプロセス処理部が生成
するプロセスを順に付加し、実行されるべきプロセスを
取り出すローカルキューイング手段と、前記プロセッサ
エレメントと共有バスを介して接続される共有メモリ内
に存在し前記プロセッサエレメントで処理できなかった
プロセスを順に付加し取り出す共有キューイング手段と
、前記プロセッサエレメント内に存在し、プロセスが新
たに生成されたとき、前記ローカルキューイング手段に
ある未処理なプロセスの数に相当するチェイン長とスレ
ッシュホールド値を比較しその比較の結果によって前記
プロセスを該ローカルキューイング手段または前記共有
キューイング手段に渡す制御を行う第１の制御手段と、
前記ローカルキューイング手段にあるプロセスのチェイ
ン長がＯまたは短いとき、前記共有キューイング手段に
あるプロセスを取り入れる制御を行う第２の制御手段と
を有し、前記共有キューイング手段に前記プロセッサエ
レメントで処理しきれなかったプロセスを付け加えるこ
とを有するように構成する。

（産業上の利用分野〕 本発明は、共有メモリを有するマルチプロセッサシステ
ムに係り、さらに詳しくは、負荷分散を動的に行うマル
チプロセッサの負荷分散方式に関する。

マルチプロセッサ方式の計算機システムは、複数のプロ
セッサと各プロセッサが共有に使用する共有メモリから
構成され、複数のプロセスを同時に処理するシステムで
ある。

このような共有メモリを有するマルチプロセッサシステ
ムでは、各プロセッサごとに、負荷をなるべく均等に分
割する必要がある。しかし、一般に、あるプロセスを処
理することにより、新たに処理すべきプロセスが発生す
るような処理形態が多く、そのため処理すべき全プロセ
スを予め予測することはできないので、負荷分散を動的
に行う必要がある。

このような場合、すぐに処理できないプロセスがあれば
メモリ内に一時保持しながら次に処理するべきプロセス
を管理している。

〔従来の技術〕

このようなプロセス管理は、キューと呼ばれるＦ　Ｉ　
Ｆ　Ｏ（Ｆｉｒｓｔ−Ｉｎ−Ｆｉｒｓｔ−Ｏｕｔ）をメ
モリ内に形成し、すぐに処理できないプロセスはそのキ
ューの後部に付け加え、最初にキューに入ったプロセス
から順に取り出すというキューイング方式が利用される
。ここで、各プロセスを実行するのに必要なプロセス情
報もメモリ内に格納され、そのプロセス情報を指すアド
レスはポインタと呼ばれる。

ＦＩＦＯは各プロセス情報（以下、これも単にプロセス
という）の内容に次に実行されるべきプロセスのポイン
タを格納するというチェイン構造より形成される。そし
て、チェイン構造の先頭のプロセスから取り出され、実
行できない新しいプロセスはそのチェイン構造の後部に
付け加えられる。

この付け加える動作をアペンディングという。これがキ
ューイング操作である。キュー操作は、各プロセスにつ
き、キューに入れる時と出す時の２回行われる操作であ
り、使用頻度が高い操作である。

第５図は、従来の第１のキューイング方式に従うマルチ
プロセッサシステムのブロック図である。

同図において、１はプロセスを実行するプロセッサエレ
メント（ＰＥ）　、２は共有バス、３は共有メモリ、４
はキューである。この第１のキューイング方式では、こ
のプロセスを管理するキュー４を一つだけ有し、ＰＥＩ
が次の処理を始めようとする時に、このキュー４からプ
ロセスを取り出す方式である。この方式では、各プロセ
ッサへの負荷分散は自動的に行われることになるので、
特に負荷分散方式を組み込む必要はない。

第６図は、従来の第２のキューイング方式に従うマルチ
プロセッサシステムのブロック図である。

同図において、第５図と同じものは同じ記号で示されて
いる。この第２のキューイング方式は、各ＰＥＩがキュ
ー４を持ち、各ＰＥＩは、基本的に自分のキュー４から
自分が処理するプロセスを取り出す方式である。この方
式によれば、キュー４へのアクセスは、上の方式に比べ
てかなり軽減することになる。

〔発明が解決しようとする課題〕

しかし、従来の第１のキューイング方式では、各ＰＥＩ
からキュー４へのアクセスが集中するため、キュー操作
のたびに他のＰＥＩからのアクセスを禁止するロック操
作が必要になり、アクセス間合を起こすため、充分な速
度で各ＰＥＩへプロセスを供給することが難しいという
問題が生じていた。

また、従来の第２のキューイング方式では、ＰＥ間の負
荷分散を行うために、自分のキュー４にプロセスが無く
なった時、他のＰＥＩのキュー４からプロセスを取って
来るか、自分のキュー４のプロセスが多くなりすぎた時
、他のＰＥＩのキュー４に自分のキュー４のプロセスを
分けるなどの負荷分散が必要になる。そのために、特定
なＰＥ１だけがアイドル状態となったり逆にビジー状態
が長くなり、各ＰＥＩの負荷を均等に分割できず、また
各キュー４へのアクセスは、複数のＰＥＩから行われる
ことになり、キュー操作のたびに口・ンク操作も各キュ
ーで必要となるという問題が生じていた。

本発明は、各プロセッサごとの負荷を均等に分割するマ
ルチプロセッサの負荷分散方式を提供することを目的と
する。

〔課題を解決するための手段〕

第１図は本発明のブロック図である。

本発明は、共有メモリ９を有するマルチプロセッサシス
テムであって、ローカルキューイング手段８は、各プロ
セッサエレメント５内のローカルメモリ６内に存在し、
プロセッサエレメント５内のプロセス処理部７が生成す
るプロセスを順にアペンディングし、かつ、そのプロセ
ス処理部７で実行されるべきプロセスをプロセスチェイ
ンの先頭から取り出すものである。

共有キューイング手段１０は、エキストラ・キューと呼
ばれ、共有メモリ９内に存在し、プロセッサエレメント
５で処理できなかったプロセスをアペンディングし取り
出すもので、どのプロセッサエレメント５にも属さない
共有キューからなる。

第１の制御手段１１は、各プロセッサエレメント５に存
在し、プロセスが新たに生成されたとき、ローカルキュ
ーイング手段８にあるプロセスのチェイン長とスレッシ
ュホールド値を比較し、その比較の結果によってそのプ
ロセスをローカルキューイング手段８または共有キュー
イング手Ｂ　１０に渡す制御を行うもので、特に、自分
のローカルキューイング手段８内のプロセスが空になっ
たとき共有メモリ９のレジスタにある共有のアイドルプ
ロセッサ数をインクリメントさせる手段および、そのチ
ェイン長とそのアイドルプロセッサ数に依存するスレッ
シュホールド値を比較し、チェイン長がスレッシュホー
ルド値を越えたときはそのプロセスを共有キューイング
手段１０のチェインにアペンドし、越えなければローカ
ルキューイング手段８のチェインにアペンドする制御を
有するものである。

第２の制御手段１２は、ローカルキューイング手段８に
あるプロセスのチェイン長が空または非常に短いときに
、共有キューイング手段１０にあるプロセスを取り入れ
る制御を行うもので、取り入れた後、アイドルプロセッ
サ数をディクリメントする手段を有するものである。

〔作　　　用〕

本発明では、キューを各プロセッサおよび共有メモリ内
に一本エキストラ・キューを付け加えることにより、各
プロセッサのキュー操作からロック操作をなくし、高速
なキュー操作を提供するとともに、エキストラ・キュー
へ繋ぐ基準を、アイトルプロセッサ数に応じて変化させ
ることにより、負荷の均一化を計っている。

〔実　　施　　例〕

次に本発明の実施例を図面を参照して説明する。

第２図は、本発明のシステムの原理を示す図である。同
図において、第１図と同じものは同じ記号で示され、５
はプロセスを実行するプロセッサエレメント（ＰＥ）　
、８はローカルキュー、９は共有メモリ、１０は共有メ
モリ内にあるエキストラ・キュー、１３は共有メモリ９
内にあるアイドルプロセッサ数をカウントするＩＰカウ
ンクである。

本発明では、ＰＥＳごとのローカルキュー８とは別に、
どのＰＥにも屈さない共有キューを共有メモリ９内に一
本設ける。この共有キ二一１０をエキストラ・キュー１
０と呼ぶ。この共有キュー１０には、各ＰＥ５で処理し
きれなくなったプロセスを゛？ベンディングすることと
する。ここで、アペンディングとは、未処理なプロセス
チェインの最後にそのプロセスを結合することである。

また、キュー内にある未処理プ１コセスの数をチェイン
の区さと呼ぶことにする。

本発明ではまた、共有メモリ９には１コーカルキュ−８
が空となり負荷が無くなってしまったプロセッサ数に相
当するアイドルプロセッサ数と言うシステム変数を保持
するＩＰカウンタ１３がある。

各ＰＥ５で処理が進むことにより発生した新たなプロセ
スは、そのＰＥ５のローカルキュー８か、エキストラ・
キューＩＯのプロセスチェインにアペンディングされる
。ＰＥ５は、自分のローカルキュー８のプロセス数すな
わち、チェインの長さが小さくなると、エキストラ・キ
ューからプロセスを取って来る。もし、ローカルキュー
８が空でプロセスがなければ、そのＰＥ５はアイドルプ
ロセッサ数１３を一増やし、エキストラ・キュー１０か
らのプロセスを受は入れるのを待つ。この動作により、
動的負荷分散が達成されることになる。

この方式によれば、各ＰＥ５は、自分のローカルキニー
８かエキストラ・キュー１０に対してのみアクセスを行
い、他のプロセッサに属するローカルキュー８へのアク
セスは一切行なわない。従って、各ＰＥ５が自分のロー
カルキュー８に対してアクセスするときにはアクセス競
合がなく、ロック操作も必要なく、そのためキュー操作
が簡単な処理となる。また、エキストラ・キュー１０へ
のアクセスは、すべてのＰＥ５が行うので、ロック操作
が必要となるが、各ＰＥ５がらのアクセスは、ローカル
キュー８に対して行われる確率が極めて高く、エキスト
ラ・キュー１０へアクセスする確率は少ないので、その
ロック操作によるオーバヘッドは小さい。各ＰＥ５には
発生したプロセスをエキストラ・キュー１０のプロセス
チェインにアペンディングするか自分のローカルキュー
８のプロセスチェインにアペンディングするかを制御す
る制御手段を有する　一つ制御手段では、自分のローカ
ルキュー８のチェインの長さが、あるスレッシュホール
ド値を越えた場合、そのプロセスをエキストラ・キュー
１０のチエ−インにアペンディングし、それ以下の場合
、自分のローカルキュー８のチェインにアペンディング
する。このとき、このスレッシュホールド値は、アイド
ルプロセッサ数に反比例させる形で変化させる。このこ
とにより、本発明では、アイドルプロセッサが多い状態
はど、各プロセッサのローカルキューのチェインの長さ
が短いうちに、エキストラ・キューのチェインにプロセ
スがアペンディングすることになる。そして、そのプロ
セスは、アイドルになったＰＥ５へ分散される確率が高
く、従ってより均一な負荷分散が達成される。

第３図は本発明のシステム構成図である。同図において
、第１図と同じものは同じ記号で示され、５はプロセス
を実行するプロセッサエレメント（ＰＥ）、９は共有メ
モリであり、さらに、各ＰＥ５において、８′はローカ
ルキューが形成されるローカルメモリ、１４はローカル
キュー管理レジスタ、１５はチェイン長レジスタ、１６
はスレッシュホールドレジスタ、１７はエンキュー機構
、１８はデキュー機構、１９はプロセス実行部、２０は
プロセス生成部、さらにまた、共有メモリ９において、
２１はエキストラ・キュー管理しジスク、２２はロック
レジスタ、２３はＩＰレジスタである。

ローカルメモリ８′では、未処理の各プロセスがチェイ
ン構造になっており、隣接するプロセスは前段のプロセ
ス情報内に後段のプロセスの先頭アドレス（ポインタ）
を格納することにより、結合されているものとする。各
ＰＥ５は、自分のローカルキュー８が空でない間は、そ
のローカルキュー８を格納しているローカルメモリ８′
をアクセスし、プロセスを読み出し処理する。そのため
に、デキュー機構１７は、ローカルキニーのチェイン長
レジスタ１５が零でなければ、キュー管理しジスク１４
にプロセス読み出しの情報を与え、ローカルキュー８の
チェインの先頭にあるプロセスを取り出し、そのプロセ
スをプロセス実行部１９に与える。このとき、デキュー
機構１７は、キュー管理レジスタ１４からプロセスを取
り出すとき、チェインの長さを格納するチェイン長レジ
スタ１５の値を−減らす。プロセス実行部１９における
プロセス実行中あるいは実行後に、プロセス生成部２０
は新しいプロセスを生成し、もし、新しいプロセスがあ
れば、それをエンキュー機構１８に与える。エンキュー
機構１８では、新たに生成されたそのプロセスをキュー
管理レジスタ１４を介して、普通はローカルキュー８の
チェインの後部にアペンディングし、その後、ポインタ
を先頭のプロセスに移してそのプロセスの読み出しの準
備を行う。このとき、エンキュー機構１８がキュー管理
しジスク１４に、新しいプロセスの数を与えると、チェ
イン長レジスタ１５内のチェイン圏値がその数だけ増え
る。

このように、自分のローカルキュー８が空でない間、そ
して、チェイン長がスレッシュホールド値以下であれば
、各ＰＥ５は、デキュー機構１７、プロセス実行部１９
、プロセス生成部２０、エンキ工−殿ｔ１３１８の順に
制御を移して行く。もし、デキュー機構１７がローカル
メモリ８からプロセスを取り出そうとする時、ローカル
キュー８が空でプロセスがない場合には、アイドル状態
となるので、アイドルプロセッサ数を格納するＩＰレジ
スク２３の値を一増やす。そして、デキュー機構１７は
、共有メモリ９にあるエキストラ・キュー管理レジスタ
２１にプロセス要求の情報を与え、エキストラ・キュー
管理レジスタ２１を介して共有メモリ９内にあるプロセ
スを取り出す。この時、その取り込み終了後アイドル状
態でなくなるので、ＩＰレジスタ２３の値を−減らす。

エキストラ・キュー管理レジスタ２１にプロセス要求の
情報を与えたとき、共有メモリ９内にプロセスがない場
合には、そのまま、エキストラ・キュー管理レジスタ２
１にプロセスが繋がれるのを待ち、繋がれたらプロセス
取り出しから再開する。

また、エンキュー機構１８が、プロセスの書込み要求を
ローカルキュー管理レジスタＩ７に繋げようとする時、
キューのチェイン長レジスタ１５の値がスレッシュホー
ルドレジスタの値より大きければ、同様にプロセスの書
込み要求をローカルキュー管理レジスタ１４でなく、共
有メモリ９のエキストラ・キュー管理レジスタ２１に繋
げる。

エキストラ・キュー管理レジスタ２１．ＩＦ）レジスタ
２３の値を変更し、共有メモリ内のプロセスを取り出す
ときには、他のＰＥ５から共有メモリ９に対して行うプ
ロセス要求を禁止する必要があり、そのためのロック操
作は、互いのＰＥＳ間で排他制御となる。ＰＥ５が共有
メモリ９にプロセス要求を行う場合、共有メモリ９にあ
るロックレジスタ２２の値をオンにしてからプロセスを
読出し、読出し後ロックレジスタ２２の値をオフにする
。ロックレジスタの値がオンであれば、他のＰＥからの
プロセス要求は許可されない。また、プロセス要求時に
、もしロックレジスタ２２の値がすでにオンすなわち、
他のＰＥ５が共有メモリ９を使用している時には、ロッ
クレジスタ２２の値がオフになるのを待つ。

なお、ここで、スレッシュホールド値は、ある一定値、
例えば、１０であってもよいが、ＩＰの値によって変化
させる場合、例えば、 スレッシュホールド値−ａ＋ｂ／（ＩＰ＋１）とすれば
よい。ここで、ａ、ｂは定数である。このようにすれば
、アイドルプロセッサが多いほど１゛Ｊ−カルキューの
チェイン長が短いうぢにプロセスを共有メモリ９を介し
て他のＰＥに与えることが可能となる。

第４図は本発明のフローチャートである。

本発明の各ＰＥ５では、プロセス実行部１９でプロセス
が実行されている間、もしくは実行後に、ステップ２４
でローカルキューが空であるかどうかを判断する。もし
、空でなければ、ステップ２５で、そのプロセス実行中
に新しいプロセスが生成されたかどうかを判断し、生成
されたならば、生成された新しいプロセスをエンキュー
機構１８を用いてローカルキュー８′にアペンディング
するためにステップ２６を介してステップ２７に移る。

新たなプロセスが生成されなければ、そのまま、ステッ
プ３２に移る。ステップ２６では、ローカルキューのチ
ェイン長がスレッシュホールド値を越えるかどうかを比
較し、越えなければ、ステップ２７に移り、エンキュー
機構１８を用いてローカルキュー８にプロセスをアペン
ディングする。もし、チェイン長がスレッシュホールド
値を越える場合は、共有メモリ９内のプロセスチェイン
に７ペンデイングするためにステップ２８に移る。ステ
ップ２８では、プロセ；この書込み要求が許可されるか
どうかをロックレジスタ２２の値から判Ｉ折し、許可さ
れなければされるまで待つ。許可されれば、ステップ２
９に移って、他のＰＥ５からの共有メモリ９のアクセス
を禁止するため、ロックレジスタ２２の値をセットしロ
ック操作を実行する。その後、ステップ３０で、共有メ
モリ９内のエキストラ・キュー１０にプロセスをアペン
ディングし、ステップ３１でロックをはずす。

その後、新しいプロセスをステップ３２でローカルメモ
リ８から読み出し、ステップ３３でそのプロセスを処理
し、初めの動作に戻る。

また、ステップ２４で、ローカルキュー８が空であった
場合は、アイドル状態となるので、ステップ３４でアイ
ドルプロセッサ数ＩＰをインクリメントし、共有メモリ
９内のプロセスを取りに行く。ステップ３５で、他のＰ
Ｅ５からの共有メモリ９に対するプロセスアクセス要求
に対して、ロック可能かどうかをロックレジスタ２２の
値から調べる。ロック可能でなければ、可能になるまで
待ち、ロック可能になれば、ロックして、ステップ３７
に移り、共有メモリ９のエキス■・う・キュー１０から
プロセスを取り出し、それをローカルキュー８に入れ、
ステップ３８で、ロックをはずす。この動作により、Ｐ
Ｅ５のローカルメモリ８は空でなくなるから非アイドル
状態となり、そのため、ステップ３９で、アイドルプロ
セッサ数をディクリメントする。そして、ステップ３２
に移りローカルキュー８からプロセスを取り出し処理す
る動作に移り、元に戻る。

〔発明の効果〕

本発明によれば、各プロセ・７すごとにキューを分ける
ことにより、アクセス競合をなくし、各プロセッサのキ
ューのキュー操作にロック操作が必要なくなる。従って
、各プロセッサのキューに対して、高速なキュー操作を
実現できる。

また、アイドルプロセッサ数に応じて、エキストラ・キ
ューへ繋ぐ基準を変えることにより、負荷の均一分散化
が計られる。

【図面の簡単な説明】

第１図は本発明のブロック図、 第２図は本発明のシステムの原理を示す図、第３図は本
発明の一実施例のシステム構成図、第４図は本発明の一
実施例のフローチャー１・、第５図は従来の第１のキュ
ーイング方式に従うマルチプロセッサシステムのブロッ
ク図、第６図は従来の第２のキューイング方式に従うマ
ルチプロセッサシステムのブロック図である。 ■・・・プロセッサエレメント、 ２・・・共有バス、 ５・・・プロセッサエレメント、 ６・・・ローカルメモリ、 ７・・・プロセス処理部、 ８・・・ローカルキューイング手段、 ９・・・共有メモリ、 １０・・・共有キューイング手段、 １１・・・第１の制御手段。 特許出願人　　　富士通株式会社 本腫唱のシステム原工里を示Ｔ図 第２図 本格幅のシステム講瓜図 第３図 従来の第１のキューイング 第５図

Claims (1)

1. 【特許請求の範囲】 １）共有メモリを有するマルチプロセッサシステムにお
   いて、各プロセッサエレメント（５）内のローカルメモ
   リ（６）内に存在し、該プロセッサエレメント（５）内
   のプロセス処理部（７）が生成するプロセスを順に付加
   し、実行されるべきプロセスを取り出すローカルキュー
   イング手段（８）と、 前記プロセッサエレメント（５）と共有バス（２）を介
   して接続される共有メモリ（９）内に存在し前記プロセ
   ッサエレメント（５）で処理できなかったプロセスを順
   に付加し取り出す共有キューイング手段（１０）と、 前記プロセッサエレメント（５）内に存在し、プロセス
   が新たに生成されたとき、前記ローカルキューイング手
   段（８）にある未処理なプロセスの数に相当するチェイ
   ン長とスレッシュホールド値を比較しその比較の結果に
   よって前記プロセスを該ローカルキューイング手段（８
   ）または前記共有キューイング手段（１０）に渡す制御
   を行う第１の制御手段（１１）と、 前記ローカルキューイング手段（８）にあるプロセスの
   チェイン長が０または短いとき、前記共有キューイング
   手段（１０）にあるプロセスを取り入れる制御を行う第
   ２の制御手段（１２）とを有し、 前記共有キューイング手段（１０）に前記プロセッサエ
   レメント（５）で処理しきれなかったプロセスを付け加
   えることを特徴とするマルチプロセッサの負荷分散方式
   。 ２）前記第１の制御手段（１１）は、自分のローカルキ
   ューが空になったとき、前記共有メモリ（９）内にある
   共有のアイドルプロセッサ数をインクリメントさせる手
   段と前記チェイン長を前記共有のアイドルプロセッサ数
   に依存する共有スレッシュホールド値と比較する手段を
   有することを特徴とする請求項１記載のマルチプロセッ
   サの負荷分散方式。 ３）前記第２の制御手段（１２）は、前記共有キューイ
   ング手段（１０）にあるプロセスを取り入れた後、前記
   共有のアイドルプロセッサ数をディクリメントする手段
   を有することを特徴とする請求項１記載のマルチプロセ
   ッサの負荷分散方式。