JPH01237872A - 負荷分散処理方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔目次〕 ４既要 産業上の利用分野 従来の技術 発明が解決しようとする課題 課題を解決するための手段 作用 実施例 発明の効果 〔概要〕 複数のノードをネットワークで結合した並列マシンにお
ける負荷分散処理方式に関し。

分散すべき負荷である複数の処理単位間の関係及び隣接
ノードの稼動状況を知ることにより効率良く負荷分散を
行うことを目的とし。

複数の処理単位の間の関係を示す距離指標を設定する距
離指標設定部と、自己のノードの多値稼動率を設定し、
かつ、これを隣接する他のノードに知らせる稼動率設定
部と、自己のノードに割当てられた処理単位を前記隣接
する他のノードに分散する処理を行う分散処理部と、前
記自己のノードに割当てられた処理単位を前記距離指標
と共に格納する記憶部とを複数のノードの各々が備え。

他のノードでの実行を許す距離指標を持つ処理単位を分
散処理の対象とし、自己のノードより小さい多値稼動率
の隣接するノードが存在する時に。

前記分散処理の対象とされた処理単位を当該隣接するノ
ードに分散するように構成する。

〔産業上の利用分野〕

本発明は負荷分散処理方式に関し、更に詳しくは、複数
のノードをネットワークで結合した並列マシンにおける
負荷分散処理方式に関する。

コンビニーりの如きデータ処理装置処理能力。

例えば計算速度等を向上させるため、並列処理が行なわ
れる。即ち、１つの仕事が複数の処理単位に分割され、
これらが複数のノード（プロセッサあるいは複数プロセ
ッサの塊）によって並列に処理される。

〔従来の技術〕

並列マシン（計Ｘりにおいて並列処理を効率的に行うた
めには２部分的にではなく全体的な稼動状態を持続する
必要がある。即ち、１つのノードにだけ負荷（処理単位
）が集中することがないように、均等に各ノードに負荷
を分散させる必要がある。一方、負荷の分散のためのノ
ード間の通信が頻繁に行われると、処理のための通信が
阻害され却って効率が低下する。

そこで、従来は、ユーザが処理単位の分割や各ノードへ
の割当を静的に行っていた。即ち、処理の実行前に予め
ユーザがプログラムをいくつかの処理単位に分割してノ
ードに割当てる。一方、ノードの処理時における実際の
負荷の大きさに拘わりなく　（負荷の大きさによって割
当てを変更することなく）予め割当てられたノードが処
理を行う。

ところが、前述の技術は、処理前にユーザが大きなプロ
グラムを分割することは困難である。（極めて負担が大
きく耐えられない）という問題を有している。また、前
述の技術は本質的に並列処理には向いていない。即ち、
並列処理の効率化のためには、各ノードの処理時におけ
る実際の負荷の大きさに応して（即ち動的に）、処理単
位の割当てを変更する必要がある。

そこで、各ノードの稼動状況に応じて負荷を分散させる
（処理単位の割当てを逐次行う）ために。

次のことを行っていた。即ち、各ノードの稼動状況を、
忙しい（処理すべき処理単位がある）状態を１．暇な（
処理すべき処理単位がない）状態を０とする２値稼動率
によって表す。そして、状態”１′のノードから状態１
０”のノードへ、２値稼動率の変化に応じて、適宜、処
理単位の割当てを変更する。これにより、負荷が分散さ
れ、並列処理の効率が改善される。

〔発明が解決しようとする課題〕

前述の２値稼動率を用いた従来技術は、ノードの数が少
ない場合には有効な技術である。即ち。

ノードの数が少ないと、負荷の分散に際して、全てのノ
ードを同等に扱うことができ、また、実装（ハードウェ
ア）の面でも各ノードが他の全てのノードに対して互い
の２値稼動率及び処理単位を送受する手段を設けること
ができる。

ところが、ノードの数が多い場合に前述の従来技術を適
用しようとしても、実装面の負担が太きくなり過ぎ、実
質的に不可能である。

そこで、各ノードが隣接ノードとのみ処理単位の送受を
行うように構成した場合、互いに関係のある処理単位同
士は近くのノードで処理することが通信コストの面から
重要になる。即ち稼動状況のみを考慮した負荷の分散に
よっては、負荷の分散により却って効率が低下すること
がある。

また、各ノードが隣接ノードとのみ２値稼動率の送受を
行うように構成した場合、第５図に示す如き問題を生じ
る。

即ち、多数のノードのうち３つのノードａ乃至Ｃについ
て、ノードａには処理単位Ａ、Ｂ及びＣが、ノードｂに
は処理単位りが各々割当てられ。

ノードＣには割当てが無かったとする。ノードａ及びｂ
の２値稼動率は”１”である。このような状態で、ノー
ドａはノードｂの２値稼動率が“１”であるからノード
ｂに対する負荷の分散は行なわない。一方、ノードａは
ノードＣの２値稼動率を知ることができないから、ノー
ドＣに対する負荷の分散は行えない。従って、ノードＣ
は暇なままであり、適正な負荷の分散がなされない。

本発明は１分散すべき負荷である複数の処理単位間の関
係及び隣接ノードの稼動状況を知ることにより効率良＜
　ＳＬ荷分散を行うようにした負荷分散処理方式を提供
することを目的とする。

〔課題を解決するための手段〕

第１図は本発明の原理構成図であり１本発明による並列
マシンの概略を示している。

第１図（Ａ）において、１はプロセッサ（データ処理装
置）あるいは複数プロセッサの塊であるノード５２は分
散すべき負荷である処理単位の管理及び分散処理を行う
分散処理部、３はノード１の多値の稼動率ＰＥを設定す
る稼動率設定部、４は各処理単位について他の処理単位
との関係の深さを示す距離指標を設定する距離指標設定
部、５は分散処理部２の管理の下で処理単位をそれに対
応する距離指標と共に格納する記憶部、６はノード１の
入出力の制御を行い他の隣接するノードとの通信を行う
入出力制御部である。

稼動率設定部３は、ノード１に割当てられ分散処理部２
が管理する処理単位の数に基づいて、ノード１の稼動率
ＰＥを設定する。この処理単位は。

ノードｌで発生したものの他に、他のノードから割当て
られたものを含む。稼動率Ｐ、は、“０”と“１”の２
値ではなく２例えば処理単位の数に比例した多値をとる
ものとされる。

距離指標設定部４は、ノード１で発生した各処理単位に
ついて、他の処理単位との関係をコンパイル時に予測し
て距離指標を設定する。即ち、距離指標設定部４は、ノ
ード１内のコンパイラ（図示せず）内に設けられる。コ
ンパイラは、ノード１に対して１つの仕事（プログラム
）の入力があった時、これをコンパイルすると共に所定
の大きさの複数の処理単位に分割する。このノード１で
生じた複数の処理単位における他からの引数の数やデー
タ構造等に基づいて、距離指標設定部４は例えば最も関
係が深い処理単位の関係を“０”とする。そして、距離
指標“０”の処理単位は１例えば、同一のノード１で実
行すべきである旨を指示するものとされる。距離指標“
ｌ”以上の処理単位は、ノード１以外のノードでの実行
を許す（可能である）旨を示し１例えば“２”はノード
１の２つ隣りまでのノードの範囲内にあるノードでの実
行を指示するものとされる。

分散処理部２は、処理単位を記ｔａ部５に格納しこれを
管理する。即ち、ノード１で生じた処理単位は距離指標
設定部４で求められた距離指標を付して格納され、他の
ノードから割当てられた処理単位は対応する距離指標と
共に受信され、格納される。分散処理部２が管理する処
理単位は、ノード１に割当てられノード１により実行さ
れる。

また２分散処理部２は、距離指標及び稼動率に基づいて
、負荷である処理単位を人出力制御部６を介して他のノ
ードへの送信又は他のノードからの受信を行い５分散処
理を行う。

第１図（Ｂ）において、１１ないし１５は並列マシンを
構成するノードであり、ノード１に対応するものである
。

各ノード１１ないし１５は第１図（Ａ）図示のノード１
と同様の構成を有し１図示の如く隣接するノードとネッ
トワーク（回線）により接続されて並列マシンを構成す
る。

隣接する２つのノード間では、互いに他方の稼動率が自
己の分散処理部（２）に知らされるようにされ、また、
処理単位（距離指標を伴う）の送受を行うようにされる
。隣接関係にない２つのノード５例えばノード１１と１
３との間においては。

稼動率の送受は行なわれず、処理単位の送受も直接行な
われることはない（ノード１２を介して行なわれること
はある）。

〔作用〕

ノード１１に入力された仕事は、コンパイルされ、複数
の処理単位に分割され、ノード１１の距離指標設定部４
によって各処理単位毎に距離指標を付加され、ノード１
１の記ｔｆｉ部５に格納される。

当該仕事の実行時に、ノード１１の分散処理部２により
、ノード１１の隣接ノード１２，１４゜１５に対して処
理単位の分散処理が行なわれる。

即ち、ノード１１の分散処理部２は、それが管理する２
１９部５を参照して各処理単位の距離指標を知り、また
、ＶＡ接ノード１２．１４．１５の稼動率を知る。そし
て、ノード１１の分散処理部２は。

（１）自己のノード１１　（の２１９部５）に、他のノ
ード１２ないし１５での実行を許す（可能である）旨を
示す距離指標を持つ処理単位が存在し。

かつ。

（２）　（自己のノードの稼動ａ）−＜Ｖ＝接ノードの
稼動率）〉１　（または≧２）なる隣接ノート（自己よ
り小さい稼動率を持つＩ’Ａ接ノード）が存在する時５
条件（１）に合う処理単位を分散処理の対象とし２条件
（２）に合う隣接ノード（１２゜１４．１５）へ分散さ
せる。

以上に加えて、ノード１１の隣接ノード（例えば１２）
の分散処理部２も、また、前述と同Ｉ策の分散処理を行
う。即ち、ノード１１からノード１２へ分散された処理
単位及びノード１３が各々前記条件（１）及び（２）を
満たせば、当該処理単位は更にノード１３に分散される
。なお、この時。

ノード１２の分散処理部２は、当該処理単位がノード１
１から分散されてきた（受信した）際にその距離指標を
所定の値（この場合は１）だけ減じる。

処理単位の分散は、前記条件（１）及び（２）を満たす
処理単位及びノードが存在する限り、各ノードにおいて
実行される。

処理単位毎に距離指標を設定し、これを用いて条件（１
）により分散処理を行うことにより、関係の深い処理単
位同士程より近く　（又は同一）のノードで実行するこ
とができ、また５分散の距離を適切なものとすることが
できる。

処理単位の数に応じて忙しさのレベルを示す多値の稼動
率を設定し、これを用いて条件（２）により分散処理を
行うことにより、処理単位の各ノードへの分散を滑らか
に行うことができ、また、均等に近い分散を行うことが
できる。

従って、距離指標及び多値稼動率を用いることにより１
通信コストを最適化し、処理単位の分散をより均等化し
た効率的な負荷分散処理が可能となる。

〔実施例〕

第２図は本発明の詳細な説明図であり、第１図（Ａ）４
こ概略対応するものである。

第２図において、２１は処理ｊｉＬ位管理部、２２ない
し２４は減算器、２５は比較器、２Ｇは分散要求制御部
、２７は処理単位入出力制御部であり。

これらは分散処理部２を構成するものである。

５１は距離指標領域、５゛２はキュー領域、５３は処理
醪位（Ｚ納領域であり２　これらは記憶部５を構成する
ものである。６１は出力制御部、６２は入力制御部であ
り入出力制御部６をｔ１４成するものである。

第１図（Ｂ）図示のノード１１ないし１５の各々が第２
図に示す構成をＯｊｎえるものであるが、以下の説明に
おいて屹第２図はノード１１について示しているものと
する。

分散処理の対象であり負荷である処理単位は。

記憶部５の処理単位格納領域５３に？３柄される。

記憶部５は、処理単位管理メモリであり、処理単位管理
部２１によって管理され、その入出力は処理単位人出力
制御部２７を介して行なわれる。

距離指標の異なる処理単位Ａ、Ｂ、Ｃ及びＤは。

図示の如く、距離指標別に管理される。即ち、距離指標
領域５１に順に距離指標０．１．・・・が格納され、各
距離指標に対応するようにキュー領域５２が区切られ、
各処理単位ＡないしＤは自己の距離指標に対応するキュ
ーにつながれる。

処理単位管理部２１は稼動率設定部３を含み。

記ｔα部５を参照して自己（ノード１１）の稼動率ＰＥ
＋を設定し、管理する。

減算器２２．２３及び２４は、自己の稼動率ＰＥＩから
隣接するノード１２，１４及び１５の稼動率Ｐ　Ｅ２＋
　　Ｐ　Ｅ４及びＰＥＳを減し、その差を求める。

比較器２５は減算器２２ないし２４の出力のうち最大の
もの、即ち、稼動率の差が最大のノードを選ぶ。そして
、そのノード及び差の値を出力する。

分散要求制御部２６は定期的に比較器２５の出力を参照
する。そして、前記差の値が１より大きい（２以上）場
合に、処理単位管理部２１に分散要求信号を送り、また
２分散すべき処理単位をどのノードに送るか（比）咬器
２５で選ばれたノードに送ること）を指示する分散制御
信号を出力制御部６１に送る。

以上は、主として、前記条件（２）の処理を行うための
ものである。

処理単位管理部２１は１分散要求信号に応してキュー領
域５２をサーチし、処理単位のつながれているうちで最
大の距離指標に対応するキューを選ぶ。そして、処理単
位管理部２１は、処理単位入出力制御部２７に、前記最
大の距離指標及びこれに対応する処理単位を読出させ、
出力制御部６１に送信させる。この後、処理単位管理部
２１は、処理単位入出力制御部２７からの送信完了通知
を受けて、キュー領域５２から当該処理単位を切離し、
フリーの空間とする。

なお、処理単位Ａ及びＢの如く、距離指標が“０”のも
のしか存在しない場合は１分散要求信号があったにも拘
らず、処理単位管理部２１は前述の処理を行なわない。

以上は、主として、前記条件（１）の処理を行うための
ものである。

また、処理単位管理部２１は、自己（ノード１１）の中
央処理装置（ＣＰ　Ｕ、図示せず）からの要求に応して
キュー領域５２をサーチし、処理単位のつながれている
うちで最小の距離指標に対応するキューを選ぶ。そして
、処理単位管理部２１は、処理単位人出力制御部２７に
、前記最小の距離指標及びこれに対応する処理単位を読
出させ、中央処理装置に送信させる。この後、処理単位
管理部２１は、処理単位人出力制御部２７からの送信完
了通知を受けて、キュー領域５２から当該処理単位を切
乱し、フリーの空間とする。

以上により、当該処理単位は、自己（ノード１１）に割
当てられたものとみなされ、自己の中央処理装置におい
て実行される。

処理単位入出力制御部２７は、距離指標を伴う処理単位
を、他のノードへ分散するために出力制御部６１に出力
し、また、自己が実行するために自己の中央処理装置に
出力する。この出力に伴って記憶部５において実行され
る後処理のための情報が５処理車位入出力制御部２７に
おいて作成され、送信完了通知とされ処理単位管理部２
１に送られる。

また、処理単位入出力制御部２７は、入力制御部６２を
介して他ノードから分散（転送）されてきた距離指標を
伴う処理単位を、記憶部５に格納する。この時、処理単
位人出力制御部２７は、転送されてきた距離指標から“
１”を滅し、これに対応するキュー領域５２に転送され
てきた処理単位をつなくように処理単位管理部２１に要
求する。

これにより２分散処理を２分散されてきた処理単位につ
いても、それを意識することなく行うことができる。

入力制御部６２は、他のノードから分１ｉされてきた処
理単位（距離指標を伴う）を処理単位入出力制御部２７
に送信する。また、隣接する他のノード１２，１４及び
１５から常時送信されているその稼動率Ｐ　Ｅ２１　　
Ｐ　Ｅ４及びＰＥＳを、各々、減算器２２．２３及び２
４に送出する。

出力制御部６１は、処理単位入出力制御部２７から出力
された処理単位（距離指標を伴う）を。

分散制御信号の指示する他の隣接ノードに送信する。ま
た、隣接する他のノード１２，１４及び１５に対して常
時自己の稼動率Ｐｔｌを送信する。

第３図及び第４図は分散処理説明図であり、ノード１１
ないし１３にのみ着目した図である。

第３図（Ａ）に図示の如く、ノード１１に入力された１
つの仕事が４つの処理単位人ないしＤに分割され、かつ
、処理単位Ａが処理単位Ｂをまた処理単位Ｂが処理単位
Ｃ及びＤを呼出すプログラムであったとする。そして、
第３図（Ｂ）に図示の如く、各処理単位ＡないしＤの関
係の深さが線の数で代表されるようなもの（数が多い程
深い関係にある）であったとする。

このような場合、ノード１１内のコンパイラが当該仕事
についてコンパイルする時に、ノード１１の距離指標設
定部４は各処理単位Ａ、Ｂ、Ｃ及びＤに各々“０”、“
０”、“１”及び２”という距離指標を付加する（第３
図（Ｂ））。ここで、各距離指標は他から呼出されるこ
とのない（または少ない）処理単位へを基準として与え
られる。処理単位Ｂの“０”は処理単位Ａと同一のノー
ドでの実行を指示し、また処理単位Ｃの“１”及び処理
単位りの“２”は、各々、処理単位Ａが実行されるノー
ド１１から１のｆｆ［ｉ′ｉ４（］つ隣り）にあるノー
ドでの実行及び２以下の距濯にあるノードでの実行を指
示している。

コンパイルされ分、与すされた各処理単位ＡないしＤは
、距離指標と共に、−旦、ノード１１の記憶部５に格納
される。この時１第２図図示の如く。

例えば、処理単位Δ及びＢは距離指標“０”に対応する
キュー領域５２につながれて、格納領域５３に格納され
る。

次に、当該仕事の実行時に負荷分散処理が第４図に示す
ように行なわれる。

第４図（Ａ）に示す如く５ノード１１の処理単位管理部
２１　（稼動率設定部３）は、処理単位ＡないしＤの存
在により、自己（ノード１１）の稼動率ＰＥＩを４と設
定する。この時、ノード１４及び１５の稼動率ＰＥ４及
びＰＥ５は共に３以上であり。

負荷分散の対象ノードから除かれたものとする。

また、ノード１２及び１３の稼動率Ｐ０及びＰＥ３は共
にＯであったとする。

この場合、Ｐｔ＋　　ＰＥ２＝４＞１となり条件（２）
を満たすので、分散要求制御部２６は分散要求信号及び
分散光としてノード１２を指示する分散制御信号を送出
する。分散要求信号に応じて、処理単位管理部２１は、
最大の距離指標の処理単位りを処理単位入出力ｉ！＋！
Ｉ　ＪＢ部部子７介して出力制御部６１に送信する。出
力制御部６１は、この処理単位りを距離指標“２”と共
にノード１２に送信する。

処理単位りの分散（転送）を受信したノード１２は１．
その入力制御部６２により距離指標を“１゛とした後、
その記ｔｔ１部５内において、対応するキュー領域５２
につなぎ格納領域５３に格納する。これにより、第３図
（Ｂンの如く、ノード１２の処理単位管理部２１はＰｔ
ｚ＝１とする。−方２ノード１１において、処理単位り
がキューから切離され、ＰＥ１＝３とされる。

次に、ノード１１において、再び分散要求制御部２６が
比ｖ、２ｍ２５（７）出力を参照すると、ｐ、、−ＰＥ
Ｚ＝２＞１であることを知る。

これにより、前記と同様の分散処理が行なわれ。

第４１２１　（Ｃ）図示の状態となる。即ち、最大の距
離指標“ｌ”の処理単位Ｃがノード１１からノード１２
へ分散され、ＰＥＩ＝２．ＰＥＺ＝　２とされ。

また、ノード１２における処理単位Ｃの距離指標が“０
”とされる。

次に、ノード１２において、その分散要求制御部２６が
比較器２５の出力を参照すると１ＰＥ２−Ｐｔｚ＝２＞
１であることを知る。

これにより、前記と同様の分１１夕処理が行なわれ。

第４図（Ｄ）図示の状態となる。即ち、ノード１２にお
ける最大の距離指標“１”の処理単位りがノード１２か
らノード１３へ分１ｉされ、ＰＥ２＝１、ＰＥ３＝１と
され、また、ノード１３における処理単位りの距離指標
が“０”とされる。

ノード１１からノード１２への処理単位Ｃ及びＤの分散
処理と並行して、ノード１１において。

処理単位Ａ及びＢが実行される。ノード１１の中央処理
装置からの要求により、最小の距離指標“Ｏ”の処理単
位Ａ及びＢが中央処理装置に送信され実行される。

同様に、ノード１２からノード１３への処理単位りの分
散処理と並行して、ノード１２において。

処理単位Ｃが実行される。

なお１例えば、第４図（Ａ）において処理単位りの距離
指標が“ｌ”であれば、Ｐｔｚ＝２及びＰＥｚ−０に拘
わりなく９分散処理は第４図（Ｃ）の状態までで終了す
る。一方、第４図（Ｃ）においてｐＥｉ＝１（またはそ
れ以上）であれば、ノード１２における処理単位りの距
離指標が′１”であるのに拘わりなく１分散処理は第４
図（Ｂ）の状態までで終了する。

以上本発明を実施例により説明したが１本発明はその主
旨に従い種々の変形が可能である。

例えば＋　　ＰＥｌ　〉Ｐ　Ｅ４＋　　Ｐ　Ｅ、である
時ｌＰＥ４とＰＥＳとを比較して小さい稼動率のノード
に対して。

ノード１１から負荷を分散するようにしてもよい。

また、　　ＰＥＩ＞　Ｐ　Ｅ４１　　ＰＥＡ、　　Ｐｔ
＋である時＋　　Ｐ　Ｅ　ａと（Ｐ０＋ＰＥ３）とを比
較して小さい方に負荷を分散してもよい。また、各ノー
ドが複数のプロセッサからなり、これらの間では１つの
プロセ、すが他の全てのプロセッサと稼動率及び処理単
位の送受ができるものであってもよい。

〔発明の効果〕

以上述べたように１本発明によれば、各処理単位につい
て距離指標を設定し、自己及び隣接ノードの多値の稼動
率を比較することによって１通信コストを最適化し、処
理単位の分１１シをより均等化した効率の良い負荷分散
処理を行うことができ。

並列処理におけるノードの使用率を高め並列マシンの性
能を向上することができる。

【図面の簡単な説明】

第１図は本発明の原理構成図。 第２図は実施例説明図。 第３図及び第４図は分散処理説明図。 第５図は従来技術の問題点説明図。 ■はノード、２は分散処理部、３は稼動率設定部、４は
距離指標設定部、５は記憶部、６は入出力制御部、１１
ないし工５はノード。

Claims (1)

1. 【特許請求の範囲】 複数のノード（１１ないし１５）が１つの仕事から分割
   された複数の処理単位を並列に実行する並列マシンにお
   いて、 前記複数の処理単位の間の関係を示す距離指標を、前記
   複数の処理単位の各々について設定する距離指標設定部
   （４）と、 自己のノード（１１）に割当てられた処理単位に基づい
   て自己のノードの多値稼動率を設定し、かつ、これを隣
   接する他のノード（１２、１４、１５）に知らせる稼動
   率設定部（３）と、 前記自己のノード（１１）に割当てられた処理単位を前
   記隣接する他のノード（１２、１４、１５）に分散する
   処理を行う分散処理部（２）と、 前記自己のノード（１１）に割当てられた処理単位を前
   記距離指標と共に格納する記憶部（５）とを前記複数の
   ノード（１１ないし１５）の各々が備え、前記分散処理
   部（２）が、前記記憶部（５）を参照して、他のノード
   （１２ないし１５）での実行を許す距離指標を持つ処理
   単位を分散処理の対象とし、前記分散処理部（２）が、
   前記自己のノード（１１）の多値稼動率と前記隣接する
   ノード（１２、１４、１５）の多値稼動率とを比較して
   自己のノード（１１）より小さい多値稼動率の隣接する
   ノードが存在する時に、前記分散処理の対象とされた処
   理単位を当該隣接するノードに分散する ことを特徴とする負荷分散処理方式。