JPH07141302A - 並列計算機における負荷分散方法 - Google Patents

Abstract

(57)【要約】 【目的】 複数のクラスタを、通信ネットワークに接続
した並列計算機において、クラスタ内のＰＥが動的負荷
分散を行なう際の待ち時間を削減する。 【構成】 各クラスタに設けられた通信用プロセッサ１
５０において、定期的に、負荷分散の候補となる他のク
ラスタの番号１５７をランダムに選択し、分配候補クラ
スタの負荷値と自クラスタの負荷値と比較する。その結
果分配候補クラスタの負荷値が小さい場合には負荷分配
フラグ１５６を可とし、大きい場合には負荷分配フラグ
１５６を不可とする。各クラスタのＰＥが後に負荷分配
するときには、この通信用プロセッサが決めた負荷分配
候補クラスタ番号１５７と負荷分配の可否を表すフラグ
１５６の値に応じて負荷分散を行なう。 【効果】 動的負荷分散に必要となる情報をあらかじめ
通信用プロセッサが調べておくことにより、クラスタ内
のＰＥが負荷分散を行なう際にはネットワークを介した
情報の収集が不要になり、負荷分散の待ち時間をなくす
ことが可能である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は複数のプロセッシング・
エレメントからなる並列計算機の動的な負荷分散方式に
係り、特に主記憶共有のプロセッサからなるクラスタを
ネットワークにより接続した、階層構造を持った並列計
算機において、負荷の均一分配に好適な負荷分散方式に
関する。

【０００２】

【従来の技術】計算機性能の飛躍的向上に関して、多数
台のプロセッシング・エレメントを並列動作させる、並
列計算機が有望視されている。以下ではプロセッシング
・エレメントを略してＰＥと呼ぶ。並列計算機において
は負荷となるプロセスを複数のＰＥに均一に分散させる
ことが重要である。全ＰＥが等しく処理を負担した場合
に最も性能が高くなるのであり、負荷の偏りが大きくな
ればなるほど性能が低下する。また、並列計算機におい
ては、並列化オーバヘッド、つまりプロセスのＰＥ間の
分配に伴う通信処理の低減も重要な課題である。ＰＥ間
で頻繁に負荷値（実行待ちプロセス数）をやり取りし、
常に負荷の少ないＰＥにプロセスを分配すれば、各ＰＥ
の負荷は均等化するが、 通信オーバヘッドは高く、全
体の実行効率はかえって低下する。従って、ＰＥ間の通
信量を削減しつつ、負荷の均等化を実現する負荷分散方
式が要求される。

【０００３】特開平２−２０８７３１に示さた技術で
は、プロセスを分配しようとしていたＰＥがランダムに
選んだＰＥの負荷値をネットワークを通じて調べ、相手
のＰＥの負荷値が小さい場合にのみ、負荷分散を行なう
ようになっている。

【０００４】

【発明が解決しようとする課題】上記従来技術では、全
てのＰＥがネットワークへの通信路を持っている場合は
有効であるが、主記憶共有のクラスタ構成を採用するこ
とにより、ＰＥがネットワークに直接接続されていない
ときは、他のＰＥの負荷値を簡単に調べることが出来
ず、効率的な負荷分散を行なうことができない。

【０００５】近年高集積ＬＳＩ技術の発達に伴い、主記
憶共有の密結合マルチプロセッサ（ＴＣＭＰ）を採用す
るシステムが増えている。ＴＣＭＰ内ではＰＥは同一の
アドレス空間を共有できるため、効率的な処理が可能で
ある。ＴＣＭＰは共有バスのスループットにより接続可
能なＰＥ数が１０台程度に制限されるため、より大規模
なシステムを構成するためにはＴＣＭＰクラスタをさら
にネットワークにより接続し、階層型のシステム構成を
とる必要が有る。その際、ネットワークのハードウェア
規模を削減するため、全てのＰＥからネットワークへの
通信路を出すことは通常行なわれず、クラスタ内に１台
通信用のプロセッサを設ける方式が一般的である。通信
用プロセッサのみがネットワークへ接続され、他のＰＥ
はネットワークへの通信路は持たない。クラスタ内のＰ
Ｅが通信を行なうには、ＴＣＭＰを介して通信用プロセ
ッサに通信を依頼しなければならない。

【０００６】従来提案された動的負荷分散は、全てのＰ
Ｅがネットワークに接続されているアーキテクチャを想
定し、以下の手順で行なわれる。先ず、分配候補となる
ＰＥをランダムに選択し、分配候補ＰＥの負荷値を読み
出す。この際、各ＰＥの負荷値はネットワーク内の専用
レジスタに格納されている。これにより、負荷値を迅速
に読み出すことが出来る。その後分配候補ＰＥの負荷値
と自ＰＥの負荷値の比較が行なわれ、分配候補ＰＥの負
荷値が自ＰＥの負荷値より小さい場合には負荷の分配が
行なわれる。分配候補ＰＥの負荷値が自ＰＥの負荷値よ
り大きい場合には負荷の分配は行なわない。この方式
は、分配候補となるＰＥの負荷値のみを調べればよいた
め、システム全体の負荷情報等のグローバルな情報を使
うことなく、負荷分散を行なうことが可能である。この
負荷分散方式はスマートランダム方式と呼ばれている。

【０００７】クラスタ構成のクラスタの間で、スマート
ランダム方式による動的負荷分散を行なおうとすると、
以下のような問題点が生じる。各クラスタのＰＥが他の
クラスタへ負荷分散を行なおうとし、分配候補クラスタ
の負荷値を読み出す場合、ＰＥはネットワークに直接は
接続されていないため、ＴＣＭＰを介して通信用プロセ
ッサに負荷値の読み出しの依頼が行なわれる。また、ネ
ットワークからの負荷値の読み出しが終了した後、読み
出された負荷値を通信用プロセッサから依頼元のＰＥに
転送する必要が有る。さらに、通信用プロセッサが他の
処理を行なっている場合には、ＰＥからの負荷値読み出
し要求にすぐに応えることが出来るとは限らない。その
ため、クラスタ内のＰＥが負荷値を得るまでの待ち時間
が非常に大きくなる危険が有る。負荷値読み出しの待ち
時間の増加は、ＰＥの稼働率の低下を招くばかりか、負
荷の分配そのものが遅れるため、効果的な動的負荷分散
を行なう上で大きな障害となる。

【０００８】本発明の目的は、クラスタ構成の並列シス
テムにおいて、クラスタ内のＰＥが負荷分散を行なう際
の待ち時間を少なくすることが可能な、動的負荷分散方
法を提供することである。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に、各通信用プロセッサにおいて、定期的に分配候補と
なるクラスタを決め、そのクラスタの負荷値を読み出す
と共に、自クラスタの負荷値との比較を行ない、あらか
じめ負荷分散の可否を決定しておく。具体的には、分配
候補となるクラスタの負荷値が自クラスタの負荷値より
小さい場合には負荷分散の可否を表すフラグを可とし、
分配候補クラスタの負荷値が自クラスタの負荷値より大
きいか等しい場合は、負荷分散の可否を表すフラグを不
可とする。

【００１０】さらに、各ＰＥが、通信用プロセッサが決
めた分配候補クラスタ番号と分配可否を表す上記フラグ
を読む手段を設ける。クラスタ内のＰＥが負荷分散を行
なおうとした場合、負荷分散の可否を表す上記フラグが
可の場合通信用プロセッサが決めた分配候補クラスタに
負荷を分配し、不可の場合には自クラスタのプロセスプ
ールに負荷をつなぎ込む。

【００１１】

【作用】本発明によれば、通信用のプロセッサがあらか
じめ負荷分散候補となるクラスタを決め、負荷分散の可
否を調べておくことにより、クラスタ内のＰＥが負荷分
散を行う場合、あらかじめ決められた分配候補クラスタ
の番号及び、負荷分散の可否を示すフラグを読み出すだ
けで、迅速に負荷分散を行なうことが出来る。

【００１２】図１に本発明の並列システムのブロック図
を示す。図中１１０、１２０がＰＥ、１５０が通信用プ
ロセッサである。通信用プロセッサはランダムに決定さ
れた分配候補クラスタ番号１５７を持つ。さらに、負荷
値読み出し機構１５３により読み出された分配候補クラ
スタの負荷値１５４と自クラスタの負荷値１６１を比較
した結果の分配可否フラグ１５６を持つ。この分配候補
クラスタ番号１５７と分配可否フラグ１５６の組を負荷
分散情報１７０と呼ぶ。各ＰＥのＣＰＵ１１０、１２０
がプロセスを生成したときには、プロセス管理機構１１
２、１２２は、負荷分散情報１７０を調べ、負荷分配が
可の場合は分配候補のクラスタへプロセスを分配する。
負荷分配が不可のときは、自クラスタのプロセスプール
にプロセスを入れる。これにより、各プロセッサが負荷
分散を行なおうとした場合、負荷分散情報１７０を読み
出すだけで、すぐに負荷分散を行なうことができ、負荷
分散の待ち時間をなくすことが出来る。

【００１３】分配候補クラスタ番号１５７はタイマ割込
１５１により定期的に更新される。従って、分配候補ク
ラスタの負荷値１５４や、分配可否フラグ１５６もタイ
マのインターバルで更新される。従って、タイマ割込の
間隔をプロセスの平均実行時間より十分短くしておけ
ば、常に最新の負荷分散情報を反映することが出来るた
め、正確な負荷分散を行なうことが出来る。

【００１４】

【実施例】図１〜図４に本発明の１実施例を示す。図１
はｎクラスタ×ｍＰＥからなる動的負荷分散機構を持っ
た並列計算機の構成図である。図２はクラスタ内の各Ｐ
Ｅの動作のフローチャートである。図３〜４はクラスタ
内の通信用プロセッサの動作フローであり、それぞれ図
３はプロセスの分配処理、図４は負荷分散情報の更新処
理を示す。

【００１５】図１において１００、２００はクラスタ、
５００はネットワークである。クラスタ０（１００）の
内部のみ詳細に記す。他のクラスタも全く同一の構成を
持つ。クラスタの内部では１１０、１２０が（演算用
の）ＰＥ、１５０が通信用のプロセッサである。ＰＥの
内部では１１１、１２１がプロセスを実行するＣＰＵ、
１１２、１２２がプロセス管理機構である。１６０がク
ラスタのプロセスプール１６１がクラスタの負荷値（実
行待ちのプロセス数）である。通信用プロセッサの中で
は１５１がタイマ割込機構、１５２は乱数発生機構、１
５７は乱数発生機構によりランダムに決定させられた分
配候補クラスタ番号、１５３は分配候補クラスタの負荷
値を読み出すための機構、１５４は分配候補クラスタの
負荷値、１５５は自クラスタの負荷値と分配候補クラス
タの負荷値を比較するための比較器、１５６は比較に結
果決められる負荷分散の可否を表すフラグである。分配
候補クラスタ番号１５７と分配可否フラグ１５６を合わ
せて負荷分散情報１７０と呼ぶ。ネットワークの中では
５０２がプロセス等の通信を行なうルータ、５０１が各
クラスタの負荷値を記憶するための負荷値レジスタであ
る。

【００１６】本発明では、通信用プロセッサにおいて定
期的に負荷分散情報１７０を更新する機能を持つと共
に、クラスタ内の各ＰＥが負荷分散情報を読む機能を設
ける事に特徴がある。

【００１７】先ず、システム全体の構成について述べ
る。システムでは、プログラムを実行するＰＥ（１１
０、１２０）が集まり、クラスタ１００を構成する。ク
ラスタ１００、２００をネットワーク５００により結合
し、システム全体を構成する。クラスタ内のＰＥは主記
憶共有の密結合マルチプロセッサシステムとなってい
る。各クラスタは通信用プロセッサ１５０を持ち、クラ
スタからは通信用プロセッサのみがネットワークに接続
される。その他のＰＥはネットワークへの通信路を持た
ないため、ＰＥが通信を行なう際には、通信用プロセッ
サ１５０を経由しなければならない。

【００１８】次にプロセスの分配の方式（負荷分散方
式）について述べる。クラスタ内のＰＥは主記憶を共有
しているため、プロセスプール１６０を共有することが
可能である。従って、クラスタ内のＰＥ間の負荷分散は
共有のプロセスプール１６０でプロセスを管理すること
により自動的に行なうことが出来る。それに対して、ク
ラスタの間はネットワークにより結合されており、共有
のプロセスプールを持つことが出来ない。従って、クラ
スタ間の負荷分散を行なうためにはプロセスを明示的に
他のクラスタに分ける必要が有る。本発明はこのクラス
タ間の負荷分散を効率良く行なうための方式である。具
体的にはクラスタ間の負荷分散を行なうべきか、及びど
このクラスタに負荷を分配するべきかを通信用プロセッ
サがあらかじめ決定しておくことにより、クラスタ内の
各ＰＥが負荷分散を行なう際の待ち時間を削減すること
を可能にする。以下では上記の機能を実現するための各
構成ユニットの詳細な動作について述べる。

【００１９】図２にＰＥの動作フローを示す。ＰＥでは
先ず、プロセスプール１６０にプロセスが有るかが調べ
られる（ステップ１０）。プロセスが有る場合にはプロ
セスプールよりプロセスを取り出し（ステップ１１）、
負荷値（１６１）を更新（ステップ１２）した後、プロ
セスが実行される（ステップ１３）。プロセスの実行が
中断されると、子プロセスが生成されたかが調べられる
（ステップ１４）。その結果子プロセスが生成されてい
た場合には負荷分散処理が必要になる（ステップ１５〜
１９）。負荷分散処理では先ず、通信用プロセッサが決
めた負荷分散情報１７０が読み込まれる（ステップ１
５）。この負荷分散情報の読み込みは、共有メモリをア
クセスするだけなので、待ち時間をほとんどかけずに行
なうことができる。負荷分散情報を読み込んだ結果、分
配可否フラグ１５６の比較が行なわれる（ステップ１
６）。分配可否フラグがＯＮのとき、すなわち負荷分散
が可能なときは、通信用プロセッサに対して他のクラス
タへのプロセスの分配依頼が行なわれる（ステップ１
７）。それに対して、分配可否フラグがＯＦＦの時は他
クラスタへのプロセスの分配は行なわれず、自クラスタ
のプロセスプールにプロセスを書き戻した後（ステップ
１８）、負荷値の更新が行なわれる（ステップ１９）。
その後中断したプロセスの継続もしくは新プロセスの取
り出しが行なわれる（ステップ２０）。以上の処理によ
り、各ＰＥは通信用プロセッサがあらかじめ決めてある
負荷分散情報１７０を読み出すことにより、生成したプ
ロセスを迅速に分配することができる。

【００２０】次に、通信用プロセッサの動作について述
べる。図３は通信用プロセッサのクラスタ間プロセス分
配処理部１５８の動作フローを示す。ネットワークから
のプロセスの到着が有る場合には（ステップ３０）、自
クラスタのプロセスプールにプロセスをつないだ後（ス
テップ３２）、負荷値の更新が行なわれる（ステップ３
３）。それに対して、自クラスタ内のＰＥからのプロセ
スの分配処理が有った場合には（ステップ３１）、ネッ
トワークのルータ５０２にプロセスの送出が行なわれる
（ステップ３４）。

【００２１】以上の他に、通信用プロセッサは、ＰＥが
使用する負荷分散情報１７０の更新を行なう。負荷分散
情報の更新処理はタイマ割込１５１により定期的に起動
される。図４に通信用プロセッサ１５０のタイマ割込で
の動作を記す。タイマ割込を受けると先ず、自クラスタ
の負荷値１６１をネットワーク上の負荷値レジスタ１５
１に書込む（ステップ４０）。これにより、他のクラス
タに正確な負荷値を知らせることが出来る。その後、乱
数発生機構１５２を用いてクラスタをランダムに選択
し、分配候補クラスタ番号１５７を決定する（ステップ
４１）。負荷値読み出し機構１５３を用いて分配候補ク
ラスタの負荷値をネットワーク内の負荷値レジスタ５０
１より読み出す（ステップ４２）。ネットワーク上で各
クラスタの負荷値が管理されていることにより、負荷値
の読み込みは高速に行なうことが出来る。分配候補クラ
スタの負荷値１５４と自クラスタの負荷値１６１を比較
器１５５で比較を行なう（ステップ４４）。分配候補ク
ラスタの負荷値が自クラスタの負荷値より小さい場合に
は分配可否フラグをＯＮとし（ステップ４５）、クラス
タ内のＰＥが分配候補クラスタにプロセスを分配できる
ようにする。分配候補クラスタの負荷値が自クラスタの
負荷値より大きい時（等しい時も含む）は、分配可否フ
ラグをＯＦＦとし（ステップ４６）、他のクラスタへの
プロセスの分配は行なわれないようにする。以上に記し
た方法により、負荷分散情報を決定しておくことによ
り、クラスタ内のＰＥが負荷分散を行なおうとした場
合、すぐにその挙動を決定することが出来る。ここで、
ＰＥが負荷分散を行なう際に、常に新しい負荷分散情報
を得、かつ特定のクラスタへの負荷の集中を避けるるた
めには、負荷分散情報を更新するためのタイマ割込の頻
度はプロセスの平均実行時間より十分小さくしておかな
くてはならない。

【００２２】以上により、通信用プロセッサ１５０はク
ラスタ内のＰＥに常に新しい負荷分散情報を供給し、ク
ラスタ内のＰＥはその負荷分散情報を用いて迅速に動的
負荷分散を行なうことが可能である。

【００２３】

【発明の効果】本発明によれば、ＴＣＭＰのＰＥからな
るクラスタを、通信専用プロセッサを介してネットワー
クに接続した階層構成の並列計算機において、ネットワ
ークに直接接続されていないクラスタ内のＰＥが負荷分
散を行なう際の待ち時間を大幅に削減することができ
る。

【図面の簡単な説明】

【図１】本発明の動的負荷分散方式を持った並列計算機
のブロック図である。

【図２】図１のクラスタ内のプロセッシングエレメント
（ＰＥ）の動作のフローチャートである。

【図３】図１の通信用プロセッサがプロセスを分配する
際のフローチャートである。

【図４】図１の通信用プロセッサが負荷情報を更新する
際のフローチャートである。

【符号の説明】

１００〜２００…クラスタ、５００…ネットワーク、１
１０〜１２０…プロセッシングエレメント（ＰＥ）、１
５０……通信用プロセッサ、１６０…プロセスプール、
１６１…クラスタの負荷値（実行待ちプロセス数）、１
１１〜１２１…ＣＰＵ、１１２〜１２２…プロセス管理
機構、１５１…タイマ割込機構、１５２…乱数発生機
構、１５３…負荷値読み出し機構、１５４…分配候補ク
ラスタの負荷値、１５５…比較機、１５６…負荷分配可
否フラグ、１５７…負荷分配候補クラスタ番号、１５８
…クラスタ間プロセス分配機構、５０１…負荷値レジス
タ、５０２…ルータ。

Claims (1)

【特許請求の範囲】
1. 【請求項１】１つ以上のプロセッシング・エレメント
   と、通信用プロセッサと、これらに共有された主記憶を
   有するクラスタを構成要素とし、複数のクラスタがネッ
   トワークにより接続された並列計算機において、各クラ
   スタの通信用プロセッサが、定期的に、そのクラスタの
   負荷を分配する候補クラスタをランダムに選択し、その
   分配候補クラスタの番号を記憶し、分配候補クラスタの
   負荷値と自クラスタの負荷値とを比較し、分配候補クラ
   スタの負荷値が自クラスタの負荷値より小さいときには
   負荷分散の可否を表すフラグとして、分配可を表すフラ
   グを記憶し、分配候補クラスタの負荷値が自クラスタの
   負荷値より大きいか等しい時には負荷分散の否を表すフ
   ラグを記憶し、そのクラスタ内のプロセッシング・エレ
   メントが後に負荷の分散を行なう際に、上記フラグが負
   荷分散を可としている場合には上記記憶された番号を有
   する分配候補クラスタに負荷を分配し、該フラグが負荷
   分散を不可としている場合には、自クラスタに負荷を分
   配することを特徴とする並列計算機の負荷分散方法。