JPH113321A - 並列計算機システム - Google Patents

Abstract

(57)【要約】 【課題】 各ジョブ実行用計算機の負荷に応じてジョブ
を割り当てる並列計算機システムに関し、負荷を高める
ことなく負荷情報の収集を行う。 【解決手段】 各々のジョブ実行用計算機１１ａで、他
のどのジョブよりも低い優先順位でそのジョブ実行用計
算機１１ａの負荷情報を収集してスケジューラ計算機１
１ｂに送信する監視プログラム３３を実行させる。ま
た、スケジューラ計算機１１ｂで、監視プログラム３３
から送信された最新の負荷情報をその収集時刻とともに
ジョブ実行用計算機１１ａごとに記録する記録プログラ
ム３４と、新たなジョブが与えられたとき、記録プログ
ラム３４により記録された負荷情報及びその収集時刻に
基づいてこの新たなジョブを割り当てるジョブ実行用計
算機１１ａを選択するスケジュールプログラム３１とを
実行させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はジョブを複数の計算
機に分散実行させる並列計算機システムに係り、特に、
各計算機の負荷情報に応じてジョブの割当てを行う並列
計算機システムに関する。

【０００２】

【従来の技術】従来より、複数のジョブ実行用計算機及
びこれらのジョブ実行用計算機にジョブを割り当てるス
ケジューラ計算機をネットワーク経由で相互に接続し、
新たに投入されたジョブをスケジューラ計算機が各々の
ジョブ実行用計算機に分散実行させる並列計算機システ
ムが知られている。こうした並列計算機システムでは、
ジョブが投入されたとき、負荷が最も小さいと考えられ
るジョブ実行用計算機をスケジューラ計算機が選択し、
このジョブ実行用計算機に対してジョブの実行を割り当
てる、という負荷分散処理を行っている。そして、この
負荷分散処理を実現するには、スケジューラ計算機が、
各々のジョブ実行用計算機からそのジョブ実行用計算機
の負荷を表す負荷情報を収集することが必要である。こ
のため、スケジューラ計算機は、一定時間ごとに、ある
いは新たなジョブが投入されたときに、この負荷情報の
収集を行っている。

【０００３】

【発明が解決しようとする課題】上述した負荷情報の収
集を一定時間ごとに行う方法は、ジョブ実行用計算機の
負荷が既にかなり高くなっているときでも負荷情報の収
集が行われるため、この負荷情報の収集によってジョブ
実行用計算機やネットワークの負荷をさらに高めてしま
い、これによって、並列計算機システムの性能低下を招
くなどの悪影響を及ぼすことがあるという問題点があっ
た。

【０００４】一方、新たなジョブが投入されたときに負
荷情報の収集を行う方法は、新たなジョブが投入された
時点で、あらゆるジョブ実行用計算機に対して同時に負
荷情報の収集が行われるため、ネットワークの負荷を急
激に高め、また、それらの収集された負荷情報を解析す
るスケジューラ計算機に対して短時間に負荷が集中して
しまい、これによって、並列計算機システムのスループ
ットが低下することがあるという問題点があった。

【０００５】したがって本発明の目的は、上記方法を用
いる従来技術の問題点を解決して、新たなジョブの割当
て対象とするジョブ実行用計算機の選択に必要な負荷情
報の収集に際し、ジョブ実行用計算機やネットワークの
負荷が急激に高められることのない並列計算機システム
を提供することにある。

【０００６】

【課題を解決するための手段】上記の目的を達成するた
め、本発明の並列計算機システムは、割り当てられたジ
ョブを実行する複数のジョブ実行用計算機と、各々の前
記ジョブ実行用計算機にネットワーク経由で接続され、
新たなジョブをいずれかの前記ジョブ実行用計算機また
は自スケジューラ計算機に割り当てるスケジューラ計算
機とを具備し、前記スケジューラ計算機が、各々の前記
ジョブ実行用計算機の負荷を表す負荷情報に基づき、新
たなジョブを割り当てる計算機を少なくとも１つ選択す
る並列計算機システムにおいて、各々の前記ジョブ実行
用計算機は、他のどのジョブよりも低い優先順位で自ジ
ョブ実行用計算機の前記負荷情報を収集して前記スケジ
ューラ計算機に送信する負荷情報収集送信手段を備え、
前記スケジューラ計算機は、前記負荷情報収集送信手段
から送信された最新の前記負荷情報をその収集時刻とと
もに前記ジョブ実行用計算機ごとに記録する負荷情報記
録手段と、新たなジョブが与えられたとき、前記負荷情
報記録手段により記録された前記負荷情報及びその収集
時刻に基づいて前記新たなジョブを割り当てる計算機を
選択する計算機選択手段とを備えるものである。

【０００７】

【発明の実施の形態】以下、本発明の並列計算機システ
ムの実施の形態を図面を用いて詳細に説明する。

【０００８】図１は本発明の並列計算機システムの一実
施形態の構成を示すブロック図、図２は図１のシステム
における負荷情報の収集について説明する概念図であ
る。両図中、１１ａは割り当てられたジョブを実行する
複数のジョブ実行用計算機、１１ｂは各々のジョブ実行
用計算機１１ａにネットワーク１２経由で接続され、新
たなジョブをジョブ実行用計算機１１ａのいずれかに割
り当てるスケジューラ計算機、２１はスケジューラ計算
機１１ｂで実行されるプログラムに応じた処理を行うＣ
ＰＵ、２２はスケジューラ計算機１１ｂで処理中のデー
タなどを一時的に格納するメモリ、２３はスケジューラ
計算機１１ｂでプログラムやデータを格納する外部記憶
装置、２３１は外部記憶装置２３に設けられ、後述する
記録プログラムにより各々のジョブ実行用計算機１１ａ
の負荷を表す負荷情報及びその収集時刻が記録される負
荷情報ファイル、２４はこれらＣＰＵ２１，メモリ２
２，外部記憶装置２３の間でプログラムやデータをやり
とりするためのバス、３１はスケジューラ計算機１１ｂ
のＣＰＵ２１で常に実行され、上述した新たなジョブを
ジョブ実行用計算機１１ａのいずれかに割り当てる具体
的な処理を行う計算機選択手段であるスケジュールプロ
グラム、３２１は新たに投入されたジョブ、３２２は割
当て待ちキューに登録された実行割当て待ちジョブ、３
２３は割り当てられた特定のジョブ実行用計算機１１ａ
へ送信中の実行待ちジョブ、３３は各々のジョブ実行用
計算機１１ａで実行される負荷情報収集送信手段である
監視プログラム、３４はスケジューラ計算機１１ｂのＣ
ＰＵ２１で常に実行され、上述の監視プログラム３３か
ら送信された最新の負荷情報をその収集時刻とともにジ
ョブ実行用計算機１１ａごとに負荷情報ファイル２３１
に記録する負荷情報記録手段である記録プログラムであ
る。なお、図１中にはジョブ実行用計算機１１ａを４台
のみ接続した構成を示してあるが、このジョブ実行用計
算機１１ａの接続台数は、必要に応じて所望の台数とす
ることができる。

【０００９】図２において、各々のジョブ実行用計算機
１１ａで実行されている監視プログラム３３は、他のど
のジョブよりも低い優先順位で、そのジョブ実行用計算
機の負荷情報、例えばＣＰＵ使用率やメモリ使用率など
を収集して前記スケジューラ計算機に送信する。この監
視プログラム３３による負荷情報の収集及び送信は、一
応の目安である後述する所定の収集時間間隔で繰り返し
行われる。すなわち、あるジョブ実行用計算機１１ａに
割り当てられたジョブによるＣＰＵ使用率が比較的小さ
かった場合、優先順位の低い監視プログラム３３に実行
制御が渡される頻度が大きくなるため、監視プログラム
３３による負荷情報の収集及びそのスケジューラ計算機
１１ｂへの送信は、概ね収集時間間隔ごとに行われる。
これに対して、上記ジョブによるＣＰＵ使用率がある水
準を超えて大きくなった場合、優先順位の低い監視プロ
グラム３３に実行制御が渡される頻度は小さくなるた
め、監視プログラム３３による負荷情報の収集及びその
スケジューラ計算機１１ｂへの送信は、収集時間間隔よ
り長い間隔で行われる。また、スケジューラ計算機１１
ｂで実行されている記録プログラム３４は、各々のジョ
ブ実行用計算機１１ａからネットワーク１２経由で送信
されてきた上述の負荷情報を、その収集時刻とともにジ
ョブ実行用計算機１１ａごとに負荷情報ファイル２３１
中に記録する。すなわち、送信された負荷情報の発信元
であるジョブ実行用計算機１１ａが“計算機Ｘ”であれ
ば、負荷情報ファイル２３１中の“計算機Ｘ”に対応す
る負荷情報フィールド内に、送信された負荷情報をその
収集時刻、例えばこの負荷情報をネットワーク１２から
受信したときの時刻とともに記録する。

【００１０】図２において、スケジューラ計算機１１ｂ
で実行されているスケジュールプログラム３１は、新た
に投入されたジョブ３２１が割当て待ちキューに登録さ
れて実行割当て待ちジョブ３２２となったとき、記録プ
ログラム３４により記録された負荷情報ファイル２３１
を参照し、各々のジョブ実行用計算機１１ａごとに、記
録された最新の収集時刻から現在時刻すなわち負荷情報
ファイル２３１を参照した時刻までに経過した時間を求
める。そして、この時間が所定の収集時間間隔を超過し
ているジョブ実行用計算機１１ａは、すべて実行割当て
待ちジョブ３２２の割り当て対象から除外する。続い
て、この時間が所定の収集時間間隔を超過していないジ
ョブ実行用計算機１１ａについて負荷情報ファイル２３
１を参照し、対応する負荷情報で表される負荷が最小の
ジョブ実行用計算機１１ａを、新たな実行割当て待ちジ
ョブ３２２を割り当てるべきジョブ実行用計算機１１ａ
として選択する。最後に、この実行割当て待ちジョブ３
２２を実行待ちジョブ３２３として、ネットワーク１２
経由で選択された特定のジョブ実行用計算機１１ａへ送
信する。

【００１１】図３は、図１のシステムにおけるジョブの
割当て対象の選択について説明する概念図である。同図
中、横軸は時刻の経過を表し、ｔは現在時刻、ｉは一応
の目安である所定の収集時間間隔である。ここで、収集
時間間隔ｉの具体的な時間の値は、並列計算機システム
の運用方針などに基づいて決めた適当な定数値としてあ
る。また、ｄは、負荷情報ファイル２３１に記録された
最新の収集時刻から現在時刻ｔまでに経過した時間であ
る。

【００１２】一般に、ジョブ実行用計算機１１ａに割り
当てられたジョブによる負荷は、ジョブの同時実行数や
ジョブの処理状態などに応じて常に変化する。そして、
上述したように、監視プログラム３３が負荷情報の収集
及び送信を行う間隔は、ジョブ実行用計算機１１ａに割
り当てられたジョブによるＣＰＵ使用率などの負荷に応
じて常に変化する。すなわち、この負荷が比較的小さい
とき、負荷情報の収集及び送信の間隔は収集時間間隔ｉ
に概ね一致するが、負荷がある水準を超えて大きくなる
と、上記間隔は収集時間間隔ｉより長くなる。このよう
に、負荷情報の収集及び送信の間隔は常に変化している
が、少なくともこの間隔が収集時間間隔ｉより長い場
合、該当するジョブ実行用計算機１１ａに割り当てられ
たジョブによる負荷がある水準を超えて大きくなってい
るものとみなされる。すなわち、図３に示すように、負
荷情報ファイル２３１に記録された最新の収集時刻から
現在時刻ｔまでに経過した時間ｄと収集時間間隔ｉとの
大小関係に対応して、３種類のケースが生ずる
が、このうち、最新の収集時刻から現在時刻ｔまでに経
過した時間ｄが収集時間間隔ｉより長いケースは、該
当するジョブ実行用計算機１１ａに割り当てられたジョ
ブによる負荷がある水準を超えて大きくなっているもの
とみなされる。したがって、このケースに該当するジ
ョブ実行用計算機１１ａは、すべて新たなジョブの割り
当て対象から除外する。次に、残りのケースについ
ては、該当するジョブ実行用計算機１１ａに割り当てら
れたジョブによる負荷がある水準より小さいことしかわ
からないので、再び負荷情報ファイル２３１を参照す
る。そして、記録された負荷情報で表される負荷が最小
となっているジョブ実行用計算機１１ａを、新たなジョ
ブを割り当てるジョブ実行用計算機１１ａとして選択す
る。

【００１３】以上のように、本実施形態の並列計算機シ
ステムにおいて、各々のジョブ実行用計算機１１ａで実
行されている監視プログラム３３は、他のどのジョブよ
りも低い優先順位でそのジョブ実行用計算機１１ａの負
荷を表す負荷情報を収集してスケジューラ計算機１１ｂ
に送信している。このため、通常の優先順位のジョブの
実行に伴ってジョブ実行用計算機１１ａの負荷がかなり
高くなったときは、より低い優先順位の監視プログラム
３３の実行はほとんど停止し、負荷情報の収集及びスケ
ジューラ計算機１１ｂへの送信が事実上行われなくなる
ので、既にかなり負荷が高くなっているジョブ実行用計
算機１１ａやネットワーク１２の負荷が監視プログラム
３３によってさらに高められることがない。また、スケ
ジューラ計算機１１ｂで実行されているスケジュールプ
ログラム３１は、新たなジョブが与えられたとき、既に
負荷情報ファイル２３１に記録されている負荷情報のみ
を参照して、このジョブを割り当てるジョブ実行用計算
機１１ａを選択し、各々のジョブ実行用計算機１１ａか
ら改めて負荷情報を収集しないため、新たなジョブの登
録に際してジョブ実行用計算機１１ａやネットワーク１
２の負荷が急激に高められることがない。したがって、
新たなジョブの割当て対象とするジョブ実行用計算機１
１ａの選択に必要な負荷情報の収集に際し、ジョブ実行
用計算機１１ａやネットワークの負荷１２が急激に高め
られることがなくなり、並列計算機システムの性能低下
などの悪影響の発生を防止することができる。

【００１４】さらに、新たなジョブの実行を割り当てる
ジョブ実行用計算機１１ａの選択に際し、各ジョブ実行
用計算機１１ａに対応する最新の収集時刻から現在時刻
ｔまでに経過した時間ｄと所定の収集時間間隔ｉとの比
較によって割当て対象を絞り込んだ後、負荷情報で表さ
れる負荷が最小となっているジョブ実行用計算機１１ａ
を選択するので、前回収集された負荷情報による負荷は
比較的小さかったが、現時点では負荷がある水準より大
きいために時間ｄが収集時間間隔ｉを超過するジョブ実
行用計算機１１ａを、割当て対象から除外することがで
きる。

【００１５】なお、上述した実施形態では、スケジュー
ラ計算機１１ｂが、新たなジョブをジョブ実行用計算機
１１ａのいずれかに対してのみ割り当てる場合について
説明を行ったが、割り当て対象にスケジューラ計算機１
１ｂ自身を含めるようにしてもよい。この場合には、ス
ケジューラ計算機１１ｂのすべてが上述したケースに
該当したとき、スケジューラ計算機１１ｂ自身を新たな
ジョブの割り当て対象として選択するのが適切である。

【００１６】

【発明の効果】以上詳しく説明したように、本発明の並
列計算機システムによれば、通常の優先順位のジョブの
実行に伴ってジョブ実行用計算機の負荷がかなり高くな
ったときは、より低い優先順位の負荷情報収集送信手段
による負荷情報の収集及びスケジューラ計算機への送信
が事実上行われなくなるので、既にかなり負荷が高くな
っているジョブ実行用計算機やネットワークの負荷が負
荷情報収集送信手段によってさらに高められることがな
い。また、計算機選択手段は、新たなジョブが与えられ
たとき、負荷情報記録手段によって既に負荷情報ファイ
ルに記録されている負荷情報のみを参照して、このジョ
ブを割り当てるジョブ実行用計算機を選択し、各々のジ
ョブ実行用計算機から改めて負荷情報を収集しないた
め、新たなジョブの登録に際してジョブ実行用計算機や
ネットワークの負荷が急激に高められることがない。し
たがって、新たなジョブの割当て対象とするジョブ実行
用計算機の選択に必要な負荷情報の収集に際し、ジョブ
実行用計算機やネットワークの負荷が急激に高められる
ことがなくなり、並列計算機システムの性能低下などの
悪影響の発生を防止することができる。

【図面の簡単な説明】

【図１】本発明の並列計算機システムの一実施形態の構
成を示すブロック図である。

【図２】図１のシステムにおける負荷情報の収集につい
て説明する概念図である。

【図３】図１のシステムにおけるジョブの割当て対象の
選択について説明する概念図である。

【符号の説明】

１１ａ ジョブ実行用計算機 １１ｂ スケジューラ計算機 １２ ネットワーク ２１ ＣＰＵ ２３ 外部記憶装置 ２３１ 負荷情報ファイル ３１ スケジュールプログラム ３２２ 実行割当て待ちジョブ ３２３ 実行待ちジョブ ３３ 監視プログラム

Claims (3)

【特許請求の範囲】
1. 【請求項１】 割り当てられたジョブを実行する複数の
   ジョブ実行用計算機と、 各々の前記ジョブ実行用計算機にネットワーク経由で接
   続され、新たなジョブをいずれかの前記ジョブ実行用計
   算機または自スケジューラ計算機に割り当てるスケジュ
   ーラ計算機とを具備し、 前記スケジューラ計算機が、各々の前記ジョブ実行用計
   算機の負荷を表す負荷情報に基づき、新たなジョブを割
   り当てる計算機を少なくとも１つ選択する並列計算機シ
   ステムにおいて、 各々の前記ジョブ実行用計算機は、 他のどのジョブよりも低い優先順位で自ジョブ実行用計
   算機の前記負荷情報を収集して前記スケジューラ計算機
   に送信する負荷情報収集送信手段を備え、 前記スケジューラ計算機は、 前記負荷情報収集送信手段から送信された最新の前記負
   荷情報をその収集時刻とともに前記ジョブ実行用計算機
   ごとに記録する負荷情報記録手段と、 新たなジョブが与えられたとき、前記負荷情報記録手段
   により記録された前記負荷情報及びその収集時刻に基づ
   いて前記新たなジョブを割り当てる計算機を選択する計
   算機選択手段とを備えることを特徴とする並列計算機シ
   ステム。
2. 【請求項２】 前記計算機選択手段は、前記負荷情報記
   録手段により記録された前記負荷情報及びその収集時刻
   に基づき、前記収集時刻から現在までに経過した時間を
   前記ジョブ実行用計算機ごとに求め、 この時間が所定の収集時間間隔を超過しているすべての
   前記ジョブ実行用計算機を、新たなジョブの割り当て対
   象から除外することを特徴とする請求項１記載の並列計
   算機システム。
3. 【請求項３】 前記計算機選択手段は、新たなジョブを
   割り当てる計算機として、前記時間が前記収集時間間隔
   を超過していない前記ジョブ実行用計算機のうち、対応
   する前記負荷情報で表される負荷が最小のジョブ実行用
   計算機を選択することを特徴とする請求項２記載の並列
   計算機システム。