JPH10207847A - 分散システムにおける自動負荷分散方式 - Google Patents

Abstract

(57)【要約】 【課題】分散システムにおいて、各計算機固有の情報を
考慮した柔軟性を有するジョブの割り当てを決定する。 【解決手段】評価の手法や使用する情報を実行計算機毎
に設定し、管理用計算機が行っていた実行用計算機の実
行能力の評価を、実行用計算機自身に行わせ、それらを
管理用計算機に報告させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、複数の計算機を
ネットワークで接続し、複数のジョブを各計算機に動的
に割り当てて行う分散システムの自動負荷分散方式に関
するものである。

【０００２】

【従来の技術】分散システムにおけるジョブの割り当て
に関しては、事前に定義された順番にしたがって静的に
割り当てる方法と、その時点での各計算機の稼働状況を
参照しながら動的に割り当てる方法がある。

【０００３】そのうち、動的にジョブを割り当てる方法
は、受付けたジョブを適当なネットワーク上の計算機に
割り当てる管理手段を設け、その管理手段がジョブを割
り当てる時点での各計算機の稼働状況を調べ、最も負荷
が小さい計算機に対してジョブの割り当てを行うこと
で、分散システム全体としての効率を上げることを目的
としている。

【０００４】従来の負荷分散方式例では以下のように負
荷分散を実現している。

【０００５】まず分散システム内の計算機のうちのいく
つかに、ジョブの割り当て管理を行う管理用手段として
の機能を持たせて管理用計算機とし、その外の計算機を
実行用計算機とする。

【０００６】実行用計算機は、自分自身の稼働状況に関
する情報、例えば現在実行中のジョブ数やＣＰＵ利用率
などを定期的に収集する。この実行用計算機で収集され
た自分自身の稼働状況は、管理用計算機へ転送する、も
しくは管理用計算機が読み出し可能なファイルシステム
へ転送するなど、管理用計算機がその情報を読み出し、
利用することができるよう必要な措置をとる。

【０００７】管理用計算機がジョブを受け取り、いずれ
かの実行用計算機に割り当てる際には、ジョブの条件な
どに応じて割り当て可能である実行用計算機について、
その稼働状況に関する情報を読み出し、最も負荷の小さ
い実行用計算機にそのジョブを割り当てる。これによ
り、ジョブを割り当てる際には、その時点で最も負荷の
小さい実行用計算機にジョブを割り当てることが可能と
なり、負荷分散をはかることができる。

【０００８】

【発明が解決しようとする課題】これら従来の方法にお
いては、次のような課題がある。

【０００９】まず第一に、管理用計算機は、実行用計算
機から送られてくる限られた情報のみでジョブの割り当
て先を判断するため、利用できる情報が全実行用計算機
に共通するものに限られてしまう。そのため、特定の実
行用計算機に固有の事情という情報を考慮に入れること
ができず、実情に応じたきめ細かい負荷分散を行うこと
ができない。

【００１０】それに加えて、ジョブが利用するデータの
存在場所などといった、割り当てる際に考慮に入れるべ
きジョブの性質を十分に利用することが困難である。

【００１１】また、実行用計算機毎に固有の事情を考慮
しようとすると、実行用計算機から送られる稼働状況に
関する情報が増大し、情報の送信に伴うシステムの負荷
が重くなるほか、その情報を解析し、ジョブの割り当て
を行う管理用計算機の処理が複雑かつ膨大になる。

【００１２】さらに、システムの構成を変更したり、あ
る実行用計算機を一時的に停止した場合などにおいて
も、管理用計算機の設定を変更しなければならないな
ど、保守作業も煩雑になる。

【００１３】本発明の一つの目的は、個々の実行用計算
機固有の事情をも考慮したきめ細かい負荷分散を行うた
めの方式を提供することにある。

【００１４】また、本発明のもう一つの目的は、保守作
業を煩雑にすることなく上記のきめ細かい負荷分散を行
うための方式を提供することにある。

【００１５】

【課題を解決するための手段】上記課題を解決するため
に、本発明では、割り当てようとするジョブに関する情
報を実行用計算機に通知し、その情報を受け取った実行
用計算機は自分自身の稼働状況も含めてそのジョブの実
行能力を算出して管理用計算機に返答し、管理用計算機
が各実行用計算機からの返答を比較して割り当て先の実
行用計算機を決定する手段を設けた。

【００１６】

【発明の実施の形態】まず、負荷分散を行う分散システ
ムの基本的な構成を図２に示す。分散システムでは、複
数の計算機１または２がネットワーク１０３によって相
互接続されており、互いに通信によってデータのやり取
りを行うことができる。これら分散システムを構成する
計算機は、主に分散システム全体を管理し、ジョブの受
付けやその割り当てなどを行う管理用計算機１と、管理
用計算機１から割り当てられたジョブを実行する実行用
計算機１からなる。

【００１７】この時、管理用計算機１は実行用計算機と
しての機能も持ちあわせ、自らジョブの実行を行うよう
構成することも可能である。また、管理用計算機１は必
ずしもシステムに一つと限る必要はなく、複数存在して
もよい。管理用計算機１には、入出力装置１０４が接続
され、ジョブの実行命令や結果の出力などを行う。

【００１８】次に図１を参照しながら、本発明の一実施
例の構成を示す。管理用計算機１は、入出力装置１０４
からのジョブ入力を受付けるジョブ受付部３と、その際
に一緒に入力されたジョブに関する情報であるジョブデ
ータ２０１を自分の管理する実行用計算機２へ配信する
ジョブデータ配信部４，実行用計算機２からの情報をも
とにそのジョブをどの実行用計算機２に割り当てるかを
決定し、割り当て作業を行う判定／分配部５、そして実
行用計算機との通信処理を行う通信処理部６からなる。

【００１９】また、管理用計算機１は、自分が管理する
実行用計算機２のリスト１１をディスクなどの記憶装置
に持っており、ジョブデータ配信部４はその実行用計算
機リスト１１を参照して必要な実行用計算機２へジョブ
データの配信を行う。

【００２０】一方、実行用計算機２には、管理用計算機
１との通信処理を行う通信処理部７と、自身の稼働状況
を定期的に収集し、記録装置９に蓄積する稼働状況監視
部１０が存在する。また実行能力評価部８は、管理用計
算機から受信したジョブ情報ならびに稼働状況監視部１
０が蓄積した自身の稼働状況に関する情報などから、通
知されたジョブの現時点での実行能力を評価する。さら
に、ジョブが自身に割り当てられた時には、実行部１１
によってそのジョブを実行する。

【００２１】これらの自動負荷分散方式の動作を、図４
ならびに図５のフローチャートにより説明する。

【００２２】図４は図１における管理用計算機１の動作
を示すフローチャートである。まず、管理用計算機１の
ジョブ受付部が、入出力装置１０４からジョブ実行の要
求を受け入れる（処理３０１）。この時、ユーザが対話
的にジョブを実行させる場合は入出力装置から入力が行
われるが、別にジョブを自動的に起動する装置またはソ
フトウェアなどが組み入れられている場合はそれらから
の要求も受付けることができる。

【００２３】ジョブ実行の要求が行われるときは、図３
に示すようなジョブデータ２０１が付随される。ジョブ
データ２０１の内容は、主にジョブ実行条件、ジョブが
使用するデータについての情報、ジョブの特性などであ
る。これは入出力装置によってユーザがデータを入力し
てもよいし、別途ディスクなどの記録装置にデータを蓄
積しておき、起動時にはそのデータを指定する方法をと
ってもよい。

【００２４】上記ジョブ実行条件に関するデータは、プ
ログラムがどこの記録装置に保存されているか、このジ
ョブを実行するために必要となるハードウェアやソフト
ウェアなどの条件などを示し、各実行用計算機がこのジ
ョブを実行可能かどうかを評価するのに使用する。デー
タ情報は、入出力データがそれぞれ格納される記録装置
やそのデータ量から構成され、各実行用計算機がそのデ
ータを使用することが可能であるか、また可能であった
場合、その入出力にどれくらいの時間が必要かを評価す
るために使用する。ジョブ特性情報は、そのジョブが計
算，入出力，通信などの処理をどのような割合で行うか
についての情報で、この情報と各実行用計算機の稼働状
況に関する情報から、実行用計算機はこのジョブの実行
能力を評価するために使用する。ジョブ実行の要求を受
付け、ジョブデータ２０１を読み込んだ管理用計算機１
のジョブデータ配信部４は、実行用計算機リスト１１を
参照し、自分が管理するすべての実行用計算機２に対し
て、ジョブデータ２０１を送信する（処理３０２，３０
３）。

【００２５】送信を終了すると、あらかじめ設定した制
限時間内で、実行用計算機２から実行能力の評価結果が
送信されてくるのを待ち、送信されてきたらそれを受信
する（処理３０４，３０５）。

【００２６】すべての実行用計算機２から実行能力の評
価結果が送信されてくるか、もしくは制限時間を超えた
ら、判定／分配部５は送信されてきた評価結果を比較
し、そのうち実行能力の最も優れた実行用計算機２にそ
のジョブを割り当てる（処理３０６）。

【００２７】この処理により、管理用計算機１は最も実
行能力のすぐれた実行用計算機２にジョブを割り当てる
ことができ、その際に処理の遅れた実行用計算機２によ
ってジョブの割り当て処理が遅くなることを防ぐことが
できる。さらに、電源が入ってないなど、実行状態にな
っていない実行用計算機を自動的にジョブ割り当て処理
の対象から除くこともできる。

【００２８】次に、実行用計算機の処理フローについて
説明する。図５はジョブデータ201が送信されてきた時
の実行用計算機２の処理フローである。

【００２９】まず、管理用計算機１からデータの送信を
受けた通信処理部７は、その内容を解析し、ジョブデー
タ２０１であることを認識したら、そのデータを実行能
力値算出部へ引き渡す。ジョブデータ２０１を受け取っ
た（処理４０１）実行能力値算出部８は、ジョブの実行
条件ならびに入出力データの所在を読み出し、このジョ
ブが実行可能かを判定する（処理４０２）。

【００３０】もし、自身がジョブ実行条件を満たしてい
ない場合、または入出力データの所在が、自計算機から
読み出しあるいは書き込み不可能である場合には、実行
不可能と判定し評価結果を実行不可能を示す値に設定
し、管理用計算機１に送信する（処理４０３）。ジョブ
が実行可能であった場合には、データ情報ならびにジョ
ブ特性情報の内容を読み取り、実行能力の評価を行う
（処理４０４）。

【００３１】実行能力の評価には、稼働状況監視部１０
によって定期的に採取され、記録装置９に蓄積された自
計算機の稼働状況に関する情報を用いる。これらの情報
には、現在実行中のジョブ数，ＣＰＵの稼働状況を示す
ＣＰＵ利用率，ディスクなどの記録装置の稼働状況を示
すディスクアクセスビジー率，ネットワーク通信の稼働
状況を示す送受信ビジー率などがあげられる。また、そ
の他ジョブ実行に影響を与えると考えられる自計算機に
固有の要因などがある場合は、計算機毎にそれらを用い
る。

【００３２】これらの情報と、ジョブデータ２０１内の
ジョブ特性データを元に、ジョブの実行能力を評価し、
実行能力値を算出する。実行能力値を算出したら、その
値を評価結果として管理用計算機１へ送信する（処理４
０５）。そして、管理用計算機２の判定の結果、ジョブ
の割り当てがなされた場合、実行部１１によってそのジ
ョブが実行される。

【００３３】この実行能力値は、分散システム全体で統
一された尺度にそった値で、かつ数値データの様に簡単
に比較可能であるという制約条件があるが、その制約条
件を満たす限り、その実行能力値は自由に定義できる。
また、その実行能力値の各計算機での算出方法は、各実
行用計算機２毎に独立して決定することができる。

【００３４】例えば、ジョブ特性データに、ある基準計
算機での実行時間を追加し、各計算機毎にその基準計算
機との処理能力の比というデータを固有情報として持た
せた場合、実行能力値を、そのジョブの予想実行時間に
することが可能となる。その時、なんらかの理由であま
り負荷をかけたくない計算機がある場合、意図的に実行
時間を水増しするよう算出式を決定することも可能であ
る。

【００３５】このような処理により、各計算機の事情を
考慮に入れた柔軟な負荷分散処理が実現される。

【００３６】次に、図６を参照して、階層構造を持った
負荷分散システムの例を示す。図６の実行用計算機兼管
理用計算機５０１は、実行用計算機処理部５０２と、管
理用計算機処理部５０３を持つ。実行用計算機処理部５
０２は、実行用計算機２と同様の機能を持つ。また管理
用計算機処理部５０３は、管理用計算機１と同様の機能
を持ち、これにより他の実行用計算機を管理することが
可能となる。また同時にこの管理用計算機処理部５０３
は、自分自身もその管理下に置くよう設定されている。

【００３７】この実行用計算機兼管理用計算機５０１か
ら出る二つの通信路５０５および５０６は、物理的には
同一のネットワークでも異なるネットワークでもよい。

【００３８】この実行用計算機兼管理用計算機５０１の
動作を図７に示す処理フローで説明する。まず、上位の
管理用計算機１からジョブデータ２０１を受信すると
（処理６０１）、通信処理部５０４は管理用計算機処理
部５０３へ処理を引き渡す。

【００３９】管理用計算機処理部５０３は、自分の管理
するすべての実行用計算機に対してジョブデータ２０１
を送信する（処理６０２，６０３）。この時、自身の実
行用計算機処理部５０２も管理下に入っているため、実
行用計算機処理部５０２は自分自身の実行能力を評価
し、実行能力値を算出する（処理６０４）。

【００４０】自分が管理するすべての実行用計算機から
実行能力の評価結果を受信すると、管理用計算機処理部
５０３は全評価結果を比較し、最も実行能力の優れた実
行用計算機２を選択し記憶する（処理６０７）。そして
その記憶した実行用計算機２の評価結果を自分自身の評
価結果として上位の管理用計算機１に送信する（処理６
０８）。その後、もしジョブが上位の管理用計算機１か
ら割り当てられた場合には、そのジョブを記憶しておい
た実行用計算機に割り当てる（処理６０９，６１０）。

【００４１】このようにして階層構造を持った分散シス
テムを実現することにより、システム構築の柔軟性が増
す他、例えば高速の内部ネットワークで各ノードが結ば
れた並列計算機をシステムに組み込むことが可能にな
る。

【００４２】

【発明の効果】本発明により、各計算機の個々の詳細な
事情を反映してジョブを割り当てることができ、柔軟な
システム構成を構築できる動的負荷分散システムが実現
可能となる

【図面の簡単な説明】

【図１】本発明の一実施例の分散システムの構成を示す
ブロック図。

【図２】本発明を実現するためのハードウェア構成の一
実施例のブロック図。

【図３】本発明の一実施例における管理用計算機から実
行用計算機へ送信するジョブの特性に関する情報の一例
を示す説明図。

【図４】本発明の一実施例における管理用計算機の処理
フロー図。

【図５】本発明の一実施例における実行用計算機の処理
フロー図。

【図６】本発明の一実施例における階層構造を有する分
散システムの構成を示すブロック図。

【図７】図６に示す実行用計算機兼管理用計算機５０１
の動作を示す処理フロー図。

【符号の説明】

１…管理用計算機、２…実行用計算機、３…ジョブ受付
部、４…ジョブデータ配信部、５…判定／分配部、６お
よび７…通信処理部、８…実行能力処理部、９…記録装
置、１０…稼働状況監視部、１１…実行用計算機リス
ト、１０３…ネットワーク、１０４…入出力装置。

Claims (5)

【特許請求の範囲】
1. 【請求項１】複数の計算機をネットワークで接続し、複
   数のジョブを分散させて実行する分散システムにおい
   て、そのシステムを有効に利用できるよう各計算機への
   ジョブの割り当てを最適化する自動負荷分散方式であっ
   て、ジョブの投入を受付け、どの計算機へ割り当てるか
   を決定する管理手段と、管理手段によって割り当てられ
   たジョブを実行する実行用計算機から構成され、管理手
   段はジョブの特性に関する情報を実行用計算機に通知
   し、それを受けた実行用計算機は、通知されたジョブの
   特性に関する情報ならびに自分自身の現在の稼働状況に
   関する情報を合わせて評価し、そのジョブに対する自分
   の実行能力を評価してその情報を管理手段へ返送し、各
   実行用計算機からの情報を収集した管理手段は、それら
   を評価し、最も実行能力の優れた実行用計算機に対して
   そのジョブを割り当てることを特徴とした分散システム
   における自動負荷分散方式。
2. 【請求項２】請求項１に記載の自動負荷分散方式におい
   て、実行用計算機は、さらに別の実行用計算機を管理
   し、自分の管理する実行用計算機にジョブの割り当てを
   行う管理手段としての機能を有することが可能で、その
   ような実行用計算機は、自分が管理される管理手段から
   通知されたジョブの特性に関する情報を自分の管理する
   実行用計算機に通知し、それらの実行用計算機から返送
   された実行能力についての情報を考慮に入れて、自分自
   身の実行能力を評価し、その情報を自分を管理する管理
   手段へ返送することにより、多階層の管理構造を構成す
   ることが可能であることを特徴とした分散システムにお
   ける自動負荷分散方式。
3. 【請求項３】請求項１に記載の自動負荷分散方式におい
   て、管理手段の管理下にある各実行用計算機は、自分の
   実行環境に関する特徴や状況を考慮した独自の実行能力
   評価手段を有し、それによって全実行用計算機に共通な
   実行能力に対する情報を生成し、管理手段にその情報を
   通知することにより、管理手段は各実行用計算機から送
   られてきたそれらの情報を単純比較することで、個々の
   実行用計算機の特徴や状況を考慮した負荷分散を行うこ
   とが可能となることを特徴とした分散システムにおける
   自動負荷分散方式。
4. 【請求項４】請求項１に記載の自動負荷分散方式におい
   て、実行用計算機は、自分自身の稼働状況に関する状況
   を定期的に取得し続け、管理手段からジョブの通知がな
   された際には、すでに取得した情報をもとに即座に実行
   能力値を決定することを特徴とする分散システムにおけ
   る自動負荷分散方式。
5. 【請求項５】請求項１に記載の自動負荷分散方式におい
   て、管理手段はジョブの特性に関する情報を実行用計算
   機に通知した後、一定時間を経過しても実行能力に関す
   る情報の返送がない実行用計算機について、そのジョブ
   の割り当ての対象から除外することを特徴とする分散シ
   ステムにおける自動負荷分散方式。