JPH07104836B2

JPH07104836B2 - マルチプロセツサシステムのジヨブ管理方法

Info

Publication number: JPH07104836B2
Application number: JP60192103A
Authority: JP
Inventors: 克己河野; 靖雄鈴木; 欣司森; 捷二宮本
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1985-09-02
Filing date: 1985-09-02
Publication date: 1995-11-13
Anticipated expiration: 2010-11-13
Also published as: JPS6252664A

Description

【発明の詳細な説明】〔発明の利用分野〕本発明は、マルチプロセツサシステムに関し、特に、マ
ルチプロセツサシステムにおけるジヨブ管理、すなわ
ち、複数のプロセツサ間にジヨブを分配するための制御
に関する。

〔発明の背景〕

従来のマルチプロセツサシステムにおいては、予め決め
られた１台のプロセツサ（マスタプロセツサ）が集中的
に全体のジヨブ管理を行なう。したがつて、マスタプロ
セツサがダウンすれば、システムのジヨブ管理は全く行
なうことができない。また、マスタプロセツサは常にシ
ステム全体に関する情報を必要とするから、システムの
拡張や改修に際しては、管理プログラムを必ず修正しな
ければならない。

〔発明の目的〕

本発明の目的は、マルチプロセツサシステムにおいて、
ジヨブ管理機能を特定のプロセツサに集中せず、全プロ
セツサの協調的かつ自律的判断によつてジヨブの分担が
決まるようにし、それにより、部分的ダウンやシステム
改修の影響がジヨブ管理機能に影響を及ぼさないように
することにある。

〔発明の概要〕

本発明によれば、ジヨブ管理機能に関して、全プロセツ
サは対等である。各プロセツサは、発生したジヨブの内
容（プログラム及びデータと内容の要点を示すコードと
を含む）をブロードキヤストし、また、ブロードキヤス
トされたジヨブ内容と自己の状態とに基づき、そのジヨ
ブの実行に立候補するか否かを判断して、立候補する場
合にはその意思表示を示す情報を送出する。この意思表
示を示す情報は、そのジヨブを実行すべきプロセツサの
決定に利用される。例えば、各プロセツサはそのジヨブ
に対するそれぞれの実行条件（例えば処理終了予測時
刻）をブロードキヤストし、かつ、他のプロセツサの実
行条件と自己の実行条件を比較して、それを実行するか
否かを自律的に決定する。あるいは、ジヨブの発生した
プロセツサが、各プロセツサの実行条件を比較して、実
行すべきプロセツサを決定してもよい。

〔発明の実施例〕

第１図は、本発明が適用されるマルチプロセツサシステ
ムの一例を示す。複数のプロセツサ11,12,…,1nは、伝
送制御装置21,22,…,2nを介して伝送路３に接続され
る。各伝送制御装置は、それに接続されたプロセツサか
らのメツセージを伝送路上に送出し、また、伝送路上を
流れてきたメツセージを必要に応じてそれに接続された
プロセツサに転送する。各伝送制御装置は、また、伝送
路上を流れてきたメツセージを原則として次の伝送制御
装置に向けて送出し、その結果として、各プロセツサを
送信源とするメツセージは、他の全プロセツサを経由し
て、送信源プロセツサに戻ることができる。このような
性質を持つものであれば、第１図に示された一方向性の
リング状ネツトワークに限らず、任意のネツトワークを
用いることができる。このようなネツトワークの一例
は、特開昭56−111353号公報に記載されている。

各プロセツサは、第２図に示されるように、伝送制御装
置に対するインタフエース30と、演算部40と、複数のタ
ーミナル60と、ターミナル60に対するインタフエース50
と、タイマ70と、記憶部80とからなる。ターミナル60
は、例えばキーボード端末やカードリーダなどであつ
て、これらによりジヨブが生成される。タイマ70は、後
述する時刻計算に利用される。

ジヨブ管理機能に関して、全プロセツサは対等であり、
この点が、特定のプロセツサにジヨブ管理機能が集中す
る従来システムと著しく異なる。本発明はいくつかの異
なる態様をとりうる。まず、第１の態様において、各プ
ロセツサがジヨブ管理のために行なう処理は、次の３フ
エーズに分けることができる。

（１）自己上に新たにジヨブが生成された時のジヨブ
メツセージのブロードキヤスト（２）ジヨブメツセージを受信した時の立候補決定と
立候補メツセージのブロードキヤスト（３）立候補メツセージを受信した時の実行決定まず、フエーズ（１）において、あるプロセツサ上にタ
ーミナルを介して新たなジヨブが生成されると、そのプ
ロセツサは、そのジヨブの内容を他のプロセツサに知ら
せるために、第３図に示されたフオーマツトのメツセー
ジ（以下ジヨブメツセージという）を送信する。ジヨブ
メツセージは、メツセージの機能又は種別（この場合は
ジヨブメツセージであること）を示す機能コード101
と、ジヨブの内容の要点を示す内容コード102と、ジヨ
ブそれ自体（プログラム及びデータ）103とからなる。
内容コード102は、処理の種類（例えばコンパイル、リ
ンケージ等）、ジヨブの規模（例えばステツプ数等）、
必要なサービスプログラムなどのサポート、ジヨブ識別
コード（番号、識別コード等）などを含み、大型計算機
におけるJCL（Job Control Language）に相当するもの
と考えてよい。ジヨブメツセージは、伝送制御装置を経
て伝送ネツトワークに送出されるとともに、プロセツサ
の記憶部に保存され、後述するフエーズ（２）及び
（３）を経て当該プロセツサがこのジヨブを実行しない
ことが確定した時に消滅せしめられる。送出されたジヨ
ブメツセージは、伝送ネツトワーク上を流れて、それぞ
れのプロセツサに達する。

フエーズ（２）において、伝送制御装置は、伝送路上を
流れてきたジヨブメツセージを受信すると、その機能コ
ードと内容コードとから自分が発信したメツセージか否
かを判別して、自分が発信したメツセージであればそれ
を消去し、他が発信したメツセージであればそのコピー
を作成して、一方をプロセツサに転送し、他方を再び伝
送路上に流す。ジヨブメツセージを受取つたプロセツサ
は、第５図のフローチヤートに示すように、以下の処理
を行なう。

（ａ）ジヨブメツセージの内容コードを調べて、自分が
このジヨブを実行しうるか否かを判断する。この判断
は、例えば、必要なコンパイラ、サービスプログラムな
どを保有しているか否かに基づいて行なわれる。

（ｂ）実行不可能の場合は、そのジヨブメツセージを消
滅させる。

（ｃ）実行可能の場合は、その実行条件を算定する。実
行条件は、本実施例では、そのジヨブに対する処理終了
予測時刻_ｆであり、次式により算定される。_ｆ＝ｔ＋（t₁−_１＋t₂＋t₃）／（１−Δｔ） …
（１）ただし、 t:現在時刻 t₁:現在処理中及び処理待ちの全ジヨブの処理推定時間
の総計₁ :現在処理中のジヨブの処理経過時間 t₂:当該プロセツサが立候補中でその結果が未確定なジ
ヨブの処理推定時間 t₃:今受信したジヨブの処理推定時間 Δt:当該プロセツサがジヨブの処理以外に行なう雑処理
の単位時間における平均的な割合であり、０Δｔ＜１これらのうち、t₁,t₂及びΔｔは、記憶部にテーブル形
式で保持され、処理の進行につれて更新される。立候補
が決まると、ジヨブメツセージは保存される。

（ｄ）_ｆの計算が終ると、立候補メツセージを作成
し、伝送制御装置を経て送信する。立候補メツセージ
は、第４図（ａ）に示すように、立候補メツセージであ
ることを示す機能コード201と、当該ジヨブの内容コー
ド202と、立候補データ部203とからなる。内容コード20
2は、ジヨブメツセージの内容コード102と同じでよい
が、ジヨブ識別コードのみでもよい。立候補データ部20
3には前記の_ｆが入る。

フエーズ（３）において、伝送制御装置は、他のプロセ
ツサを送信源とする立候補メツセージを受信すると、そ
のコピーを作り、一方をそれに接続されたプロセツサに
転送し、他方を再び伝送路上に流す。これを受取つたプ
ロセツサは、第６図に示すように、その立候補データ部
にある_ｆ（これを_fiとする）と自己の算出した_ｆ
を比較し、もしも、_ｆ _fi ならば、立候補を維持する。しかし、上式が成立しなけ
れば、保存されていたジヨブメツセージを消滅させ、前
記t₂を修正する。これにより立候補は取消されて、以後
立候補メツセージの処理は行なわれない。予め定められ
た一定時間が経過しても依然として立候補が維持されて
いれば（すなわち、上式を不成立とするような立候補メ
ツセージの受信がなければ）、そのジヨブを実行するこ
とが確定し、そのジヨブはジヨブキユーに登録されて、
前記t₁とt₂が修正される。

本発明の第２の態様は、前記第１の態様と比較して、フ
エーズ（３）に主要な相違がある。フエーズ（１）とフ
エーズ（２）は前記第１の態様と同じである。ただし、
フエーズ（２）で送信される立候補メツセージは、その
プロセツサの_ｆを必ずしも含まなくてもよい。以下に
この第２の態様のフエーズ（３）を説明するが、その前
提として、フエーズ（２）で送信される立候補メツセー
ジは、内容コード202としてジヨブメツセージの内容コ
ード102をそのまま待ち、かつ、当該プロセツサの_ｆ
が立候補データとして付加されているとする。

この第２の態様のフエーズ（３）における処理には２種
類ある。第７図を参照して、まず、他のプロセツサを送
信源とする立候補メツセージを受信した場合には、その
内容コード202を調べて、それが既に自分も立候補した
ジヨブに対する他のプロセツサの立候補メツセージなら
ば、前記第１の態様のフエーズ（２）と同様に、そのジ
ヨブの_ｆを計算する（代りに、既に計算された_ｆが
保存されていれば、それを用いてもよい）。受信された
立候補メツセージは、この_ｆを末尾に付加されて、再
び伝送路に送出される。しかし、実行不可能ならば、受
信された立候補メツセージは、そのまま送出される。し
たがつて、各プロセツサを送信源とする立候補メツセー
ジの立候補データ部203には、プロセツサ間を一巡する
間に、第４図（ｂ）に示すように、送信源プロセツサの
_f2031を先頭に、各立候補プロセツサの_f2032〜203m
が並ぶ。

他方、自己を送信源とする立候補メツセージを受信した
場合、それは、前記のように、全立候補プロセツサの
_ｆ（_f1〜_fm）を含み、その先頭_f12031は自己の算
定した_ｆである。そこで、プロセツサは次の条件が成
立するか否かを調べる。_f1 Min｛_f2〜_fm｝＋ε ただし、Min｛_f1〜_fm｝は_f1〜_fmの最小値を表
わし、εは０以上の適当な値である。そして、この条件
が成立すれば、そのジヨブを実行するものと決定し、そ
のジヨブをジヨブキユーに登録し、t₁とt₂を修正する。
ε＝０ならば、そのジヨブを実行するプロセツサの個数
は最小（多くの場合１台）であり、εの値が大きいほ
ど、そのジヨブを並行して実行するプロセツサの個数も
多い。εの値は、ジヨブの種類やシステムの性格に応じ
て設定すればよい。もしも実行しないことが決定されれ
ば、そのジヨブメツセージは消滅され、そして、t₂が修
正される。

立候補メツセージの内容コード202がジヨブ識別コード
のみであるフオーマツトを採用した場合には、他のプロ
セツサを送信源とする立候補メツセージを受信した時の
処理のために、自分が立候補を決定した時の処理結果を
利用すればよい。また、立候補メツセージを作成したプ
ロセツサの_ｆが付加されないフオーマツトを採用した
場合には戻つてきた自己の立候補メツセージの処理にお
いて、同様に既算定の_ｆを用いればよい。更に、別の
変形として、他のプロセツサを送信源とする立候補メツ
セージの処理において、それに既に付加されている_ｆ
と自己の_ｆを比較して、自己の_ｆの方が前記ε以上
遅ければ、そのメツセージをそのまま送出して、立候補
を中止するようにしてもよい。

第１の態様によれば、ジヨブを実行するプロセツサが決
まるまでの時間が短く、処理量も少ないから、速応性の
高いシステムが得られるが、最適なジヨブ分担が実現さ
れるとは限らない。これに対して、第２の態様によれ
ば、必ず全立候補プロセツサの条件が考慮されるから、
最適なジヨブ分担が実現されるが、決定までの時間と処
理量は大きい。

第３の態様は、前記の２態様と多くの点で相違する。こ
れは、次の４段階からなる。

（１）新たにジヨブが生成されたプロセツサからの処
理要求メツセージのブロードキヤスト（２）他の各プロセツサにおける前記処理要求メツセ
ージに対する応答（入札）（３）前記処理要求メツセージの送信源であるプロセ
ツサにおける実行すべきプロセツサの選択（４）ジヨブの送出段階（１）において、あるプロセツサ上にジヨブが生成
されると、そのプロセツサは、そのジヨブの実行の入札
を募るために、処理要求メツセージを伝送ネツトワーク
上に流す。処理要求メツセージは、第８図に示されるよ
うに、それが処理要求メツセージであることを示す機能
コード301と、そのジヨブの内容の要点を示す内容コー
ド302と、入札データ部303とからなる。内容コード302
は、第１の態様におけるジヨブメツセージ中の内容コー
ド（第３図102）と同じである。入札データ部303は、そ
のジヨブの実行を申出るプロセツサがそれぞれの_ｆを
入れるためのフイールドである。処理要求メツセージを
送信するプロセツサは、それ自身の_ｆを前記（１）式
により算定し、これを付加（3031）したうえで、処理要
求メツセージを送出する。ただし、自身による実行がそ
の保有するサービスプログラム等からみて不可能であれ
ば、予め定められた充分大きな値を付加する。例外とし
て、その_ｆがｔ＋t₃/（１−Δｔ）であれば（すなわ
ち、自身により即時実行可能ならば）、処理要求メツセ
ージを送出せずに、直ちにそのジヨブの実行を開始して
もよい。

段階（２）において、第10図に示すように、処理要求メ
ツセージを受信したプロセツサは、その実行の可能性を
判断して、不可能ならば処理要求メツセージをそのまま
送出する。しかし、実行が可能ならば（１）式により
_ｆを算出し、それと処理要求メツセージに既に付加され
ている_ｆを比較する。そして、プロセツサは、自己の
_ｆが他の_ｆ（_fiとする）より遅ければ、処理要求
メツセージをそのまま伝送路に送出し、そうでなけれ
ば、この算出した_ｆを末尾に付加して、処理要求メツ
セージを送出するとともに、t₂を修正する。この算出さ
れた_ｆは、また、プロセツサ内に保存される。各プロ
セツサにおけるこのような処理により、処理要求メツセ
ージの入札データ部303には、より早い処理終了予測時
刻を示す_f3032〜303mが順次付加され、やがて、その
メツセージは送信源プロセツサに戻つてくる。

段階（３）において、さきに処理要求メツセージを送信
したプロセツサは、その処理要求メツセージが戻ると、
それに付された_ｆ中の最小のものを選出する。段階
（２）の説明から明らかなように、最小の_ｆは末尾に
ある_ｆである。

段階（４）において、さきに処理要求メツセージを送信
したプロセツサは、第９図に示すフオーマツトのジヨブ
送達メツセージを送信する。このメツセージは、それが
ジヨブ送達メツセージであることを示す機能コード401
と、内容コード402と、入札データ403と、ジヨブそれ自
体402とからなる。内容コード402は第３図の102と同じ
であり、ジヨブ404は同103と同じである。ただし、内容
コード402はジヨブ識別コードのみでもよい。入札デー
タ403としては、段階（３）において最小として選出さ
れた_ｆが置かれる。

このジヨブ送達メツセージを受信すると、入札をしなか
つたプロセツサはそのままのメツセージを再送出し、入
札をしたプロセツサは、そのメツセージの入札データ部
403の値と自己の_ｆを比較して、不一致ならばt₂を修
正するとともにそのメツセージを再送出し、一致すれ
ば、そのメツセージのジヨブ404のコピーを保存すると
ともに、そのジヨブをジヨブキユーに登録して、t₁,t₂
を修正し、かつ、そのメツセージを再送出する。

変形として、段階（２）において、入札するプロセツサ
は、既存の_ｆと自己の_ｆを比較せずに、無条件で自
己の_ｆを処理要求メツセージに付加し、段階（３）に
おいて、相互比較により最小の_ｆを決定してもよい。

〔発明の効果〕

本発明によれば、ジヨブ管理機能が完全に均等に分散さ
れ、そして、各プロセツサは、システム全体に関する情
報を知る必要がない。その結果、特定のプロセツサのダ
ウンによりジヨブ管理機能が失われることなく、また、
サブシステムの増設・除去・変更などによるシステム構
成の変化の影響も全く受けず、したがつて、システムの
信頼性が向上し、保守・運用・変更が容易になる。

特に、プログラムとデータの双方が送られるので、諸プ
ロセツサに予め多種多様なプログラムをロードしておく
必要がないから、経済的に分散処理システムを構築する
ことができ、更に、予定外の新しいジヨブを処理したい
ときにも、そのプログラムを予め諸プロセツサにロード
することなく、即座に対処することができる。

【図面の簡単な説明】

第１図は本発明が適用されるマルチプロセツサシステム
の一例を示すブロツクダイヤグラム、第２図は第１図に
おけるプロセツサの一例を示すブロツクダイヤグラム、
第３図はジヨブメツセージのフオーマツトを示す図、第
４図は立候補メツセージのフオーマツトを示す図、第５
図は立候補メツセージのブロードキヤスト処理のフロー
チヤート、第６図は立候補メツセージへの応答処理の一
例のフローチヤート、第７図は立候補メツセージへの応
答処理の他の例のフローチヤート、第８図は処理要求メ
ツセージのフオーマツトを示す図、第９図はジヨブ送達
メツセージのフオーマツトを示す図、第10図は処理要求
メツセージへの応答処理のフローチヤートである。 11〜1n……プロセツサ、21〜2n……伝送制御装置、３…
…伝送路、102,202,302,402……ジヨブ内容コード、203
……立候補データ、303……入札データ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者宮本捷二神奈川県川崎市麻生区王禅寺1099番地株式会社日立製作所システム開発研究所内 (56)参考文献特開昭57−121750（ＪＰ，Ａ)

Claims

【特許請求の範囲】

【請求項１】複数のプロセツサと、これらのプロセツサ
を相互接続して各プロセツサが送信した情報が他のプロ
セツサを経由して送信元プロセツサに戻ることが可能な
伝送ネツトワークとを備えたマルチプロセツサシステム
において、ジヨブが発生したプロセツサからそのジヨブ
の内容であるプログラム及びデータとジヨブの内容の要
点を示すコードとを含む情報を送信するステツプ１と、
前記情報を受信したプロセツサにおいて自己の状態と受
信した情報の内容とに基づきそのジヨブの実行に立候補
するか否かを判断して立候補する場合にその意思表示を
含む情報を送信するステツプ２と、前記意思表示を含む
情報がそのジヨブを実行するプロセツサの決定に利用さ
れるステツプ３とを有するジヨブ管理方法。
【請求項２】特許請求の範囲１において、ステツプ２で
送信される情報はそのジヨブに対するそのプロセツサの
実行条件を含み、ステツプ３はステツプ２で送信された
情報を受信したプロセツサにおいて受信した情報中の実
行条件と自己の実行条件とを比較してそのジヨブを実行
するか否かを決定するステツプを含むジヨブ管理方法。
【請求項３】特許請求の範囲１において、ステツプ３
は、ステツプ２で送信された情報を受信したプロセツサ
においてそのジヨブに対する自己の実行条件を受信した
情報に付加して送信するステツプと、自己がステツプ２
で送信した情報が戻されたプロセツサにおいてその情報
に付加された他のプロセツサの実行条件と自己の実行条
件を比較してそのジヨブを実行するか否かを決定するス
テツプを含むジヨブ管理方法。
【請求項４】特許請求の範囲１において、ステツプ２で
送信される情報はそのジヨブに対するそのプロセツサの
実行条件を受信した情報に付加したものであり、ステツ
プ３は前記ジヨブが発生したプロセツサにおいてステツ
プ１で送信されて戻された情報に付加された他のプロセ
ツサの実行条件と自己の実行条件を比較してそのジヨブ
を実行すべきプロセツサを決定するステツプを含むジヨ
ブ管理方法。