JPH07253952A - 分散処理システム - Google Patents

Abstract

(57)【要約】 【目的】 複数の情報処理装置１１０〜４１０が接続さ
れた分散システムにおいて、プログラムを並列同時実行
可能なモジュール単位に分割し、各情報処理装置の負荷
を相互に交換することで各情報処理装置の負荷情報を収
集し、負荷の軽い情報処理装置を選択してプログラムモ
ジュールを並列的に実行することでプログラム実行時間
の短縮と分散システムの負荷の平均化を図る。 【構成】 各情報処理装置のメモリ中に、モジュール起
動制御機構１１、処理装置選択機構１２、負荷検出機構
１３、処理装置間通信機構１５を持ち、負荷検出機構１
４が定期的に収集した各情報処理装置の負荷情報１４と
使用者が設定した処理装置限定情報１７を参照して選択
機構１２が負荷の軽い情報処理装置を選択し、制御機構
１１が通信機構１５を通して目的の情報処理装置中のモ
ジュール起動制御機構２１と通信しプログラムモジュー
ル２６を実行する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数の情報処理装置が
ネットワークで結ばれた分散処理システムに係り、特
に、各情報処理装置の負荷情報を収集し、プログラムモ
ジュール実行を負荷の軽い情報処理装置で並列的に同時
に実行することにより、プログラムの実行時間を短縮
し、各情報処理装置の負荷をシステム全体で平均化させ
るようにした分散処理システムに関する。

【０００２】

【従来の技術】一般に、複数の情報処理装置がネットワ
ークで結ばれた分散処理システムにおいて、特定の情報
処理装置の負荷が増大した場合、負荷を分散させる方法
が従来より種々知られている。例えば特開昭６０−７７
２５８号公報（文献１）には、パーソナルコンピュータ
でのジョブを実行する前にネットワーク中の各々のパー
ソナルコンピュータの負荷を調べて、その中の軽負荷の
パーソナルコンピュータを選択して実行させる負荷分散
処理方式が開示され、また例えば特開平２−１２０９６
８号公報（文献２）や特開平５−１０１０１９号公報
（文献３）には、予め管理用コンピュータが収集してお
いた各コンピュータの負荷情報を調べて低負荷のコンピ
ュータでジョブを実行させるという方法が開示されてい
る。ジョブ開始後に当該情報処理装置の負荷が増大した
場合にはこれらの方法では一度開始したジョブは終了ま
で同一処理装置上で実行させなければならないが、例え
ば特開平５−１５１１７７号公報（文献４）では、各ジ
ョブ毎にＣＰＵ使用率を監視し、処理の途中で最も使用
率の高いジョブのメモリイメージを他の処理装置へダイ
ナミックに移送するという方法が開示されている。ここ
で、プログラム移送が可能となるのは同一アーキテクチ
ャの処理装置でネットワークが構成されている場合であ
る。

【０００３】

【発明が解決しようとする課題】上記従来技術では、い
ずれも負荷分散の単位がジョブであり、一度ジョブが実
行を開始すると特定の処理装置の負荷が増大してもジョ
ブ終了まで待つか、またはジョブ実行途中でプログラム
のメモリイメージを他の処理装置に移送するという方法
が採られているため、ジョブの移送を可能とするために
はネットワークが同一アーキテクチャの情報処理装置で
構成されていなければならないという問題があった。

【０００４】従って、本発明の目的は、上記従来技術の
問題点を解消し、アーキテクチャの異なる処理装置が混
在する分散システムにおいて、ジョブを構成するプログ
ラムモジュールを分散させ、これらのプログラムモジュ
ールを並列的に同時に実行させることにより、ジョブの
実行時間を短縮し、また分散システム資源の有効活用を
図るようにした分散処理システムを提供することにあ
る。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、基本的には、（ジョブ）プログラムを複
数個のプログラムモジュールに分散し、プログラムモジ
ュール単位で並列的に分散処理を行なうものである。す
なわち、本発明は、ネットワーク上に種々のアーキテク
チャの混在する複数の情報処理装置が相互に接続された
分散処理システムにおいて、プログラムを複数の並列処
理可能な複数のプログラムモジュールに分割して各情報
処理装置中に配置し、各情報処理装置中に、モジュール
起動制御機構と、処理装置選択機構と、負荷検出機構
と、処理装置間通信機構とを設け、各負荷検出機構は、
定期的に自他の情報処理装置の負荷情報を収集してお
り、ある情報処理装置において実行中のプログラムモジ
ュールから他のプログラムモジュールを呼び出す際に、
この（呼び出し元の）情報処理装置中の処理装置選択機
構が、前記負荷情報に基づいて（負荷情報を参照して）
負荷の軽い情報処理装置を選択し、（呼び出し元の情報
処理装置の）モジュール起動制御機構が、処理装置間通
信機構を通じて前記選択された（呼び出し先の、実行す
べき）情報処理装置中のプログラムモジュールを呼び出
すように構成したものである。

【０００６】また、本発明は、実行中の（呼び出し元
の）情報処理装置中に、実行可能な情報処理装置を限定
する処理装置限定情報を設定し、前記処理装置選択機構
が前記負荷情報及びこの処理装置限定情報を参照するこ
とにより、負荷が軽くかつ目的のプログラムモジュール
を実行（コンパイル）することが可能な情報処理装置を
選択することができる。

【０００７】実行可能な処理装置限定情報の設定の仕方
としては、例えば、同一のアーキテクチャを持つ情報処
理装置毎にグループ分けするグループ化情報を設定する
方法や、あるモジュールが特定の情報処理装置だけに配
置されている場合には、目的モジュールが配置された情
報処理装置を識別する情報を付与する方法などがある。
使用者は、該当する情報処理装置のうちの任意のものを
選定することもできる。処理装置限定情報の設定は、使
用者がジョブを実行する前に予め行なうようにする。

【０００８】各情報処理装置は、中央処理装置、主メモ
リ、及び外部記憶装置を含み、分割されたプログラムモ
ジュールは、それぞれ外部記憶装置に格納されている。

【０００９】

【作用】上記構成に基づく作用を説明する。

【００１０】各情報処理装置中の負荷検出機構は定期的
に自情報処理装置の負荷を計算し、処理装置間通信機構
を使用して他の情報処理装置中の負荷検出機構へ送り、
同時に他の情報処理装置の負荷情報を収集する。使用者
はプログラムの実行に際して、目的プログラムモジュー
ルの実行可能な情報処理装置のような、実行すべき処理
装置を限定すべき条件または限定したい条件があれば処
理装置限定情報を設定する。

【００１１】ある情報処理装置において実行中のプログ
ラムモジュールが他のプログラムモジュールを呼び出そ
うとする場合、呼び出し元モジュールはモジュール起動
制御機構に制御を渡す。モジュール起動制御機構は処理
装置選択機構を呼び出し、処理装置選択機構は、使用者
が設定した処理装置限定情報と負荷検出機構が収集した
負荷情報を参照して、実行可能な情報処理装置中から負
荷の軽い情報処理装置を求め、これをモジュール起動制
御機構に通知する。モジュール起動制御機構は、処理装
置間通信機構を使用して目的の情報処理装置中のモジュ
ール起動制御機構と通信を行ない、目的のプログラムモ
ジュールを呼び出し実行させる。モジュール呼び出し時
に処理装置限定情報も目的の情報処理装置へ送り、目的
の情報処理装置のメモリ中に記憶する。引き続き行なわ
れるモジュール呼び出しにおいても使用者の設定した処
理装置限定情報が引き継がれる。実行中のプログラムモ
ジュールは、モジュール起動制御機構を通して分散シス
テムの負荷情報を問い合わせることも可能である。

【００１２】このようにして、ジョブプログラムが負荷
の軽い各情報処理装置にプログラムモジュール単位でき
め細かに分配されて、同時並列的に処理が実行されるの
で、分散システム全体で負荷の平均化がより一層円滑に
行なわれ、プログラムが効率的に実行され、プログラム
の実行時間を短縮することができる。

【００１３】

【実施例】以下に、本発明の実施例を、図面により説明
する。

【００１４】図１は、本発明の一実施例を示す分散処理
システムのブロック図である。図１において１１０，２
１０，３１０，４１０は情報処理装置であり、それぞれ
中央処理装置１０１，２０１，３０１，４０１、メモリ
１０２，２０２，３０２，４０２、外部記憶装置１０
３，２０３，３０３，４０３から構成される。それぞれ
の情報処理装置はネットワークインタフェース装置１０
４，２０４，３０４，４０４を介してケーブル３００で
接続されネツトワークを構成する。各情報処理装置の主
メモリ（メモリ制御部を含む）１０２，２０２，３０
２，４０２中にはモジュール起動制御機構１１，２１，
３１，４１、処理装置選択機構１２，２２，３２，４
２、負荷検出機構１３，２３，３３，４３、負荷情報１
４，２４，３４，４４、処理装置間通信機構１５，２
５，３５，４５を持つ。

【００１５】負荷検出機構１３は一定時間間隔で当該情
報処理の負荷を計算し、処理装置間通信機構１５を使用
して分散システム中の他の情報処理装置２１０，３１
０，４１０中の負荷検出機構２３，３３，４３と通信
し、お互いの負荷情報を交換し、メモリ中に負荷情報１
４を記憶する。プログラム使用者１０は、プログラムモ
ジュール実行に際し、実行すべき情報処理装置を限定す
べき条件がある場合は処理装置限定情報１７を設定す
る。この限定条件を示す限定情報としては、同一のアー
キテクチャをもつ情報処理装置でコンパイルを行なう必
要があるため、情報処理装置を同一のアーキテクチャ毎
にグループ分けして識別できるようにする。また、同じ
プログラムモジュールが必ずしも全部の情報処理装置に
配置されない場合も考えられるので、目的プログラムモ
ジュールを持っている情報処理装置を識別できるように
する。

【００１６】ある情報処理装置１１０中で、実行中のプ
ログラムモジュール１６から他のモジュールの呼び出し
要求がモジュール起動制御機構１１に対して発行される
と、モジュール起動制御機構１１は、処理装置選択機構
１２を呼び出して実行すべき情報処理装置を求める。処
理装置選択機構１２は、使用者の設定した処理装置限定
情報１７と負荷検出機構１３が作成した負荷情報１４を
参照し、実行可能な情報処理装置中から負荷の軽い情報
処理装置（ここでは２１０とする）を選択して実行すべ
き情報処理装置２１０を決定する。

【００１７】実行すべき情報処理装置２１０が決定する
と、モジュール起動制御機構１１は、処理装置間通信機
構１５を使用して、目的の情報処理装置２１０中のモジ
ュール起動制御機構２１へモジュール呼び出し要求を送
る。処理装置間通信機構１５は、ネツトワークインタフ
ェース装置１０４、ケーブル３００、相手のネツトワー
クインタフェース装置２０４を通して、相手の処理装置
間通信機構２５と通信を行なう。モジュール起動制御機
構１１は、使用者の設定した処理装置限定情報１７も相
手のモジュール起動制御機構２１へ送る。

【００１８】モジュール呼び出し要求を受け取ると、モ
ジュール起動制御機構２１は、外部記憶装置２０３から
目的のプログラムモジュールをメモリ中に読み込み、プ
ログラムモジュール２６を実行させる。処理装置限定情
報２７が一緒に送られて来た場合は、これをメモリ中に
格納する。呼び出し先モジュール２６がさらに別のモジ
ュールを呼び出す場合は、上記手順に従い引き継いだ処
理装置限定情報２７と負荷情報２４を基にして、処理装
置選択機構２２が実行すべき情報処理装置を選択する。
プログラムモジュール２６の実行が終了すると、モジュ
ール起動制御機構２１は、処理装置間通信機構２５，１
５を通して呼び出し元のモジュール起動制御機構１１に
終了を通知し、送られて来た処理装置限定情報２７はメ
モリ中から消去する。モジュール起動制御機構１１は呼
び出し元モジュール１６に終了を通知する。

【００１９】図２、図３は本発明の実施例の１つであ
り、原始プログラムの複数のソースモジュールをコンパ
イルしリンクエディットして実行形式プログラム（ロー
ドモジュール）を作成するジョブに本発明を適用したも
のである。図２に示すように、プログラムは、ソースモ
ジュール１１００，１２００，１３００，１４００をコ
ンパイラ１０００によりコンパイルしてオブジェクトモ
ジュール２１００，２２００，２３００，２４００を作
成し、複数のオブジェクトモジュールをリンクエディッ
トしてロードモジュール３０００とする。

【００２０】図３で動作手順を説明する。１１０，２１
０，３１０，４１０，５１０は分散システム中の、いず
れも同様な情報処理装置である。ここでは説明に必要な
ブロックだけを示してある。同図には、動作順序を○印
を付した数字で対応して示す。本実施例では、呼び出し
元モジュール１６には、コンパイル及びリンクエディッ
ト制御部１６が用いられ、呼び出し先モジュール２６，
３６，４６には、コンパイラ２６，３６，４６が用いら
れる。（１） アーキテクチャが同じ処理装置でコンパ
イルを行なう必要があるため、使用者は実行可能な処理
装置を限定する処理装置限定情報１７を設定し、（２）
コンパイル、リンクエディット制御モジュール１６を
起動する。コンパイル、リンクエディット制御モジュー
ル１６はコンパイル対象モジュールを決定し、（３）
次々とモジュール起動制御機構１１に指示する。（４）
モジュール起動制御機構１１は処理装置選択機構１２
を呼び出し、（５） 処理装置選択機構１２は処理装置
限定情報１７と負荷情報１４を参照して実行処理装置を
決定し、（６） モジュール起動制御機構１１に伝え
る。モジュール起動制御機構１１は、（７） 処理装置
間通信機構１５を通して目的の処理装置２１０，３１
０，４１０上でコンパイラモジュール２６，３６，４６
を呼び出すが、この間も、（８） 負荷検出機構１３は
定期的に負荷情報１４を収集して更新する。低負荷の処
理装置が無くなると、（９） 処理装置選択機構１２は
モジュール起動制御機構１１を通して低負荷処理装置な
しエラーを報告する。この報告がなされると、コンパイ
ル、リンクエディット制御１６は、コンパイラの連続起
動を停止し、起動済のコンパイル処理が終了するのを待
ってから再度コンパイラを起動する。（１０） 全ての
モジュールのコンパイルが終了すると、（１１） コン
パイル、リンクエディット制御１６は、モジュール起動
制御機構１１と、処理装置間通信機構１５と、情報処理
装置５１０の処理装置間通信機構５５と、モジュール起
動制御機構５１を通じてリンクエディットモジュール５
６を起動し、ロードモジュールが作成される。

【００２１】図４は本発明を大容量ファイルのソートジ
ョブに適用する例を示す。１１０，２１０，３１０，４
１０，５１０は分散システム中の各情報処理装置を示
す。ここでも説明に必要なブロックだけ示している。な
お、図中同様に動作順序を○印を付した数字で対応して
示す。この場合は処理装置を限定する必要はないため、
処理装置限定情報は設定しない。（１） 使用者はソー
ト制御モジュール１６を起動する。（２） ソート制御
モジュール１６はモジュール起動制御機構１１に対して
分散システムの負荷を問い合わせる。（３） モジュー
ル起動制御機構１１は処理装置選択機構１２に負荷情報
を問い合わせ、（４） 処理装置選択機構１２はモジュ
ール起動制御機構１１に負荷情報を伝え、（５） モジ
ュール起動制御機構１１はソート制御１６に負荷情報を
返す。（６） 自処理装置の負荷が低ければソート制御
１６は自処理装置内でソートモジュール１８を起動する
が、自処理装置の負荷が高い場合は、（７） 負荷の低
い処理装置に分散させてソートモジュール２６，３６，
４６とマージモジュール５６を起動する。（８） 各ソ
ートモジュール２６，３６，４６は入力ファイル１２０
を分割して入力し、それぞれ部分的にソートを行なう。
（９） 部分的ソートが完了すると、ソートモジュール
２６，３６，４６は同時に起動されてマージモジュール
５６の存在する処理装置５１０へ出力を送る。（１０）
マージモジュール５６はソートモジュール２６，３
６，４６の出力をマージして出力ファイル１３０へ出力
する。

【００２２】以上は、情報処理装置１１０を呼び出し元
とし、情報処理装置２１０，３１０，４１０を呼び出し
先とした場合であるが、いずれの情報処理装置を呼び出
し元とし、または呼び出し先とすることもできるのは勿
論である。

【００２３】

【発明の効果】以上に説明したように本発明によれば、
分散システムにおいて、ジョブプログラムを複数個のプ
ログラムモジュールに分割して負荷の軽い複数の情報処
理装置に分配し、それら複数個のプログラムモジュール
を各情報処理装置で同時並列的に処理するようにしたの
で、プログラムモジュールを実行させる情報処理装置を
各情報処理装置の負荷状態に応じてプログラムモジュー
ルの単位で動的にきめ細かく決定できるため、各情報処
理装置の負荷を平均化でき、従って分散システム資源の
有効利用を行なえるという効果が得られる。

【図面の簡単な説明】

【図１】本発明の一実施例の分散処理システムの構成を
示す図である。

【図２】プログラムのコンパイルジョブの入出力を示す
図である。

【図３】本発明を分散処理システムにおけるプログラム
のコンパイルジョブに適用した実施例の動作を示す図で
ある。

【図４】本発明を分散処理システムにおけるソートジョ
ブに適用した実施例の動作を示す図である。

【符号の説明】

１０ 使用者 １１，２１，３１，４１，５１ モジュール起動制御機
構 １２，２２，３２，４２ 処理装置選択機構 １３，２３，３３，４３ 負荷検出機構 １４，２４，３４，４４ 負荷情報 １５，２５，３５，４５，５５ 処理装置間通信機構 １６ 呼び出し元プログラムモジュール １８，２６，３６，４６，５６ 呼び出し先プログラム
モジュール １７，２７ 処理装置限定情報 １０１，２０１，３０１，４０１ 中央処理装置 １０２，２０２，３０２，４０２ 主メモリ １０３，２０３，３０３，４０３ 外部記憶装置 １０４，２０４，３０４，４０４， ネツトワークイン
タフェース装置 １１０，２１０，３１０，４１０，５１０ 情報処理装
置 １２０ 入力ファイル １３０ 出力ファイル ３００ ケーブル １０００ コンパイラ １１００，１２００，１３００，１４００ 原始プログ
ラム（ソース）モジュール ２１００，２２００，２３００，２４００ オブジェク
トモジュール ３０００ 実行形式（ロード）モジュール

───────────────────────────────────────────────────── フロントページの続き (72)発明者 福田 弘忠 神奈川県横浜市戸塚区戸塚町5030番地 株 式会社日立製作所ソフトウエア開発本部内

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ネットワーク上に種々のアーキテクチャ
   の混在する複数の情報処理装置が相互に接続された分散
   処理システムにおいて、 プログラムを並列処理可能な複数のプログラムモジュー
   ルに分割して各情報処理装置中に配置し、 各情報処理装置中に、モジュール起動制御機構と、処理
   装置選択機構と、負荷検出機構と、処理装置間通信機構
   とを設け、 各負荷検出機構は、定期的に自他の情報処理装置の負荷
   情報を収集しており、 ある情報処理装置において実行中のプログラムモジュー
   ルから他のプログラムモジュールを呼び出す際に、 この情報処理装置中の処理装置選択機構が、前記負荷情
   報に基づいて負荷の軽い情報処理装置を選択し、 モジュール起動制御機構が、処理装置間通信機構を通じ
   て前記選択された情報処理装置中のモジュール起動制御
   機構と通信することにより、前記選択された情報処理装
   置中の実行すべきプログラムモジュールを呼び出すこと
   を特徴とする分散処理システム。