JP3215264B2 - スケジュール制御装置とその方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、並列計算機等の並列処
理システムにおけるスケジュール制御装置とその方法に
関する。

【０００２】

【従来の技術】近年、計算機が処理すべきデータ量の増
大に伴い処理を高速化するために、しばしば並列処理能
力を持つ計算機システムが用いられている。特に、膨大
な計算量を必要とする科学技術計算等の分野において
は、このような並列計算機システムの資源をできる限り
有効に利用することが望まれる。

【０００３】並列計算機システムは、単一計算機では不
足する処理能力やメモリ量をプロセッサ要素（ＰＥ）の
台数で補うことができるため、要求するＰＥ台数が異な
る種々の大きさのジョブがシステムに投入される。従来
の並列計算機では、これらの複数のジョブを処理するた
めに、同時に実行可能なジョブの規模とジョブ数を定義
し、投入されたジョブをその規模によりクラス分けし、
クラス毎に決められたＰＥを用いて順次処理している。

【０００４】図３２は、従来の並列計算機システムにお
けるジョブスケジューリング方式を示している。図３２
では、システムに設置されている複数のＰＥは、小規模
ジョブ用２個、中規模ジョブ用１個、大規模ジョブ用１
個の４つのクラスに分割される。到着したジョブはその
規模に応じてクラス分けされ、各クラスに対応する１台
以上のＰＥにより実行される。

【０００５】この方式によれば、実行待ちジョブの中か
ら次に実行すべきジョブを決定し、実行を開始するため
に必要な手続きを取るための、ジョブの起動のアルゴリ
ズムを組み込むだけで比較的簡単にジョブをスケジュー
リングできる。また、クラス毎にジョブをスケジューリ
ングするため、各ジョブの実行順序が明確である。

【０００６】また、実行待ちの各クラスのジョブが十分
にある限り、常時指定された本数（クラスの数）のジョ
ブが実行される。したがって、各ジョブがクラス毎に割
り当てられた制限台数のＰＥを全て使用していれば、未
割り当てのＰＥは発生しない。

【０００７】

【発明が解決しようとする課題】しかしながら、従来の
ジョブスケジューリング方式には以下のような問題点が
ある。

【０００８】第１に、使用ＰＥ台数が制限台数未満のジ
ョブを実行するクラス、および実行すべきジョブがまだ
到着していないクラスでは未使用のＰＥが発生するが、
後続のジョブや後に到着するジョブに対するＰＥの割り
当てを確実に行うためには未使用のＰＥを他のクラスの
ジョブに割り当てることができない。したがって、実行
中のジョブが終了するまで、あるいはジョブが到着する
まで未使用のＰＥを休ませることになり、ＰＥの有効利
用が図れない。

【０００９】例えば図３２の大規模ジョブのクラスに属
するジョブが到着していない場合、このクラスのＰＥは
全て休止状態となるが、これらに小規模ショブや中規模
ショブを実行させると、次に到着した大規模ジョブを直
ちに実行できない恐れがある。そこで大規模ジョブのク
ラスには他のクラスのジョブを投入せずに、ＰＥを休止
させることになる。

【００１０】第２に、クラスという枠でしかジョブを扱
えないため、各クラスのジョブを実行するＰＥが固定化
され、ジョブスケジュールをシステム資源要求量に応じ
た優先度で柔軟に制御することが不可能である。

【００１１】第３に、システムに設置された全てのＰＥ
を同時に使用するような規模のジョブを実行するために
は、一時的に運用方式の異なる時間帯を設けて他のクラ
スの実行を停止する必要があり、時間帯により実行でき
るジョブのクラスが制限されることになる。また、決め
られた運用時間帯内で終了できなかったジョブの処置方
法を決めなければならず、運用方法が複雑となる。

【００１２】第４に、運用中のシステム停止やシステム
で利用可能なＰＥ台数の変動が予定されている場合、実
行待ちジョブの中から次に実行すべきジョブを決定する
だけでジョブを起動させる方式では、ジョブの実行中に
ＰＥ台数が不足する恐れがある。したがって、システム
停止やＰＥ台数の変更を予定通り行えない。

【００１３】これらの問題を克服する方法として、ジョ
ブの使用ＰＥ台数を限定せずに任意台数のＰＥの割り当
てを可能とし、全てのジョブを要求ＰＥ台数に応じた優
先度で処理する方法が考えられる。しかし、ジョブの優
先度を固定すると、優先度の高いジョブがある限り優先
度の低いジョブは起動されず、また大規模なジョブの場
合は優先度を高くしても処理できない可能性がある。し
たがって、一般にジョブの起動アルゴリズムだけではジ
ョブ処理時間の統一的管理を行うことは極めて難しい。

【００１４】本発明は、このような従来技術の問題点に
鑑みてなされたものであり、並列処理システムの資源を
有効かつ柔軟に活用するスケジュール制御装置とその方
法を提供することを目的とする。

【００１５】さらに詳しくは、並列計算機システムにお
いて、任意の数のプロセッサ要素を用いたジョブの実
行、システム資源要求量に応じたジョブ優先度の設定、
設定された優先度に応じた適切なジョブの実行、緊急ジ
ョブの優先処理等を可能にすることを目的とする。

【００１６】

【課題を解決するための手段】本発明は、複数の処理要
素が並列に処理を行う並列処理システムにおけるスケジ
ュール制御装置とその方法である。並列処理システムと
して、例えば複数ジョブの同時実行が可能な並列計算機
システムを対象とする。

【００１７】図１は、本発明のスケジュール制御装置の
原理図である。本発明のスケジュール制御装置は、スケ
ジュール制御手段１、優先度制御手段２、優先度変更手
段３、割り当て制御手段４、割り当て判定手段５、起動
予定設定手段６、実行中断手段７、実行再開手段８、お
よびプレステージ制御手段９を備える。

【００１８】優先度制御手段２は、優先レベルの異なる
複数の実行待ちジョブキューを有し、優先レベルおよび
キュー内優先度に応じて実行待ちジョブキュー内の実行
待ちジョブの起動順位を管理する。このとき、実行待ち
ジョブの所属する実行待ちジョブキューおよびそのキュ
ー内優先度を、実行待ちジョブの要求する処理要素数等
の資源量と実行待ちジョブが発生してからの待ち時間と
実行待ちジョブの実行時間のうち、少なくとも１つを用
いて決定する。また、時間の経過に伴い実行待ちジョブ
の起動順位を動的に見直し、待ち時間が長い実行待ちジ
ョブほど起動順位を早める。

【００１９】優先度制御手段２は、さらに優先レベルの
異なる複数の実行中ジョブキューを有し、優先レベルお
よびキュー内優先度に応じて実行中ジョブキュー内の実
行中ジョブの優先順位を管理し、時間の経過に伴い優先
順位を動的に見直す。

【００２０】優先度変更手段３は、指定された実行待ち
ジョブの重要度に応じて、その実行待ちジョブの所属す
る実行待ちジョブキューおよびそのキュー内優先度を変
更する。また、指定された実行中ジョブの重要度に応じ
て、その実行中ジョブの所属する実行中ジョブキューお
よびそのキュー内優先度を変更する。

【００２１】割り当て制御手段４は、複数の実行待ちジ
ョブキューのうち、所定優先レベル以上の実行待ちジョ
ブキュー内の実行待ちジョブに優先的に処理要素を割り
当てる。このとき、必要があれば実行中断手段７により
中断された実行中のジョブが使用していた処理要素を、
上記所定優先レベル以上の実行待ちジョブキュー内の実
行待ちジョブに割り当てる。また、優先度制御手段２が
管理する起動順位に従って、可能な限り多くの実行待ち
ジョブに未使用の処理要素を割り当てる。

【００２２】割り当て判定手段５は、未使用の処理要素
の数が実行待ちジョブキュー内の実行待ちジョブを実行
するために必要な処理要素の数以上か否かを判定する。
また、優先度の高い未実行処理（未実行ジョブ）の開始
時刻までに実行を終了する予定の新規処理に対しては、
処理要素の割り当てが可能と判定し、上記開始時刻まで
に終了しない予定の新規処理に対しては、処理要素の割
り当てが不可能と判定する。使用可能な処理要素の数が
変動することが予定されているときには、変動後の使用
可能な処理要素の数と、未実行処理を実行するために必
要な処理要素の数を基にして、未実行処理への処理要素
の割り当てが可能か否かを判定する。このとき、並列処
理システムにおいて使用中および使用可能である処理要
素をあわせた利用可能な処理要素の数と、並列処理シス
テムにおいて使用中の処理要素の数とを基にして、上記
使用可能な処理要素の数を求める。

【００２３】また、割り当て判定手段５は、並列処理シ
ステム内で同時に中断される処理要素の最大数と、１つ
の実行待ちジョブを起動するために中断される処理要素
の最大数と、必要な処理要素数または実行時間のうち少
なくとも１つを用いて指定される規模以下のジョブが使
用中の処理要素の数とを基にして、中断可能処理要素数
を決める。

【００２４】起動予定設定手段６は、未実行処理を実行
するために使用可能な処理要素の数が、未実行処理のた
めに必要な処理要素の数以上となる時刻を求めて、上記
開始時刻とし、割り当て判定手段５に伝える。使用可能
な処理要素の数が変動することが予定されているとき
は、変動後の使用可能な処理要素の数が未実行処理のた
めに必要な処理要素の数以上となるように上記開始時刻
を設定する。

【００２５】実行中断手段７は、未使用の処理要素の数
が所定優先レベル以上の実行待ちジョブキュー内の実行
待ちジョブを実行するために必要な処理要素の数に満た
ない、かつ、所定優先レベル以上の実行待ちジョブキュ
ー内の実行待ちジョブを起動するために必要な処理要素
の数が、未使用の処理要素の数と中断可能処理要素数の
合計以内であると割り当て判定手段５が判定したとき、
実行中のジョブを中断する。このとき、複数の実行中ジ
ョブキューのうち、所定優先レベルに満たない実行中ジ
ョブキュー内の実行中のジョブを中断する。

【００２６】実行再開手段８は、実行中断手段７により
中断された実行中のジョブが、上記所定優先レベル以上
の実行中ジョブキューに属するとき、実行待ちジョブキ
ュー内の実行待ちジョブより優先的に処理要素を割り当
てて、その中断された実行中のジョブを再開する。

【００２７】プレステージ制御手段９は、実行待ちジョ
ブの所属する実行待ちジョブキューおよびそのキュー内
優先度とプレステージ容量とに応じて決められる順序に
従って、その実行待ちジョブが使用するデータを予め転
送速度の速い媒体に転送する。

【００２８】スケジュール制御手段１は、優先度制御手
段２と割り当て制御手段４を用いて、並列処理システム
におけるジョブの実行のスケジューリングを行う。この
とき、割り当て判定手段５の判定結果を用いて運用予定
に従ったスケジューリングを行う。

【００２９】本発明が対象とする並列処理システムは、
例えば図２の並列計算機システム２７であり、処理要素
はプロセッサ要素（ＰＥ）３０−１等に対応する。ま
た、スケジュール制御手段１、割り当て制御手段４、割
り当て判定手段５、起動予定設定手段６、実行中断手段
７、実行再開手段８、およびプレステージ制御手段９
は、それぞれ図７のスケジュール制御プログラム４１、
ジョブ起動処理プログラム４３、ＰＥの割り当て判定プ
ログラム４５、起動予定時刻算出プログラム４８、スワ
ップアウト処理プログラム４６、スワップイン処理プロ
グラム４２、およびプレステージ処理プログラム４４を
実行するコントロール・プロセッサ２８またはフロント
エンド・プロセッサ２２により実現される。さらに、優
先度制御手段２と優先度変更手段３は、キュー情報制御
プログラム４７を実行するコントロール・プロセッサ２
８またはフロントエンド・プロセッサ２２に相当する。

【００３０】

【作用】優先度制御手段２が優先レベルの異なる複数の
実行待ちジョブキューおよび実行中ジョブキューによ
り、実行待ちジョブの起動順位および実行中ジョブの優
先順位を管理する。これによりジョブが統一的に管理さ
れ、ジョブの起動順位や優先順位の動的な見直しが可能
になる。また、優先度変更手段３によるジョブの順位の
変更も容易に行うことができる。

【００３１】また、ジョブの起動順位や優先順位をその
要求資源量と実行時間を用いて決定すれば、発生したジ
ョブの規模に応じて順位を指定することができる。ジョ
ブの起動順位や優先順位をその待ち時間を用いて決定す
れば、待ち時間に応じた順位の指定が可能になり、例え
ば待ち時間の長いジョブを優先的に起動させることがで
きる。

【００３２】優先度変更手段３により実行待ちジョブお
よび実行中ジョブの所属するジョブキューおよびそのキ
ュー内優先度を変更できるので、システム管理者等によ
り指定されるジョブの重要度や緊急度に応じて、ジョブ
の順位をフレキシブルに変えられる。

【００３３】割り当て制御手段４は可能な限り多くの実
行待ちジョブに未使用の処理要素を割り当てるので、処
理要素の有効利用が図られる。ジョブの使用する処理要
素の数を限定しないため、後続ジョブの規模とは無関係
に処理要素を割り当てることができる。また、実行中断
手段７により実行中のジョブを中断してでも、所定優先
レベル以上の実行待ちジョブキュー内の実行待ちジョブ
に必要な数の処理要素を割り当てるので、所定優先レベ
ル以上のジョブは優先的に起動される。

【００３４】割り当て判定手段５が未使用の処理要素の
数とジョブの実行に必要な処理要素の数を比較し、その
ジョブに処理要素の割り当てが可能か否かを判定する。
優先度の高い未実行処理の開始時刻までに実行を終了す
る予定の新規処理に対しては、処理要素の割り当てが可
能と判定するので、その新規処理を行うことにより未使
用の処理要素が有効に利用される。使用可能な処理要素
の数が変動する場合には、変動後の使用可能な処理要素
の数と必要な処理要素の数を基にして、未実行処理への
処理要素の割り当てが可能か否かを判定するので、その
未実行処理の起動により処理要素数の変更予定が妨害さ
れることを防ぐことができる。

【００３５】並列処理システム内で同時に中断される処
理要素の最大数と１つの実行待ちジョブを起動するため
に中断される処理要素の最大数とを設け、中断可能処理
要素数を制限すれば、頻繁な処理の中断によるシステム
オーバヘッドの増加を防ぐことができる。また、指定規
模以下のジョブが使用中の処理要素の数を中断可能処理
要素数に設定すれば、大規模ジョブが使用中の処理要素
を中断対象から外すことが可能になり、大規模ジョブの
中断によるシステムオーバヘッドの増加および処理要素
の利用率の大幅低下が防がれる。

【００３６】起動予定設定手段６は、処理要素数の変動
があった場合でも使用可能な処理要素の数が必要な処理
要素の数以上となるように未実行処理の開始時刻を設定
するので、上記開始時刻に起動された未実行処理がシス
テム停止や処理要素数の削減等の運用予定を妨げること
はない。

【００３７】実行中断手段７により所定優先レベルに満
たない実行中ジョブキュー内の実行中のジョブを中断す
れば、実行待ちのジョブを起動する際に不足する処理要
素を補うことができる。また、所定優先レベル以上の実
行中ジョブキュー内の実行中のジョブは中断されない
で、終了するまで優先的に実行される。

【００３８】中断された実行中のジョブが、その後の優
先度の見直し等により所定優先レベル以上の実行中ジョ
ブキューに属するようになったとき、実行再開手段８が
実行待ちジョブより優先的に処理要素を割り当てるの
で、その中断されたジョブが早く再開される。

【００３９】プレステージ制御手段９により、実行待ち
ジョブの起動順位に応じてデータのプレステージ順位が
決められるので、動的に変化する起動順位に従ったプレ
ステージ処理が可能になる。また、所定のプレステージ
容量に収まるデータについてのみプレステージ順位を決
めればよい。

【００４０】スケジュール制御手段１により、優先度制
御手段２が管理するジョブの起動順位および優先順位、
割り当て制御手段４による処理要素の割り当て、および
割り当て判定手段５の判定結果等が並列処理システムに
おけるジョブスケジューリングに反映される。

【００４１】

【実施例】以下、図面を参照しながら本発明の実施例に
ついて説明する。図２は、本発明の実施例のスケジュー
ル制御装置を備える情報処理装置の構成図である。図２
の情報処理装置は、フロントエンド・プロセッサ（ＦＥ
Ｐ）２２、並列計算機システム２７、および高速システ
ム記憶ユニット（ＳＳＵ）３１を有する。

【００４２】並列計算機システム２７は、クロスバ・ネ
ットワーク２９に接続されたｎ個のプロセッサ要素（Ｐ
Ｅ）３０−１〜３０−ｎと、これらを制御するコントロ
ール・プロセッサ（ＣＰ）２８を備える。コントロール
・プロセッサ２８は、運用スケジュールテーブル２１に
より決められた並列計算機システム２７の運用予定にし
たがって、ＰＥ３０−１〜３０−ｎに自動運転を行わせ
る自動化プログラム２３−２と、ＰＥ３０−１〜３０−
ｎに実行させるジョブのスケジューリングを行うスケジ
ューラ２４−２を格納し、これらを実行する。

【００４３】自動化プログラム２３−２は、ＰＥの電源
のオン・オフ制御やシステム故障時の対処等の処理を行
い、スケジューラ２４−２は、管理テーブルを用いたジ
ョブの管理、管理テーブルの更新、ジョブの起動等の処
理を行う。

【００４４】フロントエンド・プロセッサ２２は、それ
ぞれ自動化プログラム２３−２、スケジューラ２４−２
と連携して処理を行う自動化プログラム２３−１、スケ
ジューラ２４−１を格納し、これらを実行することによ
り並列計算機システム２７の運用をサポートしている。
スケジューラ２４−１は、基本的にはスケジューラ２４
−２と同じ機能を持つが、ＰＥ３０−１〜３０−ｎの台
数は意識しないで処理を行う。

【００４５】またフロントエンド・プロセッサ２２は、
ＰＥ３０−１〜３０−ｎが実行する個々のジョブを記述
したユーザプログラム２５を格納し、それらのジョブが
処理するデータを格納した磁気ディスク２６を備える。
ユーザプログラム２５は、フロントエンド・プロセッサ
２２によりコンパイルおよびリンクが行われた後に、コ
ントロール・プロセッサ２８に送られ、ＰＥ３０−１等
により実行される。このような構成を採ることにより並
列計算機システム２７の負担が軽減され、並列計算機シ
ステム２７の運用効率が高められる。

【００４６】磁気ディスク２６に格納されたデータは、
フロントエンド・プロセッサ２２により、対応するジョ
ブを実行する前に予めプレステージされて高速システム
記憶ユニット３１に格納される。プレステージを行うこ
とにより、ジョブ実行時のデータ転送に伴う待ち時間を
短縮し、システムの処理能力を高めることができる。

【００４７】運用スケジュールテーブル２１は、ＰＥ３
０−１等の電源をオン・オフする日時やシステム停止
（SYSTEM STOP ）の日時などの運用予定を記述したテー
ブルで、システム管理者によりフロントエンド・プロセ
ッサ２２およびコントロール・プロセッサ２８に入力さ
れる。図２では、例えば４月２８日の午前９時にＰＧ１
（Power Control Group １）とＰＧ２に属するＰＥの電
源を入れる（オンする）ことが予定されている。ＰＧ１
等は、ＰＥ３０−１〜３０−ｎのうちの１つ以上のＰＥ
から成る電源の制御単位を表す。

【００４８】本実施例においては、スケジューラ２４−
１、２４−２は、以下に説明する動的優先度制御方式、
ＰＥ割り当て方式、割り当て可否判定方式、長時間待ち
ジョブの優先割り当て方式、スワップアウト制御方式、
起動予定時刻設定方式、プレステージ制御方式、優先度
変更方式の８つの方式を採用することによりジョブスケ
ジューリングを行い、ＰＥの有効利用を図る。

【００４９】図３は、図２の情報処理装置における動的
優先度制御方式を説明する図である。図３の○印は各ジ
ョブキューに繋がれているジョブを表す。ジョブの優先
度は、所属するキューの優先度が高いジョブほど高く、
同一キューのジョブ間ではキュー内優先度の高いジョブ
ほど高い。ジョブの投入時には指定された関数を使用し
て実行待ちジョブ管理キュー内の所属キューおよびキュ
ー内優先度を決定し、その後のスケジュール契機にはジ
ョブの所属キューおよびキュー内優先度を見直して、キ
ュー毎に優先度の高い順にジョブを管理する。

【００５０】図３の実行待ちジョブ管理キューおよび実
行中ジョブ管理キューは、それぞれ最優先ジョブキュ
ー、優先ジョブキュー、非優先ジョブキューの３本のキ
ューから成る。到着した優先ジョブは実行待ちジョブ管
理キューの最優先ジョブキューまたは優先ジョブキュー
に繋がれ、優先度の低い一般ジョブは非優先ジョブキュ
ーに繋がれる。実行待ちジョブ管理キューの各ジョブキ
ューの先頭に達したジョブは、その時点での優先度に応
じて例えば優先度のより高いジョブキューの最後尾に繋
がれ、実行が開始されたジョブは、その優先度に応じて
実行中ジョブ管理キューのいずれかのジョブキューに繋
がれる。

【００５１】このような優先度制御処理は、図７のキュ
ー情報制御プログラム４７により行われる。本実施例で
は、実行待ちジョブ管理キューおよび実行中ジョブ管理
キューの最優先ジョブキュー、優先ジョブキュー、非優
先ジョブキュー内のジョブの優先度ＰＲ１、ＰＲ２、Ｐ
Ｒ３を、それぞれ次式（１）、（２）、（３）により設
定する。 ＰＲ１＝−〔 sqrt （使用ＰＥ台数）×ジョブ実行時間（秒）〕×3.0 ＋待ち時間（秒） ……（１） ＰＲ２＝−〔 sqrt （使用ＰＥ台数）×ジョブ実行時間（秒）〕×3.0 ＋待ち時間（秒） ……（２） ＰＲ３＝−〔 sqrt （使用ＰＥ台数）×ジョブ実行時間（秒）〕×0.25 ＋待ち時間（秒） ……（３） （１）、（２）、（３）式において、使用ＰＥ台数は該
当するジョブの実行に必要なＰＥ台数であり、ジョブ実
行時間はジョブの開始から終了までに要する時間であ
り、待ち時間はジョブが到着してから待たされた時間で
ある。また、ＰＲ１等の値が大きいジョブ程、そのジョ
ブキュー内での優先度が高いものとする。

【００５２】図４は、（１）、（２）、（３）式を用い
て、実行待ちジョブ管理キューおよび実行中ジョブ管理
キューに繋がれたジョブの優先度を見直す処理のフロー
チャートである。これらの式が示すように、待ち時間が
長いジョブほど優先度が上がるため、適当な契機に優先
度を見直してジョブを繋ぐキューを変更する必要があ
る。図４の処理もキュー情報制御プログラム４７により
行われる。

【００５３】図４の処理が開始されると、まずその使用
ＰＥ台数とジョブ実行時間から（３）式によりＰＲ３を
計算し（ステップＳ１）、ＰＲ３＜０の場合には（ステ
ップＳ２、ＹＥＳ）、非優先ジョブキューへ繋ぎ（ステ
ップＳ７）、以後ＰＲ３をそのジョブの優先度として付
加する（ステップＳ６）。

【００５４】ＰＲ３≧０の場合には（ステップＳ２、Ｎ
Ｏ）、さらに（２）式によりＰＲ２を計算し（ステップ
Ｓ３）、ＰＲ２＜０であれば（ステップＳ４、ＹＥ
Ｓ）、優先ジョブキューへ繋ぐ（ステップＳ８）。そし
てＰＲ２をそのジョブの優先度として付加する（ステッ
プＳ６）。

【００５５】ステップＳ４でＰＲ２≧０の場合には（ス
テップＳ４、ＮＯ）、最優先ジョブキューへ繋ぎ（ステ
ップＳ５）、（１）式よりＰＲ１を計算して、以後ＰＲ
１をそのジョブの優先度として付加する（ステップＳ
６）。

【００５６】（１）、（２）、（３）式によりジョブの
優先度を決めると、使用するＰＥ台数が少ないジョブ
程、また、実行時間の短いジョブ程優先される。これら
の式の右辺第１項で使用ＰＥ台数の平方根を取っている
のは、使用ＰＥ台数の１次の項を用いた場合よりも大規
模ジョブの優先度を高くするためである。もちろん、こ
こで平方根を取る代わりに１次の項を用いてもよい。

【００５７】また、右辺第２項の係数を１としている
が、待ち時間に使用ＰＥ台数やジョブ実行時間の関数に
より決定した係数を掛けることにより、使用ＰＥ台数が
少ないジョブや実行時間の短いジョブの待ち時間に対す
る優先度の変化を大きく設定することもできる。

【００５８】さらに、（１）、（２）、（３）式および
図４の優先度見直し処理のアルゴリズムは、本発明にお
ける動的優先度制御の一例に過ぎず、他の関数やアルゴ
リズムによりジョブの優先度を見直す構成も可能であ
る。ジョブの優先度を決める関数は、システム管理者に
より任意に決められる。

【００５９】図５は、より一般的な実行待ちジョブ管理
キューおよび実行中ジョブ管理キューを示している。図
５のジョブ管理キューは、キュー優先度の高い順にキュ
ー１からキューＮまでのＮ本のキューより成る。キュー
の本数Ｎ、およびジョブの所属キューとキュー内優先度
を決定するための関数は、図３の場合と同様にして予め
定義される。各○印内の数字は、各ジョブのシステム内
の相対優先順位を表しており、キュー１の先頭ジョブか
ら順に優先度が高くなっていることがわかる。

【００６０】本実施例のＰＥ割り当て方式では、並列計
算機システム２７に割り当て可能な空きＰＥがある場合
には、システム内の優先度の高いジョブから順に要求さ
れる台数のＰＥの割り当てが可能か否かを判定し、可能
と判定した場合にはそのジョブを起動するために必要な
処理を行う。ここで、ＰＥの割り当てが不可能なジョブ
があっても、割り当て可能な空きＰＥがある限り、後続
のすべてのジョブに対し同様の割り当て処理を行うこと
により、ＰＥの有効利用を図る。

【００６１】ＰＥ割り当て方式で用いる割り当て可否判
定方式では、システムの停止や利用可能ＰＥ台数の変動
等が予定されている場合には、ジョブ開始時点だけでな
くジョブ終了に至るまでの間要求されたＰＥの割り当て
が可能か否かを判定する。

【００６２】本実施例の動的優先度制御方式では、長時
間待たされたジョブはより優先度の高いキューに繋がれ
ることから、一定の優先度のキューに達したジョブに対
して優先的にＰＥを割り当てる方式を採用する。これが
長時間待ちジョブの優先割り当て方式である。

【００６３】図６は、ＰＥの割り当て優先度を説明する
図である。図６の実行待ちジョブ管理キュー、実行中ジ
ョブ管理キューは、それぞれキュー１からキューＮまで
のＮ本のキューより成り、キューｎ１が予め優先実行下
限キューに指定されている。優先実行下限キュー以上の
優先度のキューに達したジョブは優先実行ジョブと呼ば
れ、優先実行下限キューに達していないジョブは非優先
実行ジョブと呼ばれる。本実施例では、実行中の優先実
行ジョブ、実行待ちの優先実行ジョブ、実行中の非優先
実行ジョブ、実行待ちの非優先実行ジョブの順に、ＰＥ
を優先的に割り当てる。

【００６４】また、実行中の優先実行ジョブは最も優先
度が高いため、スワップアウトの対象とはしない。ここ
で、スワップアウトとは、実行中のジョブが使用してい
るＰＥの一部または全部を奪って、他のジョブに割り当
てることを意味する。１台でもＰＥをスワップアウトさ
れたジョブの処理は中断され、その後スワップインが行
われたときに再開される。スワップインとは、スワップ
アウトされていたジョブに再び必要な台数のＰＥが割り
当てられることを意味する。

【００６５】図６では、実行中ジョブ管理キューのキュ
ー１からキューｎ１までのジョブがスワップアウト対象
外ジョブである。これに対して、図３では最優先ジョブ
キューが優先実行下限キューに指定されており、最優先
ジョブキューに属するジョブのみがスワップアウト対象
外ジョブとなっている。実行中ジョブ管理キューの非優
先実行ジョブはスワップアウトの対象になるので、スワ
ップアウト対象ジョブとも呼ばれる。

【００６６】実行待ちジョブ管理キューの優先実行ジョ
ブのうち、最優先キューであるキュー１の先頭ジョブは
起動優先ジョブと定義し、その起動時には必要があれば
実行中の非優先実行ジョブのスワップアウトを可能とす
る。それでも起動できない場合には起動優先ジョブを最
短時間で起動させるために、起動を遅らせる可能性のあ
る他の実行待ちジョブの起動を全て抑止する。

【００６７】スワップアウトの実行はデータ転送および
データの退避・復元のためのオーバヘッドを伴うため、
スワップアウトが頻繁に行われるとシステム効率の低下
要因となる。また、使用ＰＥのうち１台でもスワップア
ウトされたジョブはその分ジョブ終了時刻が遅れること
になる。ジョブの使用ＰＥのうち、スワップアウトされ
なかったＰＥが処理を続行したとしても、ジョブ終了時
刻を早めることにはならない。一般に並列計算機システ
ムでは、１つのジョブを処理する各ＰＥの処理時間がほ
ぼ同じになるように予め調整しているため、１台のＰＥ
の処理が遅れると、その終了時刻がジョブの終了時刻と
なるからである。したがって、システム効率の低下の度
合いはスワップアウトジョブの規模に比例する。

【００６８】本実施例のスワップアウト制御方式では、
スワップアウト可能なＰＥ台数とスワップアウト可能な
ジョブの規模に一定の制限を設け、その範囲内でスワッ
プアウトを実行する。これにより、スワップアウトに起
因するシステム効率の低下を回避させる。

【００６９】ところで、空きＰＥ台数が起動優先ジョブ
の要求ＰＥ台数に満たない場合、他のジョブの起動をす
べて抑止すれば最短時間で起動が可能になる。この場
合、空きＰＥ台数が起動優先ジョブの要求ＰＥ台数に達
するまでの間休止しているＰＥが生じるので、ＰＥの使
用効率が大幅に低下する恐れがある。しかし、起動優先
ジョブの起動予定時刻までに実行の終了するジョブを起
動しても、起動優先ジョブの起動の妨げとはならない。

【００７０】そこで、本実施例の起動予定時刻設定方式
では、起動優先ジョブの起動が不可能な場合には、その
起動予定時刻までの時間を起動ジョブの最大実行時間と
して設定し、最大実行時間内に終了するジョブを起動さ
せることにする。つまり、起動優先ジョブの起動予定時
刻までの時間が、起動優先ジョブ以外のジョブの起動開
始条件となる。これにより、起動優先ジョブの優先実行
に起因するシステム使用効率の低下を回避させる。

【００７１】図２に示されるプレステージ機能によっ
て、実行待ちジョブの使用データを、磁気ディスク２６
のような保存媒体より転送速度の速いＳＳＵ３１のよう
な媒体に転送しておけば、データの入力待ちによるジョ
ブ実行開始の遅れを最短にすることができる。しかし、
プレステージ容量の極度の増大はシステムオーバヘッド
およびジョブの入出力時間の増大につながる可能性があ
る。

【００７２】そこで、本実施例のプレステージ制御方式
では、ジョブの優先度からその時点でのプレステージ優
先度を決定し、プレステージ優先度の高いジョブから順
に必要なデータを所定のプレステージ容量の範囲内でプ
レステージする。

【００７３】また、本実施例の優先度変更方式では、予
めシステム管理者により登録されている特定利用者のジ
ョブ投入時の緊急度の指定や、運用者用コマンド等によ
るジョブ投入後のキュー変更の指定を行い、キュー情報
制御プログラム４７により緊急度の高いジョブの優先度
を上げてこれを優先的に処理する。図７は、本実施例の
スケジューラ２４−１、２４−２のプログラム構成を示
している。図７において、スケジュール制御プログラム
４１はジョブスケジューリングの全体的な制御を行い、
スワップイン処理プログラム４２、ジョブ起動処理プロ
グラム４３、プレステージ処理プログラム４４、および
キュー情報制御プログラム４７を必要に応じて呼び出
す。スワップイン処理プログラム４２はスワップインに
必要な処理を行う。

【００７４】ＰＥの割り当て判定プログラム４５は、ス
ワップイン処理プログラム４２およびジョブ起動処理プ
ログラム４３により呼び出され、スワップアウト処理プ
ログラム４６、起動予定時刻算出プログラム４８、およ
び運用予定情報収集プログラム５０を必要に応じて呼び
出す。ＰＥの情報収集プログラム４９は、スワップイン
処理プログラム４２およびジョブ起動処理プログラム４
３により呼び出される。また、プレステージ処理プログ
ラム４４は、キュー情報制御プログラム４７を必要に応
じて呼び出す。これらの各プログラムが行う処理につい
ては、図１３から図１８に示すフローチャートを参照し
ながら後に詳しく説明する。

【００７５】図８から図１２までは、本実施例で用いる
各種管理テーブルのデータ構造を示す図である。図８か
ら図１２までの各テーブルは、コントロール・プロセッ
サ２８あるいはフロントエンド・プロセッサ２２内の不
図示のメモリ等に格納される。

【００７６】図８は、各々のジョブ毎に設けられるジョ
ブ情報テーブルの一例を示している。図８のジョブ情報
テーブルには、ジョブの名称、その受付時刻、要求ＰＥ
台数、要求ジョブ時間、スワップイン時刻、実行開始時
刻、スワップアウトＰＥ台数等の管理情報が格納され
る。受付時刻とは、発生したジョブが到着して実行待ち
ジョブ管理キューに加えられた時刻であり、スワップイ
ン時刻とは、そのジョブに対してスワップインが行われ
た時刻であり、実行開始時刻とは、そのジョブの実行が
開始された時刻である。要求ＰＥ台数、要求ジョブ時間
は、それぞれそのジョブが要求している使用ＰＥ台数、
実行時間であり、優先度の算定に用いられる。スワップ
アウトＰＥ台数は、そのジョブからスワップアウトされ
たＰＥの数である。

【００７７】図９は、ジョブ終了予定時刻管理テーブル
の一例を示している。図９のジョブ終了予定時刻管理テ
ーブルには、各ジョブのジョブ情報テーブルの格納位置
を指すポインタｊ_j と、そのジョブの終了予定時刻と一
つ前に終了するジョブの終了予定時刻との差ｊｔ_j が組
にして格納される。ただし、ｊｔ₁ はｊ₁ に対応するジ
ョブの終了予定時刻と現在時刻との差である。ここで、
各ジョブの終了予定時刻は現在時刻を０として計算され
る。

【００７８】図１０は、実行待ちジョブ管理テーブルお
よび実行中ジョブ管理テーブルの一例を示している。図
１０の実行待ちジョブ管理テーブル、または実行中ジョ
ブ管理テーブルには、各ジョブのジョブ情報テーブルの
格納位置を指すポインタｊ_kと、そのジョブの優先度と
一つ前のジョブの優先度との差ｐ_k が組にして格納され
る。ただし、ｐ₁ はｊ₁ に対応するジョブの優先度であ
る。ここで、各ジョブの優先度は、例えば（１）、
（２）、（３）式により計算される。

【００７９】図１１は、運用予定管理テーブルの一例を
示している。図１１の運用予定管理テーブルには、シス
テム全体の利用可能ＰＥ台数の変化量ΔＰＥ_m と、その
変化が起こる時刻と一つ前の変化時刻との差ｓｔ_m が組
にして格納される。ただし、ｓｔ₁ はΔＰＥ₁ の変化が
起こる時刻と現在時刻との差である。

【００８０】図１２は、プレステージジョブ数がｎ個に
固定されている場合のプレステージ中ジョブ情報テーブ
ルの一例を示している。図１２のプレステージ中ジョブ
情報テーブルには、現在、その使用予定のデータがＳＳ
Ｕ３１にプレステージされているジョブのジョブ情報テ
ーブルの格納位置を指すポインタｊ₁ 〜ｊ_n が格納され
る。

【００８１】図９、１１において、一つ前の事象との発
生時刻の差を用いているのは、時間の経過とともに現在
時刻を起点とした事象の発生時刻はだんだん小さくなる
が、一つ前の事象の発生時刻との差は変化しないためで
ある。これにより、時間が経過しても時刻に関する格納
データを全て更新する必要がなくなる。例えば図９のジ
ョブ終了予定時刻管理テーブルの場合、先頭のｊｔ₁ の
みから経過した時間を減算すればよく、他の時間ｊｔ₂
等は更新しなくてもよい。図１０の実行待ちジョブ管理
テーブルおよび実行中ジョブ管理テーブルにおいても、
同様の理由により一つ前のジョブの優先度との差を用い
ている。ジョブの優先度は、待ち時間の項があるため時
間の経過分だけ一様に大きくなるが、この経過分は２つ
のジョブの優先度の差を取ればキャンセルされる。

【００８２】図７の各プログラムによる処理は、図９か
ら図１２の管理テーブルを用いて行われる。図１３は、
スケジュール制御プログラム４１によるスケジュール制
御処理のフローチャートである。ジョブのスケジューリ
ングは、ジョブの到着、ジョブの実行終了、ジョブのキ
ャンセル、ジョブ優先度の変更等の事象の発生をスケジ
ュール契機として行う必要があるため、これらの各事象
の発生時にスケジュール制御プログラム４１が呼び出さ
れる。

【００８３】ジョブの所属キューやキュー内優先度はジ
ョブの待ち時間により変化するため、処理が開始される
と対象となるジョブの起動処理に先立ちキュー情報制御
プログラム４７を呼び出して、実行待ちジョブ管理キュ
ーおよび実行中ジョブ管理キューに登録されているジョ
ブの所属キューおよびキュー内優先度を見直す。そし
て、必要に応じてそれらのジョブ管理キューを更新する
（ステップＳ１１）。

【００８４】次に発生事象が何かを判定し（ステップＳ
１２）、その結果に対応した処理を行う。ジョブ到着事
象の場合には（ステップＳ１２、Ａ）、一般ジョブ、緊
急ジョブ毎に指定されるジョブ優先度決定関数に従っ
て、到着ジョブの所属キューとそのキュー内優先度を決
定し、そのジョブを実行待ちジョブ管理キューに繋ぐ
（ステップＳ１３）。

【００８５】実行中ジョブの処理終了事象の場合には
（ステップＳ１２、Ｂ）、終了したジョブの情報を実行
中ジョブ管理キューから削除する（ステップＳ１４）。
ジョブのキャンセル事象の場合には（ステップＳ１２、
Ｃ）、対象ジョブのキャンセル処理を行った後に（ステ
ップＳ１５）、実行待ちジョブであれば実行待ちジョブ
管理キューから、実行中ジョブであれば実行中ジョブ管
理キューから削除する（ステップＳ１６）。ジョブ優先
度の変更事象であれば（ステップＳ１２、Ｄ）、対象ジ
ョブの管理キューまたはキュー内順位を変更する（ステ
ップＳ１７）。

【００８６】こうして準備が整うと、まずスワップイン
処理プログラム４２を呼び出して、スワップアウト対象
外ジョブに指定されているジョブのスワップイン処理を
行う（ステップＳ１８）。この処理は、非優先実行ジョ
ブとして実行中に一旦スワップアウトされ、そのまま優
先実行下限キューに到着してスワップアウト対象外ジョ
ブとなったジョブのために行われる。次に、ジョブ起動
処理プログラム４３を呼び出し、実行待ちジョブ管理キ
ューの優先実行ジョブの起動処理を行う（ステップＳ１
９）。

【００８７】次に再びスワップイン処理プログラム４２
によりスワップアウト対象ジョブ、すなわち実行中ジョ
ブ管理キューの非優先実行ジョブのスワップイン処理を
行い（ステップＳ２０）、ジョブ起動処理プログラム４
３により実行待ちジョブ管理キューの非優先実行ジョブ
の起動処理を行う（ステップＳ２１）。

【００８８】そして、プレステージ処理プログラム４４
を呼び出し、プレステージの見直し処理を行う（ステッ
プＳ２２）。プレステージの見直し処理では、まず実行
待ちジョブのうち優先順位のより高いジョブのデータか
ら順に、可能な範囲でプレステージすべきデータを決定
する。次に、決定されたデータを現在プレステージされ
ているデータと比較し、必要に応じてプレステージされ
ているデータを取消したり、新しいデータのプレステー
ジ処理を行う。ステップＳ１１の処理でジョブの優先順
位が入れ替われば、プレステージされたデータの順序も
同様に入れ替える必要があるからである。一般にジョブ
によってプレステージされるべきデータの大きさは異な
るため、ＳＳＵ３１に格納できるだけのデータを順にプ
レステージする。

【００８９】ステップＳ１８からＳ２１までの処理の順
序は、本実施例によりＰＥを割り当てられるジョブの優
先順位に対応している。次に図１４から図１８までを参
照しながら、図１３のステップＳ１８〜Ｓ２１の各処理
の手順を説明する。

【００９０】図１４は、スワップイン処理プログラム４
２による図１３のステップＳ１８、Ｓ２０のスワップイ
ン処理のフローチャートである。図１４において処理が
開始されると、まず指定された属性を持つジョブキュー
において、スワップアウトされているジョブのうち最も
優先度の高いものを対象ジョブ（target）に指定する
（ステップＳ３１）。例えばステップＳ１８の場合は実
行中の優先実行ジョブについて、ステップＳ２０の場合
は実行中の非優先実行ジョブについて、ステップＳ３１
の処理を行う。

【００９１】次にＰＥの情報収集プログラム４９を呼び
出し、並列計算機システム２７の各ＰＥの状態を問い合
わせる（ステップＳ３２）。ＰＥの状態とは、その電源
がオンかオフか、電源がオンの場合にはさらにそれが他
のジョブに割り当て中か否か等、そのＰＥを対象ジョブ
に割り当て可能かどうかを意味する。ここで割り当て可
能なＰＥの台数を調べ（ステップＳ３３）、割り当て可
能な空きＰＥがあれば、対象ジョブからスワップアウト
された台数のＰＥの割り当て（スワップイン）が可能か
否かを判定する（ステップＳ３４）。スワップアウトさ
れたＰＥの台数は、対象ジョブのジョブ情報テーブルに
格納されている。

【００９２】ステップＳ３４でＰＥの割り当てが可能な
場合には、空きＰＥを対象ジョブに割り当て、スワップ
イン処理を行う（ステップＳ３５）。スワップイン処理
を行った場合には、再度ＰＥの状態を問い合わせ（ステ
ップＳ３６）、優先順位の高いジョブから順に次の対象
ジョブに指定して（ステップＳ３７）、ステップＳ３３
以降の処理を繰り返す。そして、指定された属性を持つ
ジョブキュー内に次の該当ジョブがなくなると、処理を
終了する。

【００９３】ステップＳ３３で割り当て可能なＰＥがな
い場合はスワップイン処理を終了し、ステップＳ３４で
対象ジョブのスワップインができない場合はステップＳ
３７以降の処理を行う。

【００９４】図１５は、ジョブ起動処理プログラム４３
による図１３のステップＳ１９、Ｓ２１のジョブの起動
処理のフローチャートである。図１５において処理が開
始されると、まず指定された属性の実行待ち状態のジョ
ブキューにおいて最も優先度の高いものを対象ジョブ
（target）に指定する（ステップＳ４１）。例えばステ
ップＳ１９の場合は実行待ちの優先実行ジョブについ
て、ステップＳ２１の場合は実行待ちの非優先実行ジョ
ブについて、ステップＳ４１の処理を行う。

【００９５】次にＰＥの情報収集プログラム４９を呼び
出し、スワップイン処理の場合と同様に並列計算機シス
テム２７の各ＰＥの状態を問い合わせる（ステップＳ４
２）。そして割り当て可能なＰＥの台数を調べ（ステッ
プＳ４３）、割り当て可能な空きＰＥがあれば、ＰＥの
割り当て判定プログラム４５を呼び出し、対象ジョブに
対してＰＥの割り当てが可能か否かを判定する（ステッ
プＳ４４）。

【００９６】ステップＳ４４でＰＥの割り当てが可能な
場合には、空きＰＥを対象ジョブに割り当てその起動処
理を行い（ステップＳ４５）、対象ジョブを実行待ちジ
ョブ管理キューから実行中ジョブ管理キューへ移動させ
る（ステップＳ４６）。そして、再度ＰＥの状態を問い
合わせ（ステップＳ４７）、優先順位の高いジョブから
順に次の対象ジョブに指定して（ステップＳ４８）、ス
テップＳ４３以降の処理を繰り返す。指定された属性を
持つジョブキュー内に次の該当ジョブがなくなると、処
理を終了する。

【００９７】ステップＳ４３で割り当て可能なＰＥがな
い場合はジョブの起動処理を終了し、ステップＳ４４で
対象ジョブに必要数のＰＥを割り当てられない場合はス
テップＳ４８以降の処理を行う。

【００９８】図１６は、図１５のステップＳ４４で起動
優先ジョブへのＰＥの割り当ての可否を判定する処理の
フローチャートである。図１６の判定処理は、ＰＥの割
り当て判定プログラム４５により行われる。起動優先ジ
ョブの場合には、次の２つの条件のうちいずれかを満た
した時に起動可能と判定する。

【００９９】条件１：要求ＰＥ台数が空きＰＥ台数以下
であり、ジョブの実行が運用予定の実行を妨害しない。
条件２：要求ＰＥ台数が空きＰＥ台数＋スワップアウト
可能ＰＥ台数以下であり、ジョブの実行が運用予定の実
行を妨害しない。

【０１００】尚、条件２のスワップアウト可能ＰＥ台数
は、判定時点でスワップアウト可能なＰＥ台数であり、
次のａ）〜ｃ）のうちの最小値である。 ａ）システム全体のスワップアウト可能な最大ＰＥ台数
−現在スワップアウト中の全ＰＥ台数 ｂ）１つのジョブの起動時に許される最大スワップアウ
トＰＥ台数 ｃ）スワップアウト対象ジョブのうち、指定される規模
以下のジョブが使用中のＰＥ台数 システム全体のスワップアウト可能な最大ＰＥ台数、お
よび１つのジョブの起動時に許される最大スワップアウ
トＰＥ台数は、予めシステム管理者により決められる。
このようにスワップイン可能ＰＥ台数を制限しておけ
ば、スワップアウトの頻発によるシステム運用効率の低
下を効果的に防ぐことができる。条件２を満たした場合
には、空きＰＥだけでは不足するＰＥの台数をスワップ
アウトにより割り当て可能となるＰＥで補う。

【０１０１】図１６において処理が開始されると、ジョ
ブの実行が利用可能ＰＥ台数の増減等の運用予定を妨害
するか否かを判定するために、予め運用予定の問い合わ
せを行う（ステップＳ５１）。そして、その時点でのシ
ステム全体の空きＰＥ台数をfree、起動優先ジョブの要
求ＰＥ台数をＲＰＥ、起動優先ジョブの予定実行時間
（要求ジョブ時間）をＴＩＭＥ、スワップアウト可能Ｐ
Ｅ台数をＳＭＡＸ、非起動優先ジョブの起動時に許され
る最大実行時間をmaxtime とおく（ステップＳ５２）。
システム全体の空きＰＥ台数は、図１５のステップＳ４
３の割り当て可能ＰＥ台数に等しい。起動優先ジョブの
要求ＰＥ台数と予定実行時間（要求ジョブ時間）は、そ
のジョブ情報テーブルに格納されている。非起動優先ジ
ョブは、実行待ちジョブのうちの起動優先ジョブ以外の
ジョブのことで、起動優先ジョブが起動不可と判定され
た時に起動の対象となる。

【０１０２】次にfreeとＲＰＥの値を比較し（ステップ
Ｓ５３）、freeがＲＰＥ以上の時は（ステップＳ５３、
ＹＥＳ）、運用予定情報収集プログラム５０を呼び出し
て、起動優先ジョブの起動が運用予定を妨げるかどうか
を調べる（ステップＳ５４）。具体的には、現時点で起
動優先ジョブを起動した場合に、その実行終了時刻まで
にシステム全体で利用可能なＰＥ台数が削減される予定
があるか否かを調べる。例えばあるグループのＰＥの電
源をオフにする等の利用可能ＰＥ台数の削減が予定され
ているのに、それまでに終了しないジョブを起動する
と、ＰＥの削減が予定通り行えなくなり、システムの運
用予定を妨害することになる。

【０１０３】このとき運用予定情報収集プログラム５０
は、図１１の運用予定管理テーブルから利用可能ＰＥ台
数の変更が発生する時刻に関する情報（ｓｔ_m 等）と、
その変更台数の情報（ΔＰＥ_m 等）を収集する。図１１
の運用予定管理テーブルにおいて、ΔＰＥ_m 等が正の場
合は利用可能ＰＥ台数の増加数を表し、負の場合は利用
可能ＰＥ台数の削減数を表す。

【０１０４】運用予定が妨害されないことが分かると、
起動優先ジョブにＰＥの割り当てが可能である（起動可
能）と判定し、maxtime を無限大に設定して（ステップ
Ｓ５６）、処理を終了する。maxtime が無限大というこ
とは、次に起動される非起動優先ジョブの実行時間に制
限が課されないということである。

【０１０５】ステップＳ５４で運用予定が妨害されるこ
とが分かると、起動予定時刻算出プログラム４８を呼び
出し、運用予定を妨害せずに起動優先ジョブを起動でき
る起動予定時刻（現在時刻から起動予定時刻までの時
間）を算出して、それをstartとおく（ステップＳ５
７）。起動予定時刻を求める時には、他の全てのジョブ
の起動を抑止して計算する。そして、起動優先ジョブに
ＰＥの割り当てが不可能である（起動不可）と判定し、
start の値をmaxtime に設定して（ステップＳ５８）、
処理を終了する。

【０１０６】一方、ステップＳ５３でfreeがＲＰＥに満
たない場合は（ステップＳ５３、ＮＯ）、sout＝ＲＰＥ
−freeとおき（ステップＳ５９）、soutとＳＭＡＸの値
を比較する（ステップＳ６０）。soutがＳＭＡＸ以下で
あれば（ステップＳ６０、ＹＥＳ）、ステップＳ５４と
同様に運用予定情報収集プログラム５０を呼び出して、
起動優先ジョブの起動が運用予定を妨げるかどうかを調
べる（ステップＳ６１）。

【０１０７】運用予定が妨害されなければ、スワップア
ウト処理プログラム４６を呼び出して、soutの数のＰＥ
を実行中の非優先実行ジョブからスワップアウトする
（ステップＳ６２）。そして、起動優先ジョブにＰＥの
割り当てが可能である（起動可能）と判定し、maxtime
を無限大に設定して（ステップＳ６３）、処理を終了す
る。

【０１０８】ステップＳ６０でsoutがＳＭＡＸを越える
時、およびステップＳ６１で運用予定が妨害される場合
は、ステップＳ５７以降の処理を行う。ステップＳ５７
で算出されステップＳ５８で設定されるmaxtime は、起
動優先ジョブが起動されないと考えられる時間であり、
換言すれば、起動優先ジョブの起動を阻害しないで他の
ジョブに許される最大ジョブ時間である。この値を非起
動優先ジョブを起動する条件として用い、起動優先ジョ
ブの起動に伴うＰＥ利用率の低下を軽減する。

【０１０９】図１７は、図１５のステップＳ４４で非起
動優先ジョブへのＰＥの割り当ての可否を判定する処理
のフローチャートである。図１７の判定処理は、起動優
先ジョブを除く全ての実行待ちジョブの起動時に、ＰＥ
の割り当て判定プログラム４５により行われる。非起動
優先ジョブの場合には、次の３つの条件をすべて満たし
た場合に起動可能と判定する。

【０１１０】条件３：要求ＰＥ台数がシステム全体の空
きＰＥ台数以下である。 条件４：ジョブの実行時間が非起動優先ジョブの起動条
件となる最大実行時間以下である。

【０１１１】条件５：ジョブの実行が運用予定の実行を
妨害しない。本実施例では、起動優先ジョブの起動時に
限ってスワップアウトを許す構成を採用しているので、
非起動優先ジョブの場合には、条件２のようなスワップ
アウト可能ＰＥ台数を計算に入れた起動条件が課されな
い。非起動優先ジョブのためのスワップアウトを抑止す
ることにより、スワップアウトに起因する効率の低下を
抑えている。

【０１１２】図１７において処理が開始されると、ジョ
ブの実行が運用予定を妨害するか否かを判定するため
に、予め運用予定の問い合わせを行う（ステップＳ７
１）。そして、その時点でのシステム全体の空きＰＥ台
数をfree、非起動優先ジョブの要求ＰＥ台数をＲＰＥ、
非起動優先ジョブの予定実行時間をＴＩＭＥ、非起動優
先ジョブの起動時に許される最大実行時間をmaxtime と
おく（ステップＳ７２）。

【０１１３】起動優先ジョブについて図１６の処理が行
われた後に、次に優先度の高い非起動優先ジョブについ
て図１７の処理が行われた場合は、maxtime は図１６の
ステップＳ５６、Ｓ５８、Ｓ６３のいずれかで既に設定
されている。それ以外の場合は、起動された非起動優先
ジョブの予定実行時間をmaxtime から減じてmaxtimeを
更新する。ただし、maxtime が無限大に設定されていた
場合は、非起動優先ジョブの予定実行時間を減じてもそ
の設定は変わらない。

【０１１４】次にfreeとＲＰＥの値を比較し（ステップ
Ｓ７３）、freeがＲＰＥ以上の時は（ステップＳ７３、
ＹＥＳ）、続いてmaxtime とＴＩＭＥの値を比較する
（ステップＳ７４）。maxtime がＴＩＭＥ以上であれば
（ステップＳ７４、ＹＥＳ）、図１６のステップＳ５４
と同様に運用予定情報収集プログラム５０を呼び出し
て、起動優先ジョブの起動が運用予定を妨げるかどうか
を調べる（ステップＳ７５）。

【０１１５】運用予定が妨害されなければ、非起動優先
ジョブにＰＥの割り当てが可能である（起動可能）と判
定し（ステップＳ７６）、処理を終了する。運用予定が
妨害される場合には、非起動優先ジョブにＰＥの割り当
てが不可能である（起動不可）と判定し（ステップＳ７
７）、処理を終了する。

【０１１６】ステップＳ７３でfreeがＲＰＥに満たない
時、およびステップＳ７４でmaxtime がＴＩＭＥに満た
ない時は、ステップＳ７７の処理を行う。図１８は、図
１６のステップＳ５７で起動予定時刻算出プログラム４
８により行われる起動予定時刻算出処理のフローチャー
トである。図１８のステップＳ８２からＳ８８までの処
理は、仮に設定された起動予定時刻において起動ジョブ
の要求ＰＥ台数が空きＰＥ台数以下かどうかを確認する
空き確認処理である。また、ステップＳ９１からＳ９９
までの処理は、仮に設定された起動予定時刻にジョブを
起動したと想定する場合の、ジョブ終了予定時刻に至る
まで、つまり起動ジョブの実行中と想定される間におけ
る空き確認処理である。これらの２つの空き確認処理に
おいて、常に要求ＰＥ台数が空きＰＥ台数以下となった
時、設定された仮の起動予定時刻を処理結果のstart と
して出力する。

【０１１７】図１８において処理が開始されると、運用
予定管理テーブルから次の運用変更までの時間を読み出
してstime とおき、ジョブ終了予定時刻管理テーブルか
ら次のジョブ終了予定までの時間を読み出してjtime と
おく（ステップＳ８１）。また、現在の空きＰＥ台数を
free、起動優先ジョブの要求ＰＥ台数をＲＰＥ、現在時
刻を０とした起動予定時刻をstart とおく（ステップＳ
８１）。start は最初は０に設定される。

【０１１８】次にstime とjtime の値を比較し（ステッ
プＳ８２）、stime がjtime より小さい時は（ステップ
Ｓ８２、ＹＥＳ）、start にstime を加算し、jtime か
らstime を減算する（ステップＳ８３）。そして、時刻
start に予定されている利用可能ＰＥ台数の変化ΔＰＥ
を運用予定管理テーブルから読み出してfreeに加算し
（ステップＳ８４）、運用予定管理テーブル中の次の運
用変更までの時間をstime とする（ステップＳ８５）。
ステップＳ８４で、運用変更の内容がシステムの縮退や
停止である場合にはΔＰＥ＜０であり、システムの拡張
である場合にはΔＰＥ＞０である。そして、ＲＰＥがfr
eeより大きい間はステップＳ８２以降の処理を繰り返
す。

【０１１９】ステップＳ８２でstime がjtime 以上の時
は（ステップＳ８２、ＮＯ）、start にjtime を加算
し、stime からjtime を減算する（ステップＳ８６）。
そして、時刻start に終了する予定のジョブの使用ＰＥ
台数αを、ジョブ終了予定時刻管理テーブルからポイン
タにより指されるジョブ情報テーブルから読み出してfr
eeに加算し（ステップＳ８７）、ジョブ終了予定時刻管
理テーブル中の次のジョブ終了予定までの時間をjtime
とする（ステップＳ８８）。そして、ＲＰＥがfreeより
大きい間はステップＳ８２以降の処理を繰り返す。

【０１２０】ＲＰＥがfree以下になると、次に運用予定
管理テーブルを参照して、時刻start 以降に利用可能Ｐ
Ｅ台数が変動するか否かを調べる（ステップＳ８９）。
利用可能ＰＥ台数の変動がない場合は（ステップＳ８
９、type１）、start を起動優先ジョブの起動予定時刻
として（ステップＳ９０）、処理を終了する。この場合
には、ジョブの起動後に利用可能ＰＥ台数が削減される
恐れがないため、ステップＳ９１以降のジョブの実行中
における空き確認処理を行う必要がない。

【０１２１】ステップＳ８９で利用可能ＰＥ台数の変動
がある場合は（ステップＳ８９、type２）、起動優先ジ
ョブの実行時間をジョブ情報テーブルから読み出してel
apsとおき（ステップＳ９１）、stime とjtime の値を
比較する（ステップＳ９２）。stime がjtime より小さ
い時は（ステップＳ９２、ＹＥＳ）、続いてelaps とst
ime の値を比較し（ステップＳ９３）、elaps がstime
以下であれば（ステップＳ９３、ＮＯ）、start を起動
優先ジョブの起動予定時刻として（ステップＳ９０）、
処理を終了する。

【０１２２】ステップＳ９３でelaps がstime より大き
い時は（ステップＳ９３、ＹＥＳ）、時刻start から時
間stime 後に予定されている利用可能ＰＥ台数の変化Δ
ＰＥを運用予定管理テーブルから読み出してfreeに加算
し（ステップＳ９４）、運用予定管理テーブル中の次の
運用変更までの時間をstime に加算する（ステップＳ９
５）。そして、ＲＰＥとfreeの値を比較し（ステップＳ
９９）、ＲＰＥがfree以下であれば（ステップＳ９９、
ＹＥＳ）、ステップＳ９２以降の処理を繰り返す。

【０１２３】ステップＳ９２でstime がjtime 以上の時
は（ステップＳ９２、ＮＯ）、続いてelaps とjtime の
値を比較し（ステップＳ９６）、elaps がjtime 以下で
あれば（ステップＳ９６、ＮＯ）、start を起動優先ジ
ョブの起動予定時刻として（ステップＳ９０）、処理を
終了する。

【０１２４】ステップＳ９６でelaps がjtime より大き
い時は（ステップＳ９６、ＹＥＳ）、時刻start から時
間jtime 後に終了する予定のジョブの使用ＰＥ台数α
を、ジョブ終了予定時刻管理テーブルからポインタによ
り指されるジョブ情報テーブルから読み出してfreeに加
算し（ステップＳ９７）、ジョブ終了予定時刻管理テー
ブル中の次のジョブ終了予定までの時間をjtime に加算
する（ステップＳ９８）。そして、ＲＰＥとfreeの値を
比較し（ステップＳ９９）、ＲＰＥがfree以下であれば
（ステップＳ９９、ＹＥＳ）、ステップＳ９２以降の処
理を繰り返す。

【０１２５】ステップＳ９９でＲＰＥがfreeより大きい
時は（ステップＳ９９、ＮＯ）、起動されたジョブの実
行中に利用可能ＰＥ台数が削減される予定があるので、
start を設定し直すためにステップＳ８２以降の処理を
繰り返す。したがって、利用可能ＰＥ台数の変動が予定
されている場合は、ステップＳ９３でstime がelaps以
上になるか（ステップＳ９３、ＮＯ）、またはステップ
Ｓ９６でjtime がelaps 以上になった時に（ステップＳ
９６、ＮＯ）、起動予定時刻が決定される。

【０１２６】尚、本実施例では運用目的等を考慮し、経
過時間、使用ＰＥのＣＰＵ時間の最大値、使用ＰＥの平
均ＣＰＵ時間、および使用ＰＥの総ＣＰＵ時間のいずれ
かをジョブ実行時間として処理を行う。

【０１２７】次に図１９から図２６に示される具体例を
用いて、起動予定時刻算出処理をさらに詳しく説明す
る。図１９は、利用可能なＰＥ台数が変動しない場合の
起動優先ジョブの起動予定時刻の算出例を説明する図で
ある。新たにジョブを起動しない場合には、空きＰＥ台
数freeは実行中ジョブの終了に伴い増加する。現在時刻
をｔ０＝０、現在の空きＰＥ台数をｆ０、ｉ番目に終了
するジョブの終了時刻をｔｉ、その使用ＰＥ台数（図１
８のα）をＰＥｉ（ｉ＝１，２，３，４，５）とする
と、時刻ｔｉにおける空きＰＥ台数ｆｉは、ｆｉ＝ｆ０
＋ＰＥ１＋ＰＥ２＋・・・ ＋ＰＥｉとなる（ステップＳ８
７）。したがって、起動優先ジョブの要求ＰＥ台数ＲＰ
Ｅがｆ１＜ＲＰＥ≦ｆ２の関係を満たしたとすると、他
の全てのジョブの起動を抑止した場合の起動優先ジョブ
の起動予定時刻は時刻ｔ２となる（ステップＳ９０）。

【０１２８】図１９の場合のジョブ終了予定時刻管理テ
ーブルは図２２に示されている。図２２のジョブ終了予
定時刻管理テーブルには、前事象との発生時刻の差とし
て、ｔ１、ｔ２−ｔ１、ｔ３−ｔ２、ｔ４−ｔ３、ｔ５
−ｔ４が順に格納されている。またそれらに対応して、
それぞれのジョブのジョブ情報テーブルの先頭アドレス
を指すポインタが格納されている。ステップＳ８７で加
算される使用ＰＥ台数ＰＥｉとしては、ジョブ終了予定
時刻管理テーブルの各ポインタを用いて検索される各ジ
ョブ情報テーブル内の要求ＰＥ台数を用いる。

【０１２９】図２０は、利用可能なＰＥ台数が変動する
場合の起動優先ジョブの起動予定時刻の算出例を説明す
る図である。新たにジョブを起動しない場合には、空き
ＰＥ台数freeは実行中ジョブの終了と利用可能ＰＥ台数
の変動により変化する。現在時刻をｔ０＝０、現在の空
きＰＥ台数をｆ０、ｉ番目の空きＰＥ台数の変化事象の
発生時刻をｔｉ、そのＰＥ台数の変化（図１８のΔＰＥ
またはα）をＰＥｉ（ｉ＝１，２，３，４，５，６，
７，８）とすると、時刻ｔｉにおける空きＰＥ台数ｆｉ
は、ｆｉ＝ｆ０＋ＰＥ１＋ＰＥ２＋・・・ ＋ＰＥｉとなる
（ステップＳ８４、Ｓ８７、Ｓ９４、Ｓ９７）。ただ
し、ＰＥ１＜０、ＰＥ４＜０である。また、起動優先ジ
ョブの要求ＰＥ台数ＲＰＥはｆ１＜ＲＰＥ＜ｆ０の関係
を満たしており、起動優先ジョブの実行時間elaps は時
間ｔ１より長い。

【０１３０】このときは、start ＝０のままでＲＰＥ＜
ｆ０＝freeが成り立つので、ステップＳ８２からＳ８８
までの処理を行わずに直ちにステップＳ８９へ進む。と
ころが、時刻ｔ０＝０で起動優先ジョブを起動した場合
には、時刻ｔ１での利用可能ＰＥ台数の削減は行えない
ことになる（ステップＳ９３、ＹＥＳ、ステップＳ９
９、ＮＯ）。したがって、システムの停止や利用ＰＥ台
数の部分的削減を運用予定通りに行うためには、ジョブ
実行中の空きＰＥ台数ｆｉが常にＲＰＥ以上になるよう
に、start を設定し直さなければならない。そこでステ
ップＳ８２以降の処理を繰り返し、最終的に時刻ｔ６を
起動予定時刻に設定して（ステップＳ９０）処理を終了
する。時刻ｔ６にジョブを起動すれば、その実行中であ
る時刻ｔ７においても空きＰＥ台数ｆ７がＲＰＥより大
きいので（ステップＳ９９、ＹＥＳ）、運用予定が妨害
されることはない。

【０１３１】図２１は、利用可能なＰＥ台数が変動する
場合の起動予定時刻の他の算出例を説明する図である。
図２１の起動優先ジョブの要求ＰＥ台数ＲＰＥは１０、
ジョブ実行時間elaps は１８０である。現在時刻を０と
すると、空きＰＥ台数freeが１４となる時刻５０におい
て起動優先ジョブの起動が可能になるが、この場合終了
予定の時刻２３０より前に、時刻１８０でＰＥ台数が削
減されてfreeが８になるため、時刻５０で起動優先ジョ
ブを起動することはできない。図２１の場合には、実行
中にＰＥ台数が削減されないように、時刻２８０が起動
予定時刻に指定される。

【０１３２】図２３は、図２１の時刻０におけるジョブ
終了予定時刻管理テーブルとジョブ情報テーブルのデー
タの関係を示している。ジョブ終了予定時刻管理テーブ
ルには、ｉ番目のジョブの終了予定時刻とその一つ前の
ジョブの終了予定時刻との差ｊｔ（ｉ）が終了予定順に
格納されており、ｉ番目のジョブのジョブ情報テーブル
には他のデータとともにその使用ＰＥ台数ｊｐ（ｉ）が
格納されている。ただし、ｊｔ（１）＝２０は時刻０か
ら１番目のジョブの終了予定時刻までの時間であり、１
番目のジョブの終了予定時刻に等しい。ｊｔ（９）は無
限大で、実行中のジョブがないことを表す。

【０１３３】図２４は、図２１の時刻０における運用予
定管理テーブルを示している。図２４の運用予定管理テ
ーブルには、ｉ番目の利用可能ＰＥ台数の変更時刻とそ
の一つ前の利用可能ＰＥ台数の変更時刻との差ｓｔ
（ｉ）が格納されており、それに対応してｉ番目の利用
可能ＰＥ台数の変化ｓｐ（ｉ）が格納されている。ただ
し、ｓｔ（１）＝１８０は時刻０から１番目の変更時刻
までの時間であり、１番目の変更時刻に等しい。ｓｐ
（１）＝−２０、ｓｐ（２）＝−３０はともに負であ
り、利用可能ＰＥ台数が削減されることを示している。
ｓｐ（３）は無限大で、以後の利用可能ＰＥ台数の変動
がないことを表す。

【０１３４】図２５および図２６は、図２１の時刻０に
おける図１８の起動予定時刻算出処理の過程で、変数Ｒ
ＰＥ、elaps 、start 、free、stime 、jtime が変化す
る様子を示している。以下、図１８のフローに従って起
動予定時刻算出処理を説明する。

【０１３５】処理が開始されると、図２５に示すよう
に、まずＲＰＥ＝１０、start ＝０、free＝４、stime
＝ｓｔ（１）＝１８０、jtime ＝ｊｔ（１）＝２０とお
く（ステップＳ８１）。ここで、ＲＰＥ＞free、stime
＞jtime なので（ステップＳ８２、ＮＯ）、start ＝st
art ＋jtime ＝２０、stime ＝stime −jtime ＝１６０
となり（ステップＳ８６）、free＝free＋ｊｐ（１）＝
８となる（ステップＳ８７）。次にjtime ＝ｊｔ（２）
＝３０とおき（ステップＳ８８）、ＲＰＥ＞freeなので
ステップＳ８２に戻る。

【０１３６】次にstime ＞jtime なので（ステップＳ８
２、ＮＯ）、start ＝start ＋jtime ＝５０、stime ＝
stime −jtime ＝１３０となり（ステップＳ８６）、fr
ee＝free＋ｊｐ（２）＝１４となる（ステップＳ８
７）。次にjtime ＝ｊｔ（３）＝５０とおき（ステップ
Ｓ８８）、ＲＰＥ＜freeなのでステップＳ８９に進む。

【０１３７】ここで、利用可能ＰＥ台数の変動が予定さ
れているので（ステップＳ８９、type２）、elaps ＝１
８０とおく（ステップＳ９１）。次に、stime ＞jtime
、elaps ＞jtime なので（ステップＳ９２、ＮＯ、ス
テップＳ９６、ＹＥＳ）、free＝free＋ｊｐ（３）＝１
８となり（ステップＳ９７）、jtime ＝jtime ＋ｊｔ
（４）＝８０となる（ステップＳ９８）。そして、ＲＰ
Ｅ＜freeなので（ステップＳ９９、ＹＥＳ）、ステップ
Ｓ９２に戻る。

【０１３８】ここで、再びstime ＞jtime 、elaps ＞jt
ime なので（ステップＳ９２、ＮＯ、ステップＳ９６、
ＹＥＳ）、free＝free＋ｊｐ（４）＝２２となり（ステ
ップＳ９７）、jtime ＝jtime ＋ｊｔ（５）＝１００と
なる（ステップＳ９８）。そして、ＲＰＥ＜freeなので
（ステップＳ９９、ＹＥＳ）、ステップＳ９２に戻る。

【０１３９】ここで、さらに再びstime ＞jtime 、elap
s ＞jtime なので（ステップＳ９２、ＮＯ、ステップＳ
９６、ＹＥＳ）、free＝free＋ｊｐ（５）＝２８となり
（ステップＳ９７）、jtime ＝jtime ＋ｊｔ（６）＝２
３０となる（ステップＳ９８）。そして、ＲＰＥ＜free
なので（ステップＳ９９、ＹＥＳ）、ステップＳ９２に
戻る。

【０１４０】ここで、stime ＜jtime となるので（ステ
ップＳ９２、ＹＥＳ）、ステップＳ９３に進み、elaps
＞stime なので（ステップＳ９３、ＹＥＳ）、free＝fr
ee＋ｓｐ（１）＝８となり（ステップＳ９４）、stime
＝stime ＋ｓｔ（２）＝１９３０となる（ステップＳ９
５）。ステップＳ９４でfreeが大幅に減少してＲＰＥ＞
freeとなったので（ステップＳ９９、ＮＯ）、start を
設定し直すためにステップＳ８２に戻る。図２６に示す
ように、次にstime ＞jtime なので（ステップＳ８２、
ＮＯ）、start ＝start ＋jtime ＝２８０、stime ＝st
ime −jtime ＝１７００となり（ステップＳ８６）、fr
ee＝free＋ｊｐ（６）＝１２となる（ステップＳ８
７）。次にjtime ＝ｊｔ（７）＝９０とおき（ステップ
Ｓ８８）、ＲＰＥ＜freeなのでステップＳ８９に進む。

【０１４１】ここで、利用可能ＰＥ台数の変動が予定さ
れているので（ステップＳ８９、type２）、elaps ＝１
８０とおく（ステップＳ９１）。次に、stime ＞jtime
、elaps ＞jtime なので（ステップＳ９２、ＮＯ、ス
テップＳ９６、ＹＥＳ）、free＝free＋ｊｐ（７）＝２
０となり（ステップＳ９７）、jtime ＝jtime ＋ｊｔ
（８）＝１３０となる（ステップＳ９８）。そして、Ｒ
ＰＥ＜freeなので（ステップＳ９９、ＹＥＳ）、ステッ
プＳ９２に戻る。

【０１４２】ここで、stime ＞jtime 、elaps ＞jtime
なので（ステップＳ９２、ＮＯ、ステップＳ９６、ＹＥ
Ｓ）、free＝free＋ｊｐ（８）＝３０となり（ステップ
Ｓ９７）、jtime ＝jtime ＋ｊｔ（９）＝∞（無限大）
となる（ステップＳ９８）。そして、ＲＰＥ＜freeなの
で（ステップＳ９９、ＹＥＳ）、ステップＳ９２に戻
る。

【０１４３】次にstime ＜jtime となったので（ステッ
プＳ９２、ＹＥＳ）、ステップＳ９３に進み、elaps ＜
stime なので（ステップＳ９３、ＮＯ）、起動予定時刻
をstart ＝２８０に設定し（ステップＳ９０）、処理を
終了する。

【０１４４】次に、本発明のスケジュール制御装置を用
いて計算流体力学（ＣＦＤ）における科学技術計算を行
った場合のシミュレーション実験の結果を、図２７から
図３１までを参照しながら説明する。ここでは、流体と
して特に空気を扱う計算空気力学におけるシミュレーシ
ョンを行った。

【０１４５】計算空気力学で処理に使用するＣＦＤプロ
グラムでは、一般に格子点毎に計算項目や必要なデータ
が決まっているため、使用するメモリ量やＣＰＵ時間は
格子点の数に依存する。

【０１４６】シミュレーションで用いたＣＦＤプログラ
ムでは、格子点１０万点当たりの計算に３６００秒程度
のＣＰＵ時間を必要とし、１格子点当たりのデータ量が
２００ＭＢ（メガバイト）から４００ＭＢの範囲のジョ
ブが多い。また、処理の並列化に伴うメモリオーバヘッ
ド率は１．２から２．０の程度である。ここで、並列化
に伴うメモリオーバヘッド率とは、並列化していないプ
ログラムが使用するメモリ量（基本メモリ量）に対する
並列化したプログラムが使用するメモリ量（実メモリ
量）の割合を意味する。ＣＦＤプログラムのこれらの特
徴を考慮し、ジョブの基本メモリ量、１格子点当たりの
データ量、メモリオーバヘッド率によりジョブのワーク
ロードを定義した。

【０１４７】図２７は、ジョブの発生に用いた基本メモ
リ量の確率密度分布を示している。基本メモリ量ｘに対
する確率密度ｐ（ｘ）として、シミュレーションでは８
０ＭＢ〜３００００ＭＢの範囲におけるＴＹＰＥ１〜３
の３種類のβ分布（ベータ分布）を用いた。タイプ（Ｔ
ＹＰＥ）１、２、３のβ分布の平均基本メモリ量は、そ
れぞれ１８４０ＭＢ、２８００ＭＢ、６０６４ＭＢであ
る。

【０１４８】図２８は、ジョブの発生に用いた１格子点
当たりのデータ量の確率密度分布を示している。１格子
点当たりのデータ量ｙに対する確率密度ｐ（ｙ）とし
て、シミュレーションでは２００ＭＢ〜４００ＭＢの範
囲におけるＴＹＰＥ１および２の２種類のβ分布を用い
た。タイプ１、２のβ分布の１格子点当たりのデータ量
の平均値は、それぞれ３３３．３ＭＢ、２６６．６ＭＢ
である。

【０１４９】図２９は、ジョブの発生に用いたメモリオ
ーバヘッド率の確率密度分布を示している。メモリオー
バヘッド率ｚに対する確率密度ｐ（ｚ）として、シミュ
レーションでは１．２〜２．０の範囲におけるタイプ１
および２の２種類のβ分布を用いた。タイプ１、２のβ
分布のメモリオーバヘッド率の平均値は、それぞれ１．
７３４、１．４６６である。

【０１５０】並列処理によりジョブが必要とする実メモ
リ量は基本メモリ量にメモリオーバヘッド率を乗算する
ことにより得られ、実メモリ量を１ＰＥ当たりのメモリ
量（主記憶量）で割ればジョブの要求ＰＥ台数が決めら
れる。シミュレーションでは、基本メモリ量の上限を３
０ＧＢ（ギガバイト）、１ＰＥ当たりの主記憶量を２５
０ＭＢ、システム全体のＰＥ総数を１４０とした。３０
ＧＢの基本メモリ量は１２０台のＰＥによるジョブに相
当するが、メモリオーバヘッド率を乗じると実メモリ量
はさらに大きくなり、その要求ＰＥ台数が１４０を越え
ることもあり得る。しかし、図２７が示すように、基本
メモリ量が３０ＧＢのジョブが発生する確率はかなり小
さい。

【０１５１】ジョブの基本メモリ量を１格子点当たりの
データ量で割ればジョブの計算格子点数が得られ、これ
に計算格子点１０万点当たり３６００秒のＣＰＵ時間を
乗算して得られる時間を、そのジョブが要求するＣＰＵ
時間とした。

【０１５２】また、システム全体の処理能力に対する入
力負荷の割合を負荷率と定義した。例えば負荷率が１．
０のときは入力負荷が処理能力と同等であることを意味
するが、必ずしも実行待ちのジョブがないことを意味す
るわけではない。処理能力を１００％生かせずに、空き
ＰＥが発生するようなスケジューリングが行われると、
実行待ちのジョブが増えていくことになる。

【０１５３】そして、デバッグジョブが発生する割合は
デバッグジョブ発生率と定義した。ここでデバッグジョ
ブとは、プログラムが正常に動くことを確認するため
に、実際の実行時間の５％程度の間だけそのプログラム
を実行させるようなジョブを指す。デバッグジョブの使
用メモリ量は、プログラムを１００％実行させるジョブ
の場合と変わらないので、その要求ＰＥ台数も変わらな
い。しかし、実行時間が短いのでその要求ＣＰＵ時間は
短くなる。

【０１５４】図３０および図３１は、ＣＦＤプログラム
によるシミュレーション結果を示している。図３０およ
び図３１において、１／１／１等はジョブの発生に用い
た確率密度分布の種類を表し、基本メモリ量のタイプ／
１格子点当たりのデータ量のタイプ／メモリオーバヘッ
ド率のタイプを意味する。例えば基本メモリ量の確率密
度分布がタイプ３、１格子点当たりのデータ量の確率密
度分布がタイプ２、メモリオーバヘッド率の確率密度分
布がタイプ１であるようなジョブを発生させた場合は、
３／２／１と表記される。３／＊／＊は、３／１／１、
３／１／２、３／２／１、３／２／２の分布を用いた結
果の平均をとることを意味する。１／＊／＊、２／＊／
＊についても同様である。

【０１５５】図３０は、負荷率を変えたときのシステム
全体の平均使用ＰＥ台数の変化を示す図である。一般に
は、負荷率が高くなるにつれて実行待ちの優先実行ジョ
ブが多くなり、起動優先ジョブを処理しても次のジョブ
が起動優先ジョブとなるため、起動優先ジョブが常にあ
る状態が続く。その結果、起動優先ジョブの起動のため
に他のジョブの起動を抑止したり、スワップアウトを行
ったりすることが多くなる。したがってシステムの利用
効率が低下し、ＰＥの平均使用台数が減少する傾向にあ
る。しかしながら、本発明のスケジュール制御装置によ
るシミュレーションでは、図３０が示すように、負荷率
が１以上になってもＰＥの平均使用台数はほとんど減少
せず、ＰＥが有効に利用されていることが分かる。

【０１５６】また、発生したジョブが大規模ジョブであ
るほど、すなわち要求ＰＥ台数や要求ＣＰＵ時間が大き
なジョブであるほど起動されにくく、システム効率の低
下の度合いは大きくなる。例えばジョブの要求ＰＥが常
に１台の場合は直ちに起動され、空きＰＥはなくなる
が、要求ＰＥ台数が増加するにつれて起動時刻が遅れる
可能性が高くなるため、空きＰＥが増加する。また、起
動優先ジョブの起動のための他のジョブの起動抑止、ス
ワップアウトによるシステム効率の低下の度合いは、ジ
ョブの規模に比例して大きくなる。

【０１５７】例えば１／１／１の場合はジョブの規模は
比較的小さく、負荷率が１以上のときの平均使用ＰＥ台
数はシステムの総ＰＥ台数である１４０に近い。これに
対して、３／２／２の場合はジョブの規模が比較的大き
く、負荷率が１以上になっても平均使用ＰＥ台数は１３
０に満たない。１／１／１の場合はデバッグジョブ発生
率を０．８として、ジョブの平均ＣＰＵ時間をさらに短
くしており、これがシステム効率の向上につながってい
る。３／２／２の場合はデバッグジョブ発生率が０であ
り、発生したジョブは全て実際に必要な実行時間の間Ｐ
Ｅを使用するので、デバッグジョブが発生する場合より
ジョブの平均ＣＰＵ時間は長くなる。

【０１５８】図３１は、本発明のスケジュール制御装置
における起動予定時刻設定方式の効果を示す図である。
図３１（ａ）、（ｂ）は、それぞれ負荷率を１．０、
２．０としてシミュレーションを行った場合のシステム
全体の平均使用ＰＥ台数を示している。「設定なし」
は、本発明のスケジューリング方式のうち起動予定時刻
設定方式を採用しなかった場合、すなわち、起動優先ジ
ョブが起動されるまで他の全てのジョブの起動を抑止し
た場合の結果である。「設定あり」は、起動予定時刻設
定方式を採用して、起動優先ジョブの起動予定時刻まで
に終わる他のジョブの起動を許した場合の結果である。

【０１５９】図３１（ａ）および（ｂ）の１／＊／＊、
２／＊／＊、３／＊／＊のそれぞれの場合において、
「設定なし」の結果より「設定あり」の結果の方がＰＥ
の平均使用台数が大きくなることが分かる。これらの結
果は、並列計算機システムのジョブスケジューリングに
おける本発明の起動予定時刻設定方式の顕著な効果を示
している。

【０１６０】本実施例では、実行待ちの優先実行ジョブ
のうち、最も優先度の高い起動優先ジョブの起動時に限
ってスワップアウトを許しているが、本発明はこの構成
に限られず、非起動優先ジョブであっても実行待ちの優
先実行ジョブであれば、全てその起動時にスワップアウ
トを許す構成とすることも可能である。具体的には、起
動優先ジョブの起動予定時刻が設定されたとき、条件
３、４、５を満たした場合だけでなく条件２、４を満た
した場合にも、次に優先度の高い優先実行ジョブを起動
させるようにすればよい。

【０１６１】

【発明の効果】本発明によれば、システム内に設置され
たＰＥ台数の範囲内で、任意台数のＰＥによるジョブの
実行が可能である。各ジョブが使用するＰＥを予め限定
せずに柔軟に割り当てるので、従来のように後続ジョブ
に割り当てるＰＥを確保するために、ＰＥを休止させる
ことがない。また、利用可能な空きＰＥがあれば、全て
の実行待ちジョブに対し起動可能か否かを調べるため、
ＰＥの利用率が向上する。

【０１６２】ジョブの所属キューやキュー内ジョブ優先
度はシステム資源要求量の関数の形で自由に定義できる
ため、到着順処理、特定規模のジョブの優先処理だけで
なく、システム資源要求量に応じた柔軟な優先度の設定
が可能である。

【０１６３】ジョブはその待ち時間に応じて優先度を上
げることができるため、要求ＰＥ台数の多いジョブであ
っても一定時間内で実行されることが期待できる。ジョ
ブの実行時間や終了時刻をテーブルに格納し、次のジョ
ブの起動時に参照することにより、時間に関する情報が
統一的に管理される。特に、優先実行ジョブの起動予定
時刻を設定し、その時刻までに終了する予定の他のジョ
ブを先に起動することにより、システム資源利用率の大
幅な低下が防止される。

【０１６４】スワップアウトジョブを決定する場合、大
規模ジョブをスワップアウトの対象から外し、スワップ
アウトＰＥの総数を制限することにより、スワップアウ
トに起因するシステムオーバヘッドの増加とＰＥ利用率
の低下が軽減される。

【０１６５】また、システム停止等の運用予定を考慮し
たＰＥの割り当てを行うことにより、システム運用スケ
ジュールを予定通りに遂行することが可能となる。さら
に、システム管理者によるジョブの所属キューやキュー
内優先度の変更により、ジョブの緊急度および重要度を
反映した優先処理が可能となる。

【図面の簡単な説明】

【図１】本発明の原理図である。

【図２】本発明の実施例の構成図である。

【図３】実施例における動的優先度制御方式を示す図で
ある。

【図４】実施例における優先度見直し処理のフローチャ
ートである。

【図５】実施例におけるジョブ管理キューを示す図であ
る。

【図６】実施例におけるプロセッサ要素の割り当て優先
度を示す図である。

【図７】実施例におけるプログラム構成を示す図であ
る。

【図８】実施例におけるジョブ情報テーブルのデータ構
造を示す図である。

【図９】実施例におけるジョブ終了予定時刻管理テーブ
ルのデータ構造を示す図である。

【図１０】実施例における実行待ちジョブ管理テーブル
および実行中ジョブ管理テーブルのデータ構造を示す図
である。

【図１１】実施例における運用予定管理テーブルのデー
タ構造を示す図である。

【図１２】実施例におけるプレステージ中ジョブ情報テ
ーブルのデータ構造を示す図である。

【図１３】実施例によるスケジュール制御のフローチャ
ートである。

【図１４】実施例によるスワップイン処理のフローチャ
ートである。

【図１５】実施例によるジョブの起動処理のフローチャ
ートである。

【図１６】実施例によるプロセッサ要素の割り当て可否
判定処理のフローチャート（その１）である。

【図１７】実施例によるプロセッサ要素の割り当て可否
判定処理のフローチャート（その２）である。

【図１８】実施例による起動予定時刻算出処理のフロー
チャートである。

【図１９】実施例における起動予定時刻の算出例を示す
図（その１）である。

【図２０】実施例における起動予定時刻の算出例を示す
図（その２）である。

【図２１】実施例における起動予定時刻の算出例を示す
図（その３）である。

【図２２】実施例におけるジョブ終了予定時刻管理テー
ブルの一例を示す図である。

【図２３】実施例におけるジョブ終了予定時刻管理テー
ブルとジョブ情報テーブルのデータの対応関係を示す図
である。

【図２４】実施例における運用予定管理テーブルの一例
を示す図である。

【図２５】実施例による起動予定時刻算出処理における
変数値の変化を示す図（その１）である。

【図２６】実施例による起動予定時刻算出処理における
変数値の変化を示す図（その２）である。

【図２７】シミュレーションに用いた基本メモリ量の分
布を示す図である。

【図２８】シミュレーションに用いた格子点当たりのデ
ータ量の分布を示す図である。

【図２９】シミュレーションに用いたメモリオーバヘッ
ド率の分布を示す図である。

【図３０】負荷率シミュレーションの結果を示す図であ
る。

【図３１】起動予定時刻設定の効果を示す図である。

【図３２】従来のジョブスケジュール方式を示す図であ
る。

【符号の説明】

１ スケジュール制御手段 ２ 優先度制御手段 ３ 優先度変更手段 ４ 割り当て制御手段 ５ 割り当て判定手段 ６ 起動予定設定手段 ７ 実行中断手段 ８ 実行再開手段 ９ プレステージ制御手段 ２１ 運用スケジュールテーブル ２２ フロントエンド・プロセッサ ２３−１、２３−２ 自動化プログラム ２４−１、２４−２ スケジューラ ２５ ユーザプログラム ２６ 磁気ディスク ２７ 並列計算機システム ２８ コントロール・プロセッサ ２９ クロスバ・ネットワーク ３０−１〜３０−ｎ プロセッサ要素 ３１ 高速システム記憶ユニット ４１ スケジュール制御プログラム ４２ スワップイン処理プログラム ４３ ジョブ起動処理プログラム ４４ プレステージ処理プログラム ４５ プロセッサ要素の割り当て判定プログラム ４６ スワップアウト処理プログラム ４７ キュー情報制御プログラム ４８ 起動予定時刻算出プログラム ４９ プロセッサ要素の情報収集プログラム ５０ 運用予定情報収集プログラム

───────────────────────────────────────────────────── フロントページの続き (72)発明者 軽部 行洋 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (56)参考文献 特開 平６−4308（ＪＰ，Ａ) 特開 平６−59906（ＪＰ，Ａ) 特開 平５−12038（ＪＰ，Ａ) 特開 平７−141305（ＪＰ，Ａ) 特開 平７−191861（ＪＰ，Ａ) 特開 昭63−145530（ＪＰ，Ａ) 特開 平６−75785（ＪＰ，Ａ) 特開 平７−49836（ＪＰ，Ａ) 特開 平２−257337（ＪＰ，Ａ) 福田、末松・他、「数値風洞のオペレ ーティングシステム」、航空宇宙技術研 究所特別資料ＳＰ−、Ｎｏ．16（1991 年）、ｐｐ．107−113（ＪＩＣＳＴ資料 番号：Ｓ0762Ｂ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 9/46 G06F 15/16 G06F 1/00 370 ＪＩＣＳＴファイル（ＪＯＩＳ) ＣＳＤＢ（日本国特許庁)

Claims (24)

(57)【特許請求の範囲】
1. 【請求項１】 複数の処理要素が並列に処理を行う並列
   処理システムにおいて、 優先レベルの異なる複数の実行待ちジョブキューを有
   し、該優先レベルおよびキュー内優先度に応じて該実行
   待ちジョブキュー内の実行待ちジョブの起動順位を管理
   し、実行対象ジョブを選択する優先度制御手段と、未使用の前記処理要素の数が、前記実行対象ジョブを実
   行するために必要な前記処理要素の数以上か否かを判定
   する割り当て判定手段と、 前記割り当て判定手段が、前記未使用の処理要素の数が
   前記実行対象ジョブを実行するために必要な処理要素の
   数に満たないと判定したとき、実行中のジョブを中断す
   る実行中断手段と、 前記実行対象ジョブのジョブキューが 所定優先レベル以
   上の場合、前記割り当て判定手段と前記実行中断手段を
   用いて前記実行中のジョブを中断し、中断された該実行
   中のジョブが使用していた処理要素を、前記実行対象ジ
   ョブに割り当てる割り当て制御手段と、 前記優先度制御手段と割り当て制御手段を用いて、前記
   並列処理システムにおけるジョブの実行のスケジューリ
   ングを行うスケジュール制御手段とを備えることを特徴
   とするスケジュール制御装置。
2. 【請求項２】 前記割り当て制御手段は、前記起動順位
   に従って可能な限り多くの前記実行待ちジョブに前記未
   使用の処理要素を割り当てることを特徴とする請求項１
   記載のスケジュール制御装置。
3. 【請求項３】 指定された前記実行待ちジョブの重要度
   に応じて、該実行待ちジョブの所属する実行待ちジョブ
   キューおよびそのキュー内優先度を変更する優先度変更
   手段をさらに備えることを特徴とする請求項１記載のス
   ケジュール制御装置。
4. 【請求項４】 前記実行待ちジョブの所属する前記実行
   待ちジョブキューおよびそのキュー内優先度とプレステ
   ージ容量とに応じて決められる順序に従って、該実行待
   ちジョブが使用するデータを予め転送速度の速い媒体に
   転送するプレステージ制御手段をさらに備えることを特
   徴とする請求項１記載のスケジュール制御装置。
5. 【請求項５】 前記優先度制御手段は、前記実行待ちジ
   ョブの所属する実行待ちジョブキューおよびそのキュー
   内優先度を、該実行待ちジョブの要求する資源量と該実
   行待ちジョブが発生してからの待ち時間と該実行待ちジ
   ョブの実行時間のうち、少なくとも１つを用いて決定す
   ることを特徴とする請求項１記載のスケジュール制御装
   置。
6. 【請求項６】 前記実行待ちジョブの要求する資源量
   は、該実行待ちジョブを実行するために必要な処理要素
   の数であることを特徴とする請求項５記載のスケジュー
   ル制御装置。
7. 【請求項７】 前記優先度制御手段は、時間の経過に伴
   い前記実行待ちジョブの起動順位を動的に見直し、前記
   待ち時間が長い実行待ちジョブほど前記起動順位を早め
   ることを特徴とする請求項５記載のスケジュール制御装
   置。
8. 【請求項８】 前記割り当て判定手段が、前記実行対象
   ジョブを起動するために必要な前記処理要素の数が、前
   記未使用の処理要素の数と中断可能処理要素数の合計以
   内であると判定したとき、前記実行中断手段は前記実行
   中のジョブを中断することを特徴とする請求項１記載の
   スケジュール制御装置。
9. 【請求項９】 前記割り当て判定手段は、前記並列処理
   システム内で同時に中断される処理要素の最大数と、１
   つの実行待ちジョブを起動するために中断される処理要
   素の最大数と、必要な処理要素数または実行時間のうち
   少なくとも１つを用いて指定される規模以下のジョブが
   使用中の処理要素の数とを基にして、前記中断可能処理
   要素数を決めることを特徴とする請求項８記載のスケジ
   ュール制御装置。
10. 【請求項１０】 前記優先度制御手段は、優先レベルの
    異なる複数の実行中ジョブキューを有し、該優先レベル
    およびキュー内優先度に応じて該実行中ジョブキュー内
    の実行中ジョブの優先順位を管理し、時間の経過に伴い
    該優先順位を動的に見直すことを特徴とする請求項１記
    載のスケジュール制御装置。
11. 【請求項１１】 指定された前記実行中ジョブの重要度
    に応じて、該実行中ジョブの所属する実行中ジョブキュ
    ーおよびそのキュー内優先度を変更する優先度変更手段
    をさらに備えることを特徴とする請求項１０記載のスケ
    ジュール制御装置。
12. 【請求項１２】 前記実行中断手段は、前記複数の実行
    中ジョブキューのうち、所定優先レベルに満たない前記
    実行中ジョブキュー内の実行中のジョブを中断すること
    を特徴とする請求項１０記載のスケジュール制御装置。
13. 【請求項１３】 中断された前記実行中のジョブが、そ
    の後の実行待ちで前記所定優先レベル以上の前記実行待
    ちジョブキューに属する場合、前記実行待ちジョブキュ
    ー内の実行待ちジョブより優先的に前記処理要素を割り
    当てて、中断された該実行中のジョブを再開する実行再
    開手段をさらに備えることを特徴とする請求項１２記載
    のスケジュール制御装置。
14. 【請求項１４】 複数の処理要素が並列に処理を行う並
    列処理システムにおいて、 優先度の高い実行対象ジョブの仮の起動時刻を設定する
    手段と、 前記仮の起動時刻から前記実行対象ジョブの実行時間以
    内の間において予定されている全体で利用可能な処理要
    素の数の変化を調べ、該処理要素の数の変化により変更
    される使用可能な処理要素の数を求める手段と、 変更された前記使用可能な処理要素の数が前記実行対象
    ジョブを実行するために必要な処理要素の数以上の場
    合、前記仮の起動時刻を起動予定時刻として設定し、該
    変更された使用可能な処理要素の数が前記実行対象ジョ
    ブを実行するために必要な処理要素の数に満たない場合
    は、前記仮の起動時刻を設定し直し前記利用可能な処理
    要素の数の変化を調べる処理以降を繰り返し、前記実行
    対象ジョブの実行時間以内の間において、常に前記使用
    可能な処理要素の数が前記実行対象ジョブを実行するた
    めに必要な処理要素の数以上となるような前記起動予定
    時刻を設定する起動予定設定手段と、 前記実行対象ジョブに設定された前記起動予定時刻まで
    に実行を終了する予定の新規ジョブに対しては処理要素
    の割り当てが可能と判定し、該起動予定時刻までに終了
    しない予定の新規ジョブに対しては処理要素の割り当て
    が不可能と判定する割り当て判定手段と、 前記割り当て判定手段の判定結果を用いて、前記並列処
    理システムにおけるジョブの実行のスケジューリングを
    行うスケジュール制御手段と を備えることを特徴とする
    スケジュール制御装置。
15. 【請求項１５】 前記使用可能な処理要素の数は、前記
    並列処理システム全体の停止または前記並列処理システ
    ムにおける一部の前記処理要素の停止により変動するこ
    とを特徴とする請求項１４記載のスケジュール制御装
    置。
16. 【請求項１６】 複数の処理要素が並列に処理を行う並
    列処理システムにおいて、 使用可能な前記処理要素が変動することが予定され、変
    動後の該使用可能な処理要素の数が実行待ちジョブを実
    行するために必要な処理要素の数に満たず、かつ、該必
    要な処理要素の数と該使用可能な処理要素の数の差が中
    断可能処理要素数以下であり、かつ、処理要素の運用予
    定が妨げられない場合に、該処理要素の数の差に相当す
    る使用中の処理要素の処理を中断する実行中断手段と、 中断された処理要素を前記実行待ちジョブに割り当てる
    割り当て制御手段と、 前記実行待ちジョブの起動により前記運用予定が妨げら
    れる場合は、前記使用中の処理要素の処理を中断せず
    に、該運用予定が妨げられないような起動予定時刻を設
    定する起動予定設定手段と、 前記起動予定時刻によって前記実行待ちジョブが直ちに
    起動しない場合は、該起動予定時刻までに終了する予定
    の他の実行待ちジョブを起動するようなスケジューリン
    グを行うスケジュール制御手段とを備えることを特徴と
    する スケジュール制御装置。
17. 【請求項１７】 複数の処理要素により並列に処理され
    るジョブのスケジューリングにおいて、 発生した実行待ちジョブの起動順位を優先レベルの異な
    る複数の実行待ちジョブキューおよびキュー内優先度に
    より管理し、 時間の経過とともに前記実行待ちジョブの属する前記実
    行待ちジョブキューおよびそのキュー内優先度を見直し
    て、発生してからの待ち時間が長いジョブほど前記起動
    順位を高く設定し、 前記起動順位に従って起動された実行中ジョブの優先順
    位を優先レベルの異なる複数の実行中ジョブキューおよ
    びキュー内優先度により管理し、 所定優先レベル以上の前記実行中ジョブキュー内の実行
    中ジョブ、所定優先レ ベル以上の前記実行待ちジョブキ
    ュー内の実行待ちジョブ、所定優先レベルに満たない前
    記実行中ジョブキュー内の実行中ジョブ、所定優先レベ
    ルに満たない前記実行待ちジョブキュー内の実行待ちジ
    ョブの順に優先的に前記処理要素を割り当てる ことを特
    徴とするスケジュール制御方法。
18. 【請求項１８】 前記実行待ちジョブの所属する前記実
    行待ちジョブキューおよびそのキュー内優先度とプレス
    テージ容量とに応じてプレステージ順位を決定し、 前記プレステージ順位に従って、該実行待ちジョブが使
    用するデータを予め転送速度の速い媒体に転送する こと
    を特徴とする請求項１７記載のスケジュール制御方法。
19. 【請求項１９】 複数の処理要素により並列に処理され
    るジョブのスケジューリングにおいて、 前記処理要素の運用予定を問い合わせ、 使用可能な処理要素の数が実行待ちジョブを実行するた
    めに必要な処理要素の数以上であり、かつ、前記運用予
    定が妨げられない場合に、該実行待ちジョブを直ちに起
    動し、 前記実行待ちジョブの起動により前記運用予定が妨げら
    れる場合は、該実行待ちジョブを直ちに起動せずに、 前記運用予定が妨げられず、かつ、前記実行待ちジョブ
    の実行時間以内の間において、常に前記使用可能な処理
    要素の数が前記実行待ちジョブを実行するために必要な
    処理要素の数以上となるような前記起動予定時刻を設定
    し、 前記起動予定時刻までに終了する予定の他の実行待ちジ
    ョブを起動する ことを特徴とするスケジュール制御方
    法。
20. 【請求項２０】 複数の処理要素により並列に処理され
    るジョブのスケジューリングにおいて、 前記処理要素の運用予定を問い合わせ、 使用可能な前記処理要素の数が実行待ちジョブを実行す
    るために必要な前記処理要素の数に満たないとき、前記
    必要な処理要素の数と前記使用可能な処理要素の数の差
    が中断可能処理要素数以下であるか否かを調べ、 前記処理要素の数の差が中断可能処理要素数以下であ
    り、かつ、前記運用予定が妨げられない場合に、 前記処理要素の数の差に相当する使用中の前記処理要素
    の処理を中断し、 中断された前記処理要素を前記実行待ちジョブに割り当
    てて、前記実行待ちジョブを起動し、 前記実行待ちジョブの起動により前記運用予定が妨げら
    れる場合は、前記使用中の処理要素の処理を中断せず
    に、前記運用予定が妨げられないような起動予定時刻を
    設定し、該起動予定時刻までに終了する予定の他の実行
    待ちジョブを起動することを特徴とする スケジュール制
    御方法。
21. 【請求項２１】 前記実行待ちジョブの仮の起動時刻を
    設定し、 前記仮の起動時刻から前記実行待ちジョブの実行時間以
    内の間において予定されている全体で利用可能な前記処
    理要素の数の変化を調べ、 前記処理要素の数の変化により変更される使用可能な前
    記処理要素の数を求め、 変更された前記使用可能な処理要素の数が前記実行待ち
    ジョブを実行するために必要な前記処理要素の数以上の
    場合に、前記仮の起動時刻を前記起動予定時刻として設
    定し、 変更された前記使用可能な処理要素の数が前記実行待ち
    ジョブを実行するために必要な前記処理要素の数に満た
    ない場合は、前記仮の起動時刻を設定し直して前記利用
    可能な前記処理要素の数の変化を調べる処理以降を繰り
    返し、 前記起動予定時刻から前記実行待ちジョブの実行時間以
    内の間において、常に前記使用可能な処理要素の数が前
    記実行待ちジョブを実行するために必要な前記処理要素
    の数以上となるように、前記起動予定時刻を設定する こ
    とを特徴とする請求項２０記載のスケジュール制御方
    法。
22. 【請求項２２】 前記実行待ちジョブの起動順位を優先
    レベルの異なる複数の実行待ちジョブキューおよびキュ
    ー内優先度により管理し、 時間の経過とともに前記実行待ちジョブの属する前記実
    行待ちジョブキューおよびそのキュー内優先度を見直し
    て、発生してからの待ち時間が長いジョブほど前記起動
    順位を高く設定し、 前記起動順位に従って起動された実行中ジョブの優先順
    位を優先レベルの異なる複数の実行中ジョブキューおよ
    びキュー内優先度により管理し、 所定優先レベル以上の前記実行中ジョブキュー内の実行
    中ジョブ、所定優先レベル以上の前記実行待ちジョブキ
    ュー内の実行待ちジョブ、所定優先レベルに満たない前
    記実行中ジョブキュー内の実行中ジョブ、所定優先レベ
    ルに満たない前記実行待ちジョブキュー内の実行待ちジ
    ョブの順に優先的に前記処理要素を割り当てる ことを特
    徴とする請求項２１記載のスケジュール制御方法。
23. 【請求項２３】 指定された前記実行待ちジョブまたは
    実行中ジョブの重要度に応じて、該実行待ちジョブの所
    属する実行待ちジョブキューおよびそのキュー内優先
    度、または該実行中ジョブの所属する実行中ジョブキュ
    ーおよびそのキュー内優先度を変更することを特徴とす
    る請求項２２記載のスケジュール制御方法。
24. 【請求項２４】 前記実行待ちジョブの所属する実行待
    ちジョブキューおよびそのキュー内優先度とプレステー
    ジ容量とに応じて決められる順序に従って、該実行待ち
    ジョブが使用するデータを予め転送速度の速い媒体に転
    送することを特徴とする請求項２２記載のスケジュール
    制御方法。