WO2004088518A1

WO2004088518A1 - Ｃｐｕ使用時間カウント方法及びこのｃｐｕ使用時間を用いるジョブ制御装置

Info

Publication number: WO2004088518A1
Application number: PCT/JP2003/004087
Authority: WO
Inventors: Susumu Takatsu; Katsumi Yazawa; Naoki Sueyasu; Masayuki Kogure; Satoki Shibayama
Original assignee: Fujitsu Limited
Priority date: 2003-03-31
Filing date: 2003-03-31
Publication date: 2004-10-14
Also published as: JPWO2004088518A1; EP1555613A4; JP3998686B2; EP1555613A1

Abstract

複数のコンピュータを使用してジョブの分散処理を行うコンピュータシステムにおける、各ＣＰＵの実際の使用時間をカウントする際に、まず各ジョブに使用されたＣＰＵ使用時間をカウントし、次に各ジョブを実行する毎に、各ＣＰＵのメモリアクセスにおける演算待ち時間をカウントし、各ジョブ毎にＣＰＵ使用時間から各ＣＰＵの演算待ち時間を差し引いて算出した補正ＣＰＵ使用時間を、実際のＣＰＵ使用時間として設定する方法である。ジョブ制御装置はこの方法を実現する手段を有し、この手段により得られたＣＰＵ使用時間と補正ＣＰＵ使用時間を使用してジョブを制御すると共に、ユーザーに課金を行う。

Description

明細書

C P U使用時間カウント方法及びこの C P U使用時間を用いるジョブ制御装置技術分野

本発明は C P U使用時間カウント方法及びこの C P U使用時間を用いるジョブ制御装置に関し、特に、大規模アプリケーション処理を多数のプロセッサ（C P U) に分散して行わせる場合の、各 C P Uの実際の使用時間をカウントする方法及びこの C P U使用時間を用いるジョブ制御装置に関する。背景技術

一般に、コンピュータやプロセッサを使用し、数値流体力学等に使用される大規模アプリケーションにおいては、コンピュータゃプ口セッサに数百 G F L O P Sを超える性能が必要となり、このような高性能を実現する場合には並列処理が行われる。並列処理とは、多数のコンピュータやプロセッサに処理を分割して、処理全体の高速化を図ろうとするものである。

一方、大規模アブリケーションに対応したメモリ構成も必要であり、このメモリ構成は以下のような並列システムに分類される。 ( a ) 集中メモリ型

この型は、図 1 Aに示されるように、同等の機能を持つ複数のプ口セッサ（図には C P Uと記載） 1 と、この C P U 1 に統合ネットワーク 2を介して接続された 1つのメモリ空間（共有メモリのことで、以後単にメモリと言う） 3から構成される。全ての C P U 1 は同じデータをアクセスすることができる。 C P U 1 には通常キヤッシュメモリ 4が設けられている。

( b ) 分散共有メモリ型

この型は、図 1 Bに示されるように、各 C P U 1 が統合ネットヮーク 2を介して、分散配置されたローカルメモリ 3 A〜 3 N (A〜 Nは任意の自然数）に接続されたものである。ローカルメモリ 3 A 〜 3 Nは、論理的には共有メモリとして参照できる。この例では C P U 1内のキャッシュメモリの図示は省略してある。

( c ) 分散メモリ型

この型は、図 1 Cに示されるように、 C P U 1 とメモリ 3から成る複数のシステム要素 4が結合ネットワーク 2で結合された形態である。異なるシステム要素 4のメモリ 3にあるデータへのアクセスは、統合ネットワーク 2を介した通信によって実現される。この例でも C P U 1内のキヤッシュメモリの図示は省略してある。

上述のように、科学技術分野のハイエンドコンピュータ（分散並列コンピュータシステム） 1 0は、多数 C P U (数十〜数千個の C P U) および巨大メモリ（論理的/物理的）から構成されている。図 2はこのようなハイエンドコンピュータにおけるジョブ実行環境の一例を示すものである。ハイェンドコンピュータでは、複数の並列コンピュータシステム 5が統合ネットワーク 5で並列に接続されており、各並列コンピュータシステム 5には、 C P U 1 とメモリ 3 がある。また、統合ネットワーク 5にはハードディスク装置や磁気ディスク装置、光ディスク装置等のディスク装置 7が接続される。実際のデータやプログラム等はこのディスク装置 7に格納されている。

ハイエンドコンピュータ 1 0のサーバー 8にユーザーからジョブが与えられると、サーバー 8はそのジョブを実行させる並列コンビユータシステム 6を決定する。このジョブ 6は、 1つの並列コンビユータシステム 5の中で行われることもあるが、複数の並列コンビユータシステム 5に跨がって実行されることもある。このように、ハイエンドコンピュータ 1 0は、大小様々なジョブが混在して実行される環境になっている。 ' ·

このようなジョブ実行環境では、大規模システムの資源（C P U 、メモリ）を効率的に有効活用（高いシステム稼働率）でき、かつエンドユーザ（ジョブ）への安定したサービス（ジョブ実行時間保証、ブレの少ない実行時間、木目細かいジョブ制御機能）を実現する運用技術が求められている。

コンピュータシステムにおいて複数のジョブが動作する従来の環境では、あるジョブを設定した時間に処理するために、あるジョブの現時点の処理量から終了時間を予測し、このジョブを他のジョブに優先して制御することで、このジョブの終了予想時刻を終了希望時刻に近づけることが行われている。そして、あるジョブの終了時間を予測する場合は、 C P Uの使用時間に加えて、データの入出力量等のコンピュータシステムの負荷の変動を考慮にいれて終了時間を予測する方式が取られてきた。 (例えば、特開平 5 - 2 6 5 7 7 5号公報を参照) 。

また、 C P Uの使用時間は単体で理想的に実行された場合の性能を表すため、複数ジョブが実行される環境での C P Uの性能を予測する場合は、実際のジョブの C P U使用時間（課金時間）と、課金時間に加算されないジョブに C P Uが使われる時間とを加算することで各ジョブの総 C P U使用時間を求めて予測を行っていた（例えば、特開平 5 - 2 8 9 8 9 1号公報を参照）。この予測方法は、例えば、システムデーモンがジョブ実行のために行うサービスに使う C P Uの使用時間をジョブの C P U使用時間に加えた総 C P U使用時間から、複数ジョブが実行される環境での C P Uの性能を予測する方式であった。

しかしながら、特開平 5— 2 6 5 7 7 5号公報ゃ特開平 5— 2 8 9 8 9 1号公報に記載の技術では、いずれの場合も、ジョブ自身の C P U使用時間は、どのような環境下でも一定（理想的）としていたために、あるジョブの終了時間を予測する場合や、複数ジョブが実行される環境での C P Uの性能を予測する場合に、予測にズレが生じていた。この予測ズレの発生の原因について以下に説明する。原理的には、同一のプログラムを複数回実行した場合、または、複数ジョブを同時に実行した場合は、処理の実行開始から終了までの時間は、「経過時間は毎回変動する。」「C P Uの使用時間は毎回一定である。」と見なされる。ところが、 C P U使用時間が毎回一定になることは、理想的なコンピュータにおいてのみ成立するものであり、実際のコンピュータにおいては、メモリアクセス性能が毎回一定ではないため、 C P U使用時間は毎回変動することになる例えば、 C P Uにキャッシュメモリを持つ場合、次に読み出すデータがこのキャッシュメモリにある（キャッシュにヒットする）か、読み出すデータがキャッシュメモリに無く、共有メモリ等から新たに読み出す (キャッシュにミスヒットする）かにより、データの読み出し時間に差が生じてメモリアクセス性能が異なってしまう。また、複数のシステムボードを持つコンピュータシステムの場合、

C P Uとそのアクセスするメモリが同一のシステムボードに配置される場合と、 C P Uとそのアクセスするメモリが異なるシステムボードに配置される場合とでは、これから処理しょうとするジョブにおける C P Uのメモリアクセス性能が異なってしまうことになる。更に、複数のジョブ、または並列のジョブがメモリを共有して実行されている場合、ジョブ毎のメモリアクセス負荷状況に依存して、あるジョブのメモリ競合によるメモリアクセス待ち時間が変動するので、 C P U使用時間は毎回動的に変動することになる。

このように、従来の技術では、そのジョブ自身の C P U使用時間が理想的でない限り、 C P U使用時間は毎回変動することになり、あるジョブの終了時間を予測する場合や、複数ジョブが実行される環境での C P Uの性能を予測する場合において、予測にズレが生じてしまうという課題や、 C P U使用時間に対する課金が正確に行われないという課題があった。発明の開示

従って、本発明の目的は、この課題を解決するために、前述のジョブの実行毎に異なるメモリアクセス性能による C P U使用時間の違いを補正することにより、実質的な C P U使用時間を補正 C P U 時間として演算し、同一プログラムの処理であれば、毎回同じ補正

C P U使用時間を演算によって求めることができ、あるジョブの終了時間を正確に予測できると共に、複数ジョブが実行される環境での C P Uの性能を予測することができ、更には C P U使用時間に対する課金に対しても安定したサ.一ビスを提供することができる C P U使用時間力ゥント方法及びこ.の C P U使用時間を用いるジョブ制御装置を提供することである。

上記目的を達成する本発明の C P U使用時間力ゥント方法は、複数のコンピュータを使用してジョブの分散処理を行うコンピュータシステムにおける、各 C P Uの実際の使用時間をカウントする方法であって、各ジョブに使用された C P U使用時間をカウントし、各ジョプを実行する毎に、各 C P Uのメモリアクセスにおける演算待ち時間をカウントし、各ジョブ毎に C P U使用時間から各 C P Uのメモリアクセスにおける演算待ち時間を差し引いて算出した補正 C P U使用時間を、実際の C P u使用時間として設定することを特徴とするものである。

この C P U使用時間は、コンピュータシステムの基本ソフトウェァに備えられている、該当ジョブが使用した時間をカウントする機能で取得された時間であり、 C P Uの演算待ち時間は、メモリァクセス性能値をカウントするハードウェアモニタを使用して算出した該当ジョブのメモリアクセス時間から、当該コンピュータシステムのハードゥエァ設計上最も高速な該当ジョブのメモリアクセス時間を引いた時間である。

また、算出した補正 C P U使用時間を C P U使用時間制限値と比較し、補正 C P U使用時間が C P U使用時間制限値以上になった時には、該当ジョブを終了するようにしても良い。

更に、該当ジョブからの要求により、補正 C P U使用時間の表示出力、及び記録出力を出力しても良い。

一方、前記目的を達成する本発明の C P U使用時間を用いるジョブ制御装置は、複数のコンピュータを使用してジョブの分散処理を行うコンピュータシステムにおける、各 C P Uの実際の使用時間をカウントし、この実際の使用時間によってジョブを制御するジョブ制御装置であって、ジョブを実行する毎に、各 C P Uのメモリァクセス待ちによる演算待ち時間をカウントするカウント手段と、各ジヨブ毎に、各 C P U使用時間から各 C P Uのメモリアクセス待ちによる演算待ち時間を差し引くことにより、補正 C P U使用時間を算出する補正 C P U使用時間算出手段と、補正 C P U使用時間を使用してジョブを制御するジョブ制御手段とを備えることを特徴としてレヽる。

本発明の C P U使用時間カウント方法及びこの C P U使用時間を用いるジョブ制御装置によれば、実質的な C P U使用時間を演算し、同一プログラムの処理であれば、毎回同じ C P U使用時間を演算によって求めることができ、あるジョブの終了時間を正確に予測できると共に、複数ジョブが実行される環境での C P Uの性能を予測することができ、更には C P U使用時間に対する課金に対しても安定したサービスを提供することができる。図面の簡単な説明

本発明の上記目的、特徴、利点等を以下に添付図面に示す実施例に従って詳細に説明する。添付図面の内容は以下の通りである。図 1 Aは従来の集中メモリ型の並列処理型コンピュータの構成を示すブロック構成図である。

図 1 Bは従来の分散共有メモリ型の並列処理型コンピュータの構成を示すブロック構成図である。

図 1 Cは従来の分散メモリ型の並列処理型コンピュータの構成を示すブロック構成図である。

図 2は本発明の C P U使用時間力ゥント方法が適用される分散並列コンピュータシステムにおけるジョブの実行環境を説明する図である。

図 3 Aは本発明の C P U使用時間カウント方法が適用される分散並列コンピュータシステムの構成の一例を示すブ口ック図である。

図 3 Bは図 3 Aのジョブ管理機構の機能を説明するブロック図である。

図 4は図 3 Aに示したジョブ管理機構の C P U使用時間カウント動作の第 1の実施例を説明するフローチャートである。

図 5は図 3に示したジョブ管理機構の C P U使用時間カウント動作の第 2の実施例を説明するフローチャートである。

図 6は図 3に示したジョブ管理機構の C P U使用時間カウント動作の第 3の実施例を説明するフローチャートである。

図 7は本発明の方法による補正 C P U使用時間と、従来方法による C P U使用時間との比較を示す線図である。

図 8は、 1つのジョブを 2つの C P Uによって行った時の、ジョブ管理機構の C P U使用時間カウント動作の第 4の実施例を説明するフローチャートである。

図 9は、 1つのジョブを 2つの C P Uによって行った時の、 C P

Uとキャッシュメモリの動作を説明するタイムチャートである。発明を実施するための最良の態様

以下、添付図面に基づいて発明を実施するための最良の態様を説明するが、図 1 Aから図 2で説明した部材と同じ構成の部材については、同じ符号を付して説明する。

図 3 Aは、本発明の C P U使用時間力ゥント方法が適用される分散並列コンピュータシステム 1 0の構成の一例を示すブロック図である。分散並列コンピュータシステム 1 0では、複数の並列コンビユータシステム 5が、統合ネットワーク 2を介して接続されているこの統合ネットワーク 5には、一般に、電源をオフしてもデータやプログラムを保持できるハードディスク装置等のディスク装置 7 が接続されている。

各並列コンピュータシステム 5の構成は同じであるので、図 3 A にはそのうちの 1つの並列コンピュータシステム 5の内部構成のみが示してある。並列コンピュータシステム 5には、キャッシュメモリ 4を備えた複数の C P U 1が並列に設けられている。これら複数の C P U 1 は、統合ネットワーク 2に接続するメモリ（共有メモリ ) 3に接続されており、各 C P U 1はメモリ 3に記憶されたデータをそれぞれのキャッシュメモリ 4に取り込んで演算を行う。各 C P U 1 は、その動作が C P u動作監視手段（ハードウェアモユタ） 1 1 によって監視されている。また、並列コンピュータシステム 5の中にはジョプ管理機構 2 0が設けられており、この中には C P U使用時間カウント手段 2 1、補正 C P U使用時間カウント手段 2 2、および C P U時間管理構造体（メモリ） 2 3がある。この C P U時間管理構造体 2 3には、 C P U使用時間を記憶するための領域 2 4、補正 C P U使用時間を記憶するための領域 2 5、及び、 C P Uの使用時間の制限値（図には C P U時間制限値と記載）を記憶するための領域 2 6がある。 C P Uの使用時間の制限値は、各ュ一ザ一が設定するものである。また、この C P U時間管理構造体 2 3はメモリ 3の一部を使用して設けることもできる。

C P U使用時間力ゥント手段 2 1は、 C P U動作監視手段 1 1 にアクセスすることにより各 C P Uの使用時間 (メモリアクセスによる演算待ち時間を含む) をカウントし、このカウント値を C P U時間管理構造体 2 3の C P U使用時間記憶領域 2 4に記憶する。補正 C P U使用時間力ゥント手段 2 2は、 C P U動作監視手段 1 1にァクセスすることにより各 C P Uのメモリアクセスによる演算待ち時間をカウントし、 C P U使用時間力ゥント手段 2 1でカウントされた各 C P Uの使用時間から前述の各 C P Uの演算待ち時間を減算し、実際に各 C P U 1が演算のために稼働した補正 C P U使用時間を算出する。補正 C P U使用時間カウント手段 2 2は、算出した補正 C P U使用時間を C P U時間管理構造体 2 3の補正 C P U使用時間記憶領域 2 5に記憶する。

また、ジョブ管理機構 2 0には、補正 C P U時間表示/記録出力作成手段 1 2が接続されている。補正 C P U時間表示/記録出力作成手段 1 2は、 C P U時間管理構造体 2 3の補正 C P U使用時間記憶領域 2 5に記憶されている補正 C P U使用時間のデータを、図示しない表示装置や記録装置に出力するものである。

図 3 Bは図 3 Aのジョ'ブ管理機構 2 0 の機能を説明するプロック図である。ジョブ管理機構 2 0には、ジョブを受け付けてジョブを起動して実行する機能、 C P U時間補正プログラムにより、入力された C P U使用時間データを用いて実際の C P U使用時間を算出する機能、消費補正値のジヨブインターフェースプログラムを用いて、ジョブからの要求があった時に、 C P U使用時間、補正 C P U使用時間、 C P U時間制限値等の現在のデータをジョプに通知する機能、及び補正値を用いたジョブ制御プログラムにより、補正 C P U 使用時間の表示 Z記録データを出力する機能等がある。また、 C P U使用時間、補正 C P U使用時間、及び C P U時間制限値のデータは、 C P U時間管理機能により、ソフトウェアによって管理することができる。

ここで、本発明の C P U使用時間力ゥント方法の原理について説明する。一般に、複数のコンピュータシステムを使用して分散処理を行うコンピュータシステムにおいては、メモリ競合等のコンビュ一タリソースの競合やジョブの配置により、ジョブ実行毎に各 C P uに異なる演算待ち時間（メモリアクセス時間）が発生する。従つて、これまでの分散処理を行うコンピュータシステムでは、 C P U のこの演算待ち時間の長短によって、同一プログラムを実行しても毎回同じ C P U使用時間とならなかった。

そこで、本発明の C P U使用時間カウント方法では、この C P U の待ち時間に応じて C P U使用時間に生じる偏差を補正し、同一プログラムの場合には、毎回同じ C P U使用時間となる補正 C P U使用時間を算出する。

この補正 C P U使用時間は、以下の演算によって求めることができる。補正 C P U使用時間 = C P U使用時間一実行毎に異なる C P uの演算待ち時間

実行毎に異なる C P Uの演算待ち時間によるメモリアクセス時間の変動を補正する具体的な方法としては、一般的にコンピュータシステムのハードウエア及びオペレーティングシステム (O S ) に実装されている、以下の機能を組み合わせることで実現することができる。

( 1 ) メモリアクセス性能値を力ゥントするハードウエアモニタを用いた、該当ジョブの C P Uの演算待ち時間を含むメモリアクセス時間を'力ゥントする機能

( 2 ) 当該コンピュータのハードウエア設計上で最高速の、 C P U の演算待ち時間を含まない該当ジョブのメモリアクセス時間を力ゥントする機能

( 3 ) O Sに備わっている該当ジョブが使用した C P U使用時間をカウントする機能で取得された、一般的に課金値として取得される

C P U使用時間

そして、これら ( 1 ) 〜 ( 3 ) の機能を組み合わせれば、以下の式で補正 C P U使用時間を算出することができる。

補正 C P U使用時間 = ( 3 ) - ( ( 1 ) - ( 2 ) ) そして、この計算によって求められた補正 C P U使用時間は、 C P Uのメモリアクセス時間が変動した場合でも、メモリアクセスにおける演算待ち時間を補正したあるジョブに対する一定の C P U使用時間であり、同一のプログラムを色々な状況下で複数回実行した場合でも、毎回同一の補正 C P U使用時間を算出することができるここで、図 3 Aに示したジョブ管理機構 2 0による、この補正 C P U使用時間を算出する C P U使用時間力ゥント動作の第 1の実施例を、図 4に示すフローチャートを用いて説明する。この C P U使用時間カウント動作は、ジョブの実行時に起動される。

ステップ 4 0 1では C P U上で動作するプロセスの切り換わりがあつたか否かを判定する。プロセスはジョブの最小実行単位である。切り換わりがあった場合はステップ 4 0 3に進むが、切り換わりがなかった場合はステップ 4 0 2に進んでこのプロセスに移行してから一定時間が経過したか否かを判定する。一定時間が経過した場合はステップ 4 0 3に進むが、一定時間が経過していない場合はステツプ 4 0 1に戻る。ステップ 4 0 2'において一定時間が経過したと判定される場合は、プロセスが切り換わる前にそのジョブが制限値を越えた場合である。

このようにしてステップ 4 0 3に進むと、ステップ 4 0 3では現在動作中のプロセスが、ジョブのプロセスか否かを判定する。プロセスには、ジョブのプロセス以外にもシステムサービス等がある。そして、動作中のプロセスがジョブのプロセスでない場合はステツプ 4 0 1 に戻るが、動作中のプロセスがジョブのプロセスの場合は、図 3 Aで説明したジョブ管理機構 2 0 の対象とするプロセスであるのでステップ 4 0 4に進む。

ステップ 4 0 4 ではプロセスが動作していた時間 α を算出する。このプロセスが動作していた時間ひは、このプロセスが C P U上で動作を開始してから、この C P U上で動作する別のプロセスに切り換わるまでの時間のことである。従ってこの時間ひは C P Uの演算待ち時間を含む。時間ひが算出されると制御はステップ 4 0 5に進み、該当ジョブの C P U時間管理構造体 2 3の、 C P U使用時間の記憶領域（図 4には単に C P U使用時間と記載） 2 4にこの算出した時間ひを加算する。ここまでの動作が、従来のコンピュータシステムにおいて、 C P Uの使用時間を算出するプロセスである。このようにして該当ジョブの C P U時間管理構造体 2 3の、 C P U使用時間の記憶領域 2 4に、この算出した時間 aを加算した後は、続くステップ 4 0 6において、図 3 Bで説明した C P U時間補正プログラムにより、該当プロセスのメモリアクセス性能 γ、即ち、該当ジョブの C P Uの演算待ち時間を含むメモリアクセス時間 γ と、当該コンピュータシステムにおける最高速のメモリアクセス時間とを算出する。この最高速のメモリアクセス時間）3は、 C P Uに演算待ち時間がない時のメモリアクセス時間のことである。

続くステップ 4 0 7では、補正 C P U使用時間 Aを式、 Α = α _ ( _γ— ]3 ) で算出し、 C P U時間管理構造体 2 3の、補正 C P U使用時間の記憶領域 2 4に記憶されている時間 M (図 4には補正 C P U使用時間 Mと記载）に、この算出した時間 Aを加算する（M = M + A ) 。そして、次のステップ 4 0 8においてジョブが終了したか否かを判定し、ジョブが終了していない場合にはステップ 4 0 1に戻り、ジョブが終了した場合にはこのルーチンを終了する。

以上のような処理により、図 3 Aに示した C P U時間管理構造体 2 3には、その C P U使用時間記憶領域 2 4には従来の C P Uの使用時間と同じ時間が記憶され、補正 C P U使用時間記憶領域 2 5に捕正された真の C P U使用時間が補正 C P U使用時間として記憶される。 '

図 5は、図 3 Aに示したジョブ管理機構 2 0による、この補正 C P U使用時間を算出する C P U使用時間カウント動作の第 2の実施例示すフローチャートであり、図 4で説明した C P U使用時間カウント動作の変形例である。図 5に示す C P U使用時間カウント動作が図 4で説明した C P U使用時間カウント動作と異なる点は、ステップ 4 0 7の後の処理のみである。よって、ステップ 4 0 1からステツプ 4 0 7までの処理の説明は省略し、図 4で説明したフローチヤートと異なる部分のみを説明する。

前述のように、第 1の実施例ではステップ 4 0 7において、補正 C P U使用時間 Aを式、 Α = ο; — ( 7 - j3 ) で算出し、 C P U時間管理構造体 2 3の補正 C P U使用時間の記憶領域 2 4に記憶されている時間 M (図 4には補正 C P U使用時間 Mと記载）に、この算出した時間 Aを加算した（M = M + A ) 。第 2の実施例では、この次のステップ 5 0 1 において、 C P U時間管理構造体 2 3の補正 C P U使用時間の記憶領域 2 4に記憶されている時間 Mが、同じく、 C P U時間管理構造体 2 3の C P U使用時間の制限値の記憶領域（図には C P U時間制限値と記载） 2 6に記憶された制限値以上になつたか否かを判定する。この制限値はユーザーによって設定されるものである。

そして、ステップ 5 0 1 の判定が（M≥ C P U時間制限値）である場合にはステップ 5 0 3に進み、ジョブを強制的に終了してこのルーチンを終了する。一方、ステップ 5 0 1 の判定が（Mく C P U 時間制限値）である場合にはステップ 5 0 2に進み、ジョブが終了したか否かを判定する。そして、ジョブが終了していない場合にはステップ 4 0 1に戻り、ジヨブが終了した場合にはこのルーチンを終了する。

このように、第 2の実施例は、補正 C P U使用時間 Aの加算値 M が C P U使用時間の制限値以上になった場合には、ジョブを強制的に終了させようとするものである。このジョブを強制的に終了させる動作が、補正 C P U使用時間を用いたジョブ制御装置の動作である。

図 6は、図 3 Aに示したジョブ管理機構 2 0による、この補正 C P U使用時間を算出する C P U使用時間カウント動作の第 3の実施例示すフローチャートであり、図 5で説明した C P U使用時間カウント動作の変形例である。図 6に示す C P U使用時間力ゥント動作が図 5で説明した C P U使用時間カウント動作と異なる点は、ステップ 4 0 7の後の処理のみである。よって、ステップ 4 0 1からステツプ 4 0 7までの処理はステップ 6 0 0 としてまとめてその説明は省略し、図 5で説明したフローチャートと異なる部分のみを説明する。

第 3の実施例は、補正 C P U使用時間のカウント動作中に、ジョブから補正 C P U使用時間の途中経過の通知要求、或いは、以前のジョブにおける補正 C P U使用時間の通知要求があった場合の動作を示すものである。第 3の実施例では、この補正 C P U使用時間のカウント動作中に、ジョブから補正 C P U使用時間の途中経過の通知要求、或いは、以前のジョブにおける補正 C P U使用時間の通知要求をライブラリ要求として記載し、ステップ 4 0 7の後のステツプ 6 0 1 で、このライブラリ要求があつたか否かを判定している。

ライブラリ要求は、ユーザーやジョブからのコンピュータシステムにおける計算の途中経過の通知要求のことである。通常 1つのジヨブに対する計算処理は、コンピュータシステムの 1 回の計算処理で終了するものではないことが多く、このような場合には、何回かに分けて計算が行われる。このような場合、ライブラリ要求により、計算が終了する時間が予め分かったり、中間結果が分かるので、ユーザーにとって便利である。

ライブラリ要求がない場合はステップ 6 0 4に進み、第 2の実施例におけるステップ 5 0 1からステップ 5 0 3の処理に対応する処理である、ステップ 6 0 4からステップ 6 0 5の処理を実行し、ステツプ 6 0 7で、補正 C P U使用時間（図には補正 C P U時間と記載）を出力してこのルーチンを終了する。この補正 C P U使用時間は、前述の第 1 と第 2の実施例においても最後に出力しても良いものである。

一方、ステップ 6 0 1でライブラリ要求があると判定した場合にはステップ 6 0 2に進む。ステップ 6 0 2では、ライブラリ実行プ口セスが所属するジョブを検索し、続くステップ 6 0 3において、 C P U時間管理構造体 2 3の対応するジヨブの C P U時間制限値と捕正 C P U使用時間を読み出してジョブに通知し、ステップ 6 0 4 に進む。ステップ 6 0 4以降の処理は前述の通りである。

図 7は本発明の C P U使用時間力ゥント方法による補正 C P U使用時間と、従来方法による C P U使用時間との比較を示す線図である。従来方法では、時間 Xの経過に対して、 C P U使用時間 Yがー点鎖線で示すように 1対 1 に対応しており、破線で示す C P U使用時間の制限値に対しては、時刻 X Iで達していた。これに対して本発明の C P U使用時間カウント方法では、時間 t 1、 t 2 , t 3 , t 4 , 及び t 5で示す C P Uの演算待ち時間 (メモリアクセス待ち時間）は、補正 C P U使用時間としてはカウントされない。よって、本発明の方法によれば、破線で示す C P U使用時間の制限値に対しては、時刻 X 1 よりかも時刻の遅い時刻 X 2で達することになり、制限値に対してより多くの計算を実行することができる。

以上説明した実施例は、 1つのジョブに対して、 1つの C P Uを用いて計算が行われた時の補正 C P U使用時間の算出方法であった。図 8は、 1つのジョブを C P U 1 と C P U 2の 2つの C P Uによつて行った時の、 C P U 1 のジョブ管理機構の C P U使用時間カウント動作を説明する、本発明の第 4の実施例を説明するフローチヤ一トである。

ステップ 8 0 1 では C P U 1上で動作するプロセスの切り換わりがあったか否かを判定する。切り換わりがあった場合はステップ 8 0 3に進むが、切り換わりがなかった場合はステップ 8 0 2に進んでこのプロセスに移行してから一定時間が経過したか否かを判定する。一定時間が経過した場合はステップ 8 0 3に進むが、一定時間が経過していない場合はステップ 8 0 1に戻る。ステップ 8 0 2において一定時間が経過したと判定される場合は、プロセスが切り換わる前にそのジョブが制限値を越えた場合である。

このようにしてステップ 8 0 3に進むと、ステップ 8 0 3では現在動作中のプロセスがジョブ Zのプロセスか否かを判定する。そして、動作中のプロセスがジョブ Zのプロセスでない場合はステップ 8 0 1に戻るが、動作中のプロセスがジョブ Zのプロセスの場合はステップ 8 0 4に進む。ステップ 8 0 4ではプロセスが動作していた時間ひ 1 を算出する。時間ひ 1 が算出されるとステップ 8 0 5に進み、該当ジョブ Zの C P U 1時間管理構造体の、 C P U 1使用時間の記憶領域に、この算出した時間 α 1 を加算する。

このようにして該当ジョブ Ζの C P U 1時間管理構造体の、 C P U 1使用時間の記憶領域にこの算出した時間ひ 1 を加算した後は、続くステップ 8 0 6において、図 3 Bで説明した C P U時間補正プログラムにより、該当プロセスのメモリアクセス性能 τ/ 1、即ち、該当ジヨブ Zの C P U 1の演算待ち時間（メモリアクセス待ち時間 ) を含むメモリアクセス時間 γ 1 と、当該コンピュータシステムにおける最高速のメモリアクセス時間 ]3 1 とを算出する。この最高速のメモリアクセス時間 i3 1 は、 C P U 1 に演算待ち時間（メモリアクセス待ち時間) がない時のメモリアクセス時間のことである。続くステップ 8 0 7では、補正 C P U 1使用時間 A 1 を式、 A 1 = a 1 - ( γ 1 - j8 1 ) で算出し、 C P U 1時間管理構造体の、補正 C P U 1使用時間の記憶領域に記憶されている時間 M 1に、この算出した時間 A 1 を加算する（M 1 =M 1 +A 1 ) 。

このようなステップ 8 0 1からステップ 8 0 7までの処理は、もう 1つの C P U 2のジョブ管理機構においても実行されている。すなわち、対応する C P U 2の C P U 2時間管理構造体では、このジヨブ Zに対して、補正 C P U 2使用時間 A 2が式、 k 2 = a 2 _ ( 7 2 - /3 2 ) で算出され、対応する C P U 2時間管理構造体の、補正 C P U 2使用時間の記憶領域に記憶されている時間 M 2に、この算出した時間 A 2が加算されている（M 2 =M 2 + A 2 ) 。

そこで、ステップ 8 0 8では、該当ジョブ Zを実行した C P U 2 の補正 C P U 2使用時間 M 2のデータを読み込む。そして、次のステツプ 8 0 9において、 C P U 1の補正 C P U 1使用時間 M 1 と C P U 2の補正 C P U 2使用時間 M 2 とを加算し、 C P U 1 と C P U 2の合計の補正 C P U使用時間 Mを算出する。この C P U 1 と C P U 2の合計の補正 C P U使用時間 Mは、例えば、 C P U 1 の補正 C P U使用時間の記憶領域に記憶される。

そして、次のステップ 8 1 0において、 C P U時間管理構造体の補正 C P U使用時間の記憶領域に記憶されている時間 Mが、同じく、 C P U時間管理構造体の C P U使用時間の制限値以上になつたか否かを判定する。ステップ 8 1 0 の判定が（M≥ C P U時間制限値 ) である場合にはステップ 8 1 2に進み、ジヨブ Zを強制的に終了してこのルーチンを終了する。一方、ステップ 8 1 0の判定が（M < C P U時間制限値) である場合にはステップ 8 1 1 に進み、ジョブ Zが終了したか否かを判定する。そして、ジョブ Zが終了していない場合にはステップ 8 0 1 に戻り、ジョブが終了した場合にはこのルーチンを終了する。

以上図 8で説明した処理は、ジョブ Zが 2つの C P U 1 と C P U 2に分散されて処理される場合の処理であるが、 1つのジョブが 3 つ以上の C P Uに分散されて処理される場合の手順も同様である。

図 9は、 1つのジョブを、 1つのメモリを共有して、 C F U 1 と C P U 2の 2つの C P Uによって行った時の、 C P U 1、 C P U 2 とこれらに設けられたキャッシュメモリ 1 とキャッシュメモリ 2の動作の一実施例を説明するタイムチャートである。

図 9は縦軸が時間を示しており、 C P U 1 と C P U 2の従来の C P U使用時間が共に T Lである時の、本発明の C P U 1 と C P U 2 の補正 C P U使用時間 H T Lについて説明するものである。

この図 9から分かるように、キャッシュメモリ 1がメモリ（共有メモリ）から C P U 1の演算に必要なデータ D 1 を読み込んでいる時間 T D 1には、 C P U 1は演算待ち状態であり、キャッシュメモリ 2はメモリへのアクセス待ちである。従って、 C P U 2も演算待ちである。キャッシュメモリ 2のメモリへのアクセス待ち時間を T M 2 1 とする。

キャッシュメモリ 1 にデータ D 1 が読み込まれると、 C P U 1 はデータ D 1 を.使用した演算を行い、キャッシュメモリ 2はメモリから C P U 2の演算に必要なデータ D 2を読み込む。したがって、この時は C P U 2は依然として演算待ち状態である。キャッシュメモリ 2のデータ D 2の読み込み時間を T D 2、 C P U 1のデータ D 1 を使用した演算時間を T 1 1 とする。

C P U 1がキャッシュメモリ 1 に記憶されたデータ D 1 を使用した演算を終了すると、キャッシュメモリ 1 は C P U 1の次の演算に必要なデータ D 3をメモリから読み込もうとするが、この時、キヤッシュメモリ 2のメモリからのデータ D 2の読み込みが終了していない場合は、キャッシュメモリ 1 はメモリへのアクセス待ちとなる。この時、 C P U 1 は演算待ち状態である。キャッシュメモリ 1のメモリへのアクセス待ち時間を TM 1 1 とする。

キャッシュメモリ 2のメモリからのデータ D 2の読み込みが終了すると、 C P U 2はキャッシュメモリ 2に記憶されたデータ D 2を使用した演算を行う。そして、キャッシュメモリ 1 は C P U 1の次の演算に必要なデータ D 3をメモリから読み込む。 C P U 1 は演算待ち状態である。 C P U 2のデータ D 2を使用した演算時間を T 2 1、キャッシュメモリ 1のデータ D 3の読み込み時間を T D 3 とする。

C P U 2がキャッシュメモリ 2に記憶されたデータ D 2を使用した演算を終了すると、キャッシュメモリ 2は C P U 2の次の演算に必要なデータ D 4をメモリから読み込もうとするが、この時、キヤッシュメモリ 1のメモリからのデータ D 3の読み込みが終了していない場合は、キャッシュメモリ 2はメモリへのアクセス待ちとなる。この時、 C P U 1 と C P U 2は共に演算待ち状態である。キヤッシュメモリ 2のメモリへのアクセス待ち時間を TM 2 2 とする。キャッシュメモリ 1のメモリからのデータ D 3の読み込みが終了すると、 C P U 1 はキャッシュメモリ 1 に記憶されたデータ D 3を使用した演算を行う。そして、キャッシュメモリ 2は C P U 2の次の演算に必要なデータ D 4をメモリから読み込む。 C P U 2は演算待ち状態である。 C P U 1のデータ D 3を使用した演算時間を T 1 2、キャッシュメモリ 2のデータ D 4の読み込み時間を T D 4 とする。

C P U 1 がキャッシュメモリ 1 に記憶されたデータ D 3を使用した演算を終了すると、キャッシュメモリ 1 は C P U 1の次の演算に必要なデータ D 5をメモリから読み込もうとするが、この時、キヤッシュメモリ 2のメモリからのデータ D 4の読み込みが終了していない場合は、キャッシュメモリ 1はメモリへのアクセス待ちとなる。この時、 C P U 1 は演算待ち状態である。キャッシュメモリ 1のメモリへのアクセス待ち時間を TM 1 2 とする。

キャッシュメモリ 2のメモリからのデータ D 4の読み込みが終了すると、 C P U 2はキャッシュメモリ 2に記憶されたデータ D 4を使用した演算を行う。そして、キャッシュメモリ 1は C P U 1の次の演算に必要なデータ D 5をメモリから読み込む。 C P U 1 は演算待ち状態である。 C P U 2のデータ D 4を使用した演算時間を T 2 2、キャッシュメモリ 1のデータ D 5の読み込み時間を T D 5 とする。

キャッシュメモリ 1のメモリからのデータ D 5の読み込みが終了すると、 C P U 1はキャッシュメモリ 1 に記憶されたデータ D 5を使用した演算を行う。そして、キャッシュメモリ 2は、 C P U 2のキャッシュメモリ 2に記憶されたデータ D 4を使用した演算が終了すると、 C P U 2の次の演算に必要なデータ D 6をメモリから読み込む。 C P U 2は演算-待ち状態である。 C P U 1のデータ D 5を使用した演算時間を T 1 3、キャッシュメモリ 2のデータ D 6の読み込み時間を T D 6 とする。

以上のような C P U 1、キャッシュメモリ 1、 C P U 2、及びキャッシュメモリ 2の動作において、本発明の方法では、キャッシュメモリ 1のデータ D 1の読み込み時間 T D 1、 C P U 1 のデータ D 1 を使用した演算時間 T 1 1、キャッシュメモリ 2のデータ D 2の読み込み時間 T D 2、 C P U 2のデータ D 2を使用した演算時間 T 2 1、キャッシュメモリ 1のデータ D 3の読み込み時間 T D 3、 C P U 1のデータ D 3を使用した演算時間 T 1 2、キャッシュメモリ 2のデータ D 4の読み込み時間 T D 4、 C P U 2のデータ D 4を使用した演算時間 T 2 2、キャッシュメモリ 1のデータ D 5の読み込み時間 T D 5、及び C P U lのデータ D 5を使用した演算時間 T 1 3の合計が、 C P U 1 と C P U 2の補正 C P U使用時間としてカウントされる。

言い換えると、本発明の C P U 1 と C P U 2の補正 C P U使用時間 HT Lは、 C P U 1 と C P U 2の従来の C P U使用時間 T から、キャッシュメモリのメモリへのアクセス待ち時間を引いた時間であり、以下の式で表わすことができる。

H T L = (T L - TM 1 1 - TM 1 2 ) + (T L - TM2 1 - Τ Μ 2 2 )

このように、本発明の C P U使用時間カウント方法では、キヤッシュメモリのメモリへのアクセス時間を C P Uの使用時間として力ゥントしないので、同一プログラムの場合には、毎回同じ C P U使用時間となる補正 C P U使用時間を算出することができる。産業上の利用可能性

本発明に示される、 C P U使用時間カウント方法及びこの C P U 使用時間を用いるジョブ制御装置によれば、実質的な C P U使用時間を演算し、同一プログラムの処理であれば、毎回同じ C P U使用時間を演算によって求めることができ、あるジョブの終了時間を正確に予測できると共に、複数ジョブが実行される環境での C P Uの性能を予測することができ、更には C P U使用時間に対する課金に対しても安定したサービスを提供することができるようになる。このため、コンピュータを使用したジョブを依頼したユーザーに対して、常に正しい C P U使用時間に対する課金を行うことが可能となる。

Claims

5青冃求の範囲

1 . 複数のコンピュータを使用してジョブの分散処理を行うコンピュータシステムにおける、各 C P Uの実際の使用時間をカウントする方法であって、

各ジョブに使用された C P U使用時間をカウントし、

前記各ジョブを実行する毎に、各 C P Uのメモリアクセスにおける演算待ち時間を力ゥントし、

各ジョブ毎に C P U使用時間から前記各 C P Uの演算待ち時間を差し引いて算出した補正 C P U使用時間を、実際の C P U使用時間として設定することを特徴とする C P U使用時間カウント方法。

2 . 請求項 1 に記載の C P U使用時間カウント方法であって、前記 C P U使用時間が、前記コンピュータシステムの基本ソフトウェァに備えられている、該当ジョブが使用した時間をカウントする機能で取得された時間であり、前記 C P Uの演算待ち時間が、メモリ了クセス性能値を力ゥントするハードウエアモニタを使用して算出した該当ジョブのメモリアクセス時間から、当該コンピュータシステムのハードウエア設計上最も高速な該当ジョブのメモリアクセス時間を引いた時間であるもの。

3 . 請求項 1又は 2に記載の C P U使用時間力ゥント方法であつて、算出した前記補正 C P U使用時間を C P U使用時間制限値と比較し、前記補正 C P U使用時間が前記 C P U使用時間制限値以上になった時には、前記該当ジョブを終了するもの。

4 . 請求項 1から 3の何れか 1項に記載の C P U使用時間力ゥント方法であって、前記該当ジョブからの要求により、前記補正 C P U使用時間の表示出力、及び記録出力を出力するもの。

5 . 複数のコンピュータを使用してジョブの分散処理を行うコンピュータシステムにおける、各 C P Uの実際の使用時間をカウントし、この実際の使用時間によってジョブを制御するジョブ制御装置であって、

前記ジョブを実行する毎に、各 C P Uの演算待ち時間をカウントするカウント手段と、

各ジョブ毎に、各 C P U使用時間から前記各 C P Uの演算待ち時間を差し引くことにより、補正 C P U使用時間を算出する補正 C P u使用時間算出手段と、

前記補正 C P U使用時間を使用して前記ジョブを制御するジョブ制御手段と、

を備えることを特徴とするジョブ制御装置。

6 . 請求項 5に記載のジョブ制御装置であって、前記ジョブ制御装置のメモリ内に前記 C P U使用時間を記憶すると共に、前記補正 C P U使用時間を記憶する C P U時間管理構造体が設けられているもの。

7 . 請求項 6に記載のジョブ制御装置であって、前記 C P U時間管理構造体に、更に C P U時間制限値を記憶する領域が設けられているもの。

8 . 請求項 7に記載のジョブ制御装置であって、前記ジョブ制御手段は、ジョブ実行中に算出された前記補正 C P U使用時間を、前記 C P U時間管理構造体に記憶された C P U時間制限値と比較し、前記設定された実 C P U使用時間の値が、前記 C P U時間制限値以上になった時には、当該ジョブを停止させるもの。

9 . 請求項 5から 8の何れかに記載のジョブ制御装置であって、前記ジョブ制御手段は、ジョブからの要求により、そのジョブの実行中に算出した前記補正 C P U使用時間をリアルタイムに前記ジョブに通知するもの。

1 0 . 請求項 5から 9の何れかに記载のジョブ制御装置であって、前記ジョブ制御手段に、前記ジョブの実行中に算出した前記補正 C P U使用時間を外部に出力するデータ出力端子が接続されているもの。

1 1 . 請求項 1 0に記載のジョブ制御装置であって、前記ジョブ制御装置は、前記データ出力端子に接続する表示装置を備えていることを特徴とする。

1 2 . 請求項 5から 1 1の何れかに記载のジョブ制御装置であつて、前記ジョブ制御手段に、前記ジョブの実行中に算出した前記補正 C P U使用時間を記録するデータ記録手段が接続されているもの