JP6470439B1 - ジョブ管理システム、ジョブ管理方法及びジョブ管理プログラム - Google Patents
ジョブ管理システム、ジョブ管理方法及びジョブ管理プログラム Download PDFInfo
- Publication number
- JP6470439B1 JP6470439B1 JP2018045483A JP2018045483A JP6470439B1 JP 6470439 B1 JP6470439 B1 JP 6470439B1 JP 2018045483 A JP2018045483 A JP 2018045483A JP 2018045483 A JP2018045483 A JP 2018045483A JP 6470439 B1 JP6470439 B1 JP 6470439B1
- Authority
- JP
- Japan
- Prior art keywords
- job
- execution
- file
- net
- hold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】第1サーバ10から取得したファイルを用いて、第2サーバ20のジョブ実行環境におけるジョブ実行を管理する制御部21を備える。そして、制御部21が、スケジュールルールに基づいて実行される業務処理ジョブに必要なファイルの受信状況を判定し、前記上流システムから前記ファイルを受信していない場合、先行ジョブの実行状況に基づく保留設定と、上流システムからのファイルの受信状況に基づく保留設定とを含めた保留解除受付ジョブ、保留解除受付ジョブの実行に基づいて実行される業務処理ジョブ、業務処理ジョブの実行に基づいて、後続ジョブの保留設定を解除するための保留解除ジョブからなる一世代の復旧用ジョブネットを生成する。
【選択図】図1
Description
図1に示すように、本実施形態では、ネットワークを介して接続された第1サーバ10及び第2サーバ20を用いる。
ジョブ実行部213は、ジョブ実行環境(リソース)において、ジョブ管理部212によって制御された各ジョブを実行する。このジョブ実行部213は、ジョブ識別子毎に登録されている。
第1ジョブネットJ1は、保留解除を受け付ける保留解除受付用ネストジョブネットワークであり、第1サーバ10からの基準日の上流ファイルの受信を待機する保留用ダミージョブJ11や、先行ジョブの実行完了を待機する保留用ダミージョブJ12を含む。保留用ダミージョブJ11は、第1サーバ10から、所定のファイル識別子の上流ファイルを受信した場合に実行される。保留用ダミージョブJ12は、先行ジョブが実行完了した場合に実行される。
保留解除用の第3ジョブネットJ3は、後続のルートジョブネットの保留を解除させる多重起動管理用のネストジョブネットワークであり、保留解除ジョブJ31を含む。
定義データ領域には、ジョブ識別子、実行ファイル名、パラメータ、入力ファイル識別子等に関するデータが記録される。ジョブ識別子は、各ジョブを特定するための識別子である。実行ファイル名は、このジョブとして実行されるスクリプトファイルを特定するための識別子である。パラメータは、実行結果の出力先を特定するための識別子である。入力ファイル識別子は、このジョブにおいて入力されるファイルを特定するための識別子である。
開始日データ領域には、ジョブ実行のスケジュールを開始する年月日に関するデータが記録される。
処理サイクルデータ領域には、ジョブの実行について、サイクル実行の要否、周期、単位に関するデータが記録される。サイクル実行の要否は、周期的なジョブ実行の要否を特定するためのフラグである。周期は、ジョブを実行する間隔を特定するための数値である。例えば、最大7日の遅延に対応するために「1〜6日」を設定する。単位は、周期を構成する要素(例えば、暦日単位、運用日単位、休業日単位等)である。
ジョブ識別子データ領域には、ジョブ(ルートジョブネット、ネストジョブネットを含む)を特定するための識別子に関するデータが記録される。
状況データ領域には、このジョブの実行状況を特定するための識別子に関するデータが記録される。
開始日時、終了日時の各データ領域には、このジョブの開始及び終了の年月日及び時刻に関するデータが記録される。
次に、図4(a)を用いて、ジョブ生成管理処理を説明する。ここでは、第1サーバ10の障害等により、第2サーバ20において、上流ファイルの受信が、受信スケジュールよりも遅延している場合を想定する。
次に、図4(b)を用いて、ジョブ実行管理処理を説明する。この処理は、ステータス情報記憶部25のステータスデータが変更された場合に、ルートジョブネット500について実行する。また、各ルートジョブネット500について、定期的に実行するようにしてもよい。
ここでは、第2サーバ20の制御部21は、受信ファイル保留解除かどうかについての判定処理を実行する(ステップS2−1)。具体的には、第1サーバ10から、所定基準日の上流ファイルを受信した場合、ジョブ実行部213は、ファイル識別子に対応した保留用ダミージョブJ11を実行し、ステータス情報記憶部25において、ジョブ識別子に関連付けて、状況データ領域に実行済みフラグを記録する。この場合、制御部21のジョブ管理部212は、ステータス情報記憶部25において、保留用ダミージョブJ11の状況を確認する。保留用ダミージョブJ11の実行済みフラグが記録されている場合には、受信ファイル保留解除と判定する。
図5(b)に示すように、「(n+1)日」においても復旧しない場合、ルートジョブネット501に繋げたルートジョブネット502を生成する。
(1)本実施形態によれば、第1サーバ10の障害等により、上流ファイルの受信が遅延している場合、先行のルートジョブネットに繋げたルートジョブネット500を生成する。これにより、ジョブの追い越し実行を抑制し、世代順のジョブ実行を維持しながら、業務処理ジョブを実行することができる。
・上記実施形態では、受信ファイル及び多重起動について保留解除されている場合には、業務処理用の第2ジョブネットJ2を実行する。これに加えて、障害発生時に、ジョブ実行の要否を判定するようにしてもよい。この場合、ジョブネット定義記憶部22に、ジョブ識別子に関連付けて、障害時実行条件を記録しておく。この障害時実行条件は、障害発生時にジョブの実行要否を判定する条件である。例えば、世代順に繋げた複数のルートジョブネットにおいて、最新世代のルートジョブネットを実行する場合には、過去世代のルートジョブネットは、実行せずに実行済扱いとする。
第2サーバ20の制御部21は、ステップS2−1,S2−2と同様に、保留解除かどうかについての判定処理(ステップS3−1)、多重起動保留解除かどうかについての判定処理(ステップS3−2)を実行する。
一方、受信ファイル保留解除かつ多重起動保留解除と判定した場合(ステップS3−1,S3−2において「YES」の場合)、第2サーバ20の制御部21は、実行対象かどうかについての判定処理を実行する(ステップS3−3)。具体的には、制御部21のジョブ管理部212は、ジョブ定義記憶部23において、実行条件を満たすかどうかを確認する。
ここでも、第2サーバ20の制御部21は、ステップS2−1,S2−2と同様に、受信ファイル保留解除かどうかについての判定処理(ステップS4−1)、多重起動保留解除かどうかについての判定処理(ステップS4−2)を実行する。
一方、受信ファイル保留解除かつ多重起動保留解除と判定した場合(ステップS4−1,S4−2において「YES」の場合)、第2サーバ20の制御部21は、実行可能ジョブの登録処理を実行する(ステップS4−3)。具体的には、制御部21のジョブ管理部212は、ステータス情報記憶部25に、ジョブ識別子に関連付けて、状況データ領域に実行可能フラグを記録する。
ここでは、第2サーバ20の制御部21は、リソース確認処理を実行する(ステップS5−1)。具体的には、制御部21のジョブ管理部212は、ジョブ実行環境において使用可能なリソース状況を取得する。
これにより、ジョブの優先度を考慮して、ジョブを実行することができる。
ここでは、第2サーバ20の制御部21は、リソース状況確認処理を実行する(ステップS6−1)。具体的には、制御部21のジョブ管理部212は、ジョブ実行環境において使用可能なリソース状況を取得する。
一方、追加リソースがあると判定した場合(ステップS6−3において「YES」の場合)、第2サーバ20の制御部21は、不必要な追加分の排除処理を実行する(ステップS6−4)。具体的には、制御部21のジョブ管理部212は、完了時限に間に合わせるための必要リソースを算出する。次に、ジョブ管理部212は、必要リソースを越えて追加された待機系リソースの割り当てを中止する。そして、リソース状況確認処理(ステップS6−1)に戻る。
これにより、完了時限を考慮して、必要なリソースを割り当てることができる。また、不必要な過大なリソースの割当を抑制することができる。
ここでは、第2サーバ20の制御部21は、通常処理結果の取得処理を実行する(ステップS7−1)。具体的には、制御部21のジョブ管理部212は、障害発生前の業務処理結果情報を、通常出力記憶部から取得する。
Claims (10)
- 上流システムから取得したファイルを用いて、下流システムのジョブ実行環境におけるジョブ実行を管理する制御部を備えたジョブ管理システムであって、
前記制御部が、
スケジュールルールに基づいて実行される業務処理ジョブに必要なファイルの受信状況を判定し、前記上流システムから前記ファイルを受信していない場合、
先行ジョブの実行状況に基づく保留設定と、上流システムからのファイルの受信状況に基づく保留設定とを含めた保留解除受付ジョブと、
前記保留解除受付ジョブの実行に基づいて実行される業務処理ジョブと、
前記業務処理ジョブの実行に基づいて、後続ジョブの保留設定を解除するための保留解除ジョブとからなる一世代の復旧用ジョブネットを生成することを特徴とするジョブ管理システム。 - 前記上流システムから前記ファイルを受信していない場合、まだ実行されていない復旧用ジョブネットの世代数を算出し、前記世代数が上限数に達していないことを条件に、前記世代数に1を加算した復旧用ジョブネットを生成することを特徴とする請求項1に記載のジョブ管理システム。
- 前記上流システムからファイルを受信した場合、前記ファイルに関連付けられた業務処理ジョブの実行条件を取得し、前記実行条件に基づいて、前記業務処理ジョブを含む復旧用ジョブネットを実行することを特徴とする請求項1又は2に記載のジョブ管理システム。
- 前記上流システムからのファイルの受信スケジュールに対して、受信したファイルの遅延状況に基づいて、前記ファイルに関連付けられた業務処理ジョブを含む復旧用ジョブネットの実行要否を判定することを特徴とする請求項1〜3の何れか一項に記載のジョブ管理システム。
- 前記保留解除ジョブの実行に基づいて実行可能となった復旧用ジョブネットを特定し、
ジョブ実行環境のリソースに空きがある場合に、前記復旧用ジョブネットの業務処理ジョブの優先順位に基づいて、前記復旧用ジョブネットの実行を指示することを特徴とする請求項1〜4の何れか一項に記載のジョブ管理システム。 - 前記保留解除ジョブの実行に基づいて実行可能となった復旧用ジョブネットの実行状況を取得し、
復旧用ジョブネットの実行リソースの状況を取得し、
前記復旧用ジョブネットの業務処理ジョブの完了時限に応じて、リソース配分を変更することを特徴とする請求項1〜5の何れか一項に記載のジョブ管理システム。 - 前記上流システムからの複数のファイルを受信した場合に、前記上流システムにおいて生成されるべきファイルの世代順に並び替えて、復旧用ジョブネットを実行することを特徴とする請求項1〜6の何れか一項に記載のジョブ管理システム。
- 前記業務処理ジョブにおいて、障害の発生前に受信したファイルを用いて出力された第1の出力結果と、前記障害の復旧後に受信したファイルを用いて出力された第2の出力結果との差分を算出し、
前記障害の期間に応じた許容範囲を特定し、
前記差分と前記許容範囲とに基づいてアラームを出力することを特徴とする請求項1〜7の何れか一項に記載のジョブ管理システム。 - 上流システムから取得したファイルを用いて、下流システムのジョブ実行環境におけるジョブ実行を管理する制御部を備えたジョブ管理システムを用いて、ジョブ実行を管理する方法であって、
前記制御部が、
スケジュールルールに基づいて実行される業務処理ジョブに必要なファイルの受信状況を判定し、前記上流システムから前記ファイルを受信していない場合、
先行ジョブの実行状況に基づく保留設定と、上流システムからのファイルの受信状況に基づく保留設定とを含めた保留解除受付ジョブと、
前記保留解除受付ジョブの実行に基づいて実行される業務処理ジョブと、
前記業務処理ジョブの実行に基づいて、後続ジョブの保留設定を解除するための保留解除ジョブとからなる一世代の復旧用ジョブネットを生成することを特徴とするジョブ管理方法。 - 上流システムから取得したファイルを用いて、下流システムのジョブ実行環境におけるジョブ実行を管理する制御部を備えたジョブ管理システムを用いて、ジョブ実行を管理するためのプログラムであって、
前記制御部を、
スケジュールルールに基づいて実行される業務処理ジョブに必要なファイルの受信状況を判定し、前記上流システムから前記ファイルを受信していない場合、
先行ジョブの実行状況に基づく保留設定と、上流システムからのファイルの受信状況に基づく保留設定とを含めた保留解除受付ジョブと、
前記保留解除受付ジョブの実行に基づいて実行される業務処理ジョブと、
前記業務処理ジョブの実行に基づいて、後続ジョブの保留設定を解除するための保留解除ジョブとからなる一世代の復旧用ジョブネットを生成する手段として機能させることを特徴とするジョブ管理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018045483A JP6470439B1 (ja) | 2018-03-13 | 2018-03-13 | ジョブ管理システム、ジョブ管理方法及びジョブ管理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018045483A JP6470439B1 (ja) | 2018-03-13 | 2018-03-13 | ジョブ管理システム、ジョブ管理方法及びジョブ管理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6470439B1 true JP6470439B1 (ja) | 2019-02-13 |
JP2019159789A JP2019159789A (ja) | 2019-09-19 |
Family
ID=65356167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018045483A Expired - Fee Related JP6470439B1 (ja) | 2018-03-13 | 2018-03-13 | ジョブ管理システム、ジョブ管理方法及びジョブ管理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6470439B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020144741A (ja) * | 2019-03-08 | 2020-09-10 | みずほ情報総研株式会社 | ジョブ管理システム、ジョブ管理方法及びジョブ管理プログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0756793A (ja) * | 1993-08-17 | 1995-03-03 | Nec Corp | ファイル障害自動復旧システム |
JP2009181498A (ja) * | 2008-01-31 | 2009-08-13 | Nomura Research Institute Ltd | ジョブ処理システムおよびジョブ処理方法 |
-
2018
- 2018-03-13 JP JP2018045483A patent/JP6470439B1/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0756793A (ja) * | 1993-08-17 | 1995-03-03 | Nec Corp | ファイル障害自動復旧システム |
JP2009181498A (ja) * | 2008-01-31 | 2009-08-13 | Nomura Research Institute Ltd | ジョブ処理システムおよびジョブ処理方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020144741A (ja) * | 2019-03-08 | 2020-09-10 | みずほ情報総研株式会社 | ジョブ管理システム、ジョブ管理方法及びジョブ管理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2019159789A (ja) | 2019-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108647083B (zh) | 任务执行方法、装置、系统、电子设备及计算机可读介质 | |
CN106406993B (zh) | 一种定时任务管理方法和系统 | |
US9588822B1 (en) | Scheduler for data pipeline | |
US9477513B2 (en) | Batch scheduling | |
CN111736969B (zh) | 分布式作业调度方法及装置 | |
CN112181621B (zh) | 一种任务调度系统、方法、设备及存储介质 | |
CN110069334A (zh) | 一种基于包管理的分布式数据作业调度的方法和系统 | |
CN110941446A (zh) | 基于多环境离线任务的版本发布方法及装置 | |
CN113656157B (zh) | 一种分布式任务调度方法、装置、存储介质及电子设备 | |
CN113220431B (zh) | 跨云的分布式数据任务调度方法、设备及存储介质 | |
US20200089688A1 (en) | Pseudo-synchronous processing by an analytic query and build cluster | |
JP6470439B1 (ja) | ジョブ管理システム、ジョブ管理方法及びジョブ管理プログラム | |
CN109582446A (zh) | 准实时异步批量处理系统、方法、装置和存储介质 | |
CN110019144A (zh) | 一种大数据平台数据运维的方法和系统 | |
CN114924858A (zh) | 任务调度方法及装置、存储介质及电子设备 | |
US11074112B2 (en) | Maintaining the responsiveness of a user interface while performing a synchronous operation | |
Tan et al. | BPEL4JOB: A fault-handling design for job flow management | |
CN113821322A (zh) | 一种松耦合的分布式工作流协调系统和方法 | |
CN112948096A (zh) | 一种批量调度方法、装置和设备 | |
CN110276153A (zh) | 并行离散时间仿真的非一致时间余度非严格时间管理方法 | |
CN115617480A (zh) | 一种任务调度方法、装置、系统及存储介质 | |
Abdul Aziz et al. | Scheduling workflow applications with makespan and reliability constraints | |
Kumar et al. | Finding Best Time Quantum for Round Robin Scheduling Algorithm to avoid Frequent Context Switch | |
US11636431B2 (en) | Systems and methods for dynamic assignment, monitoring and management of discrete tasks | |
Kwak et al. | Probabilistic optimisation of checkpoint intervals for real-time multi-tasks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180313 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6470439 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |