JP5352310B2 - バッチ処理実行システム及びその方法 - Google Patents

バッチ処理実行システム及びその方法 Download PDF

Info

Publication number
JP5352310B2
JP5352310B2 JP2009080875A JP2009080875A JP5352310B2 JP 5352310 B2 JP5352310 B2 JP 5352310B2 JP 2009080875 A JP2009080875 A JP 2009080875A JP 2009080875 A JP2009080875 A JP 2009080875A JP 5352310 B2 JP5352310 B2 JP 5352310B2
Authority
JP
Japan
Prior art keywords
job
output data
data
output
net
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009080875A
Other languages
English (en)
Other versions
JP2010231682A (ja
Inventor
敬志 大島
祐介 神
要 武本
修一 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2009080875A priority Critical patent/JP5352310B2/ja
Publication of JP2010231682A publication Critical patent/JP2010231682A/ja
Application granted granted Critical
Publication of JP5352310B2 publication Critical patent/JP5352310B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Retry When Errors Occur (AREA)

Description

本発明は、コンピュータシステムにおけるいわゆるバッチ処理に関するものである。その中でも、金融、流通、産業などの分野で利用されるコンピュータシステムでのバッチ処理システムに関する。
近年、webトラフィック増加や扱うデータの大容量化により、バッチ処理に想定以上の時間がかかってしまい、業務に支障をきたすケースが発生している。なお、バッチ処理とはコンピュータで1つの流れのプログラム群を順次実行することである。ここでは、プログラム群をジョブ、複数ジョブの実行順序関係を定義したフローをジョブネットと呼ぶ。これに対応するために、メモリに入出力データを展開し、同一サーバ上でバッチ処理を実行するというバッチ処理システムが提案されている。このバッチ処理システムでは、基幹系システムから前日分のPOSデータや発注データを受け取り、それらをメモリに展開してから集計やマージといった処理を実行する。それらの処理の途中結果をメモリで保持しておき、最終的な結果だけをディスクに書き込んでいる。また、メモリに大量データを取り扱いシステムにおいて、データをメモリに格納しておく技術として、特許文献1がある。特許文献1には、「検索・集計に必要な項目に関する情報のみをメモリ等の高速な記憶装置上に取り込む」ことが開示されている。
WO2000/010103
メモリに入出力などのデータを保持する技術の課題として、障害発生時におけるリラン処理時間の長時間化が挙げられる。従来のバッチ処理はジョブの入出力データをディスクで保持するため、障害発生時においてデータが損失しないため、障害の発生した直前に保存したデータから処理を再実行している。しかし、メモリに入出力データを保持する場合、障害発生時においてデータが損失してしまう可能性があるため、基幹系システムから受け取ったデータに基づくリラン処理を実行しなければならない。これを回避するためには、ユーザがジョブネットごとにリラン用データを指定し、指定されたデータだけをディスクに書き込めばよい。
しかし、ユーザがジョブネットごとに適切なリランポイントを指定しない場合、リラン処理もしくは正常処理の処理時間がそれほど向上しない。ユーザの指定するリランポイントが多い場合、正常処理のディスクI/Oが増加してしまい、性能向上が限定される。一方、ユーザの指定するリランポイントが少ない場合、リランポイント間の間隔が大きすぎてしまい、リラン処理時において再実行する処理が多くなり、時間がかかる可能性がある。
本発明は、ジョブの性質やジョブネット実行時間に基づき、データの出力先を揮発性(高性能)記憶媒体であるメモリと不揮発性低性能記憶媒体であるディスクのどちらにデータを書き込むかを動的に判断することを最も主要な特徴とするバッチ処理システムである。
また、本発明には、リラン用のデータ(ファイル)をメモリに格納しておき、障害発生した場合に、これらをディスクに出力(ダンプ)し、これによってリランを実行することも含まれる。
本発明により、リラン処理をより高速に実行でき、効率的な情報処理を実現することが可能になる。
本発明の一実施の形態であるデータをメモリに展開して処理を行うバッチ処理システムに関する第1の実施例の概要を示す構成図である。 第1の実施例において、ユーザの定義した情報に基づきバッチ処理システムを実行するために必要な情報を生成する場合のフローチャート図である。 ジョブネット定義情報105の構成である。 ジョブ定義情報106の構成である。 入出力データ管理テーブル108の構成である。 第1の実施例において、バッチ処理システムが実行するジョブネットの例である。 入出力データ管理テーブル108を生成する場合のフローチャート図である。 第1の実施例において、バッチ処理システムがジョブネットを実行する場合のフローチャート図である。 ジョブネット進捗管理テーブルの構成である。 第1の実施例において、出力データをディスクとメモリにどちらに書き込むかを判定するフローチャート図である。 第1の実施例において、ジョブ実行サーバがジョブを実行する場合のフローチャート図である。
以下、本発明の一実施形態を、データを保持する記憶媒体(例:メモリ、ディスク)を動的に判断するバッチ処理システムを例に説明する。
図1は、本実施形態におけるバッチ処理システムの構成図である。バッチ処理システムは、ジョブネットを管理する計算機1とジョブを提供する計算機2とからなり、これらはネットワーク等を介して接続される。この構成は本実施形態の場合の例であり、ひとつの計算機の中にジョブネットを管理する機能とジョブを提供する機能が存在する場合、ジョブネットを管理する計算機が複数存在する場合、ジョブを提供する計算機が複数存在する場合もありえる。
ジョブネットを管理する計算機1は、CPU10、メインメモリ11、記憶装置12、入力装置13、出力装置14、及び通信インタフェース15とからなる計算機であり、これらは内部バス等により接続される。CPU10は、記憶装置12に格納されているプログラムをメインメモリ11に読み込み、実行することにより、種々の処理を行う。 記憶装置12は、ジョブネットの実行を制御するジョブネット制御部101、ジョブネットの処理要求を受け付けるジョブネット処理要求指示部102、ジョブネットを構成するジョブを呼び出すジョブ呼び出し部103、後述するジョブネット定義情報105とジョブ定義情報106から入出力データ管理テーブル108を生成する入出力データ管理テーブル生成部104、ジョブネットに関する定義情報を格納するジョブネット定義情報105、ジョブに関する定義情報を格納するジョブ定義情報106、処理中のジョブネットの進捗状況を管理するジョブネット進捗管理テーブル107、メモリに格納している入出力データを削除してよいかを判定する入出力データの状態を格納する入出力データ管理テーブル108を格納している。以下、ジョブネットを管理する計算機をジョブネット管理サーバと呼ぶ。
ジョブを提供する計算機2は、CPU20、メインメモリ21、記憶装置22、入力装置23、出力装置24、及び通信インタフェース25とからなる計算機であり、これらは内部バス等により接続される。記憶装置22に格納されているプログラムをメインメモリ21に読み込み、実行することにより、種々の処理を行う。
記憶装置22は、ひとつのジョブとして定義されたプログラム群を順次呼び出すジョブ制御部110、ジョブから呼び出されるプログラム群を実行するプログラム実行部111、プログラム実行部から生成されるデータをディスクもしくはメモリに書き込むデータ書き込み部112、プログラム実行部の扱うデータを格納するデータ管理テーブル113、ジョブに関する定義情報を格納するジョブ定義情報114を格納している。以下、ジョブを提供する計算機をジョブ実行サーバと呼ぶ。なお、ジョブを提供する、とは、ジョブ(についての計算)を実行し、その結果を出力することを示す。
図2は、ユーザの定義した情報をジョブネット定義情報105、ジョブ定義情報106に登録し、入出力データ管理テーブル108を生成するフローチャート図である。
ステップ201では、バッチ処理システムを実行する前に、ユーザがジョブとジョブネットに関する定義情報をジョブネット管理サーバのジョブ定義情報106とジョブネット定義情報105に登録する。
図3に、ジョブネット定義情報の例を示す。ジョブネット定義情報は、少なくともジョブネット名301、ジョブネットの実行タイミング302、ジョブネット内で使用するジョブ名303、各ジョブの実行順序304、各ジョブの実行タイミング305で構成され、図3はジョブネットXを定義した場合の例である。ジョブネットの実行タイミング302とは、ジョブネットを実行するスケジュールもしくはジョブネット実行の契機となる事象を登録する項目である。図3ではジョブネットRの実行完了という事象を契機としてジョブネットXの実行を開始する場合の例である。もし、毎時20:00にジョブネットXの実行を開始する場合、ジョブネットの実行タイミング302に毎時20:00と定義する。ジョブネット実行タイミングの種類として、曜日や日付の一致する時刻にジョブネットを実行するスケジュール指定、ジョブネットやジョブの完了といったイベント指定、障害発生などにより処理が中断した場合などにユーザが起動を指示するユーザ指定がある。各ジョブの実行順序304とは、ジョブネットで使用するジョブ303をどのような順序で実行するかを定義した項目である。図3では、ジョブネットXはジョブA1、A2、A3、A4で構成されており、ジョブA1、A2、A3、A4の順に処理を行っている場合の例である。各ジョブの実行タイミング305とは、ジョブを実行するスケジュールもしくはジョブ実行の契機となる事象を登録する項目である。図3では、ジョブネットXの実行開始という事象を契機としてジョブAの実行を開始する場合の例である。ジョブ実行タイミング305の種類はジョブネット実行タイミングの種類と同様にスケジュール指定、イベント指定、ユーザ指定がある。
図4に、ジョブ定義情報の例を示す。ジョブ定義情報には、ジョブ名401、ジョブで使用する使用プログラム名402、ジョブで使用するプログラムの実行順序であるプログラム実行順序403、ジョブで使用する入力データ名404、ジョブで使用する出力データ名405、ジョブで出力されるデータの中で業務上永続化することが必須である出力データをまとめた永続化出力データ名406、何かしら障害が発生した際にジョブを再実行できるかを判断するジョブ再実行可能可否407、ジョブの処理時間の推定値であるジョブ完了見込時間408が格納されている。ジョブで使用する入力データ名404及び出力データ405はジョブ内のプログラムで使用するデータの一覧である。例えば、プログラムP1の入力としてデータI-D1とO-D2を使用し、出力としてA-D1を生成し、プログラムP2の入力としてデータA-D1を使用し、出力としてA-D2を生成する場合、入力データ名404はI-D1、O-D2、A−D1となり、出力データ名405はA-D1、A-D2となる。永続化出力データ名406とは、業務上の要件などからデータを永続化することが必須なデータのことであり、出力データ名405の中から選択される(これは、データ中に必須であることを示すフラグを設けておいてもよいし、データの内容を予め登録している定義データと比較して判断してもよい)。
図4では、出力データの中でA-D2は永続化必須としている。永続化が要件となるケースとして、他システムでデータを利用する場合、ある程度の期間においてデータの保存が義務付けられている場合等が挙げられる。ジョブ再実行可能可否407とは、ジョブを一度実行した後に再度同じ処理を実行しても同じ結果を得ることが可能かどうかである。例えば、ジョブの処理内容が用紙への印字処理の場合、そのジョブを再実行すると同じ用紙が2枚生成されてしまうため、再実行は不可である。ジョブの再実行が不可の場合、ジョブを再実行することで出力データを再生成できないため、出力データを永続化しなければならないため、ディスクに書き込む必要がある。一方、ジョブの処理内容が計算処理であれば、入力データに基づく同じ計算結果が出力データに生成されるため、再実行可能である。ジョブの再実行が可能な場合、ジョブを再実行することで出力データを再生成できるため、出力データを永続化しなくてよいため、メモリに書き込んでもよい。ジョブ完了見込時間408とは、そのジョブの開始から終了までにかかる時間の推定値である。処理時間の推定値は過去の統計情報に基づき算出する。
ステップ202では、定義情報をジョブネット管理サーバのジョブ定義情報106をジョブ実行サーバのジョブ定義情報114に転送する。
ステップ203では、入出力データ管理テーブルテーブル生成部104がユーザの定義したジョブ定義情報106とジョブネット定義情報105に基づき入出力データ管理テーブル108を生成する。入出力データ管理テーブル108の構成例を図5に示す。入出力データ管理テーブル108はデータ名501、データを出力したジョブ名とそのジョブの属しているジョブネット名である出力元ジョブ名502、データを入力として使用するジョブ名とそのジョブの属しているジョブネット名である入力先ジョブ名503、ユーザ定義によりデータ永続化すべきかを判断する永続化定義有無504、データを出力したジョブの再実行が可能かを判断する再実行可能可否505、ジョブネット間でデータを利用するかを判断するジョブネット間連携506、データをディスクに書き込むべきかを判断するディスク書き込み要件507で構成されている。以下、入出力データ管理テーブル108の生成方法について図6を例として説明する。
図6には2つのジョブネットX、Yが定義されており、ジョブネットXはジョブA、B、C、Dを順に実行するジョブネットであり、ジョブネットYはジョブネットX完了後にジョブEを実行するジョブネットである。ジョブAは他システムから転送されたデータI-D1を入力としてA-D1、A−D2を出力している。ジョブBはA−D1とA-D2を入力として、B-D1を出力している。ジョブCはB-01を入力としてC-D1を出力している。ジョブDはA-D1とC-D1を入力としてD-D1を出力している。ジョブEはD-D1を入力としてE-D1を出力している。また、本例では、永続化出力データ名406に定義されているデータはE-D1のみ、ジョブ再実行可能可否407にて再実行不可能と定義されているジョブはジョブDのみとする。
入出力データ管理テーブル生成部104はジョブネットXで使用するジョブの入力データ及び出力データを順々に入出力データ管理テーブル108に登録していく。図7に入出力データ管理テーブル生成部104が入出力データ管理テーブル108を生成するフローチャート図を示す。ステップ701では、定義されたジョブネットの中でまだ読み込んでいないジョブネットの定義情報を読み込む。ステップ702では、読み込んだジョブネットの中に記載されているジョブ定義情報を読み込む。ステップ703では、ジョブ定義情報の入力データ名もしくは出力データ名を読み込み、入出力データ管理テーブル108と比較する。もし、読み込んだデータ名が存在すればステップ705、存在しなければステップ704に進む。
ステップ704では、読み込んだデータ名を入出力データ管理テーブル108に登録する。読み込んだデータが入力データの場合、データ名501と入力先ジョブ名503を登録する。例えば、ジョブAの入力データであるI-D1の場合、データ名501にI-D1、入力元ジョブ名503にX-Aを登録する。また、読み込んだデータが出力データの場合、データ名501、出力元ジョブ名502、永続化定義有無504、再実行可能可否505を登録する。例えば、ジョブAの出力データであるA-D1の場合、データ名501にA-D1、出力元ジョブ名502にX-A、ジョブネット間連携506に0を登録する。永続化定義有無504はジョブ定義情報の永続化出力データ名406に基づいて永続化が必要であれば1、必要でなければ0を登録する。再実行可能可否505はジョブ定義情報のジョブ再実行可能可否に基づいて再実行が可能であれば0、不可能であれば1を登録する。
ステップ705では、読み込んだデータ名と一致する情報を更新する。読み込んだデータが入力データの場合、入力先ジョブ名503、ジョブネット間連携506を更新する。例えば、ジョブBの入力データであるA-D1の場合、すでにジョブAの出力データとして入出力データ管理テーブル108に登録されていれば、入力先ジョブ名503にX-Bを追加する。ジョブネット間連携506は出力元ジョブ名502のジョブネット名と読み込んだジョブの属しているジョブネットを比較し、もし異なっていた場合、1に変更する。この例では、両方ともジョブネットはXのため、値を変更しない。また、読み込んだデータが出力データの場合、出力元ジョブ名502、永続化定義有無504、再実行可能可否505、ジョブネット間連携506を更新する。永続化定義有無504はジョブ定義情報の永続化出力データ名406に基づいて永続化が必要であれば1、必要でなければ0を登録する。再実行可能可否505はジョブ定義情報のジョブ再実行可能可否に基づいて再実行が可能であれば0、不可能であれば1を登録する。ジョブネット間連携506は出力元ジョブ名502のジョブネット名と読み込んだジョブの属しているジョブネットを比較し、もし異なっていた場合、1に変更する。
各入力データと出力データを入出力データ管理テーブル108に登録するまでステップ701からステップ705を繰り返し、ステップ706にすすむ。ステップ706では、入出力データ管理テーブル108に登録された全てのデータのディスク書込要件507を永続化定義有無504、再実行可能可否505、ジョブネット間連携506から算出し、登録を行う。算出方法は、永続化定義有無504、再実行可能可否505、ジョブネット間連携506の少なくともともひとつに1が登録されている場合、ディスク書込要件507に1を登録する。そうでなければディスク書込要件507に0を登録する。
図8は、バッチ処理システムがジョブネットを実行するフローチャート図である。以下、図6で示したジョブネットXを例として、図8について述べる。
ステップ801では、ジョブネット処理要求指示部102がジョブネット定義情報106に登録されたジョブネット実行タイミング302に定義されたジョブネットを実行するスケジュールもしくはジョブネット実行の契機となる事象を検知し、ジョブネット制御部101にジョブネット処理を要求する。図6の例では、ジョブネット処理要求指示部102がジョブネットRの終了を検知し、ジョブネット制御部101にジョブネットXの処理要求を依頼(つまり、要求情報を送信)する。
ステップ802では、ジョブネット制御部101がジョブネット定義情報105、ジョブ定義情報106、入出力データ管理テーブル108を参照する。第一に、ジョブネット制御部101はジョブネット定義情報105を参照し、ジョブネット定義情報を取得する。図6の例では、ジョブネット制御部101がジョブネット定義情報105を参照し、ジョブネットXの定義情報を取得する。第二に、ジョブネット制御部101がジョブ定義情報106を参照し、先ほど取得したジョブの入力データ名404、出力データ405、ジョブ完了見込時間408を取得する。図6の例では、ジョブネット制御部101がジョブ定義情報106を参照し、ジョブA、ジョブB、ジョブC、ジョブDの定義情報を取得する。第三に、ジョブネット制御部101が入出力データ管理テーブル108を参照し、さきほど取得したジョブの入力データ及び出力データの情報を取得する。図6の例では、ジョブネット制御部101がジョブ定義情報106を参照し、ジョブAであれば、入力データ名であるI-D1、出力データ名であるA−D1、A-D2を取得する。ジョブB、ジョブC、ジョブDについても同様である。
ステップ803では、ジョブネット制御部101がジョブネット進捗管理テーブル107に登録を行う。ジョブネット進捗管理テーブルの構成を図9に示す。ジョブネット進捗管理テーブル107はジョブネット名901、ジョブネット進捗状況902、最新リランポイント903、最新リランポイント作成時刻904で構成される。ジョブネット名901とは、進捗を管理するジョブネットの名前である。ジョブネット進捗状況902とは現在ジョブネットに定義された処理がどこまですすんでいるかである。最新リランポイント903とはリランポイントを作成したジョブの中で最新のジョブのことであり、リランポイント作成とは出力データをディスクに書き込むことである。最新リランポイント作成時刻904とは最新のリランポイントを作成した時刻である。図6の例では、ジョブネット制御部101がジョブネット進捗管理テーブル107のジョブネット名901にX、ジョブネット進捗状況902にジョブA開始前、最新リランポインと903にジョブネットX開始、最新リランポイント作成時刻904に処理要求を受け付けた時間を登録する。
ステップ804では、ジョブネット制御部101は出力データごとにデータをディスクに書き込むかどうかを判定する。ジョブネット制御部101が出力データをディスクとメモリにどちらに書き込むかを判定するフローチャート図を図10に示す。
ステップ1001では、ジョブネット制御部101は出力データのディスク書込要件507の値を参照し、参照結果が1となっていた場合、出力データをディスクに書き込むと判定して処理を終了する。それ以外の値であれば、ステップ1002に進む。
ステップ1002では、ジョブネット制御部101は出力データの入力先ジョブ名503を参照し、ジョブ名が登録されているかを判定する。ジョブ名が登録されていない場合、出力データをメモリに書き込むと判定して処理を終了する。それ以外であればステップ1003に進む。
ステップ1003では、ジョブネット制御部101はリランポイント作成可否判定を行う。具体的には、実行中ジョブの出力データをメモリに書き込み次に実行されるジョブでリランポイントを作成した場合におけるリラン処理推定時間を算出し、その時刻がユーザの定義したリラン処理許容時間を超過するかで判定する。リラン処理許容時間とは、障害が発生しバッチ処理を再実行する場合において、その再実行処理に費やしてもよい時間である。例えば、ユーザがリラン処理許容時間を10分と定義した場合、バッチ処理システムは障害発生に伴うリラン処理を10分以内に行えるよう、適切なリランポイントを設定する。
図6の例では、ジョブAでリランポイントを作成せずジョブBでリランポイントを作成した場合のリラン処理推定時間を算出する。ジョブAとジョブBのジョブ完了見込時間408がそれぞれ3分と9分、リラン処理許容時間を10分とした場合、ジョブAでリランポイントを作成せず、ジョブB実行中に障害が発生した場合、リラン処理時間は最短で3分、最長で12分と推定される。この場合、リラン処理許容時間の10分を超過する可能性があるため、ジョブAでリランポイントを作成すると判定する。そのためジョブAの出力するデータであるA-D1、A−D2の両方をディスクに書き込む必要がある。もし、リラン処理許容時間が20分であれば、ジョブAとジョブBのジョブ完了見込時間408は最長12分のため、リラン処理許容時間を超過しないことが予想されるため、ジョブBでのみ入力として利用されるデータA-D2をメモリに格納する。一方、データA−D1の書き込み先の判定については、ジョブDの入力としても利用されるため、ジョブA、B、Cでリランポイントを作成せずジョブDでリランポイントを作成した場合のリラン処理推定時間を算出し、リラン処理許容時間と比較を行う必要がある。
また、ジョブA、ジョブBでリランポイントを作成していない状況下でジョブCのリランポイント作成可否を判断する場合、最新リランポイント作成時刻904とジョブC開始直前の時刻からジョブAとジョブBの実行時間を算出し、その値とジョブCのジョブ完了見込時間408に基づきリラン処理推定時間を算出することで、リラン処理許容時間と比較を行う。なお、最新リランポイント作成時刻の更新はステップ807で行う。
最後にリランポイント作成可否の判定に基づき出力データの書き込み先を判定する。リランポイントを作成する場合、出力データをディスクに書き込むと判定し、処理を終了する。そうでなければそうでなければメモリに出力データを書き込むと判定し、処理を終了する。
ステップ805では、ジョブネット制御部101はジョブ呼び出し部103にジョブ呼び出しを依頼する。ジョブネット制御部101は、処理を依頼するジョブ名、ステップ804で算出した出力データごとのデータ書き込み先判定結果をジョブ呼び出し部103に送信する。
ステップ806では、ジョブ呼び出し部103がジョブ制御部110に処理要求を依頼し、ジョブ制御部はジョブを実行し処理結果を返答する。以下ジョブ実行サーバ側のフローチャート図を図11に示す。
ステップ1101では、ジョブ制御部110がジョブ定義情報114を参照、つまり、装置上で取り扱えるようにその情報を取り込む。
ステップ1102では、ジョブ制御部110がデータ書き込み部112に出力データごとに書き込み先を指定する。出力データごとの書き込み先はステップ805にてジョブネット制御部が送信した出力データごとのデータ書き込み先判定結果に基づいて指定する。
ステップ1103では、ジョブ制御部110がジョブ定義情報に記載されているプログラム実行順序403に従い、プログラム実行部111を呼び出す。
ステップ1104では、プログラム制御部111がプログラムを実行し、データ書き込み部112にデータの書き込み要求を行う。
ステップ1105では、データ書き込み部112が、ステップ1102で指定されたデータ書き込み先に従い、格納先をメモリのみもしくはディスクかを意識してデータ管理テーブル113に出力データを書き込む。
以下、ステップ1104とステップ1105をプログラム実行順序403に従って繰り返し、各プログラムが完了した後、ジョブ制御部110はジョブ呼び出し部103を介してジョブネット制御部101に処理完了通知を返答(つまり、完了通知を送信)する。
ステップ807では、入出力データ管理テーブル108のジョブネット進捗状況902、最新リランポイント903、最新リランポイント作成時刻904を更新する。最初に、ジョブネット制御部101は入出力データ管理テーブル108のジョブネット進捗状況902を更新する。次に、ジョブネット制御部101は、ディスクに格納した出力データのみを用いてリラン処理を行えるかを確認する(ここでは、ディスクに格納した出力データを主に、他のデータを利用しなくともとの意味でそれ以外を使うようにしても構わない)。具体的には、処理の完了したジョブの後続で実行されるジョブの入力データの中でメモリにのみ格納されているものが存在していないかをチェックする。もし、入力データの中にメモリにのみ格納されているデータがない場合、リランポイントが作成されたものとし、最新リランポイント903、最新リランポイント作成時刻904を更新する。図6の例であれば、最新リランポイント903にジョブA完了、最新リランポイント作成時刻にジョブA完了時の時間を更新する。
以下、ジョブネット処理順序304に基づき、ステップ803からステップ807を繰り返す。以上で、本実施形態の内容の説明を終わる。
101ジョブネット制御部
102ジョブネット処理要求指示部
103ジョブ呼び出し部
104入出力データ管理テーブル生成部
105ジョブネット定義情報
106ジョブ定義情報
107ジョブネット進捗管理テーブル
108入出力データ管理テーブル
110ジョブ制御部
111プログラム実行部
112データ書き込み部
113データ管理テーブル
114ジョブ定義情報

Claims (2)

  1. コンピュータ用いてプログラム群の処理であるジョブを実行するバッチ処理システムにおいて、
    前記ジョブの定義情報に基づいた当該ジョブの永続化が必要性の有無を示す永続化定義有無情報と、前記ジョブの定義情報に基づいた当該ジョブの再実行の可能・不可能を示す再実行可能可否情報と、前記ジョブのジョブ名と当該ジョブの出力元の属するジョブネット名である出力元ジョブ名を有する入出力データ管理テーブルと、
    前記ジョブに関して読み込まれたデータについて、前記入出力データ管理テーブルの前記永続化定義有無情報が有、前記入出力データ管理テーブルの前記再実行可能可否情報が可能、および前記入出力データ管理テーブルの出力ジョブ名と前記読み込まれたデータの出力ジョブ名が異なっている、のうち少なくとも1つを満たす場合、前記ジョブにおける出力データの格納先として不揮発性記憶媒体を特定する第1の特定手段と、
    前記第1の特定手段において、不揮発性記憶媒体が特定されなかった場合、前記ジョブの入力先ジョブの存在有無を確認し、当該入力先ジョブが存在しない場合、前記ジョブにおける出力データの格納先として揮発性記憶媒体を特定する第2の特定手段と、
    前記第2の特定手段において、揮発性記憶媒体が特定されなかった場合、次に実行されるジョブでリランポイントを作成した場合におけるリラン処理推定時間が予め定められた許容時間を超過すると判断される場合にリランポイントを作成する必要性があると判断することに従い、前記ジョブにおける出力データの格納先として不揮発性記憶媒体を特定し、前記許容時間を超過しないと判断される場合にリランポイントを作成する必要性がないと判断することに従い、前記ジョブにおける出力データの格納先として揮発性記憶媒体を特定する第3の特定手段と、
    特定された前記格納先に、前記出力データを格納する手段とを有することによって、前記ジョブの性質および進捗状況に応じた格納先に前記出力データを格納可能とすることを特徴とするバッチ処理ステム。
  2. 請求項1に記載のバッチ処理システムにおいて、
    前記第1乃至第3の特定手段により、揮発性記憶媒体が特定された場合、前記ジョブの実行に障害が発生した場合に、前記揮発性記憶媒体に格納された出力データを、前記不揮発性記憶媒体に出力し、当該出力された出力データを用いてリラン処理を実行する手段をさらに有することを特徴とするバッチ処理システム。
JP2009080875A 2009-03-30 2009-03-30 バッチ処理実行システム及びその方法 Expired - Fee Related JP5352310B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009080875A JP5352310B2 (ja) 2009-03-30 2009-03-30 バッチ処理実行システム及びその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009080875A JP5352310B2 (ja) 2009-03-30 2009-03-30 バッチ処理実行システム及びその方法

Publications (2)

Publication Number Publication Date
JP2010231682A JP2010231682A (ja) 2010-10-14
JP5352310B2 true JP5352310B2 (ja) 2013-11-27

Family

ID=43047403

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009080875A Expired - Fee Related JP5352310B2 (ja) 2009-03-30 2009-03-30 バッチ処理実行システム及びその方法

Country Status (1)

Country Link
JP (1) JP5352310B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5746878B2 (ja) * 2011-02-18 2015-07-08 株式会社日立製作所 バッチ処理の実行管理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5999556A (ja) * 1982-11-30 1984-06-08 Nec Corp 情報処理装置
JPH06202892A (ja) * 1993-01-07 1994-07-22 Toshiba Corp プログラムリスタート方式
JPH1040123A (ja) * 1996-07-18 1998-02-13 Nec Off Syst Ltd ジョブ管理方式と方法
JPH10269124A (ja) * 1997-03-28 1998-10-09 Toshiba Corp チェックポイント情報の管理方法およびチェックポイント情報管理システム
WO2000010103A1 (fr) * 1998-08-11 2000-02-24 Shinji Furusho Procede et dispositif de recuperation, de stockage et de triage de donnees formatees en tableaux
JP2000315190A (ja) * 1999-04-30 2000-11-14 Nec Corp ジョブのリカバリ方式
JP2003085021A (ja) * 2001-09-07 2003-03-20 Nippon Soken Holdings:Kk リカバリ・リスタート機能を備えたバッチ処理システム、リカバリ・リスタート機能を備えたバッチ処理システム用プログラム、及びそのプログラムを記録した記録媒体
JP2005148901A (ja) * 2003-11-12 2005-06-09 Hitachi Ltd ジョブスケジューリングシステム
JP2008003691A (ja) * 2006-06-20 2008-01-10 Hitachi Ltd 計算機のプロセス回復方法、チェックポイントリスタートシステム
JP4769703B2 (ja) * 2006-12-18 2011-09-07 株式会社日立情報システムズ バッチジョブ再実行制御システム

Also Published As

Publication number Publication date
JP2010231682A (ja) 2010-10-14

Similar Documents

Publication Publication Date Title
JP5741254B2 (ja) 送信制御方法、装置及びプログラム
US9183038B2 (en) Job management system that determines if master data has been updated, then re-executes a sub-job based on available executing computers and data sharing status
JP2007323507A (ja) 記憶システム並びにこれを用いたデータの処理方法
JP2009536403A (ja) ワーク・アイテム・イベント処理
JP6293709B2 (ja) ストレージシステムおよびストレージシステム用プログラム
JP5250955B2 (ja) データ処理システムのバックアップ制御装置及びシステム
JP6268991B2 (ja) 情報処理システム、情報処理装置及びプログラム
US8515906B2 (en) Maintaining client data integrity in a distributed environment using asynchronous data submission
JP5352310B2 (ja) バッチ処理実行システム及びその方法
US10078638B2 (en) Secure hyper transfer of large files
CN111971667A (zh) 可恢复的合并排序
JP5884566B2 (ja) バッチ処理システム、進捗状況確認装置、進捗状況確認方法、及びプログラム
JP2007133795A (ja) クラスタ構成の業務システム
JP2008242524A (ja) ファイル管理装置、ファイル管理方法、プログラム、コンピュータ読み取り可能な記録媒体
JP5342055B1 (ja) 記憶装置およびデータバックアップ方法
JP6657725B2 (ja) データベースシステム、レプリケーション制御装置、レプリケーション方法、及びプログラム
JP5222171B2 (ja) データベース管理方法およびデータベース管理システム
JP5465401B2 (ja) ファイル管理方法、装置及びプログラム
JP2014170448A (ja) レプリケーションシステム、業務処理システム、レプリケーション方法、及びプログラム
US20090100239A1 (en) Data update history storage apparatus and data update history storage method
JP5397076B2 (ja) ジョブ実行装置、ジョブ実行方法およびジョブ実行プログラム
JP2006285576A (ja) 分散処理システム及び分散処理方法
JP6106499B2 (ja) データ反映方法
JP6089985B2 (ja) オンラインバックアップ制御システム及びプログラム
JP2020135138A (ja) ストレージシステム、ストレージシステムの回復方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110818

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130826

R151 Written notification of patent or utility model registration

Ref document number: 5352310

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees