JP5884566B2 - バッチ処理システム、進捗状況確認装置、進捗状況確認方法、及びプログラム - Google Patents
バッチ処理システム、進捗状況確認装置、進捗状況確認方法、及びプログラム Download PDFInfo
- Publication number
- JP5884566B2 JP5884566B2 JP2012052464A JP2012052464A JP5884566B2 JP 5884566 B2 JP5884566 B2 JP 5884566B2 JP 2012052464 A JP2012052464 A JP 2012052464A JP 2012052464 A JP2012052464 A JP 2012052464A JP 5884566 B2 JP5884566 B2 JP 5884566B2
- Authority
- JP
- Japan
- Prior art keywords
- batch processing
- data
- processing
- task
- progress
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 285
- 238000012790 confirmation Methods 0.000 title claims description 93
- 238000000034 method Methods 0.000 title claims description 75
- 230000006854 communication Effects 0.000 claims description 52
- 238000004891 communication Methods 0.000 claims description 47
- 238000012544 monitoring process Methods 0.000 claims description 30
- 230000004044 response Effects 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 10
- 230000006399 behavior Effects 0.000 description 38
- 238000010586 diagram Methods 0.000 description 16
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000010923 batch production Methods 0.000 description 4
- 238000013506 data mapping Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Description
(2)トランザクションにおけるタスク毎の正常処理の割合と異常処理の割合(即ち、正常処理が何件行われたか、異常処理が何件行われたか、どのくらいの頻度で異常処理が発生したか)
(3)全タスクを考慮した処理の進み具合(即ち、全処理データの内、どのくらいのデータ処理が終了しているか)
複数のタスクをバッチ処理によって実行する、バッチ処理サーバと、
前記複数のタスクそれぞれからの要求に応じてデータの読み出し処理及び書き込み処理を実行し、そして、処理の終了時に前記バッチ処理サーバに送信するパケットに、処理内容を示すデータを付加する、データストア装置と、
前記バッチ処理サーバと前記データストア装置との通信を監視して、前記パケットを取得し、取得した前記パケットに付加された前記データに基づいて、前記タスクの進捗状況を特定する、進捗状況確認装置と、を備えていることを特徴とする。
複数のタスクをバッチ処理によって実行する、バッチ処理サーバと、前記複数のタスクそれぞれからの要求に応じてデータの読み出し処理及び書き込み処理を実行し、そして、処理の終了時に前記バッチ処理サーバに送信するパケットに、処理内容を示すデータを付加する、データストア装置との、通信を監視して、前記パケットを取得する、通信監視部と、
取得した前記パケットに付加された前記データに基づいて、前記タスクの進捗状況を特定する、進捗状況特定部と、を備えていることを特徴とする。
(a)複数のタスクをバッチ処理によって実行する、バッチ処理サーバと、前記複数のタスクそれぞれからの要求に応じてデータの読み出し処理及び書き込み処理を実行し、そして、処理の終了時に前記バッチ処理サーバに送信するパケットに、処理内容を示すデータを付加する、データストア装置との、通信を監視して、前記パケットを取得する、ステップと、
(b)前記(a)のステップで取得した前記パケットに付加された前記データに基づいて、前記タスクの進捗状況を特定する、ステップと、を有することを特徴とする。
コンピュータに、
(a)複数のタスクをバッチ処理によって実行する、バッチ処理サーバと、前記複数のタスクそれぞれからの要求に応じてデータの読み出し処理及び書き込み処理を実行し、そして、処理の終了時に前記バッチ処理サーバに送信するパケットに、処理内容を示すデータを付加する、データストア装置との、通信を監視して、前記パケットを取得する、ステップと、
(b)前記(a)のステップで取得した前記パケットに付加された前記データに基づいて、前記タスクの進捗状況を特定する、ステップと、を実行させることを特徴とする。
以下、本発明の実施の形態における、バッチ処理システム、進捗状況確認装置、進捗状況確認方法、及びプログラムについて、図1〜図10を参照しながら説明する。
最初に本発明の実施の形態における、バッチ処理システムの構成について図1を用いて説明する。図1は、本発明の実施の形態におけるバッチ処理システムの全体構成を示すブロック図である。
図1に示したように、本実施の形態では、バッチ処理システム1は、複数のバッチ処理サーバ100を備えているが、各バッチ処理サーバ100は、全て同様の処理を実行するため、図2の例では、1台のバッチ処理サーバ100のみが代表して例示されている。
データストア装置40は、バッチ処理の処理対象となるデータを格納するデータストア41と、ハンドラ42とを備えている。具体的には、本実施の形態では、データストア装置40は、サーバコンピュータによって構築されており、データストア41は、例えば、ハードディスクドライブ及びメモリといったローカルのコンピュータリソースによって実現される。
図2に示すように、本実施の形態では、進捗状況確認装置30は、通信監視部31と、進捗状況確認部32と、格納部35とを備えている。また、進捗状況確認装置30は、コンピュータに、後述するプログラムをインストールすることによって構築できる。
(B)どの振る舞いハンドラがどのソケットを利用してデータストア装置40から処理データを取得しているかを特定する情報(各振る舞いハンドラがデータストア装置40からの処理データの取得に利用するソケットを特定する情報:図7(b)参照)
(C)進捗状況を確認するために確認すべき通信の情報(進捗状況の確認に必要な通信を特定する情報:図7(c)参照)
(D)1回の通信処理でデータをどのくらい処理するのかを特定する情報(1回の通信処理で処理されるデータ量を特定する情報:図7(d)参照)
次に、本発明の実施の形態における進捗状況確認装置30の動作について図6及び図7を用いて説明する。図6は、本発明の実施の形態における進捗状況確認装置の動作を示すフロー図である。図7は、本発明の実施の形態における進捗状況確認装置の動作を概略的に示す説明図である。
本実施の形態においては、バッチ処理基盤10は、格納部16に、図8に示すプロセス優先度情報を格納することができる。図8の例では、プロセスの優先度は、「高」「中」「低」の三段階で設定されている。図8は、本発明の実施の形態における変形例で使用されるプロセス優先度情報の一例を示す図である。
また、上述した例では、図1に示したように、進捗状況確認装置30は、タスクA−1、タスクA−2といった細分化されたタスク毎に、進捗状況を確認しているが、本実施の形態は、これに限定される趣旨ではない。タスクA、タスクBといった、細分化される前のタスク毎に、進捗状況の確認が行なわれていても良い。
本実施の形態におけるプログラムは、コンピュータに、図6に示すステップA1〜A9を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における進捗状況確認装置30と進捗状況確認方法とを実現することができる。この場合、コンピュータのCPU(Central Processing Unit)は、通信監視部31及び進捗状況特定部32として機能し、処理を行なう。また、コンピュータに備えられたハードディスク等の記憶装置が、格納部35として機能する。
複数のタスクをバッチ処理によって実行する、バッチ処理サーバと、
前記複数のタスクそれぞれからの要求に応じてデータの読み出し処理及び書き込み処理を実行し、そして、処理の終了時に前記バッチ処理サーバに送信するパケットに、処理内容を示すデータを付加する、データストア装置と、
前記バッチ処理サーバと前記データストア装置との通信を監視して、前記パケットを取得し、取得した前記パケットに付加された前記データに基づいて、前記タスクの進捗状況を特定する、進捗状況確認装置と、
を備えていることを特徴とするバッチ処理システム。
前記進捗状況確認装置が、前記タスクの進捗状況として、タスク毎の、処理済のデータ処理の件数を特定する、付記1に記載のバッチ処理システム。
前記進捗状況確認装置が、取得した前記パケットの送信先から確認対象となるタスクを特定し、そして、前記データに基づいて、処理内容が、正常終了及びコミットの両方を満たしているか否かを判定し、満たしている場合に、前記確認対象となるタスクにおける処理済のデータ処理の件数を増加させる、付記2に記載のバッチ処理システム。
前記進捗状況確認装置が、前記タスクの相関関係に基づいて、他のタスクに影響を与える可能性があり、且つ、前記割合が設定値よりも低い、タスクを特定し、特定した前記タスクの優先度を上げるように、前記バッチ処理サーバに指示する、
付記1〜3のいずれか記載のバッチ処理システム。
複数のタスクをバッチ処理によって実行する、バッチ処理サーバと、前記複数のタスクそれぞれからの要求に応じてデータの読み出し処理及び書き込み処理を実行し、そして、処理の終了時に前記バッチ処理サーバに送信するパケットに、処理内容を示すデータを付加する、データストア装置との、通信を監視して、前記パケットを取得する、通信監視部と、
取得した前記パケットに付加された前記データに基づいて、前記タスクの進捗状況を特定する、進捗状況特定部と、
を備えていることを特徴とする進捗状況確認装置。
前記進捗状況特定部が、前記タスクの進捗状況として、タスク毎の、処理済のデータ処理の件数を特定する、付記5に記載の進捗状況確認装置。
前記進捗状況特定部が、取得した前記パケットの送信先から確認対象となるタスクを特定し、そして、前記データに基づいて、処理内容が、正常終了及びコミットの両方を満たしているか否かを判定し、満たしている場合に、前記確認対象となるタスクにおける処理済のデータ処理の件数を増加させる、付記6に記載の進捗状況確認装置。
前記進捗状況特定部が、前記タスクの相関関係に基づいて、他のタスクに影響を与える可能性があり、且つ、前記進捗状況が設定値に達していない、タスクを特定し、特定した前記タスクの優先度を上げるように、前記バッチ処理サーバに指示する、付記5〜7のいずれかに記載の進捗状況確認装置。
(a)複数のタスクをバッチ処理によって実行する、バッチ処理サーバと、前記複数のタスクそれぞれからの要求に応じてデータの読み出し処理及び書き込み処理を実行し、そして、処理の終了時に前記バッチ処理サーバに送信するパケットに、処理内容を示すデータを付加する、データストア装置との、通信を監視して、前記パケットを取得する、ステップと、
(b)前記(a)のステップで取得した前記パケットに付加された前記データに基づいて、前記タスクの進捗状況を特定する、ステップと、
を有することを特徴とする進捗状況確認方法。
前記(b)のステップにおいて、前記タスクの進捗状況として、タスク毎の、処理済のデータ処理の件数を特定する、付記9に記載の進捗状況確認方法。
前記(b)のステップにおいて、取得した前記パケットの送信先から確認対象となるタスクを特定し、そして、前記データに基づいて、処理内容が、正常終了及びコミットの両方を満たしているか否かを判定し、満たしている場合に、前記確認対象となるタスクにおける処理済のデータ処理の件数を増加させる、付記10に記載の進捗状況確認方法。
(c)前記タスクの相関関係に基づいて、他のタスクに影響を与える可能性があり、且つ、前記進捗状況が設定値に達していない、タスクを特定し、特定した前記タスクの優先度を上げるように、前記バッチ処理サーバに指示する、ステップを更に有する、付記9〜11のいずれかに記載の進捗状況確認方法。
コンピュータに、
(a)複数のタスクをバッチ処理によって実行する、バッチ処理サーバと、前記複数のタスクそれぞれからの要求に応じてデータの読み出し処理及び書き込み処理を実行し、そして、処理の終了時に前記バッチ処理サーバに送信するパケットに、処理内容を示すデータを付加する、データストア装置との、通信を監視して、前記パケットを取得する、ステップと、
(b)前記(a)のステップで取得した前記パケットに付加された前記データに基づいて、前記タスクの進捗状況を特定する、ステップと、
を実行させるプログラム。
前記(b)のステップにおいて、前記タスクの進捗状況として、タスク毎の、処理済のデータ処理の件数を特定する、付記13に記載のプログラム。
前記(b)のステップにおいて、取得した前記パケットの送信先から確認対象となるタスクを特定し、そして、前記データに基づいて、処理内容が、正常終了及びコミットの両方を満たしているか否かを判定し、満たしている場合に、前記確認対象となるタスクにおける処理済のデータ処理の件数を増加させる、付記14に記載のプログラム。
(c)前記タスクの相関関係に基づいて、他のタスクに影響を与える可能性があり、且つ、前記進捗状況が設定値に達していない、タスクを特定し、特定した前記タスクの優先度を上げるように、前記バッチ処理サーバに指示する、ステップを、前記コンピュータに更に実行させる、付記13〜15のいずれかに記載のプログラム。
10 バッチ処理基盤
11 バッチ処理部
12 タスク
13 スケジュール
14 設定情報
15 実行履歴
16 格納部
20 振る舞いエンジン
21 振る舞いハンドラ
22 ソケット
23 データ
24 コントローラ
25 設定情報
26 実行履歴
27 格納部
30 進捗状況確認装置
31 通信監視部
32 進捗状況特定部
33 設定情報
34 進捗情報
35 格納部
40 データストアサーバ
41 データストア
42 ハンドラ
43 データ
100 バッチ処理サーバ
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス
Claims (7)
- 複数のタスクをバッチ処理によって実行する、バッチ処理サーバと、
前記複数のタスクそれぞれからの要求に応じてデータの読み出し処理及び書き込み処理を実行し、そして、処理の終了時に前記バッチ処理サーバに送信するパケットに、処理内容を示すデータを付加する、データストア装置と、
前記バッチ処理サーバと前記データストア装置との通信を監視して、前記パケットを取得し、取得した前記パケットに付加された前記データに基づいて、前記タスクの進捗状況を特定する、進捗状況確認装置と、
を備えていることを特徴とするバッチ処理システム。 - 前記進捗状況確認装置が、前記タスクの進捗状況として、タスク毎の、処理済のデータ処理の件数を特定する、請求項1に記載のバッチ処理システム。
- 前記進捗状況確認装置が、取得した前記パケットの送信先から確認対象となるタスクを特定し、そして、前記データに基づいて、処理内容が、正常終了及びコミットの両方を満たしているか否かを判定し、満たしている場合に、前記確認対象となるタスクにおける処理済のデータ処理の件数を増加させる、請求項2に記載のバッチ処理システム。
- 前記進捗状況確認装置が、前記タスクを実行する際に他のタスクに与える影響を予め特定している相関関係に基づいて、他のタスクに影響を与える可能性があり、且つ、前記進捗状況が設定値よりも低い、タスクを特定し、特定した前記タスクの優先度を上げるように、前記バッチ処理サーバに指示する、
請求項1〜3のいずれか記載のバッチ処理システム。 - 複数のタスクをバッチ処理によって実行する、バッチ処理サーバと、前記複数のタスクそれぞれからの要求に応じてデータの読み出し処理及び書き込み処理を実行し、そして、処理の終了時に前記バッチ処理サーバに送信するパケットに、処理内容を示すデータを付加する、データストア装置との、通信を監視して、前記パケットを取得する、通信監視部と、
取得した前記パケットに付加された前記データに基づいて、前記タスクの進捗状況を特定する、進捗状況特定部と、
を備えていることを特徴とする進捗状況確認装置。 - 複数のタスクをバッチ処理によって実行する、バッチ処理サーバと、前記複数のタスクそれぞれからの要求に応じてデータの読み出し処理及び書き込み処理を実行し、そして、処理の終了時に前記バッチ処理サーバに送信するパケットに、処理内容を示すデータを付加する、データストア装置とに、ネットワークを介して接続されたコンピュータを用い、
(a)前記コンピュータによって、前記ネットワーク上における、前記バッチ処理サーバと、前記データストア装置との通信を監視して、前記パケットを取得する、ステップと、
(b)前記コンピュータによって、前記(a)のステップで取得した前記パケットに付加された前記データに基づいて、前記タスクの進捗状況を特定する、ステップと、
を有することを特徴とする進捗状況確認方法。 - 複数のタスクをバッチ処理によって実行する、バッチ処理サーバと、前記複数のタスクそれぞれからの要求に応じてデータの読み出し処理及び書き込み処理を実行し、そして、処理の終了時に前記バッチ処理サーバに送信するパケットに、処理内容を示すデータを付加する、データストア装置とに、ネットワークを介して接続されたコンピュータに、
(a)前記ネットワーク上において、前記バッチ処理サーバと、前記データストア装置との、通信を監視して、前記パケットを取得する、ステップと、
(b)前記(a)のステップで取得した前記パケットに付加された前記データに基づいて、前記タスクの進捗状況を特定する、ステップと、
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012052464A JP5884566B2 (ja) | 2012-03-09 | 2012-03-09 | バッチ処理システム、進捗状況確認装置、進捗状況確認方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012052464A JP5884566B2 (ja) | 2012-03-09 | 2012-03-09 | バッチ処理システム、進捗状況確認装置、進捗状況確認方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013186765A JP2013186765A (ja) | 2013-09-19 |
JP5884566B2 true JP5884566B2 (ja) | 2016-03-15 |
Family
ID=49388112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012052464A Expired - Fee Related JP5884566B2 (ja) | 2012-03-09 | 2012-03-09 | バッチ処理システム、進捗状況確認装置、進捗状況確認方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5884566B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016177567A (ja) * | 2015-03-20 | 2016-10-06 | 株式会社リコー | タスク管理装置、方法及びプログラム |
JP2016189101A (ja) * | 2015-03-30 | 2016-11-04 | 鉄道情報システム株式会社 | バッチ処理システム、バッチ処理方法、バッチ処理プログラムおよびバッチ処理プログラムが記憶されたコンピュータで読み取り可能な記憶媒体 |
CN112506632A (zh) * | 2020-12-03 | 2021-03-16 | 中国人寿保险股份有限公司 | 分布式系统中批任务的调度方法和系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4610240B2 (ja) * | 2004-06-24 | 2011-01-12 | 富士通株式会社 | 分析プログラム、分析方法及び分析装置 |
JP5062896B2 (ja) * | 2008-05-22 | 2012-10-31 | 株式会社日立製作所 | バッチ処理監視装置、バッチ処理監視方法及びプログラム |
US9251032B2 (en) * | 2011-11-03 | 2016-02-02 | Fujitsu Limited | Method, computer program, and information processing apparatus for analyzing performance of computer system |
-
2012
- 2012-03-09 JP JP2012052464A patent/JP5884566B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013186765A (ja) | 2013-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8516509B2 (en) | Methods and computer program products for monitoring system calls using safely removable system function table chaining | |
US9641413B2 (en) | Methods and computer program products for collecting storage resource performance data using file system hooks | |
EP2989543B1 (en) | Method and device for updating client | |
JP5731334B2 (ja) | インシデント・プールの管理方法、システムおよびコンピュータ・プログラム | |
US8589537B2 (en) | Methods and computer program products for aggregating network application performance metrics by process pool | |
US7698602B2 (en) | Systems, methods and computer products for trace capability per work unit | |
US8909761B2 (en) | Methods and computer program products for monitoring and reporting performance of network applications executing in operating-system-level virtualization containers | |
JP2010218049A (ja) | 情報処理装置、情報処理方法及びプログラム | |
US8280197B1 (en) | Managed background loading of image resources in resource-constrained devices | |
WO2019148727A1 (zh) | 电子装置、基于redis的异常预警方法及存储介质 | |
JP5652480B2 (ja) | データベース更新通知方法 | |
JP2009536403A (ja) | ワーク・アイテム・イベント処理 | |
JP6268991B2 (ja) | 情報処理システム、情報処理装置及びプログラム | |
JP5268589B2 (ja) | 情報処理装置及び情報処理装置の運用方法 | |
US8468386B2 (en) | Detecting and recovering from process failures | |
JP5884566B2 (ja) | バッチ処理システム、進捗状況確認装置、進捗状況確認方法、及びプログラム | |
JP2011159011A (ja) | ジョブ監視システム及びジョブ監視プログラム | |
US7882508B1 (en) | Tracing information flow using a signature | |
CN108566293B (zh) | 电子装置、zk节点信息通知方法及存储介质 | |
CN115220640A (zh) | 用于处理数据的方法、电子设备和计算机程序产品 | |
JP7030412B2 (ja) | 情報処理システム、及び制御方法 | |
JP6115253B2 (ja) | プリントシステム、スプールサーバ、スプール方法、及びプログラム | |
JP2010026626A (ja) | データを記録する方法、システム及びプログラム | |
JP2011008361A (ja) | 機器管理装置、機器管理システム、機器設定方法、機器設定プログラム、及びそのプログラムを記録した記録媒体 | |
JP2024037585A (ja) | トランザクション管理方法及びトランザクション管理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20150123 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160125 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5884566 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |