JP5622049B2 - バッチ処理システム、及びバッチ処理方法 - Google Patents
バッチ処理システム、及びバッチ処理方法 Download PDFInfo
- Publication number
- JP5622049B2 JP5622049B2 JP2011054695A JP2011054695A JP5622049B2 JP 5622049 B2 JP5622049 B2 JP 5622049B2 JP 2011054695 A JP2011054695 A JP 2011054695A JP 2011054695 A JP2011054695 A JP 2011054695A JP 5622049 B2 JP5622049 B2 JP 5622049B2
- Authority
- JP
- Japan
- Prior art keywords
- processing
- batch
- data
- file
- job step
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
Description
図1は、本発明の第1実施形態のシステム1の概略構成の一例を示す図である。なお、本実施形態のシステム1は、オンライン処理中に発生した入力データに対して所定の処理を行い、該処理の結果を出力データとして所定のデータベースに記録処理するといった一連の処理(ジョブステップ)を含むバッチ処理を実行する場合を例にとって説明する。
図11は、第2実施形態のシステム2の概略構成の一例を示す図である。第2実施形態のシステム2は、第1実施形態のシステム1のシステム構成に加え、更に、各アプリケーションサーバ20a〜20zに対して上記第1ジョブステップの処理を分配するジョブステップ分配装置70を備えることを特徴とする。なお、以下では、第2実施形態のシステム2において、上記第1実施形態のシステム1と同様にできる構成及び機能については、その説明を省略する。
図12は、第3実施形態のシステム3の概略構成の一例を示す図である。本実施形態のシステム3は、各アプリケーションサーバ20a〜20zにおいてオンライン処理として、例えば、図13に示すように、発注処理用のオンライン処理から入力される発注テーブルの表から、商品マスタテーブルに記録されている発注先のデータを特定し、バッチ処理として、該特定したデータ(発注先、発注元、商品コード、個数)を集計するジョブステップの処理、及び該集計結果等を基に発注先ごとに発注明細を送付するジョブステップの処理を含むものを例にとって説明する。なお、第3実施形態のシステム3は、第1実施形態のシステム1の入力データ処理部(入力データハンドラ)22の代わりに、入力データ処理部(差分データハンドラ)22'を備えることを特徴とする。なお、以下では、第3実施形態のシステム3において、上記第1実施形態のシステム1と同様にできる構成及び機能については、その説明を省略する。
図15は、第4実施形態のシステム4の概略構成の一例を示す図である。第4実施形態のシステム4は、第1実施形態のシステム1のシステム構成に加え、更に、先行処理データの書き込み先として、更に、共有メモリ80を備えることを特徴とする。なお、以下では、第4実施形態のシステム4において、上記第1実施形態のシステム1と同様にできる構成及び機能については、その説明を省略する。
Claims (7)
- 複数のアプリケーションサーバ、及びバッチサーバを備えるバッチ処理システムであって、
前記アプリケーションサーバそれぞれは、
クライアント端末からのアクセスを受け付けてオンライン処理を実行し、該オンライン処理において前記クライアント端末からの入力操作を受け付けるオンラインアプリケーション部と、
前記オンライン処理で得られたデータを入力データとしてキューに格納する入力データ処理部と、
前記キューに格納された前記入力データを順次取得し、該取得した入力データごとに、バッチ処理として構成されたジョブステップのうち自アプリケーションサーバで先行処理可能な第1ジョブステップの処理を実行し、該実行して得られた先行処理データを先行処理データファイルに記録する先行処理部と、を含み、
前記バッチサーバは、
前記複数のアプリケーションサーバの各先行処理データファイルを収集してマージするマージ処理部と、
前記マージされた先行処理データファイルに基づいて、前記先行処理データを順次読み込み、前記バッチ処理として構成されたジョブステップのうち前記第1ジョブステップを除いた第2ジョブステップの処理を実行するバッチ処理部と、を含むバッチ処理システム。 - 前記クライアント端末からの入力操作は、データの作成、更新、及び削除のいずれかの入力操作であり、
前記入力データ処理部は、前記入力データ、及び該入力データに対応する前記入力操作の種類をキューに格納する、請求項1に記載のバッチ処理システム。 - 前記先行処理データファイルは、前記入力データの作成処理を記録する作成ファイルと、前記入力データの更新処理を記録する更新ファイルと、前記入力データの削除処理を記録する削除ファイルと、前記作成ファイル、前記更新ファイル及び前記削除ファイルのいずれかのファイルが記録された場合に該記録内容を記録するインデックスファイルとで構成され、
前記マージ処理部は、前記複数のアプリケーションサーバの各先行処理データファイルを収集し、該各先行処理データファイルに含まれる各インデックスファイルの記録内容をマージし、
前記バッチ処理部は、前記マージされたインデックスファイルの記録内容に基づいて、前記先行処理データを順次読み込み、前記第2ジョブステップの処理を実行する、請求項2に記載のバッチ処理システム。 - 前記バッチサーバにアクセスし、前記バッチ処理として構成されたジョブステップを解析する解析部、該解析した結果、前記アプリケーションサーバで先行処理可能な第1ジョブステップを抽出する抽出部、及び該抽出された前記第1ジョブステップの処理を前記アプリケーションサーバに配置する配置部を含むジョブステップ分配装置を更に備える、請求項1〜請求項3のいずれか1項に記載のバッチ処理システム。
- 前記ジョブステップ分配装置は、
前記複数のアプリケーションサーバにアクセスし、前記第1ジョブステップの処理対象となる入力データを扱うオンラインアプリケーションを特定するオンラインアプリケーション特定部を更に含む、請求項4に記載のバッチ処理システム。 - 前記複数のアプリケーションサーバにより出力される前記先行処理データを格納する共有メモリを更に備え、
前記マージ処理部は、前記複数のアプリケーションサーバの各先行処理データを前記共有メモリから収集してマージ処理する、請求項1〜請求項5のいずれか1項に記載のバッチ処理システム。 - 複数のアプリケーションサーバ、及びバッチサーバを備えるシステムのバッチ処理方法であって、
前記アプリケーションサーバが、クライアント端末からのアクセスを受け付けてオンライン処理を実行し、該オンライン処理において前記クライアント端末からの入力操作を受け付ける段階と、
前記アプリケーションサーバが、前記オンライン処理で得られたデータを入力データとしてキューに格納する段階と、
前記アプリケーションサーバが、前記キューに格納された前記入力データを順次取得し、該取得した入力データごとに、バッチ処理として構成されたジョブステップのうち自アプリケーションサーバで先行処理可能な第1ジョブステップの処理を実行し、該実行して得られた先行処理データを先行処理データファイルに記録する段階と、
前記バッチサーバが、前記複数のアプリケーションサーバの各先行処理データファイルを収集してマージする段階と、
前記バッチサーバが、前記マージ処理された先行処理データファイルに基づいて、前記先行処理データを順次読み込み、前記バッチ処理として構成されたジョブステップのうち前記第1ジョブステップを除いた第2ジョブステップの処理を実行する段階と、を含むバッチ処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011054695A JP5622049B2 (ja) | 2011-03-11 | 2011-03-11 | バッチ処理システム、及びバッチ処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011054695A JP5622049B2 (ja) | 2011-03-11 | 2011-03-11 | バッチ処理システム、及びバッチ処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012190355A JP2012190355A (ja) | 2012-10-04 |
JP5622049B2 true JP5622049B2 (ja) | 2014-11-12 |
Family
ID=47083408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011054695A Expired - Fee Related JP5622049B2 (ja) | 2011-03-11 | 2011-03-11 | バッチ処理システム、及びバッチ処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5622049B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108762901A (zh) * | 2012-12-24 | 2018-11-06 | 广东欧珀移动通信有限公司 | 基于移动终端的多项操作批处理的方法及移动终端 |
JP6303626B2 (ja) * | 2014-03-07 | 2018-04-04 | 富士通株式会社 | 処理プログラム、処理装置および処理方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0844670A (ja) * | 1994-07-29 | 1996-02-16 | Hitachi Ltd | ファイル管理方法およびそれを用いた計算機システムならびにその計算機システムの運用方法 |
JP2008097476A (ja) * | 2006-10-16 | 2008-04-24 | Hitachi Ltd | 逐次処理方式のバッチシステム |
US20090217272A1 (en) * | 2008-02-26 | 2009-08-27 | Vita Bortnikov | Method and Computer Program Product for Batch Processing |
JP5444900B2 (ja) * | 2009-07-10 | 2014-03-19 | 日本電気株式会社 | ジョブ実行管理システム、ジョブ実行管理方法、ジョブ実行管理プログラム |
-
2011
- 2011-03-11 JP JP2011054695A patent/JP5622049B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012190355A (ja) | 2012-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12073298B2 (en) | Machine learning service | |
CN106802826B (zh) | 一种基于线程池的业务处理方法及装置 | |
CN109947789B (zh) | 一种多数据库的数据处理的方法、装置、计算机设备及存储介质 | |
KR101616967B1 (ko) | 다수의 처리 명령어를 실시간으로 취급하고 처리하는 것과 관련된 개선 | |
US8347292B2 (en) | Transaction aggregation to increase transaction processing throughout | |
US9747086B2 (en) | Transmission point pattern extraction from executable code in message passing environments | |
CN107784026B (zh) | 一种etl数据处理方法及装置 | |
CN106528275A (zh) | 数据任务的处理方法及任务调度器 | |
US10768981B2 (en) | Dynamic time slicing for data-processing workflow | |
JP5552449B2 (ja) | データ分析及び機械学習処理装置及び方法及びプログラム | |
CN111240812B (zh) | 任务执行方法及装置 | |
US8132184B2 (en) | Complex event processing (CEP) adapters for CEP systems for receiving objects from a source and outputing objects to a sink | |
JP6032680B2 (ja) | 受信したデータごとに集計処理を行うシステム、方法およびプログラム | |
CN110764936A (zh) | 一种数据采集方法及装置 | |
CN110795479A (zh) | 基于数据的分布式etl调度的方法和装置 | |
CN112035230B (zh) | 一种任务调度文件生成方法、装置及存储介质 | |
CN102129443A (zh) | 基于usas主机的实时数据传输通道及其实时数据传输方法 | |
JP5622049B2 (ja) | バッチ処理システム、及びバッチ処理方法 | |
CN111460021A (zh) | 数据导出方法及装置 | |
JP6069503B2 (ja) | 系列データ並列分析基盤およびその並列分散処理方法 | |
CN112948096A (zh) | 一种批量调度方法、装置和设备 | |
CN113377791A (zh) | 一种数据处理方法、系统及计算设备 | |
CN112748855B (zh) | 处理高并发数据请求的方法和装置 | |
JP2003208323A (ja) | バッチジョブの実行方法、システムおよびプログラム | |
CN113672307A (zh) | 数据处理方法、电子设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140820 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140828 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140910 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5622049 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |