JP4127273B2 - 並列バッチ処理方式および方法ならびにサーバ装置およびそのプログラム - Google Patents
並列バッチ処理方式および方法ならびにサーバ装置およびそのプログラム Download PDFInfo
- Publication number
- JP4127273B2 JP4127273B2 JP2005074661A JP2005074661A JP4127273B2 JP 4127273 B2 JP4127273 B2 JP 4127273B2 JP 2005074661 A JP2005074661 A JP 2005074661A JP 2005074661 A JP2005074661 A JP 2005074661A JP 4127273 B2 JP4127273 B2 JP 4127273B2
- Authority
- JP
- Japan
- Prior art keywords
- processing
- thread
- input data
- distribution
- data file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
図1は本発明の構成を説明する図である。
図2は本発明の全体の構成を示す図である。
図3は入力データファイルの形式例を示す図である。
図4は処理種類情報ファイルの例を示す図である。
図5は振り分けスレッドと入力データファイル群の対応付け例を示す図である。
図6はデータキューとAP処理スレッドの対応付け例を示す図である。
(1)クライアントAP110/111/112からの処理要求を受け付ける要求受付手段。
(2)動作情報ファイル22の最大振り分けスレッド数222に従い振り分けスレッドを起動する振り分けスレッド起動手段。
(3)振り分けスレッドに入力データファイル群を対応づけてテーブルに登録し管理する手段。図5に振り分けスレッドと入力データファイル群の対応付けの例を示す。
(4)対応付けた入力データファイル群の振り分けを振り分けスレッドに要求する手段。
(5)処理種類情報ファイルに登録されている処理の種類に従いAP処理スレッドを起動するAP処理スレッド起動手段。
(6)振り分けスレッドから通知された振り分けデータ件数を合計した値が最大処理件数を超えたときに、或いは全ての入力データファイル群に未処理データファイルが存在しなくなったときに、AP処理スレッドにAP処理を要求する手段。
(7)データキュー領域を確保しAP処理スレッドに対応付けてテーブルに登録し管理する手段。図6にデータキューとAP処理スレッドの対応付けの例を示す。
(8)振り分けスレッドから対応付けられた全ての入力データファイルの振り分けが終了したことが通知されたとき、振り分けスレッドが対応付けられていない入力データファイルに振り分けスレッドを対応付ける手段。
図7は本発明の動作の流れ(その1)を示す図である。
図8は本発明の動作の流れ(その2)を示す図である。
3 ネットワーク
10 クライアント端末
11 クライアント端末
12 クライアント端末
20 AP処理プロセス
21 リーダースレッド
22 動作情報ファイル
40 出力データファイル群
41 出力データファイル群
110 クライアントAP
111 クライアントAP
112 クライアントAP
221 最大処理件数
222 最大振り分けスレッド数
231 振り分けスレッド
232 振り分けスレッド
241 AP処理スレッド
242 AP処理スレッド
251 データキュー
252 データキュー
261 DB
262 DB
130 入力データファイル群
131 入力データファイル群
132 入力データファイル群
130a 入力データファイル
130b 入力データファイル
131a 入力データファイル
131b 入力データファイル
132a 入力データファイル
132b 入力データファイル
Claims (8)
- サーバ装置と複数のクライアント端末とを備え、前記サーバ装置が前記クライアンント端末からの処理要求を受け付けて処理を実行する並列バッチ処理方式であって、
前記クライアント端末は、
前記クライアント端末に1対1に対応づけられた入力データファイル群中の入力データファイルに入力データを格納するデータ格納手段と、
前記サーバ装置に処理要求を行う処理要求手段とを含み、
前記サーバ装置は、
最大処理件数と最大振り分けスレッド数とを含む動作情報ファイルと、
前記入力データファイルを処理する内容の種類(処理種類)を登録している処理種類情報ファイルとを備え、
前記サーバ装置内での処理を並列に実行することができ、その並列実行の実行単位であるリーダースレッド,前記最大振り分けスレッド数と同数の振り分けスレッド,および前記処理種類と同数のAP処理スレッドを含み、
前記リーダースレッドに、
前記クライアント端末からの処理要求を受け付ける要求受付手段と、
前記振り分けスレッドを起動する振り分けスレッド起動手段と、
1つの前記入力データファイル群と1つの前記振り分けスレッドとを対応付ける手段と、
前記AP処理スレッドを起動するAP処理スレッド起動手段と、
前記振り分けスレッドから通知される振り分けデータ件数を合計した値が前記最大処理件数を超えたとき、或いは振り分け手段から全ての前記入力データファイル群の振り分けが終了したことが通知されたとき、前記AP処理スレッドに処理を要求する手段と、
前記振り分けスレッドから対応付けられた全ての前記入力データファイル群の振り分けが終了したことが通知されたとき、振り分けスレッドが対応付けられていない前記入力データファイル群に振り分けスレッドを対応付ける手段とを含み、
前記振り分けスレッドに、
対応付けられた前記入力データファイル群を参照して入力データをデータキューへ振り分ける振り分け手段を含み、
前記AP処理スレッドに、
前記データキューから入力データを入力してAP処理を行うAP処理手段を含む、
ことを特徴とする並列バッチ処理方式。 - 前記サーバ装置は、
前記AP処理スレッドが参照するデータベースを前記AP処理スレッドに1対1に対応付けて備える、
ことを特徴とする請求項1記載の並列バッチ処理方式。 - サーバ装置と複数のクライアント端末とを備え、前記サーバ装置が前記クライアンント端末からの処理要求を受け付けて処理を実行する並列バッチ処理方法であって、
前記クライアント端末は、
前記クライアント端末に1対1に対応づけられた入力データファイル群中の入力データファイルに入力データを格納し、
前記サーバ装置のリーダースレッドに処理要求を行い、
前記リーダースレッドは、
前記クライアント端末からの処理要求を受け付け、
動作情報ファイルに登録されている最大振り分けスレッド数と同数の振り分けスレッドを起動し、
処理種類情報ファイルに登録されている入力データファイルの処理の種類と同数のAP処理スレッドを起動し、
1つの前記入力データファイル群と1つの前記振り分けスレッドとを対応付け、
前記振り分けスレッドに振り分け処理を要求し、
前記振り分けスレッドは、
対応付けられた前記入力データファイル群を参照して入力データをデータキューへ振り分け、
振り分けたデータ件数を前記リーダースレッドに通知し、
前記リーダースレッドは、
前記振り分けスレッドから通知された振り分けデータ件数を合計した値が動作情報ファイルに登録されている最大処理件数を超えたとき前記AP処理スレッドに処理を要求し、
前記AP処理スレッドは、
前記データキューから入力データを入力してAP処理を行い、
前記AP処理スレッドが行うAP処理の実行と並列に、
前記リーダースレッドは、
前記振り分けスレッドに未処理の前記入力データファイル群を対応付け、
前記振り分けスレッドに振り分け処理を要求し、
前記振り分けスレッドは、
前記入力データファイル群を参照して入力データをデータキューへ振り分けを行う、
ことを特徴とする並列バッチ処理方法。 - 前記AP処理スレッドは、
前記AP処理スレッドに1対1に対応付けられたデータベースを参照する、
ことを特徴とする請求項3記載の並列バッチ処理方法。 - サーバ装置がクライアンント端末からの処理要求を受け付けて処理を実行する並列バッチ処理方式のサーバ装置であって、
最大処理件数と最大振り分けスレッド数とを含む動作情報ファイルと、
前記クライアント端末が前記クライアント端末に1対1に対応づけられた入力データファイル群中の、入力データを格納した入力データファイルを処理する内容の種類(処理種類)を登録している処理種類情報ファイルとを備え、
前記サーバ装置内での処理を並列に実行することができ、その並列実行の実行単位であるリーダースレッド,前記最大振り分けスレッド数と同数の振り分けスレッド,および前記処理種類と同数のAP処理スレッドを含み、
前記リーダースレッドに、
前記クライアント端末からの処理要求を受け付ける要求受付手段と、
前記振り分けスレッドを起動する振り分けスレッド起動手段と、
1つの前記入力データファイル群と1つの前記振り分けスレッドとを対応付ける手段と、
前記AP処理スレッドを起動するAP処理スレッド起動手段と、
前記振り分けスレッドから通知される振り分けデータ件数を合計した値が前記最大処理件数を超えたとき、或いは振り分け手段から全ての前記入力データファイル群の振り分けが終了したことが通知されたとき、前記AP処理スレッドに処理を要求する手段と、
前記振り分けスレッドから対応付けられた全ての前記入力データファイル群の振り分けが終了したことが通知されたとき、振り分けスレッドが対応付けられていない前記入力データファイル群に振り分けスレッドを対応付ける手段とを含み、
前記振り分けスレッドに、
対応付けられた前記入力データファイル群を参照して入力データをデータキューへ振り分ける振り分け手段を含み、
前記AP処理スレッドに、
前記データキューから入力データを入力してAP処理を行うAP処理手段を含む、
ことを特徴とするサーバ装置。 - 前記AP処理スレッドが参照するデータベースを前記AP処理スレッドに1対1に対応付けて備える、
ことを特徴とする請求項5記載のサーバ装置。 - サーバ装置がクライアンント端末からの処理要求を受け付けて処理を実行する並列バッチ処理方式におけるサーバ装置のプログラムであって、
サーバ装置に、
リーダースレッドが、前記クライアント端末からの処理要求を受け付ける機能、動作情報ファイルに登録されている最大振り分けスレッド数と同数の振り分けスレッドを起動する機能、前記クライアント端末に1対1に対応づけられた入力データファイル群と振り分けスレッドとを対応付ける機能、1つの前記入力データファイル群と1つの前記振り分けスレッドとを対応付ける機能、処理種類情報ファイルに登録されている入力データファイルの処理の種類と同数のAP処理スレッドを起動する機能、振り分けスレッドから通知される振り分けデータ件数を合計した値が動作情報ファイルに登録されている最大処理件数を超えたとき或いは振り分けスレッドから全ての前記入力データファイル群の振り分けが終了したことが通知されたときAP処理スレッドに処理を要求する機能、振り分けスレッドから対応付けられた全ての前記入力データファイル群の振り分けが終了したことが通知されたとき振り分けスレッドが対応付けられていない前記入力データファイル群に振り分けスレッドを対応付ける機能、
振り分けスレッドが、対応付けられた前記入力データファイル群を参照して入力データをデータキューへ振り分ける機能、
AP処理スレッドが、前記データキューから入力データを入力してAP処理を行う機能、
前記リーダースレッド,前記振り分けスレッド,および前記AP処理スレッドを並列に実行する機能、
を実現させるためのプログラム。 - 前記AP処理スレッドが前記AP処理スレッドに1対1に対応付けられているデータベー
スを参照する機能、
を実現させるための請求項7記載のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005074661A JP4127273B2 (ja) | 2005-03-16 | 2005-03-16 | 並列バッチ処理方式および方法ならびにサーバ装置およびそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005074661A JP4127273B2 (ja) | 2005-03-16 | 2005-03-16 | 並列バッチ処理方式および方法ならびにサーバ装置およびそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006259981A JP2006259981A (ja) | 2006-09-28 |
JP4127273B2 true JP4127273B2 (ja) | 2008-07-30 |
Family
ID=37099187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005074661A Expired - Fee Related JP4127273B2 (ja) | 2005-03-16 | 2005-03-16 | 並列バッチ処理方式および方法ならびにサーバ装置およびそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4127273B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010262355A (ja) | 2009-04-30 | 2010-11-18 | Nec Corp | 多段オンライントランザクションシステム、サーバ、トランザクションデータの入出力方法とそのプログラム |
JP5494021B2 (ja) * | 2010-03-04 | 2014-05-14 | 日本電気株式会社 | サーバ装置、情報処理方法、及び、プログラム |
US10459778B1 (en) * | 2018-07-16 | 2019-10-29 | Microsoft Technology Licensing, Llc | Sending messages between threads |
-
2005
- 2005-03-16 JP JP2005074661A patent/JP4127273B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006259981A (ja) | 2006-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240040006A1 (en) | Provisioning multiple network resources | |
US6886084B2 (en) | Storage controlling device and control method for a storage controlling device | |
JP5512215B2 (ja) | ジョブ処理システム及びその方法、そのプログラム | |
CN112835714B (zh) | 云边环境中面向cpu异构集群的容器编排方法、系统及介质 | |
US20210406102A1 (en) | Method and apparatus for providing asynchronicity to microservice application programming interfaces | |
US9262241B2 (en) | Computer system, computer-implemented method and computer program product for sequencing incoming messages for processing at an application | |
US20230153136A1 (en) | Robotic process automation system with device user impersonation | |
US20160132357A1 (en) | Data staging management system | |
WO2020034194A1 (zh) | 分布式数据处理方法、装置及系统和机器可读介质 | |
CN110532106A (zh) | 进程间的通讯方法、装置、设备和存储介质 | |
JP4127273B2 (ja) | 並列バッチ処理方式および方法ならびにサーバ装置およびそのプログラム | |
CN112087520A (zh) | 数据处理方法、装置、设备及计算机可读存储介质 | |
CN114897511A (zh) | 基于rpa技术的业务流程调度处理方法及系统 | |
JP6069503B2 (ja) | 系列データ並列分析基盤およびその並列分散処理方法 | |
CN113177179A (zh) | 数据请求连接管理方法、装置、设备及存储介质 | |
CN112328392A (zh) | 一种数据处理方法及相关设备 | |
CN111353766A (zh) | 分布式业务系统的业务流程处理系统及方法 | |
CN116226178A (zh) | 一种数据查询方法、装置、存储介质及电子装置 | |
JP2001229058A (ja) | データベースサーバ処理方法 | |
CN109213586A (zh) | 一种任务的调度方法及装置 | |
CN111813575B (zh) | 一种基于容器服务的定制化清理方法及系统 | |
CN110764903B (zh) | 弹性执行热容器方法、装置、设备和存储介质 | |
US20150331828A1 (en) | Computer-implemented gateway | |
JPH08235112A (ja) | 計算機システムの分散ジョブ管理方式 | |
CN113159621A (zh) | 一种企业外包服务资源管理平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20070119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070802 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070807 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080422 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080505 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4127273 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120523 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120523 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130523 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140523 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |