WO2012130162A1 - 基于并行处理的信息文件生成系统及方法 - Google Patents

基于并行处理的信息文件生成系统及方法 Download PDF

Info

Publication number
WO2012130162A1
WO2012130162A1 PCT/CN2012/073316 CN2012073316W WO2012130162A1 WO 2012130162 A1 WO2012130162 A1 WO 2012130162A1 CN 2012073316 W CN2012073316 W CN 2012073316W WO 2012130162 A1 WO2012130162 A1 WO 2012130162A1
Authority
WO
WIPO (PCT)
Prior art keywords
information file
task
temporary
file
information
Prior art date
Application number
PCT/CN2012/073316
Other languages
English (en)
French (fr)
Inventor
陈林
茅毓铭
Original Assignee
中国银联股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国银联股份有限公司 filed Critical 中国银联股份有限公司
Priority to US14/007,963 priority Critical patent/US9531792B2/en
Priority to EP12765514.0A priority patent/EP2696297B1/en
Priority to DK12765514.0T priority patent/DK2696297T3/da
Publication of WO2012130162A1 publication Critical patent/WO2012130162A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1858—Parallel file systems, i.e. file systems supporting multiple processors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification

Definitions

  • the present invention relates to an information file generating system and method, and more particularly to an information file generating system and method based on parallel processing. Background technique
  • the existing information file generating system and method generally adopt the database system's own export function or generate a special data exporting program developed for different applications. Information file.
  • the present invention proposes an information file generating system and method based on parallel processing.
  • An information file generating system based on parallel processing includes:
  • a file request processing device configured to receive and parse a file request instruction from an application server, and create an information file generation task and at least one temporary information file generation task according to the analysis result; a control device for monitoring execution of the information file generation task and updating a task status, and constructing response information regarding a generation situation of the information file;
  • a temporary task processing apparatus for processing the at least one temporary information file generating task based on a database and updating a state of the at least one temporary information file generating task
  • An exception handling device configured to generate a task processing exception event for the at least one temporary information file
  • An input/output device for transmitting the response information to the application server in accordance with an instruction of the control device, and receiving an acknowledgement message from the application server.
  • the file request processing apparatus further includes: a request parsing module, configured to parse the file request instruction, and create a file in the information file task table according to the parsing result Information file generation task;
  • a task decomposition module configured to decompose the information file generation task based on the file request instruction according to the file number and the distribution rule of the record to be processed, and create a file in the information file task temporary table Describe at least one temporary information file generation task.
  • control device further includes:
  • a status monitoring module configured to monitor tasks in the information file task table and the information file task temporary table and update task status
  • a file generating module configured to merge a file generated based on the information file generating task according to the updated task state, and construct response information regarding a generation situation of the information file.
  • the file generating module is further configured to add a label and security control information to the merged file.
  • the information file task table has at least one status flag corresponding to each of the temporary information file generating tasks.
  • each of the information file task temporary tables has a status flag corresponding to the temporary information file generating task it represents.
  • the state monitoring module updates the information file task table corresponding to the temporary information.
  • the status of the status flag bit of the file generation task preferably, when the state of the temporary information file generating task changes, the state monitoring module updates the information file task table corresponding to the temporary information. The status of the status flag bit of the file generation task.
  • the information file task table corresponds to the at least one information file task temporary table.
  • the status monitoring module queries the at least one information file task temporary table, and when When the temporary information file generating task corresponding to the at least one information file task temporary table is found to be completed, the status monitoring module updates the status flag bit in the information file task table to indicate that "temporary file generation is completed".
  • the status monitoring module is optionally terminated when a part of the temporary information file generating task in the temporary information file generating task corresponding to the at least one information file task temporary table is abnormally terminated.
  • the status flag bit in the information file task table is updated to indicate "temporary file abend", and the temporary information file generating task that abnormally terminates is not subsequently processed.
  • the status monitoring module sets the information file task table.
  • the status flag in the update is updated to indicate "regeneration", and the temporary information file generation task of the abnormal termination is restarted.
  • the status monitoring module when the temporary information file generating task corresponding to the at least one information file task temporary table has abnormally terminated, the status monitoring module will be in the information file task table.
  • the status flag is updated to indicate "File aborted”.
  • the file generation module merges the file generated based on the information file generation task and The merged file adds tags and security control information, and updates the status flag bits in the information file task table to indicate "file generation complete.”
  • the file generation module constructs information about the generation of the information file. Responding to the information, and transmitting the response information to the input/output device, and updating the status flag in the information file task table to indicate "normally all completed” or "abnormal all completed”.
  • the response information includes a finally generated information file.
  • the temporary task processing apparatus processes a plurality of temporary information file generating tasks in parallel.
  • the abnormality processing device monitors the information file task temporary table one by one in a round-robin mode, and performs a temporary information file generation task with a status of "abnormal” or "false normal”. Troubleshoot.
  • the abnormality processing device processes the abnormal information file generation task of the abnormality detected, and updates the state of the temporary information file generation task to "normal" after the processing is completed, and The temporary task processing device is rescheduled.
  • the input/output device updates the information file task table based on a response instruction sent by the application server.
  • An information file generating method based on parallel processing includes the following steps:
  • step (A2) further comprises:
  • step (B2) decomposing the information file generation task based on the file request instruction and according to the number of records in the database and the distribution rule of the record to be processed, and creating the at least one temporary information file generation task in the information file task temporary table .
  • the step (A4) further comprises:
  • the step (C2) further comprises adding a label and security control information to the merged file.
  • the information file task table has at least one status flag corresponding to each of the temporary information file generating tasks.
  • each of the information file task temporary tables has a status flag corresponding to the temporary information file generating task it represents.
  • the state of the status flag corresponding to the temporary information file generating task in the information file task table is updated.
  • the information file task table corresponds to the at least one information file task temporary table.
  • the at least one information file task temporary table is queried, and when the at least one is found When the temporary information file generation task corresponding to the information file task temporary table is completed, the status flag bit in the information file task table is updated to indicate "temporary file generation: 3 ⁇ 4%,.
  • the information file is The status flag in the task table is updated to indicate "temporary file abend", and the temporary information file generation task of abnormal termination is not subsequently processed.
  • the status flag bit in the information file task table is Updated to indicate "rebuild" and resume processing the aborted temporary information file generation task.
  • the status flag in the information file task table is updated.
  • the file generated based on the information file generation task is merged and merged
  • the file adds tags and security control information, and updates the status flag bits in the information file task table to indicate "file generation complete.”
  • the response information includes a finally generated information file.
  • a plurality of temporary information file generating tasks are processed in parallel.
  • the information file task temporary table is monitored in real time one by one in a round robin mode, and the temporary information file generation task whose status is "abnormal" or "pseudo normal” is checked.
  • the abnormal temporary information file generating task of the detected abnormality is processed, and the status of the temporary information file generating task is updated to "normal" after the processing is completed, and the temporary is re-executed Information file generation task.
  • the information file task table is updated based on a response instruction sent by the application server.
  • the parallel processing-based information file generating system and method disclosed by the invention have the following advantages: easy operation, ensuring real-time and accuracy, and improving system work efficiency and performance; enabling efficient data generation processing of large data volumes, and With 4 strong fault tolerance and control capabilities, it has good portability and scalability.
  • FIG. 1 is a structural diagram of an information file generating system based on parallel processing according to an embodiment of the present invention
  • FIG. 2 is a flow chart of a method for generating an information file based on parallel processing according to an embodiment of the present invention
  • the parallel processing-based information file generating system 1 includes a file request processing device 2, a control device 3, a temporary task processing device 4, an abnormality processing device 5, and an input/output device. 6.
  • the file request processing device 2 is configured to receive and parse a file request instruction from an application server, and create an information file generation task and at least one temporary information file generation task according to the analysis result.
  • the control device 3 is for monitoring the execution of the information file generation task and updating the task status, and constructing response information regarding the generation of the information file.
  • the temporary task processing apparatus 4 is configured to process the at least one temporary information file generation task based on a database and update the state of the at least one temporary information file generation task.
  • the exception handling device 5 is configured to generate a task processing exception event for the at least one temporary information file.
  • the input/output device 6 is configured to transmit the response information to the application server according to an instruction of the control device, and receive an acknowledgement message from the application server.
  • the file request processing device 2 further includes a request parsing module 7 and a task splitting module 8.
  • the request parsing module 7 is configured to parse the file request instruction, and create the information file generating task in the information file task table according to the parsing result.
  • the task decomposition module 8 is configured to decompose the information file generation task based on the file request instruction and according to the number of records in the database and the distribution rule of the record to be processed, and create the at least one in the information file task temporary table. Temporary information file generation task.
  • the control device 3 further includes a state monitoring module 9 and a file generating module 10.
  • the status monitoring module 9 is configured to monitor tasks in the information file task table and the information file task temporary table and update the task status.
  • the file generating module 10 is configured to merge according to the updated task status A file generated by the task generation task is generated based on the information file, and response information regarding a generation situation of the information file is constructed.
  • the file generating module 10 is further configured to add a label and security control information to the merged file.
  • the information file task table has at least one status flag bit corresponding to each of the temporary information file generating tasks.
  • each of the information file task temporary tables has a status flag corresponding to the temporary information file generating task it represents.
  • the information file task temporary table is used in the parallel processing-based information file generating system 1 of the present invention, and at least one temporary information file generating task is created therein. Therefore, when the amount of data corresponding to the file request instruction is very large, and the information file is time-consuming to generate, a large task can be decomposed into a plurality of smaller tasks, so that the concurrency characteristics of the system can be fully utilized. To greatly improve the ability to generate information files. On the other hand, the degree of coupling between modules in the system can be reduced and the granularity of abnormal processing can be reduced, so that the efficiency of generating information files can be significantly improved.
  • the state monitoring module 9 updates the location.
  • the information file task table corresponds to the at least one information file task temporary table (ie, the information file task table and the at least one
  • the status monitoring module 9 queries the At least one information file task temporary table, and when the temporary information file generating task corresponding to the at least one information file task temporary table is found to be completed, the status monitoring module 9 displays the status in the information file task table The flag is updated to indicate that "temporary files have been generated to make,,.
  • the status monitoring module 9 updates the status flag bit in the information file task table to indicate "temporary file abnormal termination", and does not continue to process the abnormally terminated temporary information file generating task.
  • the state is The monitoring module 9 updates the status flag bit in the information file task table to indicate "regeneration" and resumes processing the abnormally terminated temporary information file generating task.
  • the reason for the abnormal termination may be a database connection abnormality, a file NFS network interruption, or the like. It can be seen from the above that when the above-mentioned typical abnormality occurs, by increasing the number of attempts, the program adaptive fault tolerance can be enhanced and the time consumption caused by the entire task reprocessing can be reduced.
  • Module 9 updates the status flag in the information file task table to indicate "file aborted"
  • the file is added with tags and security control. Information, and updating the status flag bits in the information file task table to indicate "file generation complete”.
  • the file generation The module 10 constructs response information regarding the generation of the information file, and transmits the response information (including the finally generated information file) to the input/output device 6, and the status flag in the information file task table Updated to indicate "normally complete” or "all exceptions are completed,".
  • the temporary task processing device 4 processes a plurality of temporary information file generating tasks in parallel (i.e., simultaneously). It can be seen from the above that the information file generated by the parallel processing-based information file generating system disclosed by the present invention can provide personalized extraction, calculation and conversion of database records to file records.
  • the abnormality processing device 5 monitors the information file task temporary table one by one in a round-robin mode, and for the status is "abnormal" or " The pseudo-normal temporary information file generation task is checked.
  • the exception processing device 5 processes the temporary information file generating task of the detected abnormality, and updates the state of the temporary information file generating task to "normal” after the processing is completed, and re-schedules the temporary task processing.
  • the input/output device 6 may further update the information file task table based on a response instruction (i.e., a confirmation message) sent by the application server.
  • a response instruction i.e., a confirmation message
  • the file request processing device 2 receives and parses a file request instruction from the application server, and creates a file request instruction according to the parsing result.
  • An information file generating task and at least one temporary information file generating task (that is, decomposing the information file generating task into at least one temporary information file generating task); the control device 3 monitoring execution of the information file generating task and updating the task status, And constructing response information regarding the generation of the information file when the execution of all the temporary information file generation tasks is completed (the response information includes the finally generated information file;); the temporary task processing device 4 processes the at least one in parallel based on the database a temporary information file generating task and updating a state of the at least one temporary information file generating task; the exception processing device 5 generating a task processing abnormal event for the at least one temporary information file; the input/output device 6 according to the Instruction system means transmits the response information to the application server, and receives an acknowledgment message from the application server.
  • the method for generating an information file based on parallel processing disclosed by the present invention includes the following steps: (A1) receiving from a file request instruction of the application server; (A2) parsing the file request instruction, and creating an information file generation task and at least one temporary information file generation task according to the analysis result; (A3) processing the at least one temporary information file generation task based on the database And update the description to (1) monitoring the execution of the at least one temporary information file generation task and updating the task status, and constructing the generation of the information file when the temporary information file generation task has been executed.
  • the response information includes a finally generated information file.
  • the step (A2) further includes: (B1) parsing the file request instruction, and creating a file in the information file task table according to the parsing result. Decoding the information file generating task; (B2) decomposing the information file generating task based on the file request instruction and according to the number of records in the database and the distribution rule of the record to be processed, and creating the at least in the information file task temporary table A temporary information file generation task.
  • the step (A4) further includes: (C1) monitoring a task in the information file task table and the information file task temporary table and Updating the task status; (C2) merging the file generated based on the information file generation task according to the updated task status, and constructing response information regarding the generation status of the information file.
  • said step (C2) further comprises adding a label and security control information to said merged file.
  • the information file task table has at least one status flag corresponding to each of the temporary information file generating tasks.
  • each of the information file task temporary tables has a status flag bit corresponding to the temporary information file generating task it represents.
  • the information file task temporary table is used in the parallel processing-based information file generating method disclosed in the present invention, and at least one temporary information file generating task is created therein. Therefore, when the amount of data corresponding to the file request instruction is very large, and the information file is time-consuming to generate, a large task can be decomposed into a plurality of smaller tasks, so that the concurrency characteristics of the system can be fully utilized. To greatly improve the ability to generate information files. On the other hand, it can reduce the degree of coupling between modules in the system and reduce the granularity of abnormal processing, which can significantly improve the efficiency of information file generation.
  • the state of the temporary information file generating task (for example, completion, abnormal termination, etc.) changes, the state of the status flag bit corresponding to the temporary information file generating task in the information file task table is updated.
  • the information file task table corresponds to the at least one information file task temporary table (ie, the information file task table and the at least one information)
  • the at least one information file task temporary table is queried. And when it is found that the temporary information file generating task corresponding to the at least one information file task temporary table is completed, the status flag bit in the information file task table is updated to indicate "temporary file generation completion".
  • a part of the temporary information file generating task in the temporary information file generating task corresponding to the at least one information file task temporary table is abnormally terminated. And updating the status flag bit in the information file task table to indicate "temporary file abnormal termination", and subsequently discontinuing processing of the abnormally terminated temporary information file generating task.
  • the information is The status flag bit in the file task table is updated to indicate "regeneration", and the temporary information file generation task of the abnormal termination is restarted.
  • the reason for the abnormal termination may be a database connection abnormality, a file NFS network interruption, or the like. It can be seen from the above that when the above-mentioned typical abnormality occurs, by increasing the number of attempts, the program can adapt to the fault tolerance and reduce the time consumption caused by the entire task reprocessing.
  • the information file is The status flag bit in the task table is updated to indicate "file abnormal termination”.
  • the status flag bit in the information file task table indicates "temporary file” Generate complete"
  • merge based on the Information and updating the status flag bit in the information file task table to indicate "file generation completed,”.
  • the status flag bit in the information file task table indicates "file generation completion” or "file abnormal termination”
  • constructing information file Generating response information for the situation and transmitting the response information (including the finally generated information file) to the application server, and updating the status flag in the information file task table to indicate "normally all completed” or " The exception is all completed.”
  • the parallel processing-based information file generating method disclosed in the present invention a plurality of temporary information file generating tasks are processed in parallel (i.e., simultaneously). It can be seen from the above that the information file generated by the parallel processing-based information file generating method disclosed by the present invention can provide personalized extraction, calculation and conversion of database records to file records.
  • the information file task temporary table is monitored in real time by using a round robin mode, and the temporary information file whose status is "abnormal” or "false normal” is used. Generate tasks for troubleshooting.
  • the abnormal temporary information file generating task is processed, and the status of the temporary information file generating task is updated to "normal” after the processing is completed, and the temporary information file generating task is re-executed.
  • the information file task table may be further updated based on a response instruction sent by the application server (ie, an acknowledgement message sent by the application server).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种基于并行处理的信息文件生成系统及方法。其中，所述基于并行处理的信息文件生成系统包括：文件请求处理装置、控制装置、临时任务处理装置、异常处理装置和输入/输出装置。其中，所述文件请求处理装置用于接收并解析来自应用服务器的文件请求指令，并根据解析结果创建信息文件生成任务以及至少一个临时信息文件生成任务。本发明所公开的基于并行处理的信息文件生成系统及方法易于操作、可确保实时性和准确性并且能够提高系统工作效率和性能。

Description

基于并行处理的信息文件生成系统及方法 技术领域
本发明涉及信息文件生成系统及方法， 更具体地， 涉及基于并行处理的信 息文件生成系统及方法。 背景技术
目前，随着信息数据处理需求的日益增长以及不同领域的业务种类的日益 丰富， 信息文件（例如电信和金融系统中的流水文件， 其是相关各方进行交易 明细匹配和勾兌的有效手段之一） 的生成系统及方法变得越来越重要。
由于对实时性要求不高并且数据量偏少，故现有的信息文件生成系统及方 法通常采用数据库系统自有的导出功能或者采用针对不同应用而开发的专用 筒易数据导出程序而生成所述信息文件。
然而，随着信息数据处理需求的日益增长以及不同领域的业务种类的日益 丰富， 对信息文件生成的实时性要求越来越高， 并且， 随着数据量的急剧膨胀 有的信息文件生成系统及方法越来越不能满足对实时性的要求。
因此， 存在如下需求： 提供一种易于操作、 可确保实时性和准确性并且能 够提高系统工作效率和性能的基于并行处理的信息文件生成系统及方法。 发明内容
为了解决上述现有技术方案所存在的缺陷，本发明提出了一种基于并行处 理的信息文件生成系统及方法。
本发明的目的是通过以下技术方案实现的：
一种基于并行处理的信息文件生成系统，所述基于并行处理的信息文件生 成系统包括：
文件请求处理装置，所述文件请求处理装置用于接收并解析来自应用服务 器的文件请求指令，并根据解析结果创建信息文件生成任务以及至少一个临时 信息文件生成任务； 控制装置，所述控制装置用于监视所述信息文件生成任务的执行并更新任 务状态， 以及构造关于信息文件的生成情况的响应信息；
临时任务处理装置，所述临时任务处理装置用于基于数据库处理所述至少 一个临时信息文件生成任务并更新所述至少一个临时信息文件生成任务的状 态；
异常处理装置，所述异常处理装置用于针对所述至少一个临时信息文件生 成任务处理异常事件；
输入 /输出装置，所述输入 /输出装置用于根据所述控制装置的指令将所述 响应信息发送到所述应用服务器， 并接收来自所述应用服务器的确认消息。
在上面所公开的方案中， 优选地， 所述文件请求处理装置进一步包括： 请求解析模块， 所述请求解析模块用于解析所述文件请求指令， 并根据解 析结果在信息文件任务表中创建所述信息文件生成任务；
任务分解模块，所述任务分解模块用于基于所述文件请求指令并根据所述 数据库中的记录数以及待处理记录的分布规律分解所述信息文件生成任务并 在信息文件任务临时表中创建所述至少一个临时信息文件生成任务。
在上面所公开的方案中， 优选地， 所述控制装置进一步包括：
状态监控模块，所述状态监控模块用于监控所述信息文件任务表和所述信 息文件任务临时表中的任务并更新任务状态；
文件生成模块，所述文件生成模块用于根据所述更新的任务状态合并基于 所述信息文件生成任务生成的文件，以及构造关于信息文件的生成情况的响应 信息。
在上面所公开的方案中，优选地， 所述文件生成模块进一步用于为所述经 合并的文件添加标签以及安全控制信息。
在上面所公开的方案中，优选地， 所述信息文件任务表具有至少一个对应 于每个所述临时信息文件生成任务的状态标志位。
在上面所公开的方案中，优选地，每个所述信息文件任务临时表具有对应 于其所表示的临时信息文件生成任务的状态标志位。
在上面所公开的方案中，优选地， 当所述临时信息文件生成任务的状态发 生变化时，所述状态监控模块更新所述信息文件任务表中对应于所述临时信息 文件生成任务的状态标志位的状态。
在上面所公开的方案中，优选地， 所述信息文件任务表对应于所述至少一 个信息文件任务临时表。
在上面所公开的方案中，优选地， 当所述信息文件任务表中的状态标志位 指示 "临时文件正在生成"， 则所述状态监控模块查询所述至少一个信息文件 任务临时表，并且当发现所述至少一个信息文件任务临时表对应的所述临时信 息文件生成任务均完成时，则所述状态监控模块将所述信息文件任务表中的状 态标志位更新为指示 "临时文件生成完成"。
在上面所公开的方案中， 可选地， 当所述至少一个信息文件任务临时表对 应的所述临时信息文件生成任务中的一部分临时信息文件生成任务发生了异 常终止，则所述状态监控模块将所述信息文件任务表中的状态标志位更新为指 示 "临时文件异常终止"， 并且后续不再继续处理异常终止的所述临时信息文 件生成任务。
在上面所公开的方案中， 可选地， 当所述至少一个信息文件任务临时表对 应的所述临时信息文件生成任务中发生了异常终止，则所述状态监控模块将所 述信息文件任务表中的状态标志位更新为指示 "重新生成"， 并重新开始处理 所述异常终止的临时信息文件生成任务。
在上面所公开的方案中，优选地， 当所述至少一个信息文件任务临时表对 应的所述临时信息文件生成任务均发生了异常终止，则所述状态监控模块将所 述信息文件任务表中的状态标志位更新为指示 "文件异常终止"。
在上面所公开的方案中，优选地， 当所述信息文件任务表中的状态标志位 指示 "临时文件生成完成"， 则所述文件生成模块合并基于所述信息文件生成 任务生成的文件并为所述经合并的文件添加标签以及安全控制信息，以及将所 述信息文件任务表中的状态标志位更新为指示 "文件生成完成"。
在上面所公开的方案中，优选地， 当所述信息文件任务表中的状态标志位 指示 "文件生成完成" 或 "文件异常终止"， 则所述文件生成模块构造关于信 息文件的生成情况的响应信息，并将所述响应信息发送到所述输入 /输出装置， 以及将所述信息文件任务表中的状态标志位更新为指示 "正常全部完成"或"异 常全部完成"。 在上面所公开的方案中，优选地，所述响应信息包含最终生成的信息文件。 在上面所公开的方案中，优选地， 所述临时任务处理装置并行地处理多个 临时信息文件生成任务。
在上面所公开的方案中，优选地， 所述异常处理装置采用轮循模式逐一实 时监控所述信息文件任务临时表， 并且对于状态为 "异常" 或者 "伪正常" 的 临时信息文件生成任务进行排查。
在上面所公开的方案中，优选地， 所述异常处理装置处理排查出的异常的 临时信息文件生成任务，并在处理完毕后将所述临时信息文件生成任务的状态 更新为 "正常"， 以及重新调度所述临时任务处理装置。
在上面所公开的方案中， 优选地， 所述输入 /输出装置基于所述应用服务 器发送的响应指令更新所述信息文件任务表。
本发明的目的还通过以下技术方案实现：
一种基于并行处理的信息文件生成方法，所述基于并行处理的信息文件生 成方法包括如下步骤：
( A1 )接收来自应用服务器的文件请求指令；
( A2 )解析所述文件请求指令， 并根据解析结果创建信息文件生成任务以 及至少一个临时信息文件生成任务；
( A3 )基于数据库处理所述至少一个临时信息文件生成任务并更新所述至 少一个临时信息文件生成任务的状态；
( A4 )监视所述至少一个临时信息文件生成任务的执行并更新任务状态， 并在所述临时信息文件生成任务均已执行完成时构造关于信息文件的生成情 况的响应信息；
( A5 )将所述响应信息发送到所述应用服务器。
在上面所公开的方案中， 优选地， 所述步骤（A2 )进一步包括：
( B1 )解析所述文件请求指令， 并根据解析结果在信息文件任务表中创建 所述信息文件生成任务；
( B2 )基于所述文件请求指令并根据所述数据库中的记录数以及待处理记 录的分布规律分解所述信息文件生成任务并在信息文件任务临时表中创建所 述至少一个临时信息文件生成任务。 在上面所公开的方案中， 优选地， 所述步骤（A4 )进一步包括：
( C1 )监控所述信息文件任务表和所述信息文件任务临时表中的任务并更 新任务状态；
( C2 )根据所述更新的任务状态合并基于所述信息文件生成任务生成的文 件， 以及构造关于信息文件的生成情况的响应信息。
在上面所公开的方案中， 优选地， 所述步骤（C2 )进一步包括为所述经合 并的文件添加标签以及安全控制信息。
在上面所公开的方案中，优选地， 所述信息文件任务表具有至少一个对应 于每个所述临时信息文件生成任务的状态标志位。
在上面所公开的方案中，优选地，每个所述信息文件任务临时表具有对应 于其所表示的临时信息文件生成任务的状态标志位。
在上面所公开的方案中，优选地， 当所述临时信息文件生成任务的状态发 生变化时，更新所述信息文件任务表中对应于所述临时信息文件生成任务的状 态标志位的 态。
在上面所公开的方案中，优选地， 所述信息文件任务表对应于所述至少一 个信息文件任务临时表。
在上面所公开的方案中，优选地， 当所述信息文件任务表中的状态标志位 指示 "临时文件正在生成"， 则查询所述至少一个信息文件任务临时表， 并且 当发现所述至少一个信息文件任务临时表对应的所述临时信息文件生成任务 均完成时， 则将所述信息文件任务表中的状态标志位更新为指示 "临时文件生 成： ¾成，，。
在上面所公开的方案中， 可选地， 当所述至少一个信息文件任务临时表对 应的所述临时信息文件生成任务中的一部分临时信息文件生成任务发生了异 常终止， 则将所述信息文件任务表中的状态标志位更新为指示 "临时文件异常 终止"， 并且后续不再继续处理异常终止的所述临时信息文件生成任务。
在上面所公开的方案中， 可选地， 当所述至少一个信息文件任务临时表对 应的所述临时信息文件生成任务中发生了异常终止，则将所述信息文件任务表 中的状态标志位更新为指示 "重新生成"， 并重新开始处理所述异常终止的临 时信息文件生成任务。 在上面所公开的方案中，优选地， 当所述至少一个信息文件任务临时表对 应的所述临时信息文件生成任务均发生了异常终止，则将所述信息文件任务表 中的状态标志位更新为指示 "文件异常终止"
在上面所公开的方案中，优选地， 当所述信息文件任务表中的状态标志位 指示 "临时文件生成完成"， 则合并基于所述信息文件生成任务生成的文件并 为所述经合并的文件添加标签以及安全控制信息，以及将所述信息文件任务表 中的状态标志位更新为指示 "文件生成完成"。
在上面所公开的方案中，优选地， 当所述信息文件任务表中的状态标志位 指示 "文件生成完成" 或 "文件异常终止"， 则构造关于信息文件的生成情况 的响应信息， 并将所述响应信息发送到所述应用服务器， 以及将所述信息文件 任务表中的状态标志位更新为指示 "正常全部完成" 或 "异常全部完成"。
在上面所公开的方案中，优选地，所述响应信息包含最终生成的信息文件。 在上面所公开的方案中，优选地，并行地处理多个临时信息文件生成任务。 在上面所公开的方案中，优选地， 采用轮循模式逐一实时监控所述信息文 件任务临时表， 并且对于状态为 "异常" 或者 "伪正常" 的临时信息文件生成 任务进行排查。
在上面所公开的方案中，优选地， 处理排查出的异常的临时信息文件生成 任务， 并在处理完毕后将所述临时信息文件生成任务的状态更新为 "正常"， 以及重新执行所述临时信息文件生成任务。
在上面所公开的方案中，优选地，基于所述应用服务器发送的响应指令更 新所述信息文件任务表。
本发明所公开的基于并行处理的信息文件生成系统及方法具有如下优点： 易于操作、可确保实时性和准确性并且能够提高系统工作效率和性能； 能够实 现大数据量的文件高效生成处理， 并具备 4艮强的容错、控制能力， 因而具有较 好的可移植性和可扩展性。 附图说明
结合附图， 本发明的技术特征以及优点将会被本领域技术人员更好地理 解， 其中： 图 1为根据本发明的实施例的基于并行处理的信息文件生成系统的结构 图；
图 2为根据本发明的实施例的基于并行处理的信息文件生成方法的流程 图； 具体实施方式
图 1是根据本发明的实施例的基于并行处理的信息文件生成系统的结构 图。 如图 1所示， 示例性地， 本发明所公开的基于并行处理的信息文件生成系 统 1包括文件请求处理装置 2、 控制装置 3、 临时任务处理装置 4、 异常处理装置 5和输入 /输出装置 6。其中， 所述文件请求处理装置 2用于接收并解析来自应用 服务器的文件请求指令，并根据解析结果创建信息文件生成任务以及至少一个 临时信息文件生成任务。 所述控制装置 3用于监视所述信息文件生成任务的执 行并更新任务状态， 以及构造关于信息文件的生成情况的响应信息。所述临时 任务处理装置 4用于基于数据库处理所述至少一个临时信息文件生成任务并更 新所述至少一个临时信息文件生成任务的状态。 所述异常处理装置 5用于针对 所述至少一个临时信息文件生成任务处理异常事件。所述输入 /输出装置 6用于 根据所述控制装置的指令将所述响应信息发送到所述应用服务器，并接收来自 所述应用服务器的确认消息。
如图 1所示， 示例性地， 在本发明所公开的基于并行处理的信息文件生成 系统 1中， 所述文件请求处理装置 2进一步包括请求解析模块 7和任务分解模块 8。 其中， 所述请求解析模块 7用于解析所述文件请求指令， 并根据解析结果在 信息文件任务表中创建所述信息文件生成任务。 所述任务分解模块 8用于基于 所述文件请求指令并根据所述数据库中的记录数以及待处理记录的分布规律 分解所述信息文件生成任务并在信息文件任务临时表中创建所述至少一个临 时信息文件生成任务。
如图 1所示， 示例性地， 在本发明所公开的基于并行处理的信息文件生成 系统 1中， 所述控制装置 3进一步包括状态监控模块 9和文件生成模块 10。 所述 状态监控模块 9用于监控所述信息文件任务表和所述信息文件任务临时表中的 任务并更新任务状态。所述文件生成模块 10用于根据所述更新的任务状态合并 基于所述信息文件生成任务生成的文件，以及构造关于信息文件的生成情况的 响应信息。优选地， 所述文件生成模块 10进一步用于为所述经合并的文件添加 标签以及安全控制信息。
优选地， 在本发明所公开的基于并行处理的信息文件生成系统 1中， 所述 信息文件任务表具有至少一个对应于每个所述临时信息文件生成任务的状态 标志位。
优选地， 在本发明所公开的基于并行处理的信息文件生成系统 1中， 每个 所述信息文件任务临时表具有对应于其所表示的临时信息文件生成任务的状 态标志位。
由上可知， 在本发明所公开的基于并行处理的信息文件生成系统 1中使用 了信息文件任务临时表， 并在其中创建了至少一个临时信息文件生成任务。 因 此， 当所述文件请求指令对应的数据量非常大， 生成信息文件比较耗时的情况 下， 可以将一个较大的任务分解成多个较小的任务，从而可以充分利用系统的 并发特性， 以大幅度的提升信息文件生成的能力。 另一方面， 可以降低系统中 模块之间的耦合度并将降低异常处理的颗粒度，从而可以显著提升信息文件的 生成效率。
优选地， 在本发明所公开的基于并行处理的信息文件生成系统 1中， 当所 述临时信息文件生成任务的状态（例如完成、 异常终止等）发生变化时， 所述 状态监控模块 9更新所述信息文件任务表中对应于所述临时信息文件生成任务 的状态标志位的状态。
优选地， 在本发明所公开的基于并行处理的信息文件生成系统 1中， 所述 信息文件任务表对应于所述至少一个信息文件任务临时表（即所述信息文件任 务表与所述至少一个信息文件任务临时表之间是 1 : N ( N>=1 )的对应关系， 由 此， 所述状态监控模块 9需要实时监控 1+N条任务的状态信息）。
优选地， 在本发明所公开的基于并行处理的信息文件生成系统 1中， 当所 述信息文件任务表中的状态标志位指示 "临时文件正在生成"， 则所述状态监 控模块 9查询所述至少一个信息文件任务临时表， 并且当发现所述至少一个信 息文件任务临时表对应的所述临时信息文件生成任务均完成时，则所述状态监 控模块 9将所述信息文件任务表中的状态标志位更新为指示 "临时文件生成完 成，，。
优选地， 在本发明所公开的基于并行处理的信息文件生成系统 1中， 当所 述至少一个信息文件任务临时表对应的所述临时信息文件生成任务中的一部 分临时信息文件生成任务发生了异常终止， 则所述状态监控模块 9将所述信息 文件任务表中的状态标志位更新为指示 "临时文件异常终止"， 并且后续不再 继续处理异常终止的所述临时信息文件生成任务。
可替代地， 在本发明所公开的基于并行处理的信息文件生成系统 1中， 当 所述至少一个信息文件任务临时表对应的所述临时信息文件生成任务中发生 了异常终止， 则所述状态监控模块 9将所述信息文件任务表中的状态标志位更 新为指示 "重新生成"， 并重新开始处理所述异常终止的临时信息文件生成任 务。 本领域技术人员应该理解， 所述异常终止的原因可以是数据库连接异常、 文件 NFS网络中断等。 由上可知， 当上述典型的异常发生时， 通过提高尝试的 次数，可以增强程序自适应容错能力并减少了整个任务重新处理所带来的时间 消耗。
优选地， 在本发明所公开的基于并行处理的信息文件生成系统 1中， 当所 述至少一个信息文件任务临时表对应的所述临时信息文件生成任务均发生了 异常终止， 则所述状态监控模块 9将所述信息文件任务表中的状态标志位更新 为指示 "文件异常终止"
优选地， 在本发明所公开的基于并行处理的信息文件生成系统 1中， 当所 述信息文件任务表中的状态标志位指示 "临时文件生成完成"， 则所述文件生 添加标签以及安全控制信息，以及将所述信息文件任务表中的状态标志位更新 为指示 "文件生成完成"。
优选地， 在本发明所公开的基于并行处理的信息文件生成系统 1中， 当所 述信息文件任务表中的状态标志位指示 "文件生成完成"或 "文件异常终止"， 则所述文件生成模块 10构造关于信息文件的生成情况的响应信息，并将所述响 应信息（包含最终生成的信息文件 )发送到所述输入 /输出装置 6 , 以及将所述 信息文件任务表中的状态标志位更新为指示 "正常全部完成"或 "异常全部完 成，，。 优选地， 在本发明所公开的基于并行处理的信息文件生成系统 1中， 所述 临时任务处理装置 4并行地（即同时）处理多个临时信息文件生成任务。 由上 可知，本发明所公开的基于并行处理的信息文件生成系统生成的信息文件可以 提供数据库记录到文件记录的个性化的提取、 计算和转换。
优选地， 在本发明所公开的基于并行处理的信息文件生成系统 1中， 所述 异常处理装置 5采用轮循模式逐一实时监控所述信息文件任务临时表， 并且对 于状态为 "异常"或者 "伪正常"的临时信息文件生成任务进行排查。优选地， 所述异常处理装置 5处理排查出的异常的临时信息文件生成任务， 并在处理完 毕后将所述临时信息文件生成任务的状态更新为 "正常"， 以及重新调度所述 临时任务处理装置 4。
优选地，所述输入 /输出装置 6可以进一步基于所述应用服务器发送的响应 指令（即确认消息） 更新所述信息文件任务表。
如图 1所示， 本发明所公开的基于并行处理的信息文件生成系统的基本工 作原理如下： 所述文件请求处理装置 2接收并解析来自所述应用服务器的文件 请求指令，并根据解析结果创建信息文件生成任务以及至少一个临时信息文件 生成任务（即将所述信息文件生成任务分解为至少一个临时信息文件生成任 务）； 所述控制装置 3监视所述信息文件生成任务的执行并更新任务状态， 并在 所有临时信息文件生成任务执行完成时构造关于信息文件的生成情况的响应 信息（该响应信息包括最终生成的信息文件；)； 所述临时任务处理装置 4基于数 据库并行地处理所述至少一个临时信息文件生成任务并更新所述至少一个临 时信息文件生成任务的状态； 所述异常处理装置 5针对所述至少一个临时信息 文件生成任务处理异常事件；所述输入 /输出装置 6根据所述控制装置的指令将 所述响应信息发送到所述应用服务器， 并接收来自所述应用服务器的确认消 息。
图 2是根据本发明的实施例的基于并行处理的信息文件生成方法的流程 图， 如图 2所示， 本发明所公开的基于并行处理的信息文件生成方法包括如下 步骤： （A1 )接收来自应用服务器的文件请求指令； （ A2 )解析所述文件请求指 令，并根据解析结果创建信息文件生成任务以及至少一个临时信息文件生成任 务； （A3 )基于数据库处理所述至少一个临时信息文件生成任务并更新所述至 少一个临时信息文件生成任务的状态； （A4 )监视所述至少一个临时信息文件 生成任务的执行并更新任务状态，并在所述临时信息文件生成任务均已执行完 成时构造关于信息文件的生成情况的响应信息； 5 )将所述响应信息发送到 所述应用服务器。 优选地， 所述响应信息包括最终生成的信息文件。
优选地，在本发明所公开的基于并行处理的信息文件生成方法中， 所述步 骤（A2 )进一步包括： （ B1 )解析所述文件请求指令， 并根据解析结果在信息 文件任务表中创建所述信息文件生成任务； （B2 )基于所述文件请求指令并根 据所述数据库中的记录数以及待处理记录的分布规律分解所述信息文件生成 任务并在信息文件任务临时表中创建所述至少一个临时信息文件生成任务。
优选地，在本发明所公开的基于并行处理的信息文件生成方法中， 所述步 骤（A4 )进一步包括： （C1 )监控所述信息文件任务表和所述信息文件任务临 时表中的任务并更新任务状态； （C2 )根据所述更新的任务状态合并基于所述 信息文件生成任务生成的文件， 以及构造关于信息文件的生成情况的响应信 息。 优选地， 所述步骤（C2 )进一步包括为所述经合并的文件添加标签以及安 全控制信息。
优选地，在本发明所公开的基于并行处理的信息文件生成方法中， 所述信 息文件任务表具有至少一个对应于每个所述临时信息文件生成任务的状态标 志位。
优选地，在本发明所公开的基于并行处理的信息文件生成方法中，每个所 述信息文件任务临时表具有对应于其所表示的临时信息文件生成任务的状态 标志位。
由上可知，在本发明所公开的基于并行处理的信息文件生成方法中使用了 信息文件任务临时表，并在其中创建了至少一个临时信息文件生成任务。因此， 当所述文件请求指令对应的数据量非常大， 生成信息文件比较耗时的情况下， 可以将一个较大的任务分解成多个较小的任务，从而可以充分利用系统的并发 特性， 以大幅度的提升信息文件生成的能力。 另一方面， 可以降低系统中模块 之间的耦合度并将降低异常处理的颗粒度，从而可以显著提升信息文件的生成 效率。
优选地，在本发明所公开的基于并行处理的信息文件生成方法中， 当所述 临时信息文件生成任务的状态（例如完成、 异常终止等）发生变化时， 更新所 述信息文件任务表中对应于所述临时信息文件生成任务的状态标志位的状态。
优选地，在本发明所公开的基于并行处理的信息文件生成方法中， 所述信 息文件任务表对应于所述至少一个信息文件任务临时表（即所述信息文件任务 表与所述至少一个信息文件任务临时表之间是 1 : N ( N>=1 )的对应关系， 由此， 需要实时监控 1+N条任务的状态信息）。
优选地，在本发明所公开的基于并行处理的信息文件生成方法中， 当所述 信息文件任务表中的状态标志位指示 "临时文件正在生成"， 则查询所述至少 一个信息文件任务临时表，并且当发现所述至少一个信息文件任务临时表对应 的所述临时信息文件生成任务均完成时，则将所述信息文件任务表中的状态标 志位更新为指示 "临时文件生成完成"。
优选地，在本发明所公开的基于并行处理的信息文件生成方法中， 当所述 至少一个信息文件任务临时表对应的所述临时信息文件生成任务中的一部分 临时信息文件生成任务发生了异常终止，则将所述信息文件任务表中的状态标 志位更新为指示 "临时文件异常终止"， 并且后续不再继续处理异常终止的所 述临时信息文件生成任务。
可替代地，在本发明所公开的基于并行处理的信息文件生成方法中， 当所 述至少一个信息文件任务临时表对应的所述临时信息文件生成任务中发生了 异常终止， 则将所述信息文件任务表中的状态标志位更新为指示 "重新生成"， 并重新开始处理所述异常终止的临时信息文件生成任务。本领域技术人员应该 理解， 所述异常终止的原因可以是数据库连接异常、 文件 NFS网络中断等。 由 上可知， 当上述典型的异常发生时， 通过提高尝试的次数， 可以增强程序自适 应容错能力并减少了整个任务重新处理所带来的时间消耗。
优选地，在本发明所公开的基于并行处理的信息文件生成方法中， 当所述 至少一个信息文件任务临时表对应的所述临时信息文件生成任务均发生了异 常终止，则将所述信息文件任务表中的状态标志位更新为指示 "文件异常终止" 优选地，在本发明所公开的基于并行处理的信息文件生成方法中， 当所述 信息文件任务表中的状态标志位指示 "临时文件生成完成"， 则合并基于所述 信息， 以及将所述信息文件任务表中的状态标志位更新为指示 "文件生成完 成，，。
优选地，在本发明所公开的基于并行处理的信息文件生成方法中， 当所述 信息文件任务表中的状态标志位指示 "文件生成完成" 或 "文件异常终止"， 则构造关于信息文件的生成情况的响应信息， 并将所述响应信息（包含最终生 成的信息文件）发送到所述应用服务器， 以及将所述信息文件任务表中的状态 标志位更新为指示 "正常全部完成" 或 "异常全部完成"。
优选地，在本发明所公开的基于并行处理的信息文件生成方法中， 并行地 (即同时）处理多个临时信息文件生成任务。 由上可知， 本发明所公开的基于 并行处理的信息文件生成方法生成的信息文件可以提供数据库记录到文件记 录的个性化的提取、 计算和转换。
优选地，在本发明所公开的基于并行处理的信息文件生成方法中， 采用轮 循模式逐一实时监控所述信息文件任务临时表， 并且对于状态为 "异常"或者 "伪正常" 的临时信息文件生成任务进行排查。 优选地， 处理排查出的异常的 临时信息文件生成任务，并在处理完毕后将所述临时信息文件生成任务的状态 更新为 "正常"， 以及重新执行所述临时信息文件生成任务。
优选地，在本发明所公开的基于并行处理的信息文件生成方法中， 可以进 一步基于所述应用服务器发送的响应指令（即应用服务器发送的确认消息）更 新所述信息文件任务表。
尽管本发明是通过上述的优选实施方式进行描述的，但是其实现形式并不 局限于上述的实施方式。 应该认识到： 在不脱离本发明主旨和范围的情况下，

Claims

权利要求
1. 一种基于并行处理的信息文件生成系统， 所述基于并行处理的信息文 件生成系统包括：
文件请求处理装置，所述文件请求处理装置用于接收并解析来自应用服务 器的文件请求指令，并根据解析结果创建信息文件生成任务以及至少一个临时 信息文件生成任务；
控制装置，所述控制装置用于监视所述信息文件生成任务的执行并更新任 务状态， 以及构造关于信息文件的生成情况的响应信息；
临时任务处理装置，所述临时任务处理装置用于基于数据库处理所述至少 一个临时信息文件生成任务并更新所述至少一个临时信息文件生成任务的状 态；
异常处理装置，所述异常处理装置用于针对所述至少一个临时信息文件生 成任务处理异常事件；
输入 /输出装置，所述输入 /输出装置用于根据所述控制装置的指令将所述 响应信息发送到所述应用服务器， 并接收来自所述应用服务器的确认消息。
2.根据权利要求 1所述的基于并行处理的信息文件生成系统，其特征在于， 所述文件请求处理装置进一步包括：
请求解析模块， 所述请求解析模块用于解析所述文件请求指令， 并根据解 析结果在信息文件任务表中创建所述信息文件生成任务；
任务分解模块，所述任务分解模块用于基于所述文件请求指令并根据所述 数据库中的记录数以及待处理记录的分布规律分解所述信息文件生成任务并 在信息文件任务临时表中创建所述至少一个临时信息文件生成任务。
3.根据权利要求 2所述的基于并行处理的信息文件生成系统，其特征在于， 所述控制装置进一步包括：
状态监控模块，所述状态监控模块用于监控所述信息文件任务表和所述信 息文件任务临时表中的任务并更新任务状态；
文件生成模块，所述文件生成模块用于根据所述更新的任务状态合并基于 所述信息文件生成任务生成的文件，以及构造关于信息文件的生成情况的响应 信息。
4.根据权利要求 3所述的基于并行处理的信息文件生成系统，其特征在于， 所述文件生成模块进一步用于为所述经合并的文件添加标签以及安全控制信 息。
5.根据权利要求 4所述的基于并行处理的信息文件生成系统，其特征在于， 所述信息文件任务表具有至少一个对应于每个所述临时信息文件生成任务的 ^犬态标志位。
6.根据权利要求 5所述的基于并行处理的信息文件生成系统，其特征在于， 每个所述信息文件任务临时表具有对应于其所表示的临时信息文件生成任务 的^犬态标志位。
7.根据权利要求 6所述的基于并行处理的信息文件生成系统，其特征在于， 当所述临时信息文件生成任务的状态发生变化时，所述状态监控模块更新所述 信息文件任务表中对应于所述临时信息文件生成任务的状态标志位的状态。
8.根据权利要求 7所述的基于并行处理的信息文件生成系统，其特征在于， 所述信息文件任务表对应于所述至少一个信息文件任务临时表。
9.根据权利要求 8所述的基于并行处理的信息文件生成系统，其特征在于， 当所述信息文件任务表中的状态标志位指示 "临时文件正在生成"， 则所述状 态监控模块查询所述至少一个信息文件任务临时表，并且当发现所述至少一个 信息文件任务临时表对应的所述临时信息文件生成任务均完成时，则所述状态 监控模块将所述信息文件任务表中的状态标志位更新为指示"临时文件生成完 成，，。
10. 根据权利要求 9所述的基于并行处理的信息文件生成系统， 其特征在 于，当所述至少一个信息文件任务临时表对应的所述临时信息文件生成任务中 的一部分临时信息文件生成任务发生了异常终止，则所述状态监控模块将所述 信息文件任务表中的状态标志位更新为指示 "临时文件异常终止"， 并且后续 不再继续处理异常终止的所述临时信息文件生成任务。
11. 根据权利要求 9所述的基于并行处理的信息文件生成系统， 其特征在 于，当所述至少一个信息文件任务临时表对应的所述临时信息文件生成任务中 发生了异常终止，则所述状态监控模块将所述信息文件任务表中的状态标志位 更新为指示 "重新生成"， 并重新开始处理所述异常终止的临时信息文件生成 任务。
12. 根据权利要求 11所述的基于并行处理的信息文件生成系统， 其特征在 于，当所述至少一个信息文件任务临时表对应的所述临时信息文件生成任务均 发生了异常终止，则所述状态监控模块将所述信息文件任务表中的状态标志位 更新为指示 "文件异常终止"。
1 3. 根据权利要求 12所述的基于并行处理的信息文件生成系统， 其特征在 于， 当所述信息文件任务表中的状态标志位指示 "临时文件生成完成"， 则所 述文件生成模块合并基于所述信息文件生成任务生成的文件并为所述经合并 的文件添加标签以及安全控制信息，以及将所述信息文件任务表中的状态标志 位更新为指示 "文件生成完成"。
14. 根据权利要求 1 3所述的基于并行处理的信息文件生成系统， 其特征在 于， 当所述信息文件任务表中的状态标志位指示 "文件生成完成"或 "文件异 常终止"， 则所述文件生成模块构造关于信息文件的生成情况的响应信息， 并 将所述响应信息发送到所述输入 /输出装置， 以及将所述信息文件任务表中的 状态标志位更新为指示 "正常全部完成" 或 "异常全部完成"。
15. 根据权利要求 14所述的基于并行处理的信息文件生成系统， 其特征在 于， 所述响应信息包含最终生成的信息文件。
16. 根据权利要求 15所述的基于并行处理的信息文件生成系统， 其特征在 于， 所述临时任务处理装置并行地处理多个临时信息文件生成任务。
17. 根据权利要求 16所述的基于并行处理的信息文件生成系统， 其特征在 于， 所述异常处理装置采用轮循模式逐一实时监控所述信息文件任务临时表， 并且对于状态为 "异常" 或者 "伪正常" 的临时信息文件生成任务进行排查。
18. 根据权利要求 17所述的基于并行处理的信息文件生成系统， 其特征在 于， 所述异常处理装置处理排查出的异常的临时信息文件生成任务， 并在处理 完毕后将所述临时信息文件生成任务的状态更新为 "正常"， 以及重新调度所 述临时任务处理装置。
19. 根据权利要求 18所述的基于并行处理的信息文件生成系统， 其特征在 于， 所述输入 /输出装置基于所述应用服务器发送的响应指令更新所述信息文 件任务表。
20. 一种基于并行处理的信息文件生成方法， 所述基于并行处理的信息文 件生成方法包括如下步骤：
( A1 )接收来自应用服务器的文件请求指令；
( A2 )解析所述文件请求指令， 并根据解析结果创建信息文件生成任务以 及至少一个临时信息文件生成任务；
( A3 )基于数据库处理所述至少一个临时信息文件生成任务并更新所述至 少一个临时信息文件生成任务的状态；
( A4 )监视所述至少一个临时信息文件生成任务的执行并更新任务状态， 并在所述临时信息文件生成任务均已执行完成时构造关于信息文件的生成情 况的响应信息；
( A5 )将所述响应信息发送到所述应用服务器。
21. 根据权利要求 20所述的基于并行处理的信息文件生成方法， 其特征在 于， 所述步骤（A2 )进一步包括：
( B1 )解析所述文件请求指令， 并根据解析结果在信息文件任务表中创建 所述信息文件生成任务；
( B2 )基于所述文件请求指令并根据所述数据库中的记录数以及待处理记 录的分布规律分解所述信息文件生成任务并在信息文件任务临时表中创建所 述至少一个临时信息文件生成任务。
22. 根据权利要求 21所述的基于并行处理的信息文件生成方法， 其特征在 于， 所述步骤（A4 )进一步包括：
( C1 )监控所述信息文件任务表和所述信息文件任务临时表中的任务并更 新任务状态；
( C2 )根据所述更新的任务状态合并基于所述信息文件生成任务生成的文 件， 以及构造关于信息文件的生成情况的响应信息。
23. 根据权利要求 22所述的基于并行处理的信息文件生成方法， 其特征在 于， 所述步骤（C2 )进一步包括为所述经合并的文件添加标签以及安全控制信 息。
24. 根据权利要求 23所述的基于并行处理的信息文件生成方法， 其特征在 于，所述信息文件任务表具有至少一个对应于每个所述临时信息文件生成任务 的^犬态标志位。
25. 根据权利要求 24所述的基于并行处理的信息文件生成方法， 其特征在 于 ,每个所述信息文件任务临时表具有对应于其所表示的临时信息文件生成任 务的状态标志位。
26. 根据权利要求 25所述的基于并行处理的信息文件生成方法， 其特征在 于， 当所述临时信息文件生成任务的状态发生变化时， 更新所述信息文件任务 表中对应于所述临时信息文件生成任务的状态标志位的状态。
27. 根据权利要求 26所述的基于并行处理的信息文件生成方法， 其特征在 于， 所述信息文件任务表对应于所述至少一个信息文件任务临时表。
28. 根据权利要求 27所述的基于并行处理的信息文件生成方法， 其特征在 于， 当所述信息文件任务表中的状态标志位指示 "临时文件正在生成"， 则查 询所述至少一个信息文件任务临时表，并且当发现所述至少一个信息文件任务 临时表对应的所述临时信息文件生成任务均完成时，则将所述信息文件任务表 中的状态标志位更新为指示 "临时文件生成完成"。
29. 根据权利要求 28所述的基于并行处理的信息文件生成方法， 其特征在 于，当所述至少一个信息文件任务临时表对应的所述临时信息文件生成任务中 的一部分临时信息文件生成任务发生了异常终止，则将所述信息文件任务表中 的状态标志位更新为指示 "临时文件异常终止"， 并且后续不再继续处理异常 终止的所述临时信息文件生成任务。
30. 根据权利要求 28所述的基于并行处理的信息文件生成方法， 其特征在 于，当所述至少一个信息文件任务临时表对应的所述临时信息文件生成任务中 发生了异常终止， 则将所述信息文件任务表中的状态标志位更新为指示 "重新 生成"， 并重新开始处理所述异常终止的临时信息文件生成任务。
31. 根据权利要求 30所述的基于并行处理的信息文件生成方法， 其特征在 于，当所述至少一个信息文件任务临时表对应的所述临时信息文件生成任务均 发生了异常终止， 则将所述信息文件任务表中的状态标志位更新为指示 "文件 异常终止"
32. 根据权利要求 31所述的基于并行处理的信息文件生成方法， 其特征在 于， 当所述信息文件任务表中的状态标志位指示 "临时文件生成完成"， 则合 及安全控制信息， 以及将所述信息文件任务表中的状态标志位更新为指示 "文 件生成完成"。
33. 根据权利要求 32所述的基于并行处理的信息文件生成方法， 其特征在 于， 当所述信息文件任务表中的状态标志位指示 "文件生成完成" 或 "文件异 常终止"， 则构造关于信息文件的生成情况的响应信息， 并将所述响应信息发 送到所述应用服务器，以及将所述信息文件任务表中的状态标志位更新为指示
"正常全部完成" 或 "异常全部完成"。
34. 根据权利要求 33所述的基于并行处理的信息文件生成方法， 其特征在 于， 所述响应信息包含最终生成的信息文件。
35. 根据权利要求 34所述的基于并行处理的信息文件生成方法， 其特征在 于， 并行地处理多个临时信息文件生成任务。
36. 根据权利要求 35所述的基于并行处理的信息文件生成方法， 其特征在 于，采用轮循模式逐一实时监控所述信息文件任务临时表，并且对于状态为 "异 常" 或者 "伪正常" 的临时信息文件生成任务进行排查。
37. 根据权利要求 36所述的基于并行处理的信息文件生成方法， 其特征在 于， 处理排查出的异常的临时信息文件生成任务， 并在处理完毕后将所述临时 信息文件生成任务的状态更新为 "正常"， 以及重新执行所述临时信息文件生 成任务。
38. 根据权利要求 37所述的基于并行处理的信息文件生成方法， 其特征在 于， 基于所述应用服务器发送的响应指令更新所述信息文件任务表。
PCT/CN2012/073316 2011-03-30 2012-03-30 基于并行处理的信息文件生成系统及方法 WO2012130162A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/007,963 US9531792B2 (en) 2011-03-30 2012-03-30 System and method for generating information file based on parallel processing
EP12765514.0A EP2696297B1 (en) 2011-03-30 2012-03-30 System and method for generating information file based on parallel processing
DK12765514.0T DK2696297T3 (da) 2011-03-30 2012-03-30 System og fremgangsmåde til generering af informationsfil baseret på parallelbearbejdning

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201110080826.X 2011-03-30
CN201110080826.XA CN102737016B (zh) 2011-03-30 2011-03-30 基于并行处理的信息文件生成系统及方法

Publications (1)

Publication Number Publication Date
WO2012130162A1 true WO2012130162A1 (zh) 2012-10-04

Family

ID=46929481

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2012/073316 WO2012130162A1 (zh) 2011-03-30 2012-03-30 基于并行处理的信息文件生成系统及方法

Country Status (5)

Country Link
US (1) US9531792B2 (zh)
EP (1) EP2696297B1 (zh)
CN (1) CN102737016B (zh)
DK (1) DK2696297T3 (zh)
WO (1) WO2012130162A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793428B (zh) * 2012-10-31 2017-05-31 阿里巴巴集团控股有限公司 网页摘要信息的生成方法和装置
CN103034735B (zh) * 2012-12-26 2017-02-08 北京讯鸟软件有限公司 一种大数据分布式文件导出方法
CN107924811B (zh) * 2015-09-30 2021-08-17 株式会社国际电气 基板处理系统、基板处理装置的文件管理方法及存储介质
CN107402806B (zh) * 2017-04-20 2020-08-18 阿里巴巴集团控股有限公司 分布式文件架构的任务处理方法和装置
CN107423345A (zh) * 2017-05-16 2017-12-01 郑州云海信息技术有限公司 一种配置文件管理方法、设备及系统
US9934287B1 (en) 2017-07-25 2018-04-03 Capital One Services, Llc Systems and methods for expedited large file processing
CN112905244A (zh) * 2020-12-22 2021-06-04 金卡智能集团股份有限公司 仪表控制方法、装置和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1385970A (zh) * 2002-06-25 2002-12-18 南京东大移动互联技术有限公司 多路并行传输宽带高速跳频通信方法及装置
CN1482766A (zh) * 2002-09-13 2004-03-17 华为技术有限公司 一种自动产生网管报表的方法
CN101145150A (zh) * 2006-09-15 2008-03-19 中国银联股份有限公司 一种批量文件处理方法及系统
CN101425167A (zh) * 2007-10-30 2009-05-06 中国银联股份有限公司 生成交易信息的方法及解析交易信息的方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5682507A (en) * 1995-06-07 1997-10-28 Tandem Computers, Incorporated Plurality of servers having identical customer information control procedure functions using temporary storage file of a predetermined server for centrally storing temporary data records
US8234338B1 (en) * 2001-04-20 2012-07-31 Microsoft Corporation System and method for reliable message delivery
CN100558102C (zh) * 2005-03-16 2009-11-04 华为技术有限公司 一种页面访问的实现方法
US20070011300A1 (en) * 2005-07-11 2007-01-11 Hollebeek Robert J Monitoring method and system for monitoring operation of resources
US7356590B2 (en) * 2005-07-12 2008-04-08 Visible Measures Corp. Distributed capture and aggregation of dynamic application usage information
US20070229878A1 (en) * 2006-03-31 2007-10-04 Konica Minolta Systems Laboratory, Inc. Method for managing and executing print jobs by using sub-jobs
US8281012B2 (en) * 2008-01-30 2012-10-02 International Business Machines Corporation Managing parallel data processing jobs in grid environments
US20090292882A1 (en) * 2008-05-23 2009-11-26 Inventec Corporation Storage area network server with parallel processing cache and access method thereof
CN101751397B (zh) * 2008-12-04 2013-03-27 中国移动通信集团安徽有限公司 一种将文件导入数据库的方法及装置
US20100333094A1 (en) * 2009-06-24 2010-12-30 Mark Restall Job-processing nodes synchronizing job databases
US8447754B2 (en) * 2010-04-19 2013-05-21 Salesforce.Com, Inc. Methods and systems for optimizing queries in a multi-tenant store
EP2586269B1 (en) * 2010-04-22 2019-05-15 Zipit Wireless, Inc. System and method for administration and operation of one or more mobile electronic communications devices
US9037712B2 (en) * 2010-09-08 2015-05-19 Citrix Systems, Inc. Systems and methods for self-loading balancing access gateways
US8589454B2 (en) * 2011-01-17 2013-11-19 International Business Machines Corporation Computer data file merging based on file metadata

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1385970A (zh) * 2002-06-25 2002-12-18 南京东大移动互联技术有限公司 多路并行传输宽带高速跳频通信方法及装置
CN1482766A (zh) * 2002-09-13 2004-03-17 华为技术有限公司 一种自动产生网管报表的方法
CN101145150A (zh) * 2006-09-15 2008-03-19 中国银联股份有限公司 一种批量文件处理方法及系统
CN101425167A (zh) * 2007-10-30 2009-05-06 中国银联股份有限公司 生成交易信息的方法及解析交易信息的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2696297A4 *

Also Published As

Publication number Publication date
EP2696297A1 (en) 2014-02-12
CN102737016A (zh) 2012-10-17
DK2696297T3 (da) 2020-09-07
US20140082053A1 (en) 2014-03-20
EP2696297B1 (en) 2020-06-03
CN102737016B (zh) 2014-07-16
US9531792B2 (en) 2016-12-27
EP2696297A4 (en) 2014-10-01

Similar Documents

Publication Publication Date Title
WO2012130162A1 (zh) 基于并行处理的信息文件生成系统及方法
CN112313916B (zh) 一种融合区块链技术拟态存储防篡改日志的方法及系统
CN107783975B (zh) 分布式数据库同步处理的方法和装置
CN108874558B (zh) 分布式事务的消息订阅方法、电子装置及可读存储介质
US9286368B2 (en) Linking framework for information technology management
US8762929B2 (en) System and method for exclusion of inconsistent objects from lifecycle management processes
CN107818431B (zh) 一种提供订单轨迹数据的方法和系统
US7698251B2 (en) Fault tolerant facility for the aggregation of data from multiple processing units
Grover et al. Data Ingestion in AsterixDB.
CN111274052A (zh) 数据分发方法、服务器及计算机可读存储介质
CN109508295B (zh) 区块链共识算法测试方法、装置、计算装置和存储介质
CN103678051B (zh) 一种集群数据处理系统中的在线故障容错方法
JP2009536403A (ja) ワーク・アイテム・イベント処理
CN111813676A (zh) 机器人软件测试方法、设备及存储介质
CN109905263A (zh) 一种自动化运维部署系统
CN113157710A (zh) 区块链数据并行写入方法、装置、计算机设备及存储介质
US11487751B2 (en) Real time fault tolerant stateful featurization
US20080178182A1 (en) Work state returning apparatus, work state returning method, and computer product
JP5056464B2 (ja) プロセス監視方法、情報処理装置、及びプログラム
JP2012194895A (ja) トランザクション処理システム及びトランザクション処理システムの動作方法
CN113378219B (zh) 一种非结构化数据的处理方法和系统
CN102436397B (zh) 一种基于windows服务控制器的系统自动运行方法
CN107330089B (zh) 跨网络结构化数据收集系统
CN105095248A (zh) 一种数据库集群系统及其恢复方法、管理节点
CN104361458A (zh) 基于消息驱动的用户任务管理系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12765514

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012765514

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14007963

Country of ref document: US