WO2012142962A1 - 一种用于文件装载的方法和装置 - Google Patents

一种用于文件装载的方法和装置 Download PDF

Info

Publication number
WO2012142962A1
WO2012142962A1 PCT/CN2012/074426 CN2012074426W WO2012142962A1 WO 2012142962 A1 WO2012142962 A1 WO 2012142962A1 CN 2012074426 W CN2012074426 W CN 2012074426W WO 2012142962 A1 WO2012142962 A1 WO 2012142962A1
Authority
WO
WIPO (PCT)
Prior art keywords
file
processing
work
segment
records
Prior art date
Application number
PCT/CN2012/074426
Other languages
English (en)
French (fr)
Inventor
陈林
鲁志军
茅毓铭
杨燕明
华锦芝
Original Assignee
中国银联股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国银联股份有限公司 filed Critical 中国银联股份有限公司
Publication of WO2012142962A1 publication Critical patent/WO2012142962A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5017—Task decomposition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5018—Thread allocation

Definitions

  • the present invention relates to concurrent processing and breakpoint reloading of file loading, and more particularly to a method and apparatus for file loading. Background technique
  • Each of the two or more work units updates its respective working state each time after processing a predetermined number of records in the corresponding segment, and the working state is used to provide information for exception handling.
  • segment information corresponding to one or more segments is assigned to two or more work orders Meta, each unit of work processes the corresponding segment based on the segment information to which it is assigned.
  • the segment information includes a pointer for indicating a start record and an end record of the corresponding segment.
  • the operational status includes a processing result for a predetermined number of records.
  • the operational state further comprises a pointer to the occurrence of an abnormal record.
  • the recovery processing is started from the pointer of the record in which the abnormality has occurred.
  • the polling mode is used to monitor the working state.
  • the above method further comprises transmitting information about the working state to the external system and updating the response information from the external system to the working state.
  • the operational status is stored in a file, and two or more work units collectively maintain a work status file or two or more work units maintain respective work status files.
  • the file is a parameter file
  • the record is a parameter
  • the processing is to input the parameters in the parameter file into the database of the system.
  • the processing completes the entry by loading the parameters directly into the formal parameter table.
  • a file loading apparatus comprising: a preprocessing module, configured to divide a file into one or more segments according to a number of records in a file, a work unit module, including two or more Work units for concurrent processing of one or more segments,
  • Exception handling module used for exception handling
  • Each of the two or more work units updates its respective working state each time after processing a predetermined number of records in the corresponding segment, and the working state is used to provide information for the exception handling module.
  • the pre-processing module assigns segment information corresponding to one or more segments to two or more work units, each of which processes the corresponding segment based on the segment information to which it is assigned.
  • the segment information includes a pointer for indicating a start record and an end record of the corresponding segment
  • the work state includes a pointer to a process result of the predetermined number of records and a record of the occurrence of the abnormality
  • the exception handling module is configured to monitor the work unit The working state, when the working state indicates that the processing result is abnormal, the processing is resumed from the recording of the abnormality.
  • the apparatus further includes a file feedback processing module for transmitting information about the operational status to the external system and updating the response information from the external system to the operational status.
  • a file feedback processing module for transmitting information about the operational status to the external system and updating the response information from the external system to the operational status.
  • the apparatus further comprises a file control module for preprocessing and work order of the file The processing load of the meta is monitored.
  • This paper proposes a parameter file loading method and device that supports concurrency and breakpoint reloading. This method is relatively inefficient for reading and writing files, and cannot meet the requirements of short-time parsing and real-time loading under large record numbers. It proposes concurrent loading, such as multi-threading or multi-thread concurrent concurrency.
  • the file to be loaded first determines the number of concurrent files according to the size of the file, and assigns different file segments to each work unit (the corresponding thread or process). Different threads work independently in their respective segments.
  • This concurrent loading design Effectively overcomes the drawbacks of file serial processing and inefficiencies on I/O.
  • the file loading is usually performed by slowly loading the parameters into the temporary table, and then processing the unified table.
  • the invention is directed to the problem that the large record number file has a long loading time and is troublesome to recover when an abnormality such as a disk, a database, a network, or a host power failure occurs during the period, and the method of the invention loads the parameter directly into the formal parameter table, thereby improving the time limit of the parameter. Sex, and record in real time how each unit of work has processed the work point. Therefore, even if an abnormality occurs, it can be quickly recovered from the breakpoint, and there is no problem of large-area redo or formal table recording of redundant data that has been processed before.
  • the technical solution of the present invention can shorten the service data effective time, improve the service quality and the abnormal recovery capability in the loading of parameter files of the system such as the application of financial information.
  • FIG. 1 is a schematic structural view of a document loading device according to an embodiment of the present invention.
  • the file loading device may include a preprocessing module, a work unit module, an exception processing module, a control module, and a file feedback processing module.
  • the preprocessing module module is the entry point of the file loading, and is responsible for receiving the calling instruction from the external system, and parsing and preprocessing the calling instruction. It loads a file or parameter file according to the calling instruction The record, and the file is divided into one or more segments based on the number of records in the file.
  • the pre-processing module may assign segment information corresponding to one or more segments to two or more work units, each of which processes the corresponding segment based on the segment information to which it is assigned.
  • the segment information may include a pointer to a record of the file to be processed indicating the start record and the end record of the corresponding segment. That is, the segment information can contain a pointer to the parameter file to be processed, indicating the beginning and ending position of the segment.
  • the number of segments of a single file can be controlled. When the number of segments that can be concurrently processed reaches a predetermined upper limit, the segment waiting to be dispatched before is processed by the work unit, that is, until the work unit is idle, the segment is continued to be allocated. The processing of the unit of work will be described in detail later.
  • the advantage of the pre-processing module splitting a single file into one or more segments and allowing multiple work units to be concurrently processed is that, on the one hand, the segmentation concurrent processing can make full use of the concurrency characteristics of the current host system, and greatly enhance the loading.
  • the speed of the file on the other hand, as described in detail later herein, the segmentation concurrent processing can reduce the granularity of the exception handling. When a segment is abnormal, you only need to redo the segment to improve the efficiency of loading the file.
  • the invention is not limited to extracting data within a parameter file to a parameter database, but can also be applied to the loading of any file or any processing of a file.
  • the work unit module includes two or more work units for concurrently processing the one or more segments to complete the device task for each file segment.
  • each of the two or more work units updates the operational state each time after processing a predetermined number of records in the corresponding segment, the operational state may be used for an anomaly as will be described later
  • the processing module provides information.
  • the unit of work submits a database and updates the working state of the unit of work for each predetermined amount of data in the parsing segment.
  • the work status can be stored in a file, and the work unit can jointly maintain a work status file or separately maintain each work status file.
  • the working status as a file record can be used to implement breakpoint retransmission of the parameter file. For example, there are 1000 records in the segment, and the "predetermined number" can be set to 10, that is, the working unit is updated after 10 processing. Thus, the more frequently the update occurs, the fewer the number of duplicate processing records in the breakpoint refill when the subsequent exception occurs.
  • the operational state may include a pointer to a record of the abnormal condition to indicate the starting point of the recovery operation.
  • the operational status may include processing results for the predetermined number of records, the processing results may include normal conditions and abnormal conditions.
  • the exception handling module is used to perform exception handling, and performs an abnormality check on the segment whose working state is abnormal. After the exception processing is completed, the working state is updated to normal.
  • the exception handling module resumes processing from the recording of the abnormal condition. For example, after the application unit is abnormally terminated or the host is powered off, the application resumes from the breakpoint of the file record of the work unit state, that is, the record where the abnormality occurred. This can reduce the time required for repeated processing and abnormal recovery. For example, when 10,000 records have processed 9990 records, the number of records that need to be redone after the restart is 10 according to the last reserved working state. There is no need to reprocess from the beginning of the header file.
  • the exception handling module can monitor the operational status using a polling mode.
  • the file loading device may include a control module for monitoring the processing status of the file loading request and the processing of each work unit.
  • the control module initiates the next file processing.
  • the file loading device may include a file feedback processing module for transmitting information about the working status to the external system and updating the response information from the external system to the working state.
  • the feedback processing module can be used as an external "export" in the feedback file generation process.
  • the above modules of the present invention can be designed as a multi-process concurrent mode, by splitting a single parameter file task into multiple pieces of loading tasks, concurrent execution of tasks, and single-task re-doing, and cooperate with each task to realize an abnormality in the task state. Reload at breakpoints for efficient, highly available file loading.
  • the file loading method and device supporting the concurrency and breakpoint continuation of the invention fully utilizes system resources, inter-process communication and database resources, and improves file loading efficiency and abnormal recovery capability, especially in large records (such as 100,000 When it comes to tens of millions of records, it is of great value in real-time loading of parameter file loads directly into the formal table for performance and exception recovery.
  • the time used is approximately one of the "concurrent ones" under non-concurrency, and in the case of no breakpoint refill mechanism, the time for abnormal recovery and completion of loading is greater than the normal loading time, and there is a case of breakpoint refill mechanism.
  • the time for the abnormal recovery to complete and complete the loading is approximately the normal loading time minus the time before the abnormal processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Retry When Errors Occur (AREA)

Description

一种用于文件装载的方法和装置 优先权要求
本申请要求了 2011年 4月 21 日提交的、 申请号为 201110101178.1、 发明名称为 "一种用于文件装载的方法和装置" 的中国专利申请的优先 权， 其全部内容通过引用结合在本申请中。 技术领域
本发明涉及文件装载的并发处理和断点续装，并且尤其涉及用于文件装 载的方法和装置。 背景技术
在金融或电信等系统中， 将应用参数录入到系统， 即文件装载， 是保持 业务正确运行的前提， 尤其地， 在联机系统中快速装入参数是及时准确响应 服务的必要前提。 现有技术中， 常见的参数录入方式有人工逐参数录入或者 通过数据库工具导入与数据库所要求的格式匹配的参数文件。现有技术中的 这些方式有如下缺点： 耗时、 对参数录入以及参数文件格式要求较高、 出错 几率大， 以及出错后的修复十分麻烦。
因此， 需要一种能够实现文件的快速装载、 对文件格式要求较低、 出错 几率小以及修复筒单的方法和装置。 发明内容
为解决现有技术的上述问题和其它问题， 本发明的一个目的在于提供一 种文件装载方法， 包括以下步骤，
根据文件中的记录数， 将文件分成一个或多个段，
利用两个或者更多个工作单元并发处理一个或多个段，
其中， 两个或者更多个工作单元的每一个每次在处理完对应的段中的预 定数量的记录后就更新各自的工作状态， 工作状态用于为异常处理提供信 息。
优选地，将对应于一个或多个段的段信息分配给两个或者更多个工作单 元， 每个工作单元根据被分配到的段信息处理相应的段。
优选地， 段信息包括用于指示相应的段的开始记录和结束记录的指针。 优选地， 工作状态包括对预定数量的记录的处理结果。
优选地， 工作状态进一步包括发生异常的记录的指针。
优选地， 当工作状态指示处理结果为异常， 从发生异常的记录的指针处 开始恢复处理。
优选地， 采用轮询模式监控工作状态。
优选地， 上述方法进一步包括向外部系统发送关于工作状态的信息， 并 将来自外部系统的响应信息更新到工作状态中。
优选地， 工作状态被存储在文件中， 以及两个或者更多个工作单元共同 维护一个工作状态文件或者两个或者更多个工作单元分别维护各自的工作 状态文件。
优选地， 文件是参数文件， 记录是参数， 处理是将参数文件中的参数录 入到系统的数据库中。
优选地， 处理通过将参数直接装载到正式参数表来完成录入。
根据本发明的另一个目的， 提供了一种文件装载装置， 包括： 预处理模块， 用于根据文件中的记录数， 将文件分成一个或多个段， 工作单元模块， 包括两个或者更多个工作单元， 用于并发处理一个或多 个段，
异常处理模块， 用于进行异常处理，
其中， 两个或者更多个工作单元的每一个每次在处理完对应的段中的预 定数量的记录后就更新各自的工作状态， 工作状态用于为异常处理模块提供 信息。
优选地，预处理模块将对应于一个或多个段的段信息分配给两个或者更 多个工作单元， 每个工作单元根据被分配到的段信息处理相应的段。
优选地， 段信息包括用于指示相应的段的开始记录和结束记录的指针， 工作状态包括对预定数量的记录的处理结果和发生异常情况的记录的指针， 异常处理模块被配置成监控工作单元的工作状态， 当工作状态指示处理 结果为异常时， 从发生异常的记录开始恢复处理。
优选地， 该装置进一步包括文件反馈处理模块， 用于向外部系统发送关 于工作状态的信息， 并将来自外部系统的响应信息更新到工作状态中。
优选地， 该装置进一步包括文件控制模块， 用于文件的预处理和工作单 元的处理装载进行监控。
本文提出了一种支持并发和断点续装的参数文件装载方法和装置。这种 方法针对到文件读写的效率比较低， 不能满足大记录数下短时间内解析并实 时装载的需求， 提出了并发装载， 如采用的多线程或者多线程并发的方式。 对待装载文件首先根据文件大小决定文件并发的数目， 对每一个工作单元 (相应的线程或者进程）分配不同的文件段， 不同线程在各自的段内独立工 作互不影响， 这种并发装载的设计有效地克服了文件串行处理以及 I/O上的 低效率的缺陷。
现有技术中的文件装载通常先将参数慢慢装入临时表， 处理好后再统一 导入正式表。 本发明针对大记录数文件装载时间长， 并且在期间发生磁盘、 数据库、 网络、 主机掉电等异常时恢复起来麻烦的缺陷， 本发明的方法将参 数直接装载到正式参数表， 提高参数的时效性， 并实时记录每个工作单元已 处理工作点的方式。 因此即使发生了异常也能够从断点处迅速恢复， 不会出 现大面积重做或者正式表记录已经有前面处理的冗余数据问题。
本发明的技术方案在应用金融信息等系统的参数文件装载中能够缩短 业务数据生效时间、 提高服务质量和异常恢复能力。 附图说明
在参照附图阅读了本发明的具体实施方式以后， 本领域技术人员将会更 清楚地了解本发明的各个方面。 本领域技术人员应当理解的是， 这些附图仅 仅用于配合具体实施方式说明本发明的技术方案， 而并非意在对本发明的保 护范围构成限制。 其中，
图 1是根据本发明实施例的文件装载装置的结构示意图。
具体实施方式
下面参照附图， 对本发明的具体实施方式作进一步的详细描述。
如图 1所示， 文件装载装置可以包括预处理模块、 工作单元模块、 异常 处理模块、 控制模块和文件反馈处理模块。
预处理模块模块是文件装载的入口， 负责接收来自外部系统的调用指 令， 并将调用指令进行解析和预处理。 其根据调用指令装载文件或参数文件 的记录， 并且根据文件中的记录数， 将文件分成一个或多个段。 在一个实施例中，预处理模块可以将对应于一个或多个段的段信息分配 给两个或者更多个工作单元，每个工作单元根据被分配到的段信息处理相应 的段。
在一个实施例中， 段信息可以包括待处理文件的记录的指针， 指示相应 的段的开始记录和结束记录。 也就是说， 段信息可以包含待处理参数文件的 指针， 指示段的始末位置。 进一步， 可以控制单个文件的分段数量。 当可被 并发处理的段的数量达到预定上限时， 则等待至前面被派发出去的段由工作 单元处理完成， 即直到有工作单元闲置的时候再继续分配段。 后文将详细描 述工作单元的处理。
这里，预处理模块将单个文件拆分成一个或多个段并让多个工作单元并 发处理的优点在于， 一方面， 分段并发处理可以充分利用当前主机系统的并 发特性， 大幅度地提升装载文件的速度； 另一方面， 如本文后面将详细描述 的， 分段并发处理能够降低异常处理的颗粒度。 当某个段异常时， 只需重做 该段， 从而提升装载文件的效率。
本领域的技术人员可以理解的本发明不限于将参数文件内数据提取到 参数数据库， 还可以被应用于任何文件的装载或者对于文件的任何处理。
工作单元模块包括两个或者更多个工作单元，用于并发处理所述一个或 多个段以完成每个文件段的装置任务。
在一个实施例中， 两个或者更多个工作单元的每一个每次在处理完对应 的段中的预定数量的记录后就更新工作状态， 工作状态可以被用于为后文将 描述的异常处理模块提供信息。 例如， 工作单元每解析装载段内的预定数量 的数据则提交数据库并更新记录工作单元的工作状态。 这里， 工作状态可以 被存储在文件中， 工作单元可以共同维护一个工作状态文件或者分别维护各 自的工作状态文件。作为文件记录的工作状态可以被用于实现参数文件的断 点续传。 举例来说， 段内具有 1000条记录， 而 "预定数量" 可以被设定为 10条， 即工作单元处理好 10条后更新工作状态。 如此， 更新越频繁后续出 现异常时断点续装中重复处理记录的数量越少。
在一个实施例中， 工作状态进可以包括发生异常情况的记录的指针来指 示恢复操作的起点。
在一个实施例中， 工作状态可以包括对所述预定数量的记录的处理结 果， 该处理结果可以包括正常情况和异常情况。 异常处理模块， 用于进行异常处理， 对工作状态为异常的段进行异常排 查， 待异常处理完毕， 将工作状态更新为正常。
在一个实施例中， 当工作状态指示处理结果为异常时， 异常处理模块从 发生异常情况的记录开始恢复处理。 例如， 工作单元异常终止或者主机断电 等应用重启后， 均从工作单元状态的文件记录的断点处， 即发生异常的记录 处开始恢复。 如此能够缩减重复处理概率和异常恢复所需要时间， 例如， 当 10000条记录已经处理了 9990条记录时，则该重启后根据上次保留的工作状 态， 需要重做的记录数目是 10条， 而无需从头文件开始处重新处理。
在一个实施例中， 异常处理模块可以采用轮询模式监控工作状态。
可选地， 文件装载装置可以包括控制模块， 用于对文件装载请求的处理 状态以及各个工作单元的处理进行监控。 当发现文件分段调度完成并且所有 被调度工作单元已完成时， 控制模块启动下一步文件处理。 本领域的技术人 员可以理解的还可以利用其它已知的各种技术来实现对反馈文件生成流程 的监控和 /或触发响应。
可选地， 文件装载装置可以包括文件反馈处理模块， 用于向外部系统发 送关于工作状态的信息， 并将来自外部系统的响应信息更新到工作状态中。 反馈处理模块可以作为反馈文件生成过程中的对外 "出口"。 本领域的技术 人员可以理解的还可以利用其它已知的各种技术来实现文件反馈的功能。
本发明的上述的模块都可以设计成多进程并发模式，通过将单一参数文 件任务拆分成多段的装载任务、 任务并发执行、 可单任务重做， 配合各个任 务在任务状态可实现异常时从断点处重装， 即可实现高效、 高可用的文件装 载。
本发明的支持并发和断点续装的文件装载方法和装置， 充分利用了系统 资源、进程间通信以及数据库资源，提高了文件装载的效率和异常恢复能力， 尤其在大记录数（如十万到千万级的记录）时， 实时将参数文件装载直接装 载到正式表的性能与异常恢复方面具有很高的价值。正常情况下所用时间近 似为非并发下的 "并发数分之一"， 而无断点续装机制的情形下， 异常恢复 并完成装载的时间大于正常装载时间，有断点续装机制的情形下异常恢复并 完成装载的时间约为正常装载时间减异常前已处理时间。
通过以上实施方式的描述， 本领域的技术人员可以清楚地了解到本发明 可借助软件结合硬件平台的方式来实现， 当然也可以全部通过硬件来实施。 本领域中的普通技术人员能够理解， 在不偏离本发明的精神和范围的情况 下， 还可以对本发明的具体实施方式作各种变更和替换。 这些变更和替换都 落在本发明权利要求书所限定的范围内。

Claims

权 利 要 求
1、 一种文件装载方法， 其特征在于，
根据文件中的记录数， 将文件分成一个或多个段，
利用两个或者更多个工作单元并发处理所述一个或多个段，
其中， 所述两个或者更多个工作单元的每一个每次在处理完对应的段中 的预定数量的记录后就更新各自的工作状态，所述工作状态用于为异常处理 提供信息。
2、 如权利要求 1所述的方法， 其特征在于， 将对应于所述一个或多个 段的段信息分配给所述两个或者更多个工作单元，每个工作单元根据被分配 到的段信息处理相应的段。
3、 如权利要求 2所述的方法， 其特征在于， 所述段信息包括用于指示 所述相应的段的开始记录和结束记录的指针。
4、 如权利要求 1所述的方法， 其特征在于， 所述工作状态包括对所述 预定数量的记录的处理结果。
5、 如权利要求 4所述的方法， 其特征在于， 所述工作状态进一步包括 发生异常的记录的指针。
6、 如权利要求 5所述的方法， 其特征在于， 当工作状态指示处理结果 为异常， 从发生异常的记录的指针处开始恢复处理。
7、 如权利要求 6所述的方法， 其特征在于， 采用轮询模式监控工作状 态。
8、 如权利要求 1所述的方法， 其特征在于， 进一步包括向外部系统发 送关于工作状态的信息， 并将来自外部系统的响应信息更新到工作状态中。
9、 如权利要求 1所述的方法， 其特征在于， 所述工作状态被存储在文 件中， 以及所述两个或者更多个工作单元共同维护一个工作状态文件或者所 述两个或者更多个工作单元分别维护各自的工作状态文件。
10、 如权利要求 1所述的方法， 其特征在于， 所述文件是参数文件， 所 述记录是参数， 所述处理是将所述参数文件中的参数录入到系统的数据库 中。
11、 如权利要求 10所述的方法， 其特征在于， 所述处理通过将所述参 数直接装载到正式参数表来完成录入。
12、 一种文件装载装置， 其特征在于， 包括，
预处理模块， 用于根据文件中的记录数， 将文件分成一个或多个段， 工作单元模块， 包括两个或者更多个工作单元， 用于并发处理所述一个 或多个段，
异常处理模块， 用于进行异常处理，
其中， 所述两个或者更多个工作单元的每一个每次在处理完对应的段中 的预定数量的记录后就更新各自的工作状态，所述工作状态用于为异常处理 模块提供信息。
13、 如权利要求 12所述的装置， 其特征在于， 所述预处理模块将对应 于所述一个或多个段的段信息分配给所述两个或者更多个工作单元，每个工 作单元根据被分配到的段信息处理相应的段。
14、 如权利要求 13所述的装置， 其特征在于， 所述段信息包括用于指 示所述相应的段的开始记录和结束记录的指针， 所述工作状态包括对所述预 定数量的记录的处理结果和发生异常情况的记录的指针，
所述异常处理模块被配置成监控工作单元的工作状态， 当工作状态指示 处理结果为异常时， 从发生异常的记录开始恢复处理。
15、 如权利要求 12所述的装置， 其特征在于， 进一步包括文件反馈处 理模块， 用于向外部系统发送关于工作状态的信息， 并将来自外部系统的响 应信息更新到工作状态中。
16、 如权利要求 12所述的装置， 其特征在于， 进一步包括文件控制模 块， 用于对文件的预处理和工作单元的处理装载进行监控。
PCT/CN2012/074426 2011-04-21 2012-04-20 一种用于文件装载的方法和装置 WO2012142962A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201110101178.1 2011-04-21
CN201110101178.1A CN102750159B (zh) 2011-04-21 2011-04-21 一种用于文件装载的方法和装置

Publications (1)

Publication Number Publication Date
WO2012142962A1 true WO2012142962A1 (zh) 2012-10-26

Family

ID=47030381

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2012/074426 WO2012142962A1 (zh) 2011-04-21 2012-04-20 一种用于文件装载的方法和装置

Country Status (2)

Country Link
CN (1) CN102750159B (zh)
WO (1) WO2012142962A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106708620A (zh) * 2015-11-13 2017-05-24 苏宁云商集团股份有限公司 一种处理数据的方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101179392A (zh) * 2006-12-12 2008-05-14 腾讯科技（深圳）有限公司 一种上传文件的方法和系统
US7593922B1 (en) * 2003-06-13 2009-09-22 At&T Intellectual Property, I. L.P. Method and system for providing delivery of segmented data files
CN101729586A (zh) * 2008-10-24 2010-06-09 中国移动通信集团广东有限公司 数据上传方法、装置、下载方法、装置及传输方法、装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8281062B2 (en) * 2008-08-27 2012-10-02 Sandisk Il Ltd. Portable storage device supporting file segmentation and multiple transfer rates
CN102004663B (zh) * 2009-09-02 2017-03-01 中国银联股份有限公司 一种多任务并发调度的系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7593922B1 (en) * 2003-06-13 2009-09-22 At&T Intellectual Property, I. L.P. Method and system for providing delivery of segmented data files
CN101179392A (zh) * 2006-12-12 2008-05-14 腾讯科技（深圳）有限公司 一种上传文件的方法和系统
CN101729586A (zh) * 2008-10-24 2010-06-09 中国移动通信集团广东有限公司 数据上传方法、装置、下载方法、装置及传输方法、装置

Also Published As

Publication number Publication date
CN102750159A (zh) 2012-10-24
CN102750159B (zh) 2017-08-25

Similar Documents

Publication Publication Date Title
CN103034554B (zh) 一种纠错重启以及自动判断启动的etl调度系统及方法
CN110309024B (zh) 数据处理系统及其执行数据处理任务的方法
US8103911B2 (en) Method and system for disaster recovery based on journal events pruning in a computing environment
US7779298B2 (en) Distributed job manager recovery
WO2020248708A1 (zh) 一种Spark作业的提交方法及装置
US8495635B2 (en) Mechanism to enable and ensure failover integrity and high availability of batch processing
CN111782360A (zh) 分布式任务调度方法及装置
US7624309B2 (en) Automated client recovery and service ticketing
CN109558260B (zh) Kubernetes故障排除系统、方法、设备及介质
JP2005100373A (ja) 複数世代の回復スナップショットのバックアップと修復のマッピング装置
WO2018149396A1 (zh) 一种业务流程处理方法、可读存储介质、终端设备及装置
CN111400011B (zh) 一种实时任务调度方法、系统、设备及可读存储介质
US7181574B1 (en) Server cluster using informed prefetching
CN111400104B (zh) 数据同步方法及装置、电子设备、存储介质
US9183038B2 (en) Job management system that determines if master data has been updated, then re-executes a sub-job based on available executing computers and data sharing status
US8468386B2 (en) Detecting and recovering from process failures
JP2010176303A (ja) バッチ処理システムおよびこれに用いる情報端末装置、バッチ処理のリカバリ方法
WO2012142962A1 (zh) 一种用于文件装载的方法和装置
US7065539B2 (en) Data transfer method
CN115437766A (zh) 一种任务处理方法和装置
US20140082313A1 (en) Storage class memory evacuation
US20230176904A1 (en) Control device, control method and control program
CN111177232B (zh) 一种数据处理方法、装置、系统和存储介质
JP2010140106A (ja) ジョブ実行システム、該システムに用いられるジョブフロー引継ぎ方法及びジョブフロー引継ぎ制御プログラム
CN111563000A (zh) 一种文件生成方法、智能终端及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12773998

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205N DATED 11/02/2014)

122 Ep: pct application non-entry in european phase

Ref document number: 12773998

Country of ref document: EP

Kind code of ref document: A1