WO2020034532A1 - 数据采集方法、征信主体设备、计算机设备及存储介质 - Google Patents

数据采集方法、征信主体设备、计算机设备及存储介质 Download PDF

Info

Publication number
WO2020034532A1
WO2020034532A1 PCT/CN2018/122736 CN2018122736W WO2020034532A1 WO 2020034532 A1 WO2020034532 A1 WO 2020034532A1 CN 2018122736 W CN2018122736 W CN 2018122736W WO 2020034532 A1 WO2020034532 A1 WO 2020034532A1
Authority
WO
WIPO (PCT)
Prior art keywords
credit information
data collection
data
message
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/122736
Other languages
English (en)
French (fr)
Inventor
周罡
龙慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2020034532A1 publication Critical patent/WO2020034532A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/544—Remote

Definitions

  • the present application belongs to the field of data processing, and more specifically, relates to a data collection method, a credit information main device, a computer device, and a storage medium.
  • the reporting subject includes multiple subject products
  • the subject product includes multiple product segments.
  • the current credit information system uses a serial method to collect credit information. For example, in the collection of credit data of main products, the credit data of each main product is collected in sequence in a certain order. The total collection time is all Sum of main product collection time. With the increase of the complexity of the main product, the time taken to report the collection of the main body will be longer and longer. If the time taken to collect data from a certain report body is too long, the report main body will not be able to collect data on time, so that the credit report will be missed. At the same time, the efficiency of collecting credit data in a serial manner is relatively low, and the timeliness is not high.
  • the embodiments of the present application provide a data collection method, a credit information main device, a computer device, and a storage medium to solve the problem of low efficiency of credit information collection.
  • a data collection method is applied to a credit information subject device, the credit information subject device includes M main products, and the data collection method includes the following steps:
  • the cyclic call instruction is used to call M data collection tasks, and the multi-threaded execution instruction is used to perform the M data collection tasks;
  • the credit information is assembled into a message and returned to the collection center.
  • a main body of credit information includes:
  • a generation module configured to generate a multi-threaded execution instruction and a cyclic call instruction according to the timing trigger task, the cyclic call instruction is used to call M data collection tasks, and the multi-thread execution instruction is used to perform the M data collection task;
  • a parallel operation module configured to run the M data collection tasks in parallel according to the multi-thread execution instruction and the loop call instruction to obtain credit data of M main products;
  • a return module configured to assemble the credit information into a message and return the message to the collection center.
  • a computer device includes a memory, a processor, and computer-readable instructions stored in the memory and executable on the processor.
  • the processor executes the computer-readable instructions, the following steps are implemented:
  • the cyclic call instruction is used to call M data collection tasks, and the multi-threaded execution instruction is used to perform the M data collection tasks;
  • the credit information is assembled into a message and returned to the collection center.
  • One or more non-volatile readable storage media storing computer-readable instructions, which when executed by one or more processors, cause the one or more processors to perform the following steps:
  • the cyclic call instruction is used to call M data collection tasks, and the multi-threaded execution instruction is used to perform the M data collection tasks;
  • the credit information is assembled into a message and returned to the collection center.
  • FIG. 1 is a schematic diagram of an application environment of a data collection method according to an embodiment of the present application
  • FIG. 2 is a flowchart of a data collection method according to an embodiment of the present application.
  • FIG. 3 is another flowchart of a data collection method according to an embodiment of the present application.
  • FIG. 5 is a principle block diagram of a credit information main device according to an embodiment of the present application.
  • FIG. 6 is a principle block diagram of a return module in a main body of credit information in an embodiment of the present application.
  • FIG. 7 is a schematic diagram of a computer device according to an embodiment of the present application.
  • the data collection method provided in this application can be applied to the main body of credit information as shown in FIG. 1.
  • the main body of credit information includes M main products.
  • the credit information subject device generates multi-threaded execution instructions and cyclic call instructions by periodically triggering tasks, and then runs M data collection tasks in parallel according to the multi-threaded execution instructions and cyclic call instructions to obtain the credit data of M main products.
  • the credit information subject The device assembles the credit data into a message and returns it to the collection center.
  • a data collection method is provided.
  • the method is applied as an example to the main body of the credit information device shown in FIG. 1 and includes the following steps:
  • the timing trigger task refers to a task that triggers the collection of credit data according to a preset collection time in the main body of the credit collection.
  • the preset collection time can be, for example, 8:00 every day, and can be set according to actual conditions.
  • This embodiment does not Be specific.
  • the credit information main equipment is included in the credit information system. Since the credit information system includes N different credit information main equipments, the complexity of each credit information main equipment itself is different from the length of the credit data collection time. Therefore, each credit information subject device can set a different time to start collecting data.
  • a scheduling framework may be used to set a timing trigger task.
  • the scheduling framework can be Quartz. Quartz is an open source job scheduling framework written entirely in Java. By configuring trigger conditions, you can make it trigger a corresponding job to start work at a set time.
  • the credit information system sets a timing trigger task through Quartz.
  • the timing trigger task sends a trigger instruction to the credit information subject device, and when the trigger instruction is received, the credit information subject device obtains the timing trigger task.
  • S20 Generate multi-threaded execution instructions and cyclic call instructions according to the timing trigger task.
  • the cyclic call instructions are used to call M data collection tasks, and the multi-thread execution instructions are used to perform M data collection tasks.
  • the data collection task refers to a task of collecting credit data of a main product by a credit information subject device. Since each credit information subject device includes M main products, the number of data collection tasks is also M. It should be understood that when the main equipment of the credit information is different, the number specifically represented by M may be different.
  • a data collection task can be set to complete a data collection program.
  • the multi-threaded execution instruction refers to an instruction used to create multiple threads in the main body of the credit information so that M data collection tasks are executed in parallel.
  • the cyclic call instruction refers to an instruction for cyclically calling M data collection tasks in the main body of the credit reference device.
  • the loop call instruction is generated through a loop call statement, and a thread-type method is used to generate a multi-threaded execution instruction.
  • the loop calling statement is a for statement.
  • the for statement is a loop statement in the java programming language. Its general format is for (expression for controlling variable initialization; conditional expression; incremental expression), which is repeatedly executed when the condition is satisfied.
  • the data collection task is defined in the form of an array.
  • a "ZED" array is used to represent one of the main products, and a for statement is used to call the data collection task defined by the array.
  • the for statement satisfies "
  • the calling condition of the "ZED" array is called
  • the data collection task corresponding to the "ZED" array is called to collect the credit data of the main product of the "ZED" array.
  • the for statement defines the conditions of the cyclic call, it can cyclically call all the predefined arrays, so as to achieve the cyclic call of M data collection tasks to collect the credit data of the corresponding M main products.
  • the Thread class method is one of the methods for creating multiple threads in Java, including the start method, run method, sleep method, yield method, and join method, etc. to create and manage threads.
  • the process of the start method is: start () is used to start a thread.
  • start method is called, the system will start a new thread to execute the user-defined sub-task. In this process, the corresponding thread will be allocated needs resource of.
  • the Thread class creates a thread accordingly, so that the credit data collection system allocates resources for this thread to execute the subtask.
  • the Thread class can be used in combination to complete the operation of creating multiple threads.
  • the loop calling instruction includes M task calling instructions, where the task calling instruction refers to an instruction to call a data collection task.
  • step S30 may specifically include the following steps:
  • the credit information main device includes M main products, accordingly, the credit information main device cyclically calls M data collection tasks corresponding to the M task call instructions through the M task call instructions.
  • the task call instruction is to obtain the stored process code corresponding to the data collection task from the corresponding position of the database of the credit information system through the identification of the data collection task, thereby calling the stored process code of the data collection task to implement the credit data Of collection.
  • the task call instruction calls the data collection task corresponding to the "ZED" array
  • the stored data corresponding to the data collection task corresponding to the "ZED” array can be found according to the identification of the "ZED" array in the database of the credit information system first.
  • Process code and call so as to collect the credit data of the main product corresponding to the "ZED" array.
  • different data collection tasks can be called accordingly to collect the credit data of different main products.
  • a multi-threaded execution instruction can be used to allocate system resources for each called data collection task, that is, whenever one of the M data collection tasks is called, the main device is credited
  • a multi-threaded execution instruction is used to create a corresponding number of threads, so that the threads do not affect each other, so as to collect credit data in parallel.
  • each data collection task of the M data collection tasks creates a corresponding number of threads
  • the M data collection tasks are run simultaneously, that is, the M data collection tasks are called through a cyclic call instruction, and through multiple threads Executing instructions creates corresponding M threads, thereby allocating the corresponding system resources in the main credit device according to the number of M threads to run M data collection tasks at the same time, thereby achieving the purpose of collecting credit data in parallel for the M main products.
  • a data collection task is called by a task calling instruction of a cyclic calling instruction, and a multi-threaded execution instruction is used to create a thread for the called data collection task and allocate system resources to achieve the purpose of collecting credit data in parallel.
  • the collection efficiency of credit information has been improved.
  • the collection center is connected to the credit information main equipment and is used to collect credit information.
  • the credit information obtained by the credit information main equipment is finally returned to the collection center.
  • step S40 may specifically include the following steps:
  • the preset configuration file specifies an assembly format such as a character length, a data type, and a check code. It can be understood that the credit information obtained from the main product may include multiple fields, but some fields may not be necessary, and the order of the fields of each main product may be different. Therefore, in order to make the credit data more Order management, you can specify an assembly format through a preset configuration file, and then assemble it according to the assembly format.
  • a preset configuration file is set in the credit information collection system, and the credit information subject device assembles the message of credit information by calling the preset configuration file. Accordingly, the preset configuration file specifies the report Text assembly format.
  • the data segment refers to the content corresponding to the corresponding field in the credit data.
  • the content of the field corresponding to the "name" field from the credit information is a data segment, which means that the name segment is extracted from the credit data.
  • the credit information main device extracts a corresponding data segment from the credit information database according to an assembly format specified by the preset configuration file by calling a preset configuration file to form a message.
  • the collection center is the center responsible for collecting credit information in the credit information collection system.
  • the credit information main device extracts a corresponding data segment of each main product by calling a preset configuration file; then the data segments of each main product are stitched together to form a message of the credit main device; and finally, the assembled report The text returned to the collection center.
  • the splicing may be performed in the order of completion of the data collection task, and the identification may be implemented between the data segments of adjacent main products by adding a logo. It is convenient for subsequent analysis and analysis of the assembled message.
  • the credit information can be assembled into a message in the TXT file format as required, which facilitates the transmission, processing, and storage of the message.
  • the credit information main device specifies an assembly format through a preset configuration file, and extracts data segments corresponding to the assembly format from the main product. Finally, the data segments extracted from all main products are assembled according to the assembly format. Form a message and return the message to the collection center, which can make the message format uniform and facilitate the management and analysis of credit data.
  • the main product of the credit information main equipment can also include multiple product segments.
  • the credit information main equipment is Ping An Inclusive Guarantee
  • the main products are car dealer loans, life insurance loans, salary loans, landlord loans, Excellent housing loan, etc.
  • the product segment is the basic data segment table that the main product needs to collect, such as the insurance contract information segment, the actual insurance liability information segment, the compensation profile information segment, and so on.
  • the parallel collection of credit data is also performed through steps similar to steps S10-S40.
  • the process is the same as the process of collecting credit data of the main product by the credit main device. This will not be repeated here.
  • the main body of the credit reference device obtains a timing trigger task; and then generates a multi-thread execution instruction and a loop call instruction according to the timing trigger task, where the M data collection tasks are called by the loop call instruction and are executed by the multi-thread. Instructs the execution of M data collection tasks, so that the main credit device can run M data collection tasks in parallel to obtain the credit data of the M main products; finally, the main credit device assembles the credit data and sends the message back to the collection center.
  • the cyclic call method is used to cyclically call multiple data collection tasks, and multiple data collection tasks are run in parallel through multi-threaded execution instructions to collect credit data, thereby improving the efficiency of credit data collection.
  • the data collection method of this embodiment further includes:
  • step S10 assembling the credit information into a message and returning it to the collection center includes: assembling the cleaned credit information into a message and returning it to the collection center.
  • the credit data obtained by the credit information main equipment may have duplicate values, invalid values, missing values, etc., so the credit data needs to be cleaned to make the credit data more authentic and reliable.
  • the cleaning condition is a condition for judging whether the data in the credit data meets the conditions of repeated values, invalid values, missing values, etc., and thus requires data cleaning.
  • the credit information can be preset with some cleaning conditions for the characteristics of the credit data, and then the obtained credit data is judged. If the cleaning conditions are met, the credit data that meets the cleaning conditions are cleared to obtain the processing data. Credit information after cleaning. For example, you can remove duplicate values in a numerical manner. Among them, digitization refers to the format in which all data becomes numeric values. Because the underlying data has multiple data types, such as character, floating point, and object types, numeric values The transformation is to uniformly transform the data into numerical data by calling a conversion function, and then calculating the similarity between the data.
  • the similarity between two data is greater than a preset threshold, it is identified as a duplicate field, that is, a cleaning condition, and then the duplicate The field (cleaning condition) is cleared to obtain the cleaned credit information, and finally the cleaned credit information is returned to the collection center.
  • the credit information that meets the cleaning conditions is cleared, that is, the credit data is cleaned, so that the credit data is simplified, more authentic and reliable, and the transmission efficiency of credit data is also improved.
  • a credit information subject device is provided, and the credit information subject device corresponds one-to-one with the data collection method in the above embodiment.
  • the credit information main equipment includes an acquisition module 10, a generation module 20, a parallel operation module 30, and a return module 40.
  • the detailed description of each function module is as follows:
  • the obtaining module 10 is configured to obtain a timing trigger task.
  • the generating module 20 is configured to generate a multi-threaded execution instruction and a cyclic call instruction according to the timing trigger task acquired by the acquisition module 10, the cyclic call instruction is used to call M data collection tasks, and the multi-threaded execution instruction is used to perform M data collection tasks.
  • the parallel operation module 30 is configured to run the M data collection tasks in parallel according to the multi-threaded execution instruction and the loop call instruction generated by the generation module 20 to obtain the credit data of the M main products.
  • the return module 40 is configured to assemble the credit information obtained by the parallel operation module 30 into a message and return the message to the collection center.
  • the generating module 20 is further configured to generate a loop call instruction through a loop call statement when a timing trigger task is obtained, and generate a multi-threaded execution instruction by using a thread method.
  • the loop calling instruction includes M task calling instructions
  • the parallel running module 30 includes a calling unit, a creating unit, and a running unit.
  • the calling unit is configured to cyclically call M data collection tasks corresponding to the M task calling instructions through the M task calling instructions.
  • a creating unit is configured to create a number of threads by executing instructions in multiple threads whenever one of the M data collection tasks is called.
  • the running unit is configured to run M data collection tasks when each data collection task of the M data collection tasks creates a corresponding number of threads.
  • the return module 40 includes a determination unit 41, an acquisition unit 42, and a return unit 43.
  • the determining unit 41 is configured to determine an assembly format of credit information according to a preset configuration file.
  • the obtaining unit 42 is configured to obtain a data segment corresponding to the assembled format in the credit information.
  • a return unit 43 is configured to assemble the data segments into a message according to an assembly format, and return the message to the collection center.
  • the return module 40 is further configured to determine whether the credit information meets the preset cleaning conditions, and if yes, clear the credit information that meets the cleaning conditions.
  • the return module 40 is also used to assemble the cleaned credit information into a message and return it to the collection center.
  • Each module in the above credit information main device may be implemented in whole or in part by software, hardware, and a combination thereof.
  • the above-mentioned modules may be embedded in the hardware form or independent of the processor in the computer device, or may be stored in the memory of the computer device in the form of software, so that the processor calls and performs the operations corresponding to the above modules.
  • a computer device is provided.
  • the computer device may be a server, and its internal structure diagram may be as shown in FIG. 7.
  • the computer device includes a processor, a memory, a network interface, and a database connected through a system bus.
  • the processor of the computer device is used to provide computing and control capabilities.
  • the memory of the computer device includes a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium stores an operating system, computer-readable instructions, and a database.
  • the internal memory provides an environment for operating systems and computer-readable instructions in a non-volatile storage medium.
  • the database of the computer equipment is used to store timing trigger tasks, multi-threaded execution instructions, cyclic call instructions, data collection tasks, and credit data.
  • the network interface of the computer device is used to communicate with an external terminal through a network connection.
  • the computer-readable instructions are executed by a processor to implement a data acquisition method.
  • a computer device including a memory, a processor, and computer-readable instructions stored on the memory and executable on the processor.
  • the processor executes the computer-readable instructions, the following steps are implemented:
  • the loop call instructions are used to call M data collection tasks, and the multi-thread execution instructions are used to perform M data collection tasks;
  • the credit information is assembled into a message and returned to the collection center.
  • one or more non-volatile readable storage media storing computer-readable instructions are provided, and when the computer-readable instructions are executed by one or more processors, the one or more Each processor performs the following steps:
  • the loop call instructions are used to call M data collection tasks, and the multi-thread execution instructions are used to perform M data collection tasks;
  • the credit information is assembled into a message and returned to the collection center.
  • Non-volatile memory may include read-only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory can include random access memory (RAM) or external cache memory.
  • RAM is available in various forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), dual data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronous chain Synchlink DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM).
  • SRAM static RAM
  • DRAM dynamic RAM
  • SDRAM synchronous DRAM
  • DDRSDRAM dual data rate SDRAM
  • ESDRAM enhanced SDRAM
  • SLDRAM synchronous chain Synchlink DRAM
  • Rambus direct RAM
  • DRAM direct memory bus dynamic RAM
  • RDRAM memory bus dynamic RAM

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种数据采集方法、征信主体设备、计算机设备及存储介质，该数据采集方法包括：获取定时触发任务；根据定时触发任务生成多线程执行指令和循环调用指令，循环调用指令用于调用M个数据采集任务，多线程执行指令用于执行M个数据采集任务；根据多线程执行指令和循环调用指令并行运行M个数据采集任务，以获取M个主体产品的征信数据；将征信数据组装成报文返回至收集中心。本申请提供的技术方案通过采用循环调用的方式来循环调用多个数据采集任务，并通过多线程执行指令使多个数据采集任务并行运行来采集征信数据，提高了征信数据的采集效率。

Description

数据采集方法、征信主体设备、计算机设备及存储介质
本申请以2018年8月16日提交的申请号为201810935020.6，名称为“数据采集方法、征信主体设备、计算机设备及存储介质”的中国发明专利申请为基础，并要求其优先权。
技术领域
本申请属于数据处理领域，更具体地说，是涉及一种数据采集方法、征信主体设备、计算机设备及存储介质。
背景技术
在征信系统中，从上层往下层依次是上报主体、主体产品和产品段，其中，上报主体包括多个主体产品，而主体产品包括多个产品段。
目前的征信系统采用串行的方式对征信数据进行采集，例如在主体产品的征信数据的采集中，是按照一定顺序依次采集每个主体产品的征信数据，总的采集时间是所有主体产品采集时间的总和。随着主体产品的复杂度的增加，上报主体采集的时间会越来越长，若某个上报主体采集数据的时间过长就会导致该上报主体不能按时采集数据，以至于会漏报征信，同时采用串行的方式采集征信数据的效率也比较低下，时效性不高。
发明内容
本申请实施例提供一种数据采集方法、征信主体设备、计算机设备及存储介质，以解决征信数据采集的效率不高的问题。
一种数据采集方法，应用于征信主体设备，所述征信主体设备包括M个主体产品，所述数据采集方法包括以下步骤：
获取定时触发任务；
根据所述定时触发任务生成多线程执行指令和循环调用指令，所述循环调用指令用于调用M个数据采集任务，所述多线程执行指令用于执行所述M个数据采集任务；
根据所述多线程执行指令和所述循环调用指令并行运行所述M个数据采集任务，以获取所述M个主体产品的征信数据；
将所述征信数据组装成报文返回至所述收集中心。
一种征信主体设备，包括：
获取模块，用于获取定时触发任务；
生成模块，用于根据所述定时触发任务生成多线程执行指令和循环调用指令，所述循环调用指令用于调用M个数据采集任务，所述多线程执行指令用于执行所述M个数据采集任务；
并行运行模块，用于根据所述多线程执行指令和所述循环调用指令并行运行所述M个数据采集任务，以获取M个主体产品的征信数据；
返回模块，用于将所述征信数据组装成报文返回至所述收集中心。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：
获取定时触发任务；
根据所述定时触发任务生成多线程执行指令和循环调用指令，所述循环调用指令用于调用M个数据采集任务，所述多线程执行指令用于执行所述M个数据采集任务；
根据所述多线程执行指令和所述循环调用指令并行运行所述M个数据采集任务，以获取所述M个主体产品的征信数据；
将所述征信数据组装成报文返回至所述收集中心。
一个或多个存储有计算机可读指令的非易失性可读存储介质，所述计算机 可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如下步骤：
获取定时触发任务；
根据所述定时触发任务生成多线程执行指令和循环调用指令，所述循环调用指令用于调用M个数据采集任务，所述多线程执行指令用于执行所述M个数据采集任务；
根据所述多线程执行指令和所述循环调用指令并行运行所述M个数据采集任务，以获取所述M个主体产品的征信数据；
将所述征信数据组装成报文返回至所述收集中心。
本申请的一个或多个实施例的细节在下面的附图和描述中提出，本申请的其他特征和优点将从说明书、附图以及权利要求变得明显。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例中数据采集方法的一应用环境示意图；
图2是本申请一实施例中数据采集方法的一流程图；
图3是本申请一实施例中数据采集方法的另一流程图；
图4是本申请一实施例中数据采集方法的另一流程图；
图5是本申请一实施例中征信主体设备的一原理框图；
图6是本申请一实施例中征信主体设备中返回模块的一原理框图；
图7是本申请一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供的数据采集方法，可应用在如图1所示的征信主体设备中。其中，征信主体设备包括M个主体产品。征信主体设备通过定时触发任务生成多线程执行指令和循环调用指令，然后根据多线程执行指令和循环调用指令并行运行M个数据采集任务来获取M个主体产品的征信数据，最后征信主体设备将征信数据组装成报文返回收集中心。
在一实施例中，如图2所示，提供一种数据采集方法，以该方法应用在图1所示的征信主体设备为例进行说明，包括如下步骤：
S10：获取定时触发任务。
其中，定时触发任务是指征信主体设备中根据预设采集时间触发进行征信数据采集的任务，预设采集时间例如可以是每天8:00，可以根据实际情况进行设定，本实施例不做具体限定。应理解，征信主体设备是包含于征信系统中的，由于征信系统包括N个不同的征信主体设备，每个征信主体设备本身的复杂程度和征信数据采集时间的长短不一样，因此每个征信主体设备可以设置不一样开始采集数据的时间。可选地，可以用调度框架来设置定时触发任务。其中，调度框架可以是Quartz，Quartz是一个完全由java编写的开源作业调度框架，通过配置触发条件，可以使其在设定的时间点触发相应的job开始工作。
具体地，征信系统通过Quartz设置定时触发任务，当到达预设采集时间时，定时触发任务向征信主体设备发送触发指令，当接收到触发指令时，征信主体设备获取到定时触发任务。
S20：根据定时触发任务生成多线程执行指令和循环调用指令，循环调用指令用于调用M个数据采集任务，多线程执行指令用于执行M个数据采集任务。
其中，数据采集任务是指征信主体设备采集主体产品的征信数据的任务， 由于每个征信主体设备包括M个主体产品，因此数据采集任务的个数也为M个。应理解，当征信主体设备不同时，M具体代表的个数可能不一样。可选地，数据采集任务可以设置相应的数据采集程序来完成。多线程执行指令是指在征信主体设备中用于创建多线程从而使M个数据采集任务并行执行的指令。循环调用指令是指在征信主体设备中用于循环调用M个数据采集任务的指令。
在一实施例中，当征信主体设备获取到定时触发任务时，通过循环调用语句生成循环调用指令，并采用线程类方法生成多线程执行指令。
可选地，循环调用语句为for语句。其中，for语句是java编程语言中一种循环语句，其一般格式为for(控制变量初始化的表达式；条件表达式；增量表达式)，在条件满足的时候被重复执行。可选地，本实施例中是通过数组的形式来定义数据采集任务的，例如以“ZED”数组代表其中一个主体产品，用for语句对数组定义的数据采集任务进行调用，当for语句满足“ZED”数组的调用条件时，调用“ZED”数组对应的数据采集任务以采集“ZED”数组的主体产品的征信数据。由于for语句定义了循环调用的条件，因此可以循环调用所有预先定义的数组，从而达到循环调用M个数据采集任务对采集对应的M个主体产品的征信数据。
其中，线程(Thread)类方法是java中创建多线程的方法之一，包括start方法、run方法、sleep方法、yield方法和join方法等等创建和管理线程的方法。例如start方法的过程为：start()用来启动一个线程，当调用start方法后，系统才会开启一个新的线程来执行用户定义的子任务，在这个过程中，会为相应的线程分配需要的资源。在本实施例中，每当征信数据采集系统中有一个子任务(数据采集任务)产生时，Thread类相应创建一个线程，从而征信数据采集系统为这个线程分配资源以执行该子任务。可选地，可以采用Thread类进行组合使用完成创建多线程的操作。
S30：根据多线程执行指令和循环调用指令并行运行M个数据采集任务，以获取M个主体产品的征信数据。
在一实施例中，循环调用指令包括M个任务调用指令，其中，任务调用指令是指调用一个数据采集任务的指令，如图3所示，步骤S30具体可以包括以下步骤：
S31：通过M个任务调用指令循环调用与M个任务调用指令对应的M个数据采集任务。
由于征信主体设备包括M个主体产品，相应地，征信主体设备通过M个任务调用指令循环调用与M个任务调用指令对应的M个数据采集任务。
具体地，任务调用指令是通过数据采集任务的标识从征信系统的数据库相应的位置获取与数据采集任务对应的存储的过程代码，从而调用该数据采集任务的存储的过程代码来实现征信数据的采集的。例如，任务调用指令调用“ZED”数组对应的数据采集任务，则可以根据“ZED”数组先在征信系统的数据库中的标识来查找到与“ZED”数组对应的数据采集任务对应的存储的过程代码并调用，从而实现对“ZED”数组对应的主体产品的征信数据的采集。通过循环调用语句定义的循环调用条件，就可以相应的循环调用不同的数据采集任务以采集不同的主体产品的征信数据。
S32：每当M个数据采集任务中的其中一个数据采集任务被调用时，通过多线程执行指令创建一线程数。
为了使循环调用指令调用的数据采集任务可以同时运行采集征信数据，提高征信数据的采集效率，需要使用多线程执行指令为每个被调用的数据采集任务分配系统资源，从而使每个被调用的数据采集任务的线程不会被其它线程所影响，同时运行采集征信数据。
具体地，可以采用多线程执行指令(Thread类方法)来每一个被调用的数据采集任务分配系统资源，即每当M个数据采集任务中的其中一个数据采集任务被调用时，征信主体设备就通过多线程执行指令(Thread类方法)相应地多创建一个线程数，使线程之间不会相互影响，以并行地采集征信数据。
S33：当M个数据采集任务中的每一个数据采集任务均创建了一对应的线 程数时，运行M个数据采集任务。
具体地，当M个数据采集任务中的每一个数据采集任务均创建了一对应的线程数时，同时运行M个数据采集任务，即通过循环调用指令调用M个数据采集任务，并通过多线程执行指令创建相应M个线程，从而在征信主体设备中根据M个线程数分配相应的系统资源来同时运行M个数据采集任务，实现对M个主体产品并行采集征信数据的目的。
在图3对应的实施例中，通过循环调用指令的任务调用指令调用数据采集任务，同时用多线程执行指令为调用的数据采集任务创建线程，分配系统资源，达到并行采集征信数据的目的，提高了征信数据的采集效率。
S40：将征信数据组装成报文返回至收集中心。
其中，收集中心与征信主体设备相连接，用于收集征信数据，征信主体设备获得的征信数据最后是返回到收集中心。
在一实施例中，如图4所示，步骤S40具体可以包括以下步骤：
S41：根据预设配置文件确定征信数据的组装格式。
其中，预设配置文件规定例如字符长度、数据类型、校验码等组装格式。可以理解，从主体产品获取的征信数据可包括多个字段，但可能某些字段并不是必要的，而且可能每个主体产品的字段顺序也不一样，因此，为了使征信数据更加进行有序的管理，可以通过预设配置文件来规定一个组装格式，再按照组装格式组装起来。
具体地，将预设配置文件设置于征信数据采集系统中，征信主体设备通过调用预设配置文件的形式来实现征信数据的报文的组装，相应地，预设配置文件规定了报文的组装格式。
S42：获取征信数据中与组装格式对应的数据段。
其中，数据段是指征信数据中相应字段对应的内容。例如，从征信数据中取“姓名”这一字段对应的字段内容即为数据段，表示从征信数据中抽取姓名这一数据段。
具体地，征信主体设备通过调用预设配置文件，按照预设配置文件规定的组装格式从征信数据库抽取对应的数据段，以形成报文。
S43：将数据段按组装格式组装成报文，并将报文返回至收集中心。
其中，收集中心是征信数据采集系统中用于负责收集征信数据的中心。
具体地，征信主体设备通过调用预设配置文件抽取每个主体产品相应的数据段；然后将每个主体产品的数据段拼接起来，形成该征信主体设备的报文；最后将组装的报文返回至收集中心。可选地，在将每个主体产品的数据段进行拼接时，可以按照数据采集任务完成时间的先后顺序进行拼接，并在相邻的主体产品的数据段间通过添加标识的方式来实现区分，方便后续对组装成的报文作进一步的分折和研究。
可选地，可以根据需要将征信数据组装成TXT文档格式的报文，方便报文的传输、加工和存储。
在图4对应的实施例中，征信主体设备通过预设配置文件规定组装格式，并抽取主体产品中与组装格式对应的数据段，最后将从所有主体产品抽取出来的数据段按组装格式组装成报文，并将报文返回至收集中心，可以使报文的格式统一，方便对征信数据的管理和分析。
可以理解地，在征信主体设备的主体产品中，又可以包括多个产品段，例如，征信主体设备为平安普惠担保，主体产品为车商贷、寿险贷、薪金贷、业主贷、优房贷等等，而产品段为主体产品需要采集的基础数据段表，例如是保险合同信息段、实际在保责任信息段、代偿概况信息段等等。
而在主体产品采集征信数据的过程中，也是通过与步骤S10-S40类似的步骤来实现征信数据的并行采集的，其过程与征信主体设备采集主体产品的征信数据过程相同，在此不再赘述。
在图2对应的实施例中，征信主体设备通过获取定时触发任务；然后根据定时触发任务生成多线程执行指令和循环调用指令，其中通过循环调用指令调用M个数据采集任务，通过多线程执行指令执行M个数据采集任务，使征信 主体设备可以并行运行M个数据采集任务，从而获取M个主体产品的征信数据；最后征信主体设备将征信数据组装起报文返回至收集中心。通过采用循环调用的方式来循环调用多个数据采集任务，并通过多线程执行指令使多个数据采集任务并行运行来采集征信数据，提高了征信数据的采集效率。
在一实施例中，步骤S40之前，即在将征信数据组装成报文返回至收集中心的步骤之前，本实施例的数据采集方法还包括：
判断征信数据是否符合预设清洗条件，若是，则对符合清洗条件的征信数据进行清除；
而步骤S10中，将所述征信数据组装成报文返回至收集中心，则包括：将经过清洗的征信数据组装成报文返回至收集中心。
可以理解，征信主体设备获取的征信数据可能有重复值、无效值和缺失值等等，因此需要对征信数据进行清洗，使征信数据更加真实可靠。
其中，清洗条件即判断征信数据中的数据是否符合重复值、无效值和缺失值等的情况从而需要进行数据清洗的条件。
具体地，可以对征信数据预设一些针对征信数据特点的清洗条件，然后对获取的征信数据进行判断，如果满足清洗条件，则对符合清洗条件的征信数据进行清除，获得进行数据清洗后的征信数据。例如，可以用数值化的方式去掉重复值，其中，数值化是指所有数据变为数值的格式，由于基础数据中有多种数据类型，比如字符型、浮点型、对象型等等，数值化是通过调用转换函数将数据统一转换成数值型的数据，然后通过计算数据间的相似度，若某两个数据相似度大于预设阈值时，识别为重复字段，即清洗条件，再对重复字段(清洗条件)进行清除操作，得到清洗后的征信数据，最后将清洗后的征信数据返回至收集中心。
在本实施例中，通过对符合清洗条件的征信数据进行清除，即对征信数据进行数据清洗，使征信数据进行精简，更加真实可靠，同时也提高了征信数据的传输效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在一实施例中，提供一种征信主体设备，该征信主体设备与上述实施例中数据采集方法一一对应。如图5所示，该征信主体设备包括获取模块10、生成模块20、并行运行模块30和返回模块40。各功能模块详细说明如下：
获取模块10，用于获取定时触发任务。
生成模块20，用于根据获取模块10获取的定时触发任务生成多线程执行指令和循环调用指令，循环调用指令用于调用M个数据采集任务，多线程执行指令用于执行M个数据采集任务。
并行运行模块30，用于根据生成模块20生成的多线程执行指令和循环调用指令并行运行所述M个数据采集任务，以获取M个主体产品的征信数据。
返回模块40，用于将并行运行模块30获取的所述征信数据组装成报文返回至所述收集中心。
进一步地，生成模块20还用于当获取到定时触发任务时，通过循环调用语句生成循环调用指令，并采用线程类方法生成多线程执行指令。
进一步地，循环调用指令包括M个任务调用指令，并行运行模块30包括调用单元、创建单元和运行单元。
调用单元，用于通过M个任务调用指令循环调用与M个任务调用指令对应的M个数据采集任务。
创建单元，用于每当M个数据采集任务中的其中一个数据采集任务被调用时，通过多线程执行指令创建一线程数。
运行单元，用于当M个数据采集任务中的每一个数据采集任务均创建了一对应的线程数时，运行M个数据采集任务。
进一步地，如图6所示，返回模块40包括：确定单元41、获取单元42和 返回单元43。
确定单元41，用于根据预设配置文件确定征信数据的组装格式。
获取单元42，用于获取征信数据中与组装格式对应的数据段。
返回单元43，用于将数据段按组装格式组装成报文，并将报文返回至收集中心。
进一步地，返回模块40还用于判断征信数据是否符合预设清洗条件，若是，则对符合清洗条件的征信数据进行清除。而返回模块40还用于将经过清洗后的征信数据组装成报文返回至收集中心。
关于征信主体设备的具体限定可以参见上文中对于数据采集方法的限定，在此不再赘述。上述征信主体设备中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的数据库用于存储定时触发任务、多线程执行指令、循环调用指令、数据采集任务和征信数据等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种数据采集方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现以下步骤：
获取定时触发任务；
根据定时触发任务生成多线程执行指令和循环调用指令，循环调用指令用于调用M个数据采集任务，多线程执行指令用于执行M个数据采集任务；
根据多线程执行指令和循环调用指令并行运行M个数据采集任务，以获取M个主体产品的征信数据；
将征信数据组装成报文返回至收集中心。
在一个实施例中，提供了一个或多个存储有计算机可读指令的非易失性可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如下步骤：
获取定时触发任务；
根据定时触发任务生成多线程执行指令和循环调用指令，循环调用指令用于调用M个数据采集任务，多线程执行指令用于执行M个数据采集任务；
根据多线程执行指令和循环调用指令并行运行M个数据采集任务，以获取M个主体产品的征信数据；
将征信数据组装成报文返回至收集中心。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、 存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (20)

  1. 一种数据采集方法，其特征在于，应用于征信主体设备，所述征信主体设备包括M个主体产品，包括以下步骤：
    获取定时触发任务；
    根据所述定时触发任务生成多线程执行指令和循环调用指令，所述循环调用指令用于调用M个数据采集任务，所述多线程执行指令用于执行所述M个数据采集任务；
    根据所述多线程执行指令和所述循环调用指令并行运行所述M个数据采集任务，以获取所述M个主体产品的征信数据；
    将所述征信数据组装成报文返回至收集中心。
  2. 如权利要求1所述的数据采集方法，其特征在于，所述根据所述定时触发任务生成多线程执行指令和循环调用指令，包括：
    当获取到所述定时触发任务时，通过循环调用语句生成所述循环调用指令，并采用线程类方法生成所述多线程执行指令。
  3. 如权利要求2所述的数据采集方法，其特征在于，所述循环调用指令包括M个任务调用指令；
    所述根据所述多线程执行指令和所述循环调用指令并行运行所述M个数据采集任务，包括：
    通过所述M个任务调用指令循环调用与所述M个任务调用指令对应的所述M个数据采集任务；
    每当所述M个数据采集任务中的其中一个数据采集任务被调用时，通过所述多线程执行指令创建一线程数；
    当所述M个数据采集任务中的每一个数据采集任务均创建了一对应的线程数时，运行所述M个数据采集任务。
  4. 如权利要求3所述的数据采集方法，其特征在于，所述将所述征信数据 组装成报文返回至所述收集中心，包括：
    根据预设配置文件确定所述征信数据的组装格式；
    获取所述征信数据中与所述组装格式对应的数据段；
    将所述数据段按所述组装格式组装成报文，并将所述报文返回至所述收集中心。
  5. 如权利要求1-4任意一项所述的数据采集方法，其特征在于，在所述将所述征信数据组装成报文返回至所述收集中心的步骤之前，所述方法还包括：
    判断所述征信数据是否符合预设清洗条件，若是，则对符合所述清洗条件的所述征信数据进行清除；
    所述将所述征信数据组装成报文返回至所述收集中心，包括：
    将经过所述清洗的所述征信数据组装成报文返回至所述收集中心。
  6. 一种征信主体设备，其特征在于，包括：
    获取模块，用于获取定时触发任务；
    生成模块，用于根据所述获取模块获取的所述定时触发任务生成多线程执行指令和循环调用指令，所述循环调用指令用于调用M个数据采集任务，所述多线程执行指令用于执行所述M个数据采集任务；
    并行运行模块，用于根据所述生成模块生成的所述多线程执行指令和所述循环调用指令并行运行所述M个数据采集任务，以获取M个主体产品的征信数据；
    返回模块，用于将所述并行运行模块获取的所述征信数据组装成报文返回至收集中心。
  7. 如权利要求6所述的征信主体设备，其特征在于，所述生成模块还用于当获取到所述定时触发任务时，通过循环调用语句生成所述循环调用指令，并采用线程类方法生成所述多线程执行指令。
  8. 如权利要求7所述的征信主体设备，其特征在于，所述循环调用指令包括M个任务调用指令；
    所述并行运行模块包括调用单元、创建单元和运行单元；
    所述调用单元，用于通过所述M个任务调用指令循环调用与所述M个任务调用指令对应的所述M个数据采集任务；
    所述创建单元，用于每当所述M个数据采集任务中的其中一个数据采集任务被调用时，通过所述多线程执行指令创建一线程数；
    所述运行单元，用于当M个数据采集任务中的每一个数据采集任务均创建了一对应的线程数时，运行所述M个数据采集任务。
  9. 如权利要求8所述的征信主体设备，其特征在于，所述返回模块包括：确定单元、获取单元和返回单元；
    所述确定单元，用于根据预设配置文件确定所述征信数据的组装格式；
    所述获取单元，用于获取所述征信数据中与所述组装格式对应的数据段；
    所述返回单元，用于将所述数据段按所述组装格式组装成报文，并将所述报文返回至所述收集中心。
  10. 如权利要求6-9任一项所述的征信主体设备，其特征在于，所述返回模块还用于：
    判断所述征信数据是否符合预设清洗条件，若是，则对符合所述清洗条件的所述征信数据进行清除；
    将经过所述清洗的所述征信数据组装成报文返回至所述收集中心。
  11. 一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如下步骤：
    获取定时触发任务；
    根据所述定时触发任务生成多线程执行指令和循环调用指令，所述循环调用指令用于调用M个数据采集任务，所述多线程执行指令用于执行所述M个数据采集任务；
    根据所述多线程执行指令和所述循环调用指令并行运行所述M个数据采 集任务，以获取所述M个主体产品的征信数据；
    将所述征信数据组装成报文返回至收集中心。
  12. 如权利要求11所述的计算机设备，其特征在于，所述根据所述定时触发任务生成多线程执行指令和循环调用指令，包括：
    当获取到所述定时触发任务时，通过循环调用语句生成所述循环调用指令，并采用线程类方法生成所述多线程执行指令。
  13. 如权利要求12所述的计算机设备，其特征在于，所述循环调用指令包括M个任务调用指令；
    所述根据所述多线程执行指令和所述循环调用指令并行运行所述M个数据采集任务，包括：
    通过所述M个任务调用指令循环调用与所述M个任务调用指令对应的所述M个数据采集任务；
    每当所述M个数据采集任务中的其中一个数据采集任务被调用时，通过所述多线程执行指令创建一线程数；
    当所述M个数据采集任务中的每一个数据采集任务均创建了一对应的线程数时，运行所述M个数据采集任务。
  14. 如权利要求13所述的计算机设备，其特征在于，所述将所述征信数据组装成报文返回至所述收集中心，包括：
    根据预设配置文件确定所述征信数据的组装格式；
    获取所述征信数据中与所述组装格式对应的数据段；
    将所述数据段按所述组装格式组装成报文，并将所述报文返回至所述收集中心。
  15. 如权利要求11-14任一项所述的计算机设备，其特征在于，在所述将所述征信数据组装成报文返回至所述收集中心的步骤之前，所述处理器执行所述计算机可读指令时还实现如下步骤：
    判断所述征信数据是否符合预设清洗条件，若是，则对符合所述清洗条件 的所述征信数据进行清除；
    所述将所述征信数据组装成报文返回至所述收集中心，包括：
    将经过所述清洗的所述征信数据组装成报文返回至所述收集中心。
  16. 一个或多个存储有计算机可读指令的非易失性可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如下步骤：
    获取定时触发任务；
    根据所述定时触发任务生成多线程执行指令和循环调用指令，所述循环调用指令用于调用M个数据采集任务，所述多线程执行指令用于执行所述M个数据采集任务；
    根据所述多线程执行指令和所述循环调用指令并行运行所述M个数据采集任务，以获取所述M个主体产品的征信数据；
    将所述征信数据组装成报文返回至收集中心。
  17. 如权利要求16所述的非易失性可读存储介质，其特征在于，所述根据所述定时触发任务生成多线程执行指令和循环调用指令，包括：
    当获取到所述定时触发任务时，通过循环调用语句生成所述循环调用指令，并采用线程类方法生成所述多线程执行指令。
  18. 如权利要求17所述的非易失性可读存储介质，其特征在于，所述循环调用指令包括M个任务调用指令；
    所述根据所述多线程执行指令和所述循环调用指令并行运行所述M个数据采集任务，包括：
    通过所述M个任务调用指令循环调用与所述M个任务调用指令对应的所述M个数据采集任务；
    每当所述M个数据采集任务中的其中一个数据采集任务被调用时，通过所述多线程执行指令创建一线程数；
    当所述M个数据采集任务中的每一个数据采集任务均创建了一对应的线 程数时，运行所述M个数据采集任务。
  19. 如权利要求18所述的非易失性可读存储介质，其特征在于，所述将所述征信数据组装成报文返回至所述收集中心，包括：
    根据预设配置文件确定所述征信数据的组装格式；
    获取所述征信数据中与所述组装格式对应的数据段；
    将所述数据段按所述组装格式组装成报文，并将所述报文返回至所述收集中心。
  20. 如权利要求16-19任一项所述的非易失性可读存储介质，其特征在于，在所述将所述征信数据组装成报文返回至所述收集中心的步骤之前，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器还执行如下步骤：
    判断所述征信数据是否符合预设清洗条件，若是，则对符合所述清洗条件的所述征信数据进行清除；
    所述将所述征信数据组装成报文返回至所述收集中心，包括：
    将经过所述清洗的所述征信数据组装成报文返回至所述收集中心。
PCT/CN2018/122736 2018-08-16 2018-12-21 数据采集方法、征信主体设备、计算机设备及存储介质 Ceased WO2020034532A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810935020.6 2018-08-16
CN201810935020.6A CN109284194B (zh) 2018-08-16 2018-08-16 数据采集方法、征信主体设备、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
WO2020034532A1 true WO2020034532A1 (zh) 2020-02-20

Family

ID=65183100

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/122736 Ceased WO2020034532A1 (zh) 2018-08-16 2018-12-21 数据采集方法、征信主体设备、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN109284194B (zh)
WO (1) WO2020034532A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114880099A (zh) * 2022-05-23 2022-08-09 中国银行股份有限公司 一种数据采集方法及装置
CN119704210A (zh) * 2025-03-04 2025-03-28 北京通用人工智能研究院 数据采集方法和装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084467B (zh) * 2019-03-13 2023-07-14 中国平安财产保险股份有限公司 移动验标方法、装置、计算机设备及存储介质
CN110147379B (zh) * 2019-04-02 2023-06-30 平安科技（深圳）有限公司 基于数据锁的信息采集方法、装置、计算机设备
CN110503544A (zh) * 2019-07-05 2019-11-26 招联消费金融有限公司 征信数据报送方法、装置、系统、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719306A (zh) * 2009-10-30 2010-06-02 深圳市科陆电子科技股份有限公司 并发式电量数据采集方法
CN103188088A (zh) * 2011-12-27 2013-07-03 北京新媒传信科技有限公司 设备信息采集系统及方法
CN104111983A (zh) * 2014-06-30 2014-10-22 中国科学院信息工程研究所 一种开放式的多源数据采集系统及方法
CN104158699A (zh) * 2014-08-08 2014-11-19 广州新科佳都科技有限公司 一种基于优先级和分段的数据采集方法
CN106059792A (zh) * 2016-05-13 2016-10-26 北京英诺威尔科技股份有限公司 一种低延迟的流量解析处理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7657891B2 (en) * 2005-02-04 2010-02-02 Mips Technologies, Inc. Multithreading microprocessor with optimized thread scheduler for increasing pipeline utilization efficiency
CN102446089A (zh) * 2010-10-04 2012-05-09 王子影 一种地震前兆多仪器实时数据采集与波形浏览控件技术
JP5218585B2 (ja) * 2011-03-15 2013-06-26 オムロン株式会社 制御装置およびシステムプログラム
CN102760086B (zh) * 2012-07-06 2016-06-08 北京泛华恒兴科技有限公司 基于柔性测试技术的数据检测控制方法和装置
CN104376063B (zh) * 2014-11-11 2019-02-19 南京邮电大学 基于分类管理的多线程网络爬虫方法和信息实时更新系统
CN107179942B (zh) * 2017-05-16 2020-12-01 中国电子科技集团公司第四十一研究所 一种基于多线程的实时数据分析任务分发处理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719306A (zh) * 2009-10-30 2010-06-02 深圳市科陆电子科技股份有限公司 并发式电量数据采集方法
CN103188088A (zh) * 2011-12-27 2013-07-03 北京新媒传信科技有限公司 设备信息采集系统及方法
CN104111983A (zh) * 2014-06-30 2014-10-22 中国科学院信息工程研究所 一种开放式的多源数据采集系统及方法
CN104158699A (zh) * 2014-08-08 2014-11-19 广州新科佳都科技有限公司 一种基于优先级和分段的数据采集方法
CN106059792A (zh) * 2016-05-13 2016-10-26 北京英诺威尔科技股份有限公司 一种低延迟的流量解析处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114880099A (zh) * 2022-05-23 2022-08-09 中国银行股份有限公司 一种数据采集方法及装置
CN119704210A (zh) * 2025-03-04 2025-03-28 北京通用人工智能研究院 数据采集方法和装置

Also Published As

Publication number Publication date
CN109284194A (zh) 2019-01-29
CN109284194B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
WO2020034532A1 (zh) 数据采集方法、征信主体设备、计算机设备及存储介质
CN110069572B (zh) 基于大数据平台的hive任务调度方法、装置、设备及存储介质
US9904585B1 (en) Error handling in executing workflow state machines
CN110232087B (zh) 大数据增量迭代方法、装置、计算机设备和存储介质
CN107016480B (zh) 任务调度方法、装置及系统
US9766927B1 (en) Data flow management in processing workflows
CN109389299B (zh) 工作流流程部署方法、装置、计算机设备和存储介质
CN104536819A (zh) 基于web服务的任务调度方法
CN113656471B (zh) 方案处理方法、装置、计算机设备和存储介质
US11327788B2 (en) Methods for scheduling multiple batches of concurrent jobs
CN104866378A (zh) 一种协调执行任务的系统及方法
CN113377668A (zh) 服务接口的自动化测试方法、装置和计算机设备
CN112748993A (zh) 任务执行方法、装置、存储介质及电子设备
US8458136B2 (en) Scheduling highly parallel jobs having global interdependencies
CN108319538A (zh) 大数据平台运行状态的监控方法和系统
CN118519750A (zh) 任务处理方法、装置、计算机设备及存储介质
CN115481156A (zh) 一种数据处理方法、装置、设备及介质
CN115480897A (zh) 一种任务处理方法、装置、设备、存储介质及程序产品
CN115391009A (zh) 一种批量业务的资源调度方法、系统、设备及存储介质
US10303558B2 (en) Checkpointing higher order query operators
CN105786626A (zh) 基于K划分的Storm平台线程分配方法
CN113032118A (zh) 用于计算机应用程序的异步操作处理方法和相应的系统
CN110245009B (zh) 周期任务分配方法、装置、计算机设备和存储介质
CN111857984A (zh) 银行系统中的作业调用处理方法、装置和计算机设备
CN116185869A (zh) 一种软件测试方法、系统、计算机设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18930403

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18930403

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18930403

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18930403

Country of ref document: EP

Kind code of ref document: A1