WO2020015067A1 - 数据采集方法、装置、设备及存储介质 - Google Patents
数据采集方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- WO2020015067A1 WO2020015067A1 PCT/CN2018/103791 CN2018103791W WO2020015067A1 WO 2020015067 A1 WO2020015067 A1 WO 2020015067A1 CN 2018103791 W CN2018103791 W CN 2018103791W WO 2020015067 A1 WO2020015067 A1 WO 2020015067A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- target
- collection
- rule
- field set
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Definitions
- the present application relates to the field of data processing, and in particular, to a data collection method, device, device, and computer-readable storage medium.
- the main purpose of this application is to provide a data collection method, device, device, and computer-readable storage medium, which are aimed at solving the technical problems of wasting manpower and low efficiency of existing data collection technologies.
- the present application provides a data collection method, and the data collection method includes the following steps:
- Target field set with a preset collection library to determine whether there is a target collection rule matching the target field set in the preset collection library, wherein the target collection rule includes a related form identifier and data collection path;
- the target collection rule exists in the preset collection library, determining a corresponding target form according to the related form identifier, and correlating the forms in the target form;
- the data collection path obtain target data corresponding to the target field set in an association table of the target form, and store the target data in the collection destination table.
- the target field set is matched with a preset collection library to determine whether a target collection rule matching the target field set exists in the preset collection library, wherein the target collection rule includes
- the steps of corresponding association relationship and data collection path include:
- the collection rule is the target collection rule.
- the method further includes:
- determining a corresponding target form according to the related form identifier, and correlating the forms in the target form include:
- the target collection rule exists in the preset collection database, obtaining the number of rules of the target collection rule, and determining whether the number of rules is unique;
- a corresponding target form is determined according to a related form identifier in the target collection rule, and the forms in the target form are associated.
- the method further includes:
- a selection instruction triggered by a user selection operation is received, and a target collection rule is determined in the pending collection rule list according to the selection instruction.
- the method further includes:
- the number of tables corresponding to each candidate collection rule is determined, and the candidate collection rule with the smallest number of tables is obtained as the target collection rule.
- the target field set is matched with a preset collection library to determine whether a target collection rule matching the target field set exists in the preset collection library, wherein the target collection rule includes After the steps of identifying the relevant form and data collection path, it also includes:
- the collection rule feedback from the preset processing end is used as the target collection rule, and the target field set and the target collection rule are correspondingly stored in the preset A collection library is set to update the preset collection library.
- the present application further provides a data acquisition device, where the data acquisition device includes:
- a form generating module configured to obtain a target field set in the business demand when a business demand is received, and generate a collection destination table according to the target field set;
- a rule judgment module is configured to match the target field set with a preset collection library, and determine whether a target collection rule matching the target field set exists in the preset collection library, where the target collection rule includes Relevant form identification and data collection path;
- a form association module configured to determine a corresponding target form according to the relevant form identifier if it is determined that the target collection rule exists in the preset collection library, and associate the forms in the target form;
- a data collection module is configured to obtain target data corresponding to the target field set in an association table of the target form according to the data collection path, and store the target data in the collection destination table.
- the present application further provides a data acquisition device, where the data acquisition device includes a processor, a memory, and computer-readable instructions stored on the memory and executable by the processor, where When the computer-readable instructions are executed by the processor, the steps of the data acquisition method as described above are implemented.
- the present application further provides a computer-readable storage medium, characterized in that the computer-readable storage medium stores computer-readable instructions, wherein when the computer-readable instructions are executed by a processor, To implement the steps of the data acquisition method described above.
- This application provides a data collection method, that is, when a business demand is received, a target field set in the business demand is obtained, and a collection purpose table is generated according to the target field set; the target field set and a preset collection are collected
- the database is matched to determine whether there is a target collection rule in the preset collection library that matches the target field set, wherein the target collection rule includes a related form identifier and a data collection path; if it is determined that the preset collection library If the target collection rule exists in the target form, the corresponding target form is determined according to the related form identifier, and the forms in the target form are associated; according to the data collection path, obtained in the association form of the target form
- the target data corresponding to the target field set is stored in the collection target table.
- FIG. 1 is a schematic diagram of a hardware structure of a data acquisition device involved in a solution according to an embodiment of the present application
- FIG. 2 is a schematic flowchart of a first embodiment of a data collection method of this application
- FIG. 3 is a schematic flowchart of a second embodiment of a data collection method of this application.
- FIG. 4 is a schematic flowchart of a third embodiment of a data collection method according to the present application.
- FIG. 5 is a schematic diagram of the functional modules of the first embodiment of the data acquisition device of the present application.
- the data acquisition method according to the embodiment of the present application is mainly applied to a data acquisition device, and the data acquisition device may be a device with display and processing functions such as a PC, a portable computer, and a mobile terminal.
- FIG. 1 is a schematic diagram of a hardware structure of a data acquisition device involved in a solution according to an embodiment of the present application.
- the data acquisition device may include a processor 1001 (such as a CPU), a communication bus 1002, a user interface 1003, a network interface 1004, and a memory 1005.
- the communication bus 1002 is used to implement connection and communication between these components.
- the user interface 1003 may include a display and an input unit such as a keyboard.
- the network interface 1004 may optionally include a standard wired interface and a wireless interface.
- the memory 1005 can be a high-speed RAM memory or a stable memory (non-volatile memory), such as a disk memory, the memory 1005 may optionally be a storage device independent of the foregoing processor 1001.
- FIG. 1 does not constitute a limitation on the data acquisition device, and may include more or fewer components than shown in the figure, or combine certain components, or arrange different components.
- the memory 1005 as a computer-readable storage medium in FIG. 1 may include an operating system, a network communication module, and computer-readable instructions.
- the network communication module is mainly used to connect to a server and perform data communication with the server; and the processor 1001 can call computer-readable instructions stored in the memory 1005 and execute the data collection method provided in the embodiment of the present application.
- An embodiment of the present application provides a data collection method.
- FIG. 2 is a schematic flowchart of a first embodiment of a data collection method of the present application.
- the data collection method includes the following steps:
- Step S10 When receiving a business demand, obtaining a target field set in the business demand, and generating a collection destination table according to the target field set;
- a data collection platform is established to record the user's collection requirements information (that is, the field information corresponding to the data to be collected).
- the processor determines the corresponding field information according to the data to be collected, it analyzes each form information in the source database to determine the target form that can collect the field information.
- the target data is preferably obtained from a form, or the number of form sources of the target data is minimized. Then obtain the form name or the address in the source database where the form is located as the data collection path. If target data needs to be obtained from multiple forms, the multiple forms are correlated, and a target collection rule is generated according to the data collection path and the corresponding association relationship.
- the target field set corresponding to the target data and the target collection rule are correspondingly stored in a preset collection library.
- the business requirement is parsed to obtain a target field set in the business requirement.
- a corresponding collection destination table is generated according to the target field set, where the collection destination table user stores target data corresponding to the business requirements.
- the target fields in the target field set are matched with the preset collection library to determine whether a target collection rule corresponding to the target field exists in the preset collection library.
- Step S20 Match the target field set with a preset collection library to determine whether a target collection rule matching the target field set exists in the preset collection library, where the target collection rule includes a related form identifier And data collection paths;
- a collection rule matching the target field set exists in the preset collection library, it means that the field collection that matches the target field set is stored in the preset collection library in advance.
- the field set matching the target field set may be the same field set as the target field set, or may be a field set similar to the target field set.
- the same field set as the target field set is: there is only one field that is the same as the field in the target field set, and the field names are the same.
- a field set similar to the target field set is: there are and only fields equivalent to the fields in the target field set. Because the data fields may have multiple different names, each name corresponding to each field is stored in the preset collection library in advance. Equivalent fields are fields that have different names but correspond to the same field.
- a collection rule corresponding to the field set matching the target field set is obtained in the preset collection library, and the collection rule is used as the target collection rule.
- the target collection rule corresponding target data is collected in a corresponding association form, and the target data is stored in a target table. For example, when receiving the policy data acquisition requirement, the policy number, policy fee, policy date, insurer, policyholder, and compensation amount fields in the policy data acquisition requirement are parsed, and a target field set is generated according to the above fields.
- Step S30 if it is determined that the target collection rule exists in the preset collection library, determine a corresponding target form according to the related form identifier, and associate the forms in the target form;
- the target collection rule if the target collection rule exists in the preset collection library, the target collection rule is parsed to obtain a related form identifier and a data collection path in the target collection rule.
- the related form identifier is a form identifier that needs to be called to collect the target field set corresponding to the business requirement, and the identifier may be a form name or form number.
- determine the corresponding target form that is, include a list of all forms for which all target fields can be obtained, and associate each form in the target form for subsequent corresponding fields Acquisition of data.
- the target form may store a form identifier or directly obtain a corresponding form for storage.
- Step S40 According to the data collection path, obtain target data corresponding to the target field set in an association table of the target form, and store the target data in the collection destination table.
- a data collection path is parsed in the target collection rule.
- the data collection path is the storage address of the corresponding form identification table, the order of obtaining the fields in the target field set, or the process of obtaining the fields in the target field set.
- the corresponding form can be located, and each field data in the target field set can be obtained according to the collection process in the data collection path.
- the target data corresponding to the collected target field set is correspondingly stored in the collection purpose table according to the field format, and the collection purpose table is fed back to the corresponding user.
- This embodiment provides a data collection method, that is, when a business demand is received, a target field set in the business demand is obtained, and a collection purpose table is generated according to the target field set; the target field set and a preset
- the collection database is matched to determine whether there is a target collection rule in the preset collection library that matches the target field set, wherein the target collection rule includes a related form identifier and a data collection path; if it is determined that the preset collection If the target collection rule exists in the database, the corresponding target form is determined according to the related form identifier, and the tables in the target form are associated; according to the data collection path, in the associated form of the target form Acquiring target data corresponding to the target field set, and storing the target data in the collection destination table.
- the present application realizes automatic collection of target data, saves manpower, improves collection efficiency, and solves the problems of wasting manpower and low efficiency of existing data collection technologies.
- FIG. 3 is a schematic flowchart of a second embodiment of a data collection method of the present application.
- the step S20 includes:
- Step S21 Match each target field in the target field set with a preset field set in the preset collection library, and calculate a degree of matching between the target field set and the preset field set;
- step S22 it is determined whether a target collection rule matching the target field set exists in the preset collection library according to the matching degree, and the matching degree with the target field set is not less than a preset preset value.
- the collection rule corresponding to the field set is the target collection rule.
- a matching degree corresponding to each preset field set in the preset collection library and a target field set corresponding to the service requirement is calculated.
- the specific steps are: sequentially obtaining each preset field set in the preset collection library, and matching each target field in the target field set with each field in the preset field set, and a preset field set Is a matching unit. Obtain the number of matching fields of the target field set and each preset field set, and divide the number of matching fields by the number of fields in the target field set to obtain the target field set and each The matching degree of the preset field set.
- Set a preset threshold that is, the matching degree threshold, such as 100%.
- the target field set and the number of fields corresponding to the preset field set are further obtained.
- the preset fields with the same number of fields as the target field set are preferentially obtained. The set is used as the corresponding field set, thereby increasing the accuracy of the target collection rule.
- step S20 the method further includes:
- a preset field set that has the highest degree of matching with the target field set can be obtained in the preset collection library, and the preset field set is set as a related field set.
- the related field set has a collection rule similar to the target field set.
- a collection rule corresponding to the related field set is obtained in the preset collection library as a related collection rule, and the related collection rule is pushed to the user.
- the related field set may be a field set with most fields in the target field set.
- FIG. 4 is a schematic flowchart of a third embodiment of a data collection method of the present application.
- the step S30 includes:
- Step S31 if the target collection rule exists in the preset collection database, obtain the number of rules of the target collection rule, and determine whether the number of rules is unique;
- Step S32 if the number of rules is not unique, obtain a pending collection rule and a corresponding matching degree among the target collection rules;
- Step S33 Sort the pending collection rules according to the matching degree to generate and display a corresponding list of pending collection rules
- Step S34 Receive a selection instruction triggered by a user selection operation based on the pending collection rule list, and determine a target collection rule in the pending collection rule list according to the selection instruction.
- step S30 further includes:
- step S35 if the number of rules is unique, a corresponding target form is determined according to a related form identifier in the target collection rule, and the forms in the target form are associated.
- the number of rules of the target collection rule is further obtained. Determine whether the number of rules of the target collection rule is unique. If the number of rules is not unique, it means that there are multiple collection rules in the preset collection library to obtain target data in the target field set.
- the collection rules in the target collection rules that meet the requirements are sorted in descending order, and then further based on the sort A list of pending collection rules is generated corresponding to the pending collection rules, and displayed on the corresponding terminal, so that the user can select according to needs.
- a collection rule identifier in the selection instruction is obtained, and the collection rule is set as a target collection rule according to the collection rule identifier. If the number of rules is unique, that is, the target collection rule is the only choice. According to the target collection rule, the corresponding related form identifier is determined, a target form is established, and each form in the target form is associated for subsequent follow-up. Data collection.
- the method may further include:
- the number of tables corresponding to each candidate collection rule is determined, and the candidate collection rule with the smallest number of tables is obtained as the target collection rule.
- the target data is preferentially obtained from fewer tables, that is, when the number of rules is not unique, the target is obtained.
- Each collection rule in the collection rule is used as a candidate collection rule.
- the form identifier in each candidate collection rule is obtained, that is, one form identifier corresponds to one table, and the number of tables in the candidate collection rule can be determined by the form identifier.
- the candidate collection rules can be sorted according to the size of the number of tables, such as from small to large, and the candidate collection rule with the smallest number of tables is selected as a target collection rule to improve data acquisition efficiency. .
- the data collection method further includes:
- the collection rule feedback from the preset processing end is used as the target collection rule, and the target field set and the target collection rule are correspondingly stored in the preset A collection library is set to update the preset collection library.
- the preset collection library is based on the historical records of data collection, that is, to record the user's collection requirements, correspondingly written scripts, and corresponding collection field information, and then analyze, label, and classify the recorded data. Formed. Therefore, if there is no target collection rule corresponding to the target field set in the preset collection library, it means that no corresponding collection rule is stored in the data collection platform.
- the target field set or the entire business requirement may be reported to a preset processing end, which is a processing end used by a corresponding technician to report the target field set to a corresponding processing system for manual writing Corresponding collection rules.
- the data collection platform may report the related field set that has the highest degree of matching with the target field set and the corresponding related collection rule to the preset processing end for reference by the technician. Then, when receiving the collection rule feedback from the preset processing end, the feedback collection rule is used as the target collection rule, corresponding target data is collected according to the target collection rule, and the collection purpose table storing the target data is stored. Feedback to users. Then, the target field set and the collection rule feedback from the preset processing end are correspondingly stored in the preset collection library, thereby updating the stored data in the preset collection library.
- an embodiment of the present application further provides a data acquisition device.
- FIG. 5 is a schematic diagram of functional modules of a first embodiment of a data acquisition device of the present application.
- the data acquisition device includes:
- the form generating module 10 is configured to obtain a target field set in the business demand when a business demand is received, and generate a collection destination table according to the target field set;
- a rule judgment module 20 is configured to match the target field set with a preset collection library, and determine whether a target collection rule matching the target field set exists in the preset collection library, wherein the target collection rule Including relevant form identification and data collection path;
- a form association module 30 configured to determine a corresponding target form according to the related form identifier if it is determined that the target collection rule exists in the preset collection library, and associate the forms in the target form;
- a data collection module 40 is configured to obtain target data corresponding to the target field set in an association table of the target form according to the data collection path, and store the target data in the collection destination table.
- rule judgment module 20 specifically includes:
- a matching degree calculation unit configured to match each target field in the target field set with a preset field set in the preset collection library, and calculate a match between the target field set and the preset field set degree;
- a rule judging unit configured to determine, according to the matching degree, whether a target collection rule matching the target field set exists in the preset collection library, and the matching degree with the target field set is not less than a preset threshold
- the collection rule corresponding to the preset field set is the target collection rule.
- the data acquisition device further includes:
- a field obtaining module configured to determine, if it is determined that the target collection rule does not exist in the preset collection library, a preset field set that has the highest degree of matching with the target field set as a related field set;
- a rule pushing module is configured to obtain a collection rule corresponding to the related field set as a related collection rule, and push the related collection rule to a current terminal for reference by a user.
- table association module 30 includes:
- a number judging unit configured to, if the target collection rule exists in the preset collection database, obtain the number of rules of the target collection rule, and determine whether the number of rules is unique;
- a first rule obtaining unit configured to obtain, if the number of rules is not unique, a pending collection rule in the target collection rule and a corresponding matching degree
- a rule sorting unit configured to sort the pending collection rules according to the matching degree to generate and display a corresponding list of pending collection rules
- a rule selection unit is configured to receive a selection instruction triggered by a user selection operation based on the pending collection rule list, and determine a target collection rule in the pending collection rule list according to the selection instruction.
- a form determination unit is configured to determine a corresponding target form according to a related form identifier in the target collection rule if the number of rules is unique, and associate the forms in the target form.
- the data acquisition device further includes:
- a second rule obtaining unit configured to obtain each collection rule in the target collection rule as a candidate collection rule if the number of rules is not unique
- a quantity determining unit is configured to determine the number of tables corresponding to each of the candidate collection rules according to the table identifier in the candidate collection rule, and obtain the candidate collection rule with the smallest number of tables as a target collection rule.
- the data acquisition device further includes:
- a reporting unit configured to report the target field set to a preset processing end if it is determined that the target collection rule does not exist in the preset collection library
- An update unit is configured to: when receiving the collection rule feedback from the preset processing end, use the collection rule feedback from the preset processing end as a target collection rule, and associate the target field set with the target collection rule Store to the preset acquisition library to update the preset acquisition library.
- Each module in the foregoing data acquisition device corresponds to each step in the foregoing embodiment of the data acquisition method, and its functions and implementation processes are not repeated here one by one.
- an embodiment of the present application further provides a computer-readable storage medium.
- the computer-readable storage medium of the present application stores computer-readable instructions, wherein the computer-readable storage medium may be a non-volatile readable storage medium, and when the computer-readable instructions are executed by a processor, the implementation is as described above. Steps of the data acquisition method.
- the methods in the above embodiments can be implemented by means of software plus a necessary universal hardware platform, and of course, also by hardware, but in many cases the former is better.
- Implementation Based on such an understanding, the technical solution of this application that is essentially or contributes to the existing technology can be embodied in the form of a software product.
- the computer software product is stored in a storage medium (such as ROM / RAM) as described above. , Magnetic disk, optical disc), including a number of instructions to enable a terminal device (which may be a mobile phone, a computer, a server, an air conditioner, or a network device, etc.) to execute the methods described in the embodiments of this application.
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种数据采集方法、装置、设备及计算机可读存储介质，该方法通过在接收到业务需求时，获取所述业务需求中的目标字段集合，并根据所述目标字段集合生成采集目的表（S10）；将所述目标字段集合与预设采集库进行匹配，判断所述预设采集库中是否存在与所述目标字段集合匹配的目标采集规则，其中，所述目标采集规则包括相关表格标识以及数据采集路径（S20）；若存在所述目标采集规则，则根据所述相关表格标识，确定对应的目标表单，将所述目标表单中的表格进行关联（S30）；根据所述数据采集路径，在所述目标表单的关联表格中获取所述目标字段集合对应的目标数据，并将所述目标数据存储至所述采集目的表（S40）。该方法实现了目标数据的自动采集，节省了人力，提升采集效率。
Description
本申请要求于2018年7月19日提交中国专利局、申请号为201810794561.1、发明名称为“数据采集方法、装置、设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在申请中。
技术领域
本申请涉及数据处理领域，尤其涉及一种数据采集方法、装置、设备及计算机可读存储介质。
背景技术
随着大数据时代的来临，数据库中的数据量变得越来越大，因此，数据的查询耗时也越来越长。而在日常工作中，业务用户经常需要大量的数据做统计分析，但是不同的用户需求有差异且需求变化太快，无法通过报表来进行支持，因此，需要通过数据采集进行数据提取，如通过某种程序或脚本以某一规则完成数据库的数据查询与获取。由于各个数据采集需求不同，因此需要针对每个采集需求进行分析然后编写对应脚本。但是现有数据采集需要人工进行需求分析与脚本编写操作，不仅浪费了大量人力，而且需要重复进行分析与编写操作，导致采集效率低下。因此，如何解决现有采集数据技术浪费人力以及效率低下的技术问题，成为了目前亟待解决的技术问题。
发明内容
本申请的主要目的在于提供一种数据采集方法、装置、设备及计算机可读存储介质，旨在解决现有采集数据技术浪费人力以及效率低下的技术问题。
为实现上述目的，本申请提供一种数据采集方法，所述数据采集方法包括以下步骤：
在接收到业务需求时，获取所述业务需求中的目标字段集合，并根据所述目标字段集合生成采集目的表；
将所述目标字段集合与预设采集库进行匹配，判断所述预设采集库中是否存在与所述目标字段集合匹配的目标采集规则，其中，所述目标采集规则包括相关表格标识以及数据采集路径；
若判定所述预设采集库中存在所述目标采集规则，则根据所述相关表格标识，确定对应的目标表单，将所述目标表单中的表格进行关联；
根据所述数据采集路径，在所述目标表单的关联表格中获取所述目标字段集合对应的目标数据，并将所述目标数据存储至所述采集目的表。
可选地，所述将所述目标字段集合与预设采集库进行匹配，判断所述预设采集库中是否存在与所述目标字段集合匹配的目标采集规则，其中，所述目标采集规则包括对应关联关系以及数据采集路径的步骤包括：
将所述目标字段集合中的各个目标字段与所述预设采集库中的预设字段集合进行匹配，并计算所述目标字段集合与所述预设字段集合的匹配度；
根据所述匹配度，判断所述预设采集库中是否存在与所述目标字段集合匹配的目标采集规则，其中，与所述目标字段集合的匹配度不小于预设阈值的预设字段集合对应的采集规则为所述目标采集规则。
可选地，所述根据所述匹配度，判断所述预设采集库中是否存在与所述目标字段集合匹配的目标采集规则，其中，与所述目标字段集合的匹配度不小于预设阈值的预设字段集合对应的采集规则为所述目标采集规则的步骤之后，还包括：
若判定所述预设采集库中不存在所述目标采集规则，则获取与所述目标字段集合的匹配度最大的预设字段集合，作为相关字段集合；
获取所述相关字段集合对应的采集规则，作为相关采集规则，并将所述相关采集规则推送至当前终端，以便用户参考。
可选地，所述若判定所述预设采集库中存在所述目标采集规则，则根据所述相关表格标识，确定对应的目标表单，将所述目标表单中的表格进行关联的步骤包括：
若所述预设采集库中存在所述目标采集规则，则获取所述目标采集规则的规则数目，并判断所述规则数目是否唯一；
若所述规则数目唯一，则根据所述目标采集规则中的相关表格标识，确定对应的目标表单，将所述目标表单中的表格进行关联。
可选地，所述若所述预设采集库中存在所述目标采集规则，则获取所述目标采集规则的规则数目，并判断所述规则数目是否唯一的步骤之后，还包括：
若所述规则数目不唯一，则获取所述目标采集规则中的待定采集规则以及对应的匹配度；
根据所述匹配度大小，将所述待定采集规则进行排序，生成并显示对应的待定采集规则列表；
基于所述待定采集规则列表，接收用户选择操作触发的选择指令，并根据所述选择指令，在所述待定采集规则列表中确定目标采集规则。
可选地，所述若所述预设采集库中存在所述目标采集规则，则获取所述目标采集规则的规则数目，并判断所述规则数目是否唯一的步骤之后，还包括：
若所述规则数目不唯一，则获取所述目标采集规则中的各个采集规则，作为待选采集规则；
根据所述待选采集规则中表格标识，确定所述各个待选采集规则对应的表格数量，并获取表格数量最小的待选采集规则，作为目标采集规则。
可选地，所述将所述目标字段集合与预设采集库进行匹配，判断所述预设采集库中是否存在与所述目标字段集合匹配的目标采集规则，其中，所述目标采集规则包括相关表格标识以及数据采集路径的步骤之后，还包括：
若判定所述预设采集库中不存在所述目标采集规则，则将所述目标字段集合上报至预设处理端；
在接收到所述预设处理端反馈的采集规则时，将所述预设处理端反馈的采集规则作为目标采集规则，并将所述目标字段集合和所述目标采集规则对应存储至所述预设采集库，以更新所述预设采集库。
此外，为实现上述目的，本申请还提供一种数据采集装置，所述数据采集装置包括：
表格生成模块，用于在接收到业务需求时，获取所述业务需求中的目标字段集合，并根据所述目标字段集合生成采集目的表；
规则判断模块，用于将所述目标字段集合与预设采集库进行匹配，判断所述预设采集库中是否存在与所述目标字段集合匹配的目标采集规则，其中，所述目标采集规则包括相关表格标识以及数据采集路径；
表格关联模块，用于若判定所述预设采集库中存在所述目标采集规则，则根据所述相关表格标识，确定对应的目标表单，将所述目标表单中的表格进行关联；
数据采集模块，用于根据所述数据采集路径，在所述目标表单的关联表格中获取所述目标字段集合对应的目标数据，并将所述目标数据存储至所述采集目的表。
此外，为实现上述目的，本申请还提供一种数据采集设备，所述数据采集设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机可读指令，其中所述计算机可读指令被所述处理器执行时，实现如上述的数据采集方法的步骤。
此外，为实现上述目的，本申请还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，其中所述计算机可读指令被处理器执行时，实现如上述的数据采集方法的步骤。
本申请提供一种数据采集方法，即在接收到业务需求时，获取所述业务需求中的目标字段集合，并根据所述目标字段集合生成采集目的表；将所述目标字段集合与预设采集库进行匹配，判断所述预设采集库中是否存在与所述目标字段集合匹配的目标采集规则，其中，所述目标采集规则包括相关表格标识以及数据采集路径；若判定所述预设采集库中存在所述目标采集规则，则根据所述相关表格标识，确定对应的目标表单，将所述目标表单中的表格进行关联；根据所述数据采集路径，在所述目标表单的关联表格中获取所述目标字段集合对应的目标数据，并将所述目标数据存储至所述采集目的表。通过上述方式，本申请实现了目标数据的自动采集，节省了人力，提升采集效率，解决了现有采集数据技术浪费人力以及效率低下的问题。
附图说明
图1为本申请实施例方案中涉及的数据采集设备的硬件结构示意图；
图2为本申请数据采集方法第一实施例的流程示意图；
图3为本申请数据采集方法第二实施例的流程示意图；
图4为本申请数据采集方法第三实施例的流程示意图；
图5为本申请数据采集装置第一实施例的功能模块示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例涉及的数据采集方法主要应用于数据采集设备，该数据采集设备可以是PC、便携计算机、移动终端等具有显示和处理功能的设备。
参照图1，图1为本申请实施例方案中涉及的数据采集设备的硬件结构示意图。本申请实施例中，数据采集设备可以包括处理器1001（例如CPU），通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard）；网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）；存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile
memory），例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的硬件结构并不构成对数据采集设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
继续参照图1，图1中作为一种计算机可读存储介质的存储器1005可以包括操作系统、网络通信模块以及计算机可读指令。
在图1中，网络通信模块主要用于连接服务器，与服务器进行数据通信；而处理器1001可以调用存储器1005中存储的计算机可读指令，并执行本申请实施例提供的数据采集方法。
本申请实施例提供了一种数据采集方法。
参照图2，图2为本申请数据采集方法第一实施例的流程示意图。
本实施例中，所述数据采集方法包括以下步骤：
步骤S10,
在接收到业务需求时，获取所述业务需求中的目标字段集合，并根据所述目标字段集合生成采集目的表；
目前，日常工作中，业务用户经常需要大量的数据做统计分析，由于不同的用户需求有差异且需求变化太快，无法都通过报表支持，很多情况都是通过数据采集提取数据。
处理人需对用户的每个数据采集做分析、编写脚本，一个采集耗费非常多人力。同时考虑到工作平衡和处理人休假的情况，一般用户的采集需求都是系统根据处理人的工作量随机的分配给处理人，会出现A处理过的采集，B收到类似的采集时需要重复投入人力进行分析和脚本的编写，而且由于处理人的技能问题、有些采集逻辑非常复杂等，容易出现编写的脚本有问题，引发数据库资源浪费和异常的风险。
本实施例中，为了避免上述问题，建立一个数据采集平台，将用户的采集需求信息（即需要采集数据对应的字段信息）记录下来。处理人在根据待采集数据确定对应的字段信息时，分析源数据库中各个表单信息，确定可采集所述字段信息的目标表单。其中，优先从一个表单中获取目标数据，或者尽量降低目标数据的表单来源数量。然后获取的表单名称或者表单所在源数据库中地址，作为数据采集路径。若需要从多个表单中获取目标数据，则将所述多个表单进行关联，并根据所述数据采集路径和对应关联关系生成目标采集规则。然后将所述目标数据对应的目标字段集合与该目标采集规则对应存储至预设采集库中。具体地，在接收到用户上传的业务需求时，对所述业务需求进行解析，获取所述业务需求中的目标字段集合。然后根据所述目标字段集合生成对应的采集目的表，其中，采集目的表用户存储所述业务需求对应的目标数据。确定待采集的目标字段集合后，将所述目标字段集合中的目标字段与所述预设采集库进行匹配，从而判断所述预设采集库中是否存在所述目标字段对应的目标采集规则。
步骤S20，将所述目标字段集合与预设采集库进行匹配，判断所述预设采集库中是否存在与所述目标字段集合匹配的目标采集规则，其中，所述目标采集规则包括相关表格标识以及数据采集路径；
本实施例中，若所述预设采集库中存在与所述目标字段集合匹配的采集规则，即表示所述预设采集库中预先存储有与所述目标字段集合相匹配的字段集合。其中，与所述目标字段集合相匹配的字段集合可以是与目标字段集合相同的字段集合，也可以是与目标字段集合类似的字段集合。与目标字段集合相同的字段集合为：有且只有与所述目标字段集合中的字段相同的字段，且字段名称均相同。与目标字段集合类似的字段集合为：有且只有与所述目标字段集合中的字段等同的字段。由于数据字段可能具有多种不同名称，预先在预设采集库中将各个字段对应的各个名称进行等同存储。等同的字段为具有不同名称但对应于同一字段的字段。然后在所述预设采集库中获取与所述目标字段集合匹配的字段集合对应的采集规则，并将该采集规则作为目标采集规则。根据所述目标采集规则，在对应的关联表单中，采集对应目标数据，并将所述目标数据存储至目的表中。如，接收到获取保单数据获取需求时，解析出所述保单数据获取需求中的保单号、保单费、保单日期、承保人、投保人以及赔偿金额等字段，并根据上述字段生成目标字段集合。将{保单号，保单费，保单日期，承保人，投保人，赔偿金额}与预设采集库中的字段集合进行比较，判断所述预设采集库中是否存在与所述{保单费，保单日期，承保人，投保人，赔偿金额}目标字段集合匹配的字段集合。若存在该匹配的字段集合，则获取该匹配的字段集合对应的采集规则，作为目标采集规则。并按照该目标采集规则获取对应数据，并存储至目的表中。
步骤S30，若判定所述预设采集库中存在所述目标采集规则，则根据所述相关表格标识，确定对应的目标表单，将所述目标表单中的表格进行关联；
本实施例中，若在所述预设采集库中存在所述目标采集规则，则对所述目标采集规则进行解析，获取所述目标采集规则中的相关表格标识和数据采集路径。其中，相关表格标识为需要采集该业务需求对应的目标字段集合需要调用的表格标识，该标识可以是表格名称或者表格编号。在确定所述目标字段集合对应的相关表格标识时，确定对应的目标表单，即包括可获取全部目标字段的所有表格清单，并将所述目标表单中的各个表格进行关联，以便后续进行对应字段数据的获取。其中，所述目标表单可以存储表格标识，也可以是直接获取相应的表格进行存储。
步骤S40，根据所述数据采集路径，在所述目标表单的关联表格中获取所述目标字段集合对应的目标数据，并将所述目标数据存储至所述采集目的表。
本实施例中，在所述目标采集规则中解析出数据采集路径。其中，数据采集路径为相关表格标识对应表格的存储地址，以及获取目标字段集合中字段的获取顺序，或者获取所述目标字段集合中字段的获取流程等。可根据所述数据采集路径中的表格存储地址，定位至对应表格，并按照所述数据采集路径中的采集流程，分别获取所述目标字段集合中的各个字段数据。并将采集到的目标字段集合对应的目标数据，根据字段格式对应存储至所述采集目的表中，并将所述采集目的表反馈至对应用户。
本实施例提供一种数据采集方法，即在接收到业务需求时，获取所述业务需求中的目标字段集合，并根据所述目标字段集合生成采集目的表；将所述目标字段集合与预设采集库进行匹配，判断所述预设采集库中是否存在与所述目标字段集合匹配的目标采集规则，其中，所述目标采集规则包括相关表格标识以及数据采集路径；若判定所述预设采集库中存在所述目标采集规则，则根据所述相关表格标识，确定对应的目标表单，将所述目标表单中的表格进行关联；根据所述数据采集路径，在所述目标表单的关联表格中获取所述目标字段集合对应的目标数据，并将所述目标数据存储至所述采集目的表。通过上述方式，本申请实现了目标数据的自动采集，节省了人力，提升采集效率，解决了现有采集数据技术浪费人力以及效率低下的问题。
参照图3，图3为本申请数据采集方法第二实施例的流程示意图。
基于上述图2所示实施例，本实施例中，所述步骤S20包括：
步骤S21，将所述目标字段集合中的各个目标字段与所述预设采集库中的预设字段集合进行匹配，并计算所述目标字段集合与所述预设字段集合的匹配度；
步骤S22，根据所述匹配度，判断所述预设采集库中是否存在与所述目标字段集合匹配的目标采集规则，其中，与所述目标字段集合的匹配度不小于预设阈值的预设字段集合对应的采集规则为所述目标采集规则。
本实施例中，计算所述预设采集库中各个预设字段集合与所述业务需求对应的目标字段集合对应的匹配度。具体步骤为：依次获取所述预设采集库中的各个预设字段集合，并将所述目标字段集合中的各个目标字段与预设字段集合中的各个字段进行匹配，且一个预设字段集合为一匹配单位。获取所述目标字段集合与各个预设字段集合的相匹配字段个数，并将所述相匹配字段个数除以所述目标字段集合中的字段个数，即得到所述目标字段集合与各个预设字段集合的匹配度。设定一预设阈值即匹配度阈值，如100%，若存在等于所述预设阈值的匹配度，即判定至少存在某个预设字段集合与所述目标字段集合中的各个目标字段均匹配。若不存在等于所述预设阈值的匹配度，即判定所述预设采集库中的预设采集集合均不符合所述目标字段集合。具体实施例中，进一步获取所述目标字段集合以及预设字段集合对应的字段数目，在存在多个符合条件的预设字段集合时，优先获取与所述目标字段集合字段数目相同的预设字段集合作为对应字段集合，从而增加目标采集规则的精确度。
进一步地，步骤S20之后，还包括：
若判定所述预设采集库中不存在所述目标采集规则，则获取与所述目标字段集合的匹配度最大的预设字段集合，作为相关字段集合；
获取所述相关字段集合对应的采集规则，作为相关采集规则，并将所述相关采集规则推送至当前终端，以便用户参考。
本实施例中，若判定所述预设采集库中不存在与所述目标字段集合相符的预设字段集合，即判定不存在与所述目标字段集合匹配的所述目标采集规则。为了便于技术人员参考，可获取在所述预设采集库中获取与所述目标字段集合的匹配度最大的预设字段集合，并将该预设字段集合设置为相关字段集合。该相关字段集合具有与目标字段集合相近的采集规则，在所述预设采集库中获取所述相关字段集合对应的采集规则，作为相关采集规则，并将所述相关采集规则推送至所述用户进行参考。该相关字段集合可以为具有所述目标字段集合中的大部分字段的字段集合。
参照图4，图4为本申请数据采集方法第三实施例的流程示意图。
基于上述图3所示实施例，本实施例中，所述步骤S30包括：
步骤S31，若所述预设采集库中存在所述目标采集规则，则获取所述目标采集规则的规则数目，并判断所述规则数目是否唯一；
步骤S32，若所述规则数目不唯一，则获取所述目标采集规则中的待定采集规则以及对应的匹配度；
步骤S33，根据所述匹配度大小，将所述待定采集规则进行排序，生成并显示对应的待定采集规则列表；
步骤S34，基于所述待定采集规则列表，接收用户选择操作触发的选择指令，并根据所述选择指令，在所述待定采集规则列表中确定目标采集规则。
进一步地，所述步骤S30还包括：
步骤S35，若所述规则数目唯一，则根据所述目标采集规则中的相关表格标识，确定对应的目标表单，将所述目标表单中的表格进行关联。
本实施例中，为了避免一个预设字段集合对应多个采集规则，在确定所述预设采集库中存在所述目标采集规则后，进一步获取所述目标采集规则的规则数目。判断所述目标采集规则的规则数目是否唯一，若所述规则数目不唯一，即表示所述预设采集库中存在多个采集规则可获取所述目标字段集合中的目标数据。根据上述实施例中所述目标字段集合与各个预设字段集合的匹配度大小，如按照由大到小的顺序，将符合要求的目标采集规则中的采集规则进行排序，然后进一步根据所述排序和所述待定采集规则生成对应的待定采集规则列表，并通过对应终端进行显示，以便用户根据需用进行选择。在接收到用户选择操作触发的选择指令时，获取所述选择指令中的采集规则标识，并根据所述采集规则标识将该采集规则设定为目标采集规则。若所述规则数目唯一，即所述目标采集规则即为唯一选择，根据所述目标采集规则确定对应的相关表格标识，建立目标表单，并将所述目标表单中的各个表格进行关联，便于后续采集数据。
进一步地，所述步骤S33之后，还可以包括：
若所述规则数目不唯一，则获取所述目标采集规则中的各个采集规则，作为待选采集规则；
根据所述待选采集规则中表格标识，确定所述各个待选采集规则对应的表格数量，并获取表格数量最小的待选采集规则，作为目标采集规则。
本实施例中，优先从较少的表格中获取目标数据，即在所述规则数目不唯一时，获取所述目标
采集规则中的各个采集规则，作为待选采集规则。然后获取各个待选采集规则中的表格标识，即一个表格标识对应一个表格，通过所述表格标识可确定所述待选采集规则中的表格数量。具体实施例中，可根据所述表格数量的大小，如由小到大，将各个待选采集规则进行排序，并选取表格数量最小的待选采集规则，作为目标采集规则，以提高数据获取效率。
进一步地，所述数据采集方法还包括：
若判定所述预设采集库中不存在所述目标采集规则，则将所述目标字段集合上报至预设处理端；
在接收到所述预设处理端反馈的采集规则时，将所述预设处理端反馈的采集规则作为目标采集规则，并将所述目标字段集合和所述目标采集规则对应存储至所述预设采集库，以更新所述预设采集库。
本实施例中，该预设采集库为根据数据采集的历史记录，即将用户的采集需求、对应编写的脚本以及对应的采集字段信息均记录下来，然后对上述记录数据进行分析、标签以及归类而形成的。因此，若在所述预设采集库中不存在与所述目标字段集合对应的目标采集规则，即表示数据采集平台中未存储有对应的采集规则。可将所述目标字段集合或者将整个业务需求上报至预设处理端，该预设处理端为对应的技术人员所使用的处理端，以将所述目标字段集合上报至对应处理系统进行人工编写对应的采集规则。具体实施例中，所述数据采集平台可将与所述目标字段集合匹配度最大的相关字段集合以及对应的相关采集规则一同上报至所述预设处理端，以便所述技术人员进行参考。然后在接收到所述预设处理端反馈的采集规则时，将所述反馈的采集规则作为目标采集规则，根据所述目标采集规则采集对应的目标数据，并将存储有目的数据的采集目的表反馈至用户。然后将所述目标字段集合以及所述预设处理端反馈的采集规则对应存储至所述预设采集库中，从而更新所述预设采集库中的存储数据。
此外，本申请实施例还提供一种数据采集装置。
参照图5，图5为本申请数据采集装置第一实施例的功能模块示意图。
本实施例中，所述数据采集装置包括：
表格生成模块10，用于在接收到业务需求时，获取所述业务需求中的目标字段集合，并根据所述目标字段集合生成采集目的表；
规则判断模块20，用于将所述目标字段集合与预设采集库进行匹配，判断所述预设采集库中是否存在与所述目标字段集合匹配的目标采集规则，其中，所述目标采集规则包括相关表格标识以及数据采集路径；
表格关联模块30，用于若判定所述预设采集库中存在所述目标采集规则，则根据所述相关表格标识，确定对应的目标表单，将所述目标表单中的表格进行关联；
数据采集模块40，用于根据所述数据采集路径，在所述目标表单的关联表格中获取所述目标字段集合对应的目标数据，并将所述目标数据存储至所述采集目的表。
进一步地，所述规则判断模块20具体包括：
匹配度计算单元，用于将所述目标字段集合中的各个目标字段与所述预设采集库中的预设字段集合进行匹配，并计算所述目标字段集合与所述预设字段集合的匹配度；
规则判断单元，用于根据所述匹配度，判断所述预设采集库中是否存在与所述目标字段集合匹配的目标采集规则，其中，与所述目标字段集合的匹配度不小于预设阈值的预设字段集合对应的采集规则为所述目标采集规则。
进一步的，所述数据采集装置还包括：
字段获取模块，用于若判定所述预设采集库中不存在所述目标采集规则，则获取与所述目标字段集合的匹配度最大的预设字段集合，作为相关字段集合；
规则推送模块，用于获取所述相关字段集合对应的采集规则，作为相关采集规则，并将所述相关采集规则推送至当前终端，以便用户参考。
进一步地，所述表格关联模块30包括：
数目判断单元，用于若所述预设采集库中存在所述目标采集规则，则获取所述目标采集规则的规则数目，并判断所述规则数目是否唯一；
第一规则获取单元，用于若所述规则数目不唯一，则获取所述目标采集规则中的待定采集规则以及对应的匹配度；
规则排序单元，用于根据所述匹配度大小，将所述待定采集规则进行排序，生成并显示对应的待定采集规则列表；
规则选择单元，用于基于所述待定采集规则列表，接收用户选择操作触发的选择指令，并根据所述选择指令，在所述待定采集规则列表中确定目标采集规则。
表单确定单元，用于若所述规则数目唯一，则根据所述目标采集规则中的相关表格标识，确定对应的目标表单，将所述目标表单中的表格进行关联。
进一步地，所述数据采集装置还包括：
第二规则获取单元，用于若所述规则数目不唯一，则获取所述目标采集规则中的各个采集规则，作为待选采集规则；
数量确定单元，用于根据所述待选采集规则中表格标识，确定所述各个待选采集规则对应的表格数量，并获取表格数量最小的待选采集规则，作为目标采集规则。
进一步地，所述数据采集装置还包括：
上报单元，用于若判定所述预设采集库中不存在所述目标采集规则，则将所述目标字段集合上报至预设处理端；
更新单元，用于在接收到所述预设处理端反馈的采集规则时，将所述预设处理端反馈的采集规则作为目标采集规则，并将所述目标字段集合和所述目标采集规则对应存储至所述预设采集库，以更新所述预设采集库。
其中，上述数据采集装置中各个模块与上述数据采集方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
此外，本申请实施例还提供一种计算机可读存储介质。
本申请计算机可读存储介质上存储有计算机可读指令，其中，所述计算机可读存储介质可以为非易失性可读存储介质，所述计算机可读指令被处理器执行时，实现如上述的数据采集方法的步骤。
其中，计算机可读指令被执行时所实现的方法可参照本申请数据采集方法的各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (20)
- 一种数据采集方法，其特征在于，所述数据采集方法包括以下步骤：在接收到业务需求时，获取所述业务需求中的目标字段集合，并根据所述目标字段集合生成采集目的表；将所述目标字段集合与预设采集库进行匹配，判断所述预设采集库中是否存在与所述目标字段集合匹配的目标采集规则，其中，所述目标采集规则包括相关表格标识以及数据采集路径；若判定所述预设采集库中存在所述目标采集规则，则根据所述相关表格标识，确定对应的目标表单，将所述目标表单中的表格进行关联；根据所述数据采集路径，在所述目标表单的关联表格中获取所述目标字段集合对应的目标数据，并将所述目标数据存储至所述采集目的表。
- 如权利要求1所述的数据采集方法，其特征在于，所述将所述目标字段集合与预设采集库进行匹配，判断所述预设采集库中是否存在与所述目标字段集合匹配的目标采集规则，其中，所述目标采集规则包括对应关联关系以及数据采集路径的步骤包括：将所述目标字段集合中的各个目标字段与所述预设采集库中的预设字段集合进行匹配，并计算所述目标字段集合与所述预设字段集合的匹配度；根据所述匹配度，判断所述预设采集库中是否存在与所述目标字段集合匹配的目标采集规则，其中，与所述目标字段集合的匹配度不小于预设阈值的预设字段集合对应的采集规则为所述目标采集规则。
- 如权利要求2所述的数据采集方法，其特征在于，所述根据所述匹配度，判断所述预设采集库中是否存在与所述目标字段集合匹配的目标采集规则，其中，与所述目标字段集合的匹配度不小于预设阈值的预设字段集合对应的采集规则为所述目标采集规则的步骤之后，还包括：若判定所述预设采集库中不存在所述目标采集规则，则获取与所述目标字段集合的匹配度最大的预设字段集合，作为相关字段集合；获取所述相关字段集合对应的采集规则，作为相关采集规则，并将所述相关采集规则推送至当前终端，以便用户参考。
- 如权利要求2所述的数据采集方法，其特征在于，所述若判定所述预设采集库中存在所述目标采集规则，则根据所述相关表格标识，确定对应的目标表单，将所述目标表单中的表格进行关联的步骤包括：若所述预设采集库中存在所述目标采集规则，则获取所述目标采集规则的规则数目，并判断所述规则数目是否唯一；若所述规则数目唯一，则根据所述目标采集规则中的相关表格标识，确定对应的目标表单，将所述目标表单中的表格进行关联。
- 如权利要求4所述的数据采集方法，其特征在于，所述若所述预设采集库中存在所述目标采集规则，则获取所述目标采集规则的规则数目，并判断所述规则数目是否唯一的步骤之后，还包括：若所述规则数目不唯一，则获取所述目标采集规则中的待定采集规则以及对应的匹配度；根据所述匹配度大小，将所述待定采集规则进行排序，生成并显示对应的待定采集规则列表；基于所述待定采集规则列表，接收用户选择操作触发的选择指令，并根据所述选择指令，在所述待定采集规则列表中确定目标采集规则。
- 如权利要求4所述的数据采集方法，其特征在于，所述若所述预设采集库中存在所述目标采集规则，则获取所述目标采集规则的规则数目，并判断所述规则数目是否唯一的步骤之后，还包括：若所述规则数目不唯一，则获取所述目标采集规则中的各个采集规则，作为待选采集规则；根据所述待选采集规则中表格标识，确定所述各个待选采集规则对应的表格数量，并获取表格数量最小的待选采集规则，作为目标采集规则。
- 如权利要求1所述的数据采集方法，其特征在于，所述将所述目标字段集合与预设采集库进行匹配，判断所述预设采集库中是否存在与所述目标字段集合匹配的目标采集规则，其中，所述目标采集规则包括相关表格标识以及数据采集路径的步骤之后，还包括：若判定所述预设采集库中不存在所述目标采集规则，则将所述目标字段集合上报至预设处理端；在接收到所述预设处理端反馈的采集规则时，将所述预设处理端反馈的采集规则作为目标采集规则，并将所述目标字段集合和所述目标采集规则对应存储至所述预设采集库，以更新所述预设采集库。
- 一种数据采集装置，其特征在于，所述数据采集装置包括：表格生成模块，用于在接收到业务需求时，获取所述业务需求中的目标字段集合，并根据所述目标字段集合生成采集目的表；规则判断模块，用于将所述目标字段集合与预设采集库进行匹配，判断所述预设采集库中是否存在与所述目标字段集合匹配的目标采集规则，其中，所述目标采集规则包括相关表格标识以及数据采集路径；表格关联模块，用于若判定所述预设采集库中存在所述目标采集规则，则根据所述相关表格标识，确定对应的目标表单，将所述目标表单中的表格进行关联；数据采集模块，用于根据所述数据采集路径，在所述目标表单的关联表格中获取所述目标字段集合对应的目标数据，并将所述目标数据存储至所述采集目的表。
- 如权利要求8所述的数据采集装置，其特征在于，所述规则判断模块包括：匹配度计算单元，用于将所述目标字段集合中的各个目标字段与所述预设采集库中的预设字段集合进行匹配，并计算所述目标字段集合与所述预设字段集合的匹配度；规则判断单元，用于根据所述匹配度，判断所述预设采集库中是否存在与所述目标字段集合匹配的目标采集规则，其中，与所述目标字段集合的匹配度不小于预设阈值的预设字段集合对应的采集规则为所述目标采集规则。
- 如权利要求8所述的数据采集装置，其特征在于，所述数据采集装置还包括：字段获取模块，用于若判定所述预设采集库中不存在所述目标采集规则，则获取与所述目标字段集合的匹配度最大的预设字段集合，作为相关字段集合；规则推送模块，用于获取所述相关字段集合对应的采集规则，作为相关采集规则，并将所述相关采集规则推送至当前终端，以便用户参考。
- 如权利要求8所述的数据采集装置，其特征在于，所述表格关联模块包括：数目判断单元，用于若所述预设采集库中存在所述目标采集规则，则获取所述目标采集规则的规则数目，并判断所述规则数目是否唯一；第一规则获取单元，用于若所述规则数目不唯一，则获取所述目标采集规则中的待定采集规则以及对应的匹配度；规则排序单元，用于根据所述匹配度大小，将所述待定采集规则进行排序，生成并显示对应的待定采集规则列表。
- 如权利要求8所述的数据采集装置，其特征在于，所述表格关联模块包括：规则选择单元，用于基于所述待定采集规则列表，接收用户选择操作触发的选择指令，并根据所述选择指令，在所述待定采集规则列表中确定目标采集规则。表单确定单元，用于若所述规则数目唯一，则根据所述目标采集规则中的相关表格标识，确定对应的目标表单，将所述目标表单中的表格进行关联。
- 一种数据采集设备，其特征在于，所述数据采集设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机可读指令，其中所述计算机可读指令被所述处理器执行时，实现如权利要求1所述的数据采集方法的步骤。
- 一种数据采集设备，其特征在于，所述数据采集设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机可读指令，其中所述计算机可读指令被所述处理器执行时，实现如权利要求2所述的数据采集方法的步骤。
- 一种数据采集设备，其特征在于，所述数据采集设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机可读指令，其中所述计算机可读指令被所述处理器执行时，实现如权利要求3所述的数据采集方法的步骤。
- 一种数据采集设备，其特征在于，所述数据采集设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机可读指令，其中所述计算机可读指令被所述处理器执行时，实现如权利要求4所述的数据采集方法的步骤。
- 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，其中所述计算机可读指令被处理器执行时，实现如权利要求1所述的数据采集方法的步骤。
- 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，其中所述计算机可读指令被处理器执行时，实现如权利要求2所述的数据采集方法的步骤。
- 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，其中所述计算机可读指令被处理器执行时，实现如权利要求3所述的数据采集方法的步骤。
- 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，其中所述计算机可读指令被处理器执行时，实现如权利要求4所述的数据采集方法的步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810794561.1 | 2018-07-19 | ||
| CN201810794561.1A CN110019486B (zh) | 2018-07-19 | 2018-07-19 | 数据采集方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020015067A1 true WO2020015067A1 (zh) | 2020-01-23 |
Family
ID=67188353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2018/103791 Ceased WO2020015067A1 (zh) | 2018-07-19 | 2018-09-03 | 数据采集方法、装置、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110019486B (zh) |
| WO (1) | WO2020015067A1 (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111239523A (zh) * | 2020-02-21 | 2020-06-05 | 江西三晶电气有限公司 | 一种变频器测试系统、方法、装置和存储介质 |
| CN111651466A (zh) * | 2020-05-09 | 2020-09-11 | 杭州数梦工场科技有限公司 | 数据采样方法及装置 |
| CN111967232A (zh) * | 2020-08-20 | 2020-11-20 | 深圳前海微众银行股份有限公司 | 表格数据处理方法、装置、设备与计算机可读存储介质 |
| CN112100495A (zh) * | 2020-09-14 | 2020-12-18 | 山东亿云信息技术有限公司 | 一种基于分布式的一站式采集方法及采集系统 |
| CN112487022A (zh) * | 2020-11-30 | 2021-03-12 | 珠海格力电器股份有限公司 | 关联数据的采集方法、系统、存储介质及电子设备 |
| CN113407536A (zh) * | 2021-06-10 | 2021-09-17 | 平安科技（深圳）有限公司 | 表数据的关联方法、装置、终端设备及介质 |
| CN114116693A (zh) * | 2021-11-17 | 2022-03-01 | 携程商旅信息服务（上海）有限公司 | 数据采集方法、系统、电子设备及介质 |
| CN114154198A (zh) * | 2021-12-03 | 2022-03-08 | 建信金融科技有限责任公司 | 数据处理方法及装置 |
| CN114661513A (zh) * | 2022-04-18 | 2022-06-24 | 广州菩润信息科技有限公司 | 分布式多源数据的采集方法、系统、设备及存储介质 |
| CN116383205A (zh) * | 2023-03-31 | 2023-07-04 | 佛山众陶联供应链服务有限公司 | 一种配置化读取采集数据的方法及装置 |
| CN116415199A (zh) * | 2023-04-13 | 2023-07-11 | 广东铭太信息科技有限公司 | 基于审计中间表的业务数据离群分析方法 |
| CN116894104A (zh) * | 2023-06-20 | 2023-10-17 | 招商银行股份有限公司 | 数据处理方法、装置及计算机可读存储介质 |
| CN116910097A (zh) * | 2023-06-30 | 2023-10-20 | 中国银行股份有限公司 | 规则匹配方法、装置、服务器以及计算机可读存储介质 |
| CN117336326A (zh) * | 2023-11-01 | 2024-01-02 | 深圳市正业玖坤信息技术有限公司 | 工业物联网的数据采集分析方法、装置、设备及存储介质 |
| CN119512540A (zh) * | 2025-01-21 | 2025-02-25 | 福建东西乐活科技有限公司 | 一种基于规则引擎的计算式管理方法及终端 |
| CN119646277A (zh) * | 2025-02-19 | 2025-03-18 | 汇才企服(嘉兴)信息科技有限公司 | 数字孪生平台构建系统及其方法 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110399463A (zh) * | 2019-07-29 | 2019-11-01 | 国网河北省电力有限公司 | 工作票的相似度匹配方法及装置 |
| CN110502515B (zh) * | 2019-08-15 | 2023-06-20 | 中国平安财产保险股份有限公司 | 数据采集方法、装置、设备及计算机可读存储介质 |
| CN110502513B (zh) * | 2019-08-15 | 2024-09-17 | 中国平安财产保险股份有限公司 | 数据采集方法、装置、设备及计算机可读存储介质 |
| CN111191052B (zh) * | 2019-12-24 | 2023-12-22 | 广州索答信息科技有限公司 | 一种数据采集方法、设备及介质 |
| CN111667923B (zh) * | 2020-06-05 | 2022-11-18 | 医渡云（北京）技术有限公司 | 数据匹配方法、装置、计算机可读介质及电子设备 |
| CN111767703B (zh) * | 2020-06-28 | 2024-04-30 | 浪潮通用软件有限公司 | 表单数据采集方法、装置和系统 |
| CN112653588A (zh) * | 2020-07-10 | 2021-04-13 | 深圳市唯特视科技有限公司 | 自适应网络流量采集方法、系统、电子设备及存储介质 |
| CN112131239B (zh) * | 2020-09-30 | 2024-06-25 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、计算机设备以及可读存储介质 |
| CN112509653A (zh) * | 2020-10-29 | 2021-03-16 | 望海康信(北京)科技股份公司 | 病案数据处理方法、系统及相应设备和存储介质 |
| CN113760891B (zh) * | 2020-12-02 | 2024-07-16 | 北京沃东天骏信息技术有限公司 | 一种数据表的生成方法、装置、设备和存储介质 |
| CN112597927A (zh) * | 2020-12-28 | 2021-04-02 | 电子科技大学 | 二维表格识别方法、装置、设备及系统 |
| CN115277778B (zh) * | 2022-07-29 | 2023-09-15 | 平安科技（深圳）有限公司 | 物联网系统的配置方法及装置、电子设备、存储介质 |
| CN117708131B (zh) * | 2023-12-19 | 2024-07-05 | 河北网星软件有限公司 | 数据采集方法及数据采集平台 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040243576A1 (en) * | 1998-12-07 | 2004-12-02 | Oracle International Corporation | System and method for querying data for implicit hierarchies |
| CN103150401A (zh) * | 2013-03-27 | 2013-06-12 | 领航动力信息系统有限公司 | 一种基于MapReduce的字段整体替换方法 |
| CN103309886A (zh) * | 2012-03-13 | 2013-09-18 | 阿里巴巴集团控股有限公司 | 一种基于交易平台的结构化信息搜索方法和装置 |
| WO2017088683A1 (zh) * | 2015-11-24 | 2017-06-01 | 阿里巴巴集团控股有限公司 | 一种数据脱敏的方法及系统 |
| CN107807977A (zh) * | 2017-10-26 | 2018-03-16 | 河海大学 | 一种基于配置的对象属性元数据抽取系统 |
| CN108228740A (zh) * | 2017-12-15 | 2018-06-29 | 国网青海省电力公司信息通信公司 | 电力全业务统一数据中心数据分析域数据比对工具 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014001568A2 (en) * | 2012-06-29 | 2014-01-03 | Reyntjens Nick Alex Lieven | Method and apparatus for realizing a dynamically typed file or object system enabling a user to perform calculations over the fields associated with the files or objects in the system |
| CN104537131B (zh) * | 2014-12-04 | 2017-12-08 | 上海卫星装备研究所 | 一种面向卫星总装过程的数据采集方法 |
| CN107330004A (zh) * | 2017-06-12 | 2017-11-07 | 上海连源信息科技有限公司 | 一种基于url字符串的数据采集方法 |
| CN107784113A (zh) * | 2017-11-08 | 2018-03-09 | 深圳市科盾科技有限公司 | Html网页数据采集方法、装置和计算机可读存储介质 |
-
2018
- 2018-07-19 CN CN201810794561.1A patent/CN110019486B/zh active Active
- 2018-09-03 WO PCT/CN2018/103791 patent/WO2020015067A1/zh not_active Ceased
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040243576A1 (en) * | 1998-12-07 | 2004-12-02 | Oracle International Corporation | System and method for querying data for implicit hierarchies |
| CN103309886A (zh) * | 2012-03-13 | 2013-09-18 | 阿里巴巴集团控股有限公司 | 一种基于交易平台的结构化信息搜索方法和装置 |
| CN103150401A (zh) * | 2013-03-27 | 2013-06-12 | 领航动力信息系统有限公司 | 一种基于MapReduce的字段整体替换方法 |
| WO2017088683A1 (zh) * | 2015-11-24 | 2017-06-01 | 阿里巴巴集团控股有限公司 | 一种数据脱敏的方法及系统 |
| CN107807977A (zh) * | 2017-10-26 | 2018-03-16 | 河海大学 | 一种基于配置的对象属性元数据抽取系统 |
| CN108228740A (zh) * | 2017-12-15 | 2018-06-29 | 国网青海省电力公司信息通信公司 | 电力全业务统一数据中心数据分析域数据比对工具 |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111239523A (zh) * | 2020-02-21 | 2020-06-05 | 江西三晶电气有限公司 | 一种变频器测试系统、方法、装置和存储介质 |
| CN111651466B (zh) * | 2020-05-09 | 2023-07-25 | 杭州数梦工场科技有限公司 | 数据采样方法及装置 |
| CN111651466A (zh) * | 2020-05-09 | 2020-09-11 | 杭州数梦工场科技有限公司 | 数据采样方法及装置 |
| CN111967232A (zh) * | 2020-08-20 | 2020-11-20 | 深圳前海微众银行股份有限公司 | 表格数据处理方法、装置、设备与计算机可读存储介质 |
| CN112100495A (zh) * | 2020-09-14 | 2020-12-18 | 山东亿云信息技术有限公司 | 一种基于分布式的一站式采集方法及采集系统 |
| CN112100495B (zh) * | 2020-09-14 | 2024-04-16 | 山东亿云信息技术有限公司 | 一种基于分布式的一站式采集方法及采集系统 |
| CN112487022A (zh) * | 2020-11-30 | 2021-03-12 | 珠海格力电器股份有限公司 | 关联数据的采集方法、系统、存储介质及电子设备 |
| CN112487022B (zh) * | 2020-11-30 | 2024-04-16 | 珠海格力电器股份有限公司 | 关联数据的采集方法、系统、存储介质及电子设备 |
| CN113407536A (zh) * | 2021-06-10 | 2021-09-17 | 平安科技（深圳）有限公司 | 表数据的关联方法、装置、终端设备及介质 |
| CN113407536B (zh) * | 2021-06-10 | 2024-05-31 | 平安科技（深圳）有限公司 | 表数据的关联方法、装置、终端设备及介质 |
| CN114116693A (zh) * | 2021-11-17 | 2022-03-01 | 携程商旅信息服务（上海）有限公司 | 数据采集方法、系统、电子设备及介质 |
| CN114154198A (zh) * | 2021-12-03 | 2022-03-08 | 建信金融科技有限责任公司 | 数据处理方法及装置 |
| CN114661513B (zh) * | 2022-04-18 | 2024-01-23 | 广州菩润信息科技有限公司 | 分布式多源数据的采集方法、系统、设备及存储介质 |
| CN114661513A (zh) * | 2022-04-18 | 2022-06-24 | 广州菩润信息科技有限公司 | 分布式多源数据的采集方法、系统、设备及存储介质 |
| CN116383205A (zh) * | 2023-03-31 | 2023-07-04 | 佛山众陶联供应链服务有限公司 | 一种配置化读取采集数据的方法及装置 |
| CN116415199B (zh) * | 2023-04-13 | 2023-10-20 | 广东铭太信息科技有限公司 | 基于审计中间表的业务数据离群分析方法 |
| CN116415199A (zh) * | 2023-04-13 | 2023-07-11 | 广东铭太信息科技有限公司 | 基于审计中间表的业务数据离群分析方法 |
| CN116894104A (zh) * | 2023-06-20 | 2023-10-17 | 招商银行股份有限公司 | 数据处理方法、装置及计算机可读存储介质 |
| CN116910097A (zh) * | 2023-06-30 | 2023-10-20 | 中国银行股份有限公司 | 规则匹配方法、装置、服务器以及计算机可读存储介质 |
| CN117336326A (zh) * | 2023-11-01 | 2024-01-02 | 深圳市正业玖坤信息技术有限公司 | 工业物联网的数据采集分析方法、装置、设备及存储介质 |
| CN117336326B (zh) * | 2023-11-01 | 2024-07-02 | 深圳市正业玖坤信息技术有限公司 | 工业物联网的数据采集分析方法、装置、设备及存储介质 |
| CN119512540A (zh) * | 2025-01-21 | 2025-02-25 | 福建东西乐活科技有限公司 | 一种基于规则引擎的计算式管理方法及终端 |
| CN119646277A (zh) * | 2025-02-19 | 2025-03-18 | 汇才企服(嘉兴)信息科技有限公司 | 数字孪生平台构建系统及其方法 |
| CN119646277B (zh) * | 2025-02-19 | 2025-04-08 | 汇才企服(嘉兴)信息科技有限公司 | 数字孪生平台构建系统及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110019486A (zh) | 2019-07-16 |
| CN110019486B (zh) | 2023-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020015067A1 (zh) | 数据采集方法、装置、设备及存储介质 | |
| WO2020015064A1 (zh) | 系统故障处理方法、装置、设备及存储介质 | |
| WO2020087978A1 (zh) | 风控审核模型的生成方法、装置、设备及存储介质 | |
| WO2020147385A1 (zh) | 数据录入方法、装置、终端及计算机可读存储介质 | |
| WO2021027143A1 (zh) | 信息推送方法、装置、设备及计算机可读存储介质 | |
| WO2020253112A1 (zh) | 测试策略的获取方法、装置、终端及可读存储介质 | |
| WO2021003956A1 (zh) | 产品信息的管理方法、装置、设备及存储介质 | |
| WO2020119115A1 (zh) | 数据审核方法、装置、设备及存储介质 | |
| WO2020087981A1 (zh) | 风控审核模型生成方法、装置、设备及可读存储介质 | |
| WO2021051558A1 (zh) | 基于知识图谱的问答方法、装置和存储介质 | |
| WO2020233089A1 (zh) | 测试用例生成方法、装置、终端及计算机可读存储介质 | |
| WO2020253135A1 (zh) | 自动化分析方法、用户设备、存储介质及装置 | |
| WO2019037196A1 (zh) | 任务分配方法、装置及计算机可读存储介质 | |
| WO2020258656A1 (zh) | 代码段的生成方法、装置、存储介质及计算机设备 | |
| WO2020147396A1 (zh) | 服务域名的动态配置方法、装置、设备及存储介质 | |
| WO2019024485A1 (zh) | 数据共享方法、装置及计算机可读存储介质 | |
| WO2020062658A1 (zh) | 合同生成方法、装置、设备及存储介质 | |
| WO2020224246A1 (zh) | 基于区块链的数据管理方法、装置、设备和存储介质 | |
| WO2020186773A1 (zh) | 调用请求监控方法、装置、设备及存储介质 | |
| WO2021012489A1 (zh) | 电话平台日志查询方法、终端设备、存储介质及装置 | |
| WO2015144012A1 (zh) | 一种软件开发事务的实现方法及电子设备 | |
| WO2020119369A1 (zh) | 智能it运维故障定位方法、装置、设备及可读存储介质 | |
| WO2020177376A1 (zh) | 数据的提取方法、装置、终端及计算机可读存储介质 | |
| WO2010123168A1 (ko) | 데이터베이스 관리 방법 및 시스템 | |
| WO2020087704A1 (zh) | 信贷信息管理方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18926856 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18926856 Country of ref document: EP Kind code of ref document: A1 |