WO2019019766A1 - 数据处理方法、装置、存储介质和计算机设备 - Google Patents

数据处理方法、装置、存储介质和计算机设备 Download PDF

Info

Publication number
WO2019019766A1
WO2019019766A1 PCT/CN2018/086130 CN2018086130W WO2019019766A1 WO 2019019766 A1 WO2019019766 A1 WO 2019019766A1 CN 2018086130 W CN2018086130 W CN 2018086130W WO 2019019766 A1 WO2019019766 A1 WO 2019019766A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
parameter
traffic
traffic volume
evaluation
Prior art date
Application number
PCT/CN2018/086130
Other languages
English (en)
French (fr)
Inventor
丁雯婷
项同德
杨辛未
张旭
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2019019766A1 publication Critical patent/WO2019019766A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Definitions

  • the present application relates to the field of computer technology, and in particular, to a data processing method, apparatus, storage medium, and computer device.
  • the inventor realized that the conventional processing method is to manually synchronize the data to be processed by the developer to the data warehouse with large storage capacity, and then push back to the service database after the processing is completed.
  • this traditional method requires a lot of manpower and material resources, and introduces a large amount of work, resulting in a problem of inefficient data processing.
  • a data processing method, apparatus, storage medium, and computer apparatus are provided.
  • a data processing method comprising:
  • the data specified by the data synchronization request is synchronized to the synchronization table established according to the table creation statement by the target script.
  • a data processing device comprising:
  • a first acquiring module configured to acquire a data synchronization request that carries a database identifier and a data table parameter
  • a calling module configured to invoke an interface associated with the database identifier, and connect a database corresponding to the database identifier
  • a first generating module configured to generate a table construction statement according to a table structure of a data table corresponding to the data table parameter in the database
  • a second acquiring module configured to acquire a script template that matches a data synchronization manner specified by the data synchronization request
  • a second generating module configured to replace the corresponding template parameter in the step template with the data table parameter to generate a target script
  • a synchronization module configured to synchronize data specified by the data synchronization request to a synchronization table established according to the table creation statement by using the target script.
  • One or more non-volatile storage media storing computer readable instructions, when executed by one or more processors, causing one or more processors to perform the data provided in any one of the embodiments herein The steps of the processing method.
  • a computer device comprising a memory and one or more processors having stored therein computer readable instructions, the computer readable instructions being executable by the processor to cause the one or more processors to execute The steps of the data processing method provided in any of the embodiments of the present application.
  • FIG. 1 is an application environment diagram of a data processing method in accordance with one or more embodiments.
  • FIG. 2 is a block diagram of a computer device in accordance with one or more embodiments.
  • FIG. 3 is a flow diagram of a data processing method in accordance with one or more embodiments.
  • FIG. 4 is a schematic diagram of a traffic volume report in accordance with one or more embodiments.
  • FIG. 5 is a schematic flow chart of a data processing method according to another embodiment.
  • FIG. 6 is a block diagram of a data processing apparatus in accordance with one or more embodiments.
  • FIG. 7 is a block diagram of a data processing apparatus in accordance with another embodiment.
  • Figure 8 is a block diagram of a data processing apparatus in accordance with yet another embodiment.
  • FIG. 1 is an application environment diagram of a data processing method in an embodiment.
  • the data processing method is applied to a data processing system.
  • the data processing system includes a service server 110 and a data processing server 120.
  • the service server 110 and the data processing server 120 can be connected through a network.
  • the data processing server 120 acquires a data synchronization request carrying a database identifier and a data table parameter, and invokes an interface associated with the database identifier to connect to a database corresponding to the database identifier, and the database is on the service server 110.
  • the data processing server 120 generates a table creation statement according to the table structure of the corresponding data table of the data table parameter in the database, and acquires a script template matching the data synchronization manner specified by the data synchronization request, and replaces the corresponding template in the footstep template by using the data table parameter.
  • the template parameter generates a target script, and through the target script, synchronizes the data specified by the data synchronization request to the synchronization table established according to the built statement to perform subsequent data processing.
  • the computer device can be the data processing server 120 of FIG.
  • the computer device includes a processor, memory, and network interface connected by a system bus.
  • the memory includes a nonvolatile storage medium and an internal memory.
  • the non-volatile storage medium of the computer device can store an operating system and computer readable instructions that, when executed, cause the processor to perform a data processing method.
  • the processor of the computer device is used to provide computing and control capabilities to support the operation of the entire computer device.
  • the computer readable instructions are used to implement a data processing method provided by the following embodiments when the computer readable instructions are executed by the processor.
  • the computer device can also connect to the user terminal and/or the agent terminal through the network to receive voice data sent by the user terminal and/or the agent terminal.
  • FIG. 2 is only a block diagram of a part of the structure related to the solution of the present application, and does not constitute a limitation on the terminal to which the solution of the present application is applied.
  • the specific terminal may include a ratio. More or fewer components are shown in the figures, or some components are combined, or have different component arrangements.
  • a data processing method is provided. This embodiment is mainly illustrated by the method being applied to the data processing server 120 in FIG. 1 described above. Referring to FIG. 3, the data processing method specifically includes the following steps:
  • the database identifier is used to uniquely identify a database and may be a string including at least one of numbers, letters, and symbols.
  • the database is a business database related to the business.
  • Business databases such as pension insurance contract databases or pension insurance databases.
  • the data table parameters are parameters of the data tables stored in the database.
  • Data table parameters such as data table table names or database connection strings.
  • a data synchronization request is a request for data synchronization.
  • the data synchronization request is a request for requesting synchronization of data of the service database in the service server to a data warehouse in the data processing server.
  • Data warehouses such as Hadoop Hive. Hadoop is a distributed system infrastructure developed by the Apache Software Foundation (ASF).
  • the user terminal can provide a configuration interface to obtain a data synchronization request initiated by the user after selecting the database identification and data table parameters. After obtaining the initiated data synchronization request, the terminal carries the database identifier and the data table parameter selected by the user in the data synchronization request and sends the data to the data processing server, so that the data processing server acquires the data synchronization request that carries the database identifier and the data table parameter. .
  • the user can also configure the data synchronization start time when initiating a data synchronization request through the configuration interface provided by the terminal.
  • the user terminal After acquiring the data synchronization request initiated by the user, the user terminal carries the database identifier, the data table parameter, and the data synchronization start time selected by the user in the data synchronization request, and sends the data to the data processing server, so that the data processing server obtains the carrying database identifier and Data synchronization request for data table parameters, and data synchronization starts when the time reaches the data synchronization start time.
  • the data synchronization start time can be a one-time time, such as 0:00:00 on June 16, 2017.
  • the data synchronization start time can also be a periodic time, such as 0:0:0 on each natural day, or 0:0:0 on the first natural day of the week.
  • the data synchronization request can carry a plurality of database identities, each database identifier corresponding to a respective data table parameter.
  • Each database identifier corresponds to a data table parameter, which may be the same data table parameter or different data table parameters.
  • S304 Call an interface associated with the database identifier, and connect the database corresponding to the database identifier.
  • the data processing server sets a callable interface corresponding to the database for different service types, allocates the same or different number of interface call resources for different service types, and establishes an association relationship with the corresponding interface through the database identifier. .
  • the data processing server may invoke an interface associated with the database identifier to establish a connection with the database corresponding to the database identifier.
  • the database corresponding to different business types can be different types of databases, such as the ORCLE database for the pension insurance contract database and the MYSQL database for the pension insurance database.
  • the data processing server is different from the interface invoked by different types of database connections.
  • S306 Generate a table construction statement according to a table structure of a data table corresponding to the data table parameter in the database.
  • a data table is a location in the database where data is stored and is a structured file.
  • the table structure is used to define the fields, types, primary keys, foreign keys, indexes, and so on of a data table.
  • a table statement is a statement used to create a data table.
  • the data processing server determines a data table that needs to be synchronized according to the data table parameter carried in the data synchronization request, reads a table structure of the data table, and generates a table construction statement according to the table structure.
  • Data synchronization methods include full table synchronization mode, incremental synchronization mode, and partition synchronization mode.
  • the full table synchronization method is to synchronize all the data in the data table.
  • Incremental synchronization is the synchronization of data that changes.
  • the data stored in the data table will record the time when the data was last updated.
  • the data processing server can compare the time of the corresponding record of the data in the data table with the time of the last synchronization when performing data synchronization. If the time corresponding to the data in the data table is later than the time of the last synchronization, the data is determined to be The data that has changed.
  • the partition synchronization method is to synchronize only the data of a partial area in the data table. For example, the data of the specified field in the data table.
  • the developer may configure a script template for data synchronization according to the data synchronization manner in advance, and store the configured script template in the data processing server corresponding to the corresponding data synchronization manner.
  • the data processing server determines the data synchronization mode specified by the data synchronization request, and then searches for a script template stored corresponding to the data synchronization mode.
  • the template parameter in the script template is used to mark the parameter that should be added at the location of the template parameter.
  • the data processing server replaces the template parameter in the footstep template with the corresponding data table parameter carried in the data synchronization request to generate a target script.
  • the "data table table name” in the position of the footstep template should be the real table name of the data table that needs to be data synchronized. Assuming that the real table name of the data table that actually needs data synchronization is "Table A”, the data processing server replaces the "data table table name" in the footstep template with "Table A”.
  • the data specified by the data synchronization request is data determined according to the data synchronization method specified by the data synchronization request.
  • the data to be synchronized corresponding to the full table synchronization mode is all the data in the data table.
  • the data to be synchronized corresponding to the incremental synchronization mode is data in the data table that changes during the time interval from the previous synchronization time to the current time.
  • the data to be synchronized corresponding to the partition synchronization mode is the data of the field specified by the data synchronization request.
  • the data processing server may first execute the table creation statement to establish a synchronization table in the data warehouse of the data processing server, and then run the target script to synchronize the data specified by the data synchronization request to the synchronization table established according to the table creation statement.
  • the data processing method can automatically generate a table statement according to the table structure of the data table corresponding to the data table parameter carried in the data synchronization request according to the database identifier carried in the data synchronization request. Established synchronization table.
  • the data table parameter is automatically adopted, and the corresponding template parameter in the step template matched by the data synchronization mode specified by the data synchronization request is replaced, and the target script is generated, and the data specified by the data synchronization request can be synchronized to the synchronization table through the target script. Further, data processing is performed in the synchronization table, thereby avoiding the workload introduced by the manual operation and improving the data processing efficiency.
  • the data processing method further includes: detecting a parameter field in the data table and a field type corresponding to the parameter field; when detecting that the parameter field and/or the field type changes, The corresponding data table identifier of the data table is sent to the terminal corresponding to the administrator identifier; when the parameter field and/or the field type is not detected, the step of acquiring the script template matching the data synchronization manner specified by the data synchronization request is performed.
  • the parameter field is the identifier of a column or data of a row in the data table. For example, if a column of data is the policy number of the pension insurance policy, then the parameter field corresponding to the column data is the policy number.
  • the field type is the data type of the data stored under the parameter field, such as integer or float. For example, the field type of the policy number is an integer.
  • the data table identifier is used to uniquely identify a data table, and the administrator ID is used to uniquely identify an administrator. Both the data table identifier and the administrator ID may be a string including at least one of a number, a letter, and a symbol.
  • the administrator is a developer who maintains the script template. When the parameter field and the field type corresponding to the parameter field in the data table are changed, the script template is adjusted accordingly.
  • the data processing server may periodically obtain the parameter field corresponding to the parameter field and the parameter field in the current data table, and the currently obtained parameter field and the field type corresponding to the parameter field, and the previously stored parameter field and parameter field. Corresponding field type comparison.
  • the data processing server may send the corresponding data table identifier of the data table to the terminal corresponding to the administrator identifier, so that the administrator adjusts the script template correspondingly by the corresponding terminal.
  • the data processing server may acquire a script template that matches the data synchronization mode specified by the data synchronization request.
  • the change will occur in time.
  • the data table identifier corresponding to the data table is sent to the terminal corresponding to the administrator identifier, to notify the administrator to adjust the script template accordingly, thereby ensuring the validity of the script template, corresponding to the parameter field and the parameter field in the data table. If the field type does not change, the script template matching the data synchronization method specified by the data synchronization request is obtained, and the valid script template is guaranteed to be obtained.
  • the data processing method further includes: determining an evaluation manner corresponding to the preset traffic assessment indicator, and determining a parameter field corresponding to the preset traffic assessment indicator in the synchronization table; The method and the determined parameter field are used to evaluate the evaluation value corresponding to the preset traffic evaluation index according to the service type; and generate the traffic report according to the evaluation value evaluated by the service type.
  • the traffic metrics reflect the number of businesses that are assessed to belong to a certain business type within a certain time frame.
  • the type of business to which the traffic assessment indicator belongs such as the pension insurance contract business or the pension insurance business.
  • Traffic evaluation indicators can be classified according to their business type. For example, the number of claims settlements belonging to the pension insurance contract or the number of claims settlements belonging to the pension insurance.
  • the traffic assessment indicators can also be classified according to the statistical time range. Specifically, statistics can be performed according to each natural day or each natural month, such as the number of claims settlements belonging to the pension insurance contract on the current day. Traffic metrics can also be categorized by geographic region. For example, the number of settlements for which the geographical area is Beijing and belongs to the pension insurance contract.
  • the evaluation method corresponds to the business volume evaluation index, and is evaluated according to the business type and evaluation time range reflected by the corresponding business volume evaluation index.
  • the business volume evaluation index is the number of claims settlements belonging to the pension insurance contract on the current day, it reflects the number of claims settlements belonging to the pension insurance contract on the day of each natural day assessment, and the corresponding evaluation method is the processing time for the settlement of statistical claims.
  • the number of claims settlements for the statistical date For example, the settlement time for the settlement of claims is 9:24 on June 19, 2017, then the time record is included in the statistical date June 19, 2017.
  • the parameter field corresponding to the traffic assessment indicator is a parameter field that matches the service type and the evaluation time range reflected by the traffic assessment indicator.
  • the parameter fields corresponding to the business volume evaluation indicators are the business type field (pension insurance contract), the case type field (claim settlement), and the time field.
  • the data processing server may set a corresponding traffic volume evaluation indicator to the traffic volume evaluation process in advance. After the data specified by the data synchronization request is synchronized, the preset service quantity evaluation indicator is obtained, and the evaluation mode corresponding to the preset service quantity evaluation indicator is determined according to the service type and the evaluation time range reflected by the service quantity evaluation indicator, And determining a parameter field corresponding to the preset traffic volume assessment indicator in the synchronization table, and evaluating, according to the determined evaluation mode and the determined parameter field, the evaluation value corresponding to the preset traffic volume assessment indicator according to the service type, according to the service type evaluation The evaluation value generates a traffic report.
  • the traffic volume is automatically evaluated, and the evaluation value corresponding to the traffic assessment index is obtained, and then the traffic volume report is generated according to the evaluation values, and the traffic volume report is displayed in a visual form.
  • the traffic volume report is generated according to the evaluation value that is evaluated according to the service type, and includes: when the number of preset traffic volume assessment indicators is more than one, corresponding to each preset traffic volume assessment indicator, and The evaluation value evaluated by the business type is used as the item value of the statistical list, and the statistical list corresponding to each preset business quantity evaluation index is generated according to the service type; the indicator directory tree is generated according to the subordination relationship between the respective service quantity evaluation indicators; the indicator directory The tree includes hierarchically ranked traffic assessment indicators; the corresponding statistical list of each traffic assessment indicator is associated with the corresponding traffic assessment indicator in the directory tree to generate a traffic volume report.
  • the statistics list is a list used to record the results of the traffic assessment.
  • the affiliation between the traffic assessment indicators is the affiliation between the service type or the case type to which the traffic assessment indicator belongs. For example, “the amount of new insured cases on the day of pension insurance” is subordinated to “the amount of new cases on the day of pension insurance”.
  • the metrics included in the metrics tree are categorized by hierarchy.
  • the business types of each business volume assessment indicator are first-level fields, such as “endowment insurance contract” and “endowment insurance”.
  • the types of cases for each business volume assessment indicator are second-level fields, such as “additional cases” and “closed cases”. case”.
  • the data processing server may use the evaluation value corresponding to each preset traffic quantity assessment indicator and evaluated by the service type as the item value of the statistics list, and arrange the preset service quantity evaluation indicators according to the service type.
  • the metrics tree is generated according to the affiliation between the metrics, and the corresponding statistics list of the traffic metrics is associated with the corresponding traffic metrics in the directory tree to generate a traffic report.
  • the traffic volume report is generated in the form of the indicator directory tree, so that each business department can quickly locate the corresponding statistical list of the traffic evaluation indicators that are intended to be viewed.
  • Figure 4 shows a schematic diagram of a traffic report in one of the embodiments.
  • the schematic includes an indicator directory tree 410.
  • the statistical list corresponding to the "evaluation index of the endowment contract settlement case” is displayed in the statistical list display area of the business volume report.
  • the data processing method further includes: determining a service type to which the traffic evaluation indicator in the traffic report belongs; obtaining a user identifier associated with the service type; and pushing the traffic report according to the user identifier.
  • the data processing server may send the traffic volume report to the terminal corresponding to the user identifier by using a mail.
  • the data processing server may also send a notification to the traffic report by means of a short message or a social public number, and send the notification to the terminal corresponding to the user identifier.
  • the traffic report is automatically pushed to the relevant user, so that the related user can timely understand the relevant business conditions, so as to quickly carry out the next work.
  • the data processing method specifically includes the following steps:
  • S504 Call an interface associated with the database identifier, and connect the database corresponding to the database identifier.
  • step S508 Check whether the parameter field corresponding to the parameter field and the parameter field in the data table changes; if yes, go to step S510; if no, go to step S512.
  • S510 Send the corresponding data table identifier of the data table to the terminal corresponding to the administrator identifier.
  • S512 Obtain a script template that matches a data synchronization manner specified by the data synchronization request; and replace the corresponding template parameter in the footstep template with the data table parameter to generate a target script.
  • the evaluation value corresponding to each preset traffic quantity assessment indicator and evaluated by the service type is used as the item value of the statistics list, and the corresponding statistical list of the service quantity evaluation indicators is generated according to the service type;
  • the affiliation between the metrics generates a metrics directory tree; the metrics tree includes the tiered traffic metrics; and the corresponding statistic list of the traffic metrics is associated with the corresponding traffic metrics in the directory tree to generate services. Volume report.
  • the table structure of the data table corresponding to the data table parameter carried in the data synchronization request may be automatically generated according to the database identifier carried in the data synchronization request, and the table structure is generated.
  • the synchronization table created by the statement.
  • the data table parameter is automatically adopted, and the corresponding template parameter in the step template matched by the data synchronization mode specified by the data synchronization request is replaced, and the target script is generated, and the data specified by the data synchronization request can be synchronized to the synchronization table through the target script. Further, data processing is performed in the synchronization table, thereby avoiding the workload introduced by the manual operation and improving the data processing efficiency.
  • a data processing apparatus 600 includes: a first obtaining module 601, a calling module 602, a first generating module 603, a second acquiring module 604, and a second A module 605 and a synchronization module 606 are generated.
  • the first obtaining module 601 is configured to acquire a data synchronization request that carries a database identifier and a data table parameter.
  • the calling module 602 is configured to invoke an interface associated with the database identifier, and connect the database corresponding to the database identifier.
  • the first generation module 603 is configured to generate a table construction statement according to a table structure of a data table corresponding to the data table parameter in the database.
  • the second obtaining module 604 is configured to acquire a script template that matches the data synchronization manner specified by the data synchronization request.
  • the second generation module 605 is configured to replace the corresponding template parameter in the footstep template with the data table parameter to generate the target script.
  • the synchronization module 606 is configured to synchronize the data specified by the data synchronization request to the synchronization table established according to the table creation statement by using the target script.
  • the data processing device 600 can automatically generate a table according to the table structure of the data table corresponding to the data table parameter carried in the data synchronization request according to the database identifier carried in the data synchronization request.
  • the synchronization table created by the statement.
  • the data table parameter is automatically adopted, and the corresponding template parameter in the step template matched by the data synchronization mode specified by the data synchronization request is replaced, and the target script is generated, and the data specified by the data synchronization request can be synchronized to the synchronization table through the target script. Further, data processing is performed in the synchronization table, thereby avoiding the workload introduced by the manual operation and improving the data processing efficiency.
  • the data processing apparatus 600 further includes a detection module 607.
  • the detecting module 607 is configured to detect a parameter field corresponding to the parameter field and the parameter field in the data table; when detecting that the parameter field and/or the field type change, send the corresponding data table identifier of the data table to the administrator identifier Corresponding terminal; when no parameter field and/or field type is detected to be changed, the step of acquiring a script template matching the data synchronization manner specified by the data synchronization request is performed.
  • the data processing apparatus 600 further includes an evaluation module 608.
  • the evaluation module 608 is configured to determine an evaluation manner corresponding to the preset traffic assessment indicator, and determine a parameter field corresponding to the preset traffic assessment indicator in the synchronization table; according to the determined evaluation mode and the determined parameter field, press
  • the service type evaluates the evaluation value corresponding to the preset traffic evaluation index; and generates the traffic report according to the evaluation value evaluated by the business type.
  • the evaluation module 608 is further configured to: when the number of preset traffic evaluation indicators exceeds one, the evaluation value corresponding to each preset traffic assessment indicator and evaluated by the service type is used as a statistic.
  • the item values of the list are arranged according to the service type to generate a corresponding statistical list of the preset business volume evaluation indicators;
  • the indicator directory tree is generated according to the subordination relationship between the respective service quantity evaluation indicators;
  • the indicator directory tree includes the hierarchically arranged business volume evaluation indicators.
  • Corresponding statistical list of each business volume evaluation indicator is associated with the corresponding business volume evaluation indicator in the directory tree to generate a business volume report.
  • the evaluation module 608 is further configured to determine a service type to which the traffic assessment indicator in the traffic report belongs; obtain a user identifier associated with the service type; and push the traffic report according to the user identifier.
  • the various modules in the data processing apparatus described above may be implemented in whole or in part by software, hardware, and combinations thereof. Each of the above modules may be embedded in or independent of the processor in the computer device, or may be stored in a memory in the computer device in a software form, so that the processor calls to perform operations corresponding to the above modules.
  • One or more non-volatile storage media storing computer readable instructions, when executed by one or more processors, causing one or more processors to perform the data provided in any one of the embodiments herein The steps of the processing method.
  • a computer device comprising a memory and one or more processors having stored therein computer readable instructions, the computer readable instructions being executed by a processor such that one or more processors perform the implementation in any one of the embodiments of the present application The steps of the data processing method.
  • Non-volatile memory can include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory can include random access memory (RAM) or external cache memory.
  • RAM is available in a variety of formats, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronization chain.
  • SRAM static RAM
  • DRAM dynamic RAM
  • SDRAM synchronous DRAM
  • DDRSDRAM double data rate SDRAM
  • ESDRAM enhanced SDRAM
  • Synchlink DRAM SLDRAM
  • Memory Bus Radbus
  • RDRAM Direct RAM
  • DRAM Direct Memory Bus Dynamic RAM
  • RDRAM Memory Bus Dynamic RAM

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种数据处理方法包括：获取携带数据库标识和数据表参数的数据同步请求；调用所述数据库标识关联的接口，连接所述数据库标识对应的数据库；按照所述数据库中所述数据表参数相应的数据表的表结构生成建表语句；获取与所述数据同步请求指定的数据同步方式匹配的脚本模板；采用所述数据表参数替换所述脚步模板中相应的模板参数生成目标脚本；通过所述目标脚本，将所述数据同步请求指定的数据同步至根据所述建表语句建立的同步表中。

Description

数据处理方法、装置、存储介质和计算机设备
相关申请的交叉引用
本申请要求于2017年07月25日提交中国专利局，申请号为2017106138381，发明名称为“数据处理方法、装置、存储介质和计算机设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机技术领域，特别是涉及一种数据处理方法、装置、存储介质和计算机设备。
背景技术
随着计算机技术的发展，各行各业的数据量越来越大，对用于存储数据的数据库的存储容量与性能要求越来越高。在对业务相关数据进行处理与分析时，会涉及到不同业务数据库中的数据，若直接在业务数据库中实时进行数据处理与分析，会对业务数据库造成很大压力，导致数据无法处理或出错的问题。
然而，发明人意识到，传统的处理方式是通过开发人员人工开发代码实现将需要处理的数据同步到存储容量大的数据仓库进行处理，在处理完成之后再推送回业务数据库。然而传统的这种方式需要消耗大量的人力物力，而且引入了大量的工作量，导致数据处理效率低的问题。
发明内容
根据本申请公开的各种实施例，提供一种数据处理方法、装置、存储介质和计算机设备。
一种数据处理方法，包括：
获取携带数据库标识和数据表参数的数据同步请求；
调用所述数据库标识关联的接口，连接所述数据库标识对应的数据库；
按照所述数据库中所述数据表参数相应的数据表的表结构生成建表语句；
获取与所述数据同步请求指定的数据同步方式匹配的脚本模板；
采用所述数据表参数替换所述脚步模板中相应的模板参数生成目标脚本；及
通过所述目标脚本，将所述数据同步请求指定的数据同步至根据所述建表语句建立的同步表中。
一种数据处理装置，包括：
第一获取模块，用于获取携带数据库标识和数据表参数的数据同步请求；
调用模块，用于调用所述数据库标识关联的接口，连接所述数据库标识对应的数据库；
第一生成模块，用于按照所述数据库中所述数据表参数相应的数据表的表结构生成建表语句；
第二获取模块，用于获取与所述数据同步请求指定的数据同步方式匹配的脚本模板；
第二生成模块，用于采用所述数据表参数替换所述脚步模板中相应的模板参数生成目标脚本；及
同步模块，用于通过所述目标脚本，将所述数据同步请求指定的数据同步至根据所述建表语句建立的同步表中。
一个或多个存储有计算机可读指令的非易失性存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本申请任意一个实施例中提供的数据处理方法的步骤。
一种计算机设备，包括存储器和一个或多个处理器，所述存储器中储存有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述一个或多个处理器执行本申请任意一个实施例中提供的数据处理方法的步骤。
本申请的一个或多个实施例的细节在下面的附图和描述中提出。本申请的其它特征、目的和优点将从说明书、附图以及权利要求书变得明显。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为根据一个或多个实施例中数据处理方法的应用环境图。
图2为根据一个或多个实施例中计算机设备的框图。
图3为根据一个或多个实施例中数据处理方法的流程示意图。
图4为根据一个或多个实施例中业务量报表的示意图。
图5为根据另一个实施例中数据处理方法的流程示意图。
图6为根据一个或多个实施例中数据处理装置的框图。
图7为根据另一个实施例中数据处理装置的框图。
图8为根据又一个实施例中数据处理装置的框图。
具体实施方式
为了使本申请的技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中数据处理方法的应用环境图。参照图1，该数据处理方法应用于数据处理系统。数据处理系统包括业务服务器110和数据处理服务器120。业务服务器110和数据处理服务器120之间可通过网络连接。数据处理服务器120获取携带数据库标识和数据表参数的数据同步请求，调用数据库标识关联的接口连接数据库标识对应的数据库，该数据库在业务服务器110上。数据处理服务器120再按照该数据库中数据表参数相应的数据表的表结构生成建表语句，并获取与数据同步请求指定的数据同步方式匹配的脚本模板，采用数据表参数替换脚步模板中相应的模板参数生成目标脚本，通过目标脚本，将数据同步请求指定的数据同步至根据建表语句建立的同步表中，以进行后续的数据处理。
图2为一个实施例中计算机设备的框图。该计算机设备可以是图1中数据处理服务器120。如图2所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质可存储操作系统和计算机可读指令，该计算机可读指令被执行时，可使得处理器执行一种数据处理方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该内存储器中可储存有计算机可执行指令，该计算机可读指令被处理器执行时，该计算机可读指令用于实现以下各实施例所提供的一种数据处理方法。该计算机设备还可通过网络与用户终端和/或坐席终端连接，接收用户终端和/或坐席终端发送的语音数据。本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部 件，或者组合某些部件，或者具有不同的部件布置。
如图3所示，在其中一个实施例中，提供了一种数据处理方法。本实施例主要以该方法应用于上述图1中的数据处理服务器120来举例说明。参照图3，该数据处理方法具体包括如下步骤：
S302，获取携带数据库标识和数据表参数的数据同步请求。
数据库标识用于唯一标识一个数据库，可以是包括数字、字母和符号中的至少一种字符的字符串。在本实施例中，数据库是与业务相关的业务数据库。业务数据库比如养老险契约数据库或者养老险保全数据库等。数据表参数是数据库中存储的数据表的参数。数据表参数比如数据表表名或者数据库连接串等。
数据同步请求是用于进行数据同步的请求。在本实施例中，数据同步请求是用于请求将业务服务器中业务数据库的数据同步到数据处理服务器中的数据仓库的请求。数据仓库比如Hadoop Hive等。Hadoop是一个由Apache软件基金会(Apache Software Foundation，简称为ASF)所开发的分布式系统基础架构。
在其中一个实施例中，用户终端可以提供配置界面，获取用户在选定数据库标识和数据表参数之后发起的数据同步请求。终端在获取发起的数据同步请求后，将用户选定的数据库标识和数据表参数携带在数据同步请求中发送至数据处理服务器，以使得数据处理服务器获取携带数据库标识和数据表参数的数据同步请求。
在其中一个实施例中，用户也可在通过终端提供的配置界面发起数据同步请求时，同时配置数据同步开始时间。用户终端在获取用户发起的数据同步请求后，将用户选定的数据库标识、数据表参数以及数据同步开始时间携带在数据同步请求中发送至数据处理服务器，以使得数据处理服务器获取携带数据库标识和数据表参数的数据同步请求，并在时间达到数据同步开始时间时开始数据同步。
数据同步开始时间可以是一次性的时间，比如2017年6月16日0点0分0秒。数据同步开始时间也可以是周期性的时间，比如每个自然日的0点0分0秒，或者每周第一个自然日的0点0分0秒等。
在其中一个实施例中，数据同步请求可携带多个数据库标识，每个数据库标识对应各自的数据表参数。每个数据库标识对应的数据表参数，可以是相同的数据表参数，也可以不同数据表参数。
S304，调用数据库标识关联的接口，连接数据库标识对应的数据库。
具体地，数据处理服务器针对不同业务类型设置了与数据库对应的可调用的接口，为不同的业务类型分配了对应相同或不同数量的接口调用资源，并通过数据库标识建立了与相应接口的关联关系。数据处理服务器可在确定了数据库标识后，调用与该数据库标识关联的接口，与该数据库标识对应的数据库建立连接。
不同的业务类型对应的数据库可以是不同类型的数据库，比如养老险契约数据库为ORCLE数据库，养老险保全数据库为MYSQL数据库等。数据处理服务器与不同类型的数据库连接所调用的接口不同。
S306，按照数据库中数据表参数相应的数据表的表结构生成建表语句。
数据表是数据库中存储数据的位置，是一种结构化的文件。表结构用于定义一个数据表的字段、类型、主键、外键和索引等。建表语句是用于建立数据表的语句。
具体地，数据处理服务器按照数据同步请求中携带的数据表参数确定需要进行同步的数据表，读取该数据表的表结构，按照该表结构生成建表语句。
S308，获取与数据同步请求指定的数据同步方式匹配的脚本模板。
数据同步方式包括全表同步方式、增量同步方式以及分区同步方式等。全表同步方式是将数据表中的数据全部进行同步。增量同步方式是同步发生变化的数据。数据表中存储的数据会相应记录该数据最近一次更新的时间。数据处理服务器可在进行数据同步时将数据表中数据相应记录的时间与上次进行同步的时间比较，若数据表中数据相应记录的时间晚于上次进行同步的时间，则判定该数据为发生变化的数据。分区同步方式是仅同步数据表中部分区域的数据。比如数据表中指定字段的数据等。
具体地，开发人员可事先按照数据同步方式，相应配置进行数据同步的脚本模板，并将配置的脚本模板对应于相应的数据同步方式存储在数据处理服务器中。数据处理服务器在获取到数据同步请求后，确定该数据同步请求所指定的数据同步方式，再查找与该数据同步方式对应存储的脚本模板。
S310，采用数据表参数替换脚步模板中相应的模板参数生成目标脚本。
具体地，脚本模板中的模板参数，用于标记该模板参数所在位置处应当添加的参数。数据处理服务器将脚步模板中的模板参数，替换为数据同步请求中携带的相应的数据表参数，生成目标脚本。
比如，模板参数“数据表表名”，那么“数据表表名”在脚步模板中所在位置处的字符应为实际需要进行数据同步的数据表的真实表名。假设实际需要进行数据同步的数据表 的真实表名为“Table A”，那么，数据处理服务器将脚步模板中的“数据表表名”替换为“Table A”。
S312，通过目标脚本，将数据同步请求指定的数据同步至根据建表语句建立的同步表中。
数据同步请求指定的数据，是根据数据同步请求指定的数据同步方式确定的数据。全表同步方式对应的需同步的数据是数据表中所有的数据。增量同步方式对应的需同步的数据，是数据表中在前一次同步时间到当前时间的时间间隔内发生变化的数据。分区同步方式对应的需同步的数据是数据同步请求指定的字段的数据。
具体地，数据处理服务器可先执行建表语句在数据处理服务器的数据仓库中建立同步表，再运行目标脚本将数据同步请求指定的数据同步至根据建表语句建立的同步表中。
上述数据处理方法，在获取到数据同步请求后，即可自动按照数据同步请求携带的数据库标识相应的数据库中，与数据同步请求携带的数据表参数相应的数据表的表结构，生成建表语句建立的同步表。再自动采用该数据表参数，替换数据同步请求指定的数据同步方式匹配的脚步模板中相应的模板参数，生成目标脚本，即可通过目标脚本，将数据同步请求指定的数据同步至同步表中，进而在同步表中进行数据处理，从而避免了人工操作引入的工作量，提高了数据处理效率。
在其中一个实施例中，在步骤S308之前，该数据处理方法还包括：检测数据表中的参数字段及参数字段所对应的字段类型；当检测到参数字段和/或字段类型发生变化时，将数据表相应的数据表标识发送至管理员标识所对应的终端；当未检测到参数字段和/或字段类型发生变化时，执行获取与数据同步请求指定的数据同步方式匹配的脚本模板的步骤。
参数字段是数据表中某一列或者某一行数据的标识。比如，某一列数据为养老险保单的保单号，那么这一列数据对应的参数字段为保单号。字段类型是参数字段下存储的数据的数据类型，如整型或者浮点型等。比如，保单号的字段类型为整型。数据表标识用于唯一标识一个数据表，管理员标识用于唯一标识一个管理员。数据表标识和管理员标识均可以是包括数字、字母和符号中的至少一种字符的字符串。管理员是对脚本模板进行维护的开发人员，可在得知数据表中的参数字段及参数字段所对应的字段类型发生变化时，对脚本模板进行相应调整。
具体地，数据处理服务器可定时获取当前数据表中的参数字段及参数字段所对应的 字段类型，将当前获取的参数字段及参数字段所对应的字段类型，与在先存储的参数字段及参数字段所对应的字段类型比较。当检测到参数字段和/或字段类型发生变化时，数据处理服务器可将数据表相应的数据表标识发送至管理员标识所对应的终端，以使管理员通过其所对应的终端相应调整脚本模板。当未检测到参数字段和/或字段类型发生变化时，数据处理服务器可获取与数据同步请求指定的数据同步方式匹配的脚本模板。
在本实施例中，通过自动检测数据表中的参数字段及参数字段所对应的字段类型的变化情况，在数据表中的参数字段及参数字段所对应的字段类型发生变化时，及时将发生变化的数据表对应的数据表标识发送给管理员标识所对应的终端，以通知管理员对脚本模板进行相应调整，从而保证脚本模板的有效性，在在数据表中的参数字段及参数字段所对应的字段类型未发生变化时，才获取与数据同步请求指定的数据同步方式匹配的脚本模板，保证获取的是有效的脚本模板。
在其中一个实施例中，该数据处理方法还包括：确定与预设的业务量评估指标相应的评估方式，并确定同步表中与预设的业务量评估指标相应的参数字段；根据确定的评估方式和确定的参数字段，按业务类型评估预设的业务量评估指标对应的评估值；根据按业务类型评估的评估值生成业务量报表。
业务量评估指标反映评估某个时间范围内属于某个业务类型的业务的数量。业务量评估指标所属的业务类型比如养老险契约业务或者养老险保全业务等。业务量评估指标可以按照所属业务类型进行分类。比如属于养老险契约的理赔结案的数量或者属于养老险保全的理赔结案的数量等。业务量评估指标也可以按照统计时间范围进行分类，具体可以是按照每个自然日或者每个自然月等进行统计，比如当日属于养老险契约的理赔结案的数量等。业务量评估指标还可以按照所属地理区域进行分类。比如地理区域为北京的、且属于养老险契约的理赔结案的数量等。
评估方式与业务量评估指标相对应，是按照对应的业务量评估指标所反映的业务类型和评估时间范围进行评估。比如，业务量评估指标为当日属于养老险契约的理赔结案的数量时，反映按照每个自然日评估当日属于养老险契约的理赔结案的数量，对应的评估方式为统计理赔结案的处理时间包括于统计日期的理赔结案的数量。比如，理赔结案的处理时间为2017年6月19日9:24，那么该时间记录包括于统计日期2017年6月19日。
与业务量评估指标相应的参数字段，是与业务量评估指标所反映的业务类型和评估时间范围匹配的参数字段。比如，业务量评估指标为当日属于养老险契约的理赔结案的数 量时，与业务量评估指标相应的参数字段为业务类型字段(养老险契约)、案件类型字段(理赔结案)以及时间字段。
具体地，数据处理服务器可预先对业务量评估过程设置对应的业务量评估指标。在完成将数据同步请求指定的数据同步之后，获取预设的业务量评估指标，根据该业务量评估指标所反映的业务类型与评估时间范围确定与预设的业务量评估指标对应的评估方式，再确定同步表中与预设的业务量评估指标相应的参数字段，根据确定的评估方式和确定的参数字段，按业务类型评估预设的业务量评估指标对应的评估值，根据按业务类型评估的评估值生成业务量报表。
在本实施例中，在完成数据同步之后，自动对进行业务量评估，得到与业务量评估指标对应的评估值，再根据这些评估值生成业务量报表，通过该业务量报表以可视形式展示业务情况，使得业务数据处理的效率得到极大提升，给后续业务数据分析与业务工作开展带来极大的便利。
在其中一个实施例中，根据按业务类型评估的评估值生成业务量报表，包括：当预设的业务量评估指标的数量多于一个时，将各预设的业务量评估指标对应的、且按业务类型评估的评估值作为统计列表的项目值，按业务类型排列生成各预设的业务量评估指标相应的统计列表；根据各业务量评估指标之间的从属关系生成指标目录树；指标目录树包括分级排列的业务量评估指标；将各业务量评估指标相应的统计列表，关联至目录树中相应的业务量评估指标，生成业务量报表。
统计列表是用于记录业务量评估结果的列表。业务量评估指标之间的从属关系，是业务量评估指标所属的业务类型或者案件类型之间的从属关系。比如，“养老险当日新增投保案件量”从属于“养老险当日新增案件量”。指标目录树包括的业务量评估指标是分级按层次排列的。各业务量评估指标所属业务类型为第一级字段，比如“养老险契约”和“养老险保全”，各业务量评估指标所属案件类型为第二级字段，比如“新增案件”和“结案案件”。
具体地，数据处理服务器可在将各预设的业务量评估指标对应的、且按业务类型评估的评估值作为统计列表的项目值，按业务类型排列生成各预设的业务量评估指标相应的统计列表会后，根据各业务量评估指标之间的从属关系生成指标目录树，将各业务量评估指标相应的统计列表，关联至目录树中相应的业务量评估指标，生成业务量报表。
在本实施例中，通过指标目录树的形式生成业务量报表，便于各业务部门快速定位 意图查看的业务量评估指标相应的统计列表。
图4示出了其中一个实施例中业务量报表的示意图。参考图4，该示意图包括指标目录树410。当用户选中“养老险契约，结案案件”该目录项后，在业务量报表的统计列表展示区域展示“养老险契约结案案件评估指标”对应的统计列表。
在其中一个实施例中，该数据处理方法还包括：确定业务量报表中的业务量评估指标所属的业务类型；获取与业务类型关联的用户标识；根据用户标识推送业务量报表。
具体地，数据处理服务器可通过邮件将业务量报表发送至用户标识所对应的终端。数据处理服务器也可通过短信或者社交公众号等方式将业务量报表发送通知，发送至用户标识所对应的终端。
在本实施例中，自动将业务量报表推送至相关用户，使得相关用户能够及时了解相关的业务状况，以快速开展下一步工作。
如图5所示，在其中一个具体的实施例中，该数据处理方法具体包括以下步骤：
S502，获取携带数据库标识和数据表参数的数据同步请求。
S504，调用数据库标识关联的接口，连接数据库标识对应的数据库。
S506，按照数据库中数据表参数相应的数据表的表结构生成建表语句。
S508，检测数据表中的参数字段及参数字段所对应的字段类型是否发生变化；若是，则跳转到步骤S510；若否，则跳转到步骤S512。
S510，将数据表相应的数据表标识发送至管理员标识所对应的终端。
S512，获取与数据同步请求指定的数据同步方式匹配的脚本模板；采用数据表参数替换脚步模板中相应的模板参数生成目标脚本。
S514，通过目标脚本，将数据同步请求指定的数据同步至根据建表语句建立的同步表中。
S516，确定与预设的业务量评估指标相应的评估方式，并确定同步表中与预设的业务量评估指标相应的参数字段；根据确定的评估方式和确定的参数字段，按业务类型评估预设的业务量评估指标对应的评估值。
S518，判断预设的业务量评估指标的数量是否多于一个；若是，则跳转到步骤S520；若否，则跳转到步骤S522。
S520，将各预设的业务量评估指标对应的、且按业务类型评估的评估值作为统计列表的项目值，按业务类型排列生成各预设的业务量评估指标相应的统计列表；根据各业务 量评估指标之间的从属关系生成指标目录树；指标目录树包括分级排列的业务量评估指标；将各业务量评估指标相应的统计列表，关联至目录树中相应的业务量评估指标，生成业务量报表。
S522，根据按业务类型评估的评估值生成业务量报表。
S524，确定业务量报表中的业务量评估指标所属的业务类型；获取与业务类型关联的用户标识；根据用户标识推送业务量报表。
在本实施例中，在获取到数据同步请求后，即可自动按照数据同步请求携带的数据库标识相应的数据库中，与数据同步请求携带的数据表参数相应的数据表的表结构，生成建表语句建立的同步表。再自动采用该数据表参数，替换数据同步请求指定的数据同步方式匹配的脚步模板中相应的模板参数，生成目标脚本，即可通过目标脚本，将数据同步请求指定的数据同步至同步表中，进而在同步表中进行数据处理，从而避免了人工操作引入的工作量，提高了数据处理效率。
应该理解的是，上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图6所示，在其中一个实施例中，提供了一种数据处理装置600，该装置包括：第一获取模块601、调用模块602、第一生成模块603、第二获取模块604、第二生成模块605和同步模块606。
第一获取模块601，用于获取携带数据库标识和数据表参数的数据同步请求。
调用模块602，用于调用数据库标识关联的接口，连接数据库标识对应的数据库。
第一生成模块603，用于按照数据库中数据表参数相应的数据表的表结构生成建表语句。
第二获取模块604，用于获取与数据同步请求指定的数据同步方式匹配的脚本模板。
第二生成模块605，用于采用数据表参数替换脚步模板中相应的模板参数生成目标脚本。
同步模块606，用于通过目标脚本，将数据同步请求指定的数据同步至根据建表语句建立的同步表中。
上述数据处理装置600，在获取到数据同步请求后，即可自动按照数据同步请求携带的数据库标识相应的数据库中，与数据同步请求携带的数据表参数相应的数据表的表结构，生成建表语句建立的同步表。再自动采用该数据表参数，替换数据同步请求指定的数据同步方式匹配的脚步模板中相应的模板参数，生成目标脚本，即可通过目标脚本，将数据同步请求指定的数据同步至同步表中，进而在同步表中进行数据处理，从而避免了人工操作引入的工作量，提高了数据处理效率。
如图7所示，在其中一个实施例中，数据处理装置600还包括：检测模块607。
检测模块607，用于检测数据表中的参数字段及参数字段所对应的字段类型；当检测到参数字段和/或字段类型发生变化时，将数据表相应的数据表标识发送至管理员标识所对应的终端；当未检测到参数字段和/或字段类型发生变化时，执行获取与数据同步请求指定的数据同步方式匹配的脚本模板的步骤。
如图8所示，在其中一个实施例中，数据处理装置600还包括：评估模块608。
评估模块608，用于确定与预设的业务量评估指标相应的评估方式，并确定同步表中与预设的业务量评估指标相应的参数字段；根据确定的评估方式和确定的参数字段，按业务类型评估预设的业务量评估指标对应的评估值；根据按业务类型评估的评估值生成业务量报表。
在其中一个实施例中，评估模块608还用于当预设的业务量评估指标的数量多于一个时，将各预设的业务量评估指标对应的、且按业务类型评估的评估值作为统计列表的项目值，按业务类型排列生成各预设的业务量评估指标相应的统计列表；根据各业务量评估指标之间的从属关系生成指标目录树；指标目录树包括分级排列的业务量评估指标；将各业务量评估指标相应的统计列表，关联至目录树中相应的业务量评估指标，生成业务量报表。
在其中一个实施例中，评估模块608还用于确定业务量报表中的业务量评估指标所属的业务类型；获取与业务类型关联的用户标识；根据用户标识推送业务量报表。
关于数据处理装置的具体限定可以参见上文中对于数据处理方法的限定，在此不再赘述。上述数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储 于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
一个或多个存储有计算机可读指令的非易失性存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本申请任意一个实施例中提供的数据处理方法的步骤。
一种计算机设备，包括存储器和一个或多个处理器，存储器中储存有计算机可读指令，计算机可读指令被处理器执行时，使得一个或多个处理器执行本申请任意一个实施例中提供的数据处理方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (20)

  1. 一种数据处理方法，包括：
    获取携带数据库标识和数据表参数的数据同步请求；
    调用所述数据库标识关联的接口，连接所述数据库标识对应的数据库；
    按照所述数据库中所述数据表参数相应的数据表的表结构生成建表语句；
    获取与所述数据同步请求指定的数据同步方式匹配的脚本模板；
    采用所述数据表参数替换所述脚步模板中相应的模板参数生成目标脚本；及
    通过所述目标脚本，将所述数据同步请求指定的数据同步至根据所述建表语句建立的同步表中。
  2. 根据权利要求1所述的方法，其特征在于，所述获取与所述数据同步请求指定的数据同步方式匹配的脚本模板之前，所述方法还包括：
    检测所述数据表中的参数字段及所述参数字段所对应的字段类型；
    当检测到所述参数字段和/或所述字段类型发生变化时，将所述数据表相应的数据表标识发送至管理员标识所对应的终端；及
    当未检测到所述参数字段和/或所述字段类型发生变化时，执行所述获取与所述数据同步请求指定的数据同步方式匹配的脚本模板的步骤。
  3. 根据权利要求1所述的方法，其特征在于，还包括：
    确定与预设的业务量评估指标相应的评估方式，并确定所述同步表中与预设的业务量评估指标相应的参数字段；
    根据确定的所述评估方式和确定的所述参数字段，按业务类型评估所述预设的业务量评估指标对应的评估值；及
    根据按业务类型评估的所述评估值生成业务量报表。
  4. 根据权利要求3所述的方法，其特征在于，所述根据按业务类型评估的所述评估值生成业务量报表，包括：
    当预设的业务量评估指标的数量多于一个时，将各所述预设的业务量评估指标对应的、且按业务类型评估的所述评估值作为统计列表的项目值，按业务类型排列生成各所述预设的业务量评估指标相应的统计列表；
    根据各所述业务量评估指标之间的从属关系生成指标目录树；所述指标目录树包括分级排列的业务量评估指标；及
    将各所述业务量评估指标相应的统计列表，关联至所述目录树中相应的业务量评估指标，生成业务量报表。
  5. 根据权利要求3所述的方法，其特征在于，还包括：
    确定所述业务量报表中的业务量评估指标所属的业务类型；
    获取与所述业务类型关联的用户标识；及
    根据所述用户标识推送所述业务量报表。
  6. 一种数据处理装置，包括：
    第一获取模块，用于获取携带数据库标识和数据表参数的数据同步请求；
    调用模块，用于调用所述数据库标识关联的接口，连接所述数据库标识对应的数据库；
    第一生成模块，用于按照所述数据库中所述数据表参数相应的数据表的表结构生成建表语句；
    第二获取模块，用于获取与所述数据同步请求指定的数据同步方式匹配的脚本模板；
    第二生成模块，用于采用所述数据表参数替换所述脚步模板中相应的模板参数生成目标脚本；及
    同步模块，用于通过所述目标脚本，将所述数据同步请求指定的数据同步至根据所述建表语句建立的同步表中。
  7. 根据权利要求6所述的装置，其特征在于，还包括：
    检测模块，用于检测所述数据表中的参数字段及所述参数字段所对应的字段类型；当检测到所述参数字段和/或所述字段类型发生变化时，将所述数据表相应的数据表标识发送至管理员标识所对应的终端；及当未检测到所述参数字段和/或所述字段类型发生变化时，执行所述获取与所述数据同步请求指定的数据同步方式匹配的脚本模板的步骤。
  8. 根据权利要求6所述的装置，其特征在于，还包括：
    评估模块，用于确定与预设的业务量评估指标相应的评估方式，并确定所述同步表中与预设的业务量评估指标相应的参数字段；根据确定的所述评估方式和确定的所述参数字段，按业务类型评估所述预设的业务量评估指标对应的评估值；及根据按业务类型评估的所述评估值生成业务量报表。
  9. 根据权利要求8所述的装置，其特征在于，所述评估模块还用于当预设的业务量评估指标的数量多于一个时，将各所述预设的业务量评估指标对应的、且按业务类型评估 的所述评估值作为统计列表的项目值，按业务类型排列生成各所述预设的业务量评估指标相应的统计列表；根据各所述业务量评估指标之间的从属关系生成指标目录树；所述指标目录树包括分级排列的业务量评估指标；及将各所述业务量评估指标相应的统计列表，关联至所述目录树中相应的业务量评估指标，生成业务量报表。
  10. 根据权利要求8所述的装置，其特征在于，所述评估模块还用于确定业务量报表中的业务量评估指标所属的业务类型；获取与业务类型关联的用户标识；及根据用户标识推送业务量报表。
  11. 一个或多个存储有计算机可读指令的非易失性计算机可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行以下步骤：
    获取携带数据库标识和数据表参数的数据同步请求；
    调用所述数据库标识关联的接口，连接所述数据库标识对应的数据库；
    按照所述数据库中所述数据表参数相应的数据表的表结构生成建表语句；
    获取与所述数据同步请求指定的数据同步方式匹配的脚本模板；
    采用所述数据表参数替换所述脚步模板中相应的模板参数生成目标脚本；及
    通过所述目标脚本，将所述数据同步请求指定的数据同步至根据所述建表语句建立的同步表中。
  12. 根据权利要求11所述的存储介质，其特征在于，所述计算机可读指令被所述处理器执行时还执行以下步骤：
    检测所述数据表中的参数字段及所述参数字段所对应的字段类型；
    当检测到所述参数字段和/或所述字段类型发生变化时，将所述数据表相应的数据表标识发送至管理员标识所对应的终端；及
    当未检测到所述参数字段和/或所述字段类型发生变化时，执行所述获取与所述数据同步请求指定的数据同步方式匹配的脚本模板的步骤。
  13. 根据权利要求11所述的存储介质，其特征在于，所述计算机可读指令被所述处理器执行时还执行以下步骤：
    确定与预设的业务量评估指标相应的评估方式，并确定所述同步表中与预设的业务量评估指标相应的参数字段；
    根据确定的所述评估方式和确定的所述参数字段，按业务类型评估所述预设的业务量评估指标对应的评估值；及
    根据按业务类型评估的所述评估值生成业务量报表。
  14. 根据权利要求13所述的存储介质，其特征在于，所述根据按业务类型评估的所述评估值生成业务量报表，包括：
    当预设的业务量评估指标的数量多于一个时，将各所述预设的业务量评估指标对应的、且按业务类型评估的所述评估值作为统计列表的项目值，按业务类型排列生成各所述预设的业务量评估指标相应的统计列表；
    根据各所述业务量评估指标之间的从属关系生成指标目录树；所述指标目录树包括分级排列的业务量评估指标；及
    将各所述业务量评估指标相应的统计列表，关联至所述目录树中相应的业务量评估指标，生成业务量报表。
  15. 根据权利要求13所述的存储介质，其特征在于，所述计算机可读指令被所述处理器执行时还执行以下步骤：
    确定所述业务量报表中的业务量评估指标所属的业务类型；
    获取与所述业务类型关联的用户标识；及
    根据所述用户标识推送所述业务量报表。
  16. 一种计算机设备，包括存储器及一个或多个处理器，所述存储器中储存有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，使得所述一个或多个处理器执行以下步骤：
    获取携带数据库标识和数据表参数的数据同步请求；
    调用所述数据库标识关联的接口，连接所述数据库标识对应的数据库；
    按照所述数据库中所述数据表参数相应的数据表的表结构生成建表语句；
    获取与所述数据同步请求指定的数据同步方式匹配的脚本模板；
    采用所述数据表参数替换所述脚步模板中相应的模板参数生成目标脚本；及
    通过所述目标脚本，将所述数据同步请求指定的数据同步至根据所述建表语句建立的同步表中。
  17. 根据权利要求16所述的计算机设备，其特征在于，所述计算机可读指令被所述处理器执行时还执行以下步骤：
    检测所述数据表中的参数字段及所述参数字段所对应的字段类型；
    当检测到所述参数字段和/或所述字段类型发生变化时，将所述数据表相应的数据表 标识发送至管理员标识所对应的终端；及
    当未检测到所述参数字段和/或所述字段类型发生变化时，执行所述获取与所述数据同步请求指定的数据同步方式匹配的脚本模板的步骤。
  18. 根据权利要求16所述的计算机设备，其特征在于，所述计算机可读指令被所述处理器执行时还执行以下步骤：
    确定与预设的业务量评估指标相应的评估方式，并确定所述同步表中与预设的业务量评估指标相应的参数字段；
    根据确定的所述评估方式和确定的所述参数字段，按业务类型评估所述预设的业务量评估指标对应的评估值；及
    根据按业务类型评估的所述评估值生成业务量报表。
  19. 根据权利要求18所述的计算机设备，其特征在于，所述根据按业务类型评估的所述评估值生成业务量报表，包括：
    当预设的业务量评估指标的数量多于一个时，将各所述预设的业务量评估指标对应的、且按业务类型评估的所述评估值作为统计列表的项目值，按业务类型排列生成各所述预设的业务量评估指标相应的统计列表；
    根据各所述业务量评估指标之间的从属关系生成指标目录树；所述指标目录树包括分级排列的业务量评估指标；及
    将各所述业务量评估指标相应的统计列表，关联至所述目录树中相应的业务量评估指标，生成业务量报表。
  20. 根据权利要求18所述的计算机设备，其特征在于，所述计算机可读指令被所述处理器执行时还执行以下步骤：
    确定所述业务量报表中的业务量评估指标所属的业务类型；
    获取与所述业务类型关联的用户标识；及
    根据所述用户标识推送所述业务量报表。
PCT/CN2018/086130 2017-07-25 2018-05-09 数据处理方法、装置、存储介质和计算机设备 WO2019019766A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710613838.1A CN107908631B (zh) 2017-07-25 2017-07-25 数据处理方法、装置、存储介质和计算机设备
CN201710613838.1 2017-07-25

Publications (1)

Publication Number Publication Date
WO2019019766A1 true WO2019019766A1 (zh) 2019-01-31

Family

ID=61839985

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/086130 WO2019019766A1 (zh) 2017-07-25 2018-05-09 数据处理方法、装置、存储介质和计算机设备

Country Status (2)

Country Link
CN (1) CN107908631B (zh)
WO (1) WO2019019766A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866012A (zh) * 2019-11-11 2020-03-06 北京知道创宇信息技术股份有限公司 表结构管理方法、装置、服务器及可读存储介质
CN114025027A (zh) * 2021-11-02 2022-02-08 浙江三维万易联科技有限公司 数据传输脚本的运行方法、装置、存储介质和电子装置

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107908631B (zh) * 2017-07-25 2021-04-20 平安科技（深圳）有限公司 数据处理方法、装置、存储介质和计算机设备
CN110610371A (zh) * 2018-06-14 2019-12-24 北京京东尚科信息技术有限公司 潜在用户分析方法、系统和计算机可读存储介质
CN108804697A (zh) * 2018-06-15 2018-11-13 中国平安人寿保险股份有限公司 基于Spark的数据同步方法、装置、计算机设备和存储介质
CN109359157A (zh) * 2018-08-21 2019-02-19 中国平安人寿保险股份有限公司 数据同步生成方法、装置、计算机设备以及存储介质
CN109271447B (zh) * 2018-09-04 2024-07-30 中国平安人寿保险股份有限公司 数据同步方法、装置、计算机设备和存储介质
CN109445768B (zh) * 2018-09-28 2022-02-11 平安科技（深圳）有限公司 数据库脚本生成方法、装置、计算机设备及存储介质
CN109359160B (zh) * 2018-10-12 2024-08-02 平安科技（深圳）有限公司 数据同步方法、装置、计算机设备及存储介质
CN109542901B (zh) * 2018-11-12 2020-09-18 北京懿医云科技有限公司 数据处理方法、装置、计算机可读存储介质及电子设备
CN109871413A (zh) * 2019-01-03 2019-06-11 深圳壹账通智能科技有限公司 一种基于kettle的供数方法、系统、终端设备及介质
CN109783509A (zh) * 2019-01-04 2019-05-21 中国银行股份有限公司 Sql脚本生成方法及装置
CN110109897A (zh) * 2019-04-15 2019-08-09 深圳壹账通智能科技有限公司 数据库脚本生成方法、装置、计算机设备和存储介质
CN110245181A (zh) * 2019-04-25 2019-09-17 深圳壹账通智能科技有限公司 数据同步的同步方法、装置及计算机存储介质
CN110209732A (zh) * 2019-04-25 2019-09-06 深圳壹账通智能科技有限公司 关系型数据库到Hadoop数据库的数据同步方法和装置
CN110489483B (zh) * 2019-07-08 2024-02-06 中国平安人寿保险股份有限公司 数据同步方法、装置、计算机设备以及存储介质
CN110716989A (zh) * 2019-08-27 2020-01-21 苏宁云计算有限公司 维度数据处理方法、装置、计算机设备和存储介质
CN112711630B (zh) * 2019-10-24 2024-05-17 阿里巴巴集团控股有限公司 数据同步方法、分布式缓存节点及系统、可读存储介质
CN110941630A (zh) * 2019-10-25 2020-03-31 泰康保险集团股份有限公司 一种数据库运维方法、装置及系统
CN111143352B (zh) * 2019-11-28 2024-04-12 泰康保险集团股份有限公司 一种数据处理的方法及装置、电子设备、存储介质
CN111367883A (zh) * 2020-02-25 2020-07-03 平安科技（深圳）有限公司 数据同步方法、装置、设备及计算机可读存储介质
CN111381830A (zh) * 2020-03-10 2020-07-07 腾讯科技（深圳）有限公司 程序中的数据请求处理方法、装置和计算机设备
CN111475505B (zh) * 2020-03-27 2023-05-26 平安科技（深圳）有限公司 一种数据采集的方法及设备
CN113468215A (zh) * 2020-03-30 2021-10-01 阿里巴巴集团控股有限公司 数据处理方法、装置、电子设备及计算机存储介质
CN111552746B (zh) * 2020-04-30 2023-04-28 北京思特奇信息技术股份有限公司 数据同步方法、装置、电子设备及存储介质
CN112287021B (zh) * 2020-07-13 2024-04-05 上海柯林布瑞信息技术有限公司 数据实时同步参数的生成、同步方法及装置、存储介质、终端
CN112612773A (zh) * 2020-12-15 2021-04-06 平安消费金融有限公司 数据库同步测试方法、装置、计算机设备及存储介质
CN112527904B (zh) * 2020-12-17 2024-08-02 平安科技（深圳）有限公司 关联脚本自动同步方法、装置、计算机设备及存储介质
CN113591448B (zh) * 2021-08-03 2024-06-18 京东科技控股股份有限公司 报表生成方法、装置及存储介质
CN113642301A (zh) * 2021-08-09 2021-11-12 京东科技控股股份有限公司 报表的生成方法、装置及系统
CN113568715A (zh) * 2021-09-28 2021-10-29 武汉四通信息服务有限公司 数据处理方法、装置及电子设备
CN114661713B (zh) * 2022-03-15 2024-03-19 平安科技（深圳）有限公司 数据同步方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103135976A (zh) * 2011-11-30 2013-06-05 阿里巴巴集团控股有限公司 代码自动生成方法及装置
US20160127569A1 (en) * 2014-11-01 2016-05-05 Somos, Inc. Real time, machine-based routing table creation and enhancement for toll-free telecommunications
CN105787077A (zh) * 2016-03-02 2016-07-20 百度在线网络技术（北京）有限公司 数据同步方法和装置
CN106528070A (zh) * 2015-09-15 2017-03-22 阿里巴巴集团控股有限公司 一种数据表生成方法及设备
CN107908631A (zh) * 2017-07-25 2018-04-13 平安科技（深圳）有限公司 数据处理方法、装置、存储介质和计算机设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8560610B2 (en) * 2010-06-16 2013-10-15 Brighttag Inc. Unified collection and distribution of data
CN106021211A (zh) * 2016-05-18 2016-10-12 山东达创网络科技股份有限公司 一种智能表单系统及其生成方法
CN106970934A (zh) * 2017-01-16 2017-07-21 平安银行股份有限公司 交易处理控制方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103135976A (zh) * 2011-11-30 2013-06-05 阿里巴巴集团控股有限公司 代码自动生成方法及装置
US20160127569A1 (en) * 2014-11-01 2016-05-05 Somos, Inc. Real time, machine-based routing table creation and enhancement for toll-free telecommunications
CN106528070A (zh) * 2015-09-15 2017-03-22 阿里巴巴集团控股有限公司 一种数据表生成方法及设备
CN105787077A (zh) * 2016-03-02 2016-07-20 百度在线网络技术（北京）有限公司 数据同步方法和装置
CN107908631A (zh) * 2017-07-25 2018-04-13 平安科技（深圳）有限公司 数据处理方法、装置、存储介质和计算机设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866012A (zh) * 2019-11-11 2020-03-06 北京知道创宇信息技术股份有限公司 表结构管理方法、装置、服务器及可读存储介质
CN114025027A (zh) * 2021-11-02 2022-02-08 浙江三维万易联科技有限公司 数据传输脚本的运行方法、装置、存储介质和电子装置
CN114025027B (zh) * 2021-11-02 2023-10-03 三维通信股份有限公司 数据传输脚本的运行方法、装置、存储介质和电子装置

Also Published As

Publication number Publication date
CN107908631B (zh) 2021-04-20
CN107908631A (zh) 2018-04-13

Similar Documents

Publication Publication Date Title
WO2019019766A1 (zh) 数据处理方法、装置、存储介质和计算机设备
CN106815530B (zh) 数据存证方法、数据校验方法及装置
WO2020186786A1 (zh) 文件处理方法、装置、计算机设备和存储介质
TW202016761A (zh) 資料的處理方法、裝置及設備
CN110688598B (zh) 业务参数采集方法、装置、计算机设备和存储介质
CN111027295B (zh) 数据处理方法、装置、计算机设备和存储介质
CN112861496A (zh) 报表生成显示方法、装置、计算机设备和可读存储介质
CN111666205B (zh) 一种数据审计的方法、系统、计算机设备和存储介质
WO2019214080A1 (zh) 报批信息处理方法、装置、计算机设备和存储介质
WO2018188459A1 (zh) 确定推荐信息的方法及装置、信息推荐方法及装置
Kergl et al. On the endogenesis of Twitter's Spritzer and Gardenhose sample streams
WO2019041925A1 (zh) 工作流数据处理方法、装置、存储介质和计算机设备
US11113416B2 (en) Application privacy scanning systems and related methods
WO2019019767A1 (zh) 客户身份信息处理方法、装置、存储介质和计算机设备
CN111538754A (zh) 一种数据归集管理系统、方法、装置、设备和存储介质
CN113626438B (zh) 一种数据表管理的方法、装置、计算机设备及存储介质
CN110502549B (zh) 用户数据处理方法、装置、计算机设备和存储介质
CN116910820A (zh) 数据报表处理方法、装置、计算机设备以及存储介质
CN112100534B (zh) 页面分享中的信息处理方法、装置、介质及电子设备
CN111209733B (zh) 文本记录处理方法及装置
CN110740046B (zh) 分析服务契约的方法和装置
CN111966506A (zh) 基于不同应用程序的内容分享方法和计算机设备
WO2020053635A1 (zh) 近场传输中的资源推荐方法及其装置
US11709994B1 (en) Contextual answer generation in spreadsheets
CN115221338B (zh) 知识图谱构建方法及其系统、计算机设备

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 06/08/2020)

122 Ep: pct application non-entry in european phase

Ref document number: 18839100

Country of ref document: EP

Kind code of ref document: A1