WO2019218976A1 - 数据处理方法、装置和计算机可读存储介质 - Google Patents

数据处理方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
WO2019218976A1
WO2019218976A1 PCT/CN2019/086691 CN2019086691W WO2019218976A1 WO 2019218976 A1 WO2019218976 A1 WO 2019218976A1 CN 2019086691 W CN2019086691 W CN 2019086691W WO 2019218976 A1 WO2019218976 A1 WO 2019218976A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
target
service
data table
information
Prior art date
Application number
PCT/CN2019/086691
Other languages
English (en)
French (fr)
Inventor
卢翔
徐建江
高延涛
聂文彬
黄琴
杨宇
张强
范磊
左超
Original Assignee
网联清算有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 网联清算有限公司 filed Critical 网联清算有限公司
Priority to EP19804260.8A priority Critical patent/EP3796182A4/en
Priority to JP2020558513A priority patent/JP7133647B2/ja
Priority to US17/051,986 priority patent/US11934371B2/en
Publication of WO2019218976A1 publication Critical patent/WO2019218976A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2272—Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/235—Update request formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity

Definitions

  • the present disclosure relates to the field of data processing, and in particular, to a data processing method, apparatus, and computer readable storage medium.
  • business data such as the source, destination, transaction purpose, and transaction amount of each transaction needs to be recorded, so that the business data has the characteristics of high real-time performance and large data volume, which brings difficulties in storage of business data.
  • the generated business data is usually stored in a unified data table, so that when the business data is more and more, the read/write response speed of the data table for storing the business data is reduced. Affects storage performance. Therefore, how to improve the storage efficiency of business data and ensure the read and write response speed of data tables has become an urgent problem to be solved.
  • the purpose of the present disclosure is to solve at least one of the above technical problems to some extent.
  • a first object of the present disclosure is to propose a data processing method.
  • the method improves the read/write response speed of the data table while improving the read/write response speed of the data table, and improves the data storage efficiency.
  • a second object of the present disclosure is to propose a data processing apparatus.
  • a third object of the present disclosure is to propose a non-transitory computer readable storage medium.
  • the data processing method of the first aspect of the present disclosure includes: generating a service serial number for the target service according to a preset naming rule; acquiring service data of the target service; and according to the service serial number, Obtaining a target data table from a plurality of pre-configured data tables; storing the business data into the target data table.
  • the service serial number for the target service may be generated according to the preset naming rule, and the service data of the target service is obtained, and the target is obtained from the pre-configured multiple data tables according to the service serial number.
  • the data table and the business data are stored in the target data table.
  • the preset naming rules may be installed to generate a service serial number of the target service, and further According to the service serial number, the target data table can be found from the plurality of data tables, thereby storing the business data of the target service into the target data table, so that in the design of the database storage, the space is exchanged for efficiency. Breaking up the storage into a large number of libraries and tables, while ensuring the read and write response speed of the data table, improving the concurrency of writing or reading (such as multiple library tables providing read and write services at the same time), and improving Data storage efficiency.
  • the data processing apparatus of the second aspect of the present disclosure includes: a generating module, configured to generate a service serial number for a target service according to a preset naming rule; and a first acquiring module, configured to acquire the target a service data of the service; a second obtaining module, configured to obtain a target data table from a plurality of pre-configured data tables according to the service serial number; and a storage module, configured to store the service data to the target data table in.
  • the plurality of data tables are pre-configured, and the table name is named for the plurality of data tables according to a preset naming rule.
  • the preset naming rules may be installed. Generating a service serial number of the target service, and then finding a target data table from the plurality of data tables according to the service serial number, thereby storing the business data of the target service into the target data table, so that the database is stored in the database
  • space is exchanged for efficiency, and the storage is broken into a large number of libraries and tables. While ensuring the read and write response speed of the data table, the degree of concurrency of writing or reading is improved (for example, multiple library tables are provided simultaneously). Read and write services, etc.) and improve data storage efficiency.
  • a non-transitory computer readable storage medium according to a third aspect of the present disclosure, wherein a computer program is stored thereon, and when the program is executed by the processor, the data described in the first aspect of the present disclosure is implemented.
  • FIG. 1 is a flow chart of a data processing method in accordance with one embodiment of the present disclosure
  • FIG. 2 is a flowchart of a data processing method according to another embodiment of the present disclosure.
  • FIG. 3 is a schematic structural diagram of a data processing apparatus according to an embodiment of the present disclosure.
  • FIG. 4 is a schematic structural diagram of a data processing apparatus according to an embodiment of the present disclosure.
  • FIG. 5 is a schematic structural diagram of a data processing apparatus according to another embodiment of the present disclosure.
  • FIG. 1 is a flow chart of a data processing method in accordance with one embodiment of the present disclosure. It should be noted that the data processing method of the embodiment of the present disclosure can be applied to the data processing apparatus of the embodiment of the present disclosure. As an example, the data processing method of an embodiment of the present disclosure is applicable to an online banking transaction system.
  • the data processing method may include:
  • S110 Generate a service serial number for the target service according to a preset naming rule.
  • the service serial number for the target service may be generated according to a preset naming rule.
  • the service serial number can be understood as the unique identifier of the target business.
  • the service pipeline number may be composed of two parts, one part is a randomly generated random number, and the other part is a group including library index information, date information, and table index information. digital.
  • the above random number may further include a number indicating the uniqueness of the service, and a number indicating which service type the service belongs to.
  • the service serial number is composed of 14 digits.
  • the preset naming rule may be: randomly generating an 8-bit random number, where the random number needs to include the uniqueness of the current service.
  • the number, and the number used to indicate which service type the service belongs to, for example, the generated random number is "01234567", where "0" indicates which service type the service belongs to, and "1234567" indicates the current service.
  • a unique number a unique number; and generate another set of numbers containing library index information, date information, and table index information, for example, a set of numbers "052301" can be generated, where "05” represents library index information, ie, 05th
  • "23” indicates the date information, that is, the 23rd of each month
  • "01” indicates the table index information, that is, the 01th data table of the 23rd.
  • the service serial number of the target service generated according to the above preset naming rule should be “01234567052301”.
  • the number of the numbers included in the service serial number is not specifically limited, and may be defined according to actual needs.
  • the service data of the target service may be obtained.
  • the transaction data of the transaction can be obtained, for example, the source, destination, transaction purpose, transaction amount, and the like of the transaction.
  • N data tables may be pre-configured, and the N data tables may be respectively allocated to M databases, and each database may be divided into corresponding numbers according to the number of days per month.
  • the date information, the library index information of the target database, and the table index information of the target data table may be extracted from the service serial number according to the preset naming rule, and according to the library.
  • the index information determines a corresponding target database, and obtains a target data table from a plurality of data tables in the target database according to the date information and the table index information.
  • the number indicating the date, the number indicating the library index information, and the representation may be extracted from the service serial number according to the preset naming rule.
  • the number of the table index information, after which the corresponding target database can be found according to the number used to represent the library index information, and the number used to represent the date is used to find out from the target database for storing the date.
  • the data table, and the target data table is found from the data table under the date according to the number used to represent the table index information.
  • the service serial number "01234567052301" is taken as an example, and the preset naming rule can be extracted from the service serial number: a number "23" for indicating the date, and a number "05” for indicating the library index information. And the number "01" used to represent the table index information. Then, the corresponding target database (ie, the 05th library) can be found according to the number “05” used to represent the library index information, and the number “23” used to represent the date is used to find out from the target database. Used to store the data table under the date (ie, the 23rd of each month), and find the target data table (ie, monthly) from the data table under the date according to the number "01" used to represent the table index information. The 01th data sheet of No. 23).
  • S140 Store the business data into the target data table.
  • the service data may be stored in the target data table.
  • the table name information of each pre-configured data table includes: library index information of the database, date information, and table index information of the data table. That is to say, in the table name, the database index, the date, and the table index of the database may be included, which is used to distinguish which database in which each service falls, and the data table of the day in the database, and the service data table belongs to the data table. The day.
  • the table name of a data table is "trans_05.table_23_01”
  • the table name can represent: the 05th database of trans, the data table of the 23rd of each month, and the 01th data table of the day It can be understood that the business data corresponding to the service serial number such as "XXXXXXXX052301" is stored in the data table whose table name is "trans_05.table_23_01".
  • the data processing method may further include:
  • an operation request of the user for the data in the data table to be processed may also be received.
  • the operation request may include, but is not limited to, a deletion request, a replacement request, a modification request, an increase request, and the like. For example, when a user wants to clear a data table, all the business data in the data table is deleted.
  • the table name information of the proxy data table may be obtained, and the number used to represent the date is obtained from the table name information, and the current is obtained.
  • Date ie the day.
  • the date can be understood as the number of each month, that is, the unit of the date is day.
  • the date information in the table name information is "23" and the current date is 23, it can be determined that the date information in the table name information is consistent with the current date, and since the data table of the day is providing read and write services, At this time, the data table of the day cannot be cleared, the operation of the user can be ignored, and the error information can be fed back to the user to remind the user that the current data table to be processed is being used and cannot be cleared.
  • the data in the data table to be processed may be correspondingly operated according to the operation request. That is to say, when the date information in the judgment table name information is inconsistent with the current date, it can be understood that the to-be-processed data table does not currently provide a read/write service, and is in an offline offline state. At this time, the data table can be processed according to the operation request. The data in the operation is performed correspondingly, that is, any operation and maintenance operation can be performed on the data table to be processed. Thus, the purpose of the offline operation and maintenance of the data table can be achieved.
  • the service serial number for the target service may be generated according to the preset naming rule, and the service data of the target service is obtained, and the target is obtained from the pre-configured multiple data tables according to the service serial number.
  • the data table and the business data are stored in the target data table.
  • the preset naming rules may be installed to generate a service serial number of the target service, and further According to the service serial number, the target data table can be found from the plurality of data tables, thereby storing the business data of the target service into the target data table, so that in the design of the database storage, the space is exchanged for efficiency. Breaking up the storage into a large number of libraries and tables, while ensuring the read and write response speed of the data table, improving the concurrency of writing or reading (such as multiple library tables providing read and write services at the same time), and improving Data storage efficiency.
  • FIG. 3 is a schematic structural diagram of a data processing apparatus according to an embodiment of the present disclosure.
  • the data processing apparatus may include: a generating module 310, a first obtaining module 320, a second obtaining module 330, and a storage module 340.
  • the generating module 310 is configured to generate a service serial number for the target service according to a preset naming rule.
  • the first obtaining module 320 is configured to acquire service data of a target service.
  • the second obtaining module 330 is configured to obtain a target data table from a plurality of pre-configured data tables according to the service serial number.
  • the second obtaining module 330 may include: an extracting unit 331, a determining unit 332, and an obtaining unit 333.
  • the extracting unit 331 is configured to extract date information, library index information of the target database, and table index information of the target data table from the service serial number according to the preset naming rule.
  • the determining unit 332 is configured to determine a corresponding target database according to the library index information.
  • the obtaining unit 333 is configured to obtain the target data table from the plurality of data tables in the target database according to the date information and the table index information.
  • the storage module 340 is configured to store the business data into the target data table.
  • the table name information of each pre-configured data table includes: library index information of the database, date information, and table index information of the data table. That is to say, in the table name, the database index, the date, and the table index of the database may be included, which is used to distinguish which database in which each service falls, and the data table of the day in the database, and the service data table belongs to the data table. The day.
  • the table name of a data table is "trans_05.table_23_01”
  • the table name can represent: the 05th database of trans, the data table of the 23rd of each month, and the 01th data table of the day It can be understood that the business data corresponding to the service serial number such as "XXXXXXXX052301" is stored in the data table whose table name is "trans_05.table_23_01".
  • the data processing apparatus may further include: a receiving module 350, a third obtaining module 360, a determining module 370, and an operating module 380.
  • the receiving module 350 is configured to receive an operation request for data in the data table to be processed.
  • the third obtaining module 360 is configured to obtain table name information of the data table to be processed, and obtain a current date.
  • the determining module 370 is configured to determine whether the date information in the table name information is consistent with the current date.
  • the operation module 380 is configured to perform corresponding operations on the data in the data table to be processed according to the operation request when the date information in the table name information is inconsistent with the current date.
  • the purpose of the offline operation and maintenance of the data table can be achieved.
  • the plurality of data tables are pre-configured, and the table name is named for the plurality of data tables according to a preset naming rule.
  • the preset naming rules may be installed. Generating a service serial number of the target service, and then finding a target data table from the plurality of data tables according to the service serial number, thereby storing the business data of the target service into the target data table, so that the database is stored in the database
  • space is exchanged for efficiency, and the storage is broken into a large number of libraries and tables. While ensuring the read and write response speed of the data table, the degree of concurrency of writing or reading is improved (for example, multiple library tables are provided simultaneously). Read and write services, etc.) and improve data storage efficiency.
  • the present disclosure also proposes a non-transitory computer readable storage medium having stored thereon a computer program that, when executed by a processor, implements data processing as described in the first aspect of the present disclosure. method.
  • a "computer-readable medium” can be any apparatus that can contain, store, communicate, propagate, or transport a program for use in an instruction execution system, apparatus, or device, or in conjunction with the instruction execution system, apparatus, or device.
  • computer readable media include the following: electrical connections (electronic devices) having one or more wires, portable computer disk cartridges (magnetic devices), random access memory (RAM), Read only memory (ROM), erasable editable read only memory (EPROM or flash memory), fiber optic devices, and portable compact disk read only memory (CDROM).
  • the computer readable medium may even be a paper or other suitable medium on which the program can be printed, as it may be optically scanned, for example by paper or other medium, followed by editing, interpretation or, if appropriate, other suitable The method is processed to obtain the program electronically and then stored in computer memory.
  • portions of the present disclosure can be implemented in hardware, software, firmware, or a combination thereof.
  • multiple steps or methods may be implemented in software or firmware stored in a memory and executed by a suitable instruction execution system.
  • a suitable instruction execution system For example, if implemented in hardware, as in another embodiment, it can be implemented by any one or combination of the following techniques well known in the art: having logic gates for implementing logic functions on data signals. Discrete logic circuits, application specific integrated circuits with suitable combinational logic gates, programmable gate arrays (PGAs), field programmable gate arrays (FPGAs), etc.
  • each functional unit in various embodiments of the present disclosure may be integrated into one processing module, or each unit may exist physically separately, or two or more units may be integrated into one module.
  • the above integrated modules can be implemented in the form of hardware or in the form of software functional modules.
  • the integrated modules, if implemented in the form of software functional modules and sold or used as stand-alone products, may also be stored in a computer readable storage medium.
  • the above mentioned storage medium may be a read only memory, a magnetic disk or an optical disk or the like. While the embodiments of the present disclosure have been shown and described above, it is understood that the foregoing embodiments are illustrative and are not to be construed as limiting the scope of the disclosure The embodiments are subject to variations, modifications, substitutions and variations.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开公开了一种数据处理方法、装置以及存储介质。其中方法包括：按照预设命名规则生成针对目标业务的业务流水号；获取目标业务的业务数据；根据业务流水号，从预先配置的多张数据表中获取目标数据表；将业务数据存储至目标数据表中。本公开实施例在数据库存储的设计上，以空间换取效率，将存储打散成很多个库和表，在保证数据表的读写响应速度的同时，提高了写入或读取的并发度(如多个库表同时提供读写服务等)，并提高了数据存储效率。

Description

数据处理方法、装置和计算机可读存储介质
相关申请的交叉引用
本公开要求网联清算有限公司于2018年5月14日提交的、发明名称为“数据处理方法、装置和计算机可读存储介质”的、中国专利申请号“201810455294.5”的优先权。
技术领域
本公开涉及数据处理领域，尤其涉及一种数据处理方法、装置和计算机可读存储介质。
背景技术
随着信息技术的不断发展，业务种类越来越多，业务数据量飞速增长。以网上银行交易为例，由于需要记录每个交易的来源、去向、交易用途、交易金额等业务数据，使得业务数据具有实时性高、数据量大的特点，给业务数据的存储带来困难。
目前，在存储业务数据时，通常是将产生的业务数据存储至统一的数据表中，这样，当业务数据越来越多时，会导致用于存储业务数据的数据表的读写响应速度降低，影响存储性能。因此，如何提高业务数据的存储效率、保证数据表的读写响应速度，已经成为亟待解决的问题。
发明内容
本公开的目的旨在至少在一定程度上解决上述的技术问题之一。
为此，本公开的第一个目的在于提出一种数据处理方法。该方法在保证数据表的读写响应速度的同时，提高了写入或读取的并发度，并提高了数据存储效率。
本公开的第二个目的在于提出一种数据处理装置。
本公开的第三个目的在于提出一种非临时性计算机可读存储介质。
为达到上述目的，本公开第一方面实施例提出的数据处理方法，包括：按照预设命名规则生成针对目标业务的业务流水号；获取所述目标业务的业务数据；根据所述业务流水号，从预先配置的多张数据表中获取目标数据表；将所述业务数据存储至所述目标数据表中。
根据本公开实施例的数据处理方法，可按照预设命名规则生成针对目标业务的业务流水 号，并获取目标业务的业务数据，并根据业务流水号，从预先配置的多张数据表中获取目标数据表，以及将业务数据存储至目标数据表中。即通过预先配置多张数据表，并按照预设命名规则对该多张数据表进行表名称命名，这样，在实际应用中，可安装所述预设命名规则生成目标业务的业务流水号，进而根据该业务流水号即可从该多张数据表中找出目标数据表，从而将该目标业务的业务数据存储到该目标数据表中，这样，在数据库存储的设计上，以空间换取效率，将存储打散成很多个库和表，在保证数据表的读写响应速度的同时，提高了写入或读取的并发度(如多个库表同时提供读写服务等)，并提高了数据存储效率。
为达到上述目的，本公开第二方面实施例提出的数据处理装置，包括：生成模块，用于按照预设命名规则生成针对目标业务的业务流水号；第一获取模块，用于获取所述目标业务的业务数据；第二获取模块，用于根据所述业务流水号，从预先配置的多张数据表中获取目标数据表；存储模块，用于将所述业务数据存储至所述目标数据表中。
根据本公开实施例的数据处理装置，通过预先配置多张数据表，并按照预设命名规则对该多张数据表进行表名称命名，这样，在实际应用中，可安装所述预设命名规则生成目标业务的业务流水号，进而根据该业务流水号即可从该多张数据表中找出目标数据表，从而将该目标业务的业务数据存储到该目标数据表中，这样，在数据库存储的设计上，以空间换取效率，将存储打散成很多个库和表，在保证数据表的读写响应速度的同时，提高了写入或读取的并发度(如多个库表同时提供读写服务等)，并提高了数据存储效率。
为达到上述目的，本公开第三方面实施例提出的非临时性计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开第一方面实施例所述的数据处理方法。
本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本公开一个实施例的数据处理方法的流程图；
图2是根据本公开另一个实施例的数据处理方法的流程图；
图3是根据本公开一个实施例的数据处理装置的结构示意图；
图4是根据本公开一个具体实施例的数据处理装置的结构示意图；
图5是根据本公开另一个具体实施例的数据处理装置的结构示意图。
具体实施方式
下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
下面参考附图描述本公开实施例的数据处理方法、装置和计算机可读存储介质。
图1是根据本公开一个实施例的数据处理方法的流程图。需要说明的是，本公开实施例的数据处理方法可应用于本公开实施例的数据处理装置。作为一种示例，本公开实施例的数据处理方法适用于网上银行交易系统。
如图1所示，该数据处理方法可以包括：
S110，按照预设命名规则生成针对目标业务的业务流水号。
可以理解，随着网上银行交易系统的运行，随之会产生针对各种业务的业务数据，本公开实施例的数据处理方法可针对该各种业务的业务数据进行处理。业务的种类不同，则该类业务所产生的业务数据的存储位置(即所对应的数据库)也会不同。因此，为了方便描述，下面以目标业务为例将对本公开的实施例进行描述。
可选地，在监测到用户使用该目标业务，并产生该目标业务的业务数据时，可按照预设命名规则生成针对该目标业务的业务流水号。其中，该业务流水号可理解是该目标业务的唯一标识。
需要说明的是，在本公开的一个实施例中，上述业务流水号可由两部分组成，一部分是随机生成的随机数，另一部分是包含了库索引信息、日期信息和表索引信息等的一组数字。其中，上述随机数还可包括用于表示该业务的唯一性的数字、以及用以表示该业务属于哪种业务类型的数字。
作为一种示例，以业务流水号由14位数字组成为例，该预设命名规则可为：随机生成一个8位的随机数，其中，该随机数中需包含用于表示当前业务的唯一性的数字、以及用以表示该业务属于哪种业务类型的数字，例如，生成的随机数为“01234567”，其中，“0”表示表示该业务属于哪种业务类型，“1234567”表示当前业务的唯一性的数字；并生成另一组数字，该数字包含库索引信息、日期信息和表索引信息，例如，可生成一组数字“052301”，其中，“05”表示库索引信息，即第05个数据库，“23”表示日期信息，即每月的23号，“01”表示表索引信息，即23号中第01张数据表。这样，按照上述预设命名规则生成该目标业务 的业务流水号应为“01234567052301”。
需要说明的是，本公开实施例对上述业务流水号中所包含的数字个数不做具体限定，可以根据实际需要自行定义。
S120，获取目标业务的业务数据。
可选地，在监测到该目标业务完成时，可获取该目标业务的业务数据。例如，以网上银行交易为例，在监测到该交易完成结束时，可获取该交易的交易数据，例如，交易的来源、去向、交易用途、交易金额等。
S130，根据业务流水号，从预先配置的多张数据表中获取目标数据表。
需要说明的是，在本公开的实施例中，可预先配置N张数据表，该N张数据表可分别分配到M个数据库中，且每个数据库中可按照每个月的天数分成对应的份数，每份中可包含L张数据表，其中，N＝M*份数*L，N、M、L均为正整数。
可选地，在本公开的一个实施例中，可按照所述预设命名规则从该业务流水号中提取出日期信息、目标数据库的库索引信息和目标数据表的表索引信息，并根据库索引信息确定对应的目标数据库，并根据日期信息和表索引信息，从目标数据库中的多张数据表中获取目标数据表。
也就是说，在得到目标业务的业务流水号时，可按照所述预设命名规则从该业务流水号中提取出用以表示日期的数字、用以表示库索引信息的数字、和用以表示表索引信息的数字，之后，可根据该用以表示库索引信息的数字找出对应的目标数据库，并根据该用以表示日期的数字从该目标数据库中，找出用于存放该日期下的数据表，并根据该用以表示表索引信息的数字从该日期下的数据表中，找出目标数据表。
例如，以业务流水号“01234567052301”为例，按照所述预设命名规则可从该业务流水号中提取出：用以表示日期的数字“23”、用以表示库索引信息的数字“05”、和用以表示表索引信息的数字“01”。之后，可根据该用以表示库索引信息的数字“05”找出对应的目标数据库(即第05个库)，并根据该用以表示日期的数字“23”从该目标数据库中，找出用于存放该日期(即每月的23号)下的数据表，并根据该用以表示表索引信息的数字“01”从该日期下的数据表中，找出目标数据表(即每月23号的第01张数据表)。
S140，将业务数据存储至目标数据表中。
具体地，在得到该目标业务的业务数据待存储的位置(即找到目标数据表)之后，可将该业务数据存储到该目标数据表中。
可选地，在本公开的一个实施例中，每张预先配置的数据表的表名称信息包括：数据库 的库索引信息、日期信息和数据表的表索引信息。也就是说，在表名称中，可包含有数据库的库索引、日期、表索引，用以区分每个业务落在了哪个数据库、数据库中的哪一天的数据表，且该业务数据表属于该天的。例如，假设某个数据表的表名称为“trans_05.table_23_01”，该表名称可表示：trans的第05个数据库，每个月23号的数据表，而且是这一天中的第01张数据表，可以理解，例如“XXXXXXXX052301”这类的业务流水号对应的业务数据都会存储到该表名称为“trans_05.table_23_01”的数据表中。
在本公开的实施例中，如图2所示，该数据处理方法还可包括：
S210，接收针对待处理数据表中的数据的操作请求。
可选地，在对业务数据进行处理的过程中，还可接收用户针对待处理数据表中数据的操作请求。其中，在本公开的一个实施例中，该操作请求可包括但不限于删除请求、替换请求、修改请求、增加请求等。例如，当用户想对某个数据表进行清空操作，即对该数据表中的所有业务数据进行删除操作。
S220，获取待处理数据表的表名称信息，并获取当前日期。
可选地，在接收到用户针对待处理数据表中的数据的操作请求时，可获取该代理数据表的表名称信息，并从该表名称信息中获取用以表示日期的数字，并获取当前日期(即当天)。其中，在本公开的实施例中，所述日期可理解是每个月的几号，即该日期的单位是天。
S230，判断表名称信息中的日期信息与当前日期是否一致。
例如，该表名称信息中的日期信息为“23”，当前日期为23号，则可判定该表名称信息中的日期信息与当前日期一致，由于当天的数据表正在提供读写服务，因此，此时不能对当天的数据表进行清空操作，可忽略此次用户的操作，并可向用户反馈错误信息，以提醒用户当前该待处理数据表正在被使用，不能进行清空操作。
S240，若不一致，则根据操作请求对待处理数据表中的数据进行相应的操作。
可选地，当判断表名称信息中的日期信息与当前日期不一致时，可根据该操作请求对该待处理数据表中的数据进行相应的操作。也就是说，在判断表名称信息中的日期信息与当前日期不一致时，可理解该待处理数据表当前未提供读写服务，处于线下离线状态，此时，可根据操作请求对待处理数据表中的数据进行相应的操作，即可以对该待处理数据表进行任何运维操作。由此，达到数据表可以线下运维的目的。
根据本公开实施例的数据处理方法，可按照预设命名规则生成针对目标业务的业务流水号，并获取目标业务的业务数据，并根据业务流水号，从预先配置的多张数据表中获取目标数据表，以及将业务数据存储至目标数据表中。即通过预先配置多张数据表，并按照预设命 名规则对该多张数据表进行表名称命名，这样，在实际应用中，可安装所述预设命名规则生成目标业务的业务流水号，进而根据该业务流水号即可从该多张数据表中找出目标数据表，从而将该目标业务的业务数据存储到该目标数据表中，这样，在数据库存储的设计上，以空间换取效率，将存储打散成很多个库和表，在保证数据表的读写响应速度的同时，提高了写入或读取的并发度(如多个库表同时提供读写服务等)，并提高了数据存储效率。
与上述几种实施例提供的数据处理方法相对应，本公开的一种实施例还提供一种数据处理装置，由于本公开实施例提供的数据处理装置与上述几种实施例提供的数据处理方法相对应，因此在前述数据处理方法的实施方式也适用于本实施例提供的数据处理装置，在本实施例中不再详细描述。图3是根据本公开一个实施例的数据处理装置的结构示意图。如图3所示，该数据处理装置可以包括：生成模块310、第一获取模块320、第二获取模块330和存储模块340。
生成模块310可用于按照预设命名规则生成针对目标业务的业务流水号。
第一获取模块320用于获取目标业务的业务数据。
第二获取模块330用于根据业务流水号，从预先配置的多张数据表中获取目标数据表。作为一种示例，如图4所示，该第二获取模块330可包括：提取单元331、确定单元332和获取单元333。
其中，提取单元331用于按照预设命名规则从业务流水号中提取出日期信息、目标数据库的库索引信息和目标数据表的表索引信息。确定单元332用于根据库索引信息确定对应的目标数据库。获取单元333用于根据日期信息和表索引信息，从目标数据库中的多张数据表中获取目标数据表。
存储模块340用于将业务数据存储至目标数据表中。
可选地，在本公开的一个实施例中，每张预先配置的数据表的表名称信息包括：数据库的库索引信息、日期信息和数据表的表索引信息。也就是说，在表名称中，可包含有数据库的库索引、日期、表索引，用以区分每个业务落在了哪个数据库、数据库中的哪一天的数据表，且该业务数据表属于该天的。例如，假设某个数据表的表名称为“trans_05.table_23_01”，该表名称可表示：trans的第05个数据库，每个月23号的数据表，而且是这一天中的第01张数据表，可以理解，例如“XXXXXXXX052301”这类的业务流水号对应的业务数据都会存储到该表名称为“trans_05.table_23_01”的数据表中。
在本公开的实施例中，如图5所示，该数据处理装置还可包括：接收模块350、第三获取模块360、判断模块370和操作模块380。其中，接收模块350用于接收针对待处理数据 表中的数据的操作请求。第三获取模块360用于获取待处理数据表的表名称信息，并获取当前日期。判断模块370用于判断表名称信息中的日期信息与当前日期是否一致。操作模块380用于在表名称信息中的日期信息与当前日期不一致时，根据操作请求对待处理数据表中的数据进行相应的操作。由此，达到数据表可以线下运维的目的。
根据本公开实施例的数据处理装置，通过预先配置多张数据表，并按照预设命名规则对该多张数据表进行表名称命名，这样，在实际应用中，可安装所述预设命名规则生成目标业务的业务流水号，进而根据该业务流水号即可从该多张数据表中找出目标数据表，从而将该目标业务的业务数据存储到该目标数据表中，这样，在数据库存储的设计上，以空间换取效率，将存储打散成很多个库和表，在保证数据表的读写响应速度的同时，提高了写入或读取的并发度(如多个库表同时提供读写服务等)，并提高了数据存储效率。
为了实现上述实施例，本公开还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开第一方面实施例所述的数据处理方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)， 可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

  1. 一种数据处理方法，其特征在于，包括以下步骤：
    按照预设命名规则生成针对目标业务的业务流水号；
    获取所述目标业务的业务数据；
    根据所述业务流水号，从预先配置的多张数据表中获取目标数据表；
    将所述业务数据存储至所述目标数据表中。
  2. 如权利要求1所述的数据处理方法，其特征在于，所述根据业务流水号，从预先配置的多张数据表中获取目标数据表，包括：
    按照所述预设命名规则从所述业务流水号中提取出日期信息、目标数据库的库索引信息和目标数据表的表索引信息；
    根据所述库索引信息确定对应的目标数据库；
    根据所述日期信息和所述表索引信息，从所述目标数据库中的多张数据表中获取所述目标数据表。
  3. 如权利要求1或2所述的数据处理方法，其特征在于，每张预先配置的数据表的表名称信息包括：数据库的库索引信息、日期信息和数据表的表索引信息。
  4. 如权利要求3所述的数据处理方法，其特征在于，还包括：
    接收针对待处理数据表中的数据的操作请求；
    获取所述待处理数据表的表名称信息，并获取当前日期；
    判断所述表名称信息中的日期信息与所述当前日期是否一致；
    若不一致，则根据所述操作请求对所述待处理数据表中的数据进行相应的操作。
  5. 如权利要求4所述的数据处理方法，其特征在于，所述操作请求包括删除请求、替换请求、修改请求、增加请求。
  6. 一种数据处理装置，其特征在于，包括：
    生成模块，用于按照预设命名规则生成针对目标业务的业务流水号；
    第一获取模块，用于获取所述目标业务的业务数据；
    第二获取模块，用于根据所述业务流水号，从预先配置的多张数据表中获取目标数据表；
    存储模块，用于将所述业务数据存储至所述目标数据表中。
  7. 如权利要求6所述的数据处理装置，其特征在于，所述第二获取模块包括：
    提取单元，用于按照所述预设命名规则从所述业务流水号中提取出日期信息、目标数据库的库索引信息和目标数据表的表索引信息；
    确定单元，用于根据所述库索引信息确定对应的目标数据库；
    获取单元，用于根据所述日期信息和所述表索引信息，从所述目标数据库中的多张数据表中获取所述目标数据表。
  8. 如权利要求6或7所述的数据处理装置，其特征在于，每张预先配置的数据表的表名称信息包括：数据库的库索引信息、日期信息和数据表的表索引信息。
  9. 如权利要求8所述的数据处理装置，其特征在于，还包括：
    接收模块，用于接收针对待处理数据表中的数据的操作请求；
    第三获取模块，用于获取所述待处理数据表的表名称信息，并获取当前日期；
    判断模块，用于判断所述表名称信息中的日期信息与所述当前日期是否一致；
    操作模块，用于在所述表名称信息中的日期信息与所述当前日期不一致时，根据所述操作请求对所述待处理数据表中的数据进行相应的操作。
  10. 根据权利要求9所述的数据处理装置，其特征在于，所述操作请求包括删除请求、替换请求、修改请求、增加请求。
  11. 一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至5中任一项所述的数据处理方法。
PCT/CN2019/086691 2018-05-14 2019-05-13 数据处理方法、装置和计算机可读存储介质 WO2019218976A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19804260.8A EP3796182A4 (en) 2018-05-14 2019-05-13 DATA PROCESSING METHOD AND APPARATUS, AND COMPUTER READABLE STORAGE MEDIA
JP2020558513A JP7133647B2 (ja) 2018-05-14 2019-05-13 データ処理方法、装置及びコンピュータ読み取り可能な記憶媒体
US17/051,986 US11934371B2 (en) 2018-05-14 2019-05-13 Data processing method and apparatus, and computer-readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810455294.5 2018-05-14
CN201810455294.5A CN110019244A (zh) 2018-05-14 2018-05-14 数据处理方法、装置和计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2019218976A1 true WO2019218976A1 (zh) 2019-11-21

Family

ID=67188303

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/086691 WO2019218976A1 (zh) 2018-05-14 2019-05-13 数据处理方法、装置和计算机可读存储介质

Country Status (5)

Country Link
US (1) US11934371B2 (zh)
EP (1) EP3796182A4 (zh)
JP (1) JP7133647B2 (zh)
CN (1) CN110019244A (zh)
WO (1) WO2019218976A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706797B (zh) * 2019-09-16 2022-03-04 重庆华医康道科技有限公司 一种医疗机构的医疗数据实时上链的方法
CN110781248A (zh) * 2019-09-27 2020-02-11 浙江省北大信息技术高等研究院 一种多源异构数据采集方法及装置
CN110807035A (zh) * 2019-11-05 2020-02-18 泰康保险集团股份有限公司 流水号生成方法、装置、设备及存储介质
CN110838199A (zh) * 2019-11-12 2020-02-25 Tcl-罗格朗国际电工（惠州）有限公司 门禁卡管理方法、装置、计算机设备和存储介质
CN112634012A (zh) * 2020-12-14 2021-04-09 中国建设银行股份有限公司 业务数据处理方法、装置、服务器和存储介质
CN113254420A (zh) * 2021-05-24 2021-08-13 中国民生银行股份有限公司 业务数据处理方法和代理服务器
CN113609110A (zh) * 2021-07-05 2021-11-05 云从科技集团股份有限公司 数据清洗方法、装置及计算机存储介质
CN113822660B (zh) * 2021-10-09 2024-05-24 京东科技控股股份有限公司 数据处理的方法、装置、电子设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980187A (zh) * 2010-10-13 2011-02-23 中兴通讯股份有限公司 数据入库方法和装置
CN102158373A (zh) * 2011-05-12 2011-08-17 哈尔滨工业大学 面向银行中间业务的高端服务器性能评测系统
CN104636499A (zh) * 2015-03-09 2015-05-20 中国银行股份有限公司 一种基于高并发的数据处理系统以及方法
WO2016101621A1 (zh) * 2014-12-26 2016-06-30 中兴通讯股份有限公司 充值实现方法及系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6337438A (ja) * 1986-08-01 1988-02-18 Hitachi Ltd 分散デ−タベ−ス管理システムのサイト管理方式
JPH0273461A (ja) * 1988-09-09 1990-03-13 Nec Corp 分散データ管理システム
JP3873363B2 (ja) 1997-04-14 2007-01-24 カシオ計算機株式会社 アクセス管理装置及び記録媒体
JP2003006007A (ja) 2001-06-20 2003-01-10 Nec Soft Ltd 時系列データ自動管理方式
JP2006350408A (ja) 2005-06-13 2006-12-28 Matsushita Electric Ind Co Ltd 入力データ受付装置、プログラム及びプログラムを記録した記録媒体
JP2009048313A (ja) * 2007-08-15 2009-03-05 Nomura Research Institute Ltd データ処理装置およびデータ処理方法
CN101625686B (zh) * 2008-07-08 2016-04-06 阿里巴巴集团控股有限公司 一种监控多数据库之间数据一致性的方法及系统
CN101452387A (zh) * 2008-12-09 2009-06-10 山东浪潮齐鲁软件产业股份有限公司 一种业务流水管理的方法
CN101477553A (zh) * 2009-02-11 2009-07-08 浪潮集团山东通用软件有限公司 一种用于数据校验和数据处理的方法
JP2011113103A (ja) * 2009-11-24 2011-06-09 Hitachi Ltd マルチテナント型コンピュータシステム
US9703706B2 (en) * 2011-02-28 2017-07-11 Oracle International Corporation Universal cache management system
JP5773910B2 (ja) * 2012-02-29 2015-09-02 三菱電機株式会社 アクセス制御装置及びアクセス制御方法及びプログラム
US9336208B2 (en) * 2012-09-28 2016-05-10 Oracle International Corporation Synchronization of configuration changes between applications and their platforms
CN104573946A (zh) * 2014-12-26 2015-04-29 北京奇虎科技有限公司 一种业务对象数据的处理方法和系统
US10049041B2 (en) * 2015-07-30 2018-08-14 EMC IP Holding Company LLC Memory centric database architecture
CN106878367B (zh) * 2016-07-19 2020-04-07 阿里巴巴集团控股有限公司 服务接口异步调用的实现方法和装置
CN107463693B (zh) * 2017-08-11 2020-05-01 深圳乐信软件技术有限公司 一种数据处理方法、装置、终端及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980187A (zh) * 2010-10-13 2011-02-23 中兴通讯股份有限公司 数据入库方法和装置
CN102158373A (zh) * 2011-05-12 2011-08-17 哈尔滨工业大学 面向银行中间业务的高端服务器性能评测系统
WO2016101621A1 (zh) * 2014-12-26 2016-06-30 中兴通讯股份有限公司 充值实现方法及系统
CN104636499A (zh) * 2015-03-09 2015-05-20 中国银行股份有限公司 一种基于高并发的数据处理系统以及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3796182A4 *

Also Published As

Publication number Publication date
JP2021518021A (ja) 2021-07-29
EP3796182A4 (en) 2022-01-26
US20210232561A1 (en) 2021-07-29
EP3796182A1 (en) 2021-03-24
JP7133647B2 (ja) 2022-09-08
US11934371B2 (en) 2024-03-19
CN110019244A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
WO2019218976A1 (zh) 数据处理方法、装置和计算机可读存储介质
CN104360990A (zh) 一种编辑内容的方法
JP4304194B2 (ja) ファイルシステム管理装置及び方法
CN104407787A (zh) 一种终端
CN110888837B (zh) 对象存储小文件归并方法及装置
CN110505495A (zh) 多媒体资源抽帧方法、装置、服务器及存储介质
US20180109611A1 (en) Computer system, distributed object sharing method, and edge node
US10902018B2 (en) Synchronizing in-use source data and an unmodified migrated copy thereof
CN111723161A (zh) 一种数据处理方法、装置及设备
US11157456B2 (en) Replication of data in a distributed file system using an arbiter
CN105260266B (zh) 一种快照卷写方法及依赖快照系统
CN109144403B (zh) 一种用于云盘模式切换的方法与设备
CN106528876B (zh) 分布式系统的信息处理方法及分布式信息处理系统
CN109522281A (zh) 一种分布式文件系统数据快速拷贝的方法
WO2019072088A1 (zh) 一种文件管理方法、文件管理装置、电子设备及存储介质
WO2022267676A1 (zh) 共享内存的数据处理方法、装置、设备和介质
US10922277B1 (en) Logging file system metadata changes using a single log hold per cached block of metadata
US10877685B2 (en) Methods, devices and computer program products for copying data between storage arrays
US10324921B1 (en) Method and system for using external content type object types
WO2021103600A1 (zh) 一种分布式系统文件的删除方法、装置、设备及存储介质
CN109241011B (zh) 一种虚拟机文件处理方法及装置
TW201403362A (zh) 在多主控環境中通過以頁面爲基礎之信息追蹤管理大型資料集
CN110381121B (zh) 一种数据处理方法及装置
US20210034580A1 (en) Method, apparatus and computer program product for maintaining metadata
CN111858603B (zh) 区块链的数据写入方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19804260

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020558513

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019804260

Country of ref document: EP

Effective date: 20201214