WO2021189695A1 - 分布式的数据库动态扩容方法、装置、设备及存储介质 - Google Patents

分布式的数据库动态扩容方法、装置、设备及存储介质 Download PDF

Info

Publication number
WO2021189695A1
WO2021189695A1 PCT/CN2020/099088 CN2020099088W WO2021189695A1 WO 2021189695 A1 WO2021189695 A1 WO 2021189695A1 CN 2020099088 W CN2020099088 W CN 2020099088W WO 2021189695 A1 WO2021189695 A1 WO 2021189695A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
data set
database
dynamic expansion
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2020/099088
Other languages
English (en)
French (fr)
Inventor
潘翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2021189695A1 publication Critical patent/WO2021189695A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof

Definitions

  • This application relates to the field of cloud storage technology, and in particular to a method, device, equipment, and storage medium for dynamic expansion of a distributed database.
  • This application provides a distributed database dynamic expansion method, device, electronic equipment, and computer-readable storage medium, the main purpose of which is to solve the problems of low storage efficiency and uneven storage memory allocation when storing data.
  • a distributed database dynamic expansion method includes:
  • the storage area of the database is split according to the amount of data to obtain multiple sub-storage areas, and a dynamic expansion table set is constructed in the multiple sub-storage areas to obtain a dynamic expansion database.
  • this application also provides a distributed database dynamic expansion device, which includes:
  • the data cleaning module is used to perform data cleaning on the original data set to obtain a standard data set
  • the database construction module is used to calculate the data size and data quantity of the standard data set, and build a database in a distributed architecture platform according to the data size;
  • the dynamic expansion module is configured to split the storage area of the database according to the data quantity to obtain multiple sub-storage areas, and construct a dynamic expansion table set in the multiple sub-storage areas to obtain a dynamic expansion database.
  • an electronic device which includes:
  • Memory storing at least one instruction
  • the processor implements the following steps when executing instructions stored in the memory:
  • the storage area of the database is split according to the amount of data to obtain multiple sub-storage areas, and a dynamic expansion table set is constructed in the multiple sub-storage areas to obtain a dynamic expansion database.
  • the present application also provides a computer-readable storage medium having at least one instruction stored in the computer-readable storage medium, and when the at least one instruction is executed by a processor in an electronic device, the following steps are implemented:
  • the storage area of the database is split according to the amount of data to obtain multiple sub-storage areas, and a dynamic expansion table set is constructed in the multiple sub-storage areas to obtain a dynamic expansion database.
  • This application first calculates the data size and data quantity of the data set, and builds the database in the distributed architecture platform according to the said data size. Since the database is built based on the distributed architecture platform and the data size, the database is more targeted.
  • the storage area of the database is divided by the amount of data to obtain multiple sub-storage areas, and a dynamic expansion table set is constructed in the multiple sub-storage areas to obtain a dynamically-expanded database, because the expansion of the entire database depends on the amount of data and the size of the data Therefore, the storage memory allocation of each sub-storage area is relatively even, and when data storage is needed, it is stored in multiple dynamically expanding table sets at the same time, which improves storage efficiency. Therefore, the distributed database dynamic expansion method, device, electronic equipment, and computer-readable storage medium proposed in this application can solve the problems of low storage efficiency and uneven storage memory allocation when storing data.
  • FIG. 1 is a schematic flowchart of a distributed database dynamic expansion method provided by an embodiment of the application
  • FIG. 2 is a schematic diagram of the flow of S2 in the distributed database dynamic expansion method provided by an embodiment of the application;
  • FIG. 3 is a schematic diagram of the flow of S3 in the distributed database dynamic expansion method provided by an embodiment of the application;
  • FIG. 4 is a schematic diagram of modules of a distributed database dynamic expansion device provided by an embodiment of the application.
  • FIG. 5 is a schematic diagram of the internal structure of an electronic device of a distributed database dynamic expansion method provided by an embodiment of the application;
  • This application provides a distributed database dynamic expansion method.
  • FIG. 1 it is a schematic flowchart of a distributed database dynamic expansion method provided by an embodiment of this application.
  • the method can be executed by an electronic device, and the electronic device can be implemented by software and/or hardware.
  • the distributed database dynamic expansion method includes:
  • the purpose of this application is to dynamically expand the pre-built database according to the data volume of the original data set.
  • the speed will be faster More efficient.
  • the data volume of the original data set is generally very large, and the purpose is to maximize the dynamic expansion of the database, and prevent the subsequent dynamic expansion of the database from storing other data sets due to the insufficient number of storage areas for expansion.
  • crawler technology to crawl the user transaction volume data of a large shopping website
  • the user transaction volume data is the original data set
  • the magnitude of the user transaction volume data of the large shopping website is generally 100 million, which meets the huge amount of data Requirements.
  • the user transaction amount data can be crawled by using the crawler technology, but since the crawling process will crawl the data that does not meet the requirements, data cleaning on the original data set is an indispensable step.
  • performing data cleaning on the original data set to obtain a standard data set includes: performing missing value filling, outlier removal, and attribute interval division on the original data set to obtain the standard data set.
  • filling the missing value such as filling a fixed value, filling a mean value, filling a mode, and so on.
  • the attribute interval division is based on different attributes of the data in the original data set, and the data in the original data set is divided according to the attributes of the data.
  • the attribute interval division includes: first sorting the data in the original data set, and at the same time using equal-width intervals to divide the sorted original data set to obtain the original data set of multiple intervals, and calculate the original data set of each interval separately The mean value of, and replace the original data set in each interval with the mean value to complete the attribute interval division.
  • the above-mentioned user transaction volume data has a total of 100 million data volumes.
  • the distributed architecture platform may use the currently published hadoop, Pregel, Spark, Storm, etc.
  • the distributed architecture platform in this application is the basis for dynamic expansion of the database, and all dynamic expansion is completed in the distributed architecture platform Because most distributed architecture platforms have the characteristics of high reliability, it is not easy to crash during dynamic expansion.
  • the distributed architecture platform includes multiple nodes, which ensures that multiple nodes are connected and connected during dynamic expansion. You can freely move and exchange data, so as to ensure the dynamic balance of each node.
  • the S2 may refer to the flowchart shown in FIG. S2, including:
  • S22 Calculate the number of storage nodes according to the data size of the standard data set and the storage amount
  • the standard user transaction amount data obtained by crawling and data cleaning using crawler technology For example, the standard user transaction amount data obtained by crawling and data cleaning using crawler technology, the data size of the standard user transaction amount data obtained by calculation is 200GB, and the storage capacity of each storage node in the distributed architecture platform is 1GB, then the calculation is If 200 storage nodes are needed, 200 storage nodes are selected from the distributed architecture platform to construct the database.
  • the S3 may refer to the flowchart shown in FIG. S3, which includes:
  • the database constructed by the above 200 storage nodes assuming that the data quantity of the above standard user transaction amount data is 56800235584, because 56800235584 is expressed in exponential form as the 6th power of 62, the database constructed above can be divided into 62 sub-stores Area, and then build 62 dynamic expansion tables with the same index in each sub-storage area.
  • the preset naming rules can be various.
  • the naming rules of the sub-storage area and the dynamic expansion table both use 52 uppercase and lowercase letters and 0-9.
  • the sub-storage areas are named db_0, db_1, ..., db_zz
  • the names of the dynamic expansion tables are named table_0, table_1, ..., table_zz. All sub-storage areas and all dynamic expansion tables as a whole It is called dynamic expansion database.
  • the storing step includes:
  • Obtain a data set to be stored divide the data set to be stored into the same number of data sets to be stored according to the number of sub-storage areas, and store the data sets to be stored in the dynamic expansion table set in sequence.
  • the data set to be stored is sequentially accessed through the naming rules.
  • the data set to be stored can be the original data set or a new data set.
  • the user transaction amount data described above can be used for dynamic expansion. After the dynamic expansion is completed, the user transaction amount data will be stored in the dynamically expanded database. , You can also re-store a new data set, such as a user's loan amount data set on a loan platform.
  • FIG. 4 it is a schematic diagram of the module of the distributed database dynamic expansion device of the present application.
  • the distributed database dynamic expansion device 100 described in this application can be installed in an electronic device. According to the implemented functions, the distributed database dynamic expansion device 100 may include a data cleaning module 101, a database construction module 102, and a dynamic expansion module 103.
  • the module described in the present invention can also be called a unit, which refers to a series of computer program segments that can be executed by the processor of an electronic device and can complete fixed functions, and are stored in the memory of the electronic device.
  • each module/unit is as follows:
  • the data cleaning module 101 is used to perform data cleaning on the original data set to obtain a standard data set.
  • the database construction module 102 is used to calculate the data size and data quantity of the standard data set, and build a database in a distributed architecture platform according to the data size.
  • the dynamic expansion module 103 is configured to split the storage area of the database according to the amount of data to obtain multiple sub-storage areas, and construct a dynamic expansion table set in the multiple sub-storage areas to obtain a dynamic expansion database.
  • FIG. 5 it is a schematic structural diagram of an electronic device implementing a distributed database dynamic expansion method according to the present application.
  • the electronic device 1 may include a processor 10, a memory 11, and a bus, and may also include a computer program stored in the memory 11 and running on the processor 10, such as a distributed database dynamic expansion program 12.
  • the memory 11 includes at least one type of readable storage medium, and the readable storage medium includes flash memory, mobile hard disk, multimedia card, card-type memory (for example: SD or DX memory, etc.), magnetic memory, magnetic disk, CD etc.
  • the memory 11 may be an internal storage unit of the electronic device 1 in some embodiments, for example, a mobile hard disk of the electronic device 1.
  • the memory 11 may also be an external storage device of the electronic device 1, such as a plug-in mobile hard disk, a smart memory card (Smart Media Card, SMC), and a secure digital (Secure Digital) equipped on the electronic device 1.
  • the memory 11 may also include both an internal storage unit of the electronic device 1 and an external storage device.
  • the memory 11 can not only be used to store application software and various data installed in the electronic device 1, such as a distributed database dynamic expansion code, etc., but also can be used to temporarily store data that has been output or will be output.
  • the processor 10 may be composed of integrated circuits in some embodiments, for example, may be composed of a single packaged integrated circuit, or may be composed of multiple integrated circuits with the same function or different functions, including one or more Combinations of central processing unit (CPU), microprocessor, digital processing chip, graphics processor, and various control chips, etc.
  • the processor 10 is the control core of the electronic device (Control Unit), using various interfaces and lines to connect the various components of the entire electronic device, by running or executing the programs or modules stored in the memory 11 (for example, performing distributed database dynamic expansion, etc.), and calling the The data in the memory 11 is used to perform various functions of the electronic device 1 and process data.
  • the bus may be a peripheral component interconnect (PCI) bus or an extended industry standard structure (extended industry standard structure). industry standard architecture, EISA for short) bus, etc.
  • PCI peripheral component interconnect
  • extended industry standard structure extended industry standard structure
  • EISA industry standard architecture
  • the bus can be divided into address bus, data bus, control bus and so on.
  • the bus is configured to implement connection and communication between the memory 11 and at least one processor 10 and the like.
  • FIG. 5 only shows an electronic device with components. Those skilled in the art can understand that the structure shown in FIG. 5 does not constitute a limitation on the electronic device 1, and may include fewer or more components than shown in the figure. Components, or a combination of certain components, or different component arrangements.
  • the electronic device 1 may also include a power source (such as a battery) for supplying power to various components.
  • the power source may be logically connected to the at least one processor 10 through a power management device, thereby controlling power
  • the device implements functions such as charge management, discharge management, and power consumption management.
  • the power supply may also include any components such as one or more DC or AC power supplies, recharging devices, power failure detection circuits, power converters or inverters, and power status indicators.
  • the electronic device 1 may also include various sensors, Bluetooth modules, Wi-Fi modules, etc., which will not be repeated here.
  • the electronic device 1 may also include a network interface.
  • the network interface may include a wired interface and/or a wireless interface (such as a Wi-Fi interface, a Bluetooth interface, etc.), which is usually used in the electronic device 1 Establish a communication connection with other electronic devices.
  • the electronic device 1 may also include a user interface.
  • the user interface may be a display (Display) and an input unit (such as a keyboard (Keyboard)).
  • the user interface may also be a standard wired interface or a wireless interface.
  • the display may be an LED display, a liquid crystal display, a touch-sensitive liquid crystal display, and an OLED (Organic Light-Emitting Diode, organic light-emitting diode) touch device, etc.
  • the display can also be appropriately called a display screen or a display unit, which is used to display the information processed in the electronic device 1 and to display a visualized user interface.
  • the distributed database dynamic expansion 12 stored in the memory 11 in the electronic device 1 is a combination of multiple instructions. When running in the processor 10, it can realize:
  • the storage area of the database is split according to the amount of data to obtain multiple sub-storage areas, and a dynamic expansion table set is constructed in the multiple sub-storage areas to obtain a dynamic expansion database.
  • Step 1 Obtain an original data set, and perform data cleaning on the original data set to obtain a standard data set.
  • the purpose of this application is to dynamically expand the pre-built database according to the data volume of the original data set.
  • the speed will be faster More efficient.
  • the data volume of the original data set is generally very large, and the purpose is to maximize the dynamic expansion of the database, and prevent the subsequent dynamic expansion of the database from storing other data sets due to the insufficient number of storage areas for expansion.
  • crawler technology to crawl the user transaction volume data of a large shopping website
  • the user transaction volume data is the original data set
  • the magnitude of the user transaction volume data of the large shopping website is generally 100 million, which meets the huge amount of data Requirements.
  • the user transaction amount data can be crawled by using the crawler technology, but since the crawling process will crawl the data that does not meet the requirements, data cleaning on the original data set is an indispensable step.
  • performing data cleaning on the original data set to obtain a standard data set includes: performing missing value filling, outlier removal, and attribute interval division on the original data set to obtain the standard data set.
  • filling the missing value such as filling a fixed value, filling a mean value, filling a mode, and so on.
  • the attribute interval division is based on different attributes of the data in the original data set, and the data in the original data set is divided according to the attributes of the data.
  • the attribute interval division includes: first sorting the data in the original data set, and at the same time using equal-width intervals to divide the sorted original data set to obtain the original data set of multiple intervals, and calculate the original data set of each interval separately The mean value of, and replace the original data set in each interval with the mean value to complete the attribute interval division.
  • the above-mentioned user transaction volume data has a total of 100 million data volumes.
  • Step 2 Calculate the data size and data quantity of the standard data set, and build a database in a distributed architecture platform according to the data size.
  • the distributed architecture platform may use the currently published hadoop, Pregel, Spark, Storm, etc.
  • the distributed architecture platform in this application is the basis for dynamic expansion of the database, and all dynamic expansion is completed in the distributed architecture platform Because most distributed architecture platforms have the characteristics of high reliability, it is not easy to crash during dynamic expansion.
  • the distributed architecture platform includes multiple nodes, which ensures that multiple nodes are connected and connected during dynamic expansion. You can freely move and exchange data, so as to ensure the dynamic balance of each node.
  • the second step includes:
  • the database is constructed by selecting nodes from the distributed architecture platform according to the number of storage nodes.
  • the standard user transaction amount data obtained by crawling and data cleaning using crawler technology For example, the standard user transaction amount data obtained by crawling and data cleaning using crawler technology, the data size of the standard user transaction amount data obtained by calculation is 200GB, and the storage capacity of each storage node in the distributed architecture platform is 1GB, then the calculation is If 200 storage nodes are needed, 200 storage nodes are selected from the distributed architecture platform to construct the database.
  • Step 3 Split the storage area of the database according to the amount of data to obtain multiple sub-storage areas, and construct a dynamic expansion table set in the multiple sub-storage areas to obtain a dynamic expansion database.
  • step three includes:
  • the sub-storage area and the dynamic expansion table are named to obtain a dynamic expansion database.
  • the database constructed by the above 200 storage nodes assuming that the data quantity of the above standard user transaction amount data is 56800235584, because 56800235584 is expressed in exponential form as the 6th power of 62, the database constructed above can be divided into 62 sub-stores Area, and then build 62 dynamic expansion tables with the same index in each sub-storage area.
  • the preset naming rules can be various.
  • the naming rules of the sub-storage area and the dynamic expansion table both use 52 uppercase and lowercase letters and 0-9.
  • the sub-storage areas are named db_0, db_1, ..., db_zz
  • the names of the dynamic expansion tables are named table_0, table_1, ..., table_zz. All the sub-storage areas and all the dynamic expansion tables as a whole It is called dynamic expansion database.
  • the storing step includes:
  • Obtain a data set to be stored divide the data set to be stored into the same number of data sets to be stored according to the number of sub-storage areas, and store the data sets to be stored in the dynamic expansion table set in sequence.
  • the data set to be stored is sequentially accessed through the naming rules.
  • the data set to be stored can be the original data set or a new data set.
  • the user transaction amount data described above can be used for dynamic expansion. After the dynamic expansion is completed, the user transaction amount data will be stored in the dynamically expanded database. , You can also re-store a new data set, such as a user's loan amount data set on a loan platform.
  • the integrated module/unit of the electronic device 1 is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a non-volatile or volatile computer-readable storage medium.
  • the computer-readable storage medium may include: any entity or device capable of carrying the computer program code, recording medium, U disk, mobile hard disk, magnetic disk, optical disk, computer memory, read-only memory (ROM, Read-Only Memory). ).
  • modules described as separate components may or may not be physically separated, and the components displayed as modules may or may not be physical units, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the modules can be selected according to actual needs to achieve the objectives of the solutions of the embodiments.
  • the functional modules in the various embodiments of the present application may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the above-mentioned integrated unit may be implemented in the form of hardware, or may be implemented in the form of hardware plus software functional modules.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种分布式的数据库动态扩容方法、装置、电子设备以及计算机可读存储介质，涉及云存储技术领域。所述方法包括：获取原始数据集，对原始数据集进行数据清洗得到标准数据集（S1）；计算所述标准数据集的数据大小和数据数量，根据所述数据大小在分布式架构平台内构建数据库（S2）；根据所述数据数量拆分所述数据库的存储区得到多个分存储区，在多个所述分存储区内构建动态扩容表集得到动态扩容数据库（S3）。所述方法可以解决存储效率低下、存储数据时存储内存分配不均匀的问题。

Description

分布式的数据库动态扩容方法、装置、设备及存储介质
本申请要求于2020年3月25日提交中国专利局、申请号为CN202010222406.X、发明名称为“分布式的数据库动态扩容方法、装置、设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及云存储技术领域，尤其涉及一种分布式的数据库动态扩容的方法、装置、设备及存储介质。
 背景技术
随着大数据兴起，数据库存储的数据量也越来越大，发明人意识到当存储的数据量达到千万级别甚至上亿级别时，普通的关系型数据库应对存储时会出现明显的存储效率低下、存储数据时存储内存分配不均匀的现象。
 技术问题
本申请提供一种分布式的数据库动态扩容方法、装置、电子设备及计算机可读存储介质，其主要目的在于解决存储效率低下、存储数据时存储内存分配不均匀的问题。
 技术解决方案
为实现上述目的，本申请提供的一种分布式的数据库动态扩容方法，包括：
对原始数据集进行数据清洗得到标准数据集；
计算所述标准数据集的数据大小和数据数量，根据所述数据大小在分布式架构平台内构建数据库；
根据所述数据数量拆分所述数据库的存储区得到多个分存储区，在多个所述分存储区内构建动态扩容表集得到动态扩容数据库。
为了解决上述问题，本申请还提供一种分布式的数据库动态扩容装置，所述装置包括：
数据清洗模块，用于对原始数据集进行数据清洗得到标准数据集；
数据库构建模块，用于计算所述标准数据集的数据大小和数据数量，根据所述数据大小在分布式架构平台内构建数据库；
动态扩容模块，用于根据所述数据数量拆分所述数据库的存储区得到多个分存储区，在多个所述分存储区内构建动态扩容表集得到动态扩容数据库。
为了解决上述问题，本申请还提供一种电子设备，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令时实现如下步骤：
对原始数据集进行数据清洗得到标准数据集；
计算所述标准数据集的数据大小和数据数量，根据所述数据大小在分布式架构平台内构建数据库；
根据所述数据数量拆分所述数据库的存储区得到多个分存储区，在多个所述分存储区内构建动态扩容表集得到动态扩容数据库。
为了解决上述问题，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行时实现如下步骤：
对原始数据集进行数据清洗得到标准数据集；
计算所述标准数据集的数据大小和数据数量，根据所述数据大小在分布式架构平台内构建数据库；
根据所述数据数量拆分所述数据库的存储区得到多个分存储区，在多个所述分存储区内构建动态扩容表集得到动态扩容数据库。
 有益效果
本申请先计算数据集的数据大小和数据数量，根据所述数据大小在分布式架构平台内构建数据库，由于数据库是基于分布式架构平台和数据大小搭建的，所以数据库更具有针对性，同时根据所述数据数量拆分所述数据库的存储区得到多个分存储区，在多个所述分存储区内构建动态扩容表集得到动态扩容数据库，因为整个数据库扩容都依赖于数据数量和数据大小，所以每个分存储区的存储内存分配较为均匀，且当需要进行数据存储时同时存储至多个动态扩容表集内，提高了存储效率。因此本申请提出的分布式的数据库动态扩容方法、装置、电子设备及计算机可读存储介质，可以解决存储效率低下、存储数据时存储内存分配不均匀的问题。
 附图说明
图1为本申请一实施例提供的分布式的数据库动态扩容方法的流程示意图；
图2为本申请一实施例提供的分布式的数据库动态扩容方法中S2的流程示意图；
图3为本申请一实施例提供的分布式的数据库动态扩容方法中S3的流程示意图；
图4为本申请一实施例提供的分布式的数据库动态扩容装置的模块示意图；
图5为本申请一实施例提供的分布式的数据库动态扩容方法的电子设备的内部结构示意图；
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
 本发明的实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供一种分布式的数据库动态扩容方法。参照图1所示，为本申请一实施例提供的分布式的数据库动态扩容方法的流程示意图。该方法可以由一个电子设备执行，该电子设备可以由软件和/或硬件实现。
在本实施例中，分布式的数据库动态扩容方法包括：
S1、获取原始数据集，对所述原始数据集进行数据清洗得到标准数据集。
本申请的目的是根据原始数据集的数据量对预构建的数据库进行动态扩容，当完成动态扩容后的数据库不管是存储其他数据集时，还是存储完成后查询其他数据集时，速度都会更快更高效。
所述原始数据集的数据量一般非常庞大，目的是为了最大化动态扩容数据库，防止后续动态扩容后的数据库存储其他数据集时，由于扩容的存储区数量不够导致需要再次动态扩容的现象发生，如利用爬虫技术爬取某大型购物网站的用户交易额数据，所述用户交易额数据即为原始数据集，且大型购物网站的用户交易额数据的量级一般都为亿级，满足数据量庞大的要求。
进一步地，如上述利用爬虫技术爬取得到用户交易额数据，但由于爬取过程会爬取到不符合要求的数据，因此对原始数据集进行数据清洗是必不可少的步骤。
详细地，对所述原始数据集进行数据清洗得到标准数据集，包括：对所述原始数据集进行缺失值填充、异常值去除、属性区间划分得到所述标准数据集。
进一步地，所述缺失值填充的方法众多，如填充固定值、填充均值、填充众数等。
所述属性区间划分是依据原始数据集内数据的属性不同，根据数据的属性对原始数据集内数据进行划分。所述属性区间划分包括：首先对原始数据集内数据进行排序，同时利用等宽的区间对排序后的原始数据集进行划分得到多个区间的原始数据集，分别计算每个区间的原始数据集的均值，并用均值替代每个区间内的原始数据集，完成属性区间划分。如上述用户交易额数据共有1亿个数据量，对每笔交易额进行排序得到从小到大的用户交易额数据，按照每100元一个区间对从小到大排序的用户交易额数据进行划分，分别计算每个区间内的交易额的平均值，并替代每个区间的每笔交易额，如0-100元区间的交易额为[1.2，3.7，4.8，10，99]，则计算出平均值为23.74，则将23.74替代[1.2，3.7，4.8，10，99]得到[23.74，23.74，23.74，23.74，23.74]。
S2、计算所述标准数据集的数据大小和数据数量，根据所述数据大小在分布式架构平台内构建数据库。
所述分布式架构平台可采用当前已公开的hadoop、Pregel、Spark、Storm等，本申请中分布式架构平台是对数据库进行动态扩容的基础，所有的动态扩容都是在分布式架构平台内完成，因为多数分布式架构平台具有高可靠性的特点，在动态扩容中不容易产生崩溃的现象，其次分布式架构平台内包括多个节点，使得在动态扩容时保证多个节点之间具有联系且可以自由移动交换数据，从而保证各个节点的动态平衡。
详细地，所述S2可参阅图S2的流程示意图所示，包括：
S21、统计所述分布式架构平台内各存储节点的存储量；
S22、根据所述标准数据集的数据大小和所述存储量计算得到存储节点数量；
S23、根据所述存储节点数量从所述分布式架构平台内选择节点构建得到所述数据库。
例如上述利用爬虫技术爬取并数据清理得到的标准用户交易额数据，通过计算得到标准用户交易额数据的数据大小为200GB，而分布式架构平台内各存储节点的存储量为1GB，则计算得到需要200个存储节点，则从所述分布式架构平台内选择200个存储节点构建为数据库。
S3、根据所述数据数量拆分所述数据库的存储区得到多个分存储区，在多个所述分存储区内构建动态扩容表集得到动态扩容数据库。
详细地，所述S3可参阅图S3的流程示意图所示包括：
S31、计算所述数据数量以指数形式表达的底数和指数；
S32、根据所述底数划分所述存储区得到多个分存储区，在多个所述分存储区内构建动态扩容表；
S33、根据预先设定的命名规则，对所述分存储区和所述动态扩容表命名得到动态扩容数据库。
如上述200个存储节点构建成的数据库，假设上述标准用户交易额数据的数据数量为56800235584，由于56800235584以指数形式表达就是62的6次方，因此可将上述构建的数据库划分为62个分存储区，然后在每一个分存储区内建立相同指数的62张动态扩容表。
进一步地，所述预先设定的命名规则可多种多样，本申请较佳实施例中，所述分存储区和所述动态扩容表的命名规则均使用52个大小写字母和0-9的十位数字组成的字符串，如分存储区命名为db_0、db_1、…、db_zz，动态扩容表名命名为table_0、table_1、…、table_zz，所有的分存储区和所有的动态扩容表作为一个整体称为动态扩容数据库。
当完成所述动态扩容数据库的建立后，若需要在所述动态扩容数据库内存储数据集，则存储步骤包括：
获取待存储数据集，根据所述分存储区的数量将所述待存储数据集分成相同数量的分待存储数据集，将所述分待存储数据集依次存储至所述动态扩容表集内。
当用户需要访问待存储数据集时，通过命名规则依次访问待存储数据集。同时待存储数据集可为所述原始数据集，也可以为新的数据集，如利用上述用户交易额数据进行动态扩容，当动态扩容完成后将用户交易额数据存储至动态扩容后的数据库内，也可以重新存储新的数据集，如用户在某贷款平台的贷款金额数据集。
如图4所示，是本申请分布式的数据库动态扩容装置的模块示意图。
本申请所述分布式的数据库动态扩容装置100可以安装于电子设备中。根据实现的功能，所述分布式的数据库动态扩容装置100可以包括数据清洗模块101、数据库构建模块102、动态扩容模块103。本发所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述数据清洗模块101，用于对原始数据集进行数据清洗得到标准数据集。
所述数据库构建模块102，用于计算所述标准数据集的数据大小和数据数量，根据所述数据大小在分布式架构平台内构建数据库。
所述动态扩容模块103，用于根据所述数据数量拆分所述数据库的存储区得到多个分存储区，在多个所述分存储区内构建动态扩容表集得到动态扩容数据库。
如图5所示，是本申请实现分布式的数据库动态扩容方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如分布式的数据库动态扩容程序12。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡（Smart Media Card， SMC）、安全数字（Secure Digital， SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如分布式的数据库动态扩容的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（例如执行分布式的数据库动态扩容等），以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
所述总线可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的分布式的数据库动态扩容12是多个指令的组合，在所述处理器10中运行时，可以实现：
对原始数据集进行数据清洗得到标准数据集；
计算所述标准数据集的数据大小和数据数量，根据所述数据大小在分布式架构平台内构建数据库；
根据所述数据数量拆分所述数据库的存储区得到多个分存储区，在多个所述分存储区内构建动态扩容表集得到动态扩容数据库。
具体地，所述处理器10对上述指令的具体实现方法如下所述：
步骤一、获取原始数据集，对所述原始数据集进行数据清洗得到标准数据集。
本申请的目的是根据原始数据集的数据量对预构建的数据库进行动态扩容，当完成动态扩容后的数据库不管是存储其他数据集时，还是存储完成后查询其他数据集时，速度都会更快更高效。
所述原始数据集的数据量一般非常庞大，目的是为了最大化动态扩容数据库，防止后续动态扩容后的数据库存储其他数据集时，由于扩容的存储区数量不够导致需要再次动态扩容的现象发生，如利用爬虫技术爬取某大型购物网站的用户交易额数据，所述用户交易额数据即为原始数据集，且大型购物网站的用户交易额数据的量级一般都为亿级，满足数据量庞大的要求。
进一步地，如上述利用爬虫技术爬取得到用户交易额数据，但由于爬取过程会爬取到不符合要求的数据，因此对原始数据集进行数据清洗是必不可少的步骤。
详细地，对所述原始数据集进行数据清洗得到标准数据集，包括：对所述原始数据集进行缺失值填充、异常值去除、属性区间划分得到所述标准数据集。
进一步地，所述缺失值填充的方法众多，如填充固定值、填充均值、填充众数等。
所述属性区间划分是依据原始数据集内数据的属性不同，根据数据的属性对原始数据集内数据进行划分。所述属性区间划分包括：首先对原始数据集内数据进行排序，同时利用等宽的区间对排序后的原始数据集进行划分得到多个区间的原始数据集，分别计算每个区间的原始数据集的均值，并用均值替代每个区间内的原始数据集，完成属性区间划分。如上述用户交易额数据共有1亿个数据量，对每笔交易额进行排序得到从小到大的用户交易额数据，按照每100元一个区间对从小到大排序的用户交易额数据进行划分，分别计算每个区间内的交易额的平均值，并替代每个区间的每笔交易额，如0-100元区间的交易额为[1.2，3.7，4.8，10，99]，则计算出平均值为23.74，则将23.74替代[1.2，3.7，4.8，10，99]得到[23.74，23.74，23.74，23.74，23.74]。
步骤二、计算所述标准数据集的数据大小和数据数量，根据所述数据大小在分布式架构平台内构建数据库。
所述分布式架构平台可采用当前已公开的hadoop、Pregel、Spark、Storm等，本申请中分布式架构平台是对数据库进行动态扩容的基础，所有的动态扩容都是在分布式架构平台内完成，因为多数分布式架构平台具有高可靠性的特点，在动态扩容中不容易产生崩溃的现象，其次分布式架构平台内包括多个节点，使得在动态扩容时保证多个节点之间具有联系且可以自由移动交换数据，从而保证各个节点的动态平衡。
详细地，所述步骤二包括：
统计所述分布式架构平台内各存储节点的存储量；
根据所述标准数据集的数据大小和所述存储量计算得到存储节点数量；
根据所述存储节点数量从所述分布式架构平台内选择节点构建得到所述数据库。
例如上述利用爬虫技术爬取并数据清理得到的标准用户交易额数据，通过计算得到标准用户交易额数据的数据大小为200GB，而分布式架构平台内各存储节点的存储量为1GB，则计算得到需要200个存储节点，则从所述分布式架构平台内选择200个存储节点构建为数据库。
步骤三、根据所述数据数量拆分所述数据库的存储区得到多个分存储区，在多个所述分存储区内构建动态扩容表集得到动态扩容数据库。
详细地，所述步骤三包括：
计算所述数据数量以指数形式表达的底数和指数；
根据所述底数划分所述存储区得到多个分存储区，在多个所述分存储区内构建动态扩容表；
根据预先设定的命名规则，对所述分存储区和所述动态扩容表命名得到动态扩容数据库。
如上述200个存储节点构建成的数据库，假设上述标准用户交易额数据的数据数量为56800235584，由于56800235584以指数形式表达就是62的6次方，因此可将上述构建的数据库划分为62个分存储区，然后在每一个分存储区内建立相同指数的62张动态扩容表。
进一步地，所述预先设定的命名规则可多种多样，本申请较佳实施例中，所述分存储区和所述动态扩容表的命名规则均使用52个大小写字母和0-9的十位数字组成的字符串，如分存储区命名为db_0、db_1、…、db_zz，动态扩容表名命名为table_0、table_1、…、table_zz，所有的分存储区和所有的动态扩容表作为一个整体称为动态扩容数据库。
当完成所述动态扩容数据库的建立后，若需要在所述动态扩容数据库内存储数据集，则存储步骤包括：
获取待存储数据集，根据所述分存储区的数量将所述待存储数据集分成相同数量的分待存储数据集，将所述分待存储数据集依次存储至所述动态扩容表集内。
当用户需要访问待存储数据集时，通过命名规则依次访问待存储数据集。同时待存储数据集可为所述原始数据集，也可以为新的数据集，如利用上述用户交易额数据进行动态扩容，当动态扩容完成后将用户交易额数据存储至动态扩容后的数据库内，也可以重新存储新的数据集，如用户在某贷款平台的贷款金额数据集。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性或易失性计算机可读存储介质中。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。
本申请计算机可读存储介质具体实施方式与上述分布式的数据库动态扩容方法各实施例基本相同，在此不作累述。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (20)

  1. 一种分布式的数据库动态扩容方法，其中，所述方法包括：
    对原始数据集进行数据清洗得到标准数据集；
    计算所述标准数据集的数据大小和数据数量，根据所述数据大小在分布式架构平台内构建数据库；
    根据所述数据数量拆分所述数据库的存储区得到多个分存储区，在多个所述分存储区内构建动态扩容表集得到动态扩容数据库。
  2. 如权利要求1所述的分布式的数据库动态扩容方法，其中，所述计算所述标准数据集的数据大小和数据数量，根据所述数据大小在分布式架构平台内构建数据库，包括：
    统计所述分布式架构平台内各存储节点的存储量；
    根据所述标准数据集的数据大小和所述存储量计算得到存储节点数量；
    根据所述存储节点数量从所述分布式架构平台内选择节点构建得到所述数据库。
  3. 如权利要求1所述的分布式的数据库动态扩容方法，其中，所述根据所述数据数量拆分所述数据库的存储区得到多个分存储区，在多个所述分存储区内构建动态扩容表集得到动态扩容数据库，包括：
    计算所述数据数量以指数形式表达的底数和指数；
    根据所述底数划分所述存储区得到多个所述分存储区；
    在多个所述分存储区内构建动态扩容表集，根据预先设定的命名规则，命名所述分存储区和所述动态扩容表集得到动态扩容数据库。
  4. 如权利要求1所述的分布式的数据库动态扩容方法，其中，所述方法还包括：
    获取待存储数据集，根据所述分存储区的数量，将所述待存储数据集拆分成与所述分存储区相同数量的分待存储数据集；
    将所述分待存储数据集依次存储至所述动态扩容表集内；
    接收访问所述待存储数据集的访问指令，通过命名规则依次访问所述待存储数据集。
  5. 如权利要求1所述的分布式的数据库动态扩容方法，其中，所述对原始数据集进行数据清洗得到标准数据集，包括：
    对所述原始数据集进行缺失值填充、异常值去除、属性区间划分得到所述标准数据集。
  6. 如权利要求5所述的分布式的数据库动态扩容方法，其中，所述属性区间划分包括：
    对完成所述缺失值填充及所述异常值去除操作的原始数据集内的数据进行排序；
    利用等宽的区间对排序后的原始数据集进行划分得到多个区间的原始数据集；
    分别计算每个区间的原始数据集的数据均值，并用所述数据均值替代每个区间内的原始数据集内的数据。
  7. 一种分布式的数据库动态扩容装置，其中，所述装置包括：
    数据清洗模块，用于对原始数据集进行数据清洗得到标准数据集；
    数据库构建模块，用于计算所述标准数据集的数据大小和数据数量，根据所述数据大小在分布式架构平台内构建数据库；
    动态扩容模块，用于根据所述数据数量拆分所述数据库的存储区得到多个分存储区，在多个所述分存储区内构建动态扩容表集得到动态扩容数据库。
  8. 如权利要求7所述的分布式的数据库动态扩容装置，其中，所述根据所述数据数量拆分所述数据库的存储区得到多个分存储区，在多个所述分存储区内构建动态扩容表集得到动态扩容数据库，包括：
    计算所述数据数量以指数形式表达的底数和指数；
    根据所述底数划分所述存储区得到多个所述分存储区；
    在多个所述分存储区内构建动态扩容表集，根据预先设定的命名规则，命名所述分存储区和所述动态扩容表集得到动态扩容数据库。
  9. 一种电子设备，其中，所述电子设备包括：
    至少一个处理器；以及，
    与所述至少一个处理器通信连接的存储器；其中，
    所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行时实现如下步骤：
    对原始数据集进行数据清洗得到标准数据集；
    计算所述标准数据集的数据大小和数据数量，根据所述数据大小在分布式架构平台内构建数据库；
    根据所述数据数量拆分所述数据库的存储区得到多个分存储区，在多个所述分存储区内构建动态扩容表集得到动态扩容数据库。
  10. 如权利要求9所述的电子设备，其中，所述计算所述标准数据集的数据大小和数据数量，根据所述数据大小在分布式架构平台内构建数据库，包括：
    统计所述分布式架构平台内各存储节点的存储量；
    根据所述标准数据集的数据大小和所述存储量计算得到存储节点数量；
    根据所述存储节点数量从所述分布式架构平台内选择节点构建得到所述数据库。
  11. 如权利要求9所述的电子设备，其中，所述根据所述数据数量拆分所述数据库的存储区得到多个分存储区，在多个所述分存储区内构建动态扩容表集得到动态扩容数据库，包括：
    计算所述数据数量以指数形式表达的底数和指数；
    根据所述底数划分所述存储区得到多个所述分存储区；
    在多个所述分存储区内构建动态扩容表集，根据预先设定的命名规则，命名所述分存储区和所述动态扩容表集得到动态扩容数据库。
  12. 如权利要求9所述的电子设备，其中，所述指令被所述至少一个处理器执行时还实现如下步骤：
    获取待存储数据集，根据所述分存储区的数量，将所述待存储数据集拆分成与所述分存储区相同数量的分待存储数据集；
    将所述分待存储数据集依次存储至所述动态扩容表集内；
    接收访问所述待存储数据集的访问指令，通过命名规则依次访问所述待存储数据集。
  13. 如权利要求9所述的电子设备，其中，所述对原始数据集进行数据清洗得到标准数据集，包括：
    对所述原始数据集进行缺失值填充、异常值去除、属性区间划分得到所述标准数据集。
  14. 如权利要求13所述的电子设备，其中，所述属性区间划分包括：
    对完成所述缺失值填充及所述异常值去除操作的原始数据集内的数据进行排序；
    利用等宽的区间对排序后的原始数据集进行划分得到多个区间的原始数据集；
    分别计算每个区间的原始数据集的数据均值，并用所述数据均值替代每个区间内的原始数据集内的数据。
  15. 一种计算机可读存储介质，存储有计算机程序，其中，所述计算机程序被处理器执行时实现如下步骤：
    对原始数据集进行数据清洗得到标准数据集；
    计算所述标准数据集的数据大小和数据数量，根据所述数据大小在分布式架构平台内构建数据库；
    根据所述数据数量拆分所述数据库的存储区得到多个分存储区，在多个所述分存储区内构建动态扩容表集得到动态扩容数据库。
  16. 如权利要求15所述的计算机可读存储介质，其中，所述计算所述标准数据集的数据大小和数据数量，根据所述数据大小在分布式架构平台内构建数据库，包括：
    统计所述分布式架构平台内各存储节点的存储量；
    根据所述标准数据集的数据大小和所述存储量计算得到存储节点数量；
    根据所述存储节点数量从所述分布式架构平台内选择节点构建得到所述数据库。
  17. 如权利要求15所述的计算机可读存储介质，其中，所述根据所述数据数量拆分所述数据库的存储区得到多个分存储区，在多个所述分存储区内构建动态扩容表集得到动态扩容数据库，包括：
    计算所述数据数量以指数形式表达的底数和指数；
    根据所述底数划分所述存储区得到多个所述分存储区；
    在多个所述分存储区内构建动态扩容表集，根据预先设定的命名规则，命名所述分存储区和所述动态扩容表集得到动态扩容数据库。
  18. 如权利要求15所述的计算机可读存储介质，其中，所述计算机程序被处理器执行时还实现如下步骤：
    获取待存储数据集，根据所述分存储区的数量，将所述待存储数据集拆分成与所述分存储区相同数量的分待存储数据集；
    将所述分待存储数据集依次存储至所述动态扩容表集内；
    接收访问所述待存储数据集的访问指令，通过命名规则依次访问所述待存储数据集。
  19. 如权利要求15所述的计算机可读存储介质，其中，所述对原始数据集进行数据清洗得到标准数据集，包括：
    对所述原始数据集进行缺失值填充、异常值去除、属性区间划分得到所述标准数据集。
  20. 如权利要求19所述的计算机可读存储介质，其中，所述属性区间划分包括：
    对完成所述缺失值填充及所述异常值去除操作的原始数据集内的数据进行排序；
    利用等宽的区间对排序后的原始数据集进行划分得到多个区间的原始数据集；
    分别计算每个区间的原始数据集的数据均值，并用所述数据均值替代每个区间内的原始数据集内的数据。
PCT/CN2020/099088 2020-03-25 2020-06-30 分布式的数据库动态扩容方法、装置、设备及存储介质 Ceased WO2021189695A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010222406.X 2020-03-25
CN202010222406.XA CN111522801A (zh) 2020-03-25 2020-03-25 分布式的数据库动态扩容方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
WO2021189695A1 true WO2021189695A1 (zh) 2021-09-30

Family

ID=71910438

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/099088 Ceased WO2021189695A1 (zh) 2020-03-25 2020-06-30 分布式的数据库动态扩容方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN111522801A (zh)
WO (1) WO2021189695A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114020214A (zh) * 2021-10-29 2022-02-08 济南浪潮数据技术有限公司 存储集群的扩容方法、装置、电子设备及可读存储介质
CN114238477A (zh) * 2021-12-16 2022-03-25 万洲电气股份有限公司 一种基于工业生产与能耗数据的实时采集及智能处理系统
CN115695166A (zh) * 2022-11-01 2023-02-03 中电云数智科技有限公司 一种大规模存储集群扩容分组方法和装置
CN116166655A (zh) * 2023-04-25 2023-05-26 尚特杰电力科技有限公司 大数据清洗系统
CN116214528A (zh) * 2023-05-10 2023-06-06 深圳市安信达存储技术有限公司 一种人形机器人存储控制方法及控制系统
CN116932622A (zh) * 2023-07-12 2023-10-24 武汉大学中南医院 数据库连接动态分配方法、装置、计算机设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948380A (zh) * 2021-02-24 2021-06-11 深圳壹账通智能科技有限公司 基于大数据的数据存储方法、装置、电子设备及存储介质
CN118244622B (zh) * 2024-05-21 2024-08-06 凯茨姆阀门集团有限公司 一种通过调节阀门开度自动调流调压的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105323111A (zh) * 2015-11-17 2016-02-10 南京南瑞集团公司 一种运维自动化系统及方法
CN106959948A (zh) * 2016-01-08 2017-07-18 普华诚信信息技术有限公司 针对分布式特性对大数据进行预处理的系统及其预处理方法
US20180225346A1 (en) * 2015-07-15 2018-08-09 Zte Corporation Data processing method, device and system
CN110674101A (zh) * 2019-09-27 2020-01-10 北京金山云网络技术有限公司 文件系统的数据处理方法、装置和云服务器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106708439A (zh) * 2016-12-23 2017-05-24 深圳市中博科创信息技术有限公司 一种分布式文件系统中节点选择计算方法及系统
CN107993151B (zh) * 2018-01-17 2020-12-29 平安科技（深圳）有限公司 基金交易清算方法、装置、设备及计算机可读存储介质
CN109471863B (zh) * 2018-11-12 2021-07-20 北京懿医云科技有限公司 基于分布式数据库的信息查询方法及装置、电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180225346A1 (en) * 2015-07-15 2018-08-09 Zte Corporation Data processing method, device and system
CN105323111A (zh) * 2015-11-17 2016-02-10 南京南瑞集团公司 一种运维自动化系统及方法
CN106959948A (zh) * 2016-01-08 2017-07-18 普华诚信信息技术有限公司 针对分布式特性对大数据进行预处理的系统及其预处理方法
CN110674101A (zh) * 2019-09-27 2020-01-10 北京金山云网络技术有限公司 文件系统的数据处理方法、装置和云服务器

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114020214A (zh) * 2021-10-29 2022-02-08 济南浪潮数据技术有限公司 存储集群的扩容方法、装置、电子设备及可读存储介质
CN114238477A (zh) * 2021-12-16 2022-03-25 万洲电气股份有限公司 一种基于工业生产与能耗数据的实时采集及智能处理系统
CN115695166A (zh) * 2022-11-01 2023-02-03 中电云数智科技有限公司 一种大规模存储集群扩容分组方法和装置
CN116166655A (zh) * 2023-04-25 2023-05-26 尚特杰电力科技有限公司 大数据清洗系统
CN116214528A (zh) * 2023-05-10 2023-06-06 深圳市安信达存储技术有限公司 一种人形机器人存储控制方法及控制系统
CN116214528B (zh) * 2023-05-10 2023-10-03 深圳市安信达存储技术有限公司 一种人形机器人存储控制方法及控制系统
CN116932622A (zh) * 2023-07-12 2023-10-24 武汉大学中南医院 数据库连接动态分配方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111522801A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
WO2021189695A1 (zh) 分布式的数据库动态扩容方法、装置、设备及存储介质
CN102968503B (zh) 数据库系统的数据处理方法以及数据库系统
CN111309825A (zh) 数据聚类的存储方法、装置及计算机可读存储介质
CN101566986A (zh) 联机事务处理中的数据处理方法和装置
KR102648743B1 (ko) 인-네트워크 관리 장치, 네트워크 스위치, 인-네트워크 데이터 집약 시스템 및 방법
JP2017526027A (ja) クラスタリング記憶方法および装置
CN105630803B (zh) 文档型数据库建立索引的方法和装置
CN112699142A (zh) 冷热数据处理方法、装置、电子设备及存储介质
US20240329926A1 (en) Method and device for acquiring comprehensive arrangement data of multi-column data
CN110471900A (zh) 数据处理方法及终端设备
WO2016134580A1 (zh) 一种数据查询方法及装置
CN114185895A (zh) 数据导入导出方法、装置、电子设备及存储介质
WO2021189694A1 (zh) 用户智能化分层方法、装置、电子设备及可读存储介质
CN103714121A (zh) 一种索引记录的管理方法及装置
CN107273443A (zh) 一种基于大数据模型元数据的混合索引方法
CN112148792A (zh) 一种基于HBase的分区数据调整方法、系统及终端
CN106383826A (zh) 数据库查询方法和装置
WO2022160443A1 (zh) 谱系挖掘方法、装置、电子设备及计算机可读存储介质
CN107807938A (zh) 一种数据表的处理方法及装置
CN103124279B (zh) 资源信息的输出方法和系统
CN112925753A (zh) 文件追加写入方法、装置、电子设备及存储介质
CN116049180A (zh) 面向Paas平台的租户数据处理方法及装置
CN117171265B (zh) 基于异构计算的分布式存储方法、系统、设备及介质
CN112667570A (zh) 文件访问方法、装置、设备及可读存储介质
CN110659286A (zh) 基于弱平衡空间树动态空间索引方法及其存储介质、装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20926972

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20926972

Country of ref document: EP

Kind code of ref document: A1