WO2021036449A1 - 维度数据处理方法、装置、计算机设备和存储介质 - Google Patents
维度数据处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- WO2021036449A1 WO2021036449A1 PCT/CN2020/097835 CN2020097835W WO2021036449A1 WO 2021036449 A1 WO2021036449 A1 WO 2021036449A1 CN 2020097835 W CN2020097835 W CN 2020097835W WO 2021036449 A1 WO2021036449 A1 WO 2021036449A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- dimension
- target
- dimension table
- dimensional
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
Definitions
- This application relates to the technical field of data warehouses, in particular to a dimensional data processing method, device, computer equipment and storage medium.
- the data center is a data platform that collects, calculates, stores, and processes massive amounts of data through data technology.
- the basis of the data center is the data warehouse, and the dimensional data is the most important basic data of the data warehouse. How to define and manage the dimensional data of the data warehouse is an important part of building a good data warehouse. In the current data management system of the data warehouse, there is a lack of effective management of the dimensional data of the data warehouse, which leads to the low efficiency of the data processing process when the data warehouse is used to build the data center.
- a method for processing dimensional data in a data warehouse comprising:
- the data service corresponding to the target dimension table is set according to the first dimension data and the second dimension data of the target dimension table, and the data service includes a first data service established according to the first dimension data and A second data service established based on the second dimension data.
- the setting the dimensional parameters of the target dimensional table according to preset dimensional attribute information to obtain the first dimensional data includes:
- the setting the data service corresponding to the target dimension table according to the first dimension data and the second dimension data of the target dimension table includes:
- the first data service for querying field data in the target dimension table according to the dimensional parameters is set according to the first dimension data of the target dimension table.
- the setting the data service corresponding to the target dimension table according to the first dimension data and the second dimension data of the target dimension table includes:
- the second data service for querying data in the target dimension table according to the data table parameters is set according to the second dimension data of the target dimension table.
- the method further includes:
- the data service corresponding to the target dimension table includes a third data service, and the third data service is data set according to the third dimension data and querying the corresponding field data in the target dimension table according to the field parameters service.
- the setting the data service corresponding to the target dimension table according to the first dimension data and the second dimension data of the target dimension table includes:
- the data connection service is used for data connection between the data in the target dimension table and data other than the target dimension table by invoking an association method according to the first dimension data and/or the second dimension data.
- the method further includes:
- a preset detection task is called to monitor the quality of the data in the target dimension table.
- a dimensional data processing device of a data warehouse comprising:
- the acquisition module is used to acquire the target dimension table of the data warehouse
- the first setting module is configured to set the dimension parameters of the target dimension table according to preset dimension attribute information to obtain first dimension data
- the second setting module is configured to set the data table parameters of the target dimension table according to the preset dimension table attribute information to obtain the second dimension data;
- a data service setting module configured to set a data service corresponding to the target dimension table according to the first dimension data and the second dimension data of the target dimension table, the data service including data service according to the first dimension The first data service established and the second data service established according to the second dimension data.
- a computer device includes a memory, a processor, and a computer program that is stored on the memory and can run on the processor, and the processor implements the steps of the method described in any of the foregoing embodiments when the processor executes the computer program.
- a computer-readable storage medium has a computer program stored thereon, and when the computer program is executed by a processor, the steps of the method described in any of the foregoing embodiments are implemented.
- the above-mentioned dimensional data processing method, device, computer equipment and storage medium set the dimensional parameters of the target dimensional table according to the preset dimensional attribute information to obtain the first dimensional data, thereby performing unified management of the data dimensions of the target dimensional table.
- the data table parameters of the target dimension table are set according to the preset dimension table attribute information, and the second dimension data is obtained, so that the table dimensions of the target dimension table are managed in a unified manner.
- the data service corresponding to the target dimension table is set according to the first dimension data and the second dimension data of the target dimension table, so as to realize the feedback of the data of the first dimension data and the second dimension data in the target dimension table according to the data service request service. Therefore, data management and data processing of the dimensional data of the data warehouse are realized.
- Fig. 1 is an application environment diagram of a dimensional data processing method of a data warehouse in an embodiment
- FIG. 2 is a schematic flowchart of a method for processing dimensional data in a data warehouse in an embodiment
- FIG. 3 is a schematic diagram of a dimension information display page of preset dimension attribute information in an embodiment
- FIG. 4 is a schematic diagram of a dimension table information display page of preset dimension table attribute information in an embodiment
- FIG. 5 is a schematic diagram of a display page of dimension value information of field attribute information of a preset dimension table in an embodiment
- FIG. 6 is a structural block diagram of a dimensional data processing device of a data warehouse in an embodiment
- Fig. 7 is an internal structure diagram of a computer device in an embodiment.
- the dimensional data processing method of a data warehouse can be applied to the application environment as shown in FIG. 1.
- the data source terminal 20 communicates with the database device 10 through the network 30 through the network.
- the data source terminal 20 can be, but is not limited to, various personal computers, notebook computers, smart phones, tablet computers, and portable wearable devices.
- a data warehouse is provided inside the database device 10 for storing various data uploaded by the data source terminal 20 and stored in the data warehouse.
- the data warehouse contains dimension tables. Dimension tables are used to store different types of data.
- the database device 10 can be implemented by an independent data management server or a data management server cluster composed of multiple data management servers, and is used to store and manage the data uploaded by the data source terminal 20.
- the data management device 40 communicates with the database device 10 through a network, and is used to send data processing instructions to the database device 10 to instruct the database device 10 to perform corresponding data processing on the data in the data warehouse.
- a method for processing dimensional data in a data warehouse is provided. Taking the method applied to the data warehouse 10 in FIG. 1 as an example for description, the method includes the following steps:
- the data warehouse stores multiple dimension tables for storing multiple types of data.
- the dimension table is set by the technical staff according to the user's needs.
- each dimension and the parameter information corresponding to each dimension are not clearly defined.
- the data management server also has no standardized dimension management for the dimension tables of the data warehouse. Therefore, the utilization of data in the data warehouse cannot cover the dimensional data service requirements in various scenarios.
- the data management server obtains the target dimension table of the data warehouse. Specifically, each dimension table has identifying information, such as the name of the dimension table, the number of the dimension table, and so on. The data management server obtains the target dimension table through the identifying information.
- S200 Set the dimension parameters of the target dimension table according to the preset dimension attribute information to obtain the first dimension data.
- the data management server stores various preset dimension attribute information.
- the preset dimension attribute information is used to set the dimension of the dimension table in the data warehouse.
- the data management server obtains corresponding preset dimension attribute information from various preset dimension attribute information according to the characteristics of the target dimension table, and sets the dimensional parameters of the target dimension table according to the preset dimension attribute information, thereby obtaining the first Dimensional data.
- the preset dimension attribute information may include dimension name information, dimension description information, business domain information to which data recorded by the dimension belongs, dimension type information, and the like.
- Different dimension tables have different preset dimension attribute information according to different characteristics of the dimension tables.
- the dimension parameters of the target dimension table are set according to the corresponding preset dimension attribute information, and the value of the dimension parameter of the target dimension table is determined, so that the data dimensions of the target dimension table are unifiedly managed according to the preset dimension attribute information.
- step S200 includes: defining the dimension parameters of the target dimension table according to the preset dimension attribute information, and mapping the dimension parameters with the field data in the target dimension table, and using the data corresponding to the mapped dimension parameters as The first dimension of data.
- the data management server defines the dimension parameters of the target dimension table according to the preset dimension attribute information. As shown in Figure 3, such as dimension value encoding, dimension value name, dimension value order, dimension value effective time, dimension value expiration time, etc. Further, the dimension parameter is mapped with the field data in the target dimension table, and the corresponding field data in the target dimension table is used as the first dimension data. Therefore, it is possible to further combine the dimensions and data of the target dimension table to manage dimensional data.
- setting the data service corresponding to the target dimension table according to the first dimension data and the second dimension data of the target dimension table includes: setting the data service corresponding to the target dimension table according to the first dimension data of the target dimension table to query the target according to the dimension parameters The first data service for the field data in the dimension table.
- the data management server maps the dimension parameter with the field data in the target dimension table, and uses the data corresponding to the dimension parameter after the mapping as the first dimension data.
- the first data service is a data service that queries the field data in the target dimension table according to the dimension parameters, and can query the field data in the target dimension table according to the dimension parameters. See Figure 3 for details. Therefore, the efficiency of data processing on the dimensional data of the data warehouse can be improved.
- the dimensional data processing method of the data warehouse further includes: setting the dimensional related characteristics of the target dimensional table according to preset dimensional attribute information to obtain dimensional characteristic data, wherein the first dimensional data includes dimensional characteristic data.
- the data management server not only sets the dimension parameters of the target dimension table according to the preset dimension attribute information, but also sets the dimension-related characteristics of the target dimension table according to the preset dimension attribute information, and assigns the data obtained after the two settings to the first dimension Data, and then establish a first data service based on the first dimension data. Therefore, the management of the dimensional data of the target dimensional table is more standardized, and the data processing efficiency when using the dimensional data of the target dimensional table to perform the first data service process is improved.
- the dimension-related characteristics of the target dimension table include the date dimension. Setting the dimension-related characteristics of the target dimension table according to the preset dimension attribute information includes setting the time format of the date dimension and the granularity of the date dimension.
- S300 Set the data table parameters of the target dimension table according to the attribute information of the preset dimension table to obtain the second dimension data.
- the data management server stores various preset dimension table attribute information.
- the attribute information of the preset dimension table is used to set the data table parameters of the dimension table in the data warehouse.
- the data management server obtains corresponding preset dimension table attribute information from multiple preset dimension table attribute information according to the characteristics of the target dimension table, and sets the data table parameters of the target dimension table according to the preset dimension table attribute information, In order to obtain the second dimension data.
- the attribute information of the preset dimension table may include the name of the data table, the configuration type of the data table, and the like.
- the configuration types of the data table include manual configuration and non-manual configuration.
- S400 Set a data service corresponding to the target dimension table according to the first dimension data and the second dimension data of the target dimension table.
- the data service includes a first data service established according to the first dimension data and second data established according to the second dimension data. service.
- the data service corresponding to the target dimension table is further set.
- the data service is used to call the data in the target dimension table according to the received data service request to realize the feedback of the corresponding data service.
- data services are determined based on business needs.
- the data service includes a first data service established according to the first dimension data and a second data service established according to the second dimension data. That is, for the dimension parameters set according to the preset dimension attribute information and the data table parameters set according to the preset dimension table attribute information, the data management server establishes different data services respectively according to the two.
- the data management server not only performs dimension management on the target dimension table, but also performs corresponding data processing on the dimension data after dimension management, so that the management of the dimension data of the target dimension table in the data warehouse is more standardized, which is beneficial to improve The efficiency of data processing for the data warehouse.
- step S400 includes: setting a second data service for querying data in the target dimension table according to data table parameters according to the second dimension data of the target dimension table.
- the second data service can query the data in the target dimension table according to the data table parameters. For example, you can participate in the table structure data of the target dimension table according to the data table name in the data table parameter. Therefore, the dimensional data processing efficiency of the target dimensional table can be improved.
- the data service corresponding to the target dimension table set by the data management server includes:
- Data service 1 Dimensional information service, which specifically queries dimension information based on dimension codes.
- Data service 2 Dimension table information service, which specifically queries the dimension table information service according to the data table name of the data warehouse.
- Data service 3 Dimension value encoding and dimension value name conversion service, as shown below:
- Data service 4 Dimension value search service, as shown below:
- the dimensional parameters of the target dimensional table are set according to the preset dimensional attribute information to obtain the first dimensional data, so that the data dimensions of the target dimensional table are uniformly managed.
- the data table parameters of the target dimension table are set according to the preset dimension table attribute information, and the second dimension data is obtained, so that the table dimensions of the target dimension table are managed in a unified manner.
- the data service corresponding to the target dimension table is set according to the first dimension data and the second dimension data of the target dimension table, so as to realize the feedback of the data of the first dimension data and the second dimension data in the target dimension table according to the data service request service. Therefore, data management and data processing of the dimensional data of the data warehouse are realized.
- the dimensional data processing method further includes: setting the field parameters of the target dimensional table according to the preset dimensional table field attribute information to obtain the third dimensional data.
- the data service corresponding to the target dimension table includes a third data service
- the third data service is a data service that is set according to the third dimension data and queries corresponding field data in the target dimension table according to field parameters.
- the data management server not only sets the dimension parameters of the target dimension table and the data table parameters correspondingly, but also sets the field parameters of the target dimension table according to the preset dimension table field attribute information, and at the same time sets the field parameters according to the third dimension data.
- the target dimension table corresponds to the third data service that queries the corresponding field data in the target dimension table according to the field parameters. See Figure 5 for details. Therefore, the dimensional data processing efficiency of the target dimensional table can be improved.
- step S400 includes: setting a data connection service corresponding to the target dimension table according to the first dimension data and the second dimension data of the target dimension table.
- the data connection service is used for data connection between data in the target dimension table and data other than the target dimension table by invoking an association method according to the first dimension data and/or the second dimension data.
- the data connection service is realized through the real-time dimension table join service plug-in.
- the plug-in is provided in the form of a jar package and supports mainstream real-time processing frameworks.
- the related data is transferred by calling the correlation method. For example, according to the dimension table name, dimension code, and dimension value code, the corresponding dimension table name, dimension code, and dimension value code are transmitted, and table data information is obtained in real time, and real-time join operation is performed.
- the dimensional data processing method further includes: collecting dimensional data from the set target dimensional table, and storing the dimensional data in a unified database.
- step S400 includes: setting a data service according to the dimensional data in the unified database.
- the data management server sets the dimensional parameters of the target dimensional table and the data table parameters, it automatically generates a spark task, uses the spark task to collect dimensional table data, and stores the data in the Hbase database and the Es database.
- Hbase database and Es database are data storage databases in a unified database.
- set up data services based on the consolidated database Therefore, the data in the data warehouse can be managed uniformly.
- the dimensional data processing method further includes: according to a preset monitoring rule, calling a preset detection task to monitor the quality of the data in the target dimension table.
- the data management server performs data quality monitoring on the data in the target dimension table.
- the monitoring method is to configure preset monitoring rules and generate corresponding preset detection tasks, and perform quality monitoring on the data in the target dimension table by scheduling the preset detection tasks. If there is a quality problem with the data in the target dimension table, you want the alarm center to send alarm information. When the alarm center receives the alarm information, it sends the alarm information to the person in charge. Therefore, the quality of the data in the target dimension table in the data warehouse can be monitored, and the management quality of the data in the data warehouse can be improved.
- a dimensional data processing device for a data warehouse including: an acquisition module 100, a first setting module 200, a second setting module 300, and a data service setting module 400, wherein:
- the obtaining module 100 is used to obtain the target dimension table of the data warehouse.
- the first setting module 200 is configured to set the dimensional parameters of the target dimensional table according to the preset dimensional attribute information to obtain the first dimensional data.
- the second setting module 300 is configured to set the data table parameters of the target dimension table according to the attribute information of the preset dimension table to obtain the second dimension data.
- the data service setting module 400 is configured to set the data service corresponding to the target dimension table according to the first dimension data and the second dimension data of the target dimension table.
- the data service includes the first data service established according to the first dimension data and the data service according to the second dimension.
- the second data service established by data.
- the first setting module 200 may include (not shown in FIG. 6):
- the first setting unit is used to define the dimension parameters of the target dimension table according to the preset dimension attribute information, and map the dimension parameters with the field data in the target dimension table, and use the data corresponding to the mapped dimension parameters as the first dimension data .
- the data service module 400 may include:
- the first data service unit is configured to set a first data service for querying field data in the target dimension table according to the dimension parameters according to the first dimension data of the target dimension table.
- the data service module 400 may include (not shown in Figure 6):
- the second data service unit is configured to set a second data service for querying data in the target dimension table according to data table parameters according to the second dimension data of the target dimension table.
- the dimensional data processing device of the data warehouse further includes (not shown in Figure 6):
- the third setting module is used to set the field parameters of the target dimension table according to the field attribute information of the preset dimension table to obtain the third dimension data;
- the third data service unit is used to set the data service corresponding to the target dimension table according to the first dimension data, the second dimension data and the third dimension data of the target dimension table.
- the data service includes query according to field parameters set according to the third dimension data The third data service of the corresponding field data in the target dimension table.
- the data service module 400 may include (not shown in Figure 6):
- the fourth data service unit is used for setting the data connection service corresponding to the target dimension table according to the first dimension data and the second dimension data of the target dimension table, and the data connection service is used for according to the first dimension data and/or the second dimension data, Call the association method to connect the data of the target dimension table with other data.
- the dimensional data processing device of the data warehouse further includes (not shown in Figure 6):
- the monitoring module is used to call a preset detection task to monitor the quality of the data in the target dimension table according to the preset monitoring rule.
- Each module in the above-mentioned dimensional data processing device of the data warehouse can be implemented in whole or in part by software, hardware and a combination thereof.
- the above-mentioned modules may be embedded in the form of hardware or independent of the processor in the computer equipment, or may be stored in the memory of the computer equipment in the form of software, so that the processor can call and execute the operations corresponding to the above-mentioned modules.
- a computer device is provided.
- the computer device may be a data management server.
- the internal structure diagram of the computer device may be as shown in FIG. 7.
- the computer equipment includes a processor, a memory, a network interface, and a database connected through a system bus. Among them, the processor of the computer device is used to provide calculation and control capabilities.
- the memory of the computer device includes a non-volatile storage medium and an internal memory.
- the non-volatile storage medium stores an operating system, a computer program, and a database.
- the internal memory provides an environment for the operation of the operating system and computer programs in the non-volatile storage medium.
- the network interface of the computer device is used to communicate with an external data source terminal through a network connection to receive data uploaded by the data source terminal.
- the computer program is executed by the processor to realize a dimensional data processing method of the data warehouse.
- FIG. 7 is only a block diagram of a part of the structure related to the solution of the present application, and does not constitute a limitation on the computer device to which the solution of the present application is applied.
- the specific computer device may Including more or less parts than shown in the figure, or combining some parts, or having a different arrangement of parts.
- a computer device including a memory, a processor, and a computer program stored in the memory and capable of running on the processor, and the processor implements the following steps when the processor executes the computer program:
- the data service corresponding to the target dimension table is set according to the first dimension data and the second dimension data of the target dimension table.
- the data service includes a first data service established according to the first dimension data and a second data service established according to the second dimension data.
- the processor executes a computer program to set the dimensional parameters of the target dimensional table according to the preset dimensional attribute information, and when the first dimensional data is obtained, the following steps are further implemented:
- the dimension parameters of the target dimension table are defined according to the preset dimension attribute information, the dimension parameters are mapped with the field data in the target dimension table, and the data corresponding to the dimension parameters after the mapping is used as the first dimension data.
- the processor executes the computer program to implement setting the data service corresponding to the target dimension table according to the first dimension data and the second dimension data of the target dimension table, the following steps are also implemented:
- the first data service for querying the field data in the target dimension table according to the dimension parameters is set.
- the processor executes the computer program to implement the following steps when setting the data service corresponding to the target dimension table according to the first dimension data and the second dimension data of the target dimension table:
- the second data service for querying data in the target dimension table according to the data table parameters is set according to the second dimension data of the target dimension table.
- the data service corresponding to the target dimension table includes a third data service, and the third data service is a data service that is set according to the third dimension data and queries corresponding field data in the target dimension table according to field parameters.
- the processor executes the computer program to implement the following steps when setting the data service corresponding to the target dimension table according to the first dimension data and the second dimension data of the target dimension table:
- the data connection service is used for data connection between data in the target dimension table and data other than the target dimension table by invoking an association method according to the first dimension data and/or the second dimension data.
- the processor executes the computer program and further implements the following steps:
- a computer-readable storage medium on which a computer program is stored, and when the computer program is executed by a processor, the method for processing dimensional data in a data warehouse described in any of the above embodiments is implemented.
- a computer-readable storage medium on which a computer program is stored, and when the computer program is executed by a processor, the following steps are implemented:
- the data service corresponding to the target dimension table is set according to the first dimension data and the second dimension data of the target dimension table.
- the data service includes a first data service established according to the first dimension data and a second data service established according to the second dimension data.
- the computer program is executed by the processor to set the dimensional parameters of the target dimensional table according to the preset dimensional attribute information, and when the first dimensional data is obtained, the following steps are further implemented:
- the dimension parameters of the target dimension table are defined according to the preset dimension attribute information, the dimension parameters are mapped with the field data in the target dimension table, and the data corresponding to the dimension parameters after the mapping is used as the first dimension data.
- the computer program is executed by the processor, and when the data service corresponding to the target dimension table is set according to the first dimension data and the second dimension data of the target dimension table, the following steps are further implemented:
- the first data service for querying the field data in the target dimension table according to the dimension parameters is set.
- the computer program is executed by the processor, and when the data service corresponding to the target dimension table is set according to the first dimension data and the second dimension data of the target dimension table, the following steps are further implemented:
- the second data service for querying data in the target dimension table according to the data table parameters is set according to the second dimension data of the target dimension table.
- the data service corresponding to the target dimension table includes a third data service
- the third data service is a data service that is set according to the third dimension data and queries corresponding field data in the target dimension table according to field parameters.
- the computer program is executed by the processor to implement the following steps when setting the data service corresponding to the target dimension table according to the first dimension data and the second dimension data of the target dimension table:
- the data connection service is used to connect data in the target dimension table with data other than the target dimension table by invoking an association method according to the first dimension data and/or the second dimension data.
- Non-volatile memory may include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
- Volatile memory may include random access memory (RAM) or external cache memory.
- RAM is available in many forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronous chain Channel (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM), etc.
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种维度数据处理方法、装置、计算机设备和存储介质。所述方法包括：获取数据仓库的目标维度表；根据预设维度属性信息设置所述目标维度表的维度参数，得到第一维度数据；根据预设维度表属性信息设置所述目标维度表的数据表参数，得到第二维度数据；根据所述目标维度表的所述第一维度数据和所述第二维度数据设置所述目标维度表对应的数据服务，所述数据服务包括根据所述第一维度数据建立的第一数据服务和根据所述第二维度数据建立的第二数据服务。上述方法能够对数据仓库的维度数据进行数据管理并进行数据处理。
Description
本申请涉及数据仓库技术领域，特别是涉及一种维度数据处理方法、装置、计算机设备和存储介质。
数据中台为通过数据技术对海量数据进行采集、计算、存储以及加工等的数据平台。随着数据中台的日益普及，建设数据中台是数据中心的重点建设目标。数据中台的基础是数据仓库，而维度数据又是数据仓库最重要的基础数据，如何定义和管理数据仓库的维度数据，是建设好数据仓库的重要部分。当下数据仓库的数据管理系统中，缺乏对数据仓库的维度数据的有效管理，从而导致利用数据仓库建设数据中台时数据处理过程效率较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够对数据仓库的维度数据进行数据管理并进行数据处理的维度数据处理方法、装置、计算机设备和存储介质。
一种数据仓库的维度数据处理方法，所述方法包括：
获取数据仓库的目标维度表；
根据预设维度属性信息设置所述目标维度表的维度参数，得到第一维度数据；
根据预设维度表属性信息设置所述目标维度表的数据表参数，得到第二维度数据；
根据所述目标维度表的所述第一维度数据和所述第二维度数据设置所 述目标维度表对应的数据服务，所述数据服务包括根据所述第一维度数据建立的第一数据服务和根据所述第二维度数据建立的第二数据服务。
在其中一个实施例中，所述根据预设维度属性信息设置所述目标维度表的维度参数，得到第一维度数据，包括：
根据预设维度属性信息定义出所述目标维度表的维度参数，并将所述维度参数与所述目标维度表中的字段数据进行映射，将映射后所述维度参数对应的数据作为所述第一维度数据。
在其中一个实施例中，所述根据所述目标维度表的所述第一维度数据和所述第二维度数据设置所述目标维度表对应的数据服务，包括：
根据所述目标维度表的所述第一维度数据设置根据所述维度参数查询所述目标维度表中字段数据的所述第一数据服务。
在其中一个实施例中，所述根据所述目标维度表的所述第一维度数据和所述第二维度数据设置所述目标维度表对应的数据服务，包括：
根据所述目标维度表的所述第二维度数据设置根据所述数据表参数查询所述目标维度表中数据的所述第二数据服务。
在其中一个实施例中，所述方法还包括：
根据预设维度表字段属性信息设置所述目标维度表的字段参数，得到第三维度数据；
所述目标维度表对应的数据服务包括第三数据服务，所述第三数据服务为根据所述第三维度数据设置的且根据所述字段参数查询所述目标维度表中的对应字段数据的数据服务。
在其中一个实施例中，所述根据所述目标维度表的所述第一维度数据和所述第二维度数据设置所述目标维度表对应的数据服务，包括：
根据所述目标维度表的所述第一维度数据和所述第二维度数据设置所述目标维度表对应的数据连接服务；
所述数据连接服务用于根据所述第一维度数据和/或所述第二维度数据，通过调用关联方法将所述目标维度表中数据与所述目标维度表以外的 其他数据进行数据连接。
在其中一个实施例中，所述方法还包括：
根据预设监控规则，调用预设检测任务对所述目标维度表中的数据进行质量监控。
一种数据仓库的维度数据处理装置，所述装置包括：
获取模块，用于获取数据仓库的目标维度表；
第一设置模块，用于根据预设维度属性信息设置所述目标维度表的维度参数，得到第一维度数据；
第二设置模块，用于根据预设维度表属性信息设置所述目标维度表的数据表参数，得到第二维度数据；
数据服务设置模块，用于根据所述目标维度表的所述第一维度数据和所述第二维度数据设置所述目标维度表对应的数据服务，所述数据服务包括根据所述第一维度数据建立的第一数据服务和根据所述第二维度数据建立的第二数据服务。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例所述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法的步骤。
上述维度数据处理方法、装置、计算机设备和存储介质，根据预设维度属性信息设置目标维度表的维度参数，得到第一维度数据，从而对目标维度表的数据维度进行统一管理。此外，根据预设维度表属性信息设置目标维度表的数据表参数，得到第二维度数据，从而对目标维度表的表维度进行统一管理。进一步地，根据目标维度表的第一维度数据和第二维度数据设置该目标维度表对应的数据服务，以实现根据数据服务请求反馈目标维度表中的第一维度数据和第二维度数据的数据服务。因此，实现了对数据仓库的维度数据进行数据管理以及数据处理。
图1为一个实施例中一种数据仓库的维度数据处理方法的应用环境图；
图2为一个实施例中一种数据仓库的维度数据处理方法的流程示意图；
图3为一个实施例中预设维度属性信息的维度信息展示页面示意图；
图4为一个实施例中预设维度表属性信息的维度表信息展示页面示意图；
图5为一个实施例中预设维度表字段属性信息的维度值信息展示页面示意图；
图6为一个实施例中一种数据仓库的维度数据处理装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的一种数据仓库的维度数据处理方法，可以应用于如图1所示的应用环境中。其中，数据源终端20通过网络30与数据库设备10通过进行网络通信。数据源终端20可以为多个，用于向数据库设备10上传多种数据。其中，数据源终端20可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。数据库设备10内部设置有数据仓库，用于存储数据源终端20上传的存储在数据仓库的多种数据。数据仓库中包含有维度表。维度表用于存储不同类型的数据。数据库设备10可以用独立的数据管理服务器或者是多个数据管理服务器组成的数据管理服务器集群来实现，用于存储并管理数据源终端20上传的数据。 此外，数据管理设备40与数据库设备10网络通信，用于向数据库设备10发送数据处理指令，以指示数据库设备10对数据仓库内的数据进行对应的数据处理。
在一个实施例中，如图2所示，提供了一种数据仓库的维度数据处理方法，以该方法应用于图1中的数据仓库10为例进行说明，包括以下步骤：
S100，获取数据仓库的目标维度表。
数据仓库存储有多个维度表，用于存储多种类型的数据。维度表由技术人员按照用户需求进行设置。但是，多个维度表中，没有明确定义出各个维度以及各个维度对应的参数信息。数据管理服务器对数据仓库的维度表也没有规范的维度管理。因此，使得数据仓库中的数据的利用，不能覆盖各场景下的维度数据服务需求。在本实施例中，数据管理服务器获取数据仓库的目标维度表。具体地，每个维度表具有标识性信息，如维度表名称、维度表编号等。数据管理服务器通过标识性信息获取目标维度表。
S200，根据预设维度属性信息设置目标维度表的维度参数，得到第一维度数据。
在本实施例中，数据管理服务器存储有多种预设维度属性信息。预设维度属性信息用于对数据仓库中的维度表进行维度设置。数据管理服务器根据目标维度表的特性，从多种预设维度属性信息中获取对应的预设维度属性信息，并根据该预设维度属性信息对目标维度表的维度参数进行设置，从而得到第一维度数据。其中，如图3所示，预设维度属性信息可以包括维度名称信息、维度描述信息、维度记载的数据所属的业务领域信息以及维度类型信息等。不同的维度表，根据维度表的不同特性，其预设维度属性信息也不同。根据对应的预设维度属性信息对目标维度表的维度参数进行设置，确定出目标维度表的维度参数的数值，从而根据预设维度属性信息对目标维度表的数据维度进行统一管理。
在一实施例中，步骤S200，包括：根据预设维度属性信息定义出目标维度表的维度参数，并将维度参数与目标维度表中的字段数据进行映射， 将映射后维度参数对应的数据作为第一维度数据。
具体地，数据管理服务器根据预设维度属性信息定义出目标维度表的维度参数。如图3所示，如维度值编码、维度值名称、维度值顺序、维度值生效时间、维度值失效时间等。进一步地，将该维度参数与目标维度表中的字段数据进行映射，将目标维度表中对应字段数据作为第一维度数据。因此，可以进一步结合目标维度表的维度以及数据进行维度数据的管理。
在该实施例的一实施方式中，根据目标维度表的第一维度数据和第二维度数据设置目标维度表对应的数据服务，包括：根据目标维度表的第一维度数据设置根据维度参数查询目标维度表中字段数据的第一数据服务。
具体地，数据管理服务器将维度参数与目标维度表中的字段数据进行映射，将映射后维度参数对应的数据作为第一维度数据。此时，第一数据服务为根据维度参数查询目标维度表中字段数据的数据服务，能够实现根据维度参数查询目标维度表中字段数据。具体参见图3所示。因此，可以提高对数据仓库的维度数据的数据处理的效率。
在一实施例中，数据仓库的维度数据处理方法，还包括：根据预设维度属性信息设置目标维度表的维度相关特性，得到维度特性数据，其中，第一维度数据包括维度特性数据。
具体地，数据管理服务器不仅根据预设维度属性信息设置目标维度表的维度参数，还根据预设维度属性信息设置目标维度表的维度相关特性，将两者设置后得到的数据归属于第一维度数据，进而根据第一维度数据建立第一数据服务。因此，使得目标维度表的维度数据的管理更加规范，进而提高利用该目标维度表的维度数据的进行第一数据服务过程时的数据处理效率。其中，目标维度表的维度相关特性包括日期维度。根据预设维度属性信息设置目标维度表的维度相关特性包括设置日期维度的时间格式和日期维度的粒度。
S300，根据预设维度表属性信息设置目标维度表的数据表参数，得到第二维度数据。
在本实施例中，数据管理服务器存储有多种预设维度表属性信息。预设维度表属性信息用于对数据仓库中的维度表的数据表参数进行设置。数据管理服务器根据目标维度表的特性，从多种预设维度表属性信息中获取对应的预设维度表属性信息，并根据该预设维度表属性信息对目标维度表的数据表参数进行设置，从而得到第二维度数据。其中，如图4所示，预设维度表属性信息可以包括数据表的名称、数据表的配置类型等。数据表的配置类型包括手工配置和非手工配置。根据对应的预设维度表属性信息对目标维度表的数据表参数进行设置，确定出目标维度表的数据表参数的数值，从而根据预设维度表属性信息对目标维度表的数据维度进行统一管理。
S400，根据目标维度表的第一维度数据和第二维度数据设置目标维度表对应的数据服务，数据服务包括根据第一维度数据建立的第一数据服务和根据第二维度数据建立的第二数据服务。
在本实施例中，当数据管理服务器对目标维度表的维度参数以及数据表参数设置完成之后，进一步设置该目标维度表对应的数据服务。数据服务用于根据接收到的数据服务请求，调用目标维度表中的数据，以实现反馈对应的数据服务。一般地，数据服务基于业务需求确定。数据服务包括根据第一维度数据建立的第一数据服务和根据第二维度数据建立的第二数据服务。也即是，对于根据预设维度属性信息设置后的维度参数，以及根据预设维度表属性信息设置后的数据表参数，数据管理服务器分别根据这两者建立不同的数据服务。因此，数据管理服务器不仅对目标维度表进行了维度管理，还对维度管理后的维度数据进行了对应的数据处理，从而使得数据仓库中的目标维度表的维度数据的管理更加规范，有利于提高针对数据仓库的数据处理的效率。
在一实施例中，步骤S400，包括：根据目标维度表的第二维度数据设置根据数据表参数查询目标维度表中数据的第二数据服务。
在该实施例中，第二数据服务可以根据数据表参数查询目标维度表中 的数据。如，可以根据数据表参数中的数据表名称参与该目标维度表的表结构数据。因此，可以提高对目标维度表的维度数据处理效率。
在一具体实施方式中，数据管理服务器设置的目标维度表对应的数据服务包括：
数据服务1：维度信息服务，具体根据维度编码查询维度信息。
数据服务2：维度表信息服务，具体根据数据仓库的数据表名称，查询维度表信息服务。
数据服务3：维度值编码与维度值名称转换服务，如下所示：
数据服务4：维度值搜索服务，如下所示：
上述维度数据处理方法，根据预设维度属性信息设置目标维度表的维度参数，得到第一维度数据，从而对目标维度表的数据维度进行统一管理。此外，根据预设维度表属性信息设置目标维度表的数据表参数，得到第二维度数据，从而对目标维度表的表维度进行统一管理。进一步地，根据目标维度表的第一维度数据和第二维度数据设置该目标维度表对应的数据服务，以实现根据数据服务请求反馈目标维度表中的第一维度数据和第二维度数据的数据服务。因此，实现了对数据仓库的维度数据进行数据管理以及数据处理。
在一实施例中，该维度数据处理方法，还包括：根据预设维度表字段属性信息设置目标维度表的字段参数，得到第三维度数据。此时，目标维度表对应的数据服务包括第三数据服务，第三数据服务为根据第三维度数据设置的且根据字段参数查询目标维度表中的对应字段数据的数据服务。
在该实施例中，数据管理服务器不仅对目标维度表的维度参数以及数据表参数进行对应的设置，还根据预设维度表字段属性信息设置目标维度 表的字段参数，同时根据第三维度数据设置目标维度表对应的根据字段参数查询目标维度表中对应字段数据的第三数据服务。具体参见图5所示。因此，可以提高对目标维度表的维度数据处理效率。
在一实施例中，步骤S400，包括：根据目标维度表的第一维度数据和第二维度数据设置目标维度表对应的数据连接服务。数据连接服务用于根据第一维度数据和/或第二维度数据，通过调用关联方法将目标维度表中数据与目标维度表以外的其他数据进行数据连接。
具体地，数据连接服务通过实时维表join服务插件实现。插件以jar包形式提供，支持主流实时处理框架。根据第一维度数据和/或第二维度数据，通过调用关联方法传递相关数据。例如根据维表名称、维度编码、维度值编码传递对应的维表名称、维度编码、维度值编码，实时获取表数据信息，进行实时join操作。
在一实施例中，该维度数据处理方法还包括：从设置后的目标维度表中采集维度数据，将维度数据存储到统一数据库中。此时步骤S400，包括：根据统一数据库中的维度数据设置数据服务。
具体地，数据管理服务器对目标维度表的维度参数以及数据表参数进行设置后，自动生成spark任务，利用spark任务采集维表数据，将数据存储到Hbase数据库和Es数据库中。其中，Hbase数据库和Es数据库为统一数据库中的数据存储数据库。最后，根据该统一数据库设置数据服务。因此，可以对数据仓库中的数据进行统一管理。
在一实施例中，该维度数据处理方法还包括：根据预设监控规则，调用预设检测任务对目标维度表中的数据进行质量监控。
具体地，数据管理服务器对目标维度表中的数据进行数据质量监控。监控的方式为，配置预设监控规则，并生成对应的预设检测任务，通过调度预设检测任务对目标维度表中的数据进行质量监控。若目标维度表中的数据出现质量问题，则想告警中心发送告警信息。告警中心接收告警信息时，发送告警信息给负责人。因此，可以对数据仓库中的目标维度表的数 据进行质量监控，提高对数据仓库中的数据的管理质量。
应该理解的是，虽然流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，附图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种数据仓库的维度数据处理装置，包括：获取模块100、第一设置模块200、第二设置模块300和数据服务设置模块400，其中：
获取模块100，用于获取数据仓库的目标维度表。
第一设置模块200，用于根据预设维度属性信息设置目标维度表的维度参数，得到第一维度数据。
第二设置模块300，用于根据预设维度表属性信息设置目标维度表的数据表参数，得到第二维度数据。
数据服务设置模块400，用于根据目标维度表的第一维度数据和第二维度数据设置目标维度表对应的数据服务，数据服务包括根据第一维度数据建立的第一数据服务和根据第二维度数据建立的第二数据服务。
在其中一个实施例中，第一设置模块200可以包括(图6未示出)：
第一设置单元，用于根据预设维度属性信息定义出目标维度表的维度参数，并将维度参数与目标维度表中的字段数据进行映射，将映射后维度参数对应的数据作为第一维度数据。
此时，数据服务模块400可以包括：
第一数据服务单元，用于根据目标维度表的第一维度数据设置根据维度参数查询目标维度表中字段数据的第一数据服务。
在其中一个实施例中，数据服务模块400可以包括(图6未示出)：
第二数据服务单元，用于根据目标维度表的第二维度数据设置根据数据表参数查询目标维度表中数据的第二数据服务。
在其中一个实施例中，数据仓库的维度数据处理装置，还包括(图6未示出)：
第三设置模块，用于根据预设维度表字段属性信息设置目标维度表的字段参数，得到第三维度数据；
第三数据服务单元，用于根据目标维度表的第一维度数据、第二维度数据和第三维度数据设置目标维度表对应的数据服务，数据服务包括根据第三维度数据设置的根据字段参数查询目标维度表中对应字段数据的第三数据服务。
在其中一个实施例中，数据服务模块400可以包括(图6未示出)：
第四数据服务单元，用于根据目标维度表的第一维度数据和第二维度数据设置目标维度表对应的数据连接服务，数据连接服务用于根据第一维度数据和/或第二维度数据，调用关联方法，将目标维度表的数据与其他数据进行数据连接。
在其中一个实施例中，数据仓库的维度数据处理装置，还包括(图6未示出)：
监控模块，用于根据预设监控规则，调用预设检测任务对所述目标维度表中的数据进行质量监控。
关于数据仓库的维度数据处理装置的具体限定可以参见上文中对于数据仓库的维度数据处理方法的限定，在此不再赘述。上述数据仓库的维度数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是数据 管理服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的数据源终端通过网络连接通信，以接收数据源终端上传的数据。该计算机程序被处理器执行时以实现一种数据仓库的维度数据处理方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取数据仓库的目标维度表；根据预设维度属性信息设置目标维度表的维度参数，得到第一维度数据；根据预设维度表属性信息设置目标维度表的数据表参数，得到第二维度数据；根据目标维度表的第一维度数据和第二维度数据设置目标维度表对应的数据服务，数据服务包括根据第一维度数据建立的第一数据服务和根据第二维度数据建立的第二数据服务。
在一个实施例中，处理器执行计算机程序，实现根据预设维度属性信息设置目标维度表的维度参数，得到第一维度数据时，还实现以下步骤：
根据预设维度属性信息定义出目标维度表的维度参数，并将维度参数与目标维度表中的字段数据进行映射，将映射后维度参数对应的数据作为第一维度数据。
在一个实施例中，处理器执行计算机程序，实现根据目标维度表的第一维度数据和第二维度数据设置目标维度表对应的数据服务时，还实现下 步骤：
根据目标维度表的第一维度数据设置根据维度参数查询目标维度表中字段数据的第一数据服务。
在一个实施例中，处理器执行计算机程序，实现根据目标维度表的第一维度数据和第二维度数据设置目标维度表对应的数据服务时，还实现以下步骤：
根据所述目标维度表的所述第二维度数据设置根据所述数据表参数查询所述目标维度表中数据的所述第二数据服务。
在一个实施例中，处理器执行计算机程序时，还实现以下步骤：
根据预设维度表字段属性信息设置目标维度表的字段参数，得到第三维度数据；
目标维度表对应的数据服务包括第三数据服务，第三数据服务为根据第三维度数据设置的且根据字段参数查询目标维度表中的对应字段数据的数据服务。
在一个实施例中，处理器执行计算机程序，实现根据目标维度表的第一维度数据和第二维度数据设置目标维度表对应的数据服务时，还实现以下步骤：
根据目标维度表的第一维度数据和第二维度数据设置目标维度表对应的数据连接服务；
数据连接服务用于根据第一维度数据和/或第二维度数据，通过调用关联方法将目标维度表中数据与目标维度表以外的其他数据进行数据连接。
在一个实施例中，处理器执行计算机程序，还实现以下步骤：
根据预设监控规则，调用预设检测任务对目标维度表中的数据进行质量监控。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例所述的一种数据仓库的维度数据处理方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取数据仓库的目标维度表；根据预设维度属性信息设置目标维度表的维度参数，得到第一维度数据；根据预设维度表属性信息设置目标维度表的数据表参数，得到第二维度数据；根据目标维度表的第一维度数据和第二维度数据设置目标维度表对应的数据服务，数据服务包括根据第一维度数据建立的第一数据服务和根据第二维度数据建立的第二数据服务。
在一个实施例中，计算机程序被处理器执行，根据预设维度属性信息设置目标维度表的维度参数，得到第一维度数据时，还实现以下步骤：
根据预设维度属性信息定义出目标维度表的维度参数，并将维度参数与目标维度表中的字段数据进行映射，将映射后维度参数对应的数据作为第一维度数据。
在一个实施例中，计算机程序被处理器执行，实现根据目标维度表的第一维度数据和第二维度数据设置目标维度表对应的数据服务时，还实现以下步骤：
根据目标维度表的第一维度数据设置根据维度参数查询目标维度表中字段数据的第一数据服务。
在一个实施例中，计算机程序被处理器执行，实现根据目标维度表的第一维度数据和第二维度数据设置目标维度表对应的数据服务时，还实现以下步骤：
根据所述目标维度表的所述第二维度数据设置根据所述数据表参数查询所述目标维度表中数据的所述第二数据服务。
在一个实施例中，计算机程序被处理器执行时，还实现以下步骤：
根据预设维度表字段属性信息设置目标维度表的字段参数，得到第三维度数据；
目标维度表对应的数据服务包括第三数据服务，第三数据服务为根据第三维度数据设置的且根据字段参数查询目标维度表中的对应字段数据的 数据服务。在一个实施例中，计算机程序被处理器执行，实现根据目标维度表的第一维度数据和第二维度数据设置目标维度表对应的数据服务时，还实现以下步骤：
根据目标维度表的第一维度数据和第二维度数据设置目标维度表对应的数据连接服务；
数据连接服务用于根据第一维度数据和/或第二维度数据，通过调用关联方法将目标维度表中数据与目标维度表以外的其他数据进行数据连接。
在一个实施例中，计算机程序被处理器执行时，还实现以下步骤：
根据预设监控规则，调用预设检测任务对目标维度表中的数据进行质量监控。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
- 一种数据仓库的维度数据处理方法，所述方法包括：获取数据仓库的目标维度表；根据预设维度属性信息设置所述目标维度表的维度参数，得到第一维度数据；根据预设维度表属性信息设置所述目标维度表的数据表参数，得到第二维度数据；根据所述目标维度表的所述第一维度数据和所述第二维度数据设置所述目标维度表对应的数据服务，所述数据服务包括根据所述第一维度数据建立的第一数据服务和根据所述第二维度数据建立的第二数据服务。
- 根据权利要求1所述的方法，其特征在于，所述根据预设维度属性信息设置所述目标维度表的维度参数，得到第一维度数据，包括：根据预设维度属性信息定义出所述目标维度表的维度参数，并将所述维度参数与所述目标维度表中的字段数据进行映射，将映射后所述维度参数对应的数据作为所述第一维度数据。
- 根据权利要求2所述的方法，其特征在于，所述根据所述目标维度表的所述第一维度数据和所述第二维度数据设置所述目标维度表对应的数据服务，包括：根据所述目标维度表的所述第一维度数据设置根据所述维度参数查询所述目标维度表中字段数据的所述第一数据服务。
- 根据权利要求1所述的方法，其特征在于，所述根据所述目标维度表的所述第一维度数据和所述第二维度数据设置所述目标维度表对应的数据服务，包括：根据所述目标维度表的所述第二维度数据设置根据所述数据表参数查询所述目标维度表中数据的所述第二数据服务。
- 根据权利要求1所述的方法，其特征在于，所述方法还包括：根据预设维度表字段属性信息设置所述目标维度表的字段参数，得到 第三维度数据；所述目标维度表对应的数据服务包括第三数据服务，所述第三数据服务为根据所述第三维度数据设置的且根据所述字段参数查询所述目标维度表中的对应字段数据的数据服务。
- 根据权利要求1所述的方法，其特征在于，所述根据所述目标维度表的所述第一维度数据和所述第二维度数据设置所述目标维度表对应的数据服务，包括：根据所述目标维度表的所述第一维度数据和所述第二维度数据设置所述目标维度表对应的数据连接服务；所述数据连接服务用于根据所述第一维度数据和/或所述第二维度数据，通过调用关联方法将所述目标维度表中数据与所述目标维度表以外的其他数据进行数据连接。
- 根据权利要求1所述的方法，其特征在于，所述方法还包括：根据预设监控规则，调用预设检测任务对所述目标维度表中的数据进行质量监控。
- 一种数据仓库的维度数据处理装置，其特征在于，所述装置包括：获取模块，用于获取数据仓库的目标维度表；第一设置模块，用于根据预设维度属性信息设置所述目标维度表的维度参数，得到第一维度数据；第二设置模块，用于根据预设维度表属性信息设置所述目标维度表的数据表参数，得到第二维度数据；数据服务设置模块，用于根据所述目标维度表的所述第一维度数据和所述第二维度数据设置所述目标维度表对应的数据服务，所述数据服务包括根据所述第一维度数据建立的第一数据服务和根据所述第二维度数据建立的第二数据服务。
- 一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序 时实现权利要求1至7中任一项所述方法的步骤。
- 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CA3152835A CA3152835A1 (en) | 2019-08-27 | 2020-06-24 | Dimension data processing method and apparatus, computer device, and storage medium |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910798079.X | 2019-08-27 | ||
| CN201910798079.XA CN110716989A (zh) | 2019-08-27 | 2019-08-27 | 维度数据处理方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021036449A1 true WO2021036449A1 (zh) | 2021-03-04 |
Family
ID=69209521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2020/097835 WO2021036449A1 (zh) | 2019-08-27 | 2020-06-24 | 维度数据处理方法、装置、计算机设备和存储介质 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN110716989A (zh) |
| CA (1) | CA3152835A1 (zh) |
| WO (1) | WO2021036449A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113393190A (zh) * | 2021-06-10 | 2021-09-14 | 北京京东振世信息技术有限公司 | 仓储信息处理方法、装置、电子设备及可读介质 |
| CN113449024A (zh) * | 2021-06-23 | 2021-09-28 | 平安普惠企业管理有限公司 | 基于大数据的保险数据分析方法、装置、设备及介质 |
| CN114648316A (zh) * | 2022-05-18 | 2022-06-21 | 国网浙江省电力有限公司 | 基于稽查标签库的数字化处理方法及系统 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110716989A (zh) * | 2019-08-27 | 2020-01-21 | 苏宁云计算有限公司 | 维度数据处理方法、装置、计算机设备和存储介质 |
| CN111402066B (zh) * | 2020-02-22 | 2023-06-23 | 中国平安财产保险股份有限公司 | 数据处理方法、服务器及存储介质 |
| CN112732712A (zh) * | 2020-12-29 | 2021-04-30 | 望海康信(北京)科技股份公司 | 图表信息数据存储方法、系统及相应设备和存储介质 |
| CN117150348A (zh) * | 2023-10-30 | 2023-12-01 | 宁德时代新能源科技股份有限公司 | 电池外损数据处理方法、系统、电子设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9483537B1 (en) * | 2008-03-07 | 2016-11-01 | Birst, Inc. | Automatic data warehouse generation using automatically generated schema |
| CN107908631A (zh) * | 2017-07-25 | 2018-04-13 | 平安科技（深圳）有限公司 | 数据处理方法、装置、存储介质和计算机设备 |
| CN109561326A (zh) * | 2017-09-26 | 2019-04-02 | 北京国双科技有限公司 | 一种数据查询方法及装置 |
| CN110716989A (zh) * | 2019-08-27 | 2020-01-21 | 苏宁云计算有限公司 | 维度数据处理方法、装置、计算机设备和存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104252452B (zh) * | 2013-06-25 | 2019-03-15 | 腾讯科技（深圳）有限公司 | 数据管理的方法及装置 |
| CN110019551B (zh) * | 2017-12-19 | 2022-11-01 | 阿里巴巴集团控股有限公司 | 一种数据仓库构建方法及装置 |
| CN109614402B (zh) * | 2018-12-11 | 2020-09-29 | 京东数字科技控股有限公司 | 多维数据查询方法和装置 |
-
2019
- 2019-08-27 CN CN201910798079.XA patent/CN110716989A/zh active Pending
-
2020
- 2020-06-24 WO PCT/CN2020/097835 patent/WO2021036449A1/zh active Application Filing
- 2020-06-24 CA CA3152835A patent/CA3152835A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9483537B1 (en) * | 2008-03-07 | 2016-11-01 | Birst, Inc. | Automatic data warehouse generation using automatically generated schema |
| CN107908631A (zh) * | 2017-07-25 | 2018-04-13 | 平安科技（深圳）有限公司 | 数据处理方法、装置、存储介质和计算机设备 |
| CN109561326A (zh) * | 2017-09-26 | 2019-04-02 | 北京国双科技有限公司 | 一种数据查询方法及装置 |
| CN110716989A (zh) * | 2019-08-27 | 2020-01-21 | 苏宁云计算有限公司 | 维度数据处理方法、装置、计算机设备和存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113393190A (zh) * | 2021-06-10 | 2021-09-14 | 北京京东振世信息技术有限公司 | 仓储信息处理方法、装置、电子设备及可读介质 |
| CN113393190B (zh) * | 2021-06-10 | 2023-12-05 | 北京京东振世信息技术有限公司 | 仓储信息处理方法、装置、电子设备及可读介质 |
| CN113449024A (zh) * | 2021-06-23 | 2021-09-28 | 平安普惠企业管理有限公司 | 基于大数据的保险数据分析方法、装置、设备及介质 |
| CN114648316A (zh) * | 2022-05-18 | 2022-06-21 | 国网浙江省电力有限公司 | 基于稽查标签库的数字化处理方法及系统 |
| CN114648316B (zh) * | 2022-05-18 | 2022-08-23 | 国网浙江省电力有限公司 | 基于稽查标签库的数字化处理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110716989A (zh) | 2020-01-21 |
| CA3152835A1 (en) | 2021-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021036449A1 (zh) | 维度数据处理方法、装置、计算机设备和存储介质 | |
| WO2020232884A1 (zh) | 数据表迁移方法、装置、计算机设备和存储介质 | |
| CN109189799B (zh) | 业务数据查询方法、装置、计算机设备及存储介质 | |
| CN107943841A (zh) | 流式数据处理方法、系统和计算机可读存储介质 | |
| CN109656963B (zh) | 元数据获取方法、装置、设备及计算机可读存储介质 | |
| CN111563368A (zh) | 报表生成方法、装置、计算机设备和存储介质 | |
| US10963575B2 (en) | Access control governance using mapped vector spaces | |
| US10394805B2 (en) | Database management for mobile devices | |
| CN111046237B (zh) | 用户行为数据处理方法、装置、电子设备及可读介质 | |
| CN108664582B (zh) | 企业关系的查询方法、装置、计算机设备及存储介质 | |
| US20230144100A1 (en) | Method and apparatus for managing and controlling resource, device and storage medium | |
| CN109284289B (zh) | 数据集处理方法、装置、计算机设备及存储介质 | |
| CN110086894B (zh) | 人员关联信息挖掘方法、通讯推荐方法及相关装置 | |
| WO2021068607A1 (zh) | 多系统多店铺订单融合方法、装置、计算机设备和存储介质 | |
| US20190251096A1 (en) | Synchronization of offline instances | |
| WO2021008576A1 (zh) | 上下文信息管理方法、装置、系统及计算机可读存储介质 | |
| CN107748753A (zh) | 一种基于双随机的抽取系统、方法及装置 | |
| CN110297849B (zh) | 员工不相容权限筛选方法、装置、计算机设备及存储介质 | |
| US20140214826A1 (en) | Ranking method and system | |
| JP2017537383A (ja) | 正規化されたデータセットの関係認識集約（ｒａａ） | |
| CN110502549B (zh) | 用户数据处理方法、装置、计算机设备和存储介质 | |
| WO2023155437A1 (zh) | 基于在线问诊的数据处理方法、装置和计算机设备 | |
| CN114254278A (zh) | 用户账号合并方法、装置、计算机设备以及存储介质 | |
| US9536199B1 (en) | Recommendations based on device usage | |
| CN113742313A (zh) | 数据仓库构建方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20857837 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 3152835 Country of ref document: CA |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20857837 Country of ref document: EP Kind code of ref document: A1 |