WO2023155273A1 - 相关系数计算方法、装置、设备和存储介质 - Google Patents

相关系数计算方法、装置、设备和存储介质 Download PDF

Info

Publication number
WO2023155273A1
WO2023155273A1 PCT/CN2022/083628 CN2022083628W WO2023155273A1 WO 2023155273 A1 WO2023155273 A1 WO 2023155273A1 CN 2022083628 W CN2022083628 W CN 2022083628W WO 2023155273 A1 WO2023155273 A1 WO 2023155273A1
Authority
WO
WIPO (PCT)
Prior art keywords
hidden
metric value
metric
dimension
metadata
Prior art date
Application number
PCT/CN2022/083628
Other languages
English (en)
French (fr)
Inventor
冼立
宋琦
李栋
李扬
韩卿
Original Assignee
上海跬智信息技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海跬智信息技术有限公司 filed Critical 上海跬智信息技术有限公司
Publication of WO2023155273A1 publication Critical patent/WO2023155273A1/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases

Definitions

  • the present application relates to the field of computer technology, in particular, to a correlation coefficient calculation method, device, equipment and storage medium.
  • the main purpose of the present application is to provide a correlation coefficient calculation method, device, equipment and storage medium to solve the above problems.
  • a method for calculating a correlation coefficient including:
  • the hidden metric value includes:
  • the second hidden metric value A SUM(XY);
  • the third hidden metric value B SUM(X 2 );
  • n is the metadata of the first column, or the quantity of the metadata of the second column;
  • X is the first column of metadata
  • Y is the second column metadata.
  • the correlation calculation formula is:
  • r is the correlation measure.
  • the hidden metric value database is searched to determine The second hidden metric value, the third hidden metric value, the fourth hidden metric value, the fifth hidden metric value and the sixth hidden metric value.
  • the establishment of a hidden metric database includes:
  • the second hidden metric value, the third hidden metric value, the fourth hidden metric value, the fifth hidden metric value and the sixth hidden metric value are calculated by using the following formulas respectively hide measure;
  • the upper-level dimension of the first dimension is obtained to obtain the second dimension
  • the method further includes:
  • the hidden metric database is updated to add hidden metric values related to the new metric value.
  • a correlation coefficient calculation device including:
  • a receiving module configured to receive a query request for the correlation coefficient of the first dimension of the metadata sent by the client
  • a processing module configured to acquire the hidden metric value of the first dimension of the pre-calculated metadata from a preset hidden metric value database
  • a sending module configured to send the correlation coefficient of the first dimension to the client.
  • the processing module is further configured to, from the hidden A lookup in the metric database determines the second hidden metric, the third hidden metric, the fourth hidden metric, the fifth hidden metric, and the sixth hidden metric.
  • the processing module is also used to acquire the first column of metadata X and the second column of metadata Y;
  • the second hidden metric value, the third hidden metric value, the fourth hidden metric value, the fifth hidden metric value and the sixth hidden metric value are calculated by using the following formulas respectively hide measure;
  • the processing module is further configured to acquire the upper-level dimension of the first dimension to obtain the second dimension;
  • the processing module is further configured to, after sending the correlation coefficient of the first dimension to the client, save the measurement value in the measurement value database;
  • the hidden metric database is updated to add hidden metric values related to the new metric value.
  • an electronic device including at least one processor and at least one memory; the memory is used to store one or more program instructions; the processor is used to Executing one or more program instructions to perform any of the steps described above.
  • a computer-readable storage medium contains one or more program instructions, and the one or more program instructions are used to perform any of the above-mentioned step.
  • the hidden measurement value since the hidden measurement value has been pre-calculated and stored, when calculating the correlation, only the hidden measurement value needs to be queried. After obtaining the hidden measurement value, the correlation is calculated according to the correlation formula, which improves the efficiency of the correlation calculation. efficiency.
  • Fig. 1 is a flow chart of a method for calculating a correlation coefficient according to an embodiment of the present application
  • Fig. 2 is a flow chart of another correlation coefficient calculation method according to an embodiment of the present application.
  • FIG. 3 is a schematic structural diagram of a correlation coefficient calculation device according to an embodiment of the present application.
  • Fig. 4 is a schematic structural diagram of a correlation coefficient calculation device according to an embodiment of the present application.
  • the application proposes a method for calculating a correlation coefficient, referring to the flowchart of a method for calculating a correlation coefficient shown in accompanying drawing 1; the method includes:
  • Step S102 receiving the query request of the correlation coefficient of the first dimension of the metadata sent by the client;
  • the correlation coefficient is also called the measure value.
  • the metadata is the price and quantity of a commodity, represented by two columns.
  • X represents the price of the product
  • Y represents the sales quantity of the product;
  • CORR(X,Y) calculates the correlation between the price of the product and the sales quantity.
  • the first dimension is county, city or province.
  • Step S104 obtaining the hidden metric value of the first dimension of the pre-calculated metadata from the preset hidden metric value database;
  • hidden metrics include:
  • the second hidden metric value A SUM(XY);
  • the third hidden metric value B SUM(X 2 );
  • n is the metadata of the first column, or the quantity of the metadata of the second column;
  • X is the first column of metadata
  • Y is the second column metadata.
  • Step S106 calculating the correlation coefficient of the first dimension according to the hidden measurement value and the correlation calculation formula
  • the correlation calculation formula is:
  • r is the correlation coefficient.
  • Step S108 sending the correlation coefficient of the first dimension to the client.
  • the correlation is calculated according to the correlation formula, which improves the efficiency of correlation calculation .
  • the identification of the value is looked up from a database of hidden metric values to determine the second hidden metric value, the third hidden metric value, the fourth hidden metric value, the fifth hidden metric value, and the sixth hidden metric value.
  • an identifier can be set for each hidden metric value, and a large number of hidden metric values are stored in the hidden metric value database.
  • the first column of metadata X and the second column of metadata Y are obtained;
  • the second hidden metric value, the third hidden metric value, the fourth hidden metric value, the fifth hidden metric value and the sixth hidden metric value are calculated by using the following formulas respectively hide measure;
  • the upper level dimension of the first dimension is obtained to obtain the second dimension
  • the hidden metric value in the second dimension can be determined according to the identifier.
  • the first dimension is city
  • the second dimension is province.
  • the correlation of the two columns of data can also be calculated at the province dimension.
  • the correlation coefficient measurement value on each city dimension is pre-calculated; and the hidden measurement value;
  • Hidden measures for the first city include:
  • Hidden measures for the second city include:
  • Hidden measures for the third city include:
  • Hidden measures for the fourth city include:
  • Hidden measures for the fifth city include:
  • Y Y1 + Y2 + Y3 + Y4 + Y5 ;
  • the hidden measure value of the first city based on the hidden measure value of the first city, the hidden measure value of the second city, the hidden measure value of the third city, the hidden measure value of the fourth city, the hidden measure value of the fifth city Hide the metric value to calculate it;
  • the above-mentioned method of the present application through the change of dimensions and the realization of a higher level of dimension, can save the overhead of calculating directly from the original data.
  • the metric value is saved in the metric value database
  • the hidden metric database is updated to add hidden metric values related to the new metric value.
  • the present application discloses a method for calculating the correlation function of two columns of measurement values based on Apache Kylin pre-calculation, wherein the function is the CORR function.
  • Data pre-calculation can be performed in advance, the hidden measurement value can be calculated and saved, and the correlation value of two columns of fields can be quickly obtained under massive data. And it supports calculating the correlation of two columns of fields based on SPARK if there is no pre-calculated hidden metric value.
  • the metadata of the metric will be recorded in the system's metadata database, and will automatically expand to generate a series of hidden metric values, such as summed metric values, which are implemented using the function SUM to calculate quantitative metric values.
  • Precompute hidden metrics and build a hidden metrics database Precompute hidden metrics and build a hidden metrics database.
  • the CORR metric will not be directly calculated during the construction process, but the related hidden metric value will be calculated; and according to the different dimensions, the hidden metric value under each dimension is calculated and saved. Precomputed results are also written into metadata for subsequent management and query.
  • the query is pushed down and submitted to other query engines, such as SPARK, for query. Feedback the user's query to the recommendation module, so as to optimize the recommendation of the pre-computation model.
  • the model includes a dimension, a measurement value corresponding to the dimension, and a hidden measurement value; during specific implementation, the measurement value of the dimension can be recorded in a table, and the measurement value can be hidden. Multiple tables can be set, and each table represents a dimension.
  • the process of model matching takes the following steps:
  • This model can be used for calculations.
  • these queries are parsed to identify the CORR correlation measure, and then compared with existing models, an appropriate dimension combination or new measure is recommended for the pre-calculated model.
  • an appropriate dimension combination or new measure is recommended for the pre-calculated model.
  • a new CORR metric is created, its corresponding hidden metric is also created.
  • the data types supported for metrics are: bigint, integer, int4, long8, tinyint, smallint, decimal, double, float, real, and numeric.
  • the date type does not currently support calculations.
  • This application provides support to calculate the correlation of two columns of fields through the CORR function under the condition of pre-calculation based on Apache Kylin, which greatly improves the calculation efficiency, is flexible and convenient, and reduces the cost of program development. Support for custom columns; support for calculating the correlation of two columns of data in the SPARK environment.
  • a correlation coefficient calculation device is also provided, as shown in Figure 3, the device includes:
  • a receiving module 31 configured to receive a query request for a correlation coefficient of the first dimension of metadata sent by the client;
  • a processing module 32 configured to acquire the hidden metric value of the first dimension of the pre-calculated metadata from a preset hidden metric value database
  • a sending module 33 configured to send the correlation coefficient of the first dimension to the client.
  • the processing module 32 includes a query unit
  • the query unit is configured to search and determine from the hidden metric database according to the identifiers of the second hidden metric, the third hidden metric, the fourth hidden metric, the fifth hidden metric, and the sixth hidden metric, respectively.
  • the second hidden metric value, the third hidden metric value, the fourth hidden metric value, the fifth hidden metric value and the sixth hidden metric value is configured to search and determine from the hidden metric database according to the identifiers of the second hidden metric, the third hidden metric, the fourth hidden metric, the fifth hidden metric, and the sixth hidden metric, respectively.
  • the processing module 32 is further configured to acquire the first column of metadata X and the second column of metadata Y;
  • the second hidden metric value, the third hidden metric value, the fourth hidden metric value, the fifth hidden metric value and the sixth hidden metric value are calculated by using the following formulas respectively hide measure;
  • the processing module 32 is further configured to acquire the upper-level dimension of the first dimension to obtain the second dimension;
  • the processing module 32 is further configured to, after sending the correlation coefficient of the first dimension to the client, save the measurement value in the measurement value database;
  • the hidden metric database is updated to add hidden metric values related to the new metric value.
  • an electronic device referring to the schematic structural diagram of the electronic device shown in FIG. 4 ; it includes at least one processor 41 and at least one memory 42; a program instruction; the processor 41 is used to run one or more program instructions to perform the following steps:
  • the processor 41 is also used for, the hidden metric value includes:
  • the second hidden metric value A SUM(XY);
  • the third hidden metric value B SUM(X 2 );
  • n is the metadata of the first column, or the quantity of the metadata of the second column;
  • X is the first column of metadata
  • Y is the second column metadata.
  • the processor 41 is further configured to select the hidden metric values from the hidden metric value database according to the identifiers of the second hidden metric value, the third hidden metric value, the fourth hidden metric value, the fifth hidden metric value and the sixth hidden metric value respectively.
  • a lookup determines the second hidden metric value, the third hidden metric value, the fourth hidden metric value, the fifth hidden metric value, and the sixth hidden metric value.
  • the processor 41 is also used to establish a hidden metric database, including:
  • the second hidden metric value, the third hidden metric value, the fourth hidden metric value, the fifth hidden metric value and the sixth hidden metric value are calculated by using the following formulas respectively hide measure;
  • the processor 41 is further configured to obtain a dimension above the first dimension to obtain a second dimension
  • the processor 41 is further configured to, after sending the correlation coefficient of the first dimension to the client, store the measurement value in a measurement value database;
  • the hidden metric database is updated to add hidden metric values related to the new metric value.
  • the present application also proposes a computer-readable storage medium, which contains one or more program instructions, and the one or more program instructions are used to execute the method described in any one of the above .
  • a general-purpose processor may be a microprocessor, or the processor may be any conventional processor, or the like.
  • the steps of the methods disclosed in the embodiments of the present invention may be directly implemented by a hardware decoding processor, or implemented by a combination of hardware and software modules in the decoding processor.
  • the software module can be located in a mature storage medium in the field such as random access memory, flash memory, read-only memory, programmable read-only memory or electrically erasable programmable memory, register.
  • the processor reads the information in the storage medium, and completes the steps of the above method in combination with its hardware.
  • a storage medium may be a memory, which may be, for example, volatile memory or nonvolatile memory, or may include both volatile and nonvolatile memory.
  • the non-volatile memory can be read-only memory (Read-Only Memory, referred to as ROM), programmable read-only memory (Programmable ROM, referred to as PROM), erasable programmable read-only memory (Erasable PROM, referred to as EPROM) , Electrically Erasable Programmable Read-Only Memory (Electrically Erasable EPROM, referred to as EEPROM) or flash memory.
  • ROM Read-Only Memory
  • PROM programmable read-only memory
  • EPROM erasable programmable read-only memory
  • EPROM erasable programmable read-only memory
  • EPROM erasable programmable read-only memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • flash memory Electrically Erasable Programmable Read-Only Memory
  • the volatile memory may be Random Access Memory (RAM for short), which acts as an external cache.
  • RAM Random Access Memory
  • many forms of RAM are available, such as Static Random Access Memory (Static RAM, SRAM for short), Dynamic Random Access Memory (Dynamic RAM, DRAM for short), Synchronous Dynamic Random Access Memory (Synchronous DRAM, referred to as SDRAM), double data rate synchronous dynamic random access memory (Double Data Rate SDRAM, referred to as DDRSDRAM), enhanced synchronous dynamic random access memory (Enhanced SDRAM, referred to as ESDRAM), synchronous connection dynamic random access memory (Synchlink DRAM, referred to as SLDRAM) and direct memory bus random access memory (DirectRambus RAM, referred to as DRRAM).
  • Static Random Access Memory Static Random Access Memory
  • Dynamic RAM Dynamic RAM
  • Synchronous Dynamic Random Access Memory Synchronous Dynamic Random Access Memory
  • DDRSDRAM double data rate synchronous dynamic random access memory
  • ESDRAM enhanced synchronous dynamic random access memory
  • the storage media described in the embodiments of the present invention are intended to include, but are not limited to, these and any other suitable types of memory.
  • Computer-readable media includes both computer storage media and communication media including any medium that facilitates transfer of a computer program from one place to another.
  • a storage media may be any available media that can be accessed by a general purpose or special purpose computer.
  • each module or each step of the present invention described above can be realized by a general-purpose computing device, and they can be concentrated on a single computing device, or distributed in a network formed by multiple computing devices
  • they can be implemented with program codes executable by a computing device, thus, they can be stored in a storage device and executed by a computing device, or they can be made into individual integrated circuit modules, or they can be integrated into Multiple modules or steps are fabricated into a single integrated circuit module to realize.
  • the present invention is not limited to any specific combination of hardware and software.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种相关系数计算方法、装置、设备和存储介质。该方法包括:接收客户端发送的元数据的第一维度的相关系数的查询请求;从预先设置的隐藏度量值数据库中获取预先计算的元数据的第一维度的隐藏度量值;根据所述隐藏度量值和相关性计算公式计算得到所述第一维度的相关系数;将所述第一维度的相关系数发送给所述客户端。本申请的上述方法,直接查询隐藏度量值,获取隐藏度量值后,根据相关性公式进行计算相关性,提高了相关性计算的效率。

Description

相关系数计算方法、装置、设备和存储介质 技术领域
本申请涉及计算机技术领域,具体而言,涉及一种相关系数计算方法、装置、设备和存储介质。
背景技术
随着数据分析越来越广泛的运用于各大行业,快速的使用数据分析算法获取分析结果成为各个数据分析师最基本要求。在计算两列数据的相关性的计算过程中,需要进行程序开发,制作相关性计算的函数CORR来进行计算,这需要程序员开发计算程序,周期比较长。
发明内容
本申请的主要目的在于提供一种相关系数计算方法、装置、设备和存储介质,以解决上述问题。
为了实现上述目的,根据本申请的一个方面,提供了一种相关系数计算方法,包括:
接收客户端发送的元数据的第一维度的相关系数的查询请求;
从预先设置的隐藏度量值数据库中获取预先计算的元数据的第一维度的隐藏度量值;
根据所述隐藏度量值和相关性计算公式计算得到所述第一维度的相关系数;
将所述第一维度的相关系数发送给所述客户端。
在一种实施方式中,所述隐藏度量值包括:
第一隐藏度量值n;
第二隐藏度量值A=SUM(XY);
第三隐藏度量值B=SUM(X 2);
第四隐藏度量值C=SUM(Y 2);
第五隐藏度量值D=SUM(X);
第六隐藏度量值E=SUM(Y);
其中,n为第一列元数据,或第二列元数据的数量;
X为第一列元数据;
Y为第二列元数据。
在一种实施方式中,所述相关性计算公式为:
Figure PCTCN2022083628-appb-000001
其中,r为相关性度量值。
在一种实施方式中,分别根据所述第二隐藏度量值、第三隐藏度量值、第四隐藏度量值、第五隐藏度量值和第六隐藏度量值的标识从隐藏度量值数据库中查找确定所述第二隐藏度量值、第三隐藏度量值、第四隐藏度量值、第五隐藏度量值和第六隐藏度量值。
在一种实施方式中,建立隐藏度量值数据库,包括:
获取第一列元数据X和第二列元数据Y;
统计所述第一列元数据X的数量n得到第一隐藏度量值;
根据所述第一列元数据X和第二列元数据Y分别采用以下公式计算得到所述第二隐藏度量值、第三隐藏度量值、第四隐藏度量值、第五隐藏度量值和第六隐藏度量值;
第二隐藏度量值
Figure PCTCN2022083628-appb-000002
第三隐藏度量值
Figure PCTCN2022083628-appb-000003
第四隐藏度量值
Figure PCTCN2022083628-appb-000004
第五隐藏度量值
Figure PCTCN2022083628-appb-000005
第六隐藏度量值
Figure PCTCN2022083628-appb-000006
在一种实施方式中,获取所述第一维度的上一级维度,得到第二维度;
从预先设置的隐藏度量值数据库中获取所述第二维度的预计算的隐藏度量值;
根据所述第二维度的隐藏度量值和度量计算公式计算得到所述第二维度的度量值;
将所述第二维度的度量值发送给所述客户端。
在一种实施方式中,将所述第一维度的相关系数发送给所述客户端之后,所述方法还包括:
将所述度量值保存在度量值数据库中;
对所述度量值数据库进行更新,加入新的度量值;
根据所述新的度量值确定所述新的度量值相关的隐藏度量值;
对所述隐藏度量值数据库进行更新,加入所述新的度量值相关的隐藏度量值。
为了实现上述目的,根据本申请的另一方面,提供了一种相关系数计算装置,包括:
接收模块,用于接收客户端发送的元数据的第一维度的相关系数的查询请求;
处理模块,用于从预先设置的隐藏度量值数据库中获取预先计算的元数据的第一维度的隐藏度量值;
根据所述隐藏度量值和相关性计算公式计算得到所述第一维度的相关系数;
发送模块,用于将所述第一维度的相关系数发送给所述客户端。
在一种实施方式中,处理模块还用于,分别根据所述第二隐藏度量值、第三隐藏度量值、第四隐藏度量值、第五隐藏度量值和第六隐藏度量值的标识从隐藏度量值数据库中查找确定所述第二隐藏度量值、第三隐藏度量值、第四隐藏度量值、第五隐藏度量值和第六隐藏度量值。
在一种实施方式中,处理模块还用于,获取第一列元数据X和第二列元数据Y;
统计所述第一列元数据X的数量n得到第一隐藏度量值;
根据所述第一列元数据X和第二列元数据Y分别采用以下公式计算得到所述第二隐藏度量值、第三隐藏度量值、第四隐藏度量值、第五隐藏度量值和第六隐藏度量值;
第二隐藏度量值
Figure PCTCN2022083628-appb-000007
第三隐藏度量值
Figure PCTCN2022083628-appb-000008
第四隐藏度量值
Figure PCTCN2022083628-appb-000009
第五隐藏度量值
Figure PCTCN2022083628-appb-000010
第六隐藏度量值
Figure PCTCN2022083628-appb-000011
在一种实施方式中,处理模块还用于,获取所述第一维度的上一级维度,得到第二维度;
从预先设置的隐藏度量值数据库中获取所述第二维度的预计算的隐藏度量值;
根据所述第二维度的隐藏度量值和度量计算公式计算得到所述第二维度的度量值;
将所述第二维度的度量值发送给所述客户端。
在一种实施方式中,处理模块还用于,将所述第一维度的相关系数发送给所述客户端之后,将所述度量值保存在度量值数据库中;
对所述度量值数据库进行更新,加入新的度量值;
根据所述新的度量值确定所述新的度量值相关的隐藏度量值;
对所述隐藏度量值数据库进行更新,加入所述新的度量值相关的隐藏度量值。
为了实现上述目的,根据本申请的第三方面,提供了一种电子设备;包括至少一个处理器和至少一个存储器;所述存储器用于存储一个或多个程序指令;所述处理器,用于运行一个或多个程序指令,用以执行上述任一项所述的步骤。
根据本申请的第四方面,提供了一种计算机可读存储介质,计算机可读存储介质中包含一个或多个程序指令,所述一个或多个程序指令用于执行上述任意一项所述的步骤。
在本申请实施例中,由于隐藏度量值已经预先计算并存储,计算相关性时,只需要查询隐藏度量值,获取隐藏度量值后,根据相关性公式进行计算相关性,提高了相关性计算的效率。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种相关系数计算方法的流程图;
图2是根据本申请实施例的另一种相关系数计算方法的流程图;
图3是根据本申请实施例的一种相关系数计算装置的结构示意图;
图4是根据本申请实施例的一种相关系数计算设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
基于此,本申请提出了一种相关系数计算方法,参见附图1所示的一种相关系数计算方法的流程图;该方法包括:
步骤S102,接收客户端发送的元数据的第一维度的相关系数的查询请求;
其中,相关系数,也称为度量值。
示例性的,元数据为某种商品的价格和数量,用两列表示。X表示该商品的 价格,Y表示该商品的销售数量;函数相关系数度量值CORR(X,Y)计算该商品的价格和销售数量之间的相关性。
其中,第一维度为县、市或者为省。
步骤S104,从预先设置的隐藏度量值数据库中获取预先计算的元数据的第一维度的隐藏度量值;
具体的,隐藏度量值包括:
第一隐藏度量值n;
第二隐藏度量值A=SUM(XY);
第三隐藏度量值B=SUM(X 2);
第四隐藏度量值C=SUM(Y 2);
第五隐藏度量值D=SUM(X);
第六隐藏度量值E=SUM(Y);
其中,n为第一列元数据,或第二列元数据的数量;
X为第一列元数据;
Y为第二列元数据。
步骤S106,根据所述隐藏度量值和相关性计算公式计算得到所述第一维度的相关系数;
具体的,相关性计算公式为:
Figure PCTCN2022083628-appb-000012
其中,r为相关系数。
步骤S108,将所述第一维度的相关系数发送给所述客户端。
本发明的上述方法,由于隐藏度量值已经预先计算并存储,计算相关性时,只需要查询隐藏度量值,获取隐藏度量值后,根据相关性公式进行计算相关性,提高了相关性计算的效率。
为了方便查找上述的隐藏度量值比较方便,在一种实施方式中,分别根据所述第二隐藏度量值、第三隐藏度量值、第四隐藏度量值、第五隐藏度量值和第六 隐藏度量值的标识从隐藏度量值数据库中查找确定所述第二隐藏度量值、第三隐藏度量值、第四隐藏度量值、第五隐藏度量值和第六隐藏度量值。
具体特点,可以为每个隐藏度量值设置标识,在隐藏度量值数据库中,存储大量的隐藏度量值。
参见表1:
Figure PCTCN2022083628-appb-000013
表1
值得强调的是,维度不同,标识不同。
在一种实施方式中,建立隐藏度量值数据库时,获取第一列元数据X和第二列元数据Y;
统计所述第一列元数据X的数量n得到第一隐藏度量值;
根据所述第一列元数据X和第二列元数据Y分别采用以下公式计算得到所述第二隐藏度量值、第三隐藏度量值、第四隐藏度量值、第五隐藏度量值和第六隐藏度量值;
第二隐藏度量值
Figure PCTCN2022083628-appb-000014
第三隐藏度量值
Figure PCTCN2022083628-appb-000015
第四隐藏度量值
Figure PCTCN2022083628-appb-000016
第五隐藏度量值
Figure PCTCN2022083628-appb-000017
第六隐藏度量值
Figure PCTCN2022083628-appb-000018
为实现计算范围的扩大,可以实现更加粗粒度的维度计算,在一种实施方式中,获取所述第一维度的上一级维度,得到第二维度;
从预先设置的隐藏度量值数据库中获取所述第二维度的预计算的隐藏度量值;
具体的,参见表1,可以根据标识来确定第二维度中的隐藏度量值。
根据所述第二维度的隐藏度量值和度量计算公式计算得到所述第二维度的度量值;
将所述第二维度的度量值发送给所述客户端。
示例性的,第一维度为市,第二维度为省。对于X、Y两列元数据,不仅可以在市的维度计算该两列的相关性;还可以在省的维度进行该两列数据的相关性。
具体的,假设某省下面有五个市;
预先计算得到了每个市维度上的相关性系数度量值;以及隐藏度量值;
第一个市的隐藏度量值包括:
SUM(X 1Y 1)、
Figure PCTCN2022083628-appb-000019
SUM(X 1)、SUM(Y 1);
第二个市的隐藏度量值包括:
SUM(X 2Y 2)、
Figure PCTCN2022083628-appb-000020
SUM(X 2)、SUM(Y 2);
第三个市的隐藏度量值包括:
SUM(X 3Y 3)、
Figure PCTCN2022083628-appb-000021
SUM(X 3)、SUM(Y 3);
第四个市的隐藏度量值包括:
SUM(X 4Y 4)、
Figure PCTCN2022083628-appb-000022
SUM(X 4)、SUM(Y 4);
第五个市的隐藏度量值包括:
SUM(X 5Y 5)、
Figure PCTCN2022083628-appb-000023
SUM(X 5)、SUM(Y 5);
在一种方式中,可以根据元数据来推算出该省的各个隐藏度量值;
该省的X=X 1+X 2+X 3+X 4+X 5
Y=Y 1+Y 2+Y 3+Y 4+Y 5
根据X、Y来计算各个隐藏的度量值;
SUM(XY)、SUM(X 2)、SUM(Y 2)、SUM(X)、SUM(Y)。
在另一种方式中,可以根据第一个市的隐藏度量值、第二个市的隐藏度量值、第三个市的隐藏度量值、第四个市的隐藏度量值、第五个市的隐藏度量值来计算得到;
SUM(XY)、SUM(X 2)、SUM(Y 2)、SUM(X)、SUM(Y)。
具体的,
SUM(XY)=SUM(X 1Y 1)+SUM(X 2Y 2)+SUM(X 3Y 3)+SUM(X 4Y 4)+SUM(X 5Y 5);
Figure PCTCN2022083628-appb-000024
Figure PCTCN2022083628-appb-000025
SUM(X)=SUM(X 1)+SUM(X 2)+SUM(X 3)+SUM(X 4)+SUM(X 5);
SUM(Y)=SUM(Y 1)+SUM(Y 2)+SUM(Y 3)+SUM(Y 4)+SUM(Y 5)。
还可以再向上一级维度计算,得到国家范围的X和Y的相关性度量值。
本申请的上述方法,通过维度的变化,更高一级维度的实现,可以节约直接从原始数据进行计算的开销。
为了实现隐藏度量值数据库的更新,在一种实施方式中,将所述第一维度的相关系数发送给所述客户端之后,将所述度量值保存在度量值数据库中;
对所述度量值数据库进行更新,加入新的度量值;
根据所述新的度量值确定所述新的度量值相关的隐藏度量值;
对所述隐藏度量值数据库进行更新,加入所述新的度量值相关的隐藏度量值。
参见附图2所示的另一种相关系数计算方法的流程图;
本申请公开了描述一种基于Apache Kylin预计算实现的计算两列度量数值相关性的函数的方法,其中函数为CORR函数。可以预先进行数据预计算,计算得到隐藏度量值并保存,在海量数据下的快速获取两列字段的相关性数值。并且支持如果没有预计算的隐藏度量值的情况下,基于SPARK计算两列字段的相关性。
负责管理和维护CORR度量相关的元数据。当用户新增CORR度量后,该度 量的元数据会被记录到系统的元数据库中,并且会自动展开生成一系列隐藏度量值,比如求和度量值,采用函数SUM实现,计算数量度量值,采用函数COUNT实现。
维护这些度量的元数据,并对用户提供管理的接口。根据CORR度量展开的公式。假设用户对于X,Y列新建了CORR(X,Y)的度量,那么它会被展开生成隐藏度量:COUNT(1),SUM(XY),SUM(X^2),SUM(Y^2),SUM(X),SUM(Y)。通过上述隐藏度量值来进行计算。
预计算隐藏度量值,建立隐藏度量值数据库。CORR度量在构建过程中不会被直接计算,而是会计算相关的隐藏的度量值;并且根据维度的不同,计算每个维度下的隐藏度量值,保存。预计算的结果同时也会被写入元数据,以便后续管理和查询。
不会直接查询相关性度量值,而是会取出预计算好的隐藏度量值,根据公式,对预计算的结果进行进一步的计算或聚合,得到相关性度量值,最终将结果返回给用户。
如果找不到合适的模型,则把查询下推提交到其他查询引擎,比如SPARK,进行查询。将用户的查询反馈给推荐模块,以便对预计算模型进行推荐优化。
具体的,模型包括维度、该维度对应的度量值、以及隐藏度量值;具体实现时,可以在表格中记录该维度的度量值,隐藏度量值。可以设置多个表格,每个表格表示一个维度。模型匹配的过程采用以下的步骤:
确定用户输入的相关性度量值对应的维度和度量值;
将所述维度和度量值和预先存储模型的维度和度量值进行比对;
如果相同,则确定模型匹配成功。可以采用该模型来进行计算。
根据用户的查询直接推荐出CORR度量,避免复杂的建模过程。推荐可以由用户主动触发,用户可以将常用的查询提交到该模块,或者通过查询历史中的查询自动触发。
推荐过程中会解析这些查询,识别出CORR相关性度量值,然后对比已有的模型,为预计算模型推荐出合适的维度组合或者新的度量。创建新的CORR度量 的同时,也会创建出其对应的隐藏度量。
所支持度量的数据类型为:bigint,integer,int4,long8,tinyint,smallint,decimal,double,float,real和numeric。日期类型暂不支持计算。
本申请提供了在基于Apache Kylin预计算实现的条件下,支持通过CORR函数计算两列字段的相关性,极大地提升了计算效率,灵活便利,降低了程序开发成本。支持自定义列;支持在SPARK环境下计算两列数据的相关性。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
根据本发明实施例,还提供了一种相关系数计算装置,如图3所示,该装置包括:
接收模块31,用于接收客户端发送的元数据的第一维度的相关系数的查询请求;
处理模块32,用于从预先设置的隐藏度量值数据库中获取预先计算的元数据的第一维度的隐藏度量值;
根据所述隐藏度量值和相关性计算公式计算得到所述第一维度的相关系数;
发送模块33,用于将所述第一维度的相关系数发送给所述客户端。
在一种实施方式中,处理模块32包括查询单元,
所述查询单元,用于分别根据所述第二隐藏度量值、第三隐藏度量值、第四隐藏度量值、第五隐藏度量值和第六隐藏度量值的标识从隐藏度量值数据库中查找确定所述第二隐藏度量值、第三隐藏度量值、第四隐藏度量值、第五隐藏度量值和第六隐藏度量值。
在一种实施方式中,处理模块32还用于,获取第一列元数据X和第二列元数据Y;
统计所述第一列元数据X的数量n得到第一隐藏度量值;
根据所述第一列元数据X和第二列元数据Y分别采用以下公式计算得到所述第二隐藏度量值、第三隐藏度量值、第四隐藏度量值、第五隐藏度量值和第六隐藏度量值;
第二隐藏度量值
Figure PCTCN2022083628-appb-000026
第三隐藏度量值
Figure PCTCN2022083628-appb-000027
第四隐藏度量值
Figure PCTCN2022083628-appb-000028
第五隐藏度量值
Figure PCTCN2022083628-appb-000029
第六隐藏度量值
Figure PCTCN2022083628-appb-000030
在一种实施方式中,处理模块32还用于,获取所述第一维度的上一级维度,得到第二维度;
从预先设置的隐藏度量值数据库中获取所述第二维度的预计算的隐藏度量值;
根据所述第二维度的隐藏度量值和度量计算公式计算得到所述第二维度的度量值;
将所述第二维度的度量值发送给所述客户端。
在一种实施方式中,处理模块32还用于,将所述第一维度的相关系数发送给所述客户端之后,将所述度量值保存在度量值数据库中;
对所述度量值数据库进行更新,加入新的度量值;
根据所述新的度量值确定所述新的度量值相关的隐藏度量值;
对所述隐藏度量值数据库进行更新,加入所述新的度量值相关的隐藏度量值。
根据本申请的第三方面,提供了一种电子设备,参见附图4所示的电子设备的结构示意图;包括至少一个处理器41和至少一个存储器42;所述存储器42用于存储一个或多个程序指令;所述处理器41,用于运行一个或多个程序指令,用以执行以下的步骤:
接收客户端发送的元数据的第一维度的相关系数的查询请求;
从预先设置的隐藏度量值数据库中获取预先计算的元数据的第一维度的隐藏 度量值;
根据所述隐藏度量值和相关性计算公式计算得到所述第一维度的相关系数;
将所述第一维度的相关系数发送给所述客户端。
所述处理器41还用于,所述隐藏度量值包括:
第一隐藏度量值n;
第二隐藏度量值A=SUM(XY);
第三隐藏度量值B=SUM(X 2);
第四隐藏度量值C=SUM(Y 2);
第五隐藏度量值D=SUM(X);
第六隐藏度量值E=SUM(Y);
其中,n为第一列元数据,或第二列元数据的数量;
X为第一列元数据;
Y为第二列元数据。
所述处理器41还用于,分别根据所述第二隐藏度量值、第三隐藏度量值、第四隐藏度量值、第五隐藏度量值和第六隐藏度量值的标识从隐藏度量值数据库中查找确定所述第二隐藏度量值、第三隐藏度量值、第四隐藏度量值、第五隐藏度量值和第六隐藏度量值。
所述处理器41还用于,建立隐藏度量值数据库,包括:
获取第一列元数据X和第二列元数据Y;
统计所述第一列元数据X的数量n得到第一隐藏度量值;
根据所述第一列元数据X和第二列元数据Y分别采用以下公式计算得到所述第二隐藏度量值、第三隐藏度量值、第四隐藏度量值、第五隐藏度量值和第六隐藏度量值;
第二隐藏度量值
Figure PCTCN2022083628-appb-000031
第三隐藏度量值
Figure PCTCN2022083628-appb-000032
第四隐藏度量值
Figure PCTCN2022083628-appb-000033
第五隐藏度量值
Figure PCTCN2022083628-appb-000034
第六隐藏度量值
Figure PCTCN2022083628-appb-000035
所述处理器41还用于,获取所述第一维度的上一级维度,得到第二维度;
从预先设置的隐藏度量值数据库中获取所述第二维度的预计算的隐藏度量值;
根据所述第二维度的隐藏度量值和度量计算公式计算得到所述第二维度的度量值;
将所述第二维度的度量值发送给所述客户端。
所述处理器41还用于,将所述第一维度的相关系数发送给所述客户端之后,将所述度量值保存在度量值数据库中;
对所述度量值数据库进行更新,加入新的度量值;
根据所述新的度量值确定所述新的度量值相关的隐藏度量值;
对所述隐藏度量值数据库进行更新,加入所述新的度量值相关的隐藏度量值。
第四方面,本申请还提出了一种计算机可读存储介质,计算机可读存储介质中包含一个或多个程序指令,所述一个或多个程序指令用于执行上述任一项所述的方法。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息,结合其硬件完成上述方法的步骤。
存储介质可以是存储器,例如可以是易失性存储器或非易失性存储器,或可 包括易失性和非易失性存储器两者。
其中,非易失性存储器可以是只读存储器(Read-Only Memory,简称ROM)、可编程只读存储器(Programmable ROM,简称PROM)、可擦除可编程只读存储器(Erasable PROM,简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM,简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory,简称RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,简称SRAM)、动态随机存取存储器(Dynamic RAM,简称DRAM)、同步动态随机存取存储器(Synchronous DRAM,简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,简称DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时,可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (16)

  1. 一种相关系数计算方法,其特征在于,包括:
    接收客户端发送的元数据的第一维度的相关系数的查询请求;
    从预先设置的隐藏度量值数据库中获取预先计算的元数据的第一维度的隐藏度量值;
    根据所述隐藏度量值和相关性计算公式计算得到所述第一维度的相关系数;
    将所述第一维度的相关系数发送给所述客户端。
  2. 根据权利要求1所述的相关系数计算方法,其特征在于,
    所述隐藏度量值包括:
    第一隐藏度量值n;
    第二隐藏度量值A=SUM(XY);
    第三隐藏度量值B=SUM(X 2);
    第四隐藏度量值C=SUM(Y 2);
    第五隐藏度量值D=SUM(X);
    第六隐藏度量值E=SUM(Y);
    其中,n为第一列元数据,或第二列元数据的数量;
    X为第一列元数据;
    Y为第二列元数据。
  3. 根据权利要求2所述的相关系数计算方法,其特征在于,
    所述相关性计算公式为:
    Figure PCTCN2022083628-appb-100001
    其中,r为相关性度量值。
  4. 根据权利要求2所述的相关系数计算方法,其特征在于,
    分别根据所述第二隐藏度量值、第三隐藏度量值、第四隐藏度量值、第五隐藏度量值和第六隐藏度量值的标识从隐藏度量值数据库中查找确定所述第二隐藏度量值、第三隐藏度量值、第四隐藏度量值、第五隐藏度量值和第六隐藏度量值。
  5. 根据权利要求4所述的相关系数计算方法,其特征在于,
    建立隐藏度量值数据库,包括:
    获取第一列元数据X和第二列元数据Y;
    统计所述第一列元数据X的数量n得到第一隐藏度量值;
    根据所述第一列元数据X和第二列元数据Y分别采用以下公式计算得到所述第二隐藏度量值、第三隐藏度量值、第四隐藏度量值、第五隐藏度量值和第六隐藏度量值;
    第二隐藏度量值
    Figure PCTCN2022083628-appb-100002
    第三隐藏度量值
    Figure PCTCN2022083628-appb-100003
    第四隐藏度量值
    Figure PCTCN2022083628-appb-100004
    第五隐藏度量值
    Figure PCTCN2022083628-appb-100005
    第六隐藏度量值
    Figure PCTCN2022083628-appb-100006
  6. 根据权利要求1所述的相关系数计算方法,其特征在于,
    获取所述第一维度的上一级维度,得到第二维度;
    从预先设置的隐藏度量值数据库中获取所述第二维度的预计算的隐藏度量值;
    根据所述第二维度的隐藏度量值和度量计算公式计算得到所述第二维度的度量值;
    将所述第二维度的度量值发送给所述客户端。
  7. 根据权利要求1所述的相关系数计算方法,其特征在于,将所述第一维度的相关系数发送给所述客户端之后,所述方法还包括:
    将所述度量值保存在度量值数据库中;
    对所述度量值数据库进行更新,加入新的度量值;
    根据所述新的度量值确定所述新的度量值相关的隐藏度量值;
    对所述隐藏度量值数据库进行更新,加入所述新的度量值相关的隐藏度量值。
  8. 一种相关系数计算装置,其特征在于,包括:
    接收模块,用于接收客户端发送的元数据的第一维度的相关系数的查询请求;
    处理模块,用于从预先设置的隐藏度量值数据库中获取预先计算的元数据的第一维度的隐藏度量值;
    根据所述隐藏度量值和相关性计算公式计算得到所述第一维度的相关系数;
    发送模块,用于将所述第一维度的相关系数发送给所述客户端。
  9. 根据权利要求8所述的装置,其特征在于,
    所述隐藏度量值包括:
    第一隐藏度量值n;
    第二隐藏度量值A=SUM(XY);
    第三隐藏度量值B=SUM(X 2);
    第四隐藏度量值C=SUM(Y 2);
    第五隐藏度量值D=SUM(X);
    第六隐藏度量值E=SUM(Y);
    其中,n为第一列元数据,或第二列元数据的数量;
    X为第一列元数据;
    Y为第二列元数据。
  10. 根据权利要求9所述的装置,其特征在于,
    所述相关性计算公式为:
    Figure PCTCN2022083628-appb-100007
    其中,r为相关性度量值。
  11. 根据权利要求9所述的相关系数计算装置,其特征在于,所述处理模块还用于:
    分别根据所述第二隐藏度量值、第三隐藏度量值、第四隐藏度量值、第五隐藏度量值和第六隐藏度量值的标识从隐藏度量值数据库中查找确定所述第二隐藏度量值、第三隐藏度量值、第四隐藏度量值、第五隐藏度量值和第六隐藏度量值。
  12. 根据权利要求11所述的相关系数计算装置,其特征在于,所述处理模块还用于:
    建立隐藏度量值数据库,包括:
    获取第一列元数据X和第二列元数据Y;
    统计所述第一列元数据X的数量n得到第一隐藏度量值;
    根据所述第一列元数据X和第二列元数据Y分别采用以下公式计算得到所述第二隐藏度量值、第三隐藏度量值、第四隐藏度量值、第五隐藏度量值和第六隐 藏度量值;
    第二隐藏度量值
    Figure PCTCN2022083628-appb-100008
    第三隐藏度量值
    Figure PCTCN2022083628-appb-100009
    第四隐藏度量值
    Figure PCTCN2022083628-appb-100010
    第五隐藏度量值
    Figure PCTCN2022083628-appb-100011
    第六隐藏度量值
    Figure PCTCN2022083628-appb-100012
  13. 根据权利要求8所述的相关系数计算装置,其特征在于,所述发送模块还用于:
    获取所述第一维度的上一级维度,得到第二维度;
    从预先设置的隐藏度量值数据库中获取所述第二维度的预计算的隐藏度量值;
    根据所述第二维度的隐藏度量值和度量计算公式计算得到所述第二维度的度量值;
    将所述第二维度的度量值发送给所述客户端。
  14. 根据权利要求8所述的相关系数计算装置,其特征在于,所述装置还包括更新模块,所述更新模块用于:
    将所述度量值保存在度量值数据库中;
    对所述度量值数据库进行更新,加入新的度量值;
    根据所述新的度量值确定所述新的度量值相关的隐藏度量值;
    对所述隐藏度量值数据库进行更新,加入所述新的度量值相关的隐藏度量值。
  15. 一种电子设备,其特征在于,包括:至少一个处理器和至少一个存储器;所述存储器用于存储一个或多个程序指令;所述处理器,用于运行一个或多个程序指令,用以执行如权利要求1-7任一项所述的方法。
  16. 一种计算机可读存储介质,其特征在于,计算机可读存储介质中包含一个或多个程序指令,所述一个或多个程序指令用于执行如权利要求1-7任一项所述的方法。
PCT/CN2022/083628 2022-02-15 2022-03-29 相关系数计算方法、装置、设备和存储介质 WO2023155273A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210139744.6 2022-02-15
CN202210139744.6A CN114547054A (zh) 2022-02-15 2022-02-15 相关系数计算方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
WO2023155273A1 true WO2023155273A1 (zh) 2023-08-24

Family

ID=81674721

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/083628 WO2023155273A1 (zh) 2022-02-15 2022-03-29 相关系数计算方法、装置、设备和存储介质

Country Status (2)

Country Link
CN (1) CN114547054A (zh)
WO (1) WO2023155273A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106484875A (zh) * 2016-10-13 2017-03-08 广州视源电子科技股份有限公司 基于molap的数据处理方法及装置
CN110222124A (zh) * 2019-05-08 2019-09-10 跬云(上海)信息科技有限公司 基于olap的多维数据处理方法及系统
CN110399395A (zh) * 2018-04-18 2019-11-01 福建天泉教育科技有限公司 基于预计算的加速查询方法、存储介质
US20200082447A1 (en) * 2018-09-06 2020-03-12 Ebay Inc. System and methods for a collective search query using hidden attributes
CN113918561A (zh) * 2021-09-10 2022-01-11 上海跬智信息技术有限公司 基于云上分析场景的混合查询方法和系统、存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106484875A (zh) * 2016-10-13 2017-03-08 广州视源电子科技股份有限公司 基于molap的数据处理方法及装置
CN110399395A (zh) * 2018-04-18 2019-11-01 福建天泉教育科技有限公司 基于预计算的加速查询方法、存储介质
US20200082447A1 (en) * 2018-09-06 2020-03-12 Ebay Inc. System and methods for a collective search query using hidden attributes
CN110222124A (zh) * 2019-05-08 2019-09-10 跬云(上海)信息科技有限公司 基于olap的多维数据处理方法及系统
CN113918561A (zh) * 2021-09-10 2022-01-11 上海跬智信息技术有限公司 基于云上分析场景的混合查询方法和系统、存储介质

Also Published As

Publication number Publication date
CN114547054A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
US10872101B2 (en) Distributed database processing method and device
Tong et al. A linear road object matching method for conflation based on optimization and logistic regression
JPH10232804A (ja) データベースシステムにおいて集合体照会を遂行するための方法と装置
JP5493597B2 (ja) 検索方法及び検索システム
WO2021213448A1 (zh) 确定用于信息推荐的图谱
US8825713B2 (en) BPM system portable across databases
WO2020192141A1 (zh) 接口模拟方法、装置、计算机设备和存储介质
US11423036B2 (en) Systems and methods for selecting datasets
US8028000B2 (en) Data storage structure
CN111651641B (zh) 一种图查询方法、装置及存储介质
WO2022048368A1 (zh) 基于知识图谱的推荐方法、装置、计算机设备及存储介质
CN112860737B (zh) 数据查询方法、装置、电子设备及可读存储介质
EP3659007A1 (en) Grouping datasets
CN111512283A (zh) 数据库中的基数估算
CN105677645B (zh) 一种数据表比对方法和装置
TWI780355B (zh) 維修對象的定損方法及裝置、電子設備
JP2022547519A (ja) マルチファクトデータセットのデータ視覚化を生成するための適切な測度集計の活用
CN108763341B (zh) 电子装置、自动化建表方法及存储介质
WO2023155273A1 (zh) 相关系数计算方法、装置、设备和存储介质
WO2022267183A1 (zh) 预计算模型的评分方法、装置、设备和存储介质
EP4174678A1 (en) Cloud analysis scenario-based hybrid query method and system, and storage medium
CN115758271A (zh) 数据处理方法、装置、计算机设备和存储介质
CN113934729A (zh) 一种基于知识图谱的数据管理方法、相关设备及介质
Shah et al. An ellipsoid algorithm for equality-constrained nonlinear programs
CN112668703A (zh) 一种用户收入确定方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22926589

Country of ref document: EP

Kind code of ref document: A1