WO2021047323A1 - 一种数据操作方法、装置及系统 - Google Patents

一种数据操作方法、装置及系统 Download PDF

Info

Publication number
WO2021047323A1
WO2021047323A1 PCT/CN2020/105957 CN2020105957W WO2021047323A1 WO 2021047323 A1 WO2021047323 A1 WO 2021047323A1 CN 2020105957 W CN2020105957 W CN 2020105957W WO 2021047323 A1 WO2021047323 A1 WO 2021047323A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
target
memory
query
keywords
Prior art date
Application number
PCT/CN2020/105957
Other languages
English (en)
French (fr)
Inventor
何庆安
李晶晶
Original Assignee
苏宁云计算有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 苏宁云计算有限公司 filed Critical 苏宁云计算有限公司
Priority to CA3154763A priority Critical patent/CA3154763A1/en
Publication of WO2021047323A1 publication Critical patent/WO2021047323A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/316—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution

Definitions

  • This application relates to the field of data manipulation, and in particular to a data manipulation method, device and system.
  • search engines are now used to build indexes for data search, which greatly improves the efficiency of data query.
  • Index methods usually include forward index and inverted index. Both of these methods use keywords to query.
  • the forward index takes the document ID as the key, and each document ID corresponds to the number and position of the keywords it contains. If you want to query a keyword, you need to scan the keyword information in each document until you find all the documents that contain the keyword you want to query.
  • the inverted index uses a keyword as the key, and corresponds to all document IDs that contain the keyword. When querying, as long as the keyword is queried, you can directly get all the document IDs that contain the keyword at once.
  • the current index data is stored in the disk, and when operations such as read or update are required, queries and corresponding operations are performed on the disk based on keywords.
  • the frequency of data changes in some fields is high, such as frequent changes in prices, inventory, etc., resulting in low incremental update efficiency and occupying a large index space.
  • the update of some fields needs to be achieved by rebuilding the full index of the product, such as the coupon rule.
  • a change in the coupon rule may update millions or even tens of millions of products.
  • the timeliness of the rule is relatively poor by rebuilding the full index of the product to take effect. , It usually takes several hours to take effect.
  • This application provides a data operation method, the method includes:
  • the data operation request includes a query word and an operation instruction
  • the memory index data is established based on the correspondence between the document identifier in the disk index data and some keywords;
  • the data operation request is a data acquisition request
  • the method also includes:
  • the performing a corresponding operation on the first target data according to the operation instruction includes:
  • the corresponding part in the second target data is replaced according to the first target data, and the final target data is generated and returned to the data requester.
  • the memory index includes memory forward index data composed of a two-dimensional array; the first dimension of the array is the document identifier corresponding to the first type of keyword, and the second dimension is the same as the first The second category keywords corresponding to the category keywords.
  • the data operation request is a data update request
  • the performing a query in the memory index data according to the query term and determining the first target data includes:
  • the performing a corresponding operation on the first target data according to the operation instruction includes:
  • the first target data is updated.
  • the data operation request is a data acquisition request
  • the performing a query in the memory index data according to the query term and determining the first target data includes:
  • the performing a corresponding operation on the first target data according to the operation instruction includes:
  • the two-dimensional array is composed of an array of document identifications corresponding to commodities and an array of commodity prices in cities across the country; the subscript of the commodity price in the array is the city corresponding to the commodity price;
  • the performing a query in the memory index data according to the query term and determining the first target data includes:
  • the price at the target subscript position in the target commodity price array is determined as the first target data.
  • the memory index includes memory inverted index data; the method further includes:
  • the fourth type keywords and their corresponding document identifier sets are established to form memory inverted index data.
  • the fourth type of keywords are coupon rules, and the fifth type of keywords are commodities;
  • the process of establishing the memory inverted index data includes:
  • the correspondence relationship between the coupon rules and the corresponding document identification set is established according to the pre-stored correspondence between the document identifier and the commodity, and the inverted memory index data is formed.
  • Another aspect of the present application also discloses a data operation device, which includes:
  • the request receiving unit is configured to receive a data operation request sent by the requesting party; the data operation request includes a query word and an operation instruction;
  • the first target data determining unit is configured to perform a query in the memory index data according to the query term to determine the first target data containing the target document identifier; the memory index data is based on the document identifier and part of the key in the disk index data Correspondence between words is established;
  • the operation execution unit is configured to execute a corresponding operation on the first target data according to the operation instruction.
  • a computer system including:
  • One or more processors are One or more processors.
  • a memory associated with the one or more processors where the memory is used to store program instructions, and when the program instructions are read and executed by the one or more processors, perform the following operations:
  • the data operation request includes a query word and an operation instruction
  • the memory index data is established based on the correspondence between the document identifier in the disk index data and some keywords;
  • the technical solution of this application establishes memory index data for some keywords of the disk index based on the corresponding relationship between the keywords in the disk index and the document identifier, and the update and read operation of some keywords can be performed directly in the memory index .
  • This makes it possible for keywords with high update frequency to be updated and subsequently read in the memory index separately, without frequent operations on the disk, and no need to update the full amount of data in the disk, which improves efficiency and avoids excessive disk use.
  • the correspondence between the document identifiers and keywords in the disk index and the memory index is the same. Therefore, for situations where more detailed information is required, the corresponding full document data in the disk index can be obtained, and the latest data in the memory index can be obtained. The data is combined to obtain the final data.
  • Figure 1 is a system structure diagram provided by an embodiment of the present application.
  • Figure 2-6 is a schematic diagram of the first embodiment
  • Figures 7-9 are schematic diagrams of the second embodiment
  • FIG. 10 is a flowchart of a method provided by an embodiment of the present application.
  • Figure 11 is a structural diagram of an apparatus provided by an embodiment of the present application.
  • FIG. 12 is an architecture diagram of a computer system provided by an embodiment of the present application.
  • This application aims to provide a method for establishing an in-memory index based on a disk index to search data in the in-memory index. It creatively proposes that the disk index data format remains unchanged, and some fields in the disk index, especially the fields with high update frequency, are placed in the memory index, and based on the inverse of the field (business primary key) established in the memory index and the document identification.
  • the row index relationship further establishes the front row index and the inverted row index data of each key field and document identification in the memory. Directly perform field update read and inverted index establishment read in the memory front index.
  • the in-memory index is established based on the correspondence between the document identifier and the field in the disk index, so that the disk index data can be further read and the in-memory data and the data in the disk index can be seamlessly combined.
  • the user's data operation request is sent to the memory index for query.
  • the user's data operation request is sent to the disk index for query, and merged with the memory index data to obtain the final required data. .
  • the following takes the business data of the e-commerce platform as an example to describe the establishment and operation of the forward index data and the inverted index data in the memory index:
  • the price information of the product in each city is established in the memory index to establish positive index data.
  • a two-dimensional array with the maximum number of documents in the involved data segment is created, as shown in Figure 4.
  • Each position of the array identifies the price information of an item.
  • Each position in the obtained data stores a price array for each city, and each subscript position of the price array stores the price of the corresponding city.
  • the document id in the array is 3, and the position with the subscript 2 represents the Shanghai price corresponding to Redmi note3.
  • coupon rules Take the issuance of coupon rules on the e-commerce platform as an example. Each time the coupon rules must take effect for many products and the products that take effect each time are different, the index is created in the inverted index format, and the coupon rules can be used as the key to take effect at one time All goods.
  • Figure 7-9 is a schematic diagram of the realization of the inverted index of full 30-30 coupons.
  • the active product set calculated according to the business or big data uses the document id and business primary key (product) of the inverted index shown in Figure 7
  • the mapping relationship is to construct an inverted array as shown in Figure 8.
  • one dimension is the coupon rule
  • one dimension is the ordered document id, which represents the document id corresponding to the effective coupon rule. Bind this inverted index collection to the current search engine.
  • the inverted index table can be directly obtained according to the coupon identifier such as the coupon code input by the user.
  • the effective product can be determined.
  • the above-mentioned inverted index table and the indexes of other query conditions can be inverted for intersection calculation, as shown in Figure 9, to obtain the final result set.
  • This solution does not need to update the disk inverted index to take effect in real time a large number of commodities under the rule, which improves timeliness and query performance.
  • this application provides a data operation method, as shown in FIG. 10, the method includes:
  • S101 receives a data operation request sent by the requesting party; the data operation request includes a query word and an operation instruction.
  • the query term is the keyword used for the query, such as commodity, price, inventory, city, etc., which can be one or more.
  • Operation instructions are specific operations on data such as query, update, and delete.
  • S102 performs a query in the in-memory index data according to the query term, and determines the first target data including the target document identifier; the in-memory index data is established based on the correspondence between the document identifier in the disk index data and some keywords.
  • the inverted index relationship between some keywords (business primary keys such as commodities) and the document identifier may be pre-stored in the memory index database.
  • the in-memory index data is further established based on the pre-stored inverted index relationship in the in-memory index database.
  • S103 performs a corresponding operation on the first target data according to the operation instruction.
  • the aforementioned data operation request is a data acquisition request, it is used to return the acquired first target data to the data requester.
  • the above data operation request is a data update request, it is used to replace and update the acquired first target data.
  • the method further includes:
  • the corresponding part in the second target data is replaced according to the first target data, and the final target data is generated and returned to the data requester.
  • multiple data can also be acquired in the memory for intersection calculation to determine the first target data.
  • in-memory indexes are created with in-memory forward index data and memory inverted index data.
  • Both the memory forward index data and the memory inverted index data can be represented in the form of an array.
  • the in-memory forward index data consists of document id and corresponding keyword set.
  • the memory inverted index data is composed of keywords and corresponding document ID collections.
  • the document id corresponds to a business primary key such as commodities.
  • One business primary key can correspond to multiple document ids, but one document id only corresponds to one business primary key.
  • the memory front index data can be composed of a two-dimensional array; the first dimension of the array is the document id corresponding to the first type of keywords (such as commodities), and the second dimension is the document id corresponding to the first type of keywords (such as Commodity) corresponding to the second category of keywords (such as price). More preferably, the subscript position of the array can also correspond to the third type of keyword (such as city)
  • the query in the memory index data according to the query term and determining the first target data includes:
  • the performing a corresponding operation on the first target data according to the operation instruction includes:
  • the first target data is updated.
  • the query in the memory index data according to the query term, and determining the first target data includes:
  • the performing a corresponding operation on the first target data according to the operation instruction includes:
  • the method further includes the process of establishing the memory inverted index data:
  • the fourth type keywords and their corresponding document identifier sets are established to form memory inverted index data.
  • the fourth type of keyword is a coupon rule
  • the fifth type of keyword is a commodity
  • the process of establishing the memory inverted index data includes:
  • the correspondence relationship between the coupon rules and the corresponding document identification set is established according to the pre-stored correspondence between the document identifier and the commodity, and the inverted memory index data is formed.
  • the device includes:
  • the request receiving unit 11 is configured to receive a data operation request sent by the requesting party; the data operation request includes a query word and an operation instruction;
  • the first target data determining unit 12 is configured to perform a query in the memory index data according to the query term to determine the first target data including the target document identifier; the memory index data is based on the document identifier and part in the disk index data Correspondence of keywords is established;
  • the operation execution unit 13 is configured to execute a corresponding operation on the first target data according to the operation instruction.
  • the operation execution unit 13 When the aforementioned data operation request is a data acquisition request, the operation execution unit 13 is configured to return the acquired first target data to the data requester. When the aforementioned data operation request is a data update request, the operation execution unit 13 is configured to replace and update the acquired first target data.
  • the device when the data operation request is a data acquisition request and the user wishes to obtain more detailed data, the device further includes:
  • the second target data determining unit 14 is configured to query the disk index data according to the target document identifier to obtain second target data;
  • the final data determining unit 15 is configured to replace the corresponding part in the second target data according to the first target data, and generate final target data to be returned to the data requester.
  • the first target data determining unit 12 in the present application may also be used to obtain multiple data in the memory for intersection calculation to determine the first target data.
  • in-memory indexes are created with in-memory forward index data and in-memory inverted index data.
  • Both the memory forward index data and the memory inverted index data can be represented in the form of an array.
  • the in-memory forward index data consists of document id and corresponding keyword set.
  • the memory inverted index data is composed of keywords and corresponding document ID collections.
  • the document id corresponds to a business primary key such as commodities.
  • One business primary key can correspond to multiple document ids, but one document id only corresponds to one business primary key.
  • the memory front index data can be composed of a two-dimensional array; the first dimension of the array is the document id corresponding to the first type of keywords (such as commodities), and the second dimension is the document id corresponding to the first type of keywords (such as Commodity) corresponding to the second category of keywords (such as price). More preferably, the subscript position of the array can also correspond to the third type of keyword (such as city)
  • the first target data determining unit 12 When performing data update on the memory front row index data, the first target data determining unit 12 includes:
  • the target array determining unit is configured to determine the target array in the memory forward index data according to the document identifier corresponding to the first-type keyword in the query term;
  • the first target data determining subunit is configured to determine the corresponding first target data from the target array according to the second-type keywords in the query words;
  • the operation execution unit 13 is configured to update the first target data.
  • the first target data determining unit 12 is specifically configured to
  • the operation execution unit 13 is configured to obtain the first target data to send to the request sender.
  • the device further includes an inverted index creating unit for memory inverted index data.
  • an inverted index creating unit for memory inverted index data.
  • the fourth type of keyword is a coupon rule
  • the fifth type of keyword is a commodity
  • the inverted index creation unit is specifically used to obtain the coupon rules and the product collection corresponding to the coupon rules, and establish the correspondence relationship between the coupon rules and the corresponding document ID collection according to the prestored correspondence between the document ID and the product, and Form the memory inverted index data.
  • One or more processors are One or more processors.
  • a memory associated with the one or more processors where the memory is used to store program instructions, and when the program instructions are read and executed by the one or more processors, perform the following operations:
  • the data operation request includes a query word and an operation instruction
  • the memory index data is established based on the correspondence between the document identifier in the disk index data and some keywords;
  • FIG. 12 exemplarily shows the architecture of the computer system, which may specifically include a processor 1510, a video display adapter 1511, a disk drive 1512, an input/output interface 1513, a network interface 1514, and a memory 1520.
  • the processor 1510, the video display adapter 1511, the disk drive 1512, the input/output interface 1513, the network interface 1514, and the memory 1520 may be communicatively connected through the communication bus 1530.
  • the processor 1510 may be implemented by a general CPU (Central Processing Unit, central processing unit), microprocessor, application specific integrated circuit (Application Specific Integrated Circuit, ASIC), or one or more integrated circuits, etc., for Perform relevant procedures to realize the technical solutions provided in this application.
  • a general CPU Central Processing Unit, central processing unit
  • microprocessor microprocessor
  • application specific integrated circuit Application Specific Integrated Circuit, ASIC
  • integrated circuits etc.
  • the memory 1520 may be implemented in the form of ROM (Read Only Memory), RAM (Random Access Memory, random access memory), static storage device, dynamic storage device, etc.
  • the memory 1520 may store an operating system 1521 used to control the operation of the computer system 1500, and a basic input output system (BIOS) used to control low-level operations of the computer system 1500.
  • BIOS basic input output system
  • a web browser 1523, a data storage management system 1524, and an icon font processing system 1525 can also be stored.
  • the foregoing icon font processing system 1525 may be an application program that specifically implements the foregoing steps in the embodiment of the present application. In short, when the technical solution provided by the present application is implemented through software or firmware, the related program code is stored in the memory 1520 and is called and executed by the processor 1510.
  • the input/output interface 1513 is used to connect input/output modules to realize information input and output.
  • the input/output/module can be configured in the device as a component (not shown in the figure), or it can be connected to the device to provide corresponding functions.
  • the input device may include a keyboard, a mouse, a touch screen, a microphone, various sensors, etc., and an output device may include a display, a speaker, a vibrator, an indicator light, and the like.
  • the network interface 1514 is used to connect a communication module (not shown in the figure) to realize the communication interaction between the device and other devices.
  • the communication module can realize communication through wired means (such as USB, network cable, etc.), or through wireless means (such as mobile network, WIFI, Bluetooth, etc.).
  • the bus 1530 includes a path to transmit information between various components of the device (for example, the processor 1510, the video display adapter 1511, the disk drive 1512, the input/output interface 1513, the network interface 1514, and the memory 1520).
  • various components of the device for example, the processor 1510, the video display adapter 1511, the disk drive 1512, the input/output interface 1513, the network interface 1514, and the memory 1520.
  • the computer system 1500 can also obtain information about specific receiving conditions from the virtual resource object receiving condition information database 1541 for condition determination, and so on.
  • the above device only shows the processor 1510, the video display adapter 1511, the disk drive 1512, the input/output interface 1513, the network interface 1514, the memory 1520, the bus 1530, etc., in the specific implementation process, the The equipment may also include other components necessary for normal operation.
  • the above-mentioned device may also include only the components necessary to implement the solution of the present application, and not necessarily include all the components shown in the figure.

Abstract

本申请实施例公开了一种数据处理方法、装置及系统。其中方法包括接收请求方发送的数据操作请求；数据操作请求中包括查询词和操作指令；根据查询词在内存索引数据中进行查询，确定包含有目标文档标识的第一目标数据；内存索引数据基于磁盘索引数据中的文档标识与部分关键词的对应关系建立；根据操作指令对第一目标数据执行相应的操作。本申请的技术方案使得对于更新频率高的关键词可以单独在内存索引中进行更新和后续读取，无需频繁对磁盘进行操作，且无需在磁盘内进行全量数据的更新，提高了效率并避免了对磁盘的过度使用。

Description

一种数据操作方法、装置及系统 技术领域
本申请涉及数据操作领域，特别是涉及一种数据操作方法、装置及系统。
背景技术
为解决大数据状态下的数据搜索问题，现在都是用搜索引擎建立索引来进行数据搜索，这在很大程度上提高了数据查询效率。
索引的方式通常有正排索引和倒排索引。这两种方式都以关键字进行查询。
其中正排索引以文档ID为key，每个文档ID对应有其包含的关键字出现的次数和位置。若要查询某个关键字，则需要扫描每个文档中关键字的信息，直到找到所有包含查询要查询的关键字的文档。
其中倒排索引是以关键字为key，对应有包含该关键字的所有文档ID。在查询时，只要查询到关键字，即可直接一次获取所有包含该关键字的文档ID。
目前的索引数据存放在磁盘中，当需要进行读取或更新等操作时，以关键字为基础，向磁盘进行查询和相应操作。
以电商平台为例，其业务数据量大，一部分数据如价格、库存等数据的变化频率高。而且实际应用中经常需要对这类数据进行读取如读取价格、库存数据进行排序等。这些都要求搜索引擎中的数据具有很好的时效性才能保证最终结果的正确。
但目前的方式时效性较低：
一些字段的数据变化频率高，比如价格、库存等频繁变化导致增量更新效率低，同时占用索引空间大。
一些字段的更新需要通过重建商品全量索引来实现，比如优惠券规则，一次优惠券规则变化可能会更新上百万甚至千万规模的商品，通过重建商品全量索引来生效该规则的时效性比较差，通常需要几个小时才能生效。
因此，如何保证时效性是目前需要解决的问题。
发明内容
本申请提供了一种数据操作方法，所述方法包括：
接收请求方发送的数据操作请求；所述数据操作请求中包括查询词和操作指令；
根据所述查询词在内存索引数据中进行查询，确定包含有目标文档标识的第一目标数据；所述内存索引数据基于磁盘索引数据中的文档标识与部分关键词的对应关系建立；
根据所述操作指令对所述第一目标数据执行相应的操作。
优选的，所述数据操作请求为数据获取请求；
所述方法还包括：
根据所述目标文档标识在所述磁盘索引数据中进行查询获得第二目标数据；
所述根据所述操作指令对所述第一目标数据执行相应的操作包括：
根据所述第一目标数据替换所述第二目标数据中的对应部分，生成最终目标数据并返回至数据请求方。
优选的，所述内存索引包括由二维数组构成的内存正排索引数据；所述数组的第一维为与第一类关键词对应的所述文档标识，第二维为与所述第一类关键词对应的第二类关键词。
优选的，所述数据操作请求为数据更新请求；
所述根据所述查询词在内存索引数据中进行查询，确定第一目标数据包括：
根据与所述查询词中第一类关键词对应的文档标识在内存正排索引数据中确定目标数组；
根据所述查询词中第二类关键词从所述目标数组中确定对应的第一目标数据；
所述根据所述操作指令对所述第一目标数据执行相应的操作包括：
对所述第一目标数据进行更新。
优选的，所述数据操作请求为数据获取请求；
所述根据所述查询词在内存索引数据中进行查询，确定第一目标数据包括：
根据与所述查询词中第一类关键词对应的文档标识在内存正排索引数据中确定目标数组；
根据所述查询词中第二类关键词从所述目标数组中确定对应的第一目标数据；
所述根据所述操作指令对所述第一目标数据执行相应的操作包括：
获取所述第一目标数据并发送至所述请求发送方。
优选的，所述二维数组由商品对应的文档标识数组和全国各城市的商品价格数组组成；数组中所述商品价格的下标为所述商品价格对应的城市；
所述根据所述查询词在内存索引数据中进行查询，确定第一目标数据包括：
根据所述目标商品确定对应的目标文档标识；
确定所述目标文档标识对应的全国各城市的目标商品价格数组；
确定所述目标城市在目标商品价格数组中的目标下标；
确定所述目标商品价格数组中的目标下标位置的价格为第一目标数据。
优选的，所述内存索引包括内存倒排索引数据；所述方法还包括：
接收所述内存倒排索引数据建立过程：
获取第四类关键词以及与第四类关键词对应的第五类关键词集合；
根据预存的所述文档标识与第五类关键词的对应关系建立第四类关键词与其对应的文档标识集合，形成内存倒排索引数据。
优选的，所述第四类关键词为优惠券规则，所述第五类关键词为商品；
所述内存倒排索引数据建立过程包括：
获取优惠券规则以及与优惠券规则对应的商品集合；
根据预存的所述文档标识与商品的对应关系建立优惠券规则与其对应的文档标识集合的对应关系，形成所述内存倒排索引数据。
本申请另一方面还公开一种数据操作装置，所述装置包括：
请求接收单元，用于接收请求方发送的数据操作请求；所述数据操作请求中包括查询词和操作指令；
第一目标数据确定单元，用于根据所述查询词在内存索引数据中进行查询，确定包含有目标文档标识的第一目标数据；所述内存索引数据基于磁盘索引数据中的文档标识与部分关键词的对应关系建立；
操作执行单元，用于根据所述操作指令对所述第一目标数据执行相应的操作。
本申请再一方面还公开一种计算机系统，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：
接收请求方发送的数据操作请求；所述数据操作请求中包括查询词和操作指令；
根据所述查询词在内存索引数据中进行查询，确定包含有目标文档标识的第一目标数据；所述内存索引数据基于磁盘索引数据中的文档标识与部分关键词的对应关系建立；
根据所述操作指令对所述第一目标数据执行相应的操作。
根据本申请提供的具体实施例，本申请公开了以下技术效果：
本申请的技术方案在磁盘索引之外，对磁盘索引的部分关键词基于磁盘索引内关键词与文档标识对应关系建立了内存索引数据，部分关键词的更新读取操作可以直接在内存索引中进行。这使得对于更新频率高的关键词可以单独在内存索引中进行更新和后续读取，无需频繁对磁盘进行操作，且无需在磁盘内进行全量数据的更新，提高了效率并避免了对磁盘的过度使用。
更进一步的，磁盘索引与内存索引中文档标识与关键词的对应关系是一致的，因此对于需要获取更详细信息的情形，可以获取磁盘索引中的对应全量文档数据，并与内存索引中最新的数据进行结合，获得最终的数据。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的系统结构图；
图2-6为实施例一示意图；
图7-9为实施例二示意图；
图10为是本申请实施例提供的方法流程图；
图11是本申请实施例提供的装置结构图；
图12是本申请实施例提供的计算机系统架构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
本申请旨在提供一种基于磁盘索引建立内存索引以在内存索引进行数据搜索的方法。其创造性的提出磁盘索引数据格式不变，将磁盘索引中部分字段，尤其是更新频率高的字段放在内存索引中，并基于预先在内存索引中建立的字段(业务主键)与文档标识的倒排索引关系在内存中进一步建立各关键字字段与文档标识的正排索引和倒排索引数据。直接在内存的正排索引中进行字段的更新读取和倒排索引的建立读取。其中内存索引均以磁盘索引中的文档标识与字段的对应关系为基础建立，使得可以进一步读取磁盘索引数据并将内存数据和磁盘索引中的数据进行无缝结合。
如图1所示，用户的数据操作请求被发送至内存索引进行查询，当需要详 细数据时用户的数据操作请求被发送至磁盘索引进行查询，并与内存索引数据进行合并替换得到最终需要的数据。
以下以电商平台的业务数据为例，对内存索引中的正排索引数据和倒排索引数据的建立和操作进行描述：
实施例一
考虑到电商平台的数据中商品的各城市价格数据更新频繁，因此实施例一中，将商品在各城市的价格信息在内存索引中建立正排索引数据。
如图2、3所示，首先在内存索引数据库中建立两份基础数据，一是索引的文档id和业务主键(商品)的倒排索引关系，二是城市与数组下标的映射关系。其中这些关系与磁盘索引中的关系一致。
依赖这两份映射关系创建出一个长度为涉及的数据段中最大文档数的二维数组，如图4所示。数组每个位置都标识一个商品的价格信息。用文档id来获取数据，获取的数据中每个位置中存放的是各个城市的一个价格数组，价格数组的每个下标位置存放的就是对应城市的价格。比如数组中文档id为3，下标为2的位置表示的就是红米note3对应的上海价格。基于这个二维数组，可以快速方便的实现数据的更新查询操作。
如图5所示的场景一，更新iphone8这个商品的北京价格时，只需要依据关系取出对应的文档id(0)和城市下标(1)，通过文档id在正排索引中取出城市的价格数组，在对应的位置上直接替换价格即可。
比如场景二查询iphone8这个商品的上海价格时，只需要依据关系取出对应的文档id(0)和城市下标(2)，通过文档id在正排索引中取出城市的价格数组，获取价格数组中城市下标位置的价格即可。
如图6所示的场景三，查询南京价格在2000-3000范围内的手机时，通过实现一个价格的后置过滤器，对已召回的手机的文档id集合从正排索引中获取出对应的价格数据，把每个商品的南京价格取出判断即可。
实施例二
以电商平台的优惠券规则下发为例，每次优惠券规则要生效众多商品且每次生效的商品不同，以倒排索引格式建立索引，可以以优惠券规则为key，一次生效对应的所有商品。
图7-9中是满30-30优惠券的倒排索引实现示意图，根据业务或者大数据计算出的活动商品集，利用图7所示的倒排索引的文档id和业务主键(商品)的映射关系，构造一份倒排数组如图8所示，该数组中一维是优惠券规则，一维是有序的文档id，表示该优惠券规则生效对应的文档id。绑定这份倒排索引集合到当前的搜索引擎中。当进行查询时，根据用户输入的优惠券标识如券编码即可直接获取出该倒排索引表。根据倒排索引表中的文档id即可确定生效的商品。
当需要进行进一步操作时，可以将上述倒排索引表和其它查询条件的索引倒排做交集计算，如图9所示，获取到最终的结果集。该方案不需要更新磁盘倒排索引就可以实时生效该规则下的大量商品，提升了时效性和查询性能。
用户有时候需要获取文档详细数据信息，仅仅从内存中获取的数据不足以满足需求。此时用户可根据对应的文档id进一步的在磁盘索引中获取对应数据。因为磁盘索引的部分数据没有更新，因此需要将内存索引的数据替换从磁盘索引中获取的数据中的对应部分，进而得到最终的数据返回给用户。
以上述实施例一场景二为例，若用户查询到iphone8这个商品的上海价格后还需要知道这个商品的其他信息，则可以根据iphone8这个商品的对应的文档id在磁盘索引中进行查询，获取对应文档信息即iphone8这个商品的所有信息。此时对所有信息中的上海价格信息进行更新即可获得最终数据。
因此，利用上述方法，可以在内存索引中快速更新和查询一些更新或访问频率高的字段。同时结合磁盘索引，可以获得全量的数据。
实施例三
以上是本申请的具体实施例，对于其他字段或类似情景奔放都同样适用，对应的，本申请提供一种数据操作方法，如图10所示，所述方法包括：
S101接收请求方发送的数据操作请求；所述数据操作请求中包括查询词和操作指令。查询词即用于查询的关键词如商品、价格、库存、城市等，可以是一个或多个。操作指令即对数据的具体操作如查询、更新、删除等。
S102根据所述查询词在内存索引数据中进行查询，确定包含有目标文档标识的第一目标数据；所述内存索引数据基于磁盘索引数据中的文档标识与部分关键词的对应关系建立。
具体的，可基于磁盘索引数据中的关键词与文档标识的倒排索引关系在内存索引数据库中预存部分关键词(业务主键如商品)与文档标识的倒排索引关系。
之后以该内存索引数据库中预存的倒排索引关系为基础进一步建立内存索引数据。
S103根据所述操作指令对所述第一目标数据执行相应的操作。
当上述数据操作请求为数据获取请求时，用于将获取的第一目标数据返回数据请求方。当上述数据操作请求为数据更新请求时，用于将获取的第一目标数据进行替换更新。
进一步的，当数据操作请求为数据获取请求且用户希望获得更详细的数据时，所述方法还包括：
根据所述目标文档标识在所述磁盘索引数据中进行查询获得第二目标数据；
根据所述第一目标数据替换所述第二目标数据中的对应部分，生成最终目标数据并返回至数据请求方。
当然，本申请中还可以在内存中获取多个数据进行交集计算，确定第一目标数据。
考虑索引的需求不同，内存索引中创建有内存正排索引数据和内存倒排索 引数据。其中内存正排索引数据和内存倒排索引数据均可以以数组形式表示。内存正排索引数据由文档id和对应的关键词集合组成。内存倒排索引数据由关键词和对应的文档id集合组成。文档id对应一业务主键如商品等。其中一个业务主键可以对应多个文档id，但一个文档id只对应一个业务主键。
其中内存正排索引数据可以由二维数组构成；所述数组的第一维为与第一类关键词(如商品)对应的所述文档id，第二维为与第一类关键词(如商品)对应的第二类关键词(如价格)。更优选的，数组的下标位置还可以对应第三类关键词(如城市)
当对内存正排索引数据进行数据更新时，所述根据所述查询词在内存索引数据中进行查询，确定第一目标数据包括：
根据与所述查询词中第一类关键词对应的文档标识在内存正排索引数据中确定目标数组；
根据所述查询词中第二类关键词从所述目标数组中确定对应的第一目标数据；
所述根据所述操作指令对所述第一目标数据执行相应的操作包括：
对所述第一目标数据进行更新。
当对内存正排索引数据进行数据获取时，所述根据所述查询词在内存索引数据中进行查询，确定第一目标数据包括：
根据与所述查询词中第一类关键词对应的文档标识在内存正排索引数据中确定目标数组；
根据所述查询词中第二类关键词从所述目标数组中确定对应的第一目标数据；
所述根据所述操作指令对所述第一目标数据执行相应的操作包括：
获取所述第一目标数据并发送至所述请求发送方。
针对内存倒排索引数据，所述方法还包括所述内存倒排索引数据建立过程：
获取第四类关键词(如优惠券)以及与第四类关键词对应的第五类关键词(如商品)集合；
根据预存的所述文档标识与第五类关键词(如商品)的对应关系建立第四类关键词与其对应的文档标识集合，形成内存倒排索引数据。
若所述第四类关键词为优惠券规则，所述第五类关键词为商品；
则所述内存倒排索引数据建立过程包括：
获取优惠券规则以及与优惠券规则对应的商品集合；
根据预存的所述文档标识与商品的对应关系建立优惠券规则与其对应的文档标识集合的对应关系，形成所述内存倒排索引数据。
当针对内存倒排索引数据进行检索时，只需要根据第四类关键词在内存倒排索引数据中进行查询即可得到对应的倒排数据。
当需要更改第四类关键词对应的第五类关键词即可，可直接按照上述过程重新建立一个倒排索引表即可。
而对于已经失效的数据如已经失效的优惠券规则，可根据第四类关键词在内存倒排索引数据中进行查询将获得的倒排索引数据表删除即可。
实施例四
本申请对应上述实施例四还公开一种数据操作装置，如图11所示，所述装置包括：
请求接收单元11，用于接收请求方发送的数据操作请求；所述数据操作请求中包括查询词和操作指令；
第一目标数据确定单元12，用于根据所述查询词在内存索引数据中进行查询，确定包含有目标文档标识的第一目标数据；所述内存索引数据基于磁盘索引数据中的文档标识与部分关键词的对应关系建立；
操作执行单元13，用于根据所述操作指令对所述第一目标数据执行相应 的操作。
当上述数据操作请求为数据获取请求时，操作执行单元13，用于将获取的第一目标数据返回数据请求方。当上述数据操作请求为数据更新请求时，操作执行单元13，用于将获取的第一目标数据进行替换更新。
进一步的，当数据操作请求为数据获取请求且用户希望获得更详细的数据时，所述装置还包括：
第二目标数据确定单元14，用于根据所述目标文档标识在所述磁盘索引数据中进行查询获得第二目标数据；
最终数据确定单元15，用于根据所述第一目标数据替换所述第二目标数据中的对应部分，生成最终目标数据以返回至数据请求方。
当然，本申请中第一目标数据确定单元12还可以用于在内存中获取多个数据进行交集计算，以确定第一目标数据。
考虑索引的需求不同，内存索引中创建有内存正排索引数据和内存倒排索引数据。其中内存正排索引数据和内存倒排索引数据均可以以数组形式表示。内存正排索引数据由文档id和对应的关键词集合组成。内存倒排索引数据由关键词和对应的文档id集合组成。文档id对应一业务主键如商品等。其中一个业务主键可以对应多个文档id，但一个文档id只对应一个业务主键。
其中内存正排索引数据可以由二维数组构成；所述数组的第一维为与第一类关键词(如商品)对应的所述文档id，第二维为与第一类关键词(如商品)对应的第二类关键词(如价格)。更优选的，数组的下标位置还可以对应第三类关键词(如城市)
当对内存正排索引数据进行数据更新时，所述第一目标数据确定单元12包括：
目标数组确定单元，用于根据与所述查询词中第一类关键词对应的文档标识在内存正排索引数据中确定目标数组；
第一目标数据确定子单元，用于根据所述查询词中第二类关键词从所述目标数组中确定对应的第一目标数据；
所述操作执行单元13用于对所述第一目标数据进行更新。
当数据请求为对内存正排索引数据进行数据获取时，所述第一目标数据确定单元12具体用于
根据与所述查询词中第一类关键词对应的文档标识在内存正排索引数据中确定目标数组并根据所述查询词中第二类关键词从所述目标数组中确定对应的第一目标数据；
所述操作执行单元13用于获取所述第一目标数据以发送至所述请求发送方。
针对内存倒排索引数据，所述装置还包括倒排索引创建单元，用于
获取第四类关键词(如优惠券)以及与第四类关键词对应的第五类关键词(如商品)集合，根据预存的所述文档标识与第五类关键词(如商品)的对应关系建立第四类关键词与其对应的文档标识集合，形成内存倒排索引数据。
若所述第四类关键词为优惠券规则，所述第五类关键词为商品；
则倒排索引创建单元具体用于，获取优惠券规则以及与优惠券规则对应的商品集合，根据预存的所述文档标识与商品的对应关系建立优惠券规则与其对应的文档标识集合的对应关系，形成所述内存倒排索引数据。
实施例五
对应上述方法和装置，本申请再一方面还公开一种计算机系统，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令, 所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：
接收请求方发送的数据操作请求；所述数据操作请求中包括查询词和操作指令；
根据所述查询词在内存索引数据中进行查询，确定包含有目标文档标识的第一目标数据；所述内存索引数据基于磁盘索引数据中的文档标识与部分关键词的对应关系建立；
根据所述操作指令对所述第一目标数据执行相应的操作。
其中，图12示例性的展示出了计算机系统的架构，具体可以包括处理器1510，视频显示适配器1511，磁盘驱动器1512，输入/输出接口1513，网络接口1514，以及存储器1520。上述处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，与存储器1520之间可以通过通信总线1530进行通信连接。
其中，处理器1510可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请所提供的技术方案。
存储器1520可以采用ROM(Read Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1520可以存储用于控制计算机系统1500运行的操作系统1521，用于控制计算机系统1500的低级别操作的基本输入输出系统(BIOS)。另外，还可以存储网页浏览器1523，数据存储管理系统1524，以及图标字体处理系统1525等等。上述图标字体处理系统1525就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本申请所提供的技术方案时，相关的程序代码保存在存储器1520中，并由处理器1510来调用执行。
输入/输出接口1513用于连接输入/输出模块，以实现信息输入及输出。 输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
网络接口1514用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1530包括一通路，在设备的各个组件(例如处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，与存储器1520)之间传输信息。
另外，该计算机系统1500还可以从虚拟资源对象领取条件信息数据库1541中获得具体领取条件的信息，以用于进行条件判断，等等。
需要说明的是，尽管上述设备仅示出了处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，存储器1520，总线1530等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请方案所必需的组件，而不必包含图中所示的全部组件。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，云服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述 得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上对本申请所提供的数据处理方法、装置及设备，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

  1. 一种数据操作方法，其特征在于，所述方法包括：
    接收请求方发送的数据操作请求；所述数据操作请求中包括查询词和操作指令；
    根据所述查询词在内存索引数据中进行查询，确定包含有目标文档标识的第一目标数据；所述内存索引数据基于磁盘索引数据中的文档标识与部分关键词的对应关系建立；
    根据所述操作指令对所述第一目标数据执行相应的操作。
  2. 如权利要求1所述的数据操作方法，其特征在于，所述数据操作请求为数据获取请求；
    所述方法还包括：
    根据所述目标文档标识在所述磁盘索引数据中进行查询获得第二目标数据；
    所述根据所述操作指令对所述第一目标数据执行相应的操作包括：
    根据所述第一目标数据替换所述第二目标数据中的对应部分，生成最终目标数据并返回至数据请求方。
  3. 如权利要求1所述的数据操作方法，其特征在于，所述内存索引包括由二维数组构成的内存正排索引数据；所述数组的第一维为与第一类关键词对应的所述文档标识，第二维为与所述第一类关键词对应的第二类关键词。
  4. 如权利要求3所述的数据操作方法，其特征在于，所述数据操作请求为数据更新请求；
    所述根据所述查询词在内存索引数据中进行查询，确定第一目标数据包括：
    根据与所述查询词中第一类关键词对应的文档标识在内存正排索引数据中确定目标数组；
    根据所述查询词中第二类关键词从所述目标数组中确定对应的第一目标数据；
    所述根据所述操作指令对所述第一目标数据执行相应的操作包括：
    对所述第一目标数据进行更新。
  5. 如权利要求3所述的数据操作方法，其特征在于，所述数据操作请求为数据获取请求；
    所述根据所述查询词在内存索引数据中进行查询，确定第一目标数据包括：
    根据与所述查询词中第一类关键词对应的文档标识在内存正排索引数据中确定目标数组；
    根据所述查询词中第二类关键词从所述目标数组中确定对应的第一目标数据；
    所述根据所述操作指令对所述第一目标数据执行相应的操作包括：
    获取所述第一目标数据并发送至所述请求发送方。
  6. 如权利要求3所述的数据操作方法，其特征在于，所述二维数组由商品对应的文档标识数组和全国各城市的商品价格数组组成；数组中所述商品价格的下标为所述商品价格对应的城市；
    所述根据所述查询词在内存索引数据中进行查询，确定第一目标数据包括：
    根据所述目标商品确定对应的目标文档标识；
    确定所述目标文档标识对应的全国各城市的目标商品价格数组；
    确定所述目标城市在目标商品价格数组中的目标下标；
    确定所述目标商品价格数组中的目标下标位置的价格为第一目标数据。
  7. 如权利要求1至6任意一项所述的数据操作方法，其特征在于，所述内存索引包括内存倒排索引数据；所述方法还包括：
    接收所述内存倒排索引数据建立过程：
    获取第四类关键词以及与第四类关键词对应的第五类关键词集合；
    根据预存的所述文档标识与第五类关键词的对应关系建立第四类关键词与其对应的文档标识集合，形成内存倒排索引数据。
  8. 如权利要求7所述的数据操作方法，其特征在于，所述第四类关键词为优惠券规则，所述第五类关键词为商品；
    所述内存倒排索引数据建立过程包括：
    获取优惠券规则以及与优惠券规则对应的商品集合；
    根据预存的所述文档标识与商品的对应关系建立优惠券规则与其对应的文档标识集合的对应关系，形成所述内存倒排索引数据。
  9. 一种数据操作装置，其特征在于，所述装置包括：
    请求接收单元，用于接收请求方发送的数据操作请求；所述数据操作请求中包括查询词和操作指令；
    第一目标数据确定单元，用于根据所述查询词在内存索引数据中进行查询，确定包含有目标文档标识的第一目标数据；所述内存索引数据基于磁盘索引数据中的文档标识与部分关键词的对应关系建立；
    操作执行单元，用于根据所述操作指令对所述第一目标数据执行相应的操作。
  10. 一种计算机系统，其特征在于，包括：
    一个或多个处理器；以及
    与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：
    接收请求方发送的数据操作请求；所述数据操作请求中包括查询词和操作 指令；
    根据所述查询词在内存索引数据中进行查询，确定包含有目标文档标识的第一目标数据；所述内存索引数据基于磁盘索引数据中的文档标识与部分关键词的对应关系建立；
    根据所述操作指令对所述第一目标数据执行相应的操作。
PCT/CN2020/105957 2019-09-12 2020-07-30 一种数据操作方法、装置及系统 WO2021047323A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CA3154763A CA3154763A1 (en) 2019-09-12 2020-07-30 Data operation method, device and system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910862672.6 2019-09-12
CN201910862672.6A CN110737747A (zh) 2019-09-12 2019-09-12 一种数据操作方法、装置及系统

Publications (1)

Publication Number Publication Date
WO2021047323A1 true WO2021047323A1 (zh) 2021-03-18

Family

ID=69267581

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/105957 WO2021047323A1 (zh) 2019-09-12 2020-07-30 一种数据操作方法、装置及系统

Country Status (3)

Country Link
CN (1) CN110737747A (zh)
CA (1) CA3154763A1 (zh)
WO (1) WO2021047323A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110737747A (zh) * 2019-09-12 2020-01-31 苏宁云计算有限公司 一种数据操作方法、装置及系统
CN111488342A (zh) * 2020-04-07 2020-08-04 小红书科技有限公司 一种建立数据索引的方法及系统
CN112232903B (zh) * 2020-09-27 2022-01-11 北京五八信息技术有限公司 一种业务对象的展示方法和装置
CN112380416A (zh) * 2020-11-25 2021-02-19 北京慕华信息科技有限公司 一种更新课程索引的方法、课程搜索方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070233649A1 (en) * 2006-03-31 2007-10-04 Microsoft Corporation Hybrid location and keyword index
CN104408097A (zh) * 2014-11-17 2015-03-11 深圳市比一比网络科技有限公司 一种基于字符段热更新的混合索引方法及系统
CN108694188A (zh) * 2017-04-07 2018-10-23 腾讯科技（深圳）有限公司 一种索引数据更新的方法以及相关装置
CN110737747A (zh) * 2019-09-12 2020-01-31 苏宁云计算有限公司 一种数据操作方法、装置及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294731A (zh) * 2012-03-05 2013-09-11 阿里巴巴集团控股有限公司 实时索引建立、实时搜索方法及装置
CN102646130B (zh) * 2012-03-12 2013-08-14 华中科技大学 一种海量历史数据的存储及索引方法
CN104281717B (zh) * 2014-10-31 2017-07-21 晶赞广告（上海）有限公司 一种建立海量id映射关系的方法
CN104504030B (zh) * 2014-12-12 2016-03-09 国家电网公司 一种面向电力调度自动化海量报文的索引方法
US10756757B2 (en) * 2016-06-03 2020-08-25 Dell Products L.P. Maintaining data deduplication reference information
CN107992569B (zh) * 2017-11-29 2020-10-13 北京小度信息科技有限公司 数据访问方法、装置、电子设备及计算机可读存储介质
CN108573063A (zh) * 2018-04-27 2018-09-25 宁波银行股份有限公司 一种数据查询方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070233649A1 (en) * 2006-03-31 2007-10-04 Microsoft Corporation Hybrid location and keyword index
CN104408097A (zh) * 2014-11-17 2015-03-11 深圳市比一比网络科技有限公司 一种基于字符段热更新的混合索引方法及系统
CN108694188A (zh) * 2017-04-07 2018-10-23 腾讯科技（深圳）有限公司 一种索引数据更新的方法以及相关装置
CN110737747A (zh) * 2019-09-12 2020-01-31 苏宁云计算有限公司 一种数据操作方法、装置及系统

Also Published As

Publication number Publication date
CA3154763A1 (en) 2021-03-18
CN110737747A (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
WO2021047323A1 (zh) 一种数据操作方法、装置及系统
US10127285B2 (en) Customizable ranking of search engine results in multi-tenant architecture
US8224804B2 (en) Indexing of partitioned external data sources
US8341144B2 (en) Selecting and presenting user search results based on user information
CN110019292B (zh) 一种数据的查询方法及装置
CN109074383B (zh) 文档背景内可视化的文档搜索
CA3154438A1 (en) Data processing method, platform and system
US20120079009A1 (en) Method and apparatus for choosing resources based on context and inheritance
CN111046237A (zh) 用户行为数据处理方法、装置、电子设备及可读介质
US20140019454A1 (en) Systems and Methods for Caching Data Object Identifiers
US11860870B2 (en) High efficiency data querying
US20200167399A1 (en) Bulk Processing of Textual Search Engine Queries
CN108363741B (zh) 大数据统一接口方法、装置、设备及存储介质
CN109669980A (zh) 数据跨库访问方法及装置
CN104769624A (zh) 基于实体的广告定向
KR101614890B1 (ko) 멀티 테넌시 이력 생성 방법, 이를 수행하는 멀티 테넌시 이력 생성 서버 및 이를 저장하는 기록매체
KR20210040310A (ko) 지도 검색 테스트 방법, 장치, 기기, 저장매체 및 프로그램
US20060230020A1 (en) Improving Efficiency in processing queries directed to static data sets
CN111737537A (zh) 基于图数据库的poi推荐方法、设备及介质
US8479222B2 (en) Simplifying interaction with multiple applications when using forms via a common interface
CN111309932B (zh) 评论数据的查询方法、装置、设备及存储介质
WO2022220982A1 (en) Database query execution on multiple databases
CN113918630A (zh) 一种数据同步方法、装置、计算机设备及存储介质
CN109582697A (zh) 多表动态关联查询方法、装置、服务器及存储介质
JP2020514877A (ja) クロスネットワークイベントアトリビューションを提供するためのシステムおよび方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20862080

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3154763

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20862080

Country of ref document: EP

Kind code of ref document: A1