WO2021003921A1 - 数据处理方法及终端设备 - Google Patents

数据处理方法及终端设备 Download PDF

Info

Publication number
WO2021003921A1
WO2021003921A1 PCT/CN2019/117186 CN2019117186W WO2021003921A1 WO 2021003921 A1 WO2021003921 A1 WO 2021003921A1 CN 2019117186 W CN2019117186 W CN 2019117186W WO 2021003921 A1 WO2021003921 A1 WO 2021003921A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
storage
processed
stored
depth
Prior art date
Application number
PCT/CN2019/117186
Other languages
English (en)
French (fr)
Inventor
杨冬振
吴中飞
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021003921A1 publication Critical patent/WO2021003921A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees

Definitions

  • This application belongs to the field of computer application technology, and in particular relates to a data processing method, terminal equipment, and computer non-volatile readable storage medium.
  • Data refers to a collection of data that cannot be effectively perceived, acquired, managed, processed, and serviced by common software and hardware tools within a tolerable time.
  • the method of constructing a database is used to process information retrieval and processing in small quantities.
  • this method is in the data
  • the embodiments of the present application provide a data processing method, terminal equipment, and computer non-volatile readable storage medium to solve the problem of data retrieval and data retrieval in the prior art when the amount of data is large and the types of data are large.
  • the extraction efficiency is low, thereby reducing the problem of data processing efficiency.
  • the first aspect of the embodiments of the present application provides a data processing method, including:
  • Acquiring data request information sent by a terminal device the data request information is used to acquire the data to be processed; the data request information includes the data identification and attribute information of the data to be processed;
  • the storage depth is used to indicate the hierarchical position of the data in the storage medium
  • the second aspect of the embodiments of the present application provides a terminal device, including a memory, a processor, and computer-readable instructions stored in the memory and running on the processor, and the processor executes the computer
  • the following steps are implemented when the instructions are readable:
  • Acquiring data request information sent by a terminal device the data request information is used to acquire the data to be processed; the data request information includes the data identification and attribute information of the data to be processed;
  • the storage depth is used to indicate the hierarchical position of the data in the storage medium
  • a third aspect of the embodiments of the present application provides a terminal device, including:
  • the obtaining unit is configured to obtain the data request information sent by the terminal device; the data request information is used to obtain the data to be processed; the data request information includes the data identification and attribute information of the data to be processed;
  • the calculation unit is configured to calculate the storage level of the data to be processed according to the attribute information, and determine the storage depth of the data to be processed according to the storage level; the storage depth is used to indicate the level of the data in the storage medium position;
  • the extraction unit is configured to determine the storage location of the data to be processed according to the storage depth, extract the data to be processed from the storage location according to the data identifier, and send the data to be processed to the terminal equipment.
  • the fourth aspect of the embodiments of the present application provides a computer non-volatile readable storage medium, the computer storage medium stores computer readable instructions, the computer readable instructions, when executed by a processor, cause the processing
  • the device executes the method of the first aspect described above.
  • the data request information sent by the terminal device is obtained; the data request information is used to obtain the data to be processed; the storage level of the data to be processed is calculated according to the attribute information, and the storage level is determined according to the storage level.
  • the storage depth of the to-be-processed data is used to indicate the hierarchical position of the data in the storage medium; the storage location of the to-be-processed data is determined according to the storage depth, and the storage location is determined according to the data identifier Extracting the data to be processed, and sending the data to be processed to the terminal device.
  • the storage level of the data to be processed can be calculated through the attribute information in the data request information, and the storage depth can be determined according to the preset corresponding relationship between the storage level and the storage depth, so that the storage location of the data to be processed can be quickly searched for and improved This improves the efficiency of data retrieval and acquisition, and reflects the scientificity and regularity of data management.
  • FIG. 1 is a flowchart of a data processing method provided by Embodiment 1 of the present application;
  • FIG. 2 is a flowchart of a data processing method provided in Embodiment 2 of the present application.
  • FIG. 3 is a schematic diagram of a terminal device provided in Embodiment 3 of the present application.
  • FIG. 4 is a schematic diagram of a terminal device provided in Embodiment 4 of the present application.
  • FIG. 1 is a flowchart of a data processing method provided in Embodiment 1 of the present application.
  • the execution subject of the data processing method in this embodiment is the data processing device.
  • Data processing equipment includes but is not limited to mobile terminals such as smart phones, tablet computers, wearable devices, and can also be servers, desktop computers, and so on.
  • the data processing method shown in the figure may include the following steps:
  • S101 Obtain data request information sent by a terminal device; the data request information is used to obtain data to be processed; the data request information includes the data identification and attribute information of the data to be processed.
  • XML eXtensible Markup Language
  • database form eXtensible Markup Language
  • XML eXtensible Markup Language
  • XML technology provides a convenient display method for converting existing data into a form suitable for computer networks and the World Wide Web.
  • processing XML is not as simple as using relational databases.
  • Document Object Model (DOM) parsing and text conversion must be used to complete data query, insertion, and modification operations, especially when the amount of data is When it is too large, the DOM is very time-consuming for data manipulation and the overhead is unacceptable.
  • DOM Document Object Model
  • the data request information in this embodiment includes the data identification and attribute information of the data to be processed.
  • the data identification can include information such as data name and data number
  • the attribute information can include information such as data type, data volume, and data demand time. There is no limitation here.
  • S102 Calculate the storage level of the data to be processed according to the attribute information, and determine the storage depth of the data to be processed according to the storage level; the storage depth is used to indicate the hierarchical position of the data in the storage medium.
  • the attribute information in this embodiment may include data type, frequency of use, and data volume.
  • the data type is used to indicate the type of data, such as image, text, or video.
  • the frequency of use is used to indicate that the data is used per unit time.
  • the number of calls within a segment such as the number of calls or queries of the data within a month or a day; the amount of data is used to indicate the storage space occupied by the data or data packet in the storage medium, and data can also be used To measure the time required to acquire and transmit a piece of data.
  • the storage level of the data to be processed can be calculated by data type, frequency of use, and data volume. We can set the storage level from one to ten. The number of storage levels is not limited here. The attributes of the data corresponding to different storage levels are different. The higher the storage level, the higher the priority of the data corresponding to the storage level, that is, the higher the frequency of use of the data, or the greater the amount of data, etc., by using Data with a higher frequency and a larger amount of data is stored in a storage location with a higher storage level, which can ensure the efficiency of the data in the process of being searched, acquired or called, so as to improve the efficiency of data processing.
  • the specific storage level calculation method can be based on the use frequency coefficient and the data volume coefficient.
  • the use frequency and the data volume are added together, that is, the frequency coefficient is multiplied by the use frequency, and the data volume coefficient is multiplied by the data volume.
  • the sum is the storage coefficient, and the storage level into which the coefficient falls is determined according to the preset storage level threshold interval.
  • the storage depth corresponding to each storage depth is also preset.
  • the storage space of the storage medium can be divided into three storage depths, namely shallow and middle.
  • each storage depth can store at least one storage level of data.
  • data from the first storage level to the third storage level can be stored in the shallow layer
  • the data from the fourth storage level to the sixth storage level can be stored in the middle layer
  • the seventh storage level can be stored in the deep layer.
  • Ten-level storage level data since each storage depth includes data of different storage levels, we can also arrange and process the data in a storage depth according to the storage level to ensure the corresponding processing of different storage data, so that the data can be based on Store the sequence for recall.
  • S103 Determine a storage location of the data to be processed according to the storage depth, extract the data to be processed from the storage location according to the data identifier, and send the data to be processed to the terminal device.
  • Each storage depth in this embodiment has its corresponding storage location in the storage medium.
  • relational databases are much more efficient in managing tables than DOM, and they are simple and easy to operate. More importantly, relational databases can better reflect and organize the relationship between data and are more suitable for A large amount of data has a clear hierarchical structure. Therefore, the data access layer of this embodiment selects a relational database to store and call data.
  • the data request information sent by the terminal device is obtained; the data request information is used to obtain the data to be processed; the data request information includes the data identification and attribute information of the data to be processed; calculation is based on the attribute information
  • the storage level of the data to be processed, and the storage depth of the data to be processed is determined according to the storage level; the storage depth is used to indicate the hierarchical position of the data in the storage medium; the storage depth is determined according to the storage depth Process the storage location of the data, extract the to-be-processed data from the storage location according to the data identifier, and send the to-be-processed data to the terminal device.
  • the search range of the data to be processed can be directly narrowed according to the attribute information, so that the storage location of the data to be processed can be quickly searched, and the efficiency of retrieval and data acquisition is improved.
  • Fig. 2 is a flowchart of the data processing method provided in the second embodiment of the present application.
  • the execution subject of the data processing method in this embodiment is the data processing device.
  • Data processing equipment includes but is not limited to mobile terminals such as smart phones, tablet computers, wearable devices, and can also be servers, desktop computers, and so on.
  • the data processing method shown in the figure may include the following steps:
  • S201 Obtain attribute information and data identification of the data to be stored; the attribute information includes the data type, frequency of use, and data volume of the data to be stored.
  • the attribute information in this embodiment may include the data type, frequency of use, and data volume of the data to be stored.
  • the data type is used to indicate the data to be stored.
  • the type of data such as image, text, or video
  • the frequency of use is used to indicate the estimated number of times the data to be stored will be called within a unit time period, such as the number of times the data is called or queried within a month or a day
  • Data volume is used to indicate the storage space occupied by the data to be stored or data packets in the storage medium.
  • the data volume can also be used to measure the time required to acquire and transmit a piece of data.
  • S202 Determine the storage level of the data to be stored according to the data type, frequency of use, and data volume of the data to be stored.
  • the frequency of use is used to indicate the number of uses of the data corresponding to the data identifier in a day, and the storage space occupied by the data is used to indicate the current The size of the data to be stored.
  • Type is used to indicate the data type
  • Fre is used to indicate the frequency of use
  • Str is used to indicate the size of the storage space
  • ⁇ is used to indicate the level parameter.
  • the above formula is available.
  • the attributes of the data corresponding to different storage levels are different.
  • the larger, etc. by storing data with a higher frequency of use and a larger amount of data in a storage location with a higher storage level, the efficiency of the data in the process of searching, obtaining, or calling can be ensured, so as to improve the efficiency of data processing.
  • S203 Determine the storage depth of the data to be stored in the storage medium according to the storage level.
  • the storage depth in this embodiment is used to indicate the disk area in the storage medium. According to the speed of reading the disk area, we can divide the storage medium into a shallow storage area, a middle storage area, and a deep storage area. Each storage depth At least one storage level of data can be stored in it.
  • data from the first storage level to the third storage level can be stored in the shallow layer
  • the data from the fourth storage level to the sixth storage level can be stored in the middle layer
  • the seventh storage level can be stored in the deep layer.
  • Ten-level storage level data since each storage depth includes data of different storage levels, we can also arrange and process the data in a storage depth according to the storage level to ensure the corresponding processing of different storage data, so that the data can be based on Store the sequence for recall.
  • S204 According to a preset data retrieval tree, store the to-be-stored data corresponding to the data identifier in the storage medium at a location corresponding to the storage depth; the data retrieval tree is a preset data storage tree
  • the data storage tree structure includes storage locations with different storage depths, and the storage locations are used to store data of different levels.
  • a data retrieval tree is preset.
  • Each layer in the data retrieval tree stores data corresponding to the storage level. Therefore, we store the data to be stored in the preset data retrieval tree according to the calculated storage level. .
  • Each data storage layer in the data retrieval tree in this embodiment can store data corresponding to a data level included in the storage depth, or can store data corresponding to multiple data levels, depending on the number of data storage layers and data levels How much can be achieved through artificial setting, and there is no limit here.
  • each storage depth in this embodiment may include data of different storage levels. Therefore, we can also subdivide the data in each layer of the data retrieval tree into different data levels. It needs to be explained However, we can use it as the node name of each node in the data retrieval tree according to the data identifier of the data to be stored, so that the storage location of the data to be processed can be determined very accurately during data retrieval.
  • step S204 it may further include: obtaining a data migration notification sent by the management terminal; the data migration notification includes the data identifier and migration address of the migration data; and determining the storage of the migration data according to the data identifier of the migration data Location, extract the migration data according to the storage location, and delete the migration data at the storage location; store the migration data in the storage location corresponding to the migration address.
  • the management terminal may modify, change or migrate the stored data at any time.
  • the data migration notification in this embodiment includes the data identification and migration address of the migration data.
  • the data identifier is used to extract the data to be migrated, and the migration address is used to determine the storage location to which the migrated data is finally migrated.
  • After obtaining the data identifier we determine the storage location of the migration data in the storage medium according to the data identifier, and extract the migration data according to the storage location, then delete the migration data stored in the storage location, and store the migration data to the migration The storage location corresponding to the address.
  • the migration address in this embodiment is used to indicate an address for storing data, which is an address identification, number, etc., which is not limited here.
  • the storage location in this embodiment is used to indicate the storage location or disk location in the storage medium corresponding to the migration address, which is not limited here.
  • S205 Obtain data request information sent by the terminal device; the data request information is used to obtain the data to be processed; the data request information includes the data identification and attribute information of the data to be processed.
  • S205 in this embodiment is completely the same as that of S101 in the embodiment corresponding to FIG. 1.
  • S101 in the embodiment corresponding to FIG. 1 The implementation of S205 in this embodiment is completely the same as that of S101 in the embodiment corresponding to FIG. 1.
  • S206 Calculate the storage level of the data to be processed according to the attribute information, and determine the storage depth of the data to be processed according to the storage level; the storage depth is used to indicate the hierarchical position of the data in the storage medium.
  • data identification is used to distinguish data under multiple types of data. If there are at least two data identifiers in the data request information, the storage level of the to-be-processed data corresponding to each data identifier is calculated according to the attribute information corresponding to each data identifier.
  • the method for calculating the storage level is the same as the method in step S202 Same, no detailed description here. After calculating the storage level, we determine the storage depth of the data to be processed corresponding to each data identifier according to the storage level corresponding to each data identifier.
  • S207 Determine a storage location of the data to be processed according to the storage depth, extract the data to be processed from the storage location according to the data identifier, and send the data to be processed to the terminal device.
  • the storage location of the data to be processed is determined according to the storage depth, and the data to be processed is extracted from the storage location in the storage medium according to the data identifier to send the data to be processed to the terminal device.
  • step S206 if there are at least two data identifiers in the data request information, determine the storage location of the data to be processed corresponding to each data identifier according to the storage depth corresponding to each data identifier; according to each data identifier, According to the order of storage depth from high to low, extract each data to be processed from the storage location of the data to be processed corresponding to each data identifier. Send all pending data to the terminal device.
  • the data corresponding to the data identifier with the higher storage depth is first sent to the terminal device through asynchronous query and call, and then the other data is queried and recalled gradually, which ensures the storage with longer call delay
  • the data can be received by the terminal in time. When rendering a large amount of data, it will not cause the page to freeze or crash and improve the user experience.
  • the terminal device can store the received information. At the same time, it can also perform operations such as adding, deleting, modifying, checking, and exporting the stored data to be used next time. When it is time, it is directly obtained from its own storage space, which saves the step of requesting data from the server and improves the efficiency of data usage.
  • the attribute information and data identification of the data to be stored are obtained; the storage level of the data to be stored is determined according to the data type, the frequency of use, and the data volume of the data to be stored; The storage level determines the storage depth of the data to be stored in the storage medium; according to a preset data retrieval tree, the data to be stored corresponding to the data identifier is stored in the storage medium corresponding to the storage depth Location; obtain data request information sent by the terminal device; calculate the storage level of the data to be processed according to the attribute information, and determine the storage depth of the data to be processed according to the storage level; determine the storage depth according to the storage depth The storage location of the data to be processed, extract the data to be processed from the storage location according to the data identifier, and send the data to be processed to the terminal device.
  • each data to be stored is stored in the corresponding storage depth in the storage medium in advance, and the data request information sent by the terminal device determines the storage depth of the data corresponding to each data identifier, and finally according to the storage depth Determine the storage location of the data to be processed in the storage medium, use the data identifier of the data to be processed to call the data in the storage location to send the data to be processed to the terminal device, and directly narrow the search range of the data to be processed according to the attribute information,
  • the data corresponding to the data identifier with a higher storage depth is sent to the terminal device according to the method of asynchronously retrieving data, which improves the efficiency of the terminal device to obtain data.
  • FIG. 3 is a schematic diagram of a terminal device provided in Embodiment 3 of the present application.
  • the units included in the terminal device are used to execute the steps in the embodiments corresponding to FIGS. 1 to 2.
  • the terminal device 300 of this embodiment includes:
  • the obtaining unit 301 is configured to obtain data request information sent by a terminal device; the data request information is used to obtain data to be processed; the data request information includes the data identification and attribute information of the data to be processed;
  • the calculation unit 302 is configured to calculate the storage level of the data to be processed according to the attribute information, and determine the storage depth of the data to be processed according to the storage level; the storage depth is used to indicate the storage level of the data in the storage medium Level position
  • the extracting unit 303 is configured to determine the storage location of the data to be processed according to the storage depth, extract the data to be processed from the storage location according to the data identifier, and send the data to be processed to the Terminal Equipment.
  • calculation unit 302 may include:
  • the first calculation unit is configured to, if there are at least two data identifiers in the data request information, calculate the storage level of the data to be processed corresponding to each data identifier according to the attribute information corresponding to each data identifier ;
  • the second calculation unit is configured to determine the storage depth of the data to be processed corresponding to each data identifier according to the storage level corresponding to each data identifier;
  • the extraction unit may include:
  • a location determining unit configured to determine, according to the storage depth corresponding to each data identifier, the storage location of the data to be processed corresponding to each data identifier;
  • the data extraction unit is configured to extract each of the to-be-processed data from the storage location of the to-be-processed data corresponding to each of the data identifiers in the order of the storage depth from high to low according to each of the data identifiers. data;
  • the data sending unit is configured to send all the to-be-processed data to the terminal device.
  • the terminal device may also include:
  • the identification acquiring unit is used to acquire attribute information and data identification of the data to be stored;
  • the attribute information includes the data type, frequency of use, and data volume of the data to be stored;
  • a level determining unit configured to determine the storage level of the data to be stored according to the data type, the frequency of use, and the amount of data of the data to be stored;
  • a depth determining unit configured to determine the storage depth of the data to be stored in the storage medium according to the storage level
  • the data storage unit is configured to store the to-be-stored data corresponding to the data identifier in a location corresponding to the storage depth in the storage medium according to a preset data retrieval tree; the data retrieval tree is a preset
  • the data storage tree structure of the data storage tree structure includes storage locations with different storage depths, and the storage locations are used to store data of different levels.
  • the first calculation unit may be specifically used for:
  • the storage level of the data to be stored is calculated by the following formula:
  • Type is used to indicate the data type
  • Fre is used to indicate the frequency of use
  • Str is used to indicate the amount of data
  • ⁇ is used to indicate a preset level parameter.
  • the terminal device may also include:
  • the migration notification unit is used to obtain the data migration notification sent by the management terminal; the data migration notification includes the data identifier and the migration address of the migrated data;
  • a data migration unit configured to determine the storage location of the migration data according to the data identifier of the migration data, extract the migration data according to the storage location, and delete the migration data at the storage location;
  • the migration storage unit is configured to store the migration data in a storage location corresponding to the migration address.
  • the attribute information and data identification of the data to be stored are obtained; the storage level of the data to be stored is determined according to the data type, the frequency of use, and the data volume of the data to be stored; The storage level determines the storage depth of the data to be stored in the storage medium; according to a preset data retrieval tree, the data to be stored corresponding to the data identifier is stored in the storage medium corresponding to the storage depth Location; obtain the data request information sent by the terminal device; calculate the storage level of the data to be processed according to the attribute information, and determine the storage depth of the data to be processed according to the storage level; determine the storage depth according to the storage depth The storage location of the data to be processed, and extract the data to be processed from the storage location according to the data identifier, and send the data to be processed to the terminal device.
  • each data to be stored is stored in the corresponding storage depth in the storage medium in advance, and the data request information sent by the terminal device determines the storage depth of the data corresponding to each data identifier, and finally according to the storage depth Determine the storage location of the data to be processed in the storage medium, use the data identifier of the data to be processed to call the data in the storage location to send the data to be processed to the terminal device, and directly narrow the search range of the data to be processed according to the attribute information,
  • the data corresponding to the data identifier with a higher storage depth is sent to the terminal device according to the method of asynchronously retrieving data, which improves the efficiency of the terminal device to obtain data.
  • FIG. 4 is a schematic diagram of a terminal device provided in Embodiment 4 of the present application.
  • the terminal device 4 of this embodiment includes a processor 40, a memory 41, and computer-readable instructions 42 stored in the memory 41 and running on the processor 40.
  • the processor 40 executes the computer-readable instructions 42
  • the steps in the foregoing data processing method embodiments such as steps 101 to 103 shown in FIG. 1, are implemented.
  • the processor 40 executes the computer-readable instructions 42
  • the functions of the modules/units in the foregoing device embodiments are implemented, for example, the functions of the units 301 to 303 shown in FIG. 3.
  • the computer-readable instructions 42 may be divided into one or more modules/units, and the one or more modules/units are stored in the memory 41 and executed by the processor 40, To complete this application.
  • the one or more modules/units may be an instruction segment of a series of computer-readable instructions capable of completing specific functions, and the instruction segment is used to describe the execution process of the computer-readable instruction 42 in the terminal device 4.
  • the terminal device 4 may be a computing device such as a desktop computer, a notebook, a palmtop computer, and a cloud server.
  • the terminal device may include, but is not limited to, a processor 40 and a memory 41.
  • FIG. 4 is only an example of the terminal device 4, and does not constitute a limitation on the terminal device 4. It may include more or less components than shown in the figure, or a combination of certain components, or different components.
  • the terminal device may also include input and output devices, network access devices, buses, etc.
  • the so-called processor 40 may be a central processing unit (Central Processing Unit, CPU), other general-purpose processors, digital signal processors (Digital Signal Processor, DSP), application specific integrated circuits (Application Specific Integrated Circuit, ASIC), Ready-made programmable gate array (Field-Programmable Gate Array, FPGA) or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor may be a microprocessor or the processor may also be any conventional processor or the like.
  • the memory 41 may be an internal storage unit of the terminal device 4, such as a hard disk or a memory of the terminal device 4.
  • the memory 41 may also be an external storage device of the terminal device 4, for example, a plug-in hard disk equipped on the terminal device 4, a smart memory card (Smart Media Card, SMC), and a Secure Digital (SD) Card, Flash Card (FC), etc.
  • the memory 41 may also include both an internal storage unit of the terminal device 4 and an external storage device.
  • the memory 41 is used to store the computer-readable instructions and other programs and data required by the terminal device.
  • the memory 41 can also be used to temporarily store data that has been output or will be output.
  • Non-volatile memory may include Read-Only Memory (ROM), Programmable ROM (PROM), Electrically Programmable ROM (EPROM), Electrically Erasable Programmable ROM (EEPROM), or flash memory.
  • ROM Read-Only Memory
  • PROM Programmable ROM
  • EPROM Electrically Programmable ROM
  • EEPROM Electrically Erasable Programmable ROM
  • Volatile memory may include Random Access Memory (RAM) or external cache memory.
  • RAM is available in many forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronous chain Channel (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种数据处理方法、终端设备及计算机非易失性可读存储介质，数据处理方法包括：根据终端设备发送的数据请求信息计算待处理数据的存储等级，并根据存储等级确定待处理数据的存储深度，根据存储深度在确定待处理数据在存储介质中的存储位置，最后通过待处理数据的数据标识在该存储位置中进行查找，以将待处理数据发送至终端设备。通过数据请求信息中的属性信息计算待处理数据的存储等级，并根据预先设定的存储等级与存储深度的对应关系确定存储深度，可快速搜寻到待处理数据的存储位置，提高了检索、获取数据的效率。

Description

数据处理方法及终端设备
本申请要求于2019年07月10日提交中国专利局、申请号为201910618415.8、发明名称为“数据处理方法及终端设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请属于计算机应用技术领域，尤其涉及一种数据处理方法、终端设备及计算机非易失性可读存储介质。
背景技术
近年来，随着互联网、物联网、社交网络、云计算等信息技术的发展，网络空间中的数据资源正以前所未有的速度不断地增长和积累，世界已经进入了网络化的大数据时代.大数据指在可容忍的时间内用常用软硬件工具无法对其进行有效感知、获取、管理、处理和服务的数据集合。
现有技术中通过构建数据库的方式来处理小数量下的信息检索和处理，当用户数据较多的情况下，我们需要按照用户数据的数据标识对用户数据进行处理，但是，这种方式在数据量较大、数据种类较多的情况下，没有办法保证数据检索和获取的效率，数据处理的效率较低。
技术问题
本申请实施例提供了一种数据处理方法、终端设备及计算机非易失性可读存储介质，以解决现有技术中在数据量较大、数据种类较多的情况下，进行数据检索和数据提取的效率较低，进而降低数据处理效率的问题。
技术解决方案
本申请实施例的第一方面提供了一种数据处理方法，包括：
获取终端设备发送的数据请求信息；所述数据请求信息用于获取待处理数据；所述数据请求信息中包括所述待处理数据的数据标识和属性信息；
根据所述属性信息计算所述待处理数据的存储等级，并根据所述存储等级确定所述待处理数据的存储深度；所述存储深度用于表示数据在存储介质中的层级位置；
根据所述存储深度确定所述待处理数据的存储位置，并根据所述数据标识从所述存储位置处提取所述待处理数据，将所述待处理数据发送至所述终端设备。
本申请实施例的第二方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令 时实现以下步骤：
获取终端设备发送的数据请求信息；所述数据请求信息用于获取待处理数据；所述数据请求信息中包括所述待处理数据的数据标识和属性信息；
根据所述属性信息计算所述待处理数据的存储等级，并根据所述存储等级确定所述待处理数据的存储深度；所述存储深度用于表示数据在存储介质中的层级位置；
根据所述存储深度确定所述待处理数据的存储位置，并根据所述数据标识从所述存储位置处提取所述待处理数据，将所述待处理数据发送至所述终端设备。
本申请实施例的第三方面提供了一种终端设备，包括：
获取单元，用于获取终端设备发送的数据请求信息；所述数据请求信息用于获取待处理数据；所述数据请求信息中包括所述待处理数据的数据标识和属性信息；
计算单元，用于根据所述属性信息计算所述待处理数据的存储等级，并根据所述存储等级确定所述待处理数据的存储深度；所述存储深度用于表示数据在存储介质中的层级位置；
提取单元，用于根据所述存储深度确定所述待处理数据的存储位置，并根据所述数据标识从所述存储位置处提取所述待处理数据，将所述待处理数据发送至所述终端设备。
本申请实施例的第四方面提供了一种计算机非易失性可读存储介质，所述计算机存储介质存储有计算机可读指令，所述计算机可读指令当被处理器执行时使所述处理器执行上述第一方面的方法。
有益效果
本申请实施例，通过获取终端设备发送的数据请求信息；所述数据请求信息用于获取待处理数据；根据所述属性信息计算所述待处理数据的存储等级，并根据所述存储等级确定所述待处理数据的存储深度；所述存储深度用于表示数据在存储介质中的层级位置；根据所述存储深度确定所述待处理数据的存储位置，并根据所述数据标识从所述存储位置处提取所述待处理数据，将所述待处理数据发送至所述终端设备。本申请可通过数据请求信息中的属性信息计算待处理数据的存储等级，并根据预先设定的存储等级与存储深度的对应关系确定存储深度，从而可快速搜寻到待处理数据的存储位置，提高了检索、获取数据的效率，体现了数据管理的科学性和规律性。
附图说明
图1是本申请实施例一提供的数据处理方法的流程图；
图2是本申请实施例二提供的数据处理方法的流程图；
图3是本申请实施例三提供的终端设备的示意图；
图4是本申请实施例四提供的终端设备的示意图。
本发明的实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
参见图1，图1是本申请实施例一提供的数据处理方法的流程图。本实施例中数据处理方法的执行主体为数据处理设备。数据处理设备包括但不限于智能手机、平板电脑、可穿戴设备等移动终端，还可以是服务器、台式电脑等。如图所示的数据处理方法可以包括以下步骤：
S101：获取终端设备发送的数据请求信息；所述数据请求信息用于获取待处理数据；所述数据请求信息中包括所述待处理数据的数据标识和属性信息。
在大数据环境下，对数据进行存储和处理时，为了能够实现动态添加树型节点，必须有数据存储层作为树型结构的数据基础。目前比较通用的数据存储形式主要有两种：可扩展标记语言(eXtensible Markup Language，XML)文件形式以及数据库形式。XML技术为将现有数据转换成适于计算机网络和万维网的形式提供了便捷的展现手段。但是对于数据的存取，处理XML不像使用关系型数据库那样简单，必须采用文档对象模型(Document Object Model，DOM)解析和文本转换来完成数据的查询、插入、修改等操作，尤其当数据量过大时，DOM对数据操作是相当费时而且开销是不可接受的。
我们通过将数据量较大的数据预先存储起来，在终端设备需要处理某些数据的时候，获取终端设备发送的数据请求信息，以通过数据请求信息调取对应的数据并将这些数据发送至终端设备。本实施例的数据请求信息中包括待处理数据的数据标识和属性信息，其中数据标识可以包括数据名称、数据编号等信息，属性信息中可以包括数据类型、数据量大小、数据需求时间等信息，此处不做限定。
S102：根据所述属性信息计算所述待处理数据的存储等级，并根据所述存储等级确定所述待处理数据的存储深度；所述存储深度用于表示数据在存储介质中的层级位置。
在获取到数据请求信息之后，我们根据数据请求信息中的属性信息计算待处理数据的存储等级，并根据存储等级确定待处理数据的存储深度，以确定待处理数据在存储介质中的层级位置。
具体的，本实施例中的属性信息可以包括数据类型、使用频率以及数据量，其中数据类型用于表示数据的类型，例如图像、文本或者视频等数据类型；使用频率用于表示数据在 单位时间段之内被调用的次数，例如在一个月或者一天之内该数据被调用或者查询的次数；数据量用于表示该数据或者数据包在存储介质中的存储空间占用量，同时也可以用数据量来衡量一个数据的获取、传输所需要消耗的时间。
本实施例中可以通过数据类型、使用频率以及数据量来计算待处理数据的存储等级，我们可以将存储等级设定为一级到十级，此处对存储等级的等级数量不做限定。不同的存储等级所对应的数据的属性不同，存储等级越高则表示该存储等级对应的数据的优先级越高，即，该数据的使用频率越高，或者数据量越大等，通过将使用频率较高、数据量较大的数据存储至存储等级较高的存储位置，可以保证数据在被查找、获取或者调用过程中的效率，以提高数据的处理效率。
具体的存储等级的计算方式可以是基于使用频率系数和数据量系数，将使用频率和数据量相加，即使用频率系数乘以使用频率，再加上数据量系数乘以数据量，最后得到的和为存储系数，再根据预设的存储等级阈值区间，确定该系数所落入的存储等级。
本实施例中还预设有每个存储深度对应的存储深度，我们可以根据存储介质中从磁盘读取数据的顺序，将存储介质的存储空间划分为三个存储深度，分别为浅层、中层以及深层，每个存储深度中可以存储至少一个存储等级的数据。示例性的，在本实施例中可以在浅层中存储一级存储等级到三级存储等级的数据，在中层存储四级存储等级到六级存储等级的数据，在深层存储七级存储等级到十级存储等级的数据。进一步的，由于每个存储深度中包括了不同存储等级的数据，我们还可以根据存储等级的高低来排列处理在一个存储深度中的数据，以保证不同存储数据的对应处理，使数据可以基于有序的存储来进行调用。
S103：根据所述存储深度确定所述待处理数据的存储位置，并根据所述数据标识从所述存储位置处提取所述待处理数据，将所述待处理数据发送至所述终端设备。
本实施例中的每个存储深度在存储介质中都有其对应的存储位置，我们可以通过存储深度来确定待处理数据的存储位置，即在存储介质的磁盘中的哪个存储区，再直接在该存储区中，通过数据标识进行查找，提取待处理数据，并将待处理数据发送至终端设备。
可选的，关系型数据库对表的管理效率要比DOM高得多、操作起来简单易行，更为重要的是，关系型数据库能够更好地反映和组织数据之间的关系，更适用于大数据量层次结构分明的应用情况，因此，本实施例数据存取层选用关系型数据库实现数据的存储和调用。
上述方案，通过获取终端设备发送的数据请求信息；所述数据请求信息用于获取待处理数据；所述数据请求信息中包括所述待处理数据的数据标识和属性信息；根据所述属性信息计算所述待处理数据的存储等级，并根据所述存储等级确定所述待处理数据的存储深度；所述存储深度用于表示数据在存储介质中的层级位置；根据所述存储深度确定所述待处理数 据的存储位置，并根据所述数据标识从所述存储位置处提取所述待处理数据，将所述待处理数据发送至所述终端设备。通过根据终端设备发送的数据请求信息确定每个数据标识对应的数据的存储深度，最后根据存储深度在确定待处理数据在存储介质中的存储位置，并通过待处理数据的数据标识在该存储位置中进行查找，以将待处理数据发送至终端设备，通过根据属性信息直接缩小待处理数据的查找范围，从而可快速搜寻到待处理数据的存储位置，提高了检索、获取数据的效率，体现了数据管理的科学性和规律性。
参见图2，图2是本申请实施例二提供的数据处理方法的流程图。本实施例中数据处理方法的执行主体为数据处理设备。数据处理设备包括但不限于智能手机、平板电脑、可穿戴设备等移动终端，还可以是服务器、台式电脑等。如图所示的数据处理方法可以包括以下步骤：
S201：获取待存储数据的属性信息和数据标识；所述属性信息包括所述待存储数据的数据类型、使用频率以及数据量。
本实施例中在从存储介质中调取数据之前，需要先将待处理数据存储至存储介质中。在存储数据时，我们先获取待存储数据的属性信息和数据标识，本实施例中的属性信息可以包括待存储数据的数据类型、使用频率以及数据量，其中，数据类型用于表示待存储数据的类型，例如图像、文本或者视频等数据类型；使用频率用于表示待存储数据在单位时间段之内估计会被调用的次数，例如在一个月或者一天之内该数据被调用或者查询的次数；数据量用于表示待存储数据或者数据包在存储介质中的存储空间占用量，同时也可以用数据量来衡量一个数据的获取、传输所需要消耗的时间。
S202：根据所述待存储数据的所述数据类型、所述使用频率以及所述数据量，确定所述待存储数据的存储等级。
在获取到待存储数据的属性信息之后，我们根据属性信息中的数据类型、使用频率以及数据量，计算待存储数据的存储等级。
在计算存储等级之前，我们可以预先设定不同数据类型对应的数据权重以及预计使用频率，使用频率用于表示该数据标识对应的数据在一天内的使用次数，数据占用的存储空间用于表示当前待存储数据的大小。通过以下公式
Figure PCTCN2019117186-appb-000001
来计算待存储数据的数据等级系数；其中，Type用于表示数据类型、Fre用于表示使用频率、Str用于表示存储空间大小，α用于表示等级参数。
有上述公式可得，不同的存储等级所对应的数据的属性不同，存储等级系数越高则表示该存储等级对应的数据的优先级越高，即，该数据的使用频率越高，或者数据量越大等， 通过将使用频率较高、数据量较大的数据存储至存储等级较高的存储位置，可以保证数据在被查找、获取或者调用过程中的效率，以提高数据的处理效率。
在计算得到数据等级系数之后，我们根据预设的等级区间，确定计算处的数据等级系数落在哪个等级区间，则待处理数据对应于该数据等级。
S203：根据所述存储等级确定所述待存储数据在存储介质中的存储深度。
本实施例中的存储深度用于表示在存储介质中的磁盘区域，按照磁盘区域读取的速度，我们可以将存储介质分为浅层存储区域、中层存储区域以及深层存储区域，每个存储深度中可以存储至少一个存储等级的数据。
示例性的，在本实施例中可以在浅层中存储一级存储等级到三级存储等级的数据，在中层存储四级存储等级到六级存储等级的数据，在深层存储七级存储等级到十级存储等级的数据。进一步的，由于每个存储深度中包括了不同存储等级的数据，我们还可以根据存储等级的高低来排列处理在一个存储深度中的数据，以保证不同存储数据的对应处理，使数据可以基于有序的存储来进行调用。
S204：根据预设的数据检索树，将所述数据标识对应的所述待存储数据存储至所述存储介质中与所述存储深度对应的位置；所述数据检索树为预设的数据存储树形结构，所述数据存储树形结构中包括不同存储深度的存储位置，所述存储位置用于存储不同等级的数据。
本实施例中预设有数据检索树，数据检索树中的每个层都存储有对应存储等级的数据，因此我们根据计算得到的存储等级，将待存储数据存储至预设的数据检索树中。
本实施例中的数据检索树中的每个数据存储层可以存储一个存储深度中所包括的数据等级对应的数据，也可以存储多个数据等级对应的数据，取决于数据存储层数和数据等级的多少，可以通过人为设定的方式实现，此处不做限定。我们根据获取到的数据请求信息中的数据标识，以及我们预设的该数据标识所对应的数据存储深度，便可以确定每个数据标识对应的存储深度，以直接针对该存储深度在数据检索树中查询和调用该数据标识对应的数据。
示例性地，在构建数据检索树时，我们根据存储深度中的浅层存储深度、中层存储深度以及深层存储深度，可以将数据检索树设置为具有三层结构的树形结构，其中三层由高到低分别对应的是存储深度中的浅层存储深度、中层存储深度以及深层存储深度。再进一步的，本实施例中的每个存储深度中可能包括不同存储等级的数据，因此，我们还可以细分，将数据检索树中每一层的数据再划分成不同的数据等级，需要说明的是，我们可以根据待存储数据的数据标识将其作为数据检索树中的每个节点的节点名称，以在数据检索时可以非常精确的确定待处理数据的存储位置。
进一步的，步骤S204之后还可以包括：获取管理终端发送的数据迁移通知；所述数据 迁移通知中包括迁移数据的数据标识和迁移地址；根据所述迁移数据的数据标识确定所述迁移数据的存储位置，根据所述存储位置提取所述迁移数据，并删除所述存储位置处的所述迁移数据；将所述迁移数据存储至所述迁移地址对应的存储位置。
具体的，在将待存储数据存储至存储介质之后，在实际应用中，管理终端可能会随时对已存储的数据进行修改、变更或者迁移，在这种情况下，我们通过获取管理终端发送的数据迁移通知，来确定待迁移的数据。本实施例中的数据迁移通知包括迁移数据的数据标识和迁移地址。其中数据标识用于提取出待迁移数据，迁移地址用于确定将迁移数据最终迁移到的存储位置。在获取到数据标识之后，我们根据数据标识确定迁移数据在存储介质中的存储位置，并根据存储位置提取出迁移数据，之后删除存储在该存储位置处的迁移数据，并将迁移数据存储至迁移地址对应的存储位置。
需要说明的是，本实施例中的迁移地址用于表示一个存储数据的地址，其为地址标识、编号等，此处不做限定。与迁移地址对应的，本实施例中的存储位置用于表示该迁移地址对应在存储介质中的存储位置或者磁盘位置等，此处不做限定。
S205：获取终端设备发送的数据请求信息；所述数据请求信息用于获取待处理数据；所述数据请求信息中包括所述待处理数据的数据标识和属性信息。
在本实施例中S205与图1对应的实施例中S101的实现方式完全相同，具体可参考图1对应的实施例中的S101的相关描述，在此不再赘述。
S206：根据所述属性信息计算所述待处理数据的存储等级，并根据所述存储等级确定所述待处理数据的存储深度；所述存储深度用于表示数据在存储介质中的层级位置。
在获取到终端设备发送的数据请求信息之后，我们根据数据请求信息中的属性信息计算待处理数据的数据等级，并根据数据等级确定待处理数据的存储深度。
进一步的，很多情况下，终端设备在获取待处理数据进行数据处理时，往往需要同时获取并处理至少两种数据，本实施例中通过数据标识来区别多种数据下的数据。若数据请求信息中的数据标识存在至少两个，则根据每个数据标识对应的属性信息，计算每个数据标识对应的待处理数据的存储等级，其计算存储等级的方法与步骤S202中的方法相同，此处不做详细说明。在计算得到存储等级之后，我们根据每个数据标识对应的存储等级，确定每个数据标识对应的待处理数据的存储深度。
S207：根据所述存储深度确定所述待处理数据的存储位置，并根据所述数据标识从所述存储位置处提取所述待处理数据，将所述待处理数据发送至所述终端设备。
在确定待处理数据的存储深度之后，根据存储深度确定待处理数据的存储位置，并根据数据标识从存储介质中的存储位置处提取待处理数据，以将待处理数据发送至终端设备。
与步骤S206对应的，若数据请求信息中的数据标识存在至少两个，则根据每个数据标识对应的存储深度，确定每个数据标识对应的待处理数据的存储位置；根据每个数据标识，按照存储深度由高到低的顺序，从每个数据标识对应的待处理数据的存储位置处，提取每个待处理数据。将所有待处理数据发送至终端设备。
进一步的，当数据请求信息中的数据标识存在至少两个的情况下，我们需要将所有数据标识对应的数据都从存储介质中提取出来并发送至终端设备。面对多数据的数据，我们可以将存储深度较高的数据标识对应的数据发送至终端设备，通过异步调取数据的方式，提升终端设备获取数据的效率。
在接收到数据请求通知之后，通过异步查询和调用的方式，先将存储深度较高的数据标识对应的数据发送至终端设备，再逐步查询和调用其他数据，保证了调用时延较大的存储数据可以及时被使用终端接收到，当渲染大数据量时不至于使页面卡顿或出现页面奔溃的现象，提高用户使用体验。
进一步的，终端设备在接收到数据请求信息对应的数据之后，可以将接收到的信息存储，同时，还可以对存储的数据进行增、删、改、查以及导出等操作，以在下一次需要使用的时候，直接从自己的存储空间中获取，而节省了向服务器请求数据的步骤，提高了数据使用效率。
上述方案，通过获取待存储数据的属性信息和数据标识；根据所述待存储数据的所述数据类型、所述使用频率以及所述数据量，确定所述待存储数据的存储等级；根据所述存储等级确定所述待存储数据在存储介质中的存储深度；根据预设的数据检索树，将所述数据标识对应的所述待存储数据存储至所述存储介质中与所述存储深度对应的位置；获取终端设备发送的数据请求信息；根据所述属性信息计算所述待处理数据的存储等级，并根据所述存储等级确定所述待处理数据的存储深度；根据所述存储深度确定所述待处理数据的存储位置，并根据所述数据标识从所述存储位置处提取所述待处理数据，将所述待处理数据发送至所述终端设备。通过预先根据待存储数据的不同情况将各个待存储数据存储至存储介质中对应的存储深度，并在终端设备发送的数据请求信息确定每个数据标识对应的数据的存储深度，最后根据存储深度在确定待处理数据在存储介质中的存储位置，通过待处理数据的数据标识在该存储位置中调用数据，以将待处理数据发送至终端设备，通过根据属性信息直接缩小待处理数据的查找范围，根据异步调取数据的方式将存储深度较高的数据标识对应的数据发送至终端设备，提升终端设备获取数据的效率。
参见图3，图3是本申请实施例三提供的一种终端设备的示意图。终端设备包括的各单元用于执行图1～图2对应的实施例中的各步骤。具体请参阅图1～图2各自对应的实施例中 的相关描述。为了便于说明，仅示出了与本实施例相关的部分。本实施例的终端设备300包括：
获取单元301，用于获取终端设备发送的数据请求信息；所述数据请求信息用于获取待处理数据；所述数据请求信息中包括所述待处理数据的数据标识和属性信息；
计算单元302，用于根据所述属性信息计算所述待处理数据的存储等级，并根据所述存储等级确定所述待处理数据的存储深度；所述存储深度用于表示数据在存储介质中的层级位置；
提取单元303，用于根据所述存储深度确定所述待处理数据的存储位置，并根据所述数据标识从所述存储位置处提取所述待处理数据，将所述待处理数据发送至所述终端设备。
进一步的，所述计算单元302可以包括：
第一计算单元，用于若所述数据请求信息中的数据标识存在至少两个，则根据每个所述数据标识对应的属性信息，计算每个所述数据标识对应的待处理数据的存储等级；
第二计算单元，用于根据每个所述数据标识对应的存储等级，确定每个所述数据标识对应的待处理数据的存储深度；
进一步的，所述提取单元可以包括：
位置确定单元，用于根据每个所述数据标识对应的所述存储深度，确定每个所述数据标识对应的待处理数据的存储位置；
数据提取单元，用于根据每个所述数据标识，按照所述存储深度由高到低的顺序，从每个所述数据标识对应的待处理数据的存储位置处，提取每个所述待处理数据；
数据发送单元，用于将所有所述待处理数据发送至所述终端设备。
进一步的，所述终端设备还可以包括：
标识获取单元，用于获取待存储数据的属性信息和数据标识；所述属性信息包括所述待存储数据的数据类型、使用频率以及数据量；
等级确定单元，用于根据所述待存储数据的所述数据类型、所述使用频率以及所述数据量，确定所述待存储数据的存储等级；
深度确定单元，用于根据所述存储等级确定所述待存储数据在存储介质中的存储深度；
数据存储单元，用于根据预设的数据检索树，将所述数据标识对应的所述待存储数据存储至所述存储介质中与所述存储深度对应的位置；所述数据检索树为预设的数据存储树形结构，所述数据存储树形结构中包括不同存储深度的存储位置，所述存储位置用于存储不同等级的数据。
进一步的，所述第一计算单元可以具体用于：
通过以下公式计算所述待存储数据的所述存储等级：
Figure PCTCN2019117186-appb-000002
其中，Type用于表示所述数据类型、Fre用于表示所述使用频率、Str用于表示所述数据量，α用于表示预设的等级参数。
进一步的，所述终端设备还可以包括：
迁移通知单元，用于获取管理终端发送的数据迁移通知；所述数据迁移通知中包括迁移数据的数据标识和迁移地址；
数据迁移单元，用于根据所述迁移数据的数据标识确定所述迁移数据的存储位置，根据所述存储位置提取所述迁移数据，并删除所述存储位置处的所述迁移数据；
迁移存储单元，用于将所述迁移数据存储至所述迁移地址对应的存储位置。
上述方案，通过获取待存储数据的属性信息和数据标识；根据所述待存储数据的所述数据类型、所述使用频率以及所述数据量，确定所述待存储数据的存储等级；根据所述存储等级确定所述待存储数据在存储介质中的存储深度；根据预设的数据检索树，将所述数据标识对应的所述待存储数据存储至所述存储介质中与所述存储深度对应的位置；获取终端设备发送的数据请求信息；根据所述属性信息计算所述待处理数据的存储等级，并根据所述存储等级确定所述待处理数据的存储深度；根据所述存储深度确定所述待处理数据的存储位置，并根据所述数据标识从所述存储位置处提取所述待处理数据，将所述待处理数据发送至所述终端设备。通过预先根据待存储数据的不同情况将各个待存储数据存储至存储介质中对应的存储深度，并在终端设备发送的数据请求信息确定每个数据标识对应的数据的存储深度，最后根据存储深度在确定待处理数据在存储介质中的存储位置，通过待处理数据的数据标识在该存储位置中调用数据，以将待处理数据发送至终端设备，通过根据属性信息直接缩小待处理数据的查找范围，根据异步调取数据的方式将存储深度较高的数据标识对应的数据发送至终端设备，提升终端设备获取数据的效率。
图4是本申请实施例四提供的终端设备的示意图。如图4所示，该实施例的终端设备4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机可读指令42。所述处理器40执行所述计算机可读指令42时实现上述各个数据处理方法实施例中的步骤，例如图1所示的步骤101至103。或者，所述处理器40执行所述计算机可读指令42时实现上述各装置实施例中各模块/单元的功能，例如图3所示单元301至303的功能。
示例性的，所述计算机可读指令42可以被分割成一个或多个模块/单元，所述一个或者 多个模块/单元被存储在所述存储器41中，并由所述处理器40执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令的指令段，该指令段用于描述所述计算机可读指令42在所述终端设备4中的执行过程。
所述终端设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是终端设备4的示例，并不构成对终端设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述终端设备4的内部存储单元，例如终端设备4的硬盘或内存。所述存储器41也可以是所述终端设备4的外部存储设备，例如所述终端设备4上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card，FC)等。进一步地，所述存储器41还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机可读指令以及所述终端设备所需的其他程序和数据。所述存储器41还可用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一计算机非易失性可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、 存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (20)

  1. 一种数据处理方法，其特征在于，包括：
    获取终端设备发送的数据请求信息；所述数据请求信息用于获取待处理数据；所述数据请求信息中包括所述待处理数据的数据标识和属性信息；
    根据所述属性信息计算所述待处理数据的存储等级，并根据所述存储等级确定所述待处理数据的存储深度；所述存储深度用于表示数据在存储介质中的层级位置；
    根据所述存储深度确定所述待处理数据的存储位置，并根据所述数据标识从所述存储位置处提取所述待处理数据，将所述待处理数据发送至所述终端设备。
  2. 如权利要求1所述的数据处理方法，其特征在于，
    所述根据所述属性信息计算所述待处理数据的存储等级，并根据所述存储等级确定所述待处理数据的存储深度，包括：
    若所述数据请求信息中的数据标识存在至少两个，则根据每个所述数据标识对应的属性信息，计算每个所述数据标识对应的待处理数据的存储等级；
    根据每个所述数据标识对应的存储等级，确定每个所述数据标识对应的待处理数据的存储深度；
    所述根据所述存储深度确定所述待处理数据的存储位置，并根据所述数据标识从所述存储位置处提取所述待处理数据，将所述待处理数据发送至所述终端设备，包括：
    根据每个所述数据标识对应的所述存储深度，确定每个所述数据标识对应的待处理数据的存储位置；
    根据每个所述数据标识，按照所述存储深度由高到低的顺序，从每个所述数据标识对应的待处理数据的存储位置处，提取每个所述待处理数据；
    将所有所述待处理数据发送至所述终端设备。
  3. 如权利要求1所述的数据处理方法，其特征在于，所述获取终端设备发送的数据请求信息之前，还包括：
    获取待存储数据的属性信息和数据标识；所述属性信息包括所述待存储数据的数据类型、使用频率以及数据量；
    根据所述待存储数据的所述数据类型、所述使用频率以及所述数据量，确定所述待存储数据的存储等级；
    根据所述存储等级确定所述待存储数据在存储介质中的存储深度；
    根据预设的数据检索树，将所述数据标识对应的所述待存储数据存储至所述存储介质中 与所述存储深度对应的位置；所述数据检索树为预设的数据存储树形结构，所述数据存储树形结构中包括不同存储深度的存储位置，所述存储位置用于存储不同等级的数据。
  4. 如权利要求3所述的数据处理方法，其特征在于，所述根据所述待存储数据的所述数据类型、所述使用频率以及所述数据量，确定所述待存储数据的存储等级，包括：
    通过以下公式计算所述待存储数据的所述存储等级：
    Figure PCTCN2019117186-appb-100001
    其中，Type用于表示所述数据类型、Fre用于表示所述使用频率、Str用于表示所述数据量，α用于表示预设的等级参数。
  5. 如权利要求3所述的数据处理方法，其特征在于，所述根据预设的数据检索树，将所述数据标识对应的所述待存储数据存储至所述存储介质中与所述存储深度对应的位置之后，还包括：
    获取管理终端发送的数据迁移通知；所述数据迁移通知中包括迁移数据的数据标识和迁移地址；
    根据所述迁移数据的数据标识确定所述迁移数据的存储位置，根据所述存储位置提取所述迁移数据，并删除所述存储位置处的所述迁移数据；
    将所述迁移数据存储至所述迁移地址对应的存储位置。
  6. 一种终端设备，其特征在于，包括：
    获取单元，用于获取终端设备发送的数据请求信息；所述数据请求信息用于获取待处理数据；所述数据请求信息中包括所述待处理数据的数据标识和属性信息；
    计算单元，用于根据所述属性信息计算所述待处理数据的存储等级，并根据所述存储等级确定所述待处理数据的存储深度；所述存储深度用于表示数据在存储介质中的层级位置；
    提取单元，用于根据所述存储深度确定所述待处理数据的存储位置，并根据所述数据标识从所述存储位置处提取所述待处理数据，将所述待处理数据发送至所述终端设备。
  7. 根据权利要求6所述的终端设备，其特征在于，所述计算单元包括：
    第一计算单元，用于若所述数据请求信息中的数据标识存在至少两个，则根据每个所述数据标识对应的属性信息，计算每个所述数据标识对应的待处理数据的存储等级；
    第二计算单元，用于根据每个所述数据标识对应的存储等级，确定每个所述数据标识对应的待处理数据的存储深度；
    所述提取单元可以包括：
    位置确定单元，用于根据每个所述数据标识对应的所述存储深度，确定每个所述数据 标识对应的待处理数据的存储位置；
    数据提取单元，用于根据每个所述数据标识，按照所述存储深度由高到低的顺序，从每个所述数据标识对应的待处理数据的存储位置处，提取每个所述待处理数据；
    数据发送单元，用于将所有所述待处理数据发送至所述终端设备。
  8. 根据权利要求6所述的终端设备，其特征在于，所述终端设备还可以包括：
    标识获取单元，用于获取待存储数据的属性信息和数据标识；所述属性信息包括所述待存储数据的数据类型、使用频率以及数据量；
    等级确定单元，用于根据所述待存储数据的所述数据类型、所述使用频率以及所述数据量，确定所述待存储数据的存储等级；
    深度确定单元，用于根据所述存储等级确定所述待存储数据在存储介质中的存储深度；
    数据存储单元，用于根据预设的数据检索树，将所述数据标识对应的所述待存储数据存储至所述存储介质中与所述存储深度对应的位置；所述数据检索树为预设的数据存储树形结构，所述数据存储树形结构中包括不同存储深度的存储位置，所述存储位置用于存储不同等级的数据。
  9. 根据权利要求8所述的终端设备，其特征在于，所述第一计算单元具体用于：
    通过以下公式计算所述待存储数据的所述存储等级：
    Figure PCTCN2019117186-appb-100002
    其中，Type用于表示所述数据类型、Fre用于表示所述使用频率、Str用于表示所述数据量，α用于表示预设的等级参数。
  10. 根据权利要求8所述的终端设备，其特征在于，所述终端设备还可以包括：
    迁移通知单元，用于获取管理终端发送的数据迁移通知；所述数据迁移通知中包括迁移数据的数据标识和迁移地址；
    数据迁移单元，用于根据所述迁移数据的数据标识确定所述迁移数据的存储位置，根据所述存储位置提取所述迁移数据，并删除所述存储位置处的所述迁移数据；
    迁移存储单元，用于将所述迁移数据存储至所述迁移地址对应的存储位置。
  11. 一种终端设备，其特征在于，所述终端包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：
    获取终端设备发送的数据请求信息；所述数据请求信息用于获取待处理数据；所述数据请求信息中包括所述待处理数据的数据标识和属性信息；
    根据所述属性信息计算所述待处理数据的存储等级，并根据所述存储等级确定所述待处理数据的存储深度；所述存储深度用于表示数据在存储介质中的层级位置；
    根据所述存储深度确定所述待处理数据的存储位置，并根据所述数据标识从所述存储位置处提取所述待处理数据，将所述待处理数据发送至所述终端设备。
  12. 根据权利要求11所述的终端设备，其特征在于，
    所述根据所述属性信息计算所述待处理数据的存储等级，并根据所述存储等级确定所述待处理数据的存储深度，包括：
    若所述数据请求信息中的数据标识存在至少两个，则根据每个所述数据标识对应的属性信息，计算每个所述数据标识对应的待处理数据的存储等级；
    根据每个所述数据标识对应的存储等级，确定每个所述数据标识对应的待处理数据的存储深度；
    所述根据所述存储深度确定所述待处理数据的存储位置，并根据所述数据标识从所述存储位置处提取所述待处理数据，将所述待处理数据发送至所述终端设备，包括：
    根据每个所述数据标识对应的所述存储深度，确定每个所述数据标识对应的待处理数据的存储位置；
    根据每个所述数据标识，按照所述存储深度由高到低的顺序，从每个所述数据标识对应的待处理数据的存储位置处，提取每个所述待处理数据；
    将所有所述待处理数据发送至所述终端设备。
  13. 根据权利要求11所述的终端设备，其特征在于，所述获取终端设备发送的数据请求信息之前，还包括：
    获取待存储数据的属性信息和数据标识；所述属性信息包括所述待存储数据的数据类型、使用频率以及数据量；
    根据所述待存储数据的所述数据类型、所述使用频率以及所述数据量，确定所述待存储数据的存储等级；
    根据所述存储等级确定所述待存储数据在存储介质中的存储深度；
    根据预设的数据检索树，将所述数据标识对应的所述待存储数据存储至所述存储介质中与所述存储深度对应的位置；所述数据检索树为预设的数据存储树形结构，所述数据存储树形结构中包括不同存储深度的存储位置，所述存储位置用于存储不同等级的数据。
  14. 根据权利要求13所述的终端设备，其特征在于，所述根据所述待存储数据的所述数据类型、所述使用频率以及所述数据量，确定所述待存储数据的存储等级，包括：
    通过以下公式计算所述待存储数据的所述存储等级：
    Figure PCTCN2019117186-appb-100003
    其中，Type用于表示所述数据类型、Fre用于表示所述使用频率、Str用于表示所述数据量，α用于表示预设的等级参数。
  15. 根据权利要求13所述的终端设备，其特征在于，所述根据预设的数据检索树，将所述数据标识对应的所述待存储数据存储至所述存储介质中与所述存储深度对应的位置之后，还包括：
    获取管理终端发送的数据迁移通知；所述数据迁移通知中包括迁移数据的数据标识和迁移地址；
    根据所述迁移数据的数据标识确定所述迁移数据的存储位置，根据所述存储位置提取所述迁移数据，并删除所述存储位置处的所述迁移数据；
    将所述迁移数据存储至所述迁移地址对应的存储位置。
  16. 一种计算机非易失性可读存储介质，所述计算机非易失性可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如下步骤：
    获取终端设备发送的数据请求信息；所述数据请求信息用于获取待处理数据；所述数据请求信息中包括所述待处理数据的数据标识和属性信息；
    根据所述属性信息计算所述待处理数据的存储等级，并根据所述存储等级确定所述待处理数据的存储深度；所述存储深度用于表示数据在存储介质中的层级位置；
    根据所述存储深度确定所述待处理数据的存储位置，并根据所述数据标识从所述存储位置处提取所述待处理数据，将所述待处理数据发送至所述终端设备。
  17. 根据权利要求16所述的计算机非易失性可读存储介质，其特征在于，
    所述根据所述属性信息计算所述待处理数据的存储等级，并根据所述存储等级确定所述待处理数据的存储深度，包括：
    若所述数据请求信息中的数据标识存在至少两个，则根据每个所述数据标识对应的属性信息，计算每个所述数据标识对应的待处理数据的存储等级；
    根据每个所述数据标识对应的存储等级，确定每个所述数据标识对应的待处理数据的存储深度；
    所述根据所述存储深度确定所述待处理数据的存储位置，并根据所述数据标识从所述存储位置处提取所述待处理数据，将所述待处理数据发送至所述终端设备，包括：
    根据每个所述数据标识对应的所述存储深度，确定每个所述数据标识对应的待处理数据的存储位置；
    根据每个所述数据标识，按照所述存储深度由高到低的顺序，从每个所述数据标识对应的待处理数据的存储位置处，提取每个所述待处理数据；
    将所有所述待处理数据发送至所述终端设备。
  18. 根据权利要求16所述的计算机非易失性可读存储介质，其特征在于，所述获取终端设备发送的数据请求信息之前，还包括：
    获取待存储数据的属性信息和数据标识；所述属性信息包括所述待存储数据的数据类型、使用频率以及数据量；
    根据所述待存储数据的所述数据类型、所述使用频率以及所述数据量，确定所述待存储数据的存储等级；
    根据所述存储等级确定所述待存储数据在存储介质中的存储深度；
    根据预设的数据检索树，将所述数据标识对应的所述待存储数据存储至所述存储介质中与所述存储深度对应的位置；所述数据检索树为预设的数据存储树形结构，所述数据存储树形结构中包括不同存储深度的存储位置，所述存储位置用于存储不同等级的数据。
  19. 根据权利要求18所述的计算机非易失性可读存储介质，其特征在于，所述根据所述待存储数据的所述数据类型、所述使用频率以及所述数据量，确定所述待存储数据的存储等级，包括：
    通过以下公式计算所述待存储数据的所述存储等级：
    Figure PCTCN2019117186-appb-100004
    其中，Type用于表示所述数据类型、Fre用于表示所述使用频率、Str用于表示所述数据量，α用于表示预设的等级参数。
  20. 根据权利要求18所述的计算机非易失性可读存储介质，其特征在于，所述根据预设的数据检索树，将所述数据标识对应的所述待存储数据存储至所述存储介质中与所述存储深度对应的位置之后，还包括：
    获取管理终端发送的数据迁移通知；所述数据迁移通知中包括迁移数据的数据标识和迁移地址；
    根据所述迁移数据的数据标识确定所述迁移数据的存储位置，根据所述存储位置提取所述迁移数据，并删除所述存储位置处的所述迁移数据；
    将所述迁移数据存储至所述迁移地址对应的存储位置。
PCT/CN2019/117186 2019-07-10 2019-11-11 数据处理方法及终端设备 WO2021003921A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910618415.8A CN110471900A (zh) 2019-07-10 2019-07-10 数据处理方法及终端设备
CN201910618415.8 2019-07-10

Publications (1)

Publication Number Publication Date
WO2021003921A1 true WO2021003921A1 (zh) 2021-01-14

Family

ID=68507532

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/117186 WO2021003921A1 (zh) 2019-07-10 2019-11-11 数据处理方法及终端设备

Country Status (2)

Country Link
CN (1) CN110471900A (zh)
WO (1) WO2021003921A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966040A (zh) * 2021-03-29 2021-06-15 深圳市优必选科技股份有限公司 一种转换数据结构的方法、装置、终端以及存储介质
CN114444904A (zh) * 2022-01-12 2022-05-06 广东利元亨智能装备股份有限公司 自动匹配数据的方法、设备以及存储介质
CN114938391A (zh) * 2022-06-09 2022-08-23 中国联合网络通信集团有限公司 数据处理方法、装置、设备及介质
WO2024011896A1 (zh) * 2022-07-15 2024-01-18 中兴通讯股份有限公司 数据处理方法、设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110990447B (zh) * 2019-12-19 2023-09-15 北京锐安科技有限公司 一种数据探查方法、装置、设备及存储介质
CN111858686B (zh) * 2020-07-08 2024-05-28 深圳市富途网络科技有限公司 数据显示方法、装置、终端设备及存储介质
CN112835530A (zh) * 2021-02-24 2021-05-25 珠海格力电器股份有限公司 延长存储器使用寿命的方法及空调
CN113885796A (zh) * 2021-09-23 2022-01-04 至誉科技（武汉）有限公司 固态硬盘的性能调控方法、装置、设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130124796A1 (en) * 2010-12-31 2013-05-16 Huawei Technologies Co., Ltd. Storage method and apparatus which are based on data content identification
CN109240946A (zh) * 2018-09-06 2019-01-18 平安科技（深圳）有限公司 数据的多级缓存方法及终端设备
CN109614347A (zh) * 2018-10-22 2019-04-12 中国平安人寿保险股份有限公司 多级缓存数据的处理方法、装置、存储介质及服务器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011010688A1 (ja) * 2009-07-22 2011-01-27 日本電気株式会社 コンテンツ配信システム、コンテンツ配信方法、コンテンツ配信プログラム
CN102439934A (zh) * 2011-01-24 2012-05-02 华为技术有限公司 一种cdn中边缘服务器的多级缓存管理方法与系统
CN103150263B (zh) * 2012-12-13 2016-01-20 深圳先进技术研究院 分级存储方法
CN106355031A (zh) * 2016-09-21 2017-01-25 大连大学 基于层次分析法的数据价值度计算方法
CN106990924A (zh) * 2017-04-07 2017-07-28 广东浪潮大数据研究有限公司 一种数据迁移方法和系统
CN109542961B (zh) * 2018-10-19 2024-05-03 中国平安财产保险股份有限公司 数据存储方法、装置、计算机设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130124796A1 (en) * 2010-12-31 2013-05-16 Huawei Technologies Co., Ltd. Storage method and apparatus which are based on data content identification
CN109240946A (zh) * 2018-09-06 2019-01-18 平安科技（深圳）有限公司 数据的多级缓存方法及终端设备
CN109614347A (zh) * 2018-10-22 2019-04-12 中国平安人寿保险股份有限公司 多级缓存数据的处理方法、装置、存储介质及服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIAO HAI-SHENG: "Research on Data Classification Algorithms in Data Classification Storage System", JOURNAL OF GANSU LIANHE UNIVERSITY ( NATURAL SCIENCES ), vol. 26, no. 4, 10 July 2012 (2012-07-10), pages 57 - 61, XP055772676, ISSN: 1672-691X, DOI: 10.13804/j.cnki.2095-6991.2012.04.008 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966040A (zh) * 2021-03-29 2021-06-15 深圳市优必选科技股份有限公司 一种转换数据结构的方法、装置、终端以及存储介质
CN114444904A (zh) * 2022-01-12 2022-05-06 广东利元亨智能装备股份有限公司 自动匹配数据的方法、设备以及存储介质
CN114938391A (zh) * 2022-06-09 2022-08-23 中国联合网络通信集团有限公司 数据处理方法、装置、设备及介质
CN114938391B (zh) * 2022-06-09 2024-01-12 中国联合网络通信集团有限公司 数据处理方法、装置、设备及介质
WO2024011896A1 (zh) * 2022-07-15 2024-01-18 中兴通讯股份有限公司 数据处理方法、设备及存储介质

Also Published As

Publication number Publication date
CN110471900A (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
WO2021003921A1 (zh) 数据处理方法及终端设备
US11281793B2 (en) User permission data query method and apparatus, electronic device and medium
US20190294588A1 (en) Text deduplication method and apparatus, and storage medium
WO2021114810A1 (zh) 基于图结构的公文推荐方法、装置、计算机设备及介质
CN106445944A (zh) 一种数据查询请求的处理方法、装置及电子设备
WO2020220646A1 (zh) 基于分布式存储系统的数据存储方法、存储节点及介质
WO2017161540A1 (zh) 数据查询的方法、数据对象的存储方法和数据系统
US10762068B2 (en) Virtual columns to expose row specific details for query execution in column store databases
CN107832440B (zh) 一种数据挖掘方法、装置、服务器及计算机可读存储介质
WO2019148712A1 (zh) 钓鱼网站检测方法、装置、计算机设备和存储介质
WO2023024247A1 (zh) 一种标签数据的范围查询方法、装置、设备及存储介质
WO2022105119A1 (zh) 意图识别模型的训练语料生成方法及其相关设备
WO2014067298A1 (zh) 实时检索信息获取方法、装置及服务器
CN104239435A (zh) 一种基于图片缩略处理的分布式图片缓存方法
WO2017174013A1 (zh) 数据存储管理方法、装置及数据存储系统
US9852226B2 (en) Search engine results system using entity density
EP3522040A1 (en) Method and device for file storage
CN109033295B (zh) 超大数据集的合并方法及装置
CN112783887A (zh) 一种基于数据仓库的数据处理方法及装置
CN111427920B (zh) 数据采集方法、装置、系统、计算机设备及存储介质
WO2021103594A1 (zh) 一种默契度检测方法、设备、服务器及可读存储介质
CN112965957A (zh) 一种数据迁移方法、装置、设备及存储介质
WO2023098593A1 (zh) 数据处理方法及装置
CN113626438B (zh) 一种数据表管理的方法、装置、计算机设备及存储介质
WO2018077138A1 (zh) 数据配置方法、索引管理方法、相关装置以及计算设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19937070

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19937070

Country of ref document: EP

Kind code of ref document: A1