WO2016026433A1 - 一种数据处理方法和数据处理装置 - Google Patents

一种数据处理方法和数据处理装置 Download PDF

Info

Publication number
WO2016026433A1
WO2016026433A1 PCT/CN2015/087380 CN2015087380W WO2016026433A1 WO 2016026433 A1 WO2016026433 A1 WO 2016026433A1 CN 2015087380 W CN2015087380 W CN 2015087380W WO 2016026433 A1 WO2016026433 A1 WO 2016026433A1
Authority
WO
WIPO (PCT)
Prior art keywords
key
target
data
index
area
Prior art date
Application number
PCT/CN2015/087380
Other languages
English (en)
French (fr)
Inventor
张雷
刘小威
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2016026433A1 publication Critical patent/WO2016026433A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0253—Garbage collection, i.e. reclamation of unreferenced memory
    • G06F12/0261—Garbage collection, i.e. reclamation of unreferenced memory using reference counting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation

Definitions

  • the present invention relates to the field of electronic technologies, and in particular, to a data processing method and a data processing device.
  • a protocol for interconnecting networks (English: Internet Protocol; IP for short) is a hard disk that provides physical communication through the IP protocol. It eliminates the traditional serial connection (English: Serial Attached SCSI; SAS) / Serial Advanced Technology Attachment (English: Serial SATA) interface, making the connection between the host and the hard disk easier. There is almost no limit to the distance.
  • Key-Value, key-value pair structure Some current storage media, such as IP hard disks, are stored in a Key-Value, key-value pair structure.
  • Key is a key, usually a string
  • Value is the value corresponding to the key, also known as data or data content
  • Key-Value data is referred to as KV data.
  • the offset of the Value storage address and the key Key are stored together in the index area, and the value corresponding to the Key is stored in the data area.
  • the application layer uses the Key to access, traverses the index area, and accesses the value corresponding to the Key according to the Key index to the offset.
  • the application provides a data processing method and a data processing device for improving data processing efficiency and reducing system resource consumption.
  • the first aspect of the present application provides a data processing method, which is applied to a storage medium, where the storage medium stores a plurality of keys and a value Value corresponding to each key Key, including:
  • a second aspect of the present application provides a data processing apparatus, including:
  • a determining unit configured to determine a key type to which the target key belongs, and determine a target index area corresponding to the key type of the target key;
  • An obtaining unit configured to obtain a target index item of the target key by querying the target index area
  • a data obtaining unit configured to obtain data corresponding to the target key in the data area according to the target index item.
  • a third aspect of the present application provides a storage device, including:
  • a processor configured to determine a key type to which the target key belongs, and determine a target index area corresponding to the key type of the target key; obtaining a target index item of the target key by querying the target index area; The target index item obtains data corresponding to the target key in the data area.
  • the target index item is obtained. Therefore, in the embodiment of the present application, after the target key is obtained, according to the key type of the target key, the target index item is obtained in the corresponding target index area, and finally the required data is obtained in the data area according to the target index item. . Therefore, in the technical solution provided by the present application, the traversal range is reduced to a target index area of a key type, thereby avoiding traversing the entire index area to find a target index item, which is beneficial to improving data processing efficiency and reducing system resource consumption.
  • FIG. 1 is a flowchart of a data processing method in an embodiment of the present application.
  • FIG. 2 is a schematic diagram of allocation of a target index area in an embodiment of the present application.
  • FIG. 3 is a schematic diagram of another target index area allocation in the embodiment of the present application.
  • FIG. 4 is a schematic diagram of a data item and an index entry writing manner in the embodiment of the present application.
  • FIG. 5 is a schematic diagram of another data item and an index entry writing manner in the embodiment of the present application.
  • 6a-6c are specific implementation steps of several data processing in the embodiment of the present application.
  • FIG. 7 is a schematic structural diagram of a data processing apparatus according to an embodiment of the present application.
  • FIG. 8 is a conceptual diagram of an example of hardware implementation of a storage device in an embodiment of the present application.
  • the application provides a data processing method and a data processing device for improving data processing efficiency and reducing consumption of system resources.
  • the technical solution in the embodiment of the present invention is to solve the above technical problem, and the data processing method in the present invention includes the following contents:
  • the target index item is obtained. Therefore, in the embodiment of the present application, after the target key is obtained, according to the key type of the target key, the target index item is obtained in the corresponding target index area, and finally the required data is obtained in the data area according to the target index item. . Therefore, in the technical solution provided by the present application, the traversal range is reduced to a target index area of a key type, thereby avoiding traversing the entire index area to find a target index item, which is beneficial to improving data processing efficiency and reducing system resource consumption.
  • Embodiment 1 is a diagrammatic representation of Embodiment 1:
  • the data processing method in the embodiment of the present application includes the following contents:
  • S102 Determine a key type to which the target key belongs, and determine a target index area corresponding to the key type of the target key.
  • S103 Acquire a target index item of the target key by querying the target index area.
  • S104 Obtain data corresponding to the target key in the data area according to the target index item.
  • the storage medium is stored in the form of a Key-Value, in other words, the storage medium stores a plurality of keys, and stores a plurality of values corresponding to the plurality of keys, wherein each value has A corresponding key.
  • Key is called a key, which is also called a primary key;
  • Value is a value corresponding to a key, and can also be called data and data content.
  • the value, data, and data content all refer to Value, and the data item includes Value.
  • the storage medium in the embodiment of the present application may be a protocol (English: Internet Protocol; IP) hard disk, a smart hard disk, etc., which are not limited by this application.
  • IP Internet Protocol
  • the IP hard disk is a hard disk that provides physical communication through the IP protocol, and the application layer transmits data through the KV interface.
  • the method further includes:
  • the target index area is allocated for at least one key of the same key type.
  • the current storage medium does not store the KV data type relationship when storing key-value pairs, that is, the type of the key, so when the upper-layer application only needs to obtain a certain type, or less data, the IP hard disk still has to traverse. The entire index area to find the target index.
  • the target index area may be allocated in the memory area of the IP hard disk or in the disk area in the IP hard disk.
  • the area acts as an index area.
  • a plurality of units are included in the target index area, and in a specific implementation process, in order to avoid missing index items, the number of units in the target index area should be greater than or equal to the number of at least one key, for example, at least one key. Specifically, there are 50 keys, and the number of units in the target index area may be 50, 51, 139, and the like.
  • the key type is a logically divided type, defined by the user, and the user divides the data type according to his own needs and preferences. For example, the user configures 50 keys through the human-computer interaction interface to be shared and private. Or you can divide the key type according to the type of application. For example, in 100 KV data, the 2nd, 4th, 89th, 73rd, 29th, and 56th data are the data required for the application A to run, and the 45th, 94th, 14th, and 49th data are the data required by the application B. The remaining 90 data are the data required for the application C to run, then the keys of the 100 KV data are divided into 3 key types.
  • the index area is pre-allocated for each KV data, and the index area size allocated for the same KV data for each key type is fixed.
  • the key types are type1 and type2, assign a fixed type 1 index area to the type 1 type KV data, and a type 2 KV.
  • the data is allocated a fixed type 2 index area.
  • the index areas allocated for each type may be the same or different.
  • the allocated index areas may be consecutive or discontinuous, such as the termination address of the type 1 target index area 0000:0010, then when the start address of the type 2 target index area is 0000:0011, the type1 index area and the type2 index area are consecutive. When the starting address of the type 2 index area is not 0000:0011, the two index areas are not continuous.
  • the person skilled in the art can make settings according to actual needs, and the present application does not specifically limit the present application.
  • index area of type1 and the index area of type2 are consecutive and the same size, including 5 units, as shown in FIG. 2.
  • the index storage unit of the same type of KV data is logically organized into an area that can be continuously traversed.
  • the value needs to be acquired, only the type of the target key needs to be determined.
  • the key types are type1 and type2 as an example.
  • the KV data whose key type is type1 is first stored, and then the index of the index type is 0 for the data of type1.
  • the key type of the KV data to be written is type2
  • the index entry is not stored in the index block whose metadata is 0, but is re-keyed.
  • the KV data of type type 2 is assigned an index block of metadata of 1.
  • the index block whose metadata is 1 is full, that is, the index item cannot be further written
  • the index block whose metadata is 2 is allocated to the KV data whose key type is type 2, so as to continue writing the index items of the subsequent data.
  • the index entry is no longer written to the index block whose metadata is 2.
  • the block is used to write the index entry of the new type1 KV data.
  • the metadata of the index entry in which the KV data of the key type type1 is stored is recorded as 0 and 4, and the metadata of the index entry in which the KV data of the key type type2 is stored is 2 and 3. .
  • the metadata of the index may use a pointer, an address, etc., and the person skilled in the art may perform setting according to actual needs, and the present application does not limit the application.
  • the index entries of the index entries of the KV data with the same key type are not necessarily contiguous, but the metadata of the index can still be traversed by the logical address or the logical relationship.
  • the index entry so avoiding the index area traversing the entire KV data when acquiring data, thus improving the data processing capability.
  • the method before obtaining the target key in S101, the method further includes:
  • N data items are written in the data area.
  • N is a positive integer, such as 4, 8, 390, etc., and N values are not limited in this application.
  • N is a positive integer, such as 4, 8, 390, etc.
  • N values are not limited in this application.
  • the N data items can be written in the data area in the area where the address is not continuous, and can also be written in the area where the address is continuous. This application does not limit this, and the person skilled in the application can set it according to actual needs.
  • each of the N data items includes a key and corresponding data, that is, in the data area, the data is written in the form of Key-Value; and when the index area is in the disk area, If the data in the disk is not lost after the power is turned off, each of the N data items in the data area may include only the data corresponding to the key. Of course, the key may also be included at the same time.
  • the lead-in area further includes:
  • M is an integer.
  • N 100
  • M may be any integer between 2 and 100, and 2, 50 or 100 may be used.
  • M values the application is also not Make restrictions.
  • M index items of M data items with the same key type are written into the target index area, wherein, among the M data items Each data item corresponds to one of the M index items.
  • the M index entries corresponding to the M KV data of the same key type are written into the target index area that can be continuously traversed. Then, if the key type of the target key is confirmed, the traversal can be directly performed in the corresponding target index area. Instead of traversing the entire index area.
  • each index entry includes a key Key and an offset of the corresponding data item in the data area.
  • the key Key is used to identify the data of the key indexed by the index item, and the offset is used to indicate the offset address of the corresponding data in the data area. According to the offset, the key Key can be found. The location of the data.
  • index area is allocated to the KV data whose key types are type1 and type2 to be stored in the first type of allocation index area, and the index area is in the memory area.
  • index area 1 is first allocated for data of type key type 1, and five units are included in index area 1.
  • index area 2 is allocated for data of type key type 2, and index unit 2 includes three units. Then, two types of data items are stored in the data area. Since the index area is in the memory area, the stored data items need to include keys and corresponding data.
  • the key class The type is type 1 and includes four, and the key type is type 2 including three.
  • the index items with the same key type that is, the keys and offsets are written into the corresponding index area 1 or index area 2.
  • the index area is allocated in the manner of the second allocation index area, and the index area is in the disk area.
  • the key type of the first key Key1 written is type1, and the corresponding data is Value1
  • the index block whose metadata of the index is 0 is allocated in the index area, and the index key Key1+offset1 is written.
  • the key type of the second key Key2 written is type2, and the corresponding data is Value2, then the index block with the index metadata of 1 is allocated in the index area, and the index is indexed.
  • the key Key2+offset2 is written to the first unit in the index block 1, and the key type of the third key Key3 written is type1, and the corresponding data is Value3.
  • the index key Key3+offset3 is written into the index.
  • the second unit in block 0 is OK.
  • the key types of the keys Key4 and Key7 are type1
  • the corresponding data is Value4 and Value7
  • the key types of Key5 and Key6 are type2
  • the corresponding data is Value5 and Value6, and the index items are written into the index area in the same manner.
  • Each index block can write 3 index entries.
  • the index entry for record type 1 is in index block 0 and index block 2, while the index entry for type 2 is at index block 1.
  • the allocation target index area and the writing of N data items are all performed before S101, but in the specific implementation process, the target index area may be allocated first, and then N data items are written, such as the first type.
  • the method of allocating the target index area may also be performed by first writing N data items and then allocating the target index area.
  • S101 is executed to obtain a target key.
  • the user selects or inputs a target key by operating the application layer, and then the application layer transfers the target key to the storage medium.
  • S102 is executed: determining a key type to which the target key belongs, and determining a target index area corresponding to the key type of the target key.
  • the index entry of the KV data having the same key type as the target key has been written into the continuous index area. Therefore, in order to quickly obtain the data corresponding to the target key, it is necessary to determine the key type of the target key.
  • the corresponding target index area is necessary to determine the key type of the target key.
  • S103 the target data item of the target key is obtained by querying the target index area, and the required data can be obtained.
  • the target index item includes the offset of the target key and the corresponding data in the data area. Therefore, after the target index item is acquired, the position of the corresponding data in the data area can be determined according to the offset in the target index item. To get the corresponding data.
  • Example 1 please refer to Figure 6a. If the user needs to find the information about Jobs Steven in the storage medium, the specific steps are as follows:
  • the storage medium can then pass the data item to the application layer and provide it to the user, so that the user can search for the required information through the link webpage http://zh.wikipedia.org/wiki/Steven Jobs.
  • the storage medium can also directly notify the connected electronic device link web page http://zh.wikipedia.org/wiki/Steven Jobs, and then the web page is presented to the user by the connected electronic device.
  • S303 Traverse the target index area corresponding to the key type “colleagues”, and sequentially read each corresponding data item according to the index items in the target index area.
  • data is transmitted to the application layer
  • data is transmitted according to the user's needs. For example, if the user only needs the mobile phone number, only the mobile phone number read by the traversal is transmitted to the application layer, for example, the user needs to browse and view the colleague group. Members and mobile phone numbers, then you need to pass the key, the member name, to the application layer.
  • S402 Determine a target index area corresponding to the key type “colleagues” of the target key “Zhang San”.
  • S403 Query a target index area corresponding to the key type “colleagues”, and obtain a target index item corresponding to the target key “Zhang San”.
  • Embodiment 2 is a diagrammatic representation of Embodiment 1:
  • an embodiment of the present application provides a data processing apparatus, including:
  • the obtaining unit 101 is configured to obtain a target key
  • a determining unit 102 configured to determine a key type to which the target key belongs, and determine a target index area corresponding to the key type of the target key;
  • the obtaining unit 103 is configured to obtain a target index item of the target key by querying the target index area;
  • the data obtaining unit 104 is configured to obtain data corresponding to the target key in the data area according to the target index item.
  • data processing apparatus in the embodiment of the present application may further include:
  • an allocating unit configured to allocate the target index area for at least one key that is the same as the key type before the obtaining unit obtains the target key.
  • a data writing unit configured to write N data items in the data area, and N is a positive integer before the obtaining unit obtains the target key.
  • An index writing unit configured to: after the data writing unit writes N data items in the data area, M index items of M data items with the same key type among the N data items Writing to the target index area, wherein each of the M data items corresponds to one of the M index items, and the M index items include the target index item, 2 ⁇ M ⁇ N, and M is an integer.
  • the IP address of the IP hard disk includes the disk area and the memory area. Therefore, the target index area can be allocated in the memory area of the IP hard disk or the disk area in the IP hard disk as an index area.
  • the technician can make settings according to actual needs, and the present application does not impose any specific restrictions.
  • Embodiment 3 is a diagrammatic representation of Embodiment 3
  • the embodiment of the present application provides a storage device.
  • the storage device shown in Figure 8 is related to the terminology For the meaning and specific implementation, reference may be made to the foregoing descriptions of FIGS. 1 to 7 and the related embodiments.
  • the storage device includes:
  • An interface 201 configured to obtain a target key
  • the processor 202 is configured to determine a key type to which the target key belongs, and determine a target index area corresponding to the key type of the target key; and obtain a target index item of the target key by querying the target index area; And obtaining data corresponding to the target key in the data area according to the target index item.
  • processor 202 is further configured to:
  • the target index area is allocated for at least one key of the same key type before the target key is obtained.
  • processor 202 is further configured to:
  • N data items are written in the data area, and N is a positive integer.
  • processor 202 is further configured to:
  • the M index items of the M data items having the same key type among the N data items are written into the target index area, where the M data
  • the M index items include the target index item, 2 ⁇ M ⁇ N, and M is an integer.
  • the storage device in the embodiment of the present application further includes a magnetic disk 203 for storing data.
  • the storage device also includes a memory 204 for temporarily storing operational data of the processor 202 and exchanging data with the disk 203 or an external memory.
  • the target index area may be in the memory 204 in the storage device or in the area allocated in the disk 203.
  • the person skilled in the art can make settings according to actual needs, and the present application does not specifically limit the present application.
  • bus 200 can include any number of interconnected buses and bridges, bus 200 will include one or more processors represented by processor 202, interface 201 One or more interfaces, disk 203, and memory 204 are linked together.
  • the bus 200 can also be used to convert various other devices such as peripherals, voltage regulators, and power management circuits. The links are linked together and these are well known in the art and, therefore, will not be further described herein.
  • the interface 201 can be a SAS interface, a SATA interface, or an Ethernet interface.
  • the interface 201 is specifically an Ethernet interface, and the storage device interacts with other external devices, networks, or applications through an Ethernet protocol.
  • the processor 201 is responsible for managing the bus 200 and the usual processing, and the memory 204 can be used to store data used by the processor 202 when performing operations.
  • the target index item is obtained. Therefore, in the embodiment of the present application, after the target key is obtained, according to the key type of the target key, the target index item is obtained in the corresponding target index area, and finally the required data is obtained in the data area according to the target index item. . Therefore, in the technical solution provided by the present application, the traversal range is reduced to a target index area of a key type, thereby avoiding traversing the entire index area to find a target index item, which is beneficial to improving data processing efficiency and reducing system resource consumption.
  • embodiments of the present invention can be provided as a method, system, or computer program product. Accordingly, the present invention may take the form of an entirely hardware embodiment, an entirely software embodiment, or a combination of software and hardware. Moreover, the invention can take the form of a computer program product embodied on one or more computer-usable storage media (including but not limited to disk storage and optical storage, etc.) including computer usable program code.
  • the computer program instructions can also be stored in a computer readable memory that can direct a computer or other programmable data processing device to operate in a particular manner, such that the instructions stored in the computer readable memory produce an article of manufacture comprising the instruction device.
  • the apparatus implements the functions specified in one or more blocks of a flow or a flow and/or block diagram of the flowchart.
  • These computer program instructions can also be loaded onto a computer or other programmable data processing device such that a series of operational steps are performed on a computer or other programmable device to produce computer-implemented processing for execution on a computer or other programmable device.
  • the instructions provide steps for implementing the functions specified in one or more of the flow or in a block or blocks of a flow diagram.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computational Linguistics (AREA)

Abstract

一种数据处理方法和数据处理装置，用以提高数据处理效率，降低对系统资源的消耗。所述方法应用于存储介质，所述存储介质存储有多个键以及各个键Key对应的值Value，所述方法包括：获得目标键（S101）；确定所述目标键所属于的键类型，并确定所述目标键的键类型对应的目标索引区（S102）；通过查询所述目标索引区，获取所述目标键的目标索引项（S103）；根据所述目标索引项，获得数据区中与所述目标键对应的数据（S104）。

Description

一种数据处理方法和数据处理装置 技术领域
本发明涉及电子技术领域，尤其涉及一种数据处理方法和数据处理装置。
背景技术
网络之间互连的协议(英文：Internet Protocol；简称：IP)硬盘为通过IP协议提供物理通信的硬盘。它摈弃了传统的串行连接(英文：Serial Attached SCSI；简称：SAS)/串行高级技术附件(英文：Serial Advanced Technology Attachment；简称：SATA)接口，使得主机和硬盘之间的连接更加简单，几乎没有距离的限制。
目前的一些存储介质，例如IP硬盘是以Key-Value，即键值对的结构进行数据存储的。其中Key为键，通常是一个字符串，而Value为键对应的值，也称为数据或数据内容，Key-Value数据简称KV数据。通常Value存储地址的偏移量以及键Key一起存放在索引区中，而Key对应的值Value则存放在数据区。在需要数据时，应用层使用Key进行访问，遍历索引区，根据Key索引到偏移量，从而访问到Key对应的Value。
然而，现有技术中获取数据的方法降低了数据处理的效率，同时也耗费了系统资源。
发明内容
本申请提供了一种数据处理方法和数据处理装置，用以提高数据处理效率，降低系统资源的消耗。
本申请第一方面提供了一种数据处理方法，应用于存储介质，所述存储介质存储有多个键以及各个键Key对应的值Value，包括：
获得目标键；
确定所述目标键所属于的键类型，并确定所述目标键的键类型对应的目标索引区；
通过查询所述目标索引区，获取所述目标键的目标索引项；
根据所述目标索引项，获得数据区中与所述目标键对应的数据。
本申请第二方面提供了一种数据处理装置，包括：
获得单元，用于获得目标键；
确定单元，用于确定所述目标键所属于的键类型，并确定所述目标键的键类型对应的目标索引区；
获取单元，用于通过查询所述目标索引区，获取所述目标键的目标索引项；
数据获得单元，用于根据所述目标索引项，获得数据区中与所述目标键对应的数据。
本申请第三方面提供了一种存储设备，包括：
接口，用于获得目标键；
处理器，用于确定所述目标键所属于的键类型，并确定所述目标键的键类型对应的目标索引区；通过查询所述目标索引区，获取所述目标键的目标索引项；根据所述目标索引项，获得数据区中与所述目标键对应的数据。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
首先获得目标键；接着确定所述目标键所属于的键类型，并确定所述目标键的键类型对应的目标索引区；然后通过查询所述目标索引区，获取所述目标键的目标索引项；最后根据所述目标索引项，获得数据区中与所述目标键对应的数据。因此，在本申请的实施例中，在获得了目标键后，根据目标键的键类型，在对应的目标索引区中查询获得目标索引项，最后根据目标索引项在数据区中获得需要的数据。所以，在本申请提供的技术方案中，将遍历范围缩小至一个键类型的目标索引区，避免了遍历整个索引区寻找目标索引项，有利于提高数据处理的效率和降低系统资源的耗费。
附图说明
图1为本申请实施例中的数据处理方法流程图；
图2为本申请实施例中一目标索引区分配示意图；
图3为本申请实施例中另一目标索引区分配示意图；
图4为本申请实施例中一数据项和索引项写入方式示意图；
图5为本申请实施例中另一数据项和索引项写入方式示意图；
图6a-图6c为本申请实施例中几种数据处理的具体实施步骤图；
图7为本申请实施例中的数据处理装置结构示意图；
图8为本申请实施例中的存储设备硬件实现的实例概念图。
具体实施方式
本申请提供了一种数据处理方法和数据处理装置，用以提高数据处理效率，降低对系统资源的消耗。
本发明实施例中的技术方案为解决上述的技术问题，本发明中的数据处理方法包括如下内容：
首先获得目标键；接着确定所述目标键所属于的键类型，并确定所述目标键的键类型对应的目标索引区；然后通过查询所述目标索引区，获取所述目标键的目标索引项；最后根据所述目标索引项，获得数据区中与所述目标键对应的数据。因此，在本申请的实施例中，在获得了目标键后，根据目标键的键类型，在对应的目标索引区中查询获得目标索引项，最后根据目标索引项在数据区中获得需要的数据。所以，在本申请提供的技术方案中，将遍历范围缩小至一个键类型的目标索引区，避免了遍历整个索引区寻找目标索引项，有利于提高数据处理的效率和降低系统资源的耗费。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存 在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图对本发明的实施方式进行详细说明。
实施例一：
首先，请参考图1，本申请实施例中的数据处理方法包括以下内容：
S101：获得目标键。
S102：确定所述目标键所属于的键类型，并确定所述目标键的键类型对应的目标索引区。
S103：通过查询所述目标索引区，获取所述目标键的目标索引项。
S104：根据所述目标索引项，获得数据区中与所述目标键对应的数据。
在本申请实施例中，存储介质中以形式为Key-Value的形式存储，换言之，存储介质中存储有多个键，并且存储有多个键对应的多个值，其中，每个值都有一个对应的键。
在本申请所属的技术领域中，Key，称为键，也称为主键；Value为键对应的值，同时也可称为数据、数据内容。在下述描述中，值，数据和数据内容均指Value，数据项中包括Value。
进一步，本申请实施例中的存储介质可以是网络之间互连的协议(英文：Internet Protocol；简称：IP)硬盘，智能硬盘等，对此本申请不做限制。
其中，IP硬盘为通过IP协议提供物理通信的硬盘，应用层之间通过KV接口来传输数据。
可选的，在S101之前，该方法还包括：
为与所述键类型相同的至少一个键分配所述目标索引区。
目前的存储介质在存储键值对的时候，并不保存KV数据类型关系，也就是键的类型，所以当上层应用仅需要获得某一类型，或较少数据时，IP硬盘仍然不得不通过遍历整个索引区来查找目标索引。
然而，遍历存储介质查找数据时，能够找到应用层指定类型的数据，那么说明键值对的键类型信息，其实已经被持久化到存储介质中了。同时，应用层中的数据类型确定后并不会随意更改，所以，在本申请实施例中，为了方便快速获得所需要的数据，可以在分配索引区的时候，就为键类型相同的至少一个键分配便于连续查找的目标索引区。
在具体实现过程中，若使用IP硬盘作为存储介质，由于IP硬盘中包括磁盘区域和内存区域，因此目标索引区可以在IP硬盘中的内存区域，也可以在IP硬盘中的磁盘区域中分配一段区域作为索引区。本申请所属技术人员可以根据实际需要来进行设置，本申请不作具体的限制。
在本申请实施例中，目标索引区中包括多个单元，且在具体实现过程中，为避免遗漏索引项，目标索引区中单元的数量应大于或等于至少一个键的数量，例如至少一个键具体为50个键，那么目标索引区中单元的数量可以为50个，51个，139个等。
其中，键类型为逻辑上划分的类型，由用户定义，用户根据自己的需要和喜好来划分数据类型。例如用户通过人机交互界面配置50个键分别为共享和私有两个类型。或者可以根据应用的类型来划分键类型。例如：在100个KV数据中，第2、4、89、73、29、56个数据为应用A运行所需的数据，第45、94、14、49个数据为应用B所需的数据，其余的90个数据均为应用C运行所需的数据，那么该100个KV数据的键就被划分为3个键类型。
下面，为了清楚说明如何为键类型相同的至少一个键分配目标索引区，将列举两种方法来详细说明，在具体实现过程中，包括但不限于以下两种。
第一种：
为每种KV数据预分配索引区，且为每种键类型相同的KV数据分配的索引区大小是固定的。
以键类型有2种为例来进行介绍，假设键类型有type1和type2两种，那么为type1类型的KV数据分配大小固定的type1索引区，以及为type2的KV 数据分配大小固定的type2索引区。在具体实现过程中，为每种类型分配的索引区，大小可以相同也可以不相同。并且所分配的各个索引区可以连续也可以不连续，如type1目标索引区的终止地址0000：0010，那么当type2目标索引区的起始地址为0000：0011时，type1索引区和type2索引区连续，当type2索引区的起始地址不为0000：0011时，则两个索引区就不连续。本申请所属技术人员可以根据实际需要来进行设置，本申请不作具体的限制。
举例来说，假设type1的索引区和type2的索引区连续，且大小相同，均包括5个单元，如图2所示。
可见，在第一种分配方式下，逻辑上将相同类型的KV数据的索引存放单元组织到可以连续遍历的区域内，在需要获取数据，也就需要获取值时，只需要确定目标键的类型，在对应连续的目标索引区中遍历获取目标键的索引项，就能够获取值，避免了遍历整个KV数据的索引区，因此提高了数据处理的能力。
第二种：
写入一种类型的KV数据，分配一个索引块，当分配的索引块无法继续存入索引时，再次分配新的索引块，最后用索引的元数据来记录写有相同键类型的索引块。
为了方便说明，同样以键类型有type1和type2为例来进行介绍。如图3所示，假设首先存入的是键类型为type1的KV数据，那么为type1的数据分配一索引的元数据为0的索引块。当将要写入的KV数据的键类型为type2时，即使元数据为0的索引块尚未写满，此时也不再往元数据为0的索引块中存入索引项，而是重新为键类型为type2的KV数据分配元数据为1的索引块。当元数据为1的索引块写满，即无法再继续写入索引项时，再次为键类型为type2的KV数据分配元数据为2的索引块，以便继续写入后续数据的索引项。接下来，当存入的数据变为type1类型的数据时，不再往元数据为2的索引块中写入索引项。此时可以重新为键类型为type1的KV数据分配元数据为3的索引 块来写入新的type1的KV数据的索引项。当然为了节约存储空间，也可以继续写入元数据为0的索引块中，直到写满索元数据为0的索引块后，分配元数据为3的索引块接着写入后续type1的KV数据的索引项。
在完成索引项写入后，记录下存储有键类型为type1的KV数据的索引项的元数据为0和4，而存储有键类型为type2的KV数据的索引项的元数据为2和3。
在具体实现过程中，索引的元数据可以使用指针、地址等，本申请所属技术人员可以根据实际需要来进行设置，本申请不做限制。
在第二种分配方式中，键类型相同的KV数据的索引项存储的索引块，物理地址并不一定连续的，但是通过索引的元数据，仍然可以通过逻辑地址或逻辑关系连续遍历键类型相同的索引项，所以在获取数据时避免了遍历整个KV数据的索引区，因此提高了数据处理的能力。
进一步，在本申请实施例中，在S101获得目标键之前，还包括：
在所述数据区中写入N个数据项。
具体来讲，N为正整数，如4、8、390等，对N个取值本申请不做限制。在获得目标键之前，需要先在数据区中写入N个数据项。N个数据项在数据区中可以写入地址不连续的区域，也可以写入地址连续的区域，本申请对此不做限制，本申请所属技术人员可以根据实际需要来进行设置。
进一步，若使用的存储介质有内存区域和磁盘区域，当索引区在内存区域中时，由于内存区域中的数据掉电后会丢失，所以为了在上电后能够重新建立索引区，数据区中N个数据项中的每一个数据项，均包括键以及对应的数据，也就是说，在数据区内，均以Key-Value的结构形式写入数据；而当索引区在磁盘区域中时，磁盘中的数据掉电后不会丢失，那么数据区中N个数据项中的每一个数据项可以仅包括与键对应的数据，当然，也可以同时包括键，对此本申请不做限制。
接下来，在写入N个数据项之后，还需要将N个数据项的索引项写入索 引区，因此，在本申请实施例中，还包括：
将所述N个数据项中，键类型相同的M个数据项的M个索引项写入所述目标索引区，其中，所述M个数据项中的每个数据项对应所述M个索引项中的一个索引项，所述M个索引项包括所述目标索引项。
首先，2≤M≤N，且M为整数，例如当N为100时，M可以为2到100间的任一整数，2、50或100都可以，对于M个取值，本申请同样不做限制。
进一步，为了提高数据处理的效率，避免遍历整个索引区，在本申请实施例中，将键类型相同的M个数据项的M个索引项写入目标索引区，其中，M个数据项中的每个数据项对应M个索引项中的一个索引项。换言之，键类型相同的M个KV数据对应的M个索引项写入能够连续遍历的目标索引区，那么，如果确认了目标键的键类型后，就可以直接在对应的目标索引区内进行遍历，而不再需要遍历整个索引区。
具体来讲，每一个索引项均包括键Key和对应数据项在数据区中的偏移量。其中，键Key用于标识通过该索引项索引到的数据具体为哪个键的数据，而偏移量则用于表示对应数据在数据区中的偏移地址，根据偏移量可以找到键Key对应的数据位置。
举例来说明，假设以第一种分配索引区的方式为即将存入的键类型为type1和type2的KV数据分配索引区，且索引区在内存区域中。如图4所示，首先为键类型为type1的数据分配索引区1，索引区1中包括5个单元。在连续的区域内，为键类型为type2的数据分配索引区2，索引区2中包括3个单元。接着，在数据区中存入两种类型的数据项，由于索引区在内存区域中，因此存入的数据项需包括键和对应的数据。其中，图4中的索引项Key1+offset1(type1)表示第一个键和第一个键对应的数据在数据区中的偏移量，且Key1的键类型为type1，而对应的数据项Key1-Value1则表示第一个键以及对应的数据，其他数据项和索引项表示的含义也类似，在此就不一一赘述了。
以存储介质为IP硬盘为例，假设写入的数据项一共为7个，其中，键类 型为type1的包括4个，键类型为type2的包括3个。写入数据后，再将键类型相同的索引项，即键和偏移量写入对应的索引区1或索引区2中。
再举另一个例子来说明，假设以第二种分配索引区的方式分配索引区，且索引区在磁盘区域中。如图5所示，写入的第1个键Key1的键类型为type1，对应的数据为Value1，那么在索引区中分配索引的元数据为0的索引块，并将索引项Key1+offset1写入索引块0中的第一个单元，写入的第2个键Key2的键类型为type2，对应的数据为Value2，那么在索引区中分配索引的元数据为1的索引块，并将索引项Key2+offset2写入索引块1中的第一个单元，写入的第3个键Key3的键类型为type1，对应的数据为Value3，为了节约空间资源，将索引项Key3+offset3写入索引块0中的第二个单元即可。后续数据中，键Key4和Key7的键类型为type1，对应的数据为Value4和Value7，Key5和Key6的键类型为type2，对应的数据为Value5和Value6，以同样的方式将索引项写入索引区。每个索引块能够写入3个索引项。最后，记录type1的索引项在索引块0和索引块2中，而type2的索引项在索引块1。
在本申请实施例中，分配目标索引区以及写入N个数据项均在S101之前执行，但在具体实现过程中，可以先分配目标索引区，再写入N个数据项，如第一种分配目标索引区的方法，也可以先写入N个数据项，再分配目标索引区，本申请不做限制。但是无论是哪种实施方式，在实施前，均需要初始化存储设备。
由以上描述可以看出，在本申请实施例中，由于将键类型相同的至少一个键的索引项写入连续的区域，从而使得在遍历相同类型的KV数据时，不再需要遍历整个索引区，有利于提高数据处理能力。
下面对S101到S104进行介绍。
首先，执行S101，获得目标键。
在本申请实施例中，用户通过对应用层的操作来选择或输入目标键，接着应用层将目标键传入存储介质。
接着执行S102：确定所述目标键所属于的键类型，并确定所述目标键的键类型对应的目标索引区。
由于在本申请实施例中，已经将与目标键的键类型相同的KV数据的索引项写入了连续的索引区，因此，为了快速获得目标键对应的数据，需要确定出目标键的键类型所对应的目标索引区。
接下来执行S103：通过查询所述目标索引区，获取所述目标键的目标索引项，就可以获得需要的数据。
在上述描述中，与现在技术相比，不再需要遍历整个索引区来获取目标索引项，而仅需要在目标索引区的相同键类型的多个索引项中遍历即可获取目标索引项。
最后，执行S104：根据所述目标索引项，获得数据区中与所述目标键对应的数据。
目标索引项中包括目标键和对应数据在数据区内的偏移量，因此，当获取到目标索引项后，根据目标索引项中的偏移量，就可以确定对应数据在数据区内的位置，从而获取对应的数据。
下面通过几个具体实施例描述本申请数据处理的完整步骤。
例1，请参考图6a，假设用户需要查找存储介质中关于Jobs Steven的资料，那么具体执行步骤如下：
S201：获得应用层传入的目标键“Steven Jobs”。
S202：确定目标键“Steven Jobs”的键类型对应的目标索引区为内存索引区中的索引的元数据为12、13、16的索引块。
S203：通过查询目标索引区，获取目标键的目标索引项“Steven Jobs：offset(673E)”。
S203中获取“Steven Jobs：offset(673E)”表示键为Steven Jobs，对应的数据项的偏移量为673E。
S204：根据目标索引项中的偏移量673E读取目标键“Steven Jobs”对应 的数据“You can search http://zh.wikipedia.org/wiki/Steven Jobs”。
接下来存储介质可以将数据项传入应用层提供给用户，以便用户通过链接网页http://zh.wikipedia.org/wiki/Steven Jobs搜索到需要的资料。存储介质也可以直接通知连接的电子设备链接网页http://zh.wikipedia.org/wiki/Steven Jobs，然后由连接的电子设备将网页呈现给用户。
例2，请参考图6b，假设用户需要查找存储介质中同事组成员的手机号，那么具体执行步骤如下：
S301：获得应用层传入的键类型“colleagues”。
S302：确定键类型“colleagues”对应的目标索引区。
S303：遍历键类型“colleagues”对应的目标索引区，并根据目标索引区中的索引项依次读取对应的每一个数据项。
S304：将依次读取到的数据项传入应用层。
具体来说，在向应用层传入数据时，根据用户的需求来传输数据，例如用户仅需要手机号，那么仅将遍历读取到的手机号传入应用层，如用户需要浏览查看同事组的成员以及手机号，那么就需要将键，即成员名称一起传入应用层。
例3，请参考图6c，假设用户需要删除存储设备中同事组成员“张三”的手机号，那么具体执行步骤如下：
S401：获得应用层传入的目标键“张三”。
S402：确定目标键“张三”的键类型“colleagues”对应的目标索引区。
S403：查询键类型“colleagues”对应的目标索引区，获取目标键“张三”对应的目标索引项。
S404：根据目标索引项中的偏移量读取目标键“张三”对应的数据“180********”。
S405：删除数据“180********”。
S406：删除目标键“张三”对应的目标索引项。
实施例二：
请参考图7，本申请实施例提供了一种数据处理装置，包括：
获得单元101，用于获得目标键；
确定单元102，用于确定所述目标键所属于的键类型，并确定所述目标键的键类型对应的目标索引区；
获取单元103，用于通过查询所述目标索引区，获取所述目标键的目标索引项；
数据获得单元104，用于根据所述目标索引项，获得数据区中与所述目标键对应的数据。
进一步，本申请实施例中的数据处理装置还可以包括：
分配单元，用于在所述获得单元获得目标键之前，为与所述键类型相同的至少一个键分配包含所述目标索引区。
数据写入单元，用于在获得单元获得目标键之前，在所述数据区中写入N个数据项，N为正整数。
索引写入单元，用于在所述数据写入单元在所述数据区中写入N个数据项之后，将所述N个数据项中，键类型相同的M个数据项的M个索引项写入所述目标索引区，其中，所述M个数据项中的每个数据项对应所述M个索引项中的一个索引项，所述M个索引项包括所述目标索引项，2≤M≤N，且M为整数。
在具体实现过程中，由于IP硬盘中包括磁盘区域和内存区域，因此目标索引区可以在IP硬盘中的内存区域，也可以在IP硬盘中的磁盘区域中分配一段区域作为索引区，本申请所属技术人员可以根据实际需要来进行设置，本申请不作具体的限制。
由于本实施例二与实施例一基于同一发明构思，因此重复之处就不再一一赘述了。
实施例三：
本申请实施例提供一种存储设备。图8所示的存储设备涉及到的术语的含 义以及具体实现，可以参考前述图1至图7以及实施例的相关描述。
请参考图8所示，该存储设备包括：
接口201，用于获得目标键；
处理器202，用于确定所述目标键所属于的键类型，并确定所述目标键的键类型对应的目标索引区；通过查询所述目标索引区，获取所述目标键的目标索引项；根据所述目标索引项，获得数据区中与所述目标键对应的数据。
可选的，处理器202还用于：
在所述获得目标键之前，为与所述键类型相同的至少一个键分配所述目标索引区。
可选的，处理器202还用于：
在所述获得目标键之前，在所述数据区中写入N个数据项，N为正整数。
可选的，处理器202还用于：
在所述数据区中写入N个数据项之后，将所述N个数据项中键类型相同的M个数据项的M个索引项写入所述目标索引区，其中，所述M个数据项中的每个数据项对应所述M个索引项中的一个索引项，所述M个索引项包括所述目标索引项，2≤M≤N，且M为整数。
进一步，本申请实施例中的存储设备还包括磁盘203，用于存储数据。存储设备还包括内存204，用于暂时存放处理器202的运算数据，以及与磁盘203或外部存储器的交换数据。
在具体实现过程中，目标索引区可以在存储设备中的内存204，也可以在磁盘203中分配的区域中。本申请所属技术人员可以根据实际需要来进行设置，本申请不作具体的限制。
其中，在图8中，总线架构(用总线200来代表)，总线200可以包括任意数量的互联的总线和桥，总线200将包括由处理器202代表的一个或多个处理器、接口201代表的一个或多个接口、磁盘203以及内存204链接在一起。总线200还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电 路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。
在具体实现过程中，接口201可以SAS接口，SATA接口或以太网接口等。当存储设备具体为IP硬盘时，接口201具体为以太网接口，通过以太网协议实现存储设备与其他外部设备、网络或应用交互数据。
处理器201负责管理总线200和通常的处理，而内存204可以被用于存储处理器202在执行操作时所使用的数据。
前述实施例中描述的数据处理执行过程的各种变化方式和具体实例同样适用于本实施例的存储设备，通过前述对数据处理方法和数据处理装置执行过程的详细描述，本领域技术人员可以清楚的知道本实施例中存储设备的实施方法，所以为了说明书的简洁，在此不再详述。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
首先获得目标键；接着确定所述目标键所属于的键类型，并确定所述目标键的键类型对应的目标索引区；然后通过查询所述目标索引区，获取所述目标键的目标索引项；最后根据所述目标索引项，获得数据区中与所述目标键对应的数据。因此，在本申请的实施例中，在获得了目标键后，根据目标键的键类型，在对应的目标索引区中查询获得目标索引项，最后根据目标索引项在数据区中获得需要的数据。所以，在本申请提供的技术方案中，将遍历范围缩小至一个键类型的目标索引区，避免了遍历整个索引区寻找目标索引项，有利于提高数据处理的效率和降低系统资源的耗费。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

  1. 一种数据处理方法，应用于存储介质，所述存储介质存储有多个键以及各个键Key对应的值Value，其特征在于，包括：
    获得目标键；
    确定所述目标键所属于的键类型，并确定所述目标键的键类型对应的目标索引区；
    通过查询所述目标索引区，获取所述目标键的目标索引项；
    根据所述目标索引项，获得数据区中与所述目标键对应的数据。
  2. 如权利要求1所述的方法，其特征在于，在所述获得目标键之前，所述方法还包括：
    为与所述键类型相同的至少一个键分配所述目标索引区。
  3. 如权利要求1或2所述的方法，其特征在于，在所述获得目标键之前，所述方法还包括：
    在所述数据区中写入N个数据项，N为正整数。
  4. 如权利要求3所述的方法，其特征在于，在所述数据区中写入N个数据项之后，所述方法还包括：
    将所述N个数据项中，键类型相同的M个数据项的M个索引项写入所述目标索引区，其中，所述M个数据项中的每个数据项对应所述M个索引项中的一个索引项，所述M个索引项包括所述目标索引项，2≤M≤N，且M为整数。
  5. 如权利要求1-4任一项所述的方法，其特征在于，所述目标索引区在IP硬盘的内存区域中，或在IP硬盘的磁盘区域中。
  6. 一种数据处理装置，其特征在于，包括：
    获得单元，用于获得目标键；
    确定单元，用于确定所述目标键所属于的键类型，并确定所述目标键的键类型对应的目标索引区；
    获取单元，用于通过查询所述目标索引区，获取所述目标键的目标索引项；
    数据获得单元，用于根据所述目标索引项，获得数据区中与所述目标键对应的数据。
  7. 如权利要求6所述的装置，其特征在于，所述设备还包括：
    分配单元，用于在所述获得单元获得目标键之前，为与所述键类型相同的至少一个键分配包含所述目标索引区。
  8. 如权利要求6或7所述的装置，其特征在于，所述设备还包括：
    数据写入单元，用于在获得单元获得目标键之前，在所述数据区中写入N个数据项，N为正整数。
  9. 如权利要求8所述的装置，其特征在于，所述设备还包括：
    索引写入单元，用于在所述数据写入单元在所述数据区中写入N个数据项之后，将所述N个数据项中，键类型相同的M个数据项的M个索引项写入所述目标索引区，其中，所述M个数据项中的每个数据项对应所述M个索引项中的一个索引项，所述M个索引项包括所述目标索引项，2≤M≤N，且M为整数。
  10. 如权利要求6-9任一项所述的装置，其特征在于，所述目标索引区在IP硬盘的内存区域中，或在IP硬盘的磁盘区域中。
PCT/CN2015/087380 2014-08-19 2015-08-18 一种数据处理方法和数据处理装置 WO2016026433A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410410610.9A CN104182508B (zh) 2014-08-19 2014-08-19 一种数据处理方法和数据处理装置
CN201410410610.9 2014-08-19

Publications (1)

Publication Number Publication Date
WO2016026433A1 true WO2016026433A1 (zh) 2016-02-25

Family

ID=51963547

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/087380 WO2016026433A1 (zh) 2014-08-19 2015-08-18 一种数据处理方法和数据处理装置

Country Status (2)

Country Link
CN (1) CN104182508B (zh)
WO (1) WO2016026433A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114489494A (zh) * 2022-01-13 2022-05-13 深圳欣锐科技股份有限公司 一种外部存储器存储配置参数的存储方法及相关设备

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182508B (zh) * 2014-08-19 2018-10-30 华为技术有限公司 一种数据处理方法和数据处理装置
CN105389190B (zh) * 2015-12-08 2019-05-24 华为技术有限公司 一种操作系统启动的方法、装置及系统
EP3279810B1 (en) * 2016-06-14 2019-09-04 Huawei Technologies Co., Ltd. Data access method and related apparatus and system
CN108052290A (zh) 2017-12-13 2018-05-18 北京百度网讯科技有限公司 用于存储数据的方法和装置
CN108255958B (zh) * 2017-12-21 2022-05-03 百度在线网络技术（北京）有限公司 数据查询方法、装置和存储介质
CN110083416B (zh) * 2019-03-25 2021-10-15 华为技术有限公司 一种资源加载的方法和装置
CN109947709B (zh) * 2019-04-02 2021-10-08 北京百度网讯科技有限公司 数据存储方法和装置
CN110069452B (zh) * 2019-04-26 2020-04-03 北京字节跳动网络技术有限公司 数据存储方法、装置和计算机可读存储介质
CN110262755A (zh) * 2019-06-20 2019-09-20 福建北峰通信科技股份有限公司 一种嵌入式系统的文件存储方法
CN111782732A (zh) * 2020-07-21 2020-10-16 深圳市腾讯网域计算机网络有限公司 一种数据处理方法、装置及计算机可读存储介质
CN113268200B (zh) * 2021-04-27 2023-07-14 北京控制工程研究所 一种基于流机制的航天器安全关键数据高效存储方法
CN117149777B (zh) * 2023-10-27 2024-02-06 腾讯科技（深圳）有限公司 一种数据查询方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049390A (zh) * 2012-12-14 2013-04-17 华为技术有限公司 应用元数据的数据处理方法及存储系统
CN103294710A (zh) * 2012-02-28 2013-09-11 北京新媒传信科技有限公司 一种数据存取方法和装置
CN103593477A (zh) * 2013-11-29 2014-02-19 华为技术有限公司 一种哈希数据库的配置方法和装置
CN104182508A (zh) * 2014-08-19 2014-12-03 华为技术有限公司 一种数据处理方法和数据处理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102122285B (zh) * 2010-01-11 2012-10-31 卓望数码技术（深圳）有限公司 一种数据缓存系统中的数据查询系统和数据查询方法
WO2013044502A1 (zh) * 2011-09-30 2013-04-04 华为技术有限公司 数据管理的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294710A (zh) * 2012-02-28 2013-09-11 北京新媒传信科技有限公司 一种数据存取方法和装置
CN103049390A (zh) * 2012-12-14 2013-04-17 华为技术有限公司 应用元数据的数据处理方法及存储系统
CN103593477A (zh) * 2013-11-29 2014-02-19 华为技术有限公司 一种哈希数据库的配置方法和装置
CN104182508A (zh) * 2014-08-19 2014-12-03 华为技术有限公司 一种数据处理方法和数据处理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114489494A (zh) * 2022-01-13 2022-05-13 深圳欣锐科技股份有限公司 一种外部存储器存储配置参数的存储方法及相关设备

Also Published As

Publication number Publication date
CN104182508B (zh) 2018-10-30
CN104182508A (zh) 2014-12-03

Similar Documents

Publication Publication Date Title
WO2016026433A1 (zh) 一种数据处理方法和数据处理装置
US10496613B2 (en) Method for processing input/output request, host, server, and virtual machine
WO2017107414A1 (zh) 文件操作方法和装置
EP2851807B1 (en) Method and system for supporting resource isolation under multi-core architecture
EP2891051B1 (en) Block-level access to parallel storage
US9665485B2 (en) Logical and physical block addressing for efficiently storing data to improve access speed in a data deduplication system
US9092365B2 (en) Splitting direct memory access windows
JP2014530394A (ja) 不揮発性記憶装置セットの揮発メモリ表現
WO2015021755A1 (zh) 一种数据存储的方法及装置
WO2014101420A1 (zh) 一种元数据的构建系统及其方法
US11797494B2 (en) Snapshot management in distributed file systems
WO2014089828A1 (zh) 访问存储设备的方法和存储设备
TWI656443B (zh) 用於管理硬體協助資料壓縮之記憶體片段儲存之方法及裝置
CN105302536A (zh) MapReduce应用的相关参数的配置方法和装置
US9104601B2 (en) Merging direct memory access windows
US10326826B1 (en) Migrating an on premises workload to a web services platform
CN108304142A (zh) 一种数据管理方法和装置
US11093350B2 (en) Method and system for an optimized backup data transfer mechanism
WO2014108935A1 (en) Data storage system, method of controlling a data storage system and management system for a data storage system
WO2020219810A1 (en) Intra-device notational data movement system
US11334496B2 (en) Method and system for providing processor-addressable persistent memory to guest operating systems in a storage system
US10809927B1 (en) Online conversion of storage layout
TWI696068B (zh) 用於提供高效功率檔案系統操作至一非揮發性區塊記憶體之系統及方法
US20180011661A1 (en) Data locality in a hyperconverged computing system
WO2016082560A1 (zh) 一种检测键的方法和服务器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15833940

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15833940

Country of ref document: EP

Kind code of ref document: A1