WO2019033368A1 - 数据存储方法及装置 - Google Patents

数据存储方法及装置 Download PDF

Info

Publication number
WO2019033368A1
WO2019033368A1 PCT/CN2017/097936 CN2017097936W WO2019033368A1 WO 2019033368 A1 WO2019033368 A1 WO 2019033368A1 CN 2017097936 W CN2017097936 W CN 2017097936W WO 2019033368 A1 WO2019033368 A1 WO 2019033368A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
network
network unit
server
unit data
Prior art date
Application number
PCT/CN2017/097936
Other languages
English (en)
French (fr)
Inventor
叶胡星
Original Assignee
深圳市优品壹电子有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市优品壹电子有限公司 filed Critical 深圳市优品壹电子有限公司
Priority to PCT/CN2017/097936 priority Critical patent/WO2019033368A1/zh
Publication of WO2019033368A1 publication Critical patent/WO2019033368A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]

Definitions

  • the present invention relates to the field of communications technologies, and in particular, to a data storage method and apparatus.
  • Embodiments of the present invention provide a data storage method and apparatus, which can improve storage performance of a network node.
  • an embodiment of the present invention provides a data storage method, including:
  • the network server performs data slicing on the network data that needs to be transmitted to obtain a network unit data set, where the network unit data set includes at least one network unit data;
  • the network server respectively generates data identifiers of the respective network unit data based on locations of the respective network unit data in the network data;
  • the network server sends at least one network unit data in the network unit data set and its data identifier to one micro server in the micro server cluster until all network unit data included in the network unit data set is transmitted.
  • the network server performs data slicing on the network data that needs to be transmitted, and obtains a network unit data set, including:
  • the network server slices the network data based on the number of the micro servers to obtain the network element data set.
  • the network server sends the at least one network unit data in the network unit data set and the data identifier thereof to a micro server in the micro server cluster, including:
  • the network server sends at least one network unit data and the data identifier of the network unit data set to a micro server with a large storage space.
  • the network server sends the at least one network unit data in the network unit data set and the data identifier thereof to a micro server in the micro server cluster, including:
  • the network server sends at least one network unit data and the data identifier of the network unit data set to a micro server with a lower CPU usage.
  • the network server sends the at least one network unit data in the network unit data set and the data identifier thereof to a micro server in the micro server cluster, including:
  • the network server sends at least one network unit data and the data identifier of the network unit data set to a micro server with a higher data transmission rate.
  • an embodiment of the present invention provides a data storage device, where the device includes:
  • a data slicing module configured to perform data slicing on the network data that needs to be transmitted, to obtain a network unit data set, where the network unit data set includes at least one network unit data;
  • a data identifier generating module configured to respectively generate data identifiers of each of the network unit data based on locations of the network unit data in the network data;
  • a data sending module configured to send at least one network unit data in the network unit data set and the data identifier thereof to one micro server in the micro server cluster, until all network unit data transmissions included in the network unit data set are transmitted Finished.
  • the data slicing module is specifically configured to:
  • the network data is sliced based on the number of the micro servers to obtain the network element data set.
  • the data sending module is specifically configured to:
  • the data sending module is specifically configured to:
  • the data sending module is specifically configured to:
  • an embodiment of the present invention provides a network server, including a processor, an input device, an output device, and a memory, where the processor, the input device, the output device, and the memory are connected to each other, wherein the The memory is for storing a computer program, the computer program comprising program instructions, the processor being configured to invoke the program instructions to perform the method of the first aspect.
  • an embodiment of the present invention provides a computer readable storage medium, wherein the computer storage medium stores a computer program, where the computer program includes program instructions, when the program instructions are executed by a processor.
  • the processor is caused to perform the method as described in the first aspect.
  • the network server performs data slicing on the network data that needs to be transmitted to obtain a network unit data set, where the network unit data set includes at least one network unit data; and each of the network unit data is generated based on the location of each network unit data in the network data.
  • Data identifier of the network unit data sending at least one network unit data and its data identifier in the network unit data set to one micro server in the micro server cluster until all network unit data included in the network unit data set is transmitted, Improve the storage performance of network nodes.
  • FIG. 1 is a schematic flowchart of a data storage method according to an embodiment of the present invention.
  • FIG. 2 is a schematic structural diagram of a data storage device according to an embodiment of the present invention.
  • FIG. 3 is a schematic structural diagram of a network server according to an embodiment of the present invention.
  • FIG. 4 is a schematic structural diagram of a data storage system according to an embodiment of the present invention.
  • FIG. 1 is a schematic flowchart of a data storage method according to an embodiment of the present invention. As shown in FIG. 1 , the method includes the following steps:
  • Step 101 The network server performs data slicing on the network data that needs to be transmitted to obtain a network unit data set, where the network unit data set includes at least one network unit data.
  • the network server may obtain the number of micro servers included in the micro server cluster, and slice the network data according to the number of the micro servers to obtain the network unit data set.
  • Step 102 The network server separately generates data identifiers of each of the network unit data based on locations of the network unit data in the network data.
  • Step 103 The network server sends at least one network unit data in the network unit data set and its data identifier to one micro server in the micro server cluster, until all network unit data included in the network unit data set is received. The transfer is complete.
  • the network server may obtain the current storage space of each micro server included in the micro server cluster; send at least one network unit data and the data identifier in the network unit data set to the micro storage space server.
  • the network server may obtain the current CPU usage of each micro server included in the micro server cluster; and send at least one network unit data and the data identifier in the network unit data set to a lower CPU usage rate.
  • Micro server may obtain the current CPU usage of each micro server included in the micro server cluster; and send at least one network unit data and the data identifier in the network unit data set to a lower CPU usage rate.
  • the network server may obtain a current data transmission rate of each micro server included in the micro server cluster; and send at least one network unit data and the data identifier in the network unit data set to a higher data transmission rate.
  • Micro server may obtain a current data transmission rate of each micro server included in the micro server cluster; and send at least one network unit data and the data identifier in the network unit data set to a higher data transmission rate.
  • the network server performs data slicing on the network data that needs to be transmitted to obtain a network unit data set, where the network unit data set includes at least one network unit data; and each of the network unit data is generated based on the location of each network unit data in the network data.
  • Data identifier of the network unit data sending at least one network unit data and its data identifier in the network unit data set to one micro server in the micro server cluster until all network unit data included in the network unit data set is transmitted, Improve the storage performance of network nodes.
  • FIG. 2 is a schematic structural diagram of a data storage device according to an embodiment of the present invention. As shown in FIG. 2, the method includes:
  • a data slicing module 201 configured to perform data slicing on the network data that needs to be transmitted, to obtain a network unit data set, where the network unit data set includes at least one network unit data;
  • the data identifier generating module 202 is configured to separately generate data identifiers of each of the network unit data based on locations of the network unit data in the network data;
  • the data sending module 203 is configured to send at least one network unit data in the network unit data set and the data identifier thereof to one micro server in the micro server cluster, until all network unit data included in the network unit data set The transfer is complete.
  • the data slicing module 201 is specifically configured to:
  • the network data is sliced based on the number of the micro servers to obtain the network element data set.
  • the data sending module 203 is specifically configured to:
  • Transmitting at least one network element data and its data identifier in the network element data set Give a micro server with a large storage space.
  • the data sending module 203 is specifically configured to:
  • the data sending module 203 is specifically configured to:
  • the data slicing module 201 performs data slicing on the network data to be transmitted to obtain a network unit data set, where the network unit data set includes at least one network unit data; and the data identifier generating module 202 is based on each of the network units. Data location of the data in the network data, respectively generating a data identifier of each of the network unit data; the data sending module 203 sends at least one network unit data and the data identifier of the network unit data set to the micro server cluster A micro server can improve the storage performance of the network node until the data transmission of all network elements included in the network unit data set is completed.
  • FIG. 3 is a structural diagram of another network server according to an embodiment of the present invention.
  • the network server includes a processor 301, a memory 302, a network interface 304, and a user interface 303.
  • the various components in the network server are coupled together by a bus system 305.
  • the bus system 305 includes a power bus, a control bus, and a status signal bus in addition to the data bus.
  • various buses are labeled as bus system 305 in FIG.
  • the user interface 303 may include a display, a keyboard, or a pointing device (eg, a mouse, a track ball, a touch pad, or a touch screen, etc.).
  • a pointing device eg, a mouse, a track ball, a touch pad, or a touch screen, etc.
  • the memory 302 in the embodiments of the present invention may be a volatile memory or a non-volatile memory, or may include both volatile and non-volatile memory.
  • the non-volatile memory may be a read-only memory (ROM), a programmable read only memory (PROM), an erasable programmable read only memory (Erasable PROM, EPROM), or an electric Erase programmable read only memory (EEPROM) or flash memory.
  • Volatile memory It is a random access memory (RAM), which is used as an external cache.
  • RAM random access memory
  • RAM random access memory
  • SRAM static random access memory
  • DRAM dynamic random access memory
  • Synchronous DRAM synchronous dynamic random access memory
  • SDRAM Double Data Rate Synchronous Dynamic Random Access Memory
  • DDRSDRAM Double Data Rate Synchronous Dynamic Random Access Memory
  • ESDRAM Enhanced Synchronous Dynamic Random Access Memory
  • SDRAM Synchronous Connection Dynamic Random Access Memory
  • DRRAM direct memory bus random access memory
  • memory 302 stores elements, executable modules or data structures, or a subset thereof, or their extended set: operating system 3021 and application 3022.
  • the operating system 3021 includes various system programs, such as a framework layer, a core library layer, a driver layer, and the like, for implementing various basic services and processing hardware-based tasks.
  • the application 3022 includes various applications, such as a media player (Media Player), a browser, and the like, for implementing various application services.
  • a program implementing the method of the embodiment of the present invention may be included in the application 3022.
  • the program or instruction stored in the memory 302 is specifically a program or an instruction stored in the application 3022.
  • the processor 301 is configured to:
  • the processor 301 performs data slicing on the network data that needs to be transmitted to obtain a network unit data set, which may be:
  • the network data is sliced based on the number of the micro servers, and the number of the network units is obtained. According to the collection.
  • the processor 301 sends the at least one network unit data and the data identifier of the network unit data set to a micro server in the micro server cluster, which may be:
  • the processor 301 sends the at least one network unit data and the data identifier of the network unit data set to a micro server in the micro server cluster, which may be:
  • the processor 301 sends the at least one network unit data and the data identifier of the network unit data set to a micro server in the micro server cluster, which may be:
  • Processor 301 may be an integrated circuit chip with signal processing capabilities. In the implementation process, each step of the foregoing method may be completed by an integrated logic circuit of hardware in the processor 301 or an instruction in a form of software.
  • the processor 301 may be a general-purpose processor, a digital signal processor (DSP), an application specific integrated circuit (ASIC), a field programmable gate array (FPGA), or the like. Programmable logic devices, discrete gates or transistor logic devices, discrete hardware components.
  • DSP digital signal processor
  • ASIC application specific integrated circuit
  • FPGA field programmable gate array
  • the general purpose processor may be a microprocessor or the processor or any conventional processor or the like.
  • the steps of the method disclosed in the embodiments of the present invention may be directly implemented by the hardware decoding processor, or may be performed by a combination of hardware and software modules in the decoding processor.
  • the software module can be located in a conventional storage medium such as random access memory, flash memory, read only memory, programmable read only memory or electrically erasable programmable memory, registers, and the like.
  • the storage medium is located in the memory 302, and the processor 301 reads the storage.
  • the information in the device 302, in conjunction with its hardware, performs the steps of the above method.
  • the embodiments described herein can be implemented in hardware, software, firmware, middleware, microcode, or a combination thereof.
  • the processing unit can be implemented in one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processing (DSP), Digital Signal Processing Equipment (DSP Device, DSPD), programmable Programmable Logic Device (PLD), Field-Programmable Gate Array (FPGA), general purpose processor, controller, microcontroller, microprocessor, other for performing the functions described herein In an electronic unit or a combination thereof.
  • ASICs Application Specific Integrated Circuits
  • DSP Digital Signal Processing
  • DSP Device Digital Signal Processing Equipment
  • PLD programmable Programmable Logic Device
  • FPGA Field-Programmable Gate Array
  • the techniques described herein can be implemented by modules (eg, procedures, functions, and so on) that perform the functions described herein.
  • the software code can be stored in memory and executed by the processor.
  • the memory can be implemented in the processor or external to the processor.
  • FIG. 4 is a schematic block diagram of a data storage system according to an embodiment of the present invention.
  • the network server 401 performs data slicing on the network data that needs to be transmitted to obtain a network unit data set, where the network unit data set includes at least one network unit data;
  • the network server 401 respectively generates data identifiers of the respective network unit data based on locations of the respective network unit data in the network data;
  • the network server 401 sends at least one network unit data in the network unit data set and its data identifier to one micro server 402 in the micro server cluster until all network unit data transmissions included in the network unit data set are transmitted. Finished.
  • the network server 401 performs data slicing on the network data that needs to be transmitted to obtain a network unit data set, including:
  • the network server 401 acquires the number of micro servers included in the micro server cluster
  • the network server 401 slices the network data based on the number of the micro servers to obtain the network element data set.
  • the network server 401 sends the at least one network unit data in the network unit data set and the data identifier thereof to one of the micro server clusters, including:
  • the network server 401 acquires a current storage space of each micro server 402 included in the micro server cluster;
  • the network server 401 sends at least one network unit data and its data identifier in the network unit data set to the micro server 402 with a large storage space.
  • the network server 401 sends the at least one network unit data in the network unit data set and the data identifier thereof to one of the micro server clusters, including:
  • the network server 401 acquires a current CPU usage rate of each micro server 402 included in the micro server cluster;
  • the network server 401 sends at least one network unit data in the network unit data set and its data identifier to the micro server 402 with a lower CPU usage.
  • the network server 401 sends the at least one network unit data in the network unit data set and the data identifier thereof to one of the micro server clusters, including:
  • the network server 401 acquires a current data transmission rate of each micro server 402 included in the micro server cluster;
  • the network server 401 sends at least one network unit data and its data identifier in the network unit data set to the micro server 402 with a higher data transmission rate.
  • the disclosed apparatus and method may be implemented in other manners.
  • the device embodiments described above are merely illustrative.
  • the division of the unit is only a logical function division.
  • there may be another division manner for example, multiple units or components may be combined or Can be integrated into another system, or some features can be ignored or not executed.
  • Another point, the mutual coupling or direct coupling or communication shown or discussed The letter connection can be an indirect coupling or communication connection through some interface, device or unit, and can be in electrical, mechanical or other form.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the embodiments of the present invention.
  • each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the functions may be stored in a computer readable storage medium if implemented in the form of a software functional unit and sold or used as a standalone product.
  • the technical solution of the present invention which is essential or contributes to the prior art, or a part of the technical solution, may be embodied in the form of a software product, which is stored in a storage medium, including
  • the instructions are used to cause a computer device (which may be a personal computer, server, or network device, etc.) to perform all or part of the steps of the methods described in various embodiments of the present invention.
  • the foregoing storage medium includes various media that can store program codes, such as a USB flash drive, a mobile hard disk, a ROM, a RAM, a magnetic disk, or an optical disk.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例提供数据存储方法及装置，该方法包括：网络服务器将需要传输的网络数据进行数据切片，得到网络单元数据集合，所述网络单元数据集合包括至少一个网络单元数据；所述网络服务器基于各个所述网络单元数据在所述网络数据中的位置，分别生成各个所述网络单元数据的数据标识；所述网络服务器将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给微服务器集群中的一个微服务器，直至所述网络单元数据集合所包含的所有网络单元数据传输完毕。采用本发明实施例，可提高网络节点的存储性能。

Description

数据存储方法及装置 技术领域
本发明涉及通信技术领域，尤其涉及数据存储方法及装置。
背景技术
随着互联网技术的飞跃发展，网络数据的数据量呈爆发式增长，互联网中的任一网络节点需要存储大量的网络数据，这对网络节点的存储性能提出了更高的需求。而传统的网络节点的存储空间有限，无法存储数据量呈爆发式增长的网络数据，因此，如何提高网络节点的存储性能是当前亟需解决的技术问题。
发明内容
本发明实施例提供数据存储方法及装置，可提高网络节点的存储性能。
第一方面，本发明实施例提供一种数据存储方法，包括：
网络服务器将需要传输的网络数据进行数据切片，得到网络单元数据集合，所述网络单元数据集合包括至少一个网络单元数据；
所述网络服务器基于各个所述网络单元数据在所述网络数据中的位置，分别生成各个所述网络单元数据的数据标识；
所述网络服务器将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给微服务器集群中的一个微服务器，直至所述网络单元数据集合所包含的所有网络单元数据传输完毕。
可选的，网络服务器将需要传输的网络数据进行数据切片，得到网络单元数据集合，包括：
所述网络服务器获取所述微服务器集群所包含的微服务器数量；
所述网络服务器基于所述微服务器数量，对所述网络数据进行切片，得到所述网络单元数据集合。
可选的，网络服务器将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给微服务器集群中的一个微服务器，包括：
所述网络服务器获取所述微服务器集群所包含的各个微服务器当前的存 储空间；
所述网络服务器将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给存储空间较大的微服务器。
可选的，网络服务器将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给微服务器集群中的一个微服务器，包括：
所述网络服务器获取所述微服务器集群所包含的各个微服务器当前的CPU使用率；
所述网络服务器将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给CPU使用率较低的微服务器。
可选的，所述网络服务器将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给微服务器集群中的一个微服务器，包括：
所述网络服务器获取所述微服务器集群所包含的各个微服务器当前的数据传输速率；
所述网络服务器将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给数据传输速率较高的微服务器。
第二方面，本发明实施例提供一种数据存储装置，所述装置包括：
数据切片模块，用于将需要传输的网络数据进行数据切片，得到网络单元数据集合，所述网络单元数据集合包括至少一个网络单元数据；
数据标识生成模块，用于基于各个所述网络单元数据在所述网络数据中的位置，分别生成各个所述网络单元数据的数据标识；
数据发送模块，用于将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给微服务器集群中的一个微服务器，直至所述网络单元数据集合所包含的所有网络单元数据传输完毕。
可选的，所述数据切片模块，具体用于：
获取所述微服务器集群所包含的微服务器数量；
基于所述微服务器数量，对所述网络数据进行切片，得到所述网络单元数据集合。
可选的，所述数据发送模块，具体用于：
获取所述微服务器集群所包含的各个微服务器当前的存储空间；
将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给存储空间较大的微服务器。
可选的，所述数据发送模块，具体用于：
获取所述微服务器集群所包含的各个微服务器当前的CPU使用率；
将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给CPU使用率较低的微服务器。
可选的，所述数据发送模块，具体用于：
获取所述微服务器集群所包含的各个微服务器当前的数据传输速率；
将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给数据传输速率较高的微服务器。
第三方面，本发明实施例提供了一种网络服务器，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如第一方面所述的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如第一方面所述的方法。
本发明实施例中，网络服务器将需要传输的网络数据进行数据切片，得到网络单元数据集合，网络单元数据集合包括至少一个网络单元数据；基于各个网络单元数据在网络数据中的位置，分别生成各个网络单元数据的数据标识；将网络单元数据集合中的至少一个网络单元数据及其数据标识发送给微服务器集群中的一个微服务器，直至网络单元数据集合所包含的所有网络单元数据传输完毕，可提高网络节点的存储性能。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据存储方法的流程示意图；
图2是本发明实施例提供的一种数据存储装置的结构示意图；
图3是本发明实施例提供的一种网络服务器的结构示意图；
图4是本发明实施例提供的一种数据存储系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，图1是本发明实施例提供的一种数据存储方法的流程示意图，如图1所示，包括以下步骤：
步骤101、网络服务器将需要传输的网络数据进行数据切片，得到网络单元数据集合，所述网络单元数据集合包括至少一个网络单元数据。
可选的，网络服务器可以获取所述微服务器集群所包含的微服务器数量，基于所述微服务器数量，对所述网络数据进行切片，得到所述网络单元数据集合。
步骤102、所述网络服务器基于各个所述网络单元数据在所述网络数据中的位置，分别生成各个所述网络单元数据的数据标识。
步骤103、所述网络服务器将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给微服务器集群中的一个微服务器，直至所述网络单元数据集合所包含的所有网络单元数据传输完毕。
可选的，网络服务器可以获取所述微服务器集群所包含的各个微服务器当前的存储空间；将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给存储空间较大的微服务器。
可选的，网络服务器可以获取所述微服务器集群所包含的各个微服务器当前的CPU使用率；将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给CPU使用率较低的微服务器。
可选的，网络服务器可以获取所述微服务器集群所包含的各个微服务器当前的数据传输速率；将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给数据传输速率较高的微服务器。
本发明实施例中，网络服务器将需要传输的网络数据进行数据切片，得到网络单元数据集合，网络单元数据集合包括至少一个网络单元数据；基于各个网络单元数据在网络数据中的位置，分别生成各个网络单元数据的数据标识；将网络单元数据集合中的至少一个网络单元数据及其数据标识发送给微服务器集群中的一个微服务器，直至网络单元数据集合所包含的所有网络单元数据传输完毕，可提高网络节点的存储性能。
请参见图2，图2是本发明实施例提供的一种数据存储装置的结构示意图，如图2所示，包括：
数据切片模块201，用于将需要传输的网络数据进行数据切片，得到网络单元数据集合，所述网络单元数据集合包括至少一个网络单元数据；
数据标识生成模块202，用于基于各个所述网络单元数据在所述网络数据中的位置，分别生成各个所述网络单元数据的数据标识；
数据发送模块203，用于将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给微服务器集群中的一个微服务器，直至所述网络单元数据集合所包含的所有网络单元数据传输完毕。
可选的，所述数据切片模块201，具体用于：
获取所述微服务器集群所包含的微服务器数量；
基于所述微服务器数量，对所述网络数据进行切片，得到所述网络单元数据集合。
可选的，所述数据发送模块203，具体用于：
获取所述微服务器集群所包含的各个微服务器当前的存储空间；
将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送 给存储空间较大的微服务器。
可选的，所述数据发送模块203，具体用于：
获取所述微服务器集群所包含的各个微服务器当前的CPU使用率；
将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给CPU使用率较低的微服务器。
可选的，所述数据发送模块203，具体用于：
获取所述微服务器集群所包含的各个微服务器当前的数据传输速率；
将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给数据传输速率较高的微服务器。
本发明实施例中，数据切片模块201将需要传输的网络数据进行数据切片，得到网络单元数据集合，所述网络单元数据集合包括至少一个网络单元数据；数据标识生成模块202基于各个所述网络单元数据在所述网络数据中的位置，分别生成各个所述网络单元数据的数据标识；数据发送模块203将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给微服务器集群中的一个微服务器，直至所述网络单元数据集合所包含的所有网络单元数据传输完毕，可提高网络节点的存储性能。
参见图3，图3是本发明实施例提供的另一种网络服务器的结构图。如图3所示，网络服务器包括：处理器301、存储器302、网络接口304和用户接口303。网络服务器中的各个组件通过总线系统305耦合在一起。总线系统305除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图3中将各种总线都标为总线系统305。
其中，用户接口303可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(track ball)、触感板或者触摸屏等。
可以理解，本发明实施例中的存储器302可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可 以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本文描述的系统和方法的存储器302旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器302存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统3021和应用程序3022。
其中，操作系统3021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序3022，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序3022中。
在本发明实施例中，通过调用存储器302存储的程序或指令，具体的，可以是应用程序3022中存储的程序或指令，处理器301用于：
将需要传输的网络数据进行数据切片，得到网络单元数据集合，所述网络单元数据集合包括至少一个网络单元数据；
基于各个所述网络单元数据在所述网络数据中的位置，分别生成各个所述网络单元数据的数据标识；
将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给微服务器集群中的一个微服务器，直至所述网络单元数据集合所包含的所有网络单元数据传输完毕。
可选的，处理器301将需要传输的网络数据进行数据切片，得到网络单元数据集合，具体可以为：
获取所述微服务器集群所包含的微服务器数量；
基于所述微服务器数量，对所述网络数据进行切片，得到所述网络单元数 据集合。
可选的，处理器301将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给微服务器集群中的一个微服务器，具体可以为：
获取所述微服务器集群所包含的各个微服务器当前的存储空间；
将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给存储空间较大的微服务器。
可选的，处理器301将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给微服务器集群中的一个微服务器，具体可以为：
获取所述微服务器集群所包含的各个微服务器当前的CPU使用率；
将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给CPU使用率较低的微服务器。
可选的，处理器301将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给微服务器集群中的一个微服务器，具体可以为：
获取所述微服务器集群所包含的各个微服务器当前的数据传输速率；
将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给数据传输速率较高的微服务器。
上述本发明实施例揭示的方法可以应用于处理器301中，或者由处理器301实现。处理器301可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器301中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器301可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器302，处理器301读取存储 器302中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable Logic Device，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
请参见图4，为本发明实施例提供的数据存储系统的示意性框图。本实施例中所描述的系统，具体的，如图4所示，本发明实施例的所述系统至少包括网络服务器401和微服务器402，其中：
网络服务器401将需要传输的网络数据进行数据切片，得到网络单元数据集合，所述网络单元数据集合包括至少一个网络单元数据；
所述网络服务器401基于各个所述网络单元数据在所述网络数据中的位置，分别生成各个所述网络单元数据的数据标识；
所述网络服务器401将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给微服务器集群中的一个微服务器402，直至所述网络单元数据集合所包含的所有网络单元数据传输完毕。
可选的，网络服务器401将需要传输的网络数据进行数据切片，得到网络单元数据集合，包括：
所述网络服务器401获取所述微服务器集群所包含的微服务器数量；
所述网络服务器401基于所述微服务器数量，对所述网络数据进行切片，得到所述网络单元数据集合。
可选的，网络服务器401将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给微服务器集群中的一个微服务器402，包括：
所述网络服务器401获取所述微服务器集群所包含的各个微服务器402当前的存储空间；
所述网络服务器401将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给存储空间较大的微服务器402。
可选的，网络服务器401将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给微服务器集群中的一个微服务器402，包括：
所述网络服务器401获取所述微服务器集群所包含的各个微服务器402当前的CPU使用率；
所述网络服务器401将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给CPU使用率较低的微服务器402。
可选的，所述网络服务器401将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给微服务器集群中的一个微服务器402，包括：
所述网络服务器401获取所述微服务器集群所包含的各个微服务器402当前的数据传输速率；
所述网络服务器401将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给数据传输速率较高的微服务器402。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通 信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

  1. 一种数据存储方法，其特征在于，所述方法包括：
    网络服务器将需要传输的网络数据进行数据切片，得到网络单元数据集合，所述网络单元数据集合包括至少一个网络单元数据；
    所述网络服务器基于各个所述网络单元数据在所述网络数据中的位置，分别生成各个所述网络单元数据的数据标识；
    所述网络服务器将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给微服务器集群中的一个微服务器，直至所述网络单元数据集合所包含的所有网络单元数据传输完毕。
  2. 根据权利要求1所述的方法，其特征在于，所述网络服务器将需要传输的网络数据进行数据切片，得到网络单元数据集合，包括：
    所述网络服务器获取所述微服务器集群所包含的微服务器数量；
    所述网络服务器基于所述微服务器数量，对所述网络数据进行切片，得到所述网络单元数据集合。
  3. 根据权利要求1所述的方法，其特征在于，所述网络服务器将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给微服务器集群中的一个微服务器，包括：
    所述网络服务器获取所述微服务器集群所包含的各个微服务器当前的存储空间；
    所述网络服务器将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给存储空间较大的微服务器。
  4. 根据权利要求1所述的方法，其特征在于，所述网络服务器将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给微服务器集群中的一个微服务器，包括：
    所述网络服务器获取所述微服务器集群所包含的各个微服务器当前的CPU使用率；
    所述网络服务器将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给CPU使用率较低的微服务器。
  5. 根据权利要求1所述的方法，其特征在于，所述网络服务器将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给微服务器集群中的一个微服务器，包括：
    所述网络服务器获取所述微服务器集群所包含的各个微服务器当前的数据传输速率；
    所述网络服务器将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给数据传输速率较高的微服务器。
  6. 一种数据存储装置，其特征在于，所述装置包括：
    数据切片模块，用于将需要传输的网络数据进行数据切片，得到网络单元数据集合，所述网络单元数据集合包括至少一个网络单元数据；
    数据标识生成模块，用于基于各个所述网络单元数据在所述网络数据中的位置，分别生成各个所述网络单元数据的数据标识；
    数据发送模块，用于将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给微服务器集群中的一个微服务器，直至所述网络单元数据集合所包含的所有网络单元数据传输完毕。
  7. 根据权利要求6所述的装置，其特征在于，所述数据切片模块，具体用于：
    获取所述微服务器集群所包含的微服务器数量；
    基于所述微服务器数量，对所述网络数据进行切片，得到所述网络单元数据集合。
  8. 根据权利要求6所述的装置，其特征在于，所述数据发送模块，具体用于：
    获取所述微服务器集群所包含的各个微服务器当前的存储空间；
    将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给存储空间较大的微服务器。
  9. 根据权利要求6所述的装置，其特征在于，所述数据发送模块，具体用于：
    获取所述微服务器集群所包含的各个微服务器当前的CPU使用率；
    将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给CPU使用率较低的微服务器。
  10. 根据权利要求6所述的装置，其特征在于，所述数据发送模块，具体用于：
    获取所述微服务器集群所包含的各个微服务器当前的数据传输速率；
    将所述网络单元数据集合中的至少一个网络单元数据及其数据标识发送给数据传输速率较高的微服务器。
PCT/CN2017/097936 2017-08-17 2017-08-17 数据存储方法及装置 WO2019033368A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/097936 WO2019033368A1 (zh) 2017-08-17 2017-08-17 数据存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/097936 WO2019033368A1 (zh) 2017-08-17 2017-08-17 数据存储方法及装置

Publications (1)

Publication Number Publication Date
WO2019033368A1 true WO2019033368A1 (zh) 2019-02-21

Family

ID=65362018

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/097936 WO2019033368A1 (zh) 2017-08-17 2017-08-17 数据存储方法及装置

Country Status (1)

Country Link
WO (1) WO2019033368A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100153415A1 (en) * 2008-12-16 2010-06-17 Netapp, Inc. Method and Apparatus to Implement a Hierarchical Cache System with pNFS
CN102801784A (zh) * 2012-07-03 2012-11-28 华为技术有限公司 一种分布式数据存储方法及设备
CN102833294A (zh) * 2011-06-17 2012-12-19 阿里巴巴集团控股有限公司 基于云存储的文件处理方法、系统及服务器集群系统
CN103281356A (zh) * 2013-05-03 2013-09-04 青岛海信传媒网络技术有限公司 一种分发文件的方法及系统
CN105516313A (zh) * 2015-12-10 2016-04-20 国网四川省电力公司信息通信公司 一种用于大数据的分布式存储系统
CN106462605A (zh) * 2014-05-13 2017-02-22 云聚公司 流媒体内容的分布式安全数据存储和传输
CN106527981A (zh) * 2016-10-31 2017-03-22 华中科技大学 一种基于配置的自适应分布式存储系统的数据分片方法
CN107612972A (zh) * 2017-08-17 2018-01-19 深圳市优品壹电子有限公司 数据存储方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100153415A1 (en) * 2008-12-16 2010-06-17 Netapp, Inc. Method and Apparatus to Implement a Hierarchical Cache System with pNFS
CN102833294A (zh) * 2011-06-17 2012-12-19 阿里巴巴集团控股有限公司 基于云存储的文件处理方法、系统及服务器集群系统
CN102801784A (zh) * 2012-07-03 2012-11-28 华为技术有限公司 一种分布式数据存储方法及设备
CN103281356A (zh) * 2013-05-03 2013-09-04 青岛海信传媒网络技术有限公司 一种分发文件的方法及系统
CN106462605A (zh) * 2014-05-13 2017-02-22 云聚公司 流媒体内容的分布式安全数据存储和传输
CN105516313A (zh) * 2015-12-10 2016-04-20 国网四川省电力公司信息通信公司 一种用于大数据的分布式存储系统
CN106527981A (zh) * 2016-10-31 2017-03-22 华中科技大学 一种基于配置的自适应分布式存储系统的数据分片方法
CN107612972A (zh) * 2017-08-17 2018-01-19 深圳市优品壹电子有限公司 数据存储方法及装置

Similar Documents

Publication Publication Date Title
US10387080B2 (en) Rebuilding slices in a dispersed storage network
US10229004B2 (en) Data transfer priority levels
US10372357B2 (en) Securely recovering stored data in a dispersed storage network
US10298683B2 (en) Consolidating data access in a dispersed storage network
US20190081860A1 (en) Configuring computing devices using a bootstrap configuration
CN110266505B (zh) 一种管理会话群的方法与设备
US10108605B1 (en) Natural language processing system and method
TW201626768A (zh) 存取具有作業系統之電子裝置之硬體資源之方法及相關具有作業系統之電子裝置及本地伺服器
CN104866290B (zh) 一种用于数据传输的方法和装置
CN110336733B (zh) 一种呈现表情包的方法与设备
CN111767144A (zh) 交易数据的交易路由确定方法、装置、设备及系统
EP2876550A1 (en) Methods, apparatuses and computer program products for utilizing subtyping to support evolution of data types
JP2016520900A (ja) オンライン共有のためのクラウドサービスの統合
CN110768894A (zh) 一种删除会话消息的方法与设备
US10481833B2 (en) Transferring data encoding functions in a distributed storage network
EP3163469A1 (en) Method and device for realizing ip disk file storage
US20180205680A1 (en) Method, Device, User Terminal And Electronic Device For Sharing Online Image
CN112866302A (zh) 对集群数据完整性检查的方法、设备、介质及程序产品
CN110708238A (zh) 用于处理信息的方法和装置
WO2019033368A1 (zh) 数据存储方法及装置
WO2019033370A1 (zh) 数据获取方法及装置
CN112256991B (zh) 一种融合多链接地址的信息流的原生渲染的方法与设备
CN104423556A (zh) 处理手势的方法、服务端及终端
CN111367898A (zh) 数据处理方法、装置、系统、电子设备及存储介质
US10002009B2 (en) Electronic device performing emulation-based forensic analysis and method of performing forensic analysis using the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17921548

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 04/09/2020)

122 Ep: pct application non-entry in european phase

Ref document number: 17921548

Country of ref document: EP

Kind code of ref document: A1