WO2010111875A1 - 一种数据处理方法、全数据节点、主控节点和系统 - Google Patents

一种数据处理方法、全数据节点、主控节点和系统 Download PDF

Info

Publication number
WO2010111875A1
WO2010111875A1 PCT/CN2009/076115 CN2009076115W WO2010111875A1 WO 2010111875 A1 WO2010111875 A1 WO 2010111875A1 CN 2009076115 W CN2009076115 W CN 2009076115W WO 2010111875 A1 WO2010111875 A1 WO 2010111875A1
Authority
WO
WIPO (PCT)
Prior art keywords
file
node
storage
data
read
Prior art date
Application number
PCT/CN2009/076115
Other languages
English (en)
French (fr)
Inventor
文海
Original Assignee
成都市华为赛门铁克科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 成都市华为赛门铁克科技有限公司 filed Critical 成都市华为赛门铁克科技有限公司
Publication of WO2010111875A1 publication Critical patent/WO2010111875A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1724—Details of de-fragmentation performed by the file system
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • the present invention relates to the field of communications technologies, and in particular, to a data processing method, a full data node, a master control node, and a system. Background technique
  • the method for the client node to read data includes the following steps:
  • the client node sends a read data request to the master node.
  • the master control node obtains a globally unique file ID (identification) from the database according to the request, and obtains the distribution of the read file in each storage node, and returns it to the client node;
  • the client node creates a communication connection to each storage node that stores the file data according to the returned file ID and file distribution information, and acquires file data.
  • the method for the client node to write data includes the following steps:
  • the client node sends a write data request to the master node
  • the master node obtains the file ID to be written and returns it to the client node.
  • the client node writes the files to all storage nodes after being fragmented.
  • the client node When reading data, the client node needs to establish a connection with each storage node separately, and the CPU consumption of the client node is slow and slow;
  • the purpose of the embodiments of the present invention is to provide a data processing method, a full data node, a master control node, and a system, which are used to save energy and slow down the depreciation speed of the device.
  • an embodiment of the present invention provides a data processing method, including: obtaining a fragment file, where the fragment file indicates that a storage file corresponds to data stored in a plurality of storage nodes;
  • the integrated file is sent to the client node.
  • An embodiment of the present invention provides a full data node, including:
  • a module for obtaining a slice file the slice file representing a storage file corresponding to data stored in a plurality of storage nodes
  • An embodiment of the present invention provides a data processing system, including multiple storage nodes that communicate with a client node, where the multiple storage nodes include at least one full data node.
  • the client node is configured to send a read data request, where the read data request is used to request to read data stored in the full data node;
  • the all-data node is configured to obtain a fragment file, where the fragment file indicates that a storage file corresponds to data stored in the plurality of storage nodes, and the fragment file is integrated to save the integrated file. And when the client node requests to read the storage file, sending the integrated file to the client node.
  • the embodiment of the invention provides a data processing method, including:
  • the storage node Querying the local global file data table according to the directory and file name of the file to be read, obtaining a file And identifying, by the storage node, the file identifier and an address of the client node; the file identifier is used to enable the storage node to determine whether to save a corresponding file locally; and the address of the client node is used to make a storage node When it is determined according to the file identifier that the corresponding file is locally saved, the corresponding data is sent to the client node according to the address of the client node.
  • An embodiment of the present invention provides a master control node, including:
  • An embodiment of the present invention provides a data processing system, including a main control node and a plurality of storage nodes that communicate with a client node, where:
  • the client node is configured to send a read data request to the master control node, where the read data request carries a directory and a file name of the file;
  • the master control node is configured to query a local global file data table according to a directory and a file name of the file to be read, obtain a file identifier, and broadcast the file identifier and the address of the client node to all storage nodes;
  • the storage node is configured to send corresponding data to the client node according to an address of the client node when determining to locally save the corresponding file according to the file identifier.
  • a read data request sent by a client node where the read data request carries a directory and a file name of a file to be read; according to the directory and the file to be read
  • the file name is used to query the local global file data table, obtain the file identifier, and broadcast the file identifier and the address of the client node to all the storage nodes.
  • the storage node determines to save the corresponding file locally according to the file identifier
  • the address of the client node is determined according to the address of the client node.
  • the corresponding data is sent to the client node.
  • FIG. 1 is a flowchart of a method for data storage according to an embodiment of the present invention
  • FIG. 2 is a flowchart of data processing of a full data node among a plurality of storage nodes according to an embodiment of the present invention
  • FIG. 3 is a flowchart of a method for data reading according to an embodiment of the present invention.
  • Embodiment 4 is a schematic diagram of a data processing system in Embodiment 1;
  • Embodiment 5 is a flowchart of a method for data storage in Embodiment 1;
  • FIG. 6 is a control flowchart of a performance node in the first embodiment
  • FIG. 7 is a schematic diagram of a data processing system in Embodiment 2.
  • Embodiment 8 is a flowchart of a method for data storage in Embodiment 2.
  • Embodiment 9 is a flowchart of a method for reading data in Embodiment 2.
  • FIG. 10 is a schematic structural diagram of a full data node according to Embodiment 3.
  • FIG. 11 is a schematic structural diagram of a master node provided in Embodiment 4. detailed description
  • a data storage method provided by the embodiment of the present invention includes:
  • Step S101 The client node obtains the ID of the file to be stored and the address of the multiple storage nodes from the master node, and writes the files to be stored into multiple storage nodes after being sliced.
  • Step S102 One of the plurality of storage nodes collects a slice file whose storage file is distributed among the plurality of storage nodes and saves it as a complete file.
  • Step S102 can also be expressed as: obtaining a fragment file distributed in a plurality of storage nodes corresponding to a storage file, and integrating each fragment file and saving the integrated file.
  • the slice file indicates that a storage file corresponds to data stored in the plurality of storage nodes, and the slice file is integrated to save the integrated file.
  • Figure 2 For one of the multiple storage nodes, the data processing flow is shown in Figure 2, including:
  • Step S201 obtaining a fragment file distributed in a plurality of storage nodes corresponding to the storage file, integrating each fragment file, and saving the integrated file;
  • Step S202 When it is learned that the client node requests to read the storage file, send the integrated file to the client node.
  • the integrated file is a complete file
  • the client node reads the file, it only needs to start a storage node, which can save energy and slow down the depreciation of the device.
  • the file is only stored in one storage node, even if the data reading method in the prior art is adopted, that is, the client node establishes a connection with the storage node, the CPU consumption of the client node can be reduced, and Improve data reading speed.
  • a data reading method provided by the embodiment of the present invention includes: a master control node receives a read data request sent by a client node, where the read data request carries a directory and a file name of a file to be read; Querying a local global file data table by using a directory and a file name of the file to be read, obtaining a file identifier, and broadcasting the file identifier and an address of the client node to all storage nodes;
  • the storage node determines that the corresponding file is locally saved, the storage node sends the corresponding data to the client node.
  • the method for reading the data may be specifically as shown in FIG. 3, including:
  • Step S301 The client node requests the master node to read the file.
  • Step S302 The main control node queries the local global file data table according to the directory and file name of the file to be read, obtains a global unique file identifier, and broadcasts the file identifier and the address of the client node to all storage nodes.
  • Step S303 The storage node determines, according to the file identifier, whether the local file is saved locally, and if yes, proceeds to step S304, otherwise, directly ends;
  • Step S304 the storage node sends the corresponding data to the client node according to the address of the client node.
  • the method for the storage node to learn that the client node requests to read a storage file may be: receiving a read broadcast message of the master control node, where the read broadcast message is used.
  • the file identifier including the globally unique file of the storage file and the address of the client node is determined.
  • the client node is requested to read the storage file.
  • the broadcast node Since the client node is not required to establish a connection with the storage node, the broadcast node is used to make the storage node know that the client node needs to read the file, which greatly improves the system performance.
  • the method for storing the data and the method for reading the data may be used in combination, or may be used alone. When they are used separately, they may be combined with other corresponding storage or reading methods, and the storage or the specific storage is not used in the embodiment of the present invention.
  • the reading method is limited.
  • the data processing system in this embodiment includes a master node (ie, an M node in the figure), a client node (ie, a C node in the figure), and a storage node, and the storage node includes a full data node (That is, the B node in the figure) and the performance node (that is, the D node in the figure).
  • a master node ie, an M node in the figure
  • a client node ie, a C node in the figure
  • storage node includes a full data node (That is, the B node in the figure) and the performance node (that is, the D node in the figure).
  • the data storage method in this embodiment includes:
  • Step S401 The client node sends a write data request to the master node.
  • Step S402 the master node allocates an ID for the file to be stored, and sends the file ID and the address of the storage node to the client node.
  • Step S403 the client node separately writes the files to be stored to the plurality of storage nodes after the fragmentation; in step S404, one of the plurality of storage nodes obtains a fragment distributed in the plurality of storage nodes corresponding to the storage file. File, and integrate each fragment file and save the integrated file.
  • the data reading method in this embodiment may be a data reading method as shown in FIG. 3 or a data reading method in the prior art.
  • the file Since the file is saved as a complete file in this embodiment, it is only necessary to start a storage node when reading the file, which can save energy and slow down the depreciation speed of the device.
  • the file since the file is only stored in one storage node, even if the data reading method in the prior art is adopted, that is, the client node establishes a connection with the storage node, the CPU consumption of the client node can be reduced, and Improve data reading speed.
  • a control flow of a performance node is further included, as shown in FIG. 6, including: Step S501, counting the access amount of the storage node;
  • Step S502 determining whether the average access amount of each storage node is less than the first set threshold, and if so, proceeding to step S503, otherwise proceeding to step S504;
  • Step S503 selecting a part of the performance node, and transferring the data of the selected performance node to the remaining storage node, and closing the selected performance node after the transfer is completed, and ending;
  • the selection rules of the performance nodes can be set according to actual needs, which is not limited herein.
  • Step S504 determining whether the average access amount of each storage node is greater than a second set threshold, and the second set threshold is greater than the first set threshold, and if yes, proceeding to step S405, otherwise directly ending;
  • Step S505 turning on a performance node that is partially or completely in a closed state.
  • the number of performance nodes that are turned on may be increased when the amount of access is large, and the number of performance nodes that are low when the number of accesses is low is not limited to the control flow of the foregoing performance node.
  • the corresponding data storage method may adopt the data storage method in the prior art, and the data storage method provided in the embodiment of the present invention may also be adopted.
  • the storage node may not be divided into a full data node and a performance node, but in order to improve the utilization of the storage node, P competes for low energy consumption, and can still control the opening and closing of the storage node, specifically The amount of access of each storage node may be counted. If the average access amount of each storage node is less than the first set threshold, a part of the storage node is selected, and the data of the selected storage node is transferred to the remaining storage node, and is transferred. The selected storage node is closed upon completion. If the average access amount of each storage node is greater than the second set threshold, and the second set threshold is greater than the first set threshold, the performance node that is partially or completely closed is turned on.
  • the data processing system in this embodiment includes a plurality of storage nodes that communicate with a client node, and the plurality of storage nodes include at least one full data node; a full data node, configured to obtain a fragment file distributed in a plurality of storage nodes corresponding to a storage file, and integrate each fragment file and save the integrated file, and notify the client node to request to read the storage When the file is sent, the integrated file is sent to the client node.
  • the plurality of storage nodes of the data processing system may all be full data nodes, or part of the full data nodes may be performance nodes. In short, the plurality of storage nodes include at least one full data node.
  • the data processing system may further include a master node and a client node.
  • the data reading method adopts the data reading method as shown in FIG. 3:
  • a client node configured to send a read data request to the master node, and read a directory and a file name of the file in the data request;
  • the master control node is configured to query the local global file data table according to the directory and file name of the file, obtain a global unique file identifier, and broadcast the file identifier and the address of the client node to all storage nodes;
  • the storage node is further configured to receive a broadcast of the master node, and when determining to save the corresponding file locally according to the file identifier, send the corresponding data to the client node according to the address of the client node.
  • the control flow of the performance node shown in FIG. 6 is performed, and the main control node is further configured to count the access amount of the multiple storage nodes, if the average access amount of each storage node is smaller than the first set width. Value, select some performance nodes, and transfer the data of the selected performance node to the remaining storage nodes, and close the selected performance node after the transfer is completed; if the average access amount of each storage node is greater than the second set width
  • the value if the second set threshold is greater than the first set threshold, turns on some or all of the performance nodes that are in the off state.
  • the status information of each storage node may be saved in the main control node, and the main control node updates the status information after the performance node is turned off or on.
  • the data reading method shown in FIG. 3 does not necessarily correspond to the data storage method provided in the embodiment of the present invention.
  • the embodiment further provides a data processing system, including a master node, a client node, and multiple Storage nodes, where:
  • the client node is configured to send a read data request to the master control node, where the read data request carries a directory and a file name of the file;
  • the master control node is configured to query the local global file data table according to the directory and file name of the file to be read, obtain a globally unique file identifier, and broadcast the file identifier and the address of the client node to all storage nodes. ;
  • the storage node is configured to send corresponding data to the client node according to an address of the client node when determining to locally save the corresponding file according to the file identifier.
  • the main control node may also be configured to count the access amount of each storage node, and select a partial storage node if the average access amount of each storage node is less than the first set threshold. And transferring the data of the selected storage node to the remaining storage nodes, and closing the selected storage node after the transfer is completed.
  • the master node can be a computing node
  • the main feature is strong computing power, large memory, save all the directory, file, file ID information in the memory, according to the directory name and file name inside the read and write request Quickly obtain the file ID; store the address information and status information of the storage node; have a network interface to communicate with the client node and the storage node through the network.
  • the full data node can be a computing storage node.
  • the main feature is that a large number of disks with a large capacity are connected, and the network port communicates with the master node, the performance node, and the client node through the network.
  • Mechanical hard drive
  • the client node can be a client that needs to read and write files.
  • the client application software reads and writes files through the file system client software in the client node. Just like reading and writing local files, the client node can pass through the network port.
  • the network communicates with the master node and the storage node.
  • the performance node can be a computing storage node.
  • the main feature is that it has a large amount of memory, can cache file data, and has a large-capacity SSD hard disk. This is because the performance node capacity can be relatively small, and rarely accessed data can be deleted at the performance node. Therefore, the performance node can use a high-performance memory such as SSD (Solid State Disk) or a high-speed hard disk.
  • the performance node has a network interface to communicate with the master node, the full data node, and the client node through the network. .
  • the network for each node to communicate may be Ethernet, connected through an Ethernet switch or a HUB; or an InfiniBand switch may be used, and each node is connected to the switch through an InfiniBand adapter (HBA, Host Bus Adapter); Myrinet switch.
  • HBA InfiniBand adapter
  • Myrinet HBA Myrinet adapter
  • ATM Asynchronous Transfer Mode
  • ATM HBA ATM adapter
  • ATM HBA ATM adapter
  • an intelligent optical network switch can be used, and each node passes The intelligent optical network adapter is connected to the switch.
  • the master node and the full data node can be combined, and the number in this embodiment is According to the processing system shown in Figure 7, where M, the node is the merged master node and the full data node, called the merge node, the D node is the performance node, and C is the client node.
  • the data storage method in this embodiment includes:
  • Step S601 The client node sends a write data request to the merge node.
  • Step S602 the merging node allocates an ID to the file to be stored, and sends the file ID and the address of the performance node to the client node.
  • Step S603 the client node writes the files to be stored into the performance nodes and the merged nodes respectively.
  • Step S604 the merging node obtains a shard file distributed among the plurality of storage nodes corresponding to the storage file, and integrates the shard files and saves the integrated file.
  • the merged node can also send the addresses of other merged nodes to the client node when the client node requests to write data, and the client node fragments the files to be stored.
  • Each performance node and each merge node are written separately, in which case the merge node that ultimately collects the file may not be the merge node that originally assigned the file ID to the client.
  • the method for reading data in this embodiment includes:
  • Step S701 The client node requests the merge node to read the file.
  • Step S702 the merging node queries the local global file data table according to the directory and file name of the file to be read, obtains a global unique file identifier, and broadcasts the file identifier and the address of the client node to all performance nodes;
  • Step S703 The performance node and the merge node determine, according to the file identifier, whether the corresponding file is saved locally, and if yes, proceed to step S704, otherwise, directly end;
  • Step S704 the performance node and the merging node send corresponding data to the client node according to the address of the client node.
  • control flow of the performance node described in the first embodiment can also be performed, and the number of the master node and the full data node can also be increased to ensure data redundancy backup and system reliability.
  • the network for each node to communicate may be Ethernet, connected through an Ethernet switch or a HUB; or an InfiniBand switch may be used, and each node is connected to the switch through an InfiniBand adapter (HBA, Host Bus Adapter); Myrinet switch.
  • HBA InfiniBand adapter
  • Myrinet HBA Myrinet adapter
  • ATM switches can be used, and each node is connected to the switch through an ATM adapter (ATM HBA); smart light can be used
  • Network switches each node is connected to the switch through an intelligent optical network adapter.
  • Performance can be provided as needed, and performance nodes can act as acceleration nodes, which can be added when performance needs to be expanded. When performance needs are reduced, turning off the performance node can also save power and slow down the depreciation of the device.
  • an embodiment of the present invention provides a full data node, including:
  • a module 1 for obtaining a slice file wherein the slice file indicates that a storage file corresponds to data stored in a plurality of storage nodes
  • a read data request sent by a client node where the read data request carries a directory and a file name of a file to be read; according to the directory and the file to be read
  • the file name is used to query the local global file data table, obtain the file identifier, and broadcast the file identifier and the address of the client node to all the storage nodes.
  • the storage node determines to save the corresponding file locally according to the file identifier
  • the address of the client node is determined according to the address of the client node.
  • the corresponding data is sent to the client node. Since the client node is not required to establish a connection with the storage node, the broadcast is used to make the storage node know that the client node needs to read the file, which improves the system performance.
  • an embodiment of the present invention provides a master control node, including:
  • a module 5 for receiving a read data request sent by a client node, where the read data request carries a directory and a file name of a file to be read;
  • a read data request sent by a client node where the read data request carries a directory and a file name of a file to be read; according to the directory and the file to be read
  • the file name is used to query the local global file data table, obtain the file identifier, and broadcast the file identifier and the address of the client node to all the storage nodes.
  • the storage node determines to save the corresponding file locally according to the file identifier
  • the address of the client node is determined according to the address of the client node.
  • the corresponding data is sent to the client node. Since the client node is not required to establish a connection with the storage node, the broadcast is used to make the storage node know that the client node needs to read the file, which improves the system performance.
  • the storage medium may be a magnetic disk, an optical disk, a read-only memory (ROM), or a random access memory (RAM).
  • ROM read-only memory
  • RAM random access memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

一种数据处理方法、 全数据节点、 主控节点和系统 本申请要求于 2009年 4月 3日提交中国专利局， 申请号为 200910134103.6， 发明名称为"一种数据处理方法和系统"的中国专利申请的优先权，其全部内容 通过引用结合在本申请中。 技术领域
本发明涉及通信技术领域， 尤其涉及一种数据处理方法、 全数据节点、 主 控节点和系统。 背景技术
为了提高访问文件的速度， 常见的方法是采用性能更高的 CPU ( Central Processing Unit, 中央处理器）， 带宽更大的接口。 这些方案受限于接口的物理 带宽和 CPU的最高速度。 近几年以来， 新发展出一种方法， 用多个 CPU和多个 接口组合起来共同提供更高的速度。
上述方法中， 客户端节点读取数据的方法包括以下步骤：
1、 客户端节点向主控节点发送读取数据请求；
2、 主控节点根据该请求从数据库获取一个全局唯一的文件 ID (标识）和 获取被读取文件在各个存储节点的分布， 返回给客户端节点；
3、 客户端节点根据返回的文件 ID和文件分布信息， 向存有文件数据的各 个存储节点分别创建通信连接， 获取文件数据。
客户端节点写数据的方法包括以下步骤：
1、 客户端节点向主控节点发送写数据请求；
2、 主控节点获取待写文件 ID, 并返回给客户端节点；
3、 客户端节点把文件分片后分别写入到所有的存储节点。
在实现本发明过程中， 发明人发现现有技术中至少存在如下问题：
1、 读取数据的时候， 客户端节点需要分别和各存储节点建立连接， 对客 户端节点的 CPU消耗大速度慢；
2、 文件在整个系统每个存储节点都有分布， 即使只要读写很少的数据， 也需要启动所有存储节点， 造成不必要的设备折旧， 造成能源浪费。 发明内容
本发明实施例的目的在于提供一种数据处理方法、全数据节点、主控节点 和系统， 用以节省能源， 放缓设备折旧速度。
为了实现上述目的， 本发明实施例提供了一种数据处理方法， 包括： 获得分片文件，所述分片文件表示一存储文件对应存储在多个存储节点中 的数据；
将所述分片文件进行整合， 保存整合后的文件；
在获知客户端节点请求读取所述存储文件时，发送所述整合后的文件给所 述客户端节点。
本发明实施例提供了一种全数据节点， 包括：
用于获得分片文件的模块，所述分片文件表示一存储文件对应存储在多个 存储节点中的数据；
用于将所述分片文件进行整合的模块；
用于保存整合后的文件的模块；
用于在获知客户端节点请求读取所述存储文件时，发送所述整合后的文件 给所述客户端节点的模块。
本发明实施例提供了一种数据处理系统，包括与客户端节点进行通信的多 个存储节点， 所述多个存储节点中包括至少一个全数据节点；
所述客户端节点， 用于发送读数据请求， 所述读数据请求用于请求读取存 储在所述全数据节点中的数据；
所述全数据节点， 用于获得分片文件， 所述分片文件表示一存储文件对应 存储在所述多个存储节点中的数据，将所述分片文件进行整合，保存整合后的 文件，在获知所述客户端节点请求读取所述存储文件时，发送所述整合后的文 件给所述客户端节点。
本发明实施例提供了一种数据处理方法， 包括：
接收客户端节点发送的读取数据请求，所述读取数据请求中携带待读取的 文件的目录和文件名；
根据所述待读取文件的目录和文件名查询本地全局文件数据表，获得文件 标识， 向全部存储节点广播所述文件标识以及所述客户端节点的地址； 所述文 件标识用于使所述存储节点确定本地是否保存相应文件；所述客户端节点的地 址用于使存储节点在根据所述文件标识确定本地保存相应文件时，根据所述客 户端节点的地址将相应数据发送给所述客户端节点。
本发明实施例提供了一种主控节点， 包括：
用于接收客户端节点发送的读取数据请求的模块，所述读取数据请求中携 带待读取的文件的目录和文件名；
用于根据所述待读取文件的目录和文件名查询本地全局文件数据表，获得 文件标识，向全部存储节点广播所述文件标识以及所述客户端节点的地址的模 块； 所述文件标识用于使所述存储节点确定本地是否保存相应文件； 所述客户 端节点的地址用于使存储节点在根据所述文件标识确定本地保存相应文件时， 根据所述客户端节点的地址将相应数据发送给所述客户端节点。
本发明实施例提供了一种数据处理系统，包括与客户端节点进行通信的的 主控节点和多个存储节点， 其中：
所述客户端节点， 用于向所述主控节点发送读取数据请求， 所述读取数据 请求中携带文件的目录和文件名；
所述主控节点，用于根据待读取文件的目录和文件名查询本地全局文件数 据表，获得文件标识， 并向全部存储节点广播所述文件标识以及所述客户端节 点的地址；
所述存储节点， 用于在根据所述文件标识确定本地保存相应文件时，根据 所述客户端节点的地址将相应数据发送给所述客户端节点。
采用本发明实施例提供的技术方案， 接收客户端节点发送的读取数据请 求， 所述读取数据请求中携带待读取的文件的目录和文件名；根据所述待读取 文件的目录和文件名查询本地全局文件数据表，获得文件标识， 向全部存储节 点广播所述文件标识以及所述客户端节点的地址，存储节点根据文件标识确定 本地保存相应文件时， 根据客户端节点的地址将相应数据发送给客户端节点。 由于不需要客户端节点来和存储节点建立连接，采用广播令存储节点获知客户 端节点需要读取文件， 提升了系统性能。 附图说明 为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下面 描述中的附图仅仅是本发明的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。 图 1为本发明实施例提供的一种数据存储的方法的流程图；
图 2为本发明实施例中多个存储节点中的一个全数据节点的数据处理流程 图；
图 3为本发明实施例提供的一种数据读取的方法的流程图；
图 4为实施例一中的数据处理系统示意图；
图 5为实施例一中的数据存储的方法的流程图；
图 6为实施例一中的性能节点的控制流程图；
图 7为实施例二中的数据处理系统示意图；
图 8为实施例二中数据存储的方法的流程图；
图 9为实施例二中数据读取的方法的流程图；
图 10为实施例三提供的一种全数据节点的结构示意图；
图 11为实施例四提供的一种主控节点的结构示意图。 具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、 完整地描述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造 性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。 本发明实施例提供的一种数据存储的方法， 如图 1所示， 包括：
步骤 S101，客户端节点从主控节点获取待存储文件的 ID以及多个存储节点 的地址， 并将待存储文件分片后分别写入多个存储节点；
步骤 S102,多个存储节点中的一个全数据节点将一存储文件分布在多个存 储节点中的分片文件收集并作为一个完整文件保存。
步骤 S 102也可以表达为：获得一存储文件对应的分布在多个存储节点中的 分片文件， 并将各分片文件进行整合且保存整合后的文件。 也就是说， 获得分 片文件， 所述分片文件表示一存储文件对应存储在所述多个存储节点中的数 据， 将所述分片文件进行整合， 保存整合后的文件。
对于多个存储节点中的一个全数据节点来说，其数据处理流程如图 2所示， 包括：
步骤 S201 ,获得一存储文件对应的分布在多个存储节点中的分片文件，将 各分片文件进行整合， 保存整合后的文件；
步骤 S202,在获知客户端节点请求读取该存储文件时，发送整合后的文件 给客户端节点。
由于整合后的文件是一个完整文件， 则在客户端节点读取文件时， 只需启 动一个存储节点， 可以节省能源， 并且放缓设备折旧速度。 另外， 由于文件只 在一个存储节点中保存， 那么， 即使采用现有技术中的数据读取方法， 即由客 户端节点来和存储节点建立连接， 也能够降低客户端节点的 CPU的消耗， 并提 高数据读取速度。
本发明实施例提供的一种数据读取的方法， 包括： 主控节点接收客户端节 点发送的读取数据请求，所述读取数据请求中携带待读取的文件的目录和文件 名；根据所述待读取文件的目录和文件名查询本地全局文件数据表，获得文件 标识， 向全部存储节点广播所述文件标识以及所述客户端节点的地址；
存储节点在 ^居所述文件标识确定本地保存相应文件时， ^居所述客户端 节点的地址将相应数据发送给所述客户端节点。
该数据读取的方法具体可如图 3所示， 包括：
步骤 S301 , 客户端节点向主控节点请求读取文件；
步骤 S302,主控节点根据待读取文件的目录和文件名查询本地全局文件数 据表，获得全局唯一的文件标识， 并向全部存储节点广播文件标识以及客户端 节点的地址；
步骤 S303 , 存储节点根据文件标识判断本地是否保存相应文件， 若是， 进 行步骤 S304, 否则， 直接结束；
步骤 S304， 存储节点根据客户端节点的地址将相应数据发送给客户端节 点。
在采用图 3所示的数据读取的方法时， 存储节点获知客户端节点请求读取 一存储文件的方法可以为：接收主控节点的读取广播消息，该读取广播消息中 包括一存储文件全局唯一的文件标识以及客户端节点的地址，在确定该文件标 识对应该存储文件时， 获知客户端节点请求读取该存储文件。
由于不需要客户端节点来和存储节点建立连接，采用广播的方式令存储节 点获知客户端节点需要读取文件， 极大地提升了系统性能。
上述数据存储的方法和数据读取的方法可以配合使用， 也可以单独使用， 在其各自单独使用时，可以配合其他相应存储或读取方法，本发明实施例中不 对具体的配合使用的存储或读取方法进行限定。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详 细描述。
实施例一
本实施例中的数据处理系统， 如图 4所示， 包括主控节点 （即图中的 M节 点）、 客户端节点 （即图中的 C节点）和存储节点， 存储节点包括全数据节点 (即图中的 B节点）和性能节点 （即图中的 D节点）。
本实施例中数据存储的方法， 如图 5所示， 包括：
步骤 S401 , 客户端节点向主控节点发送写数据请求；
步骤 S402, 主控节点为待存储文件分配 ID, 并将该文件 ID与存储节点的 地址发送给客户端节点；
步骤 S403， 客户端节点将待存储文件分片后分别写入多个存储节点； 步骤 S404,多个存储节点中的一个全数据节点获得一存储文件对应的分布 在多个存储节点中的分片文件， 并将各分片文件进行整合且保存整合后的文 件。
本实施例中数据读取的方法可以是如图 3所示的数据读取方法， 也可以是 现有技术中的数据读取方法。
由于在本实施例中将文件作为完整文件保存， 则在读取文件时， 只需启动 一个存储节点， 可以节省能源， 并且放缓设备折旧速度。 另外， 由于文件只在 一个存储节点中保存， 那么， 即使采用现有技术中的数据读取方法， 即由客户 端节点来和存储节点建立连接， 也能够降低客户端节点的 CPU的消耗， 并提高 数据读取速度。
另外， 在本实施例中， 还包括一个性能节点的控制流程， 如图 6所示， 包 括： 步骤 S501， 统计存储节点的访问量；
步骤 S502，判断各个存储节点的平均访问量是否小于第一设定阔值，若是， 进行步骤 S503 , 否则进行步骤 S504;
步骤 S503 ,选择部分性能节点， 并将选择到的性能节点的数据转移到剩余 的存储节点， 并在转移完成后关闭选择到的性能节点， 结束；
在本步骤中，性能节点的选择规则可以根据实际需要进行设定，这里不作 限定。
在具体实现时，也可以在选择部分性能节点后， 先判断各选择到的性能节 点上是否保存有数据， 若是， 则进行数据的转移， 否则， 就不需要进行转移操 作。
步骤 S504,判断各个存储节点的平均访问量是否大于第二设定阔值，第二 设定阔值大于第一设定阔值， 若是， 进行步骤 S405, 否则直接结束；
步骤 S505, 开启部分或者全部处于关闭状态的性能节点。
在本步骤中，选择开启哪些性能节点的具体方法可以根据实际需要进行处 理， 这里不作限定。
在具体实现时，可以在访问量大时增加开启的性能节点数量，访问量小时 P争低开启的性能节点数量， 不局限于上述性能节点的控制流程。
为了确保数据冗余备份和系统可靠，可以增加主控节点和全数据节点的数 目。
由于在采用图 3所示的数据读取方法的情况下， 其对应的数据存储方法可 以采用现有技术中的数据存储方法，也可以采用本发明实施例中提供的数据存 储方法，在采用现有技术中的数据存储方法的情况下，存储节点可以不区分为 全数据节点和性能节点， 但为了提高存储节点的利用率， P争低能耗， 仍然可以 对存储节点的开启和关闭控制，具体可以统计各个存储节点的访问量，若各个 存储节点的平均访问量小于第一设定阔值， 则选择部分存储节点， 并将选择到 的存储节点的数据转移到剩余的存储节点，并在转移完成后关闭所述选择到的 存储节点。若各个存储节点的平均访问量大于第二设定阔值， 所述第二设定阔 值大于所述第一设定阔值， 则开启部分或者全部处于关闭状态的性能节点。
本实施例中的数据处理系统， 包括与客户端节点进行通信的多个存储节 点， 该多个存储节点中包括至少一个全数据节点； 全数据节点，用于获得一存储文件对应的分布在多个存储节点中的分片文 件， 并将各分片文件进行整合且保存整合后的文件，且在获知客户端节点请求 读取该存储文件时， 发送整合后的文件给客户端节点。
上述数据处理系统的多个存储节点可以全部都是全数据节点，也可以一部 分是全数据节点一部分是性能节点， 总之，该多个存储节点中至少包括一个全 数据节点。
在另一个实施例中， 该数据处理系统还可以包括主控节点、 客户端节点， 在本实施例中数据读取的方法采用如图 3所示的数据读取方法的情况下：
客户端节点， 用于向主控节点发送读取数据请求，读取数据请求中携带文 件的目录和文件名；
主控节点， 用于根据文件的目录和文件名查询本地全局文件数据表，获得 全局唯一的文件标识， 并向全部存储节点广播文件标识以及客户端节点的地 址；
存储节点还用于接收主控节点的广播，并在根据文件标识确定出本地保存 相应文件时， 根据客户端节点的地址将相应数据发送给客户端节点。
在本实施例中进行如图 6所示的性能节点的控制流程的情况下， 主控节点 还用于统计多个存储节点的访问量，若各个存储节点的平均访问量小于第一设 定阔值， 则选择部分性能节点， 并将选择到的性能节点的数据转移到剩余的存 储节点， 并在转移完成后关闭选择到的性能节点； 若各个存储节点的平均访问 量大于第二设定阔值，若第二设定阔值大于第一设定阔值， 则开启部分或者全 部处于关闭状态的性能节点。在具体实现时， 主控节点中可以保存各存储节点 的状态信息， 则在关闭或开启性能节点后， 主控节点更新该状态信息。
由于在具体实现时， 图 3所示的数据读取方法不一定对应本发明实施例中 提供的数据存储方法， 本实施例还提供一种数据处理系统， 包括主控节点、客 户端节点和多个存储节点， 其中：
所述客户端节点， 用于向所述主控节点发送读取数据请求， 所述读取数据 请求中携带文件的目录和文件名；
所述主控节点，用于根据待读取文件的目录和文件名查询本地全局文件数 据表，获得全局唯一的文件标识， 并向全部存储节点广播所述文件标识以及所 述客户端节点的地址； 所述存储节点， 用于在根据所述文件标识确定本地保存相应文件时，根据 所述客户端节点的地址将相应数据发送给所述客户端节点。
为了对存储节点的开启和关闭进行控制， 所述主控节点还可以用于， 统计 各个存储节点的访问量，若各个存储节点的平均访问量小于第一设定阔值， 则 选择部分存储节点， 并将选择到的存储节点的数据转移到剩余的存储节点， 并 在转移完成后关闭所述选择到的存储节点。
在具体实现时， 主控节点可以是一个计算节点， 主要特点是计算能力强， 内存大， 在内存里面保存所有的目录、 文件、 文件 ID信息， 根据读写请求里面 的目录名、文件名可以快速获得文件 ID;保存有存储节点的地址信息和状态信 息； 有网络接口可以通过网络和客户端节点、 存储节点进行通信。
全数据节点可以是一个计算存储节点，主要特点是连接有数量多容量大的 磁盘， 有网^ ^口通过网络和主控节点、 性能节点、 客户端节点进行通信， 从 成本考虑可以使用便宜的机械式硬盘。
客户端节点可以是一个需要读写文件的客户端，客户端的应用软件通过客 户端节点里面的文件系统客户端软件读写文件， 就像读写本地文件一样，客户 端节点有网 矣口可以通过网络和主控节点、 存储节点进行通信。
性能节点可以是一个计算存储节点， 主要特点是有大量的内存，可以缓存 文件数据， 同时有大容量的 SSD硬盘， 这是由于性能节点容量可以比较小， 很 少访问的数据可以在性能节点删除， 所以性能节点可以使用 SSD ( Solid State Disk, 固态硬盘）这种高性能的存储器， 也可以使用高速硬盘； 性能节点有网 络接口通过网络可以和主控节点、 全数据节点、 客户端节点进行通信。
在本实施例中，供各个节点进行通信的网络可以为以太网，通过以太网交 换机或者 HUB连接； 也可以使用 InfiniBand交换机， 各个节点通过 InfiniBand适 配器（HBA， Host Bus Adapter )和交换机连接； 可以使用 Myrinet交换机。 各 个节点通过 Myrinet适配器 （ Myrinet HBA ) 和交换机连接； 可以使用 ATM ( Asynchronous Transfer Mode, 异步传输模式）交换机， 各个节点通过 ATM适 配器（ATM HBA )和交换机连接； 可以使用智能光网络交换机， 各个节点通 过智能光网络适配器和交换机连接。
实施例二
在本实施例中， 主控节点与全数据节点可以合并设置， 则本实施例中的数 据处理系统如图 7所示， 其中， M，节点为合并后的主控节点与全数据节点， 称 为合并节点， D节点为性能节点， C为客户端节点。
本实施例中数据存储的方法， 如图 8所示， 包括：
步骤 S601 , 客户端节点向合并节点发送写数据请求；
步骤 S602, 合并节点为待存储文件分配 ID， 并将该文件 ID与性能节点的 地址发送给客户端节点；
步骤 S603,客户端节点将待存储文件分片后分别写入各性能节点和合并节 点；
步骤 S604,该合并节点获得一存储文件对应的分布在多个存储节点中的分 片文件， 并将各分片文件进行整合且保存整合后的文件。
由于在系统中可以包括多个合并节点， 因此，合并节点也可以在客户端节 点请求写数据时，将其他合并节点的地址也发送给客户端节点， 则客户端节点 将待存储文件分片后分别写入各性能节点和各合并节点，在这种情况下， 最终 收集文件的合并节点可以不是最初为客户端分配文件 ID的那个合并节点。
本实施例中数据读取的方法， 如图 9所示， 包括：
步骤 S701 , 客户端节点向合并节点请求读取文件；
步骤 S702,合并节点根据待读取文件的目录和文件名查询本地全局文件数 据表，获得全局唯一的文件标识， 并向全部性能节点广播文件标识以及客户端 节点的地址；
步骤 S703，性能节点以及合并节点根据文件标识判断本地是否保存相应文 件， 若是， 进行步骤 S704, 否则， 直接结束；
步骤 S704,性能节点以及合并节点根据客户端节点的地址将相应数据发送 给客户端节点。
在本实施例中， 同样可以具有实施例一中所述的性能节点的控制流程，也 同样可以增加主控节点和全数据节点的数目来确保数据冗余备份和系统可靠。
在本实施例中，供各个节点进行通信的网络可以为以太网，通过以太网交 换机或者 HUB连接； 也可以使用 InfiniBand交换机， 各个节点通过 InfiniBand适 配器（HBA， Host Bus Adapter )和交换机连接； 可以使用 Myrinet交换机。 各 个节点通过 Myrinet适配器（Myrinet HBA )和交换机连接； 可以使用 ATM交换 机， 各个节点通过 ATM适配器（ATM HBA )和交换机连接； 可以使用智能光 网络交换机， 各个节点通过智能光网络适配器和交换机连接。
综上所述， 采用本发明实施例提供的技术方案， 由于将文件作为完整文件 保存， 则在读取文件时， 只需启动一个存储节点， 可以节省能源， 并且放缓设 备折旧速度。
系统性能可以根据需要提供，性能节点可以作为加速节点，在性能需要扩 充的时候， 可以增加节点。 在性能需要降低的时候， 关闭性能节点， 同样可以 省电， 放缓设备折旧速度。
并且， 由于采用广播的方式， 并发的方式， 极大提升了系统性能。
性能节点可以使用大内存和 SSD结合， 比机械磁盘提供更好的性能。 实施例三
如图 10所示， 本发明实施例提供一种全数据节点， 包括：
用于获得分片文件的模块 1， 所述分片文件表示一存储文件对应存储在多 个存储节点中的数据；
用于将所述分片文件进行整合的模块 2;
用于保存整合后的文件的模块 3；
用于在获知客户端节点请求读取所述存储文件时，发送所述整合后的文件 给所述客户端节点的模块 4。
采用本发明实施例提供的技术方案， 接收客户端节点发送的读取数据请 求， 所述读取数据请求中携带待读取的文件的目录和文件名；根据所述待读取 文件的目录和文件名查询本地全局文件数据表，获得文件标识， 向全部存储节 点广播所述文件标识以及所述客户端节点的地址，存储节点根据文件标识确定 本地保存相应文件时， 根据客户端节点的地址将相应数据发送给客户端节点。 由于不需要客户端节点来和存储节点建立连接，采用广播令存储节点获知客户 端节点需要读取文件， 提升了系统性能。
实施例四
如图 11所示， 本发明实施例提供一种主控节点， 包括：
用于接收客户端节点发送的读取数据请求的模块 5， 所述读取数据请求中 携带待读取的文件的目录和文件名；
用于根据所述待读取文件的目录和文件名查询本地全局文件数据表，获得 文件标识，向全部存储节点广播所述文件标识以及所述客户端节点的地址的模 块 6; 所述文件标识用于使所述存储节点确定本地是否保存相应文件； 所述客 户端节点的地址用于使存储节点在根据所述文件标识确定本地保存相应文件 时， 根据所述客户端节点的地址将相应数据发送给所述客户端节点。
采用本发明实施例提供的技术方案， 接收客户端节点发送的读取数据请 求， 所述读取数据请求中携带待读取的文件的目录和文件名；根据所述待读取 文件的目录和文件名查询本地全局文件数据表，获得文件标识， 向全部存储节 点广播所述文件标识以及所述客户端节点的地址，存储节点根据文件标识确定 本地保存相应文件时， 根据客户端节点的地址将相应数据发送给客户端节点。 由于不需要客户端节点来和存储节点建立连接，采用广播令存储节点获知客户 端节点需要读取文件， 提升了系统性能。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算 机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。 其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory, ROM )或随才 Λ ^储记忆体 ( Random Access Memory, RAM )等。 明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及 其等同技术的范围之内， 则本发明也意图包含这些改动和变型在内。

Claims

权 利 要 求
1、 一种数据处理方法， 其特征在于， 包括：
获得分片文件，所述分片文件表示一存储文件对应存储在多个存储节点中 的数据；
将所述分片文件进行整合， 保存整合后的文件；
在获知客户端节点请求读取所述存储文件时，发送所述整合后的文件给所 i½户端节点。
2、根据权利要求 1所述的方法， 其特征在于， 所述获知客户端节点请求读 取所述存储文件的方法为， 包括：
接收主控节点的读取广播消息，所述读取广播消息中包括一存储文件的文 件标识以及客户端节点的地址，在确定所述文件标识对应所述存储文件时， 获 知客户端节点请求读取所述存储文件。
3、 一种全数据节点， 其特征在于， 包括：
用于获得分片文件的模块，所述分片文件表示一存储文件对应存储在多个 存储节点中的数据；
用于将所述分片文件进行整合的模块；
用于保存整合后的文件的模块；
用于在获知客户端节点请求读取所述存储文件时，发送所述整合后的文件 给所述客户端节点的模块。
4、 一种数据处理系统， 其特征在于， 包括与客户端节点进行通信的多个 存储节点， 所述多个存储节点中包括至少一个全数据节点；
所述客户端节点， 用于发送读数据请求， 所述读数据请求用于请求读取存 储在所述全数据节点中的数据；
所述全数据节点， 用于获得分片文件， 所述分片文件表示一存储文件对应 存储在所述多个存储节点中的数据，将所述分片文件进行整合，保存整合后的 文件，在获知所述客户端节点请求读取所述存储文件时，发送所述整合后的文 件给所述客户端节点。
5、 根据权利要求 4所述的系统， 其特征在于， 还包括：
主控节点， 用于接收所述客户端节点发送的读取数据请求， 所述读取数据 请求中携带待读取的文件的目录和文件名；根据所述文件的目录和所述文件名 查询本地全局文件数据表，获得文件标识， 向全部存储节点广播所述文件标识 以及所述客户端节点的地址；
所述存储节点还用于，接收所述主控节点的广播， 并在根据所述文件标识 确定出本地保存相应文件时，根据所述客户端节点的地址将相应数据发送给所 i½户端节点。
6、 根据权利要求 5所述的系统， 其特征在于，
所述主控节点还用于， 统计所述多个存储节点的访问量，若各个存储节点 的平均访问量小于第一设定阔值， 则选择部分性能节点， 并将选择到的性能节 点的数据转移到剩余的存储节点， 并在转移完成后关闭所述选择到的性能节 点； 若各个存储节点的平均访问量大于第二设定阔值，若所述第二设定阔值大 于所述第一设定阔值， 则开启部分或者全部处于关闭状态的性能节点。
7、根据权利要求 5所述的系统， 其特征在于， 所述性能节点为固态硬盘或 者高速硬盘。
8、 一种数据处理方法， 其特征在于， 包括：
接收客户端节点发送的读取数据请求，所述读取数据请求中携带待读取的 文件的目录和文件名；
根据所述待读取文件的目录和文件名查询本地全局文件数据表，获得文件 标识， 向全部存储节点广播所述文件标识以及所述客户端节点的地址； 所述文 件标识用于使所述存储节点确定本地是否保存相应文件；所述客户端节点的地 址用于使存储节点在根据所述文件标识确定本地保存相应文件时，根据所述客 户端节点的地址将相应数据发送给所述客户端节点。
9、 根据权利要求 8所述的方法， 其特征在于， 所述方法还包括： 统计各个存储节点的访问量，若各个存储节点的平均访问量小于第一设定 阔值， 则选择部分存储节点， 并将选择到的存储节点的数据转移到剩余的存储 节点， 并在转移完成后关闭所述选择到的存储节点。
10、 一种主控节点， 其特征在于， 包括：
用于接收客户端节点发送的读取数据请求的模块，所述读取数据请求中携 带待读取的文件的目录和文件名；
用于根据所述待读取文件的目录和文件名查询本地全局文件数据表，获得 文件标识，向全部存储节点广播所述文件标识以及所述客户端节点的地址的模 块； 所述文件标识用于使所述存储节点确定本地是否保存相应文件； 所述客户 端节点的地址用于使存储节点在根据所述文件标识确定本地保存相应文件时， 根据所述客户端节点的地址将相应数据发送给所述客户端节点。
11、 一种数据处理系统， 其特征在于， 包括与客户端节点进行通信的的主 控节点和多个存储节点， 其中：
所述客户端节点， 用于向所述主控节点发送读取数据请求， 所述读取数据 请求中携带文件的目录和文件名；
所述主控节点，用于根据待读取文件的目录和文件名查询本地全局文件数 据表，获得文件标识， 并向全部存储节点广播所述文件标识以及所述客户端节 点的地址；
所述存储节点， 用于在根据所述文件标识确定本地保存相应文件时，根据 所述客户端节点的地址将相应数据发送给所述客户端节点。
12、 根据权利要求 11所述的方法， 其特征在于， 所述主控节点还用于， 统 计各个存储节点的访问量， 若各个存储节点的平均访问量小于第一设定阔值， 则选择部分存储节点， 并将选择到的存储节点的数据转移到剩余的存储节点， 并在转移完成后关闭所述选择到的存储节点。
PCT/CN2009/076115 2009-04-03 2009-12-28 一种数据处理方法、全数据节点、主控节点和系统 WO2010111875A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2009101341036A CN101510223B (zh) 2009-04-03 2009-04-03 一种数据处理方法和系统
CN200910134103.6 2009-04-03

Publications (1)

Publication Number Publication Date
WO2010111875A1 true WO2010111875A1 (zh) 2010-10-07

Family

ID=41002623

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2009/076115 WO2010111875A1 (zh) 2009-04-03 2009-12-28 一种数据处理方法、全数据节点、主控节点和系统

Country Status (2)

Country Link
CN (1) CN101510223B (zh)
WO (1) WO2010111875A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111090618A (zh) * 2019-10-29 2020-05-01 厦门网宿有限公司 一种数据读取方法、系统及设备

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510223B (zh) * 2009-04-03 2012-04-25 成都市华为赛门铁克科技有限公司 一种数据处理方法和系统
CN101707684B (zh) * 2009-10-14 2014-04-30 北京东方广视科技股份有限公司 一种Cache调度的方法、设备及系统
CN102364465A (zh) * 2011-09-30 2012-02-29 深圳市赫迪威信息技术有限公司 一种文件存储方法及存储集群
CN103197987A (zh) * 2012-01-04 2013-07-10 中兴通讯股份有限公司 一种数据备份的方法、数据恢复的方法及系统
CN103634350B (zh) * 2012-08-24 2017-05-17 阿里巴巴集团控股有限公司 一种存储系统及其实现方法
CN104054076B (zh) * 2013-01-14 2017-11-17 华为技术有限公司 数据存储方法、数据库存储节点故障处理方法及装置
CN104270782A (zh) * 2014-09-24 2015-01-07 苏州合欣美电子科技有限公司 一种无线数据共享节点优化方法
CN105045877B (zh) * 2015-07-20 2018-10-12 深信服科技股份有限公司 数据库数据分片存储方法和装置、数据查询方法和装置
CN105843916A (zh) * 2016-03-24 2016-08-10 上海上讯信息技术股份有限公司 基于文件归并的敏感数据检测方法及设备
CN106484322A (zh) * 2016-09-12 2017-03-08 华为技术有限公司 一种挂载文件系统的方法、装置及设备
CN108228663A (zh) * 2016-12-21 2018-06-29 杭州海康威视数字技术股份有限公司 一种分页检索方法及装置
CN107704336B (zh) * 2017-09-28 2021-08-13 华为技术有限公司 一种数据存储方法及装置
CN109992209B (zh) * 2019-03-29 2023-02-03 新华三技术有限公司成都分公司 数据处理方法、装置及分布式存储系统
CN110769272A (zh) * 2019-11-19 2020-02-07 深圳市网心科技有限公司 节点调整方法及其相关设备
CN112632075A (zh) * 2020-12-25 2021-04-09 创新科技术有限公司 集群元数据的存储、读取方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050165972A1 (en) * 2004-01-27 2005-07-28 Kenichi Miyata File input/output control device and method for the same
US20070174363A1 (en) * 2006-01-23 2007-07-26 Xyratex Technology Limited Computer system, a computer and a method of storing a data file
CN101227460A (zh) * 2007-01-19 2008-07-23 秦晨 分布式文件上传、下载方法及其装置和系统
CN101510223A (zh) * 2009-04-03 2009-08-19 成都市华为赛门铁克科技有限公司 一种数据处理方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1889418B (zh) * 2005-06-30 2011-11-16 诺基亚西门子通信系统技术（北京）有限公司 一种网络存储方法与网络存储系统
CN100464536C (zh) * 2006-09-18 2009-02-25 华为技术有限公司 重组分片数据的方法与装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050165972A1 (en) * 2004-01-27 2005-07-28 Kenichi Miyata File input/output control device and method for the same
US20070174363A1 (en) * 2006-01-23 2007-07-26 Xyratex Technology Limited Computer system, a computer and a method of storing a data file
CN101227460A (zh) * 2007-01-19 2008-07-23 秦晨 分布式文件上传、下载方法及其装置和系统
CN101510223A (zh) * 2009-04-03 2009-08-19 成都市华为赛门铁克科技有限公司 一种数据处理方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111090618A (zh) * 2019-10-29 2020-05-01 厦门网宿有限公司 一种数据读取方法、系统及设备
CN111090618B (zh) * 2019-10-29 2023-08-18 厦门网宿有限公司 一种数据读取方法、系统及设备

Also Published As

Publication number Publication date
CN101510223A (zh) 2009-08-19
CN101510223B (zh) 2012-04-25

Similar Documents

Publication Publication Date Title
WO2010111875A1 (zh) 一种数据处理方法、全数据节点、主控节点和系统
CN113810312B (zh) 用于管理存储器资源的系统和方法
CN100428185C (zh) 存储服务器的自底向上高速缓存结构
US7272687B2 (en) Cache redundancy for LSI raid controllers
JP4278445B2 (ja) ネットワークシステム及びスイッチ
US10083118B2 (en) Key value-based data storage system and operation method thereof
JP2018500648A (ja) クラスタ間冗長構成におけるスムーズな制御部交代
CN107179878B (zh) 基于应用优化的数据存储的方法和装置
WO2007118371A1 (fr) Procédé d'accès à un disque, et système et matrice de disques permettant d'étendre la capacité du disque
WO2022218160A1 (zh) 一种数据访问系统、方法、设备以及网卡
WO2018137327A1 (zh) 一种主备机数据传递方法、控制节点以及数据库系统
CN112632069B (zh) 哈希表数据存储管理方法、装置、介质和电子设备
CN112988680B (zh) 数据加速方法、缓存单元、电子设备及存储介质
KR20210124082A (ko) 구성 가능한 일관성 장치들을 위한 시스템 및 방법
WO2023000770A1 (zh) 一种处理访问请求的方法、装置、存储设备及存储介质
KR102471966B1 (ko) 스토리지 노드 기반의 키-값 스토어를 이용하는 데이터 입출력 방법
JP4208506B2 (ja) 高性能記憶装置アクセス環境
EP4002139A2 (en) Memory expander, host device using memory expander, and operation method of server system including memory expander
CN116893789B (zh) 一种数据管理方法、系统、装置、设备及计算机存储介质
CN103246622B (zh) 一种扩展内存的方法、内存节点、主节点及系统
WO2021169635A1 (zh) 内存设备的数据处理方法、装置和系统
WO2022218218A1 (zh) 数据处理方法、装置、归约服务器及映射服务器
CN115509982A (zh) 一种数据写入的方法、设备及网卡
JP4514222B2 (ja) データ記憶システム
WO2023246754A1 (zh) 一种数据重删方法及相关系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09842531

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 13/03/2012)

122 Ep: pct application non-entry in european phase

Ref document number: 09842531

Country of ref document: EP

Kind code of ref document: A1