WO2020151337A1 - 分布式文件处理方法、装置、计算机设备以及存储介质 - Google Patents

分布式文件处理方法、装置、计算机设备以及存储介质 Download PDF

Info

Publication number
WO2020151337A1
WO2020151337A1 PCT/CN2019/118429 CN2019118429W WO2020151337A1 WO 2020151337 A1 WO2020151337 A1 WO 2020151337A1 CN 2019118429 W CN2019118429 W CN 2019118429W WO 2020151337 A1 WO2020151337 A1 WO 2020151337A1
Authority
WO
WIPO (PCT)
Prior art keywords
file
folder
name
accessed
storage node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/118429
Other languages
English (en)
French (fr)
Inventor
于相洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2020151337A1 publication Critical patent/WO2020151337A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Definitions

  • This application relates to the field of distributed information processing technology, and in particular to a distributed file processing method, device, computer equipment and storage medium.
  • the embodiments of the present application provide a distributed file processing method, device, computer equipment, and storage medium, which are used to solve the limited number of extension nodes in the prior art and the problem of creating folders, displaying file lists, and metadata. There is a problem of poor performance in terms of operational performance.
  • an embodiment of the present application provides a distributed file processing method, which is applied to a client in a distributed file storage system without metadata services.
  • the distributed file storage system further includes a plurality of storage nodes, each The storage node corresponds to an identity ID, and the identity ID is used to indicate the service division of the storage node and to map the address of the storage node.
  • the method includes:
  • the embodiments of the present application provide a distributed file processing method, which is applied to a distributed file storage system without metadata service.
  • the distributed file storage system includes multiple storage nodes, and each storage node corresponds to an identity. ID, the identity ID is used to indicate the service division of the storage node and to map the address of the storage node, the method includes:
  • an embodiment of the present application provides a distributed file processing device, which is applied to a distributed file storage system without metadata service.
  • the distributed file storage system includes multiple storage nodes, and each storage node corresponds to an identity. ID, the identity ID is used to indicate the service division of the storage node and map the address of the storage node, and the device includes:
  • the obtaining unit is configured to obtain an access request for the file and/or folder to be accessed, where the access request includes the key value of the file and/or folder to be accessed;
  • the parsing unit is configured to obtain the identity ID of the storage node to which the file and/or folder to be accessed belongs, the corresponding file name and/or folder name to be accessed, and the file and/or file to be accessed by parsing the key value Operation instruction information of the folder;
  • a sending unit configured to send the name of the file and/or folder to be accessed and the operation instruction information of the file and/or folder to be accessed to the storage node corresponding to the identity ID;
  • the receiving unit is configured to receive the file and/or folder content or the response information of the deleted file and/or folder content sent by the storage node.
  • an embodiment of the present application provides a distributed file processing device, which is applied to a distributed file storage system without metadata services.
  • the distributed file storage system includes multiple storage nodes, and each storage node corresponds to an identity. ID, the identity ID is used to indicate the service division of the storage node and map the address of the storage node, and the device includes:
  • the receiving unit is configured to receive the file name and/or folder name to be accessed and the operation instruction information of the file name and/or folder name to be accessed from the client terminal;
  • the processing unit is configured to read or delete the corresponding file and/or folder content according to the file name and/or folder name to be accessed;
  • the sending unit is used to send the file and/or folder content or the response information of the deleted file and/or folder content to the client.
  • the embodiments of the present application also provide a computer device, including a memory, a processor, and a computer program stored on the memory and running on the processor, and the processor executes the computer program When realizing the distributed file processing method as described above.
  • the embodiments of the present application also provide a computer-readable storage medium, the computer-readable storage medium stores one or more computer programs, and the one or more computer programs can be used by one or more The processor executes to implement the distributed file processing method as described above.
  • the distributed file processing method described in the embodiment of the application stores the file or folder on the corresponding storage node by establishing the correspondence between the key value and each storage node, because the distributed file storage system has no metadata structure
  • the framework therefore solves the bottleneck problem of the limited number of expansion nodes.
  • the relationship between storage nodes is equal, and the location of files or folders can be realized through the hash algorithm.
  • the data in the file is flattened and stored in the storage node to avoid performance degradation caused by too many directory tree structures, and the system performance has been greatly improved.
  • FIG. 1 is a schematic diagram of an application scenario of a distributed file processing method provided by an embodiment of the application
  • FIG. 2 is a schematic flowchart of a distributed file processing method provided by an embodiment of the present application.
  • FIG. 3 is another schematic flowchart of a distributed file processing method provided by an embodiment of the present application.
  • FIG. 4 is a schematic block diagram of a distributed file processing apparatus provided by an embodiment of the present application.
  • FIG. 5 is another schematic block diagram of a distributed file processing apparatus provided by an embodiment of the present application.
  • Fig. 6 is a schematic structural composition diagram of a computer device provided by an embodiment of the present application.
  • Metadata refers to data about the data warehouse, which refers to the key data related to data source definitions, target definitions, conversion rules, etc. generated during the construction of the data warehouse. At the same time, metadata also contains business information about the meaning of the data, providing convenience for the development and use of the data warehouse. Metadata is a kind of binary information used to describe programs stored in the common language runtime, portable, executable files, or stored in memory.
  • FIG. 1 is a distributed file processing method according to an embodiment of the application applied to the distributed file storage system shown in FIG. 1.
  • the distributed file storage system includes clients Each storage node is composed of a database and a file processing unit.
  • the client communicates with the storage node by sending file and/or folder access requests. Accordingly, the storage node communicates with the client Communicate with the client the response information that the content of the feedback file and/or folder has been processed.
  • the embodiment of the application provides a distributed file processing method.
  • This method is applied to a distributed file storage system without metadata service.
  • the distributed file storage system includes multiple storage nodes, and each storage node corresponds to an identity ID, which is used to indicate the storage node
  • the service division of and mapping the address of the storage node includes the following steps S101 to S105:
  • the client obtains an access request for a file and/or folder to be accessed.
  • the user initiates an access request through the client interface, and the access request is used to access files and/or folders, including three situations of accessing files individually, accessing folders individually, and accessing files and folders simultaneously.
  • a cluster driver is installed on the client to drive the client to obtain the access request and process and forward it. After obtaining the access request of the file and/or folder to be accessed, the client forwards the access request to the storage node, and the access request includes the key value of the file and/or folder to be accessed.
  • the client obtains the identity ID of the storage node to which the file and/or folder to be accessed belongs, the corresponding file name and/or folder name, and the name of the file and/or folder to be accessed by parsing the key value. Operation instruction information.
  • the access request for the file and/or folder to be accessed is obtained through step S101. Since the access request contains the key value of the file and/or folder to be accessed, the file and/or folder to be accessed can be obtained by parsing the key value. Or the identity ID of the storage node to which the folder belongs, the corresponding file name and/or folder name to be accessed, and the operation instruction information of the file and/or folder to be accessed, wherein the operation instruction information includes obtaining the file to be accessed And/or the instruction information of the content of the folder, the instruction information of deleting the content of the file and/or folder to be accessed, and the instruction information of creating the content of the file and/or folder to be accessed.
  • the key value is a 32-bit key value calculated based on the file name and/or folder name through the Davies-Meyer algorithm. A binary value of any length is mapped to a smaller binary value of a fixed length. This small binary value is called a key value, and the key value ranges from 0x000000 to 0xfffffff. At the same time, the first preset number of characters in the key value identify the storage node where the file or folder is located. Therefore, the file name and/or folder name and the identity ID of the storage node can be obtained by reversing the key value.
  • S103 The client sends the name of the file and/or folder to be accessed and the operation instruction information of the file and/or folder to be accessed to the storage node corresponding to the identity ID.
  • step S102 the key value is parsed to obtain the identity ID of the storage node, the corresponding file name and/or folder name to be accessed, and the operation instruction information of the file and/or folder to be accessed.
  • the client sends the identity ID through the cluster driver.
  • the corresponding storage node sends the name of the file and/or folder to be accessed and the operation instruction information of the file and/or folder to be accessed, and correspondingly, the storage node receives the file name and/or folder to be accessed from the client Name and operation instruction information of the file and/or folder to be accessed.
  • the storage node reads or deletes the content of the corresponding file and/or folder.
  • the storage node After receiving the file name or folder name, the storage node searches for the corresponding file or folder in the database, and executes the actions of reading, deleting or creating the content of the file or folder according to the operation instruction information of the access request Instruction, specifically, the operation instruction information of the access request includes instruction information for obtaining the content of the file and/or folder to be accessed, instruction information for deleting the content of the file and/or folder to be accessed, and creating the content of the file and/or folder to be accessed Instruction information and so on.
  • the storage node sends response information of the file and/or folder content or the deleted file and/or folder content to the client.
  • the storage node If the operation instruction information of the access request is to obtain the content of the file and/or folder to be accessed, the storage node sends the found file or folder content to the client; if the operation instruction information of the access request is to delete the file to be accessed And/or the content of the folder, the storage node deletes the found file or folder content to be accessed, generates a response message and sends it to the client.
  • the client receives the file and/or folder content or the response information of the deleted file and/or folder content sent by the storage node.
  • the method before accessing the file and/or folder of the storage node, the method further includes steps S201 to S204:
  • the process of creating a file or folder at the storage node includes the client server obtaining the file name and/or folder name of the file and/or folder and the corresponding content.
  • the corresponding key value is calculated through the Davies-Meyer algorithm according to the obtained file name or folder name.
  • S203 Establish a correspondence between the key value corresponding to the file and/or folder and the identity ID of the storage node according to the service distribution of each storage node.
  • the calculated key value is mapped to the identity ID of the storage node, thereby establishing a corresponding relationship between the key value and the identity ID of the storage node.
  • S204 Send the file and/or folder to the storage node corresponding to the identity ID to store the file and/or folder.
  • the storage node includes a database and a file processing unit, and the file processing unit is used to add new storage node information to the file name and/or folder name and store the modified information in the database.
  • the file processing unit is used to add new storage node information to the file name and/or folder name and store the modified information in the database.
  • the storage nodes can also determine whether the stored files and/or folders exceed the preset capacity migration threshold, and if the preset capacity migration threshold is exceeded, the migration algorithm will be activated for the file and/or The folders are migrated to the new storage node.
  • the migration algorithm is the Rsync (Remote Sync) algorithm.
  • Rsync is an efficient algorithm for synchronizing files under unix/linux. It can update the files and directories of two computers synchronously, and make appropriate use of the files in the search file. Different blocks to reduce data transmission.
  • An important feature of Rsync that is not seen in most other similar programs or agreements is that mirroring only transmits the changed parts.
  • Rsync can copy/display directory attributes, copy files, and optionally compress and For recursive copying of files, the Rsync algorithm is an existing file migration algorithm, and will not be repeated in this embodiment.
  • the embodiment of the present application provides a distributed file processing method, which stores files or folders on the corresponding storage nodes by establishing the correspondence between the key value and each storage node, because the distributed file storage system has no metadata
  • the structural framework therefore, solves the bottleneck problem of the limited number of expansion nodes.
  • the relationship between storage nodes is equal, and the location of files or folders can be realized through the hash algorithm.
  • the data in the file is flattened and stored in the storage node to avoid performance degradation caused by too many directory tree structures, and the system performance has been greatly improved.
  • each functional module or functional unit can be divided corresponding to each function, or two or more functions can be integrated into one processing module.
  • the above-mentioned integrated modules can be implemented in the form of hardware, or in the form of software functional modules or functional units. Among them, the division of modules or units in the embodiments of the present application is illustrative, and is only a logical function division, and there may be other division methods in actual implementation.
  • the distributed file processing apparatus 100 includes:
  • the obtaining unit 101 is configured to obtain an access request for a file and/or folder to be accessed, and the access request includes the key value of the file and/or folder to be accessed.
  • the parsing unit 102 is configured to obtain the identity ID of the storage node to which the file and/or folder to be accessed belongs, the corresponding file name and/or folder name, and the file and/or file to be accessed by parsing the key value Folder operation instruction information.
  • the sending unit 103 is configured to send the name of the file and/or folder to be accessed and the operation instruction information of the file and/or folder to be accessed to the storage node corresponding to the identity ID.
  • the receiving unit 104 is configured to receive the file and/or folder content or the response information of the deleted file and/or folder content sent by the storage node.
  • the obtaining unit 101 is further configured to obtain the file name and/or folder name of the written file and/or folder.
  • the device also includes:
  • the calculating unit 105 is configured to calculate the corresponding key value according to the file name and/or folder name;
  • the establishing unit 106 is configured to establish a correspondence between the key value corresponding to the file and/or folder and the identity ID of the storage node according to the business distribution of each storage node.
  • the sending unit 103 is further configured to send the file and/or folder to the storage node corresponding to the identity ID to store the file and/or folder.
  • an embodiment of the present application also provides a distributed file processing device, which can be applied to the distributed file processing method shown above.
  • the distributed file processing device 200 includes:
  • the receiving unit 201 is configured to receive the file name and/or folder name to be accessed and the operation instruction information of the file name and/or folder name to be accessed from the client.
  • the processing unit 202 is configured to read or delete the corresponding file and/or folder content according to the file name and/or folder name to be accessed.
  • the sending unit 203 is configured to send the file and/or folder content or the response information of the deleted file and/or folder content to the client.
  • the device 200 further includes:
  • the judging unit 204 is configured to judge whether the stored files and/or folders exceed a preset capacity migration threshold.
  • the migration unit 205 is configured to, if the preset capacity migration threshold is exceeded, start a migration algorithm to migrate the stored files and/or folders to the new storage node.
  • the storage node includes a database and a file processing unit, and the file processing unit is used to add new storage node information to the file name and/or folder name and store the modified information in the database.
  • the foregoing distributed file processing device corresponds to the foregoing distributed file processing method one-to-one, and its specific principle and process are the same as the method described in the foregoing embodiment, and will not be repeated.
  • the above-mentioned distributed file processing apparatus may be implemented in the form of a computer program, and the computer program may run on the computer device as shown in FIG. 6.
  • FIG. 6 is a schematic diagram of the structural composition of a computer device of this application.
  • the device can be a terminal or a server, where the terminal can be an electronic device with communication functions and voice input functions such as smart phones, tablet computers, notebook computers, desktop computers, personal digital assistants, and wearable devices.
  • the server can be an independent server or a server cluster composed of multiple servers.
  • the computer device 500 includes a processor 502, a non-volatile storage medium 503, an internal memory 504, and a network interface 505 connected through a system bus 501.
  • the non-volatile storage medium 503 of the computer device 500 can store an operating system 5031 and a computer program 5032.
  • the processor 502 can execute a distributed file processing method.
  • the processor 502 of the computer device 500 is used to provide calculation and control capabilities, and support the operation of the entire computer device 500.
  • the internal memory 504 provides an environment for the running of the computer program 5032 in the non-volatile storage medium 503, and when the computer program is executed by the processor, the processor 502 can execute a distributed file processing method.
  • the network interface 505 of the computer device 500 is used for network communication.
  • the processor 502 implements the following operations when executing the computer program: obtaining an access request for the file and/or folder to be accessed, the access request including the key value of the file and/or folder to be accessed;
  • the key value obtains the identity ID of the storage node to which the file and/or folder to be accessed belongs, the corresponding file name and/or folder name to be accessed, and the operation instruction information of the file and/or folder to be accessed;
  • the storage node corresponding to the identity ID sends the file name and/or folder name to be accessed and the operation instruction information of the file and/or folder to be accessed; receives the file and/or folder content or the content of the file sent by the storage node Delete the response message of the file and/or folder content.
  • the processor 502 also implements the following operations when executing the computer program: Obtain the file name and/or folder name of the written file and/or folder; According to the file name and/or folder name Calculate the corresponding key value; establish the correspondence between the key value corresponding to the file and/or folder and the identity ID of the storage node according to the business distribution of each storage node; send the storage node corresponding to the identity ID Files and/or folders to store the files and/or folders.
  • the processor 502 executes the computer program, the following operations are also implemented: the operation of receiving the file name and/or folder name to be accessed and the file name and/or folder name to be accessed sent by the client Instruction information; according to the file name and/or folder name to be accessed, the storage node reads or deletes the corresponding file and/or folder content; sends the file and/or folder content to the client or has been deleted Response information for file and/or folder content.
  • the processor 502 executes the computer program, the following operations are also implemented: judging whether the stored files and/or folders exceed a preset capacity migration threshold; if it exceeds the preset capacity migration Threshold, the migration algorithm is started to migrate the stored files and/or folders to the new storage node.
  • the storage node includes a database and a file processing unit
  • the file processing unit is configured to add new storage node information to the file name and/or folder name and store the modified information in the database in.
  • the migration algorithm is an Rsync (Remote Sync) algorithm.
  • the adding request is sent to the database for processing, and if the input mode of the file or folder content is file For real data reading and writing, the adding request is sent to the file processing unit for processing.
  • the embodiment of the computer device shown in FIG. 6 does not constitute a limitation on the specific configuration of the computer device.
  • the computer device may include more or less components than those shown in the figure. Or combine certain components, or different component arrangements.
  • the computer device only includes a memory and a processor. In such embodiments, the structures and functions of the memory and the processor are consistent with the embodiment shown in FIG. 6 and will not be repeated here.
  • the computer-readable storage medium stores one or more computer programs, and the one or more computer programs can be executed by one or more processors to realize the Any embodiment of the distributed file processing method.
  • the aforementioned storage media in this application include: magnetic disks, optical discs, read-only memory (Read-Only Memory, ROM) and other media that can store program codes.
  • ROM Read-Only Memory
  • the units in all embodiments of the present application can be implemented by general integrated circuits, such as CPU (Central Processing Unit, central processing unit), or by ASIC (Application Specific Integrated Circuit, application specific integrated circuit).
  • CPU Central Processing Unit
  • ASIC Application Specific Integrated Circuit
  • the steps in the distributed file processing method of the embodiment of the present application can be adjusted, merged, and deleted in order according to actual needs.
  • the units in the distributed file processing apparatus of the embodiment of the present application may be combined, divided, and deleted according to actual needs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种分布式文件处理方法、装置、计算机设备以及存储介质，基于云存储，涉及分布式信息处理技术领域，该方法包括获取欲访问文件和/或文件夹的访问请求；通过解析该键值得到该欲访问文件和/或文件夹所属的存储节点的身份ID、相应的欲访问文件名和/或文件夹名以及欲访问文件和/或文件夹的操作指令信息；向该身份ID对应的存储节点发送该欲访问文件名和/或文件夹名以及欲访问文件和/或文件夹的操作指令信息；接收存储节点发送的文件和/或文件夹内容或已删除文件和/或文件夹内容的响应信息，能够解决现有技术中存在的扩展节点数量有限以及在创建文件夹、展示文件列表、元数据操作性能等方面存在性能差的问题。

Description

分布式文件处理方法、装置、计算机设备以及存储介质
本申请要求于2019年1月23日提交中国专利局、申请号为CN 201910064108.X、申请名称为“分布式文件处理方法、装置、计算机设备以及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及分布式信息处理技术领域，尤其涉及一种分布式文件处理方法、装置、计算机设备以及存储介质。
背景技术
随着数据爆炸时代的到来，数据量也不断的攀升。挖掘数据价值是企业不断追求的终极目标，但是想要对海量的数据进行挖掘，首先要解决数据存储问题，目前大都是采用配置元数据服务器的分布式文件存储系统，例如Moosefs、lizardfs和hdfs等服务器，这种存储架构虽然可以配置多个元数据服务器，但实际上只有单个元数据节点在提供服务，其他节点属于备份，因此会存在扩展节点数量有限的瓶颈问题。glusterfs是一种无元数据的分布式文件存储系统，不存在元数据服务器单点性能瓶颈问题，但是却在创建文件夹、展示文件列表、元数据操作性能等方面仍存在性能差的不足。
发明内容
有鉴于此，本申请实施例提供一种分布式文件处理方法、装置、计算机设备以及存储介质，用于解决现有技术中存在的扩展节点数量有限以及在创建文件夹、展示文件列表、元数据操作性能等方面存在性能差的问题。
第一方面，本申请实施例提供一种分布式文件处理方法，应用于无元数据服务的分布式文件存储系统中的客户端，所述分布式文件存储系统还包括多个存储节点，每个存储节点对应一个身份ID，所述身份ID用于表示所述存储节点的业务划分以及映射所述存储节点的地址，所述方法包括：
获取欲访问文件和/或文件夹的访问请求，所述访问请求包括欲访问文件和/或文件夹的键值；
通过解析所述键值得到所述欲访问文件和/或文件夹所属的存储节点的身份ID、相应的欲访问文件名和/或文件夹名以及所述欲访问文件和/或文件夹的操作指令信息；
向所述身份ID对应的存储节点发送所述欲访问文件名和/或文件夹名以及所述欲访问文件和/或文件夹的操作指令信息；
接收存储节点发送的文件和/或文件夹内容或已删除文件和/或文件夹内容的响应信息。
第二方面，本申请实施例提供一种分布式文件处理方法，应用于无元数据服务的分布式文件存储系统，所述分布式文件存储系统包括多个存储节点，每个存储节点对应一个身份ID，所述身份ID用于表示所述存储节点的业务划分以及映射所述存储节点的地址，所述方法包括：
接收客户端发送的欲访问文件名和/或文件夹名以及所述欲访问文件名和/或文件夹名的操作指令信息；
根据所述欲访问文件名和/或文件夹名，读取或删除相应的文件和/或文件夹内容；
向所述客户端发送文件和/或文件夹内容或已删除文件和/或文件夹内容的响应信息。
第三方面，本申请实施例提供一种分布式文件处理装置，应用于无元数据服务的分布式文件存储系统，所述分布式文件存储系统包括多个存储节点，每个存储节点对应一个身份ID，所述身份ID用于表示所述存储节点的业务划分以及映射所述存储节点的地址，所述装置包括：
获取单元，用于获取欲访问文件和/或文件夹的访问请求，所述访问请求包括欲访问文件和/或文件夹的键值；
解析单元，用于通过解析所述键值得到所述欲访问文件和/或文件夹所属的存储节点的身份ID、相应的欲访问文件名和/或文件夹名以及所述欲访问文件和/或文件夹的操作指令信息；
发送单元，用于向所述身份ID对应的存储节点发送所述欲访问文件名和/或文件夹名以及所述欲访问文件和/或文件夹的操作指令信息；
接收单元，用于接收存储节点发送的文件和/或文件夹内容或已删除文件和/或文件夹内容的响应信息。
第四方面，本申请实施例提供一种分布式文件处理装置，应用于无元数据服务的分布式文件存储系统，所述分布式文件存储系统包括多个存储节点，每个存储节点对应一个身份ID，所述身份ID用于表示所述存储节点的业务划分以及映射所述存储节点的地址，所述装置包括：
接收单元，用于接收客户端发送的欲访问文件名和/或文件夹名以及所述欲访问文件名和/或文件夹名的操作指令信息；
处理单元，用于根据所述欲访问文件名和/或文件夹名，读取或删除相应的文件和/或文件夹内容；
发送单元，用于向所述客户端发送文件和/或文件夹内容或已删除文件和/或文件夹内容的响应信息。
第五方面，本申请实施例还提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的分布式文件处理方法。
第六方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现如上所述的分布式文件处理方法。
本申请实施例所述的分布式文件处理方法通过建立键值与各存储节点之间的对应关系将文件或文件夹存储到相应的存储节点上，由于该分布式文件存储系统为无元数据结构框架，因此解决了扩展节点数量有限的瓶颈问题，各存储节点之间关系对等，通过哈希算法即可实现文件或文件夹的定位。文件中的数据是扁平化存储在存储节点中的，避免目录树结构太多导致的性能下降问题，系统性能得到了很大的提高。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种分布式文件处理方法的应用场景示意图；
图2是本申请实施例提供的一种分布式文件处理方法的示意流程图；
图3是本申请实施例提供的一种分布式文件处理方法的另一示意流程图；
图4是本申请实施例提供的一种分布式文件处理装置的示意性框图；
图5是本申请实施例提供的一种分布式文件处理装置的另一示意性框图；
图6是本申请实施例提供的一种计算机设备的结构组成示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
元数据(Meta Data)是关于数据仓库的数据，指在数据仓库建设过程中所产生的有关数据源定义、目标定义、转换规则等相关的关键数据。同时元数据还包含关于数据含义的商业信息，为数据仓库的发展和使用提供方便。元数据是一种二进制信息，用以对存储在公共语言运行库可移植、可执行文件文件或存储在内存中的程序进行描述。
请参阅图1，图1为本申请实施例一种分布式文件处理方法应用于如图1所示的分布式文件存储系统中，从图1中可以看出，该分布式文件存储系统包括客户端和多个存储节点，其中，每个存储节点由数据库和文件处理单元组成，客户端通过发送文件和/或文件夹的访问请求与存储节点进行通信，相应地，存 储节点会通过向客户端反馈文件和/或文件夹内容已处理的响应信息与客户端进行通信。
本申请实施例提供了一种分布式文件处理方法。该方法应用于无元数据服务的分布式文件存储系统，请参阅图2，该分布式文件存储系统包括多个存储节点，每个存储节点对应一个身份ID，该身份ID用于表示该存储节点的业务划分以及映射该存储节点的地址，该方法包括以下步骤S101～S105：
S101、客户端获取欲访问文件和/或文件夹的访问请求。
用户通过客户端界面发起访问请求，所述访问请求用于访问文件和/或文件夹，其中包括单独访问文件、单独访问文件夹以及同时访问文件和文件夹这三种情况。在该客户端上安装有集群驱动程序，用于驱动客户端获取该访问请求并进行处理转发。客户端获取欲访问文件和/或文件夹的访问请求后，再向存储节点转发该访问请求，该访问请求中包括欲访问文件和/或文件夹的键值。
S102、客户端通过解析该键值得到该欲访问文件和/或文件夹所属的存储节点的身份ID、相应的欲访问文件名和/或文件夹名以及所述欲访问文件和/或文件夹的操作指令信息。
通过步骤S101获取到欲访问文件和/或文件夹的访问请求，由于该访问请求中包含该欲访问文件和/或文件夹的键值，因此通过解析该键值就可以得到欲访问文件和/或文件夹所属的存储节点的身份ID、相应的欲访问文件名和/或文件夹名以及所述欲访问文件和/或文件夹的操作指令信息，其中，所述操作指令信息包括获取欲访问文件和/或文件夹内容的指令信息、删除欲访问文件和/或文件夹内容的指令信息以及创建欲访问文件和/或文件夹内容的指令信息等。该键值是通过Davies-Meyer算法，根据文件名和/或文件夹名计算得到的一个32位的键值。将任意长度的二进制值映射为固定长度的较小二进制值，这个小的二进制值称为键值，该键值的范围是范围是0x000000～0xffffffff。同时该键值的前预设位数的字符标识该文件或文件夹所在的存储节点。因此通过反推该键值即可得到文件名和/或文件夹名以及存储节点的身份ID。
S103、客户端向该身份ID对应的存储节点发送该欲访问文件名和/或文件夹名以及所述欲访问文件和/或文件夹的操作指令信息。
通过步骤S102解析该键值得到存储节点的身份ID、相应的欲访问文件名和/或文件夹名以及所述欲访问文件和/或文件夹的操作指令信息，客户端通过集群 驱动程序向身份ID对应的存储节点发送该欲访问文件名和/或文件夹名以及所述欲访问文件和/或文件夹的操作指令信息，相应的，该存储节点接收客户端发送的欲访问文件名和/或文件夹名以及所述欲访问文件和/或文件夹的操作指令信息。
S104、根据该欲访问文件名和/或文件夹名，该存储节点读取或删除相应的文件和/或文件夹内容。
该存储节点收到该文件名或文件夹名后，在数据库中查找对应的文件或文件夹，并根据访问请求的操作指令信息对该文件或文件夹的内容执行读取、删除或者创建的动作指令，具体的，访问请求的操作指令信息包括获取欲访问文件和/或文件夹内容的指令信息、删除欲访问文件和/或文件夹内容的指令信息以及创建欲访问文件和/或文件夹内容的指令信息等等。
S105、存储节点向该客户端发送文件和/或文件夹内容或已删除文件和/或文件夹内容的响应信息。
若访问请求的操作指令信息为获取欲访问文件和/或文件夹内容，则存储节点将查找到的欲访问文件或文件夹内容发送到客户端；若访问请求的操作指令信息为删除欲访问文件和/或文件夹内容，则存储节点将查找到的欲访问文件或文件夹内容删除后，生成响应信息并发送到客户端。相应的，该客户端接收存储节点发送的文件和/或文件夹内容或已删除文件和/或文件夹内容的响应信息。
可选的，请参阅图3，在访问存储节点的文件和/或文件夹之前，该方法还包括步骤S201～S204：
S201、获取写入文件和/或文件夹的文件名和/或文件夹名。
具体的，在存储节点创建文件或文件夹的过程包括客户端服务器获取文件和/或文件夹的文件名和/或文件夹名以及对应的内容。
S202、根据所述文件名和/或文件夹名计算对应的键值。
具体的，然后根据获取到的文件名或文件夹名通过Davies-Meyer算法计算对应的键值。
S203、根据各存储节点的业务分布建立所述文件和/或文件夹对应的键值与存储节点的身份ID之间的对应关系。
具体的，将计算得到的键值映射到存储节点的身份ID，从而建立键值与存储节点的身份ID之间的对应关系。
S204、向该身份ID对应的存储节点发送所述文件和/或文件夹以存储所述文件和/或文件夹。
具体的，该存储节点包括数据库以及文件处理单元，该文件处理单元用于在该文件名和/或文件夹名中添加新的存储节点信息并将更改信息存储到该数据库中。同时若该文件或文件夹内容的输入方式为文件夹拓扑查询写入和文件查询，则将添加请求发送给数据库处理，若是文件真实数据读写，则将添加请求发送文件处理单元处理。
可选的，存储节点之间还可以判断所存储的文件和/或文件夹是否超过预设的容量迁移阈值，若超过所述预设的容量迁移阈值，则启动迁移算法将该文件和/或文件夹迁移到新的存储节点。具体的，所述迁移算法为Rsync(Remote Sync，远程同步)算法，Rsync是unix/linux下同步文件的一个高效算法，它能同步更新两处计算机的文件与目录，并适当利用查找文件中的不同块以减少数据传输。Rsync中一项与其他大部分类似程序或协定中所未见的重要特性是镜像是只对有变更的部分进行传送，Rsync可拷贝/显示目录属性，以及拷贝文件，并可选择性的压缩以及递归拷贝文件，Rsync算法为现有的文件迁移算法，在本实施例中不再进行赘述。
本申请实施例提供一种分布式文件处理方法，通过建立键值与各存储节点之间的对应关系将文件或文件夹存储到相应的存储节点上，由于该分布式文件存储系统为无元数据结构框架，因此解决了扩展节点数量有限的瓶颈问题，各存储节点之间关系对等，通过哈希算法即可实现文件或文件夹的定位。文件中的数据是扁平化存储在存储节点中的，避免目录树结构太多导致的性能下降问题，系统性能得到了很大的提高。
本申请实施例可以根据上述方法示例对系统进行功能模块或者功能单元的划分，例如，可以对应各个功能划分各个功能模块或者功能单元，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块或者功能单元的形式实现。其中，本申请实施例中对模块或者单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
参照图4中所示，本申请实施例提供了一种分布式文件处理装置，可以应用于如上所示的分布式文件处理方法。该分布式文件处理装置100包括：
获取单元101，用于获取欲访问文件和/或文件夹的访问请求，该访问请求包括欲访问文件和/或文件夹的键值。
解析单元102，用于通过解析该键值得到该欲访问文件和/或文件夹所属的存储节点的身份ID、相应的欲访问文件名和/或文件夹名以及所述欲访问文件和/或文件夹的操作指令信息。
发送单元103，用于向该身份ID对应的存储节点发送该欲访问文件名和/或文件夹名以及所述欲访问文件和/或文件夹的操作指令信息。
接收单元104，用于接收存储节点发送的文件和/或文件夹内容或已删除文件和/或文件夹内容的响应信息。
可选的，该获取单元101还用于获取写入文件和/或文件夹的文件名和/或文件夹名。
该装置还包括：
计算单元105，用于根据该文件名和/或文件夹名计算对应的键值；
建立单元106，用于根据各存储节点的业务分布建立该文件和/或文件夹对应的键值与存储节点的身份ID之间的对应关系。
该发送单元103，还用于向该身份ID对应的存储节点发送该文件和/或文件夹以存储该文件和/或文件夹。
参照图5中所示，本申请实施例还提供了一种分布式文件处理装置，可以应用于如上所示的分布式文件处理方法。该分布式文件处理装置200包括：
接收单元201，用于接收客户端发送的欲访问文件名和/或文件夹名以及所述欲访问文件名和/或文件夹名的操作指令信息。
处理单元202，用于根据所述欲访问文件名和/或文件夹名，读取或删除相应的文件和/或文件夹内容。
发送单元203，用于向该客户端发送文件和/或文件夹内容或已删除文件和/或文件夹内容的响应信息。
可选的，该装置200还包括：
判断单元204，用于判断所存储的文件和/或文件夹是否超过预设的容量迁移阈值。
迁移单元205，用于若超过所述预设的容量迁移阈值，则启动迁移算法将所存储的文件和/或文件夹迁移到新的存储节点。
可选的，该存储节点包括数据库以及文件处理单元，该文件处理单元用于在该文件名和/或文件夹名中添加新的存储节点信息并将更改信息存储到该数据库中。
上述分布式文件处理装置与上述分布式文件处理方法一一对应，其具体的原理和过程与上述实施例所述方法相同，不再赘述。
上述分布式文件处理装置可以实现为一种计算机程序的形式，计算机程序可以在如图6所示的计算机设备上运行。
图6为本申请一种计算机设备的结构组成示意图。该设备可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式装置等具有通信功能和语音输入功能的电子装置。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。参照图6，该计算机设备500包括通过系统总线501连接的处理器502、非易失性存储介质503、内存储器504和网络接口505。其中，该计算机设备500的非易失性存储介质503可存储操作系统5031和计算机程序5032，该计算机程序5032被执行时，可使得处理器502执行一种分布式文件处理方法。该计算机设备500的处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序被处理器执行时，可使得处理器502执行一种分布式文件处理方法。计算机设备500的网络接口505用于进行网络通信。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502执行所述计算机程序时实现如下操作：获取欲访问文件和/或文件夹的访问请求，所述访问请求包括欲访问文件和/或文件夹的键值；通过解析所述键值得到所述欲访问文件和/或文件夹所属的存储节点的身份ID、相应的欲访问文件名和/或文件夹名以及所述欲访问文件和/或文件夹的操作指令信息；向所述身份ID对应的存储节点发送所述欲访问文件名和/或文件夹名以及所述欲访问文件和/或文件夹的操作指令信息；接收存储节点发送的文件和/或文件夹内容或已删除文件和/或文件夹内容的响应信息。
在一个实施例中，所述处理器502执行所述计算机程序时还实现如下操作： 获取写入文件和/或文件夹的文件名和/或文件夹名；根据所述文件名和/或文件夹名计算对应的键值；根据各存储节点的业务分布建立所述文件和/或文件夹对应的键值与存储节点的身份ID之间的对应关系；向所述身份ID对应的存储节点发送所述文件和/或文件夹以存储所述文件和/或文件夹。
在一个实施例中，所述处理器502执行所述计算机程序时还实现如下操作：接收客户端发送的欲访问文件名和/或文件夹名以及所述欲访问文件名和/或文件夹名的操作指令信息；根据所述欲访问文件名和/或文件夹名，所述存储节点读取或删除相应的文件和/或文件夹内容；向所述客户端发送文件和/或文件夹内容或已删除文件和/或文件夹内容的响应信息。
在一个实施例中，所述处理器502执行所述计算机程序时还实现如下操作：判断所存储的文件和/或文件夹是否超过预设的容量迁移阈值；若超过所述预设的容量迁移阈值，则启动迁移算法将所存储的文件和/或文件夹迁移到新的存储节点。
在一个实施例中，所述存储节点包括数据库以及文件处理单元，所述文件处理单元用于在所述文件名和/或文件夹名中添加新的存储节点信息并将更改信息存储到所述数据库中。
在一个实施例中，所述迁移算法为Rsync(Remote Sync，远程同步)算法。
在一个实施例中，若所述文件或文件夹内容的输入方式为文件夹拓扑查询写入和文件查询，则将添加请求发送给数据库处理，若所述文件或文件夹内容的输入方式为文件真实数据读写，则将添加请求发送给文件处理单元处理。
本领域技术人员可以理解，图6中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图6所示实施例一致，在此不再赘述。
本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现本申请中的分布式文件处理方法的任意实施例。
本申请前述的存储介质包括：磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等各种可以存储程序代码的介质。
本申请所有实施例中的单元可以通过通用集成电路，例如CPU(Central Processing Unit，中央处理器)，或通过ASIC(Application Specific Integrated Circuit，专用集成电路)来实现。本申请实施例分布式文件处理方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本申请实施例分布式文件处理装置中的单元可以根据实际需要进行合并、划分和删减。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (20)

  1. 一种分布式文件处理方法，其特征在于，应用于无元数据服务的分布式文件存储系统中的客户端，所述分布式文件存储系统还包括多个存储节点，每个存储节点对应一个身份ID，所述身份ID用于表示所述存储节点的业务划分以及映射所述存储节点的地址，所述方法包括：
    获取欲访问文件和/或文件夹的访问请求，所述访问请求包括欲访问文件和/或文件夹的键值；
    通过解析所述键值得到所述欲访问文件和/或文件夹所属的存储节点的身份ID、相应的欲访问文件名和/或文件夹名以及所述欲访问文件和/或文件夹的操作指令信息；
    向所述身份ID对应的存储节点发送所述欲访问文件名和/或文件夹名以及所述欲访问文件和/或文件夹的操作指令信息；
    接收存储节点发送的文件和/或文件夹内容或已删除文件和/或文件夹内容的响应信息。
  2. 如权利要求1所述的分布式文件处理方法，其特征在于，所述方法还包括：
    获取写入文件和/或文件夹的文件名和/或文件夹名；
    根据所述文件名和/或文件夹名计算对应的键值；
    根据各存储节点的业务分布建立所述文件和/或文件夹对应的键值与存储节点的身份ID之间的对应关系；
    向所述身份ID对应的存储节点发送所述文件和/或文件夹以存储所述文件和/或文件夹。
  3. 一种分布式文件处理方法，其特征在于，应用于无元数据服务的分布式文件存储系统，所述分布式文件存储系统包括多个存储节点，每个存储节点对应一个身份ID，所述身份ID用于表示所述存储节点的业务划分以及映射所述存储节点的地址，所述方法包括：
    接收客户端发送的欲访问文件名和/或文件夹名以及所述欲访问文件名和/或文件夹名的操作指令信息；
    根据所述欲访问文件名和/或文件夹名，读取或删除相应的文件和/或文件夹 内容；
    向所述客户端发送文件和/或文件夹内容或已删除文件和/或文件夹内容的响应信息。
  4. 如权利要求3所述的分布式文件处理方法，其特征在于，所述方法还包括：
    判断所存储的文件和/或文件夹是否超过预设的容量迁移阈值；
    若超过所述预设的容量迁移阈值，则启动迁移算法将所存储的文件和/或文件夹迁移到新的存储节点。
  5. 如权利要求4所述的分布式文件处理方法，其特征在于，所述存储节点包括数据库以及文件处理单元，所述文件处理单元用于在所述文件名和/或文件夹名中添加新的存储节点信息并将更改信息存储到所述数据库中。
  6. 如权利要求4所述的分布式文件处理方法，其特征在于，所述迁移算法为Rsync(Remote Sync，远程同步)算法。
  7. 如权利要求5所述的分布式文件处理方法，其特征在于，若所述文件或文件夹内容的输入方式为文件夹拓扑查询写入和文件查询，则将添加请求发送给数据库处理，若所述文件或文件夹内容的输入方式为文件真实数据读写，则将添加请求发送给文件处理单元处理。
  8. 一种分布式文件处理装置，其特征在于，应用于无元数据服务的分布式文件存储系统，所述分布式文件存储系统还包括多个存储节点，每个存储节点对应一个身份ID，所述身份ID用于表示所述存储节点的业务划分以及映射所述存储节点的地址，所述装置包括：
    获取单元，用于获取欲访问文件和/或文件夹的访问请求，所述访问请求包括欲访问文件和/或文件夹的键值；
    解析单元，用于通过解析所述键值得到所述欲访问文件和/或文件夹所属的存储节点的身份ID、相应的欲访问文件名和/或文件夹名以及所述欲访问文件和/或文件夹的操作指令信息；
    发送单元，用于向所述身份ID对应的存储节点发送所述欲访问文件名和/或文件夹名以及所述欲访问文件和/或文件夹的操作指令信息；
    接收单元，用于接收存储节点发送的文件和/或文件夹内容或已删除文件和/或文件夹内容的响应信息。
  9. 如权利要求8所述的分布式文件处理装置，其特征在于，
    所述获取单元还用于获取写入文件和/或文件夹的文件名和/或文件夹名；
    所述装置还包括：
    计算单元，用于根据所述文件名和/或文件夹名计算对应的键值；
    建立单元，用于根据各存储节点的业务分布建立所述文件和/或文件夹对应的键值与存储节点的身份ID之间的对应关系；
    所述发送单元，还用于向所述身份ID对应的存储节点发送所述文件和/或文件夹以存储所述文件和/或文件夹。
  10. 一种分布式文件处理装置，其特征在于，应用于无元数据服务的分布式文件存储系统，所述分布式文件存储系统包括多个存储节点，每个存储节点对应一个身份ID，所述身份ID用于表示所述存储节点的业务划分以及映射所述存储节点的地址，所述装置包括：
    接收单元，用于接收客户端发送的欲访问文件名和/或文件夹名以及所述欲访问文件名和/或文件夹名的操作指令信息；
    处理单元，用于根据所述欲访问文件名和/或文件夹名，读取或删除相应的文件和/或文件夹内容；
    发送单元，用于向所述客户端发送文件和/或文件夹内容或已删除文件和/或文件夹内容的响应信息。
  11. 一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如下操作：
    获取欲访问文件和/或文件夹的访问请求，所述访问请求包括欲访问文件和/或文件夹的键值；
    通过解析所述键值得到所述欲访问文件和/或文件夹所属的存储节点的身份ID、相应的欲访问文件名和/或文件夹名以及所述欲访问文件和/或文件夹的操作指令信息；
    向所述身份ID对应的存储节点发送所述欲访问文件名和/或文件夹名以及所述欲访问文件和/或文件夹的操作指令信息；
    接收存储节点发送的文件和/或文件夹内容或已删除文件和/或文件夹内容的响应信息。
  12. 如权利要求11所述的计算机设备，其中，所述处理器执行所述计算机程序时还实现如下操作：
    获取写入文件和/或文件夹的文件名和/或文件夹名；
    根据所述文件名和/或文件夹名计算对应的键值；
    根据各存储节点的业务分布建立所述文件和/或文件夹对应的键值与存储节点的身份ID之间的对应关系；
    向所述身份ID对应的存储节点发送所述文件和/或文件夹以存储所述文件和/或文件夹。
  13. 一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如下操作：
    接收客户端发送的欲访问文件名和/或文件夹名以及所述欲访问文件名和/或文件夹名的操作指令信息；
    根据所述欲访问文件名和/或文件夹名，读取或删除相应的文件和/或文件夹内容；
    向所述客户端发送文件和/或文件夹内容或已删除文件和/或文件夹内容的响应信息。
  14. 如权利要求13所述的计算机设备，其中，所述处理器执行所述计算机程序时还实现如下操作：
    判断所存储的文件和/或文件夹是否超过预设的容量迁移阈值；
    若超过所述预设的容量迁移阈值，则启动迁移算法将所存储的文件和/或文件夹迁移到新的存储节点。
  15. 如权利要求14所述的计算机设备，其中，所述存储节点包括数据库以及文件处理单元，所述文件处理单元用于在所述文件名和/或文件夹名中添加新的存储节点信息并将更改信息存储到所述数据库中。
  16. 如权利要求14所述的计算机设备，其中，所述迁移算法为Rsync(Remote Sync，远程同步)算法。
  17. 如权利要求16所述的计算机设备，其中，若所述文件或文件夹内容的输入方式为文件夹拓扑查询写入和文件查询，则将添加请求发送给数据库处理，若所述文件或文件夹内容的输入方式为文件真实数据读写，则将添加请求发送 给文件处理单元处理。
  18. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现如下步骤：
    获取欲访问文件和/或文件夹的访问请求，所述访问请求包括欲访问文件和/或文件夹的键值；
    通过解析所述键值得到所述欲访问文件和/或文件夹所属的存储节点的身份ID、相应的欲访问文件名和/或文件夹名以及所述欲访问文件和/或文件夹的操作指令信息；
    向所述身份ID对应的存储节点发送所述欲访问文件名和/或文件夹名以及所述欲访问文件和/或文件夹的操作指令信息；
    接收存储节点发送的文件和/或文件夹内容或已删除文件和/或文件夹内容的响应信息。
  19. 如权利要求18所述的计算机可读存储介质，其中，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，还实现如下步骤：
    获取写入文件和/或文件夹的文件名和/或文件夹名；
    根据所述文件名和/或文件夹名计算对应的键值；
    根据各存储节点的业务分布建立所述文件和/或文件夹对应的键值与存储节点的身份ID之间的对应关系；
    向所述身份ID对应的存储节点发送所述文件和/或文件夹以存储所述文件和/或文件夹。
  20. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现如下步骤：
    接收客户端发送的欲访问文件名和/或文件夹名以及所述欲访问文件名和/或文件夹名的操作指令信息；
    根据所述欲访问文件名和/或文件夹名，读取或删除相应的文件和/或文件夹内容；
    向所述客户端发送文件和/或文件夹内容或已删除文件和/或文件夹内容的响应信息。
PCT/CN2019/118429 2019-01-23 2019-11-14 分布式文件处理方法、装置、计算机设备以及存储介质 Ceased WO2020151337A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910064108.X 2019-01-23
CN201910064108.XA CN109857719B (zh) 2019-01-23 2019-01-23 分布式文件处理方法、装置、计算机设备以及存储介质

Publications (1)

Publication Number Publication Date
WO2020151337A1 true WO2020151337A1 (zh) 2020-07-30

Family

ID=66895955

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/118429 Ceased WO2020151337A1 (zh) 2019-01-23 2019-11-14 分布式文件处理方法、装置、计算机设备以及存储介质

Country Status (2)

Country Link
CN (1) CN109857719B (zh)
WO (1) WO2020151337A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112711568A (zh) * 2021-01-19 2021-04-27 建信金融科技有限责任公司 一种文件处理方法、装置和系统
CN116414773A (zh) * 2023-03-07 2023-07-11 奇瑞汽车股份有限公司 文件合成方法、装置、设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109857719B (zh) * 2019-01-23 2024-03-01 平安科技（深圳）有限公司 分布式文件处理方法、装置、计算机设备以及存储介质
CN116974991A (zh) * 2023-07-31 2023-10-31 上海介方信息技术有限公司 一种嵌入式异构分布式系统下文件的快速访问方法
CN119311649A (zh) * 2024-12-18 2025-01-14 浙江大华技术股份有限公司 云盘文件管理方法、装置以及计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103647797A (zh) * 2013-11-15 2014-03-19 北京邮电大学 一种分布式文件系统及其数据访问方法
CN106326387A (zh) * 2016-08-17 2017-01-11 电子科技大学 一种分布式数据存储架构及数据存储方法和数据查询方法
CN108959592A (zh) * 2018-07-12 2018-12-07 广州市闲愉凡生信息科技有限公司 一种云计算平台的文件分布系统
CN109857719A (zh) * 2019-01-23 2019-06-07 平安科技（深圳）有限公司 分布式文件处理方法、装置、计算机设备以及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9098519B2 (en) * 2008-09-16 2015-08-04 File System Labs Llc Methods and apparatus for distributed data storage
CN104657500A (zh) * 2015-03-12 2015-05-27 浪潮集团有限公司 一种基于key-value键值对的分布式存储方法
CN107562757B (zh) * 2016-07-01 2021-08-10 阿里巴巴集团控股有限公司 基于分布式文件系统的查询、访问方法、装置及系统
CN108647230B (zh) * 2018-03-29 2021-10-08 深圳市网心科技有限公司 分布式存储方法、电子装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103647797A (zh) * 2013-11-15 2014-03-19 北京邮电大学 一种分布式文件系统及其数据访问方法
CN106326387A (zh) * 2016-08-17 2017-01-11 电子科技大学 一种分布式数据存储架构及数据存储方法和数据查询方法
CN108959592A (zh) * 2018-07-12 2018-12-07 广州市闲愉凡生信息科技有限公司 一种云计算平台的文件分布系统
CN109857719A (zh) * 2019-01-23 2019-06-07 平安科技（深圳）有限公司 分布式文件处理方法、装置、计算机设备以及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112711568A (zh) * 2021-01-19 2021-04-27 建信金融科技有限责任公司 一种文件处理方法、装置和系统
CN116414773A (zh) * 2023-03-07 2023-07-11 奇瑞汽车股份有限公司 文件合成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN109857719A (zh) 2019-06-07
CN109857719B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
US9558205B2 (en) Method for creating clone file, and file system adopting the same
WO2020151337A1 (zh) 分布式文件处理方法、装置、计算机设备以及存储介质
US8307019B2 (en) File management method and storage system
CN111290826B (zh) 分布式文件系统、计算机系统和介质
CN103473277B (zh) 文件系统的快照方法和装置
US11836112B2 (en) Path resolver for client access to distributed file systems
CN109933312B (zh) 一种有效降低容器化关系型数据库i/o消耗的方法
US11455114B1 (en) Consolidation and migration of cloud data
CN111651424B (zh) 一种数据处理方法、装置、数据节点及存储介质
WO2021139431A1 (zh) 微服务的数据同步方法、装置、电子设备及存储介质
JP2018049653A (ja) キャッシュ管理
WO2021142768A1 (zh) 一种文件系统的克隆方法及装置
CN114610680A (zh) 分布式文件系统元数据管理方法、装置、设备及存储介质
CN115562871B (zh) 内存分配管理的方法和装置
US10496493B1 (en) Method and system for restoring applications of particular point in time
CN111225003A (zh) 一种nfs节点配置方法和装置
CN118295973A (zh) 镜像文件处理方法、装置、设备及存储介质
CN109947704A (zh) 一种锁类型切换方法、装置及集群文件系统
CN115113798B (zh) 一种应用于分布式存储的数据迁移方法、系统及设备
CN118138601A (zh) 一种数据处理方法、分布式存储系统、设备及存储介质
CN112084141A (zh) 一种全文检索系统扩容方法、装置、设备及介质
CN106302733A (zh) 一种分布式集群融合nfs协议的实现方法及装置
US12038946B1 (en) Minimizing connection loss when changing database query engine versions
CN114461148B (zh) 一种对象存储方法、装置、系统、电子设备和存储介质
US8738581B1 (en) Using multiple clients for data backup

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19911168

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19911168

Country of ref document: EP

Kind code of ref document: A1