WO2012071712A1 - 一种云存储的数据存取的方法、装置及系统 - Google Patents
一种云存储的数据存取的方法、装置及系统 Download PDFInfo
- Publication number
- WO2012071712A1 WO2012071712A1 PCT/CN2010/079310 CN2010079310W WO2012071712A1 WO 2012071712 A1 WO2012071712 A1 WO 2012071712A1 CN 2010079310 W CN2010079310 W CN 2010079310W WO 2012071712 A1 WO2012071712 A1 WO 2012071712A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- file
- data
- cloud storage
- physical
- unit
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/12—Applying verification of the received information
- H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
Definitions
- the present invention relates to the field of cloud storage technologies, and in particular, to a method, device and system for data access of cloud storage. Background technique
- the existing storage architecture can be divided into two types: one is a proprietary architecture, such as DAS (Direct Attached Storage), SAN (Storage Area Network), and cloud access storage. Server (Network Access Server, NAS), etc.
- DAS Direct Attached Storage
- SAN Storage Area Network
- Server Network Access Server, etc.
- This kind of storage system is used exclusively by one party, which can provide users with good control, better reliability and performance, but its scalability is poor, and it is not suitable for large-scale deployment; users are also difficult in this mode.
- Flexible use of storage budgets (requires one-time purchase of storage devices), and as storage capacity increases, cost control will also face challenges.
- the other is a multi-party shared architecture, that is, a cloud storage architecture, which is classified into a private cloud and a public cloud according to its service scope.
- Cloud storage architecture is based on cloud technology (internet and intranet), providing users with storage space on-demand purchase, lease and on-demand provisioning services, usually provided by third parties (or third-party departments within the enterprise) including storage devices and specialized Maintenance personnel.
- third parties or third-party departments within the enterprise
- enterprises or departments within the enterprise
- the users of the above mentioned storage can be individuals, enterprises, or even departments or branches within the enterprise.
- data transmission mainly occurs on the Internet or intranet.
- the bandwidth of the network and various interferences in the actual environment will affect the data backup and archive to the cloud storage data center. And the speed at which data is returned from the data center, which affects storage space and data availability and service satisfaction.
- the strategy of processing the file to be stored before transmission (in fact, all the data to be stored can be converted into a file in some way) and then transmitting it to the cloud storage data center is mainly
- the first is to disassemble the file or not to disassemble it into smaller parts and then store it in a cloud storage data center.
- This method is characterized by storing data in a cloud storage data center. By disassembling files, and comparing and deleting duplicate data, the purpose of saving network transmission bandwidth and storage space is achieved.
- Typical solutions are cloud storage solutions such as IBM and CommVault.
- the speed of data archiving and backhaul for such methods is limited by the cloud storage data center network's allocatable bandwidth, because cloud storage data center ingress/egress bandwidth is always limited and often assigned to multiple connections to it. On top, the bandwidth allocated to a connection is often not ideal.
- the second type is to disassemble files into smaller parts and store them in multiple data centers one by one.
- This method has been disclosed by the Chinese patent CN 200910143245.9 "Architecture Method of Parallel System for Cloud Storage".
- the characteristics of this type of method are scattered and saved to multiple data centers by file splitting.
- multi-process parallel transmission and backhaul make full use of the bandwidth of multiple data centers and reduce the impact of network bandwidth on performance.
- the data storage server may be a cloud storage service data center belonging to one or more independent cloud storage service providers, which has the following limitations:
- the present invention aims to provide a method, device and system for data access of a cloud storage, which aims to solve the problem that the data archiving and returning speed of the existing cloud storage method is limited by the distributable bandwidth of the cloud storage data center network. , or the data after the disassembly is stored in the cloud storage data center, which is not conducive to the protection of data security and privacy.
- the present invention provides a method for data access of a cloud storage, the method comprising storing data and retrieving data, and the storing step of the data includes:
- the present invention provides an apparatus for data access of cloud storage, the apparatus comprising a data storage module for data storage and a data retrieval module for data retrieval.
- the data storage module includes: a file conversion unit, configured to convert a file to be stored into a set of data blocks to form a physical part of the file; a physical part sending unit, configured to send the physical part formed by the file conversion unit conversion file to a plurality of cloud storage data center storage;
- a logical part storage unit configured to save information that the physical part is restored to a file when the file conversion unit converts the file to form a physical part, and save the physical part of each data block in the cloud storage after the physical part sending unit sends the physical part Storage location information of the data center;
- the data retrieval module includes:
- a logic part obtaining unit configured to acquire a logical part of the file according to the file access request
- a physical part retrieval unit configured to retrieve the physicality of the file from the cloud storage data center according to the logical part acquired by the logical part acquiring unit section
- a file restoring unit configured to restore the physical part retrieved by the physical part retrieval unit to the file according to the logical part acquired by the logical part acquiring unit.
- the present invention also provides a system for data access of cloud storage, the system comprising a data storage module for data storage, a data retrieval module for data retrieval, and a cloud storage data center.
- the data storage module includes:
- a file conversion unit configured to convert a file to be stored into a set of data blocks to form a physical part of the file
- a physical part sending unit configured to send the physical part formed by the file conversion unit conversion file to a plurality of cloud storage data center storage
- a logical part storage unit configured to save information that the physical part is restored to a file when the file conversion unit converts the file to form a physical part, and save the physical part of each data block in the cloud storage after the physical part sending unit sends the physical part Storage location information of the data center;
- the data retrieval module includes:
- a logic part obtaining unit configured to acquire a logical part of the file according to the file access request
- a physical part retrieval unit configured to retrieve the physicality of the file from the cloud storage data center according to the logical part acquired by the logical part acquiring unit section
- a file restore unit configured to acquire, according to the logic part, a logical part acquired by the unit, The physical portion retrieved by the physical portion retrieval unit is restored to the file.
- the invention improves the access performance of the cloud storage data by converting and storing the files to be stored in a plurality of cloud storage data centers, thereby saving storage space and cloud transmission bandwidth, and enhancing data security.
- FIG. 1 is a flowchart of a method for data access of a cloud storage according to an embodiment of the present invention
- FIG. 2 is a schematic structural diagram of an apparatus for data access of a cloud storage according to an embodiment of the present invention
- FIG. 3 is a schematic structural diagram of a physical part sending unit according to an embodiment of the present invention
- FIG. 4 is a schematic structural diagram of a system for data access of a cloud storage according to an embodiment of the present invention. detailed description
- the embodiment of the present invention converts a file to be stored into a set of data blocks to form a physical part of the file, and saves a logical part of the file formed by the information of the physical part restored to the file, and transmits the physical part to the storage of the plurality of cloud storage data centers.
- the storage location information of each physical data block in the cloud storage data center is saved to a logical part; the logical part of the file is obtained when the file is retrieved, and the physical part of the file is retrieved from the cloud storage data center according to the logical part and restored to a file.
- an embodiment of the present invention provides a method for data access of a cloud storage, where the method includes a data storage step S100 and a data retrieval step S200;
- the data storage S100 specifically includes the following steps:
- Step S101 Convert the file to be stored into a set of data blocks, form a physical part of the file, and save a logical part of the file formed by the information of the physical part restored to the file;
- a file of a specified size (for example, 512 KB) is used to convert a file to be stored into a corresponding physical part data block, and a logic corresponding to the file is formed. section;
- the logical part of the file includes the information of the physical part of the file, the location information of the data block, the rules of the data block, and other rules.
- the logical part of the file may also include the attributes, access rights and check values of the file (such as MD5). Value, verify the accuracy of the content of the retrieved file) and other information;
- the file logical part information may be stored on the user local server or any storage server other than the cloud storage data center used by the file, such as an intermediate storage proxy server, etc.; Step S102: Transfer the physical part to multiple clouds Storage data center storage;
- the step of transmitting the physical part to the storage of the plurality of cloud storage data centers in the embodiment includes: randomly dispersing the physical part according to the user setting; and transmitting the physical part of the random distributed processing to the plurality of cloud storage data center storage in parallel ;
- each cloud storage data center does not limit the number of cloud storage data centers that store data; meanwhile, each cloud storage The data center is also not limited to storing one physical part of the file, that is: each cloud storage data center can store one or more physical parts of one file; in addition, multiple physical parts of one file can be saved in multiples without limitation. Cloud storage data center;
- Step S103 saving the storage location information of each data block of the physical part in the cloud storage data center to a logic part;
- the article can be converted into a set of physical part data blocks of a specified size according to a preset backup archiving strategy and plan, and the logical part of the file formed by the information of the physical part restored to the file is saved, and then the random rules and presets are stored according to the generated distributed storage.
- Cloud storage service access agreements such as authentication, payment billing records, etc., multi-process parallel distribution of physical part data blocks to a specified plurality of cloud storage data center storage, and storage of physical parts of each data block in the cloud storage data center The location information is saved to the formed logical part;
- the data retrieval step S200 specifically includes the following steps:
- Step S201 Acquire a logical part of the access file according to the file access request
- Step S202 retrieve the physical part of the access file from the cloud storage data center according to the logic part; Step S203: Restore the physical part to the access file according to the logical part of the file.
- the logical part of the file is first obtained, and the physical part of the file is determined according to the logical part of the file, and the data block is stored in the cloud storage data center, and accessed according to the preset cloud storage service.
- Agreements such as authentication, paid billing records, etc., retrieve the physical portion of the access file from the cloud storage data center, and restore the physical portion to an access file based on the logical portion.
- the divided data block size can be small enough, and if the random rules/algorithms of the data block are scattered, then each cloud storage Multiple parts of a file stored in a data center may be discontinuous and difficult to restore continuous information of the original file, or even continuous information of a part of the file.
- a cloud storage data center can contain multiple parts of a file, because each part after the disassembly is small enough, and the content of each disassembled part is not continuous, the data center management is reduced. The problem, the risk of data leakage, enhances the protection of user data security and privacy.
- an embodiment of the present invention provides an apparatus for data access of a cloud storage, where the apparatus includes a data storage module 20 for data storage and a data retrieval module 30 for data retrieval.
- the data storage module 20 includes:
- a file conversion unit 21 configured to convert a file to be stored into a set of data blocks to form a physical part of the file
- a physical part sending unit 22 configured to send the physical part formed by the file conversion unit 21 conversion file to a plurality of cloud storage data center storage;
- the logical part storage unit 23 is configured to save the information of the physical part restored to the file when the file conversion unit 21 converts the file to form the physical part, and save the physical part of each data block in the cloud after the physical part sending unit 22 sends the physical part.
- Central storage location information is configured to save the information of the physical part restored to the file when the file conversion unit 21 converts the file to form the physical part, and save the physical part of each data block in the cloud after the physical part sending unit 22 sends the physical part.
- the file conversion unit 21 may convert the file to be stored into a set of data blocks according to a preset backup archive policy and plan to form a physical part of the file, and the physical part transmitting unit 22 converts the file conversion unit 21
- the physical portion formed by the conversion file is sent to the plurality of cloud storage data center stores; when the file conversion unit 21 converts the file to form the physical portion, the logical portion storage unit 23 simultaneously saves the information of the physical portion restored to the file, and transmits the information at the physical portion transmitting unit 22
- the logical portion storage unit 23 stores the storage location information of the data blocks of the physical portion in the cloud storage data center.
- the physical portion transmitting unit 22 includes:
- the random decentralized processing sub-unit 221 is configured to perform random decentralized processing on the physical part formed by the file conversion unit 21 conversion file according to user settings;
- the parallel transmission sub-unit 222 is configured to transmit the physical part processed by the random decentralization processing sub-unit 221 into multiple cloud storage data center storages in parallel.
- the data retrieval module 30 includes:
- the logic part obtaining unit 31 is configured to obtain a logical part of the file according to the file access request, and the physical part retrieval unit 32 is configured to retrieve the physical part of the file from the cloud storage data center according to the logic part acquired by the logical part acquiring unit 31;
- the file restore unit 33 is configured to restore the physical portion retrieved by the physical portion retrieval unit 32 to a file according to the logical portion acquired by the logical portion acquisition unit 31.
- the logical part of the access file is obtained according to the file access request logic part obtaining unit 31, and the physical part content of the file and its location information in the cloud storage center are determined.
- the physical part retrieval unit 32 is based on the logical part.
- the logical part of the file acquired by the obtaining unit 31 retrieves the physical part of the access file from the cloud storage data center, and the file restoring unit 33 retrieves the physical part retrieval unit 32 according to the logical information of the file acquired by the logical part acquiring unit 31.
- the physical part of the file is restored to the accessed file.
- an embodiment of the present invention further provides a system for data access of a cloud storage, the system comprising a data storage module for data storage, a data retrieval module for data retrieval, and a cloud storage data center.
- the data storage module includes:
- a file conversion unit configured to convert the file to be stored into a set of data blocks to form a physical part of the file
- a physical part sending unit configured to send the physical part formed by the file conversion unit conversion file to the plurality of cloud storage data center storage
- a logical part storage unit configured to save information of a physical part restored to a file when the file conversion unit converts the file to form a physical part, and save the physical part of each data block in the cloud storage data center after the physical part sending unit sends the physical part location information.
- the data retrieval module includes:
- a logic part obtaining unit configured to acquire a logical part of the file according to the file access request
- a physical part retrieval unit configured to retrieve the physical part of the file from the cloud storage data center according to the logic part acquired by the logical part acquiring unit
- the file restore unit is configured to restore the physical part retrieved by the physical part back to the file according to the logical part obtained by the logic part.
- the physical part sending unit includes:
- a random decentralized processing sub-unit for forming a file conversion unit conversion file according to user settings
- the physical part is randomly dispersed
- the parallel transmission sub-unit is configured to concurrently transmit the physical part multi-process processed by the random decentralization processing sub-unit to the plurality of cloud storage data center storage.
- the cloud storage data center stores one or more physical portions of the file.
- the files may be distributed and stored, but are not limited to the number of storage servers.
- Each storage server is not necessarily limited to storing only one part of the file, that is, allowing multiple disassembled and converted parts of one file to be delivered to multiple
- a cloud storage service data center is saved, and a cloud storage service data center can also save multiple parts of a file, which is different from the content disclosed in the document CN 200910143245.9 "Architectural Method of Cloud Storage Parallel System", which can only save one part.
- the invention separately saves the files into different cloud storage data centers by converting the files into physical parts of the data blocks, thereby fully utilizing the bandwidth provided by the plurality of data centers to perform multi-process parallel file content transmission and returning, thereby accelerating the cloud storage service data. Access performance; At the same time, by splitting the file into smaller lengths, it is convenient to delete duplicate data between files and files, saving storage space and cloud transmission bandwidth; storing data according to preset data dispersion storage principle, reducing the cause Data center administrators have human error or ethical issues that pose a risk of data leakage.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Storage Device Security (AREA)
Description
一种云存储的数据存取的方法、 装置及系统
技术领域
本发明属于云存储技术领域， 特别涉及一种云存储的数据存取的方法、 装 置及系统。 背景技术
数据已经被证明是企业重要资产之一， 数据的高速增长使企业面临前所未 有的挑战。 同时， 瞬息万变的世界经济形势和激烈竟争带来的成本压力， 使企 业不得不考虑如何以降低 IT成本， 应对企业不断增长的存储需求。
现有的存储架构可以划分为两种： 一种是由一方专有的架构， 比如 DAS (Direct Attached Storage,直接附加存者)， SAN (Storage Area Network, 存者区云） 和云接入存储服务器（ Network Access Server, NAS )等。 这类存储体系由一方 独占使用， 可以提供给用户很好的控制权， 更好的可靠性和性能， 但是其扩展 性较差，不适用于大规模部署；用户在这种模式下也很难灵活使用存储预算（需 要一次性地投入购买存储设备） ， 随着存储容量的增加， 成本控制也将面临挑 战。
另一种是多方共享架构， 即云存储架构， 按照其服务范畴的不同， 分为私 有云（ private cloud )和公共云（ public cloud ) 。 云存储的体系结构基于云技术 ( internet和 intranet ) , 为用户提供存储空间按需购买、 租赁和按需配置服务， 该服务通常由第三方 （或企业内第三方部门）提供包括存储设备和专门维护人 员。 通过该存储服务， 企业（或企业内各部门）可以大幅降低其内部存储器的 需求和相应的管理成本， 以平衡急剧上升的存储需求和企业成本压力。 以上所 提存储的使用方可以是个人、 企业， 甚至企业内的部门或者分支机构等。
无论是公共云和私有云， 数据传输主要发生在互联网或企业内部网上， 网 络的带宽和实际环境中的各种干扰， 都会影响数据备份归档到云存储数据中心
和从数据中心回传数据的速度， 从而影响到存储空间和数据的可用性和服务满 意度。
目前， 已存在的云存储服务解决方案中， 在传输前处理待存储文件 （事实 上所有待存储的数据都可以以某种方法转换为文件 )和之后将其传输到云存储 数据中心的策略主要有两类：
第一类是文件拆解或者不拆解成更小部分， 然后存储到一个云存储数据中 心。 这类方法的特点是将数据存储到一个云存储数据中心。 通过文件拆解， 进 而比较删除重复的数据， 达到节省网络传输带宽和存储空间的目的， 典型的方 案如 IBM和 CommVault的云存储解决方案。 这类方法的数据归档和回传的速 度会受限于云存储数据中心网络可分配带宽， 因为云存储数据中心入口 /出口带 宽总是有限的而又常常被分配到与之相连的多个连接上， 分配到某一个连接上 的带宽往往不理想。
第二类是将文件拆解成更小部分后一一对应地存储到多个数据中心。 此方 法已经由中国专利 CN 200910143245.9 《云存储的并行系统的架构方法》公开。 这类方法的特征是通过文件分拆分散保存到多个数据中心上。 通过多进程地并 行发送和回传， 充分利用多数据中心的带宽， 降低网络带宽对性能的影响。 但 是因为限制了每个数据元与数据存储服务器一一对应， 该数据存储服务器在这 里可以是属于一个或者多个独立的云存储服务提供商的云存储服务数据中心， 使之有以下局限性：
1、 因为建立一个云存储数据中心需要巨额的投入，可用的云存储数据中心 往往有限。 由于每个数据元和数据存储中心一一对应， 这样将导致文件拆分后 的粒度比较大， 特别是对大文件。 过大的粒度不利于文件在归档到云存储服务 器前， 进行去重 （通过比较去掉文件内重复数据） ， 达到节省网络传输带宽和 空间的目的；
2、在一个数据中心存放过大的内容连续的部分文件，也不利于数据安全和 隐私性的保护。 一个典型的案例是数据中心管理员， 特别是超级管理员， 对所
有存放的数据访问没有限制， 其人为错误或职业操守问题均会导致数据泄漏的 风险， 造成企业的损失。 虽然该专利方法采用了加密的办法保护数据安全， 但 是随着硬件价格的不断下降和性能的快速提升， 数据加密的安全性正在接受着 考验。
因此， 有必要创立一种新的数据存储方法， 可以在一个云存储数据中心保 存一个数据的多个部分， 以解决上述存在的问题。 发明内容
本发明的目的在于提供一种云存储的数据存取的方法、 装置及系统， 旨在 解决现有云存储方法存在的数据归档和回传速度受限于云存储数据中心端网络 的可分配带宽， 或将拆解后的数据与——对应存储于云存储数据中心， 不利于 数据安全和隐私的保护的问题。
本发明提供了一种云存储的数据存取的方法， 所述方法包括数据的存储与 数据的取回， 所述数据的存储步骤包括：
将待存储文件转化为一组数据块， 形成文件物理部分， 并保存所述物理部 分还原成所述文件的信息形成的文件逻辑部分；
将所述物理部分传输到多个云存储数据中心存储；
将所述物理部分各数据块在所述云存储数据中心的存放位置信息保存到所 述逻辑部分；
所述数据的取回步骤包括：
根据文件访问请求获取所述文件的逻辑部分；
根据所述逻辑部分从所述云存储数据中心取回所述文件的物理部分； 根据所述逻辑部分将所述物理部分还原成所述文件。
本发明提供了一种云存储的数据存取的装置， 所述装置包括用于数据存储 的数据存储模块及用于数据取回的数据取回模块，
所述数据存储模块包括：
文件转化单元，用于将待存储文件转化为一组数据块，形成文件物理部分； 物理部分发送单元， 用于将所述文件转化单元转化文件形成的物理部分发 送至多个云存储数据中心存储；
逻辑部分存储单元， 用于在所述文件转化单元转化文件形成物理部分时保 存物理部分还原成文件的信息，以及在所述物理部分发送单元发送物理部分后， 保存物理部分各数据块在云存储数据中心的存放位置信息；
所述数据取回模块包括：
逻辑部分获取单元， 用于根据文件访问请求获取所述文件的逻辑部分； 物理部分取回单元， 用于根据所述逻辑部分获取单元获取的逻辑部分从云 存储数据中心取回所述文件的物理部分；
文件还原单元， 用于根据所述逻辑部分获取单元获取的逻辑部分， 将所述 物理部分取回单元取回的物理部分还原成所述文件。
本发明还提供了一种云存储的数据存取的系统，所述系统包括用于数据存 储的数据存储模块、 用于数据取回的数据取回模块及云存储数据中心，
所述数据存储模块包括：
文件转化单元，用于将待存储文件转化为一组数据块，形成文件物理部分； 物理部分发送单元， 用于将所述文件转化单元转化文件形成的物理部分发 送至多个云存储数据中心存储；
逻辑部分存储单元， 用于在所述文件转化单元转化文件形成物理部分时保 存物理部分还原成文件的信息，以及在所述物理部分发送单元发送物理部分后， 保存物理部分各数据块在云存储数据中心的存放位置信息；
所述数据取回模块包括：
逻辑部分获取单元， 用于根据文件访问请求获取所述文件的逻辑部分； 物理部分取回单元， 用于根据所述逻辑部分获取单元获取的逻辑部分从云 存储数据中心取回所述文件的物理部分；
文件还原单元， 用于根据所述逻辑部分获取单元获取的逻辑部分， 将所述
物理部分取回单元取回的物理部分还原成所述文件。
本发明通过将待存储文件转化后分散保存在多个云存储数据中心， 从而提 升了云存储数据的存取性能， 节省了存储空间和云传输带宽， 同时增强了数据 安全性。 附图说明
图 1是本发明实施例提供的云存储的数据存取的方法流程图；
图 2是本发明实施例提供的云存储的数据存取的装置结构示意图； 图 3是本发明实施例提供的物理部分发送单元的结构示意图；
图 4是本发明实施例提供的云存储的数据存取的系统结构示意图。 具体实施方式
为了使本发明的目的、 技术方案及优点更加清楚明白， 以下结合附图及实 施例， 对本发明进行进一步详细说明。 应当理解， 此处所描述的具体实施例仅 仅用以解释本发明， 并不用于限定本发明。
本发明实施例通过将待存储文件转化为一组数据块形成文件物理部分， 并 保存物理部分还原成文件的信息形成的文件逻辑部分， 将物理部分传输到多个 云存储数据中心存储的同时， 将物理部分各数据块在云存储数据中心的存放位 置信息保存到逻辑部分； 取回文件时获取文件的逻辑部分， 并根据逻辑部分从 云存储数据中心取回文件的物理部分还原成文件。
参见图 1 , 本发明实施例提供了一种云存储的数据存取的方法， 该方法包 括数据的存储步骤 S100与数据的取回步骤 S200;
其中， 数据的存储 S100具体包括以下步骤：
步骤 S101: 将待存储文件转化为一组数据块， 形成文件物理部分， 并保存 物理部分还原成文件的信息形成的文件逻辑部分；
文件转化方法在具体实施中可以有很多种， 包括按指定大小或按随机数划
分成定长或不定长的数据块； 在本实施例中， 采用指定大小 （例如， 512KB ) 划分的方法将待存储的文件转化为相应的物理部分数据块， 并形成与之相应的 文件的逻辑部分；
文件逻辑部分包括文件物理部分数据块组成信息、 数据块存放位置信息， 数据块组成规则等信息； 另外， 根据实际需要， 文件逻辑部分还可以包括文件 的属性、 访问权限和校验值（如 MD5 值， 验证取回文件内容的准确性）等信 息；
文件逻辑部分信息可以根据需要存放于用户本地服务器或者除了被该文件 使用的云存储数据中心之外的任意存储服务器上，如某中间存储代理服务器等； 步骤 S102: 将物理部分传输到多个云存储数据中心存储；
本实施例将物理部分传输到多个云存储数据中心存储的步骤具体包括： 根 据用户设置对物理部分进行随机分散处理； 将随机分散处理的物理部分多行程 并行传输到多个云存储数据中心存储；
在实际应用中， 对物理部分进行随机分散处理的方法有多种， 包括奇数位 数据块放置在云存储数据中心 1 ,偶数位数据块放置在云存储数据中心 2; 或者 根据可用的云存储数据中心的数量， 随机地抽取所有文件物理部分数据块放置 在指定的云存储数据中心上； 或者在将物理部分分散传输到多个云存储数据中 心存储前， 根据用户要求生成一个分散存储随机规则， 该规则生成后即可按该 规则将物理部分随机分散处理，分散传输到多个云存储数据中心进行分散存储； 本实施例不限制存储数据的云存储数据中心的数量； 同时， 每个云存储数 据中心也不限于存储文件的一个物理部分， 即： 每个云存储数据中心可以存储 一个文件的一个或多个物理部分； 另外， 一个文件的多个物理部分可以不受限 地保存在多个云存储数据中心中；
步骤 S103: 将物理部分各数据块在云存储数据中心的存放位置信息保存到 逻辑部分；
在实际应用中， 当客户选定了某个文件要存放到云存储数据中心后， 该文
件可以按照预置的备份归档策略与计划进行转化为一组指定大小的物理部分数 据块， 同时保存物理部分还原成文件的信息形成的文件逻辑部分， 之后按产生 的分散存储随机规则及预置的云存储服务访问协定，如认证，付费账单记录等， 多进程并行地分散发送物理部分数据块至指定的多个云存储数据中心存储， 并 将物理部分各数据块在云存储数据中心的存放位置信息保存到形成的逻辑部分 中；
数据的取回步骤 S200具体包括以下步骤：
步骤 S201 : 根据文件访问请求获取访问文件的逻辑部分；
步骤 S202: 根据逻辑部分从云存储数据中心取回访问文件的物理部分； 步骤 S203: 根据文件逻辑部分将物理部分还原成访问文件。
当收到外部文件访问请求后， 首先获取文件的逻辑部分， 并根据该文件逻 辑部分确定文件的物理部分数据块以及该数据块存放在云存储数据中心的位 置， 按照预置的云存储服务访问协定， 如认证， 付费账单记录等， 从云存储数 据中心取回访问文件的物理部分， 并根据该逻辑部分将该物理部分聚合还原成 访问文件。
在实际应用中， 因为文件物理部分的数据块大小可以在转化的时候设定， 所以划分后的数据块大小可以足够小， 并且如果数据块分散保存的随机规则 / 算法理想， 那么每个云存储数据中心上存放的文件的多个部分可以是不连续并 艮难还原出原文件连续信息的， 甚至是部分文件的连续信息。 另外， 虽然一 个云存储数据中心可以包含有一个文件的多个部分， 但是因为每个拆解转化后 的部分足够小， 且各个拆解转化部分的内容不连续， 从而降低了因数据中心管 操守问题， 导致数据泄漏的风险， 增强了用户数据安全和隐私性的保护。
本实施例在传输物理部分到多个云存储数据中心， 以及根据逻辑部分从云 存储数据中心取回物理部分时， 可以充分利用多个数据中心提供的带宽， 采用 多进程并行传输的方法， 从而极大地提升了云存储服务数据的存取性能。
参见图 2, 本发明实施例提供了一种云存储的数据存取的装置， 该装置包 括用于数据存储的数据存储模块 20及用于数据取回的数据取回模块 30。
其中， 数据存储模块 20包括：
文件转化单元 21 , 用于将待存储文件转化为一组数据块， 形成文件物理部 分；
物理部分发送单元 22, 用于将文件转化单元 21转化文件形成的物理部分 发送至多个云存储数据中心存储；
逻辑部分存储单元 23 , 用于在文件转化单元 21转化文件形成物理部分时 保存物理部分还原成文件的信息， 以及在物理部分发送单元 22发送物理部分 后， 保存物理部分各数据块在云存储数据中心的存放位置信息。
在对待存储的文件进行存储时，文件转化单元 21可以按照预置的备份归档 策略与计划， 将待存储文件转化为一组数据块， 形成文件物理部分， 物理部分 发送单元 22将文件转化单元 21转化文件形成的物理部分发送至多个云存储数 据中心存储； 在文件转化单元 21转化文件形成物理部分时，逻辑部分存储单元 23 同时保存物理部分还原成文件的信息， 以及在物理部分发送单元 22发送文 件转化单元 21转化文件形成的物理部分到多个云存储数据中心后，逻辑部分存 储单元 23保存物理部分各数据块在云存储数据中心的存放位置信息。
参见图 3 , 物理部分发送单元 22包括：
随机分散处理子单元 221 ,用于根据用户设置将文件转化单元 21转化文件 形成的物理部分进行随机分散处理；
并行传输子单元 222, 用于将随机分散处理子单元 221处理后的物理部分 多进程并行传输到多个云存储数据中心存储。
其中， 数据取回模块 30包括：
逻辑部分获取单元 31 , 用于根据文件访问请求获取文件的逻辑部分； 物理部分取回单元 32, 用于根据逻辑部分获取单元 31获取的逻辑部分从 云存储数据中心取回文件的物理部分；
文件还原单元 33 , 用于根据逻辑部分获取单元 31获取的逻辑部分， 将物 理部分取回单元 32取回的物理部分还原成文件。
当需要取回所存储的文件时，根据文件访问请求逻辑部分获取单元 31获取 访问文件的逻辑部分， 确定文件物理部分内容及其在云存储中心的位置信息， 物理部分取回单元 32根据逻辑部分获取单元 31获取的文件的逻辑部分从云存 储数据中心取回访问文件的物理部分，文件还原单元 33根据逻辑部分获取单元 31获取的文件的逻辑信息， 将物理部分取回单元 32取回的访问文件的物理部 分还原成访问的文件。
参见图 4, 本发明实施例还提供了一种云存储的数据存取的系统， 该系统 包括用于数据存储的数据存储模块、 用于数据取回的数据取回模块及云存储数 据中心。
其中， 数据存储模块包括：
文件转化单元，用于将待存储文件转化为一组数据块，形成文件物理部分； 物理部分发送单元， 用于将文件转化单元转化文件形成的物理部分发送至 多个云存储数据中心存储；
逻辑部分存储单元， 用于在文件转化单元转化文件形成物理部分时保存物 理部分还原成文件的信息， 以及在物理部分发送单元发送物理部分后， 保存物 理部分各数据块在云存储数据中心的存放位置信息。
其中， 数据取回模块包括：
逻辑部分获取单元， 用于根据文件访问请求获取文件的逻辑部分； 物理部分取回单元， 用于根据逻辑部分获取单元获取的逻辑部分从云存储 数据中心取回文件的物理部分；
文件还原单元， 用于根据逻辑部分获取单元获取的逻辑部分， 将物理部分 取回单元取回的物理部分还原成文件。
进一步地， 物理部分发送单元包括：
随机分散处理子单元， 用于根据用户设置将文件转化单元转化文件形成的
物理部分进行随机分散处理；
并行传输子单元， 用于将随机分散处理子单元处理后的物理部分多进程并 行传输到多个云存储数据中心存储。
进一步地， 云存储数据中心存储文件的一个或多个物理部分。
本发明实施例中， 文件可以分散存储但不必受限于存储服务器的数量， 每 个存储服务器也不必局限于仅存储文件的一个部分， 即允许一个文件的多个拆 解转化部分可以交付给多个云存储服务数据中心保存， 一个云存储服务数据中 心也可以保存一个文件的多个部分， 不同于文献 CN 200910143245.9 《云存储 的并行系统的架构方法》公开的内容， 只能保存一个部分。
本发明通过将文件转化为数据块物理部分分开保存至不同的云存储数据中 心， 进而充分利用多个数据中心提供的带宽进行多进程并行的文件内容发送与 回传， 加快了云存储服务数据的存取性能； 同时通过把文件分拆转化成更小长 度， 方便文件内和文件间重复数据的删除， 节省了存储空间和云传输带宽； 按 照预置的数据分散存放原则存储数据， 降低了因数据中心管理员的人为错误或 职业操守问题， 导致数据泄漏的风险。
以上所述仅为本发明的较佳实施例而已， 并不用以限制本发明， 凡在本发 明的精神和原则之内所作的任何修改、 等同替换和改进等， 均应包含在本发明 的保护范围之内。
Claims
1、一种云存储的数据存取的方法，所述方法包括数据的存储与数据的取回， 其特征在于，
所述数据的存储步骤包括：
将待存储文件转化为一组数据块， 形成文件物理部分， 并保存所述物理部 分还原成所述文件的信息形成的文件逻辑部分；
将所述物理部分传输到多个云存储数据中心存储；
将所述物理部分各数据块在所述云存储数据中心的存放位置信息保存到所 述逻辑部分；
所述数据的取回步骤包括：
根据文件访问请求获取所述文件的逻辑部分；
根据所述逻辑部分从所述云存储数据中心取回所述文件的物理部分； 根据所述逻辑部分将所述物理部分还原成所述文件。
2、如权利要求 1所述的云存储的数据存取的方法， 其特征在于， 所述将所 述物理部分传输到多个云存储数据中心存储的步骤具体包括：
根据用户设置对所述物理部分进行随机分散处理；
将所述随机分散处理的物理部分多进程并行传输到多个云存储数据中心存 储。
3、 如权利要求 1或 2所述的云存储的数据存取的方法， 其特征在于， 所述 逻辑部分存储于本地服务器， 或所述云存储数据中心以外的服务器。
4、 如权利要求 1或 2所述的云存储的数据存取的方法， 其特征在于， 所述 云存储数据中心存储所述文件的一个或多个物理部分。
5、如权利要求 1所述的云存储的数据存取的方法， 其特征在于， 所述逻辑 部分包括所述物理部分数据块的构成、 在所述云存储数据中心的存放位置和数 据块组成方式信息， 以及所述文件的属性、 访问权限和校验值信息。
6、一种云存储的数据存取的装置，所述装置包括用于数据存储的数据存储 模块及用于数据取回的数据取回模块， 其特征在于，
所述数据存储模块包括：
文件转化单元，用于将待存储文件转化为一组数据块，形成文件物理部分； 物理部分发送单元， 用于将所述文件转化单元转化文件形成的物理部分发 送至多个云存储数据中心存储；
逻辑部分存储单元， 用于在所述文件转化单元转化文件形成物理部分时保 存物理部分还原成文件的信息，以及在所述物理部分发送单元发送物理部分后， 保存物理部分各数据块在云存储数据中心的存放位置信息；
所述数据取回模块包括：
逻辑部分获取单元， 用于根据文件访问请求获取所述文件的逻辑部分； 物理部分取回单元， 用于根据所述逻辑部分获取单元获取的逻辑部分从云 存储数据中心取回所述文件的物理部分；
文件还原单元， 用于根据所述逻辑部分获取单元获取的逻辑部分， 将所述 物理部分取回单元取回的物理部分还原成所述文件。
7、 如权利要求 6所述的云存储的数据存取的装置， 其特征在于， 所述物理 部分发送单元包括：
随机分散处理子单元， 用于根据用户设置将所述文件转化单元转化文件形 成的物理部分进行随机分散处理；
并行传输子单元， 用于将所述随机分散处理子单元处理后的物理部分多进 程并行传输到多个云存储数据中心存储。
8、一种云存储的数据存取的系统，所述系统包括用于数据存储的数据存储 模块、 用于数据取回的数据取回模块及云存储数据中心， 其特征在于，
所述数据存储模块包括：
文件转化单元，用于将待存储文件转化为一组数据块，形成文件物理部分； 物理部分发送单元， 用于将所述文件转化单元转化文件形成的物理部分发 逻辑部分存储单元， 用于在所述文件转化单元转化文件形成物理部分时保 存物理部分还原成文件的信息，以及在所述物理部分发送单元发送物理部分后， 保存物理部分各数据块在云存储数据中心的存放位置信息；
所述数据取回模块包括：
逻辑部分获取单元， 用于根据文件访问请求获取所述文件的逻辑部分； 物理部分取回单元， 用于根据所述逻辑部分获取单元获取的逻辑部分从云 存储数据中心取回所述文件的物理部分；
文件还原单元， 用于根据所述逻辑部分获取单元获取的逻辑部分， 将所述 物理部分取回单元取回的物理部分还原成所述文件。
9、 如权利要求 8所述的云存储的数据存取的系统， 其特征在于， 所述物理 部分发送单元包括：
随机分散处理子单元， 用于根据用户设置将所述文件转化单元转化文件形 成的物理部分进行随机分散处理；
并行传输子单元， 用于将所述随机分散处理子单元处理后的物理部分多进 程并行传输到多个云存储数据中心存储。
10、 如权利要求 8或 9所述的云存储的数据存取的系统， 其特征在于， 所 述云存储数据中心存储所述文件的一个或多个物理部分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/000,569 US20120136960A1 (en) | 2010-11-29 | 2010-12-01 | Cloud Storage Data Access Method, Apparatus and System |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010564240 CN101997929A (zh) | 2010-11-29 | 2010-11-29 | 一种云存储的数据存取的方法、装置及系统 |
| CN201010564240.6 | 2010-11-29 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2012071712A1 true WO2012071712A1 (zh) | 2012-06-07 |
Family
ID=43787499
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2010/079310 WO2012071712A1 (zh) | 2010-11-29 | 2010-12-01 | 一种云存储的数据存取的方法、装置及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN101997929A (zh) |
| WO (1) | WO2012071712A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107851084A (zh) * | 2015-07-20 | 2018-03-27 | 索尼公司 | 分布式对象路由 |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102255974A (zh) * | 2011-08-24 | 2011-11-23 | 无锡中科方德软件有限公司 | 一种云计算服务器的云存储方法 |
| CN102307233A (zh) * | 2011-08-24 | 2012-01-04 | 无锡中科方德软件有限公司 | 一种云计算服务器的云计算方法 |
| CN102970317A (zh) * | 2012-03-27 | 2013-03-13 | 广州市国迈科技有限公司 | 一种私有云存储系统的安全性设计方案 |
| CN102968423A (zh) * | 2012-03-27 | 2013-03-13 | 广州市国迈科技有限公司 | 一种基于数据容器的高性能私有云存储节点文件系统设计 |
| US9594686B2 (en) * | 2012-05-05 | 2017-03-14 | Google Inc. | File handling within a cloud-based file system |
| CN103391301A (zh) * | 2012-05-09 | 2013-11-13 | 龙晟科技有限公司 | 云端资料库管理方法 |
| CN102882885B (zh) * | 2012-10-17 | 2015-07-01 | 北京卓微天成科技咨询有限公司 | 一种提高云计算数据安全的方法及系统 |
| CN103218574A (zh) * | 2013-04-09 | 2013-07-24 | 电子科技大学 | 一种基于哈希树的数据动态操作可验证性方法 |
| CN104216908A (zh) * | 2013-06-03 | 2014-12-17 | 上海普华诚信信息技术有限公司 | 互联网数据管理系统及其读写方法 |
| CN103338242B (zh) * | 2013-06-20 | 2016-01-13 | 华中科技大学 | 一种基于多级缓存的混合云存储系统和方法 |
| CN103490923B (zh) * | 2013-09-11 | 2016-09-14 | 中国联合网络通信集团有限公司 | 日志文件的读写方法、装置及系统 |
| CN104636677A (zh) * | 2013-11-07 | 2015-05-20 | 北京安码科技有限公司 | 一种基于隐私保护的数据安全存储方法 |
| CN103957252B (zh) * | 2014-04-28 | 2017-08-11 | 广州杰赛科技股份有限公司 | 云储存系统的日志获取方法及其系统 |
| CN105430074B (zh) * | 2015-11-13 | 2018-06-29 | 厦门大学 | 基于数据依赖性和访问量的云数据分配存储的优化方法及系统 |
| CN105653966A (zh) * | 2016-03-03 | 2016-06-08 | 山东超越数控电子有限公司 | 一种自主可信的云数据存储方法 |
| CN106131120A (zh) * | 2016-06-15 | 2016-11-16 | 青岛恒金源电子科技有限公司 | 一种涉及云盘的企业数据安全保护方法和系统 |
| CN106127066A (zh) * | 2016-06-15 | 2016-11-16 | 青岛恒金源电子科技有限公司 | 一种基于云盘的历史数据文件安全保护方法及系统 |
| CN106127083A (zh) * | 2016-06-15 | 2016-11-16 | 青岛恒金源电子科技有限公司 | 一种基于云盘的物流数据安全保护方法及系统 |
| CN106130963A (zh) * | 2016-06-15 | 2016-11-16 | 青岛恒金源电子科技有限公司 | 一种云盘数据文件安全保护方法和系统 |
| CN109992373B (zh) * | 2017-12-29 | 2021-04-09 | 华为技术有限公司 | 资源调度方法、信息管理方法和装置及任务部署系统 |
| CN113067892B (zh) * | 2021-04-09 | 2022-07-15 | 北京理工大学 | 一种使用公有云实现安全云同步和云存储的方法 |
| CN115242815A (zh) * | 2022-07-14 | 2022-10-25 | 山石网科通信技术股份有限公司 | 一种数据云存储方法、装置，管理服务器及用户终端 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101605148A (zh) * | 2009-05-21 | 2009-12-16 | 何吴迪 | 云存储的并行系统的架构方法 |
| CN101753617A (zh) * | 2009-12-11 | 2010-06-23 | 中兴通讯股份有限公司 | 一种云存储系统和方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1258921C (zh) * | 2002-07-30 | 2006-06-07 | 中兴通讯股份有限公司 | 分布式视频点播系统及其实现数据存储和访问的方法 |
-
2010
- 2010-11-29 CN CN 201010564240 patent/CN101997929A/zh active Pending
- 2010-12-01 WO PCT/CN2010/079310 patent/WO2012071712A1/zh active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101605148A (zh) * | 2009-05-21 | 2009-12-16 | 何吴迪 | 云存储的并行系统的架构方法 |
| CN101753617A (zh) * | 2009-12-11 | 2010-06-23 | 中兴通讯股份有限公司 | 一种云存储系统和方法 |
Non-Patent Citations (1)
| Title |
|---|
| TOM WHITE.: "Hadoop: The Definitive Guide.", SEBASTOPOL: O'REILLY MEDIA., June 2009 (2009-06-01), pages 44,63 - 67 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107851084A (zh) * | 2015-07-20 | 2018-03-27 | 索尼公司 | 分布式对象路由 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101997929A (zh) | 2011-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2012071712A1 (zh) | 一种云存储的数据存取的方法、装置及系统 | |
| US20120136960A1 (en) | Cloud Storage Data Access Method, Apparatus and System | |
| US8762743B2 (en) | Encrypting data objects to back-up | |
| US9223789B1 (en) | Range retrievals from archived data objects according to a predefined hash tree schema | |
| Li et al. | Secure deduplication with efficient and reliable convergent key management | |
| EP2883132B1 (en) | Archival data identification | |
| US8838968B2 (en) | System and method for virtual machine data protection in a public cloud | |
| CN101986651B (zh) | 远程存储的方法及其系统及客户端 | |
| US20140223576A1 (en) | Method and System for Improving the Data Security of Cloud Computing | |
| US10360237B2 (en) | Secure data replication | |
| WO2014183708A1 (zh) | 一种实现分布式文件系统块存储的方法及系统 | |
| US20120134494A1 (en) | Data Control Method of Cloud Storage | |
| US8719923B1 (en) | Method and system for managing security operations of a storage server using an authenticated storage module | |
| CN104641650B (zh) | 在数据存储子系统中的源引用复制 | |
| US11005663B2 (en) | Secure audit scheme in a distributed data storage system | |
| US9451024B2 (en) | Self-organizing disk (SoD) | |
| CN108259585A (zh) | 呼叫中心录音云存储方法、系统、设备及存储介质 | |
| Wu et al. | Mb-ehr: A multilayer blockchain-based ehr | |
| US9231957B2 (en) | Monitoring and controlling a storage environment and devices thereof | |
| JP5951702B2 (ja) | ファイルシステム、秘密分散サーバ、ファイル管理方法及びプログラム | |
| CN103037031A (zh) | 一种iSCSI目标器的IP地址管理方法 | |
| GB2496258A (en) | Encrypting data objects to back-up | |
| Verma et al. | Deduplication in encrypted data: a comprehensive review | |
| Nandhini et al. | A review of hilevel authorized deduplication method for cloud storage system | |
| Birhade et al. | Deduplication of Cloud |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WWE | Wipo information: entry into national phase |
Ref document number: 13000569 Country of ref document: US |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 10860254 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 10860254 Country of ref document: EP Kind code of ref document: A1 |