WO2012134017A1 - 클라우드 스토리지 시스템에서 리소스를 고려한 자료분배방법 및 장치 - Google Patents

클라우드 스토리지 시스템에서 리소스를 고려한 자료분배방법 및 장치 Download PDF

Info

Publication number
WO2012134017A1
WO2012134017A1 PCT/KR2011/008579 KR2011008579W WO2012134017A1 WO 2012134017 A1 WO2012134017 A1 WO 2012134017A1 KR 2011008579 W KR2011008579 W KR 2011008579W WO 2012134017 A1 WO2012134017 A1 WO 2012134017A1
Authority
WO
WIPO (PCT)
Prior art keywords
sub
objects
storage device
physical storage
hash value
Prior art date
Application number
PCT/KR2011/008579
Other languages
English (en)
French (fr)
Inventor
이어형
김미점
김효민
박창식
황진경
Original Assignee
(주)케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)케이티 filed Critical (주)케이티
Publication of WO2012134017A1 publication Critical patent/WO2012134017A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Definitions

  • the present invention relates to a cloud object storage system. Specifically, the present invention relates to data distribution and data storage methods in a cloud object storage system.
  • Cloud computing is based on virtualization technology as a form of computing that can provide various IT resources to users using the Internet.
  • storage services are cloud storage or data storage.
  • Cloud storage refers to storage that can provide storage services through a network. Such definitions of cloud storage may include more than storage services, as interpreted.
  • Cloud storage has the advantage of being massively scalable, not fixed in geographic location, and easy to apply to applications based on commercial systems.
  • Examples of current cloud storage offerings include Amazon's S3, Nirvanix's Rackspace, and Hosting's Mosso cloud division.
  • Cloud storage technology uses a technology that integrates and manages physical heterogeneous storage devices into a single logical virtualized storage pool through software that provides virtualization functions or separate hardware equipment so that storage can be allocated and used as needed.
  • cloud storage technologies can increase utilization of storage resources, resulting in cost savings. It can also provide easy expansion and availability of storage.
  • Cloud storage technology uses multiple storage pools as one storage pool. However, since each storage in the storage pool has different performance depending on the capacity situation, it is necessary to differentiate and manage each storage resource.
  • the number of times of writing to storage A having 20 GB of storage and storage B having 100 GB of storage can be differentiated in a ratio of 1: 5, but the data is 1: 5 according to the capacity balance of the storage device. Can not be distributed and stored. As a result, after 20 GB of files are stored in the 20 GB storage A, objects that attempt to save to the storage A cannot be stored.
  • a data distribution method considering resources in a cloud storage system may include: uniformly dividing an object to be transmitted into N sub-objects (N being a natural number); Assigning an association between the sub-objects and the object; Setting a file name to distinguish that the sub_objects have been divided from the object; Setting metadata based on file names of the sub-objects; And distributing and transmitting the sub_objects to the physical storage device so as to be proportional to the weight of each physical storage device constituting the cloud storage system by referring to the metadata.
  • data can be distributed according to resources of each storage constituting the cloud storage system. As a result, it is possible to discriminate and manage each storage capacity situation.
  • FIG. 1 illustrates an example of a cloud storage system that provides a cloud storage service.
  • FIG. 2 illustrates a difference between block-based storage and object-based storage systems among cloud storage systems.
  • FIG. 3 illustrates an example of distributing data according to resources of a data center in a cloud object-based storage system according to an exemplary embodiment of the present invention.
  • FIG. 4 illustrates a flowchart in which a weight is set according to a resource of a data center and data is distributed so as to correspond to a resource of a data center.
  • FIG. 5 illustrates a flowchart in which a user is weighted according to a resource of a data center and data is distributed so as to correspond to a resource of a data center.
  • FIG. 6 is a block diagram of a data distribution device considering resources in a cloud storage system according to an embodiment of the present invention.
  • a data distribution method considering resources in a cloud storage system may include: uniformly dividing an object to be transmitted into N sub-objects (N is a natural number); Associating the sub_objects with a hash value equal to the hash value of the object; Storing the sub-objects in the same logical virtual storage device; Setting a file name to distinguish that the sub_objects have been divided from the object; Generating a second hash value for classifying a physical storage device based on the file names of the sub_objects, and setting the metadata based on the second hash value; And distributing the sub-objects to the physical storage device in proportion to the weight of the physical storage device by referring to the metadata.
  • a partition unit for uniformly dividing the object to be transmitted into N sub-objects (N is a natural number);
  • An association unit which gives an association to the sub_objects by giving a hash value equal to the hash value of the object;
  • a storage unit to store the sub-objects in the same logical virtual storage device;
  • a naming unit for setting a file name to distinguish the sub-objects from the object;
  • a controller configured to generate a second hash value for classifying a physical storage device based on file names of the sub_objects, and to set the metadata based on the second hash value;
  • a distribution unit distributing the sub-objects to the physical storage device in proportion to the weight of the physical storage device by referring to the metadata.
  • FIG. 1 illustrates an example of a cloud storage system that provides a cloud storage service.
  • the cloud storage system may include geographically dispersed data centers 110, 120, and 130.
  • the cloud storage system considers all of the multiple data centers 110, 120, 130 as one large storage. In this case, the cloud storage system can add and remove storage devices at any time for scalability.
  • the data center may be comprised of mass storage and servers that provide cloud storage services to clients 101, 102, and 103.
  • cloud storage services include data sharing, data backup, storage, and data co-processing.
  • Clients 101, 102, and 103 can access cloud storage services freely from anywhere in the world. Clients 101, 102, 103 may use the cloud storage service even if they do not have or know information about the resources of the data centers 110, 120, 130, synchronization between the data centers 110, 120, 130, and the like. There are advantages to it.
  • Cloud storage technologies include block-based storage technology and cloud object-based storage database technology.
  • the basic difference between block-based storage and object-based storage systems is that in block-based storage systems, users create objects as collections of blocks containing data and metadata using protocols that communicate with the block.
  • Cloud object-based storage systems manage variable metadata and related metadata that provides system-level object information.
  • the user communicates with the object and associated metadata.
  • block storage can be virtualized to be stored and managed as logical objects, providing high performance, high scalability, data security, and platform-independent data sharing.
  • the object is a logical data storage unit stored in the storage and may include a data access method, data property information, and data security method.
  • object-based storage accessing objects directly from the storage can improve system performance and provide expansion without compromising system performance. It also provides the ability to securely share objects across heterogeneous platforms by using an object access interface that is independent of the metadata for the object.
  • the object-based storage file system separates a portion of performing logical data management on files and directories from a block-based file system and a portion of physical storage management such as allocating and mapping data blocks to a disk. do.
  • the physical storage management is performed in object-based storage, and the existing block-based interface is changed to an object-based interface.
  • the storage management part can reduce the workload of the file system server and share data independent of the physical structure of the file system among clients. You can also set separate security policies for logical objects stored in object-based storage.
  • FIG. 3 illustrates an example of distributing data according to resources of a data center in a cloud object-based storage system according to an exemplary embodiment of the present invention.
  • FIG. 3 illustrates an embodiment in which data is distributed to meet the capacity of an object server constituting a data center.
  • each storage device is given a weight (hereinafter, also used in the same sense) according to the capacity. Then, the weight of each storage device in the metadata is adjusted according to the weight value. Storage devices with higher weights in metadata are selected and used more frequently than storage devices with low weights.
  • metadata When storing objects in a cloud object-based storage system, metadata serves as a map to determine which storage device to store the object. To this end, metadata is preconfigured when building an object-based storage system.
  • the proxy server which manages the metadata and manages the metadata to connect the client and the object server according to the metadata is based on the weight of each object server when transmitting the object to each object server. To distribute the previously divided objects.
  • the object to be transmitted is first divided into a specified capacity (K). It is effective to specify the designated capacity (K) as the value of the average usage of the objects used throughout the cloud storage system statistically divided by the total weight of the total storage. This ensures that the average use of objects is evenly distributed across the entire storage within the cloud storage system. Average usage of cloud storage systems can be predicted by user testing in advance.
  • the object when a 60 GByte object is to be transmitted, the object is divided into a specified capacity (K).
  • K a specified capacity
  • the 60 GByte object is divided into six Sub_objects.
  • file names are created in the divided sub-objects.
  • consistency is easily identified to easily identify the association between the entire object and the sub_objects.
  • the n sub_objects set the file name in the form of object_name_1, object_name_2, object_name_3, ... object_name_n, respectively. This can be effectively collectively collected in the cloud storage system afterwards.
  • the divided sub_object is only by the file name of the divided sub_object, and is stored in the same logical virtual storage device to facilitate collection.
  • the divided sub-objects are stored in the object servers 310, 320, 330, and 340, which are different physical storage devices, according to the hash value generated based on the file name of the sub_object.
  • the process is collected and made into an object as follows.
  • a user requests an object, it requests sub_objects having the same hash value as the object requested by the user in the same logical virtual storage device.
  • object_name_1, object_name_2, object_name_3, ... object_name_n are collected and transmitted to the user continuously, and the user receives object_name_1, object_name_2, object_name_3, ... object_name_n, and stores them as object_name.
  • FIG. 4 illustrates a flowchart in which a weight is set according to a resource of a data center and data is distributed so as to correspond to a resource of a data center.
  • the system manager evenly divides the object to be transmitted into n units (S410). See the embodiment of FIG. 3 for a method of dividing an object.
  • An association is provided between each sub_object divided into n pieces and the entire object (S420).
  • a hash value equal to the hash value of the entire object may be assigned to the sub_object.
  • a file name of each of the divided sub_objects is generated (S430).
  • the file names of the sub_objects divided in one object are set to the same part to give consistency.
  • the partitioned sub-objects are all stored in the same logical virtual storage device (eg, container). For example, when the name of the entire object is object_meeting, the names of the sub_objects are set to object_meeting_1, object_meeting_2 ..., object_meeting_n so that the object can be easily identified from which object the sub_objects are divided.
  • a hash value is generated based on the file names of the divided sub_objects (S440). Since the file names of each sub-object are all different, the hash value of each sub-object has a different value.
  • Each sub-object is transmitted to each object server according to the weight of the physical storage device, which is a physical storage device, using metadata having different hash values.
  • FIG. 5 illustrates a flowchart in which a user is weighted according to a resource of a data center and data is distributed so as to correspond to a resource of a data center.
  • the sub-objects having the same hash value as the hash value of the object are detected by the logical virtual storage device (S520).
  • the sub_objects divided from the object may be grasped from the detected file names of the sub_objects.
  • FIG. 6 is a block diagram of a data distribution device considering resources in a cloud storage system according to an embodiment of the present invention.
  • the data distribution device includes a divider 610, an association 620, a naming unit 630, a controller 640, and a dispersion unit 650.
  • the divider 610 uniformly divides the object to be transmitted into N sub-objects (N is a natural number).
  • the capacity of the divided sub_object may be statistically set to a value obtained by dividing the average usage of the objects used in the entire cloud storage system by the total weight of each physical storage device constituting the cloud storage system.
  • the average usage of objects used in the entire cloud storage system can be set through user tests.
  • the association unit 620 gives the sub_objects the same hash value as the hash value of the object, thereby giving the association between the object and the sub_object.
  • the partitioned sub-objects may be stored in the same logical virtual storage device using the hash value.
  • the naming unit 630 sets a file name to distinguish that the sub-objects are divided from the object. For an example of setting a file name, refer to the example of FIG. 3.
  • the controller 640 generates a second hash value based on the file names of the sub_objects. Since the file names of the sub_objects are all different, the second hash values are all set differently. As a result, a physical storage device (eg, an object server) in which the sub-objects are stored may be set using the second hash value.
  • a physical storage device eg, an object server
  • the distribution unit 650 distributes the sub_objects to the physical storage device in proportion to the weight of the physical storage device by referring to the metadata set by the controller 640.
  • the weight of the sub_object to be stored for each physical storage device may be adjusted according to the metadata set using the second hash value.
  • the present invention may be implemented by storing computer readable codes in a computer readable storage medium.
  • the computer readable storage medium includes all kinds of storage devices for storing data that can be read by a computer system.
  • Examples of computer readable storage media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like.
  • the computer readable storage medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 클라우드 스토리지 시스템에서 리소스를 고려한 자료분배방법에 관한 것이다. 본 발명의 바람직한 일 실시예에서는 전송할 오브젝트를 서브_오브젝트들로 균일하게 분할하여, 서브_오브젝트들과 오브젝트 간에 연관성을 부여한다. 이후, 연관성이 부여된 메타데이터를 참고하여 클라우드 스토리지 시스템을 구성하는 각 물리적 저장장치의 가중치에 비례하도록, 서브_오브젝트들을 물리적 저장장치로 분산하여 전송한다.

Description

클라우드 스토리지 시스템에서 리소스를 고려한 자료분배방법 및 장치
본 발명은 클라우드 오브젝트 스토리지 시스템에 관한 것이다. 구체적으로 클라우드 오브젝트 스토리지 시스템에서 자료 분산 및 자료 저장방법에 관한 것이다.
클라우드 컴퓨팅은 인터넷을 이용하여 사용자에게 다양한 IT 자원을 제공할 수 있는 컴퓨팅 형태로 가상화 기술을 기반으로 한다. 클라우드 컴퓨팅에서 제공하는 서비스 중에서 스토리지 서비스는 클라우드 스토리지 또는 Data storage
as a Service 또는 Storage as a Service로 표현할 수 있다.
클라우드 스토리지는 네트워크를 통하여 스토리지 서비스를 제공할 수 있는 스토리지를 의미한다. 이러한 클라우드 스토리지에 대한 정의는 해석하기에 따라 스토리지 서비스 이상을 포함할 수도 있다.
클라우드 스토리지는 대규모 확장이 가능하고, 지리적 위치에 고정되지 않으며, 상용 시스템을 기반으로 하여 애플리케이션에 적용하기 쉬운 이점이 있다. 현재 클라우드 스토리지를 제공하는 예로는 Amazon의 S3, Nirvanix의 Rackspace, Hosting의 Mosso cloud division 등을 들 수 있다.
클라우드 스토리지 기술은 가상화 기능을 제공하는 소프트웨어 또는 별도의 하드웨어 장비를 통하여 물리적인 이기종 스토리지 장치를 하나의 논리적인 가상화 스토리지 풀로 통합하여 관리하는 기술을 이용하여 필요에 따라 스토리지를 할당하여 사용할 수 있도록 한다.
이러한 클라우드 스토리지 기술은 스토리지 자원에 대한 활용률을 높일 수 있으며 이로 인한 비용 절감을 가져올 수 있다. 또한 스토리지의 손쉬운 확장과 가용성을 제공할 수 있다.
클라우드 스토리지 기술에서는 복수 개의 스토리지를 하나의 스토리지 풀로 이용한다. 그러나 스토리지 풀을 구성하는 각각의 스토리지는 용량 상황에 따라 다른 성능을 보이므로, 각 스토리지의 리소스에 따라 차별을 두어 관리가 필요하다.
현재는 각 스토리지의 리소스 비중에 따라 서버에서 각 스토리지에 라이트(Write)하는 회수를 차별화할 수는 있으나, 각 스토리지의 리소스에 맞추어 데이터를 분산시킬 수 없는 문제점이 있다.
구체적인 예를 들면, 20GB의 용량을 지닌 스토리지 A와 100GB의 용량을 지닌 스토리지 B에 각각 라이트하는 회수는 1: 5의 비율로 차별화할 수 있으나, 저장장치의 용량 밸런스에 맞춰 데이터를 1:5로 분산하여 저장할 수 없다. 그 결과 20GB 용량의 스토리지 A에 20GB의 파일이 저장된 이후에는 스토리지 A로 저장을 시도하는 오브젝트들은 저장을 수행할 수 없게 된다.
본 발명에서는 클라우드 스토리지 시스템을 구성하는 각 스토리지의 리소스에 따라 데이터를 분배함으로써 이상과 같은 문제점을 해결하고자 한다.
본 발명의 바람직한 일 실시예로서, 클라우드 스토리지 시스템에서 리소스를 고려한 자료분배방법은 전송할 오브젝트를 N개(N은 자연수)의 서브_오브젝트들로 균일하게 분할하는 단계; 상기 서브_오브젝트들과 상기 오브젝트 간에 연관성을 부여하는 단계; 상기 서브_오브젝트들이 상기 오브젝트로부터 분할되었음을 구별할 수 있도록 파일명을 설정하는 단계; 상기 서브_오브젝트들의 파일명을 기초로 메타데이터를 설정하는 단계; 및 상기 메타데이터를 참고하여 상기 클라우드 스토리지 시스템을 구성하는 각 물리적 저장장치의 가중치에 비례하도록, 상기 서브_오브젝트들을 상기 물리적 저장장치로 분산하여 전송하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에서는 클라우드 스토리지 시스템을 구성하는 각 스토리지의 리소스에 맞추어 데이터를 분산시킬 수 있다. 이로써, 각각의 스토리지 용량 상황에 따라 차별을 두어 관리가 가능하다.
도 1 은 클라우드 스토리지 서비스를 제공하는 클라우드 스토리지 시스템의 일 예를 도시한다.
도 2 는 클라우드 스토리지 시스템 중 블록 기반 스토리지와 객체기반 스토리지 시스템의 차이를 도시한다.
도 3 은 본 발명의 바람직한 일 실시예로서, 클라우드 객체기반 스토리지 시스템에서 데이터센터의 리소스에 따라 데이터를 분배하는 일 예를 도시한다.
도 4 는 본 발명의 바람직한 일 실시예로서, 데이터센터의 리소스에 따라 가중치가 설정되고, 그에 대응하도록 데이터가 분배되는 흐름도를 도시한다.
도 5 는 본 발명의 바람직한 일 실시예로서, 사용자가 데이터센터의 리소스에 따라 가중치가 설정되고, 그에 대응하도록 데이터가 분배되는 흐름도를 도시한다.
도 6은 본 발명의 바람직한 일 실시예로서, 클라우드 스토리지 시스템에서 리소스를 고려한 자료분배장치의 구성도를 도시한다.
본 발명의 또 다른 바람직한 일 실시예로서, 클라우드 스토리지 시스템에서 리소스를 고려한 자료분배방법은 전송할 오브젝트를 N개(N은 자연수)의 서브_오브젝트들로 균일하게 분할하는 단계; 상기 서브_오브젝트들에게 상기 오브젝트의 해쉬값과 동일한 해쉬값을 부여하여 연관성을 부여하는 단계; 상기 서브_오브젝트들을 동일한 논리적 가상 저장장치에 저장하는 단계; 상기 서브_오브젝트들이 상기 오브젝트로부터 분할되었음을 구별할 수 있도록 파일명을 설정하는 단계; 상기 서브_오브젝트들의 파일명을 기초로 물리적 저장장치를 분별하기 위한 제 2 해쉬값을 생성하고, 상기 제 2 해쉬값을 기초로 상기 메타데이터를 설정하는 단계; 및 상기 메타데이터를 참고하여 상기 서브_오브젝트들을 물리적 저장장치로 물리적 저장장치의 가중치에 비례하도록 분산하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 클라우드 스토리지 시스템에서 리소스를 고려한 자료분배장치는 전송할 오브젝트를 N개(N은 자연수)의 서브_오브젝트들로 균일하게 분할하는 분할부; 상기 서브_오브젝트들과 상기 오브젝트 간에 연관성을 부여하는 연관부; 상기 서브_오브젝트들이 상기 오브젝트로부터 분할되었음을 구별할 수 있도록 파일명을 설정하는 작명부; 상기 서브_오브젝트들의 파일명을 기초로 메타데이터를 설정하는 제어부; 및 상기 메타데이터를 참고하여 상기 클라우드 스토리지 시스템을 구성하는 각 물리적 저장장치의 가중치에 비례하도록, 상기 서브_오브젝트들을 상기 물리적 저장장치로 분산하는 분산부;를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 전송할 오브젝트를 N개(N은 자연수)의 서브_오브젝트들로 균일하게 분할하는 분할부; 상기 서브_오브젝트들에게 상기 오브젝트의 해쉬값과 동일한 해쉬값을 부여하여 연관성을 부여하는 연관부; 상기 서브_오브젝트들을 동일한 논리적 가상 저장장치에 저장하는 저장부; 상기 서브_오브젝트들이 상기 오브젝트로부터 분할되었음을 구별할 수 있도록 파일명을 설정하는 작명부; 상기 서브_오브젝트들의 파일명을 기초로 물리적 저장장치를 분별하기 위한 제 2 해쉬값을 생성하고, 상기 제 2 해쉬값을 기초로 상기 메타데이터를 설정하는 제어부; 및 상기 메타데이터를 참고하여 상기 서브_오브젝트들을 물리적 저장장치로 물리적 저장장치의 가중치에 비례하도록 분산하는 분산부;를 포함하는 것을 특징으로 한다.
이하 첨부된 도면들을 참조하여 본 발명의 실시예들을 설명한다. 하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
도 1 은 클라우드 스토리지 서비스를 제공하는 클라우드 스토리지 시스템의 일 예를 도시한다.
도 1 을 참고하면, 클라우드 스토리지 시스템은 지형적으로 분산되어 있는 데이터 센터들(110, 120, 130)을 포함할 수 있다. 클라우드 스토리지 시스템은 다수의 데이터 센터들(110, 120, 130) 전체를 하나의 큰 저장소로 간주한다. 이 경우 클라우드 스토리지 시스템은 확장성을 위해 언제든지 저장장치를 추가 및 삭제할 수 있다.
데이터 센터는 클라이언트들(101, 102, 103)에게 클라우드 스토리지 서비스를 제공하는 대용량 스토리지와 서버들로 구성될 수 있다. 클라우드 스토리지 서비스의 예로는 데이터 공유, 데이터 백업, 저장 및 데이터 공동 처리 등이 있다.
클라이언트들(101, 102, 103)은 전 세계 어느 곳에서든지 자유롭게 접속하여 클라우드 스토리지 서비스를 이용할 수 있다. 클라이언트들(101, 102, 103)은 데이터 센터들(110, 120, 130)의 리소스, 데이터 센터들(110, 120, 130) 간의 동기화 등에 대한 정보가 없거나 알지 못하는 경우에도, 클라우드 스토리지 서비스를 이용할 수 있는 장점이 있다.
도 2 는 블록 기반 스토리지와 객체기반 스토리지의 차이를 도시한다.
클라우드 스토리지 기술에는 블록기반 스토리지 기술과 객체기반 스토리지(Cloud object-based storage database) 기술이 있다. 블록 기반 스토리지와 객체기반 스토리지 시스템의 기본적인 차이는 블록 기반 스토리지 시스템에서는 사용자가 블록과 통신하는 프로토콜을 사용하여 데이터와 메타데이터가 포함된 블록의 컬렉션으로 객체를 작성한다는 점이다.
반면에 클라우드 객체기반 스토리지 시스템에서는 가변 크기 객체와 시스템 레벨의 객체 정보를 제공하는 관련 메타데이터를 관리한다. 또한, 사용자가 객체 및 관련 메타데이터와 통신한다.
객체기반 스토리지에서는 블록 스토리지를 가상화하여 논리적인 객체로 저장하고 관리할 수 있도록 함으로써 고성능, 고확장성, 데이터 보안, 플랫폼 독립적인 데이터 공유 등을 제공할 수 있다. 이 경우 객체는 스토리지에 저장되는 논리적인 데이터 저장 단위로 데이터 접근 방법, 데이터 속성 정보, 데이터 보안 방법 등을 포함할 수 있다.
따라서 객체기반 스토리지에서는 객체를 스토리지로부터 직접 접근함으로써 시스템 성능을 향상시킬 수 있고 시스템 성능의 저하 없이 확장을 제공할 수 있다. 또한 객체에 대한 메타데이터에 독립적인 객체 접근 인터페이스를 사용함으로써 이기종 플랫폼에서 객체를 안전하게 공유할 수 있는 특성을 제공한다.
도 2를 참고하면, 객체기반 스토리지 파일 시스템은 블록 기반의 파일 시스템에서 파일과 디렉토리에 대한 논리적인 데이터 관리를 수행하는 부분과 디스크에 데이터 블록을 할당하고 매핑하는 것과 같은 물리적인 스토리지 관리 부분을 분리한다. 그리고, 물리적인 스토리지 관리 부분을 객체기반 스토리지에서 수행하도록 하고 기존의 블록 기반 인터페이스를 객체기반 인터페이스로 변경한다.
이렇게 스토리지 관리 부분을 객체기반 스토리지에서 수행하도록 함으로써 파일 시스템 서버의 작업 부하를 줄일 수 있으며, 클라이언트들 간에 파일 시스템의 물리적인 구조에 독립적인 데이터 공유가 가능하다. 또한 객체기반 스토리지에 저장되는 논리적인 객체에 대한 별도의 보안 정책을 설정할 수도 있다.
도 3 은 본 발명의 바람직한 일 실시예로서, 클라우드 객체기반 스토리지 시스템에서 데이터센터의 리소스에 따라 데이터를 분배하는 일 예를 도시한다.
도 3에서는 특히, 데이터 센터를 구성하고 있는 오브젝트 서버의 용량에 부합하도록 데이터를 분산시키는 일 실시예를 제시하고 있다. 본 발명의 바람직한 일 실시예에서는, 각 저장장치들은 용량에 따라 가중치(이하, Weight도 동일한 의미로 사용)가 부여된다. 이후, 가중치 값에 따라 메타데이터에서 각 저장장치들이 차지하는 비중을 조절한다. 메타데이터에서 가중치 값이 높게 부여된 저장장치는 가중치 값이 낮게 부여된 저장장치보다 보다 자주 선택되어 많이 사용된다.
메타데이터는 클라우드 객체기반 스토리지 시스템에서 객체를 저장할 때, 객체를 어떤 저장장치에 저장할지를 결정하는 지도 역할을 수행한다. 이를 위해, 메타데이터는 객체기반 스토리지 시스템을 구축할 때 미리 구성된다.
본 발명의 바람직한 일 실시예에서는 또한 클라이언트와 통신을 주도하며 메타데이터를 관리하여 메타데이터에 맞게 클라이언트와 오브젝트 서버를 연결해 주는 프록시 서버에서 각 오브젝트 서버들로 오브젝트를 전송할 때 각 오브젝트 서버들의 가중치에 기초하여 사전에 분할된 오브젝트를 분배한다.
이를 위해, 먼저 전송할 오브젝트를 지정된 용량(K)으로 분할한다. 지정된 용량(K)은 통계적으로 클라우드 스토리지 시스템 전체에서 사용하는 오브젝트의 평균사용량을 전체 저장장치의 가중치 총합으로 나눈 값에 가깝게 지정하는 것이 효과적이다. 이로써 오브젝트를 평균적으로 사용하는 용량이 클라우드 스토리지 시스템 내의 전체 저장장치에 골고루 분산이 가능하기 때문이다. 클라우드 스토리지 시스템의 평균사용량은 사전에 사용자 테스트를 거쳐 예측이 가능하다.
도 3 을 참고하면, 60GByte의 오브젝트를 전송하고자 할 때, 지정된 용량(K)으로 분할한다. 지정된 용량(K)을 10GByte로 설정한 경우, 60GByte의 오브젝트는 6개의 서브_오브젝트(Sub_object)로 분할된다.
6개로 분할된 10GByte 용량의 각 서브_오브젝트와 60GByte의 전체 오브젝트 간에 연관성을 부여한다. 연관성을 부여하는 방법으로는 60GByte의 전체 오브젝트 데이터의 해쉬값과 동일한 해쉬값을 6개로 분할된 각 서브_오브젝트에 부여한다. 실제 오브젝트 데이터의 해쉬값과 같은 메타데이터를 갖게 함으로써 전체 오브젝트와 서브_오브젝트간의 연관성을 부여할 수 있다.
이 후 분할된 서브_오브젝트 들에 파일명을 생성한다. 전체 오브젝트를 n 개의 서브_오브젝트 들로 분할한 경우, 전체 오브젝트와 서브_오브젝트들 간의 연관성을 쉽게 파악하기 위하여 일관성을 부여한다.
예를 들어, 전체 오브젝트의 파일명이 object_name 인 경우, n개의 서브_오브젝트 들은 각각 object_name_1, object_name_2, object_name_3,...object_name_n 식으로 파일명을 설정한다. 이로써 이후 클라우드 스토리지 시스템에서 효과적으로 일괄적으로 수집이 가능할 수 있다.
또한 분할된 서브_오브젝트의 파일명만으로도 분할된 서브_오브젝트 임이 파악이 가능하며, 동일한 논리적 가상 저장장치에 저장되어 수집이 용이하도록 구현된다.
분할된 서브_오브젝트들은 서브_오브젝트의 파일명을 기초로 생성된 해쉬값에 따라 각각 다른 물리적 저장장치인 오브젝트 서버(310, 320, 330, 340)에 저장된다.
분할된 서브_오브젝트들을 사용자 요구에 따라 사용자에게 전송할 때 다시 수집하여 하나의 오브젝트로 만드는 과정은 다음과 같다. 사용자의 오브젝트 요청이 있으면, 동일한 논리적 가상 저장장치 내에서 사용자가 요청한 오브젝트와 동일한 해쉬값을 지니는 서브_오브젝트들을 요청한다.
그 결과 object_name_1, object_name_2, object_name_3,...object_name_n 가 수집되며, 이를 연속적으로 사용자에게 전송하고, 사용자는 object_name_1, object_name_2, object_name_3,...object_name_n을 통합하여 수신하며 object_name으로 저장하게 된다.
도 4 는 본 발명의 바람직한 일 실시예로서, 데이터센터의 리소스에 따라 가중치가 설정되고, 그에 대응하도록 데이터가 분배되는 흐름도를 도시한다.
시스템 관리자는 전송하고자 하는 오브젝트를 n 개로 균일하게 분할한다(S410). 오브젝트를 분할하는 방법은 도 3 의 일 실시예를 참고한다. n 개로 분할된 각 서브_오브젝트와 전체 오브젝트간에 연관성을 부여한다(S420). 연관성을 부여하는 일 실시예로는 전체 오브젝트의 해쉬값과 동일한 해쉬값을 서브_오브젝트에 부여할 수 있다.
분할된 각 서브_오브젝트들의 파일명을 생성한다(S430). 하나의 오브젝트에서 분할된 서브_오브젝트들의 파일명은 파일명의 일부를 동일하게 설정하여 일관성을 부여한다. 또한 분할된 서브_오브젝트들을 모두 동일한 논리적인 가상 저장장치(예; 컨테이너)에 저장한다. 예를 들어, 전체 오브젝트의 명칭이 object_meeting 인 경우, 서브_오브젝트들의 명칭은 object_meeting_1, object_meeting_2...,object_meeting_n 으로 설정함으로써 서브_오브젝트들이 어떤 오브젝트로부터 분할되었는지 파악이 용이하도록 구성한다.
이후 분할된 각 서브_오브젝트들의 파일명을 기초로 해쉬값을 생성한다(S440). 각 서브_오브젝트들의 파일명은 모두 상이하므로 각 서브_오브젝트들의 해쉬값은 모두 상이한 값을 갖게 된다. 각 서브_오브젝트들은 서로 상이한 해쉬값이 설정된 메타데이터를 이용하여 물리적 저장장치인 물리적 저장장치의 가중치에 따라 각 오브젝트 서버로 전송된다.
도 5 는 본 발명의 바람직한 일 실시예로서, 사용자가 데이터센터의 리소스에 따라 가중치가 설정되고, 그에 대응하도록 데이터가 분배되는 흐름도를 도시한다.
사용자가 오브젝트를 요청한 경우(S510) 논리적 가상 저장장치에서 상기 오브젝트의 해쉬값과 동일한 해쉬값을 지닌 서브_오브젝트들을 검출한다(S520). 검출된 서브_오브젝트들의 파일명으로부터 오브젝트로부터 분할된 서브_오브젝트들을 파악할 수 있다.
이후 각 물리적 저장장치에서 해당 서브_오브젝트를 전송하면(S530), 서브_오브젝트들을 통합 후 오브젝트의 파일명으로 저장한다(S540). 이후 저장된 오브젝트를 사용자에게 전송한다(S550).
도 6은 본 발명의 바람직한 일 실시예로서, 클라우드 스토리지 시스템에서 리소스를 고려한 자료분배장치의 구성도를 도시한다.
자료분배장치는 분할부(610), 연관부(620), 작명부(630), 제어부(640) 및 분산부(650)를 포함한다.
분할부(610)는 전송할 오브젝트를 N개(N은 자연수)의 서브_오브젝트들로 균일하게 분할한다. 이 경우 분할되는 서브_오브젝트의 용량은 통계적으로 클라우드 스토리지 시스템 전체에서 사용하는 오브젝트의 평균사용량을 상기 클라우드 스토리지 시스템을 구성하는 각 물리적 저장장치의 가중치 총합으로 나눈 값으로 설정할 수 있다. 클라우드 스토리지 시스템 전체에서 사용하는 오브젝트의 평균사용량은 사용자 테스트 등을 통해서 설정할 수도 있다.
연관부(620)는 서브_오브젝트들에게 오브젝트의 해쉬값과 동일한 해쉬값을 부여하여 오브젝트와 서브_오브젝트 간에 연관성을 부여한다. 이 경우 해쉬값을 이용하여 분할된 서브_오브젝트들을 동일한 논리적 가상 저장장치에 저장할 수 있다.
작명부(630)는 서브_오브젝트들이 오브젝트로부터 분할되었음을 구별할 수 있도록 파일명을 설정한다. 파일명을 설정하는 일 예는 도 3의 예시를 참고한다.
제어부(640)는 서브_오브젝트들의 파일명을 기초로 제 2 해쉬값을 생성한다. 서브_오브젝트들의 파일명이 모두 상이하므로 제 2 해쉬값은 모두 다르게 설정된다. 그 결과 제 2 해쉬값을 이용하여 서브_오브젝트들이 저장된 물리적 저장장치(예, 오브젝트 서버)를 설정할 수 있다.
분산부(650)는 제어부(640)에서 설정된 메타데이터를 참고하여 서브_오브젝트들을 물리적 저장장치로 물리적 저장장치의 가중치에 비례하도록 분산한다. 제 2 해쉬값을 이용하여 설정된 메타데이터에 따라 각 물리적 저장장치마다 저장할 서브_오브젝트의 비중을 조절할 수 있다. 이 경우 각 물리적 저장장치의 가중치에 따라 서브_오브젝트의 비중이 조절된다. 가중치를 정하는 기준은 다양할 수 있으며, 본 발명의 일 실시예에서는 각 물리적 저장장치의 저장용량에 비례하도록 가중치를 설정할 수 있다.
한편, 본 발명은 컴퓨터 판독가능 저장매체에 컴퓨터가 판독 가능한 코드를 저장하여 구현하는 것이 가능하다. 상기 컴퓨터 판독가능 저장매체는 컴퓨터 시스템에 의하여 판독될 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다.
컴퓨터 판독 가능 저장 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터 판독 가능 저장 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.

Claims (12)

  1. 클라우드 스토리지 시스템에서 리소스를 고려한 자료분배방법으로서,
    전송할 오브젝트를 N개(N은 자연수)의 서브_오브젝트들로 균일하게 분할하는 단계;
    상기 서브_오브젝트들과 상기 오브젝트 간에 연관성을 부여하는 단계;
    상기 서브_오브젝트들이 상기 오브젝트로부터 분할되었음을 구별할 수 있도록 파일명을 설정하는 단계;
    상기 서브_오브젝트들의 파일명을 기초로 메타데이터를 설정하는 단계;
    상기 메타데이터를 참고하여 상기 클라우드 스토리지 시스템을 구성하는 각 물리적 저장장치의 가중치에 비례하도록, 상기 서브_오브젝트들을 상기 물리적 저장장치로 분산하여 전송하는 단계;를 포함하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서, 상기 서브_오브젝트의 용량은
    통계적으로 클라우드 스토리지 시스템 전체에서 사용하는 오브젝트의 평균사용량을 상기 클라우드 스토리지 시스템을 구성하는 각 물리적 저장장치의 가중치 총합으로 나눈 값으로 설정되도록 구현되는 것을 특징으로 하는 방법.
  3. 제 1 항에 있어서,
    상기 서브_오브젝트들에게 상기 오브젝트의 해쉬값과 동일한 제 1 해쉬값을 부여하여 연관성을 부여하는 것을 특징으로 하는 방법.
  4. 제 1 항에 있어서,
    상기 서브_오브젝트들의 파일명을 기초로 물리적 저장장치를 분별하기 위한 제 2 해쉬값을 생성하고, 상기 제 2 해쉬값을 기초로 상기 메타데이터를 설정하는 것을 특징으로 하는 방법.
  5. 제 1 항에 있어서, 상기 물리적 저장장치의 가중치는
    상기 물리적 저장장치의 리소스에 비례하여 설정되는 것을 특징으로 하는 방법.
  6. 제 1 항에 있어서, 상기 물리적 저장장치의 가중치는 상기 물리적 저장장치의 저장용량에 비례하여 설정되는 것을 특징으로 하는 방법.
  7. 클라우드 스토리지 시스템에서 리소스를 고려한 자료분배방법으로서,
    전송할 오브젝트를 N개(N은 자연수)의 서브_오브젝트들로 균일하게 분할하는 단계;
    상기 서브_오브젝트들에게 상기 오브젝트의 해쉬값과 동일한 해쉬값을 부여하여 연관성을 부여하는 단계;
    상기 서브_오브젝트들을 동일한 논리적 가상 저장장치에 저장하는 단계;
    상기 서브_오브젝트들이 상기 오브젝트로부터 분할되었음을 구별할 수 있도록 파일명을 설정하는 단계;
    상기 서브_오브젝트들의 파일명을 기초로 물리적 저장장치를 분별하기 위한 제 2 해쉬값을 생성하고, 상기 제 2 해쉬값을 기초로 상기 메타데이터를 설정하는 단계;
    상기 메타데이터를 참고하여 상기 서브_오브젝트들을 물리적 저장장치로 물리적 저장장치의 가중치에 비례하도록 분산하는 단계;를 포함하는 것을 특징으로 하는 방법.
  8. 제 7 항에 있어서, 상기 서브_오브젝트의 용량은
    통계적으로 클라우드 스토리지 시스템 전체에서 사용하는 오브젝트의 평균사용량을 상기 클라우드 스토리지 시스템을 구성하는 각 물리적 저장장치의 가중치 총합으로 나눈 값으로 설정되도록 구현되는 것을 특징으로 하는 방법.
  9. 제 7 항에 있어서,
    상기 물리적 저장장치는 상기 클라우드 스토리지 시스템을 구성하고, 상기 물리적 저장장치의 가중치는 상기 물리적 저장장치의 저장용량에 비례하여 설정되는 것을 특징으로 하는 방법.
  10. 제 7 항에 있어서, 사용자가 상기 오브젝트를 요청한 경우
    논리적 가상 저장장치에서 상기 오브젝트의 해쉬값과 동일한 해쉬값을 지닌 서브_오브젝트들을 검출하는 단계;
    상기 검출된 서브_오브젝트들의 파일명을 참고하여 각 서브_오브젝트가 저장된 물리적 저장장치를 파악하는 단계;
    상기 물리적 저장장치에서 해당 서브_오브젝트를 사용자에게 전송하는 단계;
    상기 서브_오브젝트들을 통합 후 상기 오브젝트의 파일명으로 저장하여 상기 사용자에게 전송하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
  11. 전송할 오브젝트를 N개(N은 자연수)의 서브_오브젝트들로 균일하게 분할하는 분할부;
    상기 서브_오브젝트들과 상기 오브젝트 간에 연관성을 부여하는 연관부;
    상기 서브_오브젝트들이 상기 오브젝트로부터 분할되었음을 구별할 수 있도록 파일명을 설정하는 작명부;
    상기 서브_오브젝트들의 파일명을 기초로 메타데이터를 설정하는 제어부; 및
    상기 메타데이터를 참고하여 상기 클라우드 스토리지 시스템을 구성하는 각 물리적 저장장치의 가중치에 비례하도록, 상기 서브_오브젝트들을 상기 물리적 저장장치로 분산하는 분산부;를 포함하는 것을 특징으로 하는 클라우드 스토리지 시스템에서 리소스를 고려한 자료분배장치.
  12. 전송할 오브젝트를 N개(N은 자연수)의 서브_오브젝트들로 균일하게 분할하는 분할부;
    상기 서브_오브젝트들에게 상기 오브젝트의 해쉬값과 동일한 해쉬값을 부여하여 연관성을 부여하는 연관부;
    상기 서브_오브젝트들을 동일한 논리적 가상 저장장치에 저장하는 저장부;
    상기 서브_오브젝트들이 상기 오브젝트로부터 분할되었음을 구별할 수 있도록 파일명을 설정하는 작명부;
    상기 서브_오브젝트들의 파일명을 기초로 물리적 저장장치를 분별하기 위한 제 2 해쉬값을 생성하고, 상기 제 2 해쉬값을 기초로 상기 메타데이터를 설정하는 제어부;
    상기 메타데이터를 참고하여 상기 서브_오브젝트들을 물리적 저장장치로 물리적 저장장치의 가중치에 비례하도록 분산하는 분산부;를 포함하는 것을 특징으로 하는 클라우드 스토리지 시스템에서 리소스를 고려한 자료분배장치.
PCT/KR2011/008579 2011-03-31 2011-11-10 클라우드 스토리지 시스템에서 리소스를 고려한 자료분배방법 및 장치 WO2012134017A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0029851 2011-03-31
KR20110029851A KR101483127B1 (ko) 2011-03-31 2011-03-31 클라우드 스토리지 시스템에서 리소스를 고려한 자료분배방법 및 장치

Publications (1)

Publication Number Publication Date
WO2012134017A1 true WO2012134017A1 (ko) 2012-10-04

Family

ID=46931667

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/008579 WO2012134017A1 (ko) 2011-03-31 2011-11-10 클라우드 스토리지 시스템에서 리소스를 고려한 자료분배방법 및 장치

Country Status (3)

Country Link
US (1) US9052962B2 (ko)
KR (1) KR101483127B1 (ko)
WO (1) WO2012134017A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015157699A1 (en) * 2014-04-10 2015-10-15 Atomized Cloud Technologies LLC Method and system for securing data

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130219069A1 (en) * 2012-02-22 2013-08-22 Computer Associates Think, Inc. System and method for managing virtual hard disks in cloud environments
US10025638B2 (en) * 2012-07-02 2018-07-17 Vmware, Inc. Multiple-cloud-computing-facility aggregation
WO2014150597A1 (en) * 2013-03-15 2014-09-25 Decisyon, Inc. Systems, devices, and methods for generation of contextual objects mapped by dimensional data to data measures
US8719217B1 (en) 2013-03-15 2014-05-06 Decisyon, Inc. Systems, devices, and methods for generation of contextual objects mapped by dimensional data to data measures
KR101497669B1 (ko) * 2013-04-29 2015-03-11 서울대학교산학협력단 일정 수 이상의 파일 조각으로 원본 파일을 복구하는 파일 관리 장치 및 방법
KR101491015B1 (ko) 2013-06-07 2015-02-06 에스케이플래닛 주식회사 클라우드 스토리지 관리 시스템, 클라우드 스토리지 관리 방법 및 이를 위한 장치
US9244958B1 (en) 2013-06-13 2016-01-26 Amazon Technologies, Inc. Detecting and reconciling system resource metadata anomolies in a distributed storage system
US9851726B2 (en) 2013-09-04 2017-12-26 Panduit Corp. Thermal capacity management
US9800689B2 (en) 2013-12-19 2017-10-24 Sap Se Distributed application integration auto-adjustment
EP3103216A4 (en) 2014-01-02 2017-12-06 Decisyon, Inc. Systems, devices, and methods for exchanging and processing data measures and objects
US9900391B2 (en) * 2014-08-05 2018-02-20 Microsoft Technology Licensing, Llc Automated orchestration of infrastructure service blocks in hosted services
US9928149B2 (en) 2014-08-29 2018-03-27 Cynny Space Srl Systems and methods to maintain data integrity and redundancy in a computing system having multiple computers
WO2016080569A1 (ko) * 2014-11-19 2016-05-26 서울대학교산학협력단 일정 수 이상의 파일 조각으로 원본 파일을 복원하는 파일 관리 장치 및 그것의 파일 관리 방법
US10417213B1 (en) * 2015-01-23 2019-09-17 Violin Systems Llc Metadata updating
EP3153961A1 (fr) * 2015-10-08 2017-04-12 The Roberto Giori Company Ltd. Procédé et système de sauvegarde répartie dynamique
US10171585B2 (en) 2015-12-07 2019-01-01 International Business Machines Corporation Method, system, and computer program product for distributed storage of data in a heterogeneous cloud
US10122832B2 (en) 2015-12-07 2018-11-06 International Business Machines Corporation Communications of usernames and passwords to a plurality of cloud storages via a plurality of communications protocols that change over time
US10013181B2 (en) 2015-12-07 2018-07-03 International Business Machines Corporation Distributed storage of data in a local storage and a heterogeneous cloud
US10169152B2 (en) 2016-09-12 2019-01-01 International Business Machines Corporation Resilient data storage and retrieval
WO2018199796A1 (en) 2017-04-27 2018-11-01 EMC IP Holding Company LLC Consolidating temporally-related data within log-based storage
US11194495B2 (en) 2017-04-27 2021-12-07 EMC IP Holding Company LLC Best-effort deduplication of data while the data resides in a front-end log along an I/O path that leads to back end storage
US11402998B2 (en) 2017-04-27 2022-08-02 EMC IP Holding Company LLC Re-placing data within a mapped-RAID environment comprising slices, storage stripes, RAID extents, device extents and storage devices
WO2019022631A1 (en) * 2017-07-27 2019-01-31 EMC IP Holding Company LLC STORING DATA IN DIFFERENTLY SIZED WAFERS WITHIN DIFFERENT STORAGE LEVELS
US11461250B2 (en) 2017-10-26 2022-10-04 EMC IP Holding Company LLC Tuning data storage equipment based on comparing observed I/O statistics with expected I/O statistics which are defined by operating settings that control operation
WO2019083390A1 (en) 2017-10-26 2019-05-02 EMC IP Holding Company LLC USE OF RECURRENT WRITE QUOTAS TO OPTIMIZE THE USE OF STATIC SEMICONDUCTOR DISK
WO2019083389A1 (en) 2017-10-26 2019-05-02 EMC IP Holding Company LLC MANAGING A FILE SYSTEM IN MULTIPLE LOGIC UNIT NUMBERS (LUN)
CN110858191A (zh) * 2018-08-24 2020-03-03 北京三星通信技术研究有限公司 文件处理方法、装置、电子设备及可读存储介质
US11379254B1 (en) * 2018-11-18 2022-07-05 Pure Storage, Inc. Dynamic configuration of a cloud-based storage system
KR101955517B1 (ko) * 2018-11-26 2019-05-30 한국과학기술정보연구원 위치 및 부하 기반 sdn 및 분산 클라우드 오케스트레이션 장치 및 방법
US11151093B2 (en) * 2019-03-29 2021-10-19 International Business Machines Corporation Distributed system control for on-demand data access in complex, heterogenous data storage
CN112306372B (zh) 2019-07-31 2024-07-05 伊姆西Ip控股有限责任公司 用于处理数据的方法、设备和程序产品
CN112783419B (zh) * 2019-11-06 2024-05-24 阿里巴巴集团控股有限公司 分布式存储方法及装置、电子设备和存储介质
EP4118533A4 (en) * 2020-03-09 2023-10-11 Hitachi Vantara LLC CAPACITY AND PERFORMANCE OPTIMIZATION IN NON-HOMOGENEOUS STORAGE

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100161759A1 (en) * 2008-12-22 2010-06-24 Ctera Networks Ltd. Storage device and method thereof for integrating network attached storage with cloud storage services
US7823009B1 (en) * 2001-02-16 2010-10-26 Parallels Holdings, Ltd. Fault tolerant distributed storage for cloud computing
KR20100122197A (ko) * 2009-05-12 2010-11-22 주식회사 클루넷 클라우드 컴퓨팅 네트워크 시스템 및 그것의 파일 분산 방법
US20100333116A1 (en) * 2009-06-30 2010-12-30 Anand Prahlad Cloud gateway system for managing data storage to cloud storage sites

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR930007928B1 (ko) 1991-01-31 1993-08-21 삼성전자 주식회사 오류정정방법 및 장치
US8434099B2 (en) * 1998-09-09 2013-04-30 Microsoft Corporation Efficient linking and loading for late binding and platform retargeting
KR100673692B1 (ko) 2000-03-16 2007-01-23 엘지엔시스(주) 패리티 블록코드를 이용한 오류 복구방법
KR100923394B1 (ko) 2002-06-25 2009-10-23 주식회사 케이티 가상사설망에서의 네트워크 저장공간 구현 방법
JP4387087B2 (ja) 2002-07-25 2009-12-16 三洋電機株式会社 データ記憶装置
JP2004126716A (ja) 2002-09-30 2004-04-22 Fujitsu Ltd 広域分散ストレージシステムを利用したデータ格納方法、その方法をコンピュータに実現させるプログラム、記録媒体、及び広域分散ストレージシステムにおける制御装置
US7739233B1 (en) 2003-02-14 2010-06-15 Google Inc. Systems and methods for replicating data
US20050125456A1 (en) 2003-12-09 2005-06-09 Junichi Hara File migration method based on access history
US20050256923A1 (en) 2004-05-14 2005-11-17 Citrix Systems, Inc. Methods and apparatus for displaying application output on devices having constrained system resources
US7620687B2 (en) 2004-06-25 2009-11-17 Telcordia Technologies, Inc. Distributed request routing
US20060069828A1 (en) 2004-06-30 2006-03-30 Goldsmith Michael A Sharing a physical device among multiple clients
JP2008512763A (ja) 2004-09-10 2008-04-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 仮想タイトルを使用する場合に、共有されたコンテンツの冗長的な複製を避けるシステム及び方法
KR100719285B1 (ko) 2005-03-30 2007-05-17 (주)이스트소프트 웹 스토리지의 분산 파일관리시스템 및 파일관리방법
US8112605B2 (en) * 2005-05-02 2012-02-07 Commvault Systems, Inc. System and method for allocation of organizational resources
US9392078B2 (en) 2006-06-23 2016-07-12 Microsoft Technology Licensing, Llc Remote network access via virtual machine
JP4859595B2 (ja) 2006-09-01 2012-01-25 株式会社日立製作所 記憶システム、そのデータ再配置方法、データ再配置プログラム
US8655939B2 (en) * 2007-01-05 2014-02-18 Digital Doors, Inc. Electromagnetic pulse (EMP) hardened information infrastructure with extractor, cloud dispersal, secure storage, content analysis and classification and method therefor
US8239479B2 (en) 2007-06-22 2012-08-07 Microsoft Corporation Server-assisted and peer-to-peer synchronization
KR20090036276A (ko) 2007-10-09 2009-04-14 주식회사 대우일렉트로닉스 광정보 처리장치의 데이터 페이지, 데이터 페이지 맵핑방법및 데이터 페이지 오류검사방법
US7865762B2 (en) 2007-12-04 2011-01-04 Intel Corporation Methods and apparatus for handling errors involving virtual machines
KR100946986B1 (ko) 2007-12-13 2010-03-10 한국전자통신연구원 파일 저장 시스템 및 파일 저장 시스템에서의 중복 파일관리 방법
KR101007356B1 (ko) 2008-08-28 2011-01-13 한국전자통신연구원 가상화 시스템 상에서 입출력 디바이스 설정장치 및 방법
US9367257B2 (en) 2008-09-11 2016-06-14 Microsoft Technology Licensing, Llc Techniques for resource location and migration across data centers
KR20100055297A (ko) 2008-11-17 2010-05-26 에스케이텔레콤 주식회사 분산 저장된 컨텐츠의 리다이렉티드 ｕｒｌ을 이용한 동시 멀티미디어 스트리밍 시스템 및 방법
KR101485610B1 (ko) 2008-11-27 2015-01-22 주식회사 케이티 네트워크 구조를 고려한 분산형 컨텐트 전달 시스템 및 그 방법
KR101104729B1 (ko) 2008-11-28 2012-01-11 에스케이플래닛 주식회사 최적의 캐시조각 획득방식을 이용하는 컨텐츠 분산 저장형 멀티미디어 스트리밍 시스템 및 방법
KR101023585B1 (ko) 2008-12-08 2011-03-21 주식회사 케이티 객체기반 스토리지 시스템에서 클라이언트 요청빈도에 따른데이터 관리 방법
KR101010219B1 (ko) 2008-12-16 2011-01-21 한국전자통신연구원 비대칭 분산 파일 시스템과 그의 점진적 일관성 오류 감지 및 복구 방법
KR20100073154A (ko) 2008-12-22 2010-07-01 한국전자통신연구원 메타데이터 서버, 데이터 서버의 데이터 처리 방법 및 이를이용한 비대칭 클러스터 분산 파일 시스템
KR20100092850A (ko) 2009-02-13 2010-08-23 경희대학교 산학협력단 클라우드 컴퓨팅 환경에서의 리소스 분배 장치 및 그 방법
US8560639B2 (en) 2009-04-24 2013-10-15 Microsoft Corporation Dynamic placement of replica data
US20100318609A1 (en) 2009-06-15 2010-12-16 Microsoft Corporation Bridging enterprise networks into cloud
KR101626117B1 (ko) 2009-06-22 2016-05-31 삼성전자주식회사 클라우드 스토리지를 제공하는 클라이언트, 중개 서버 및 방법
KR100931260B1 (ko) 2009-07-08 2009-12-11 (주)나노레볼루션 Ｓｂｃ 환경에서 사용자 단말의 이동성 지원을 위한 끊김없는 서버 접속 및 서비스 연결 방법 및 시스템
KR100985169B1 (ko) 2009-11-23 2010-10-05 (주)피스페이스 분산 저장 시스템에서 파일의 중복을 제거하는 장치 및 방법
US8676593B2 (en) * 2010-09-23 2014-03-18 International Business Machines Corporation Geographic governance of data over clouds
US8386840B2 (en) * 2010-12-27 2013-02-26 Amplidata Nv Distributed object storage system
EP2793130B1 (en) * 2010-12-27 2015-12-23 Amplidata NV Apparatus for storage or retrieval of a data object on a storage medium, which is unreliable
EP2659372B1 (en) * 2010-12-27 2016-01-20 Amplidata NV A distributed object storage system comprising low power storage nodes
US8943023B2 (en) * 2010-12-29 2015-01-27 Amazon Technologies, Inc. Receiver-side data deduplication in data systems
US8510267B2 (en) * 2011-03-08 2013-08-13 Rackspace Us, Inc. Synchronization of structured information repositories

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7823009B1 (en) * 2001-02-16 2010-10-26 Parallels Holdings, Ltd. Fault tolerant distributed storage for cloud computing
US20100161759A1 (en) * 2008-12-22 2010-06-24 Ctera Networks Ltd. Storage device and method thereof for integrating network attached storage with cloud storage services
KR20100122197A (ko) * 2009-05-12 2010-11-22 주식회사 클루넷 클라우드 컴퓨팅 네트워크 시스템 및 그것의 파일 분산 방법
US20100333116A1 (en) * 2009-06-30 2010-12-30 Anand Prahlad Cloud gateway system for managing data storage to cloud storage sites

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015157699A1 (en) * 2014-04-10 2015-10-15 Atomized Cloud Technologies LLC Method and system for securing data
US9292700B2 (en) 2014-04-10 2016-03-22 Atomizer Group, Llc Method and system for securing data
US9842217B2 (en) 2014-04-10 2017-12-12 Atomizer Group, Llc Method and system for securing data

Also Published As

Publication number Publication date
KR101483127B1 (ko) 2015-01-22
KR20120111403A (ko) 2012-10-10
US20120259901A1 (en) 2012-10-11
US9052962B2 (en) 2015-06-09

Similar Documents

Publication Publication Date Title
WO2012134017A1 (ko) 클라우드 스토리지 시스템에서 리소스를 고려한 자료분배방법 및 장치
US9569244B2 (en) Implementing dynamic adjustment of I/O bandwidth for virtual machines using a single root I/O virtualization (SRIOV) adapter
KR101242458B1 (ko) 지능형 분산 스토리지 서비스 시스템 및 방법
US9582221B2 (en) Virtualization-aware data locality in distributed data processing
US8832687B2 (en) Managing quotas in a distributed virtualization environment
CN107562531B (zh) 一种数据均衡方法和装置
WO2012141404A1 (ko) 분산 저장 시스템의 복제 서버 장치 및 복제본 생성 방법
US8782191B2 (en) Computer system having representative management computer and management method for multiple target objects
US10616134B1 (en) Prioritizing resource hosts for resource placement
CN108132775B (zh) 一种租户管理系统及方法
US11093288B2 (en) Systems and methods for cluster resource balancing in a hyper-converged infrastructure
WO2018199414A1 (ko) 클라우드 컴퓨팅 환경에서 가상화 자원 분배 방법 및 장치
US20140149475A1 (en) Managing distributed storage quotas
CN104937584A (zh) 基于共享资源的质量向经优先级排序的虚拟机和应用程序提供优化的服务质量
US9781163B2 (en) Trust overlays for disaggregated infrastructures
WO2012086915A2 (ko) 솔루션 공유 방법 및 그 장치
WO2022107932A1 (ko) 컨테이너 기반의 가상화 시스템 및 가상화 시스템에서 컨테이너의 자원을 확장하는 방법
Pei et al. Cloud computing technology and its applications
Prabavathy et al. A load balancing algorithm for private cloud storage
Wadhwa et al. Studying and Analyzing Virtualization While Transition from Classical to Virtualized Data Center
Tao et al. Resource scheduling and data locality for virtualized Hadoop on IaaS cloud platform
Aluvalu et al. Performance evaluation of clustering algorithms for dynamic VM allocation in cloud computing
CN109347944A (zh) 一种域名解析方法及装置
Vyas et al. A Survey on Virtual Machine MigrationTechniques In Cloud Computing
Liu et al. A memory configuration method for virtual machine based on user preference in distributed cloud

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11861961

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11861961

Country of ref document: EP

Kind code of ref document: A1