KR101695991B1 - Apparatus and method for distribute and store file data - Google Patents
Apparatus and method for distribute and store file data Download PDFInfo
- Publication number
- KR101695991B1 KR101695991B1 KR1020110090087A KR20110090087A KR101695991B1 KR 101695991 B1 KR101695991 B1 KR 101695991B1 KR 1020110090087 A KR1020110090087 A KR 1020110090087A KR 20110090087 A KR20110090087 A KR 20110090087A KR 101695991 B1 KR101695991 B1 KR 101695991B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- chunk
- unit
- parity
- file
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/184—Distributed file systems implemented as replicated file system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/26—Using a specific storage system architecture
- G06F2212/263—Network storage, e.g. SAN or NAS
Abstract
본 발명은 파일의 데이터를 청크(chunk) 단위로 나누어 데이터 청크에 대한 복제 데이터 청크를 포함하는 제1 스트라입(stripe)으로 유지하는 제1 스트라입 관리부, 상기 데이터를 청크 단위로 나누어 상기 데이터 청크와 패리티 청크를 포함하는 제2 스트라입으로 유지하는 제2 스트라입 관리부, 상기 제1 스트라입과 상기 제2 스트라입을 혼합하여 유지하는 혼합 스트라입 관리부, 상기 제1 스트라입을 상기 제2 스트라입으로 변환하여 유지하는 제1 스트라입 변환부 및 상기 제2 스트라입을 상기 제1 스트라입으로 변환하여 유지하는 제2 스트라입 변환부를 포함하는 파일 데이터 분산 저장 장치를 제공한다.A first strike management unit divides data of a file into chunks and holds the data in a first stripe including replica chunks for data chunks. The first strike management unit divides the data into chunks, A second strap management unit for holding the first strap in a second strap including a parity chunk, a mixed strap management unit for mixing and holding the first strap and the second strap, And a second strateconverter converting the second stratum into the first stratum and holding the converted first stratgraphic data.
Description
본 발명의 실시예들은 파일 데이터 분산 저장 장치 및 방법에 관한 것으로서, 더욱 상세하게는 분산 파일 시스템에서 네트워크로 연결된 데이터 서버들에 파일 데이터를 분산 저장함에 있어 스토리지 효율성 및 가용성을 제공하는 장치 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus and method for distributing file data, and more particularly, to an apparatus and method for providing storage efficiency and availability in distributing file data to data servers connected to a network in a distributed file system .
일반적으로 분산 파일 시스템은 파일의 메타데이터와 실제 데이터를 분리하여 저장하고 관리한다.In general, a distributed file system stores and manages file metadata and real data separately.
통상적으로 메타데이터는 다른 데이터를 설명해 주는 데이터로서, 속성 정보라고도 한다.Typically, metadata is data describing other data, which is also referred to as attribute information.
메타데이터는 메타데이터 서버에서 관리되며, 실제 데이터는 복수의 데이터 서버에 분산되어 저장된다.The metadata is managed by the metadata server, and the actual data is stored in a plurality of data servers.
메타데이터는 실제 데이터가 저장되어 있는 데이터 서버에 대한 정보를 포함하며, 메타데이터 서버와 복수의 데이터 서버는 네트워크로 연결되어 분산된 구조를 가진다.The metadata includes information on a data server in which real data is stored, and a metadata server and a plurality of data servers are connected to each other through a network to have a distributed structure.
클라이언트에서 파일의 메타데이터와 데이터를 접근하는 경로가 분리되며, 파일에 접근하기 위해 클라이언트는 먼저 메타데이터 서버에 있는 파일의 메타데이터에 접근하여 실제 데이터가 저장되어 있는 복수의 데이터 서버에 대한 정보를 얻는다. 실제 데이터에 대한 입출력은 복수의 데이터 서버를 통하여 이루어진다.In order to access the file, the client first accesses the metadata of the file in the metadata server and obtains information about the plurality of data servers in which the actual data is stored . The input and output of the actual data is performed through a plurality of data servers.
파일의 데이터는 네트워크로 연결된 데이터 서버들에 정해진 크기로 나누어 저장된다.The data of the file is stored in a predetermined size in the networked data servers.
상기와 같이 저장되는 단위를 청크(chunk)라고 하며, 데이터 서버에 저장된 청크들은 데이터 서버 고장 등의 장애를 대비하여 다른 데이터 서버에 복제되어 저장된다.The unit stored as described above is called a chunk, and chunks stored in the data server are copied and stored in another data server in preparation for a failure such as a data server failure.
상기 복제본의 개수는 데이터를 중요도 또는 접근되는 빈도에 따라 결정할 수도 있으며, 데이터를 저장하기 위해서 복제본의 개수에 따라 스토리지 공간이 배수로 소요될 수 있다.The number of replicas may be determined according to the degree of importance or frequency of access, and storage space may be multiples depending on the number of replicas in order to store data.
따라서, 파일 분산 시스템은 데이터에 대한 복제본을 만들지 않으면서도 동일한 가용성을 제공하기 위하여 데이터들을 스트라입으로 구성하고 스트라입에 속하는 데이터 청크들을 가지고 패리티 청크를 만들어, 데이터의 가용성을 제공할 수 있다.Thus, a file distribution system can struc- ture data to provide the same availability without creating replicas of the data, and can provide data availability by creating chunks of parity with the data chunks belonging to the strike.
일반적으로 패리티는 데이터 청크들을 XOR 하거나 여러 가지 인코딩 방법으로 만들 수 있다. In general, parity can be done by XORing data chunks or by various encoding methods.
상기와 같은 구성은 데이터 서버 고장 등의 장애 상황이 발생하였을 때 패리티 청크와 다른 데이터 청크들을 이용하여 고장난 청크를 복구할 수 있다.Such a configuration can recover a failed chunk using parity chunks and other data chunks when a fault condition such as a data server failure occurs.
따라서, 파일 분산 시스템은 복제본으로 인한 스토리지 공간의 낭비를 줄일 수 있으며, 복제본을 두었을 때와 같은 가용성을 제공할 수 있다.Thus, file distribution systems can reduce the waste of storage space due to replicas and provide the same availability as replicas.
본 발명의 일실시예는 데이터 서버에 파일의 데이터를 청크들로 나누어 복제 방식 또는 패리티 방식으로 유지하면서 파일의 접근 빈도에 따라 복제 방식에서 패리티 방식으로 그리고 반대로 패리티 방식에서 복제 방식으로 변환하는 것을 목적으로 한다.An embodiment of the present invention is directed to a method for converting a data of a file into chunks and maintaining the data in a replication mode or a parity mode while converting data from a replication mode to a parity mode and vice versa, .
본 발명의 일실시예는 데이터에 대한 접근 빈도가 많은 경우 청크들을 복제 방식으로 유지하고, 효율적인 데이터 접근이 가능하도록 하면서 또한 접근 빈도가 줄어들면 다시 데이터를 패리티 방식으로 변환함으로써, 복제 방식에서 낭비되었던 스토리지 공간을 효율적으로 절약할 수 있으면서 복제 방식과 동일한 가용성을 제공한다.In one embodiment of the present invention, chunks are maintained in a replicated manner when data access frequency is high, and efficient data access is enabled. When the access frequency is reduced, data is again converted into parity data, It provides efficient storage space savings while providing the same availability as replication.
본 발명의 일실시예는 파일의 접근 형태에 따라 파일의 데이터를 복제 방식과 패리티 방식을 혼합하여 유지할 수 있도록 함으로써, 데이터의 효율적인 접근과 스토리지 공간의 효율적인 유지하는 것을 목적으로 한다. An embodiment of the present invention aims at efficiently accessing data and efficiently maintaining a storage space by allowing data of a file to be mixed and maintained in a replication mode and a parity mode according to a file access mode.
본 발명의 일실시예에 따른 파일 데이터 분산 저장 장치는 파일의 데이터를 청크(chunk) 단위로 나누어 데이터 청크에 대한 복제 데이터 청크를 포함하는 제1 스트라입(stripe)으로 유지하는 제1 스트라입 관리부, 상기 데이터를 청크 단위로 나누어 상기 데이터 청크와 패리티 청크를 포함하는 제2 스트라입으로 유지하는 제2 스트라입 관리부, 상기 제1 스트라입과 상기 제2 스트라입을 혼합하여 유지하는 혼합 스트라입 관리부, 상기 제1 스트라입을 상기 제2 스트라입으로 변환하여 유지하는 제1 스트라입 변환부 및 상기 제2 스트라입을 상기 제1 스트라입으로 변환하여 유지하는 제2 스트라입 변환부를 포함한다.The file data distribution storage apparatus according to an embodiment of the present invention includes a first strike management unit for dividing data of a file into chunks and maintaining the data in a first stripe including a chunk of duplication data for data chunks, A second strap management unit dividing the data into chunks and holding the data in a second strap including the data chunk and the parity chunk, a mixed strap management unit for mixing and holding the first strap and the second strap, A first straining unit converting the first strap into a second strap, and a second strap converting unit converting the second strap into the first strap and holding the converted first strap.
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 상기 데이터 청크를 저장하는 데이터 서버의 장애 여부를 판단하여, 상기 데이터 서버가 장애로 판단된 경우 상기 데이터를 복구하는 데이터 복구부를 더 포함할 수 있다.The apparatus for distributing file data according to an aspect of the present invention may further include a data recovery unit for determining whether a data server storing the data chunk has failed or not and for recovering the data if the data server is determined to be a failure.
본 발명의 일측에 따르면, 상기 각각의 청크는 청크 크기, 전체 청크 개수, 스트라입 개수, 스트라입 폭 또는 패리티 폭 중 어느 하나 이상의 정보를 포함할 수 있다.According to an aspect of the present invention, each of the chunks may include information of at least one of a chunk size, a total number of chunks, a number of strained edges, a stripe width, or a parity width.
본 발명의 일측에 따르면, 상기 제1 스트라입 변환부는 상기 패리티 청크를 할당하는 청크 할당부 및 상기 데이터 청크에 인코딩 비트를 설정하는 비트 설정부를 포함할 수 있다.According to an aspect of the present invention, the first stripe transform unit may include a chunk allocation unit for allocating the parity chunk and a bit setting unit for setting an encoding bit in the data chunk.
본 발명의 일측에 따르면, 상기 제1 스트라입 변환부는 상기 데이터 청크가 갱신 중인지 여부를 판단하는 갱신 판단부, 상기 데이터 청크를 갱신하지 않는 경우, 상기 패리티 청크가 할당된 데이터 서버에 패리티 인코딩을 요청하는 인코딩 요청부, 상기 패리티 인코딩의 성공 여부를 판단하는 인코딩 판단부 및 상기 패리티 인코딩이 성공한 경우, 상기 파일의 레이아웃을 변경하는 레이아웃 변경부를 더 포함할 수 있다.According to an aspect of the present invention, the first stratification transform unit may include: an update determination unit for determining whether the data chunk is being updated; when the data chunk is not updated, a parity encoding is requested to the data server to which the parity chunk is allocated An encoding determination unit for determining whether the parity encoding is successful, and a layout changing unit for changing a layout of the file when the parity encoding is successful.
본 발명의 일측에 따르면, 상기 제1 스트라입 변환부는 상기 데이터 청크에 대한 상기 복제 데이터 청크를 삭제하는 청크 삭제부를 더 포함할 수 있다.According to an aspect of the present invention, the first stripe transform unit may further include a chunk deletion unit for deleting the replicated data chunk for the data chunk.
본 발명의 일측에 따르면, 상기 제2 스트라입 변환부는 상기 복제 데이터 청크를 할당하는 청크 할당부 및 상기 데이터 청크가 저장된 데이터 서버에 복제를 요청하는 복제 요청부를 포함할 수 있다.According to an aspect of the present invention, the second strained transform unit may include a chunk allocation unit for allocating the replicated data chunk and a replica request unit for requesting replication to the data server in which the data chunk is stored.
본 발명의 일측에 따르면, 상기 제2 스트라입 변환부는 상기 데이터 청크의 복제 성공 여부를 판단하는 인코딩 판단부 및 상기 데이터 청크의 복제가 성공한 경우, 상기 파일의 레이아웃을 변경하는 레이아웃 변경부를 더 포함할 수 있다.According to an aspect of the present invention, the second stratification transformer further includes an encoding determining unit for determining whether or not the data chunk is successfully replicated, and a layout changing unit for changing the layout of the file when the data chunk is successfully replicated .
본 발명의 일측에 따르면, 상기 제2 스트라입 변환부는 상기 패리티 청크를 삭제하는 청크 삭제부를 더 포함할 수 있다.According to an aspect of the present invention, the second stripe transform unit may further include a chunk deletion unit for deleting the parity chunk.
본 발명의 일측에 따르면, 상기 제2 스트라입 변환부는 상기 패리티 청크가 갱신된 경우 상기 데이터 청크에 대한 쓰기를 요청하는 청크 쓰기 요청부 및 상기 데이터에 다른 데이터가 추가되는지 여부를 판단하는 데이터 추가 판단부를 포함할 수 있다.According to an aspect of the present invention, the second stripe transform unit may include a chunk write request unit for requesting writing of the data chunk when the parity chunk is updated, and a chunk write request unit for determining whether data is added to the data, Section.
본 발명의 일측에 따르면, 상기 제2 스트라입 변환부는 상기 다른 데이터가 추가되는 경우 상기 다른 데이터를 상기 패리티 청크에 전달하여 패리티 인코딩 하는 패리티 인코딩부를 더 포함할 수 있다.According to an aspect of the present invention, the second stripe transform unit may further include a parity encoding unit for transmitting the other data to the parity chunk to parity-encode the data when the other data is added.
본 발명의 일측에 따르면, 상기 제2 스트라입 변환부는 상기 데이터가 갱신되는 경우 상기 데이터를 저장하는 데이터 서버에 상기 복제 데이터 청크를 할당 요청하는 청크 할당부, 상기 할당된 복제 데이터 청크로 상기 데이터를 갱신하는 데이터 갱신부, 상기 갱신된 데이터를 상기 패리티 청크에 전달하여 상기 패리티 청크를 갱신하는 패리티 청크 갱신부 및 상기 갱신된 데이터를 제외한 영역의 데이터를 복제하는 데이터 복제부를 더 포함할 수 있다.According to an aspect of the present invention, the second stripe transform unit may include a chunk allocation unit for requesting allocation of the chunk of the replica data to a data server that stores the data when the data is updated, A parity chunk updating unit for updating the parity chunk by transmitting the updated data to the parity chunk, and a data replicating unit for replicating data of the area excluding the updated data.
본 발명의 일측에 따르면, 상기 제2 스트라입 변환부는 상기 제2 스트라입에 포함된 모든 데이터 청크에 대한 복제가 완료된 경우, 상기 파일의 레이아웃을 변경하는 파일 레이아웃 변경부를 더 포함할 수 있다.According to an aspect of the present invention, the second stripe transforming unit may further include a file layout changing unit that changes the layout of the file when the duplication of all data chunks included in the second strike is completed.
본 발명의 일측에 따르면, 상기 데이터 복구부는 상기 패리티 청크를 저장하는 데이터 서버에 데이터 읽기를 요청하는 데이터 요청부, 상기 패리티 청크를 저장하는 데이터 서버를 이용하여 상기 데이터를 복구하고, 상기 복구된 데이터를 클라이언트로 전달하는 복구 데이터 처리부를 포함하고, 상기 패리티 청크를 저장하는 데이터 서버는, 장애가 발생한 데이터 청크를 제외한 다른 데이터 청크를 읽어 상기 데이터를 복구할 수 있다.According to an aspect of the present invention, the data recovery unit recovers the data using a data request unit for requesting a data server for storing the parity chunk to read data, a data server for storing the parity chunk, To the client, and the data server storing the parity chunk reads the data chunk except for the data chunk in which the failure occurs so as to recover the data.
본 발명의 일측에 따르면, 상기 데이터 복구부는 상기 장애가 발생한 데이터 서버에 저장된 파일의 스트라입 정보를 수신하는 스트라입 정보 수신부, 상기 스트라입 정보를 분석하여 상기 데이터가 제1 스트라입 방식 또는 제2 스트라입 방식인지 여부를 판단하는 스트라입 방식 판단부, 상기 데이터가 제1 스트라입 방식인 경우, 상기 복제 데이터 청크를 할당하고 상기 장애 데이터 청크를 다른 복제 데이터 청크로 복제하는 데이터 복제부 및 상기 복제된 다른 복제 데이터 청크를 기반으로 상기 파일의 레이아웃을 변경하는 레이아웃 변경부를 포함할 수 있다.According to an aspect of the present invention, the data recovery unit may include a straining information receiving unit for receiving straining information of a file stored in the data server in which the fault has occurred, a processor for analyzing the straining information to determine whether the data is a first straining method or a second straining method, A data replication unit for allocating the replica data chunk and replicating the failure data chunk to another replica data chunk when the data is the first straining scheme; And a layout changing unit for changing a layout of the file based on another replicated data chunk.
본 발명의 일측에 따르면, 상기 데이터 복구부는 상기 데이터가 제2 스트라입 방식인 경우, 상기 장애가 발생한 청크가 패리티 청크인지 여부를 판단하는 청크 판단부 및 상기 장가 발생한 청크가 패리티 청크인 경우, 상기 패리티 청크를 할당하고 상기 데이터 청크를 읽어 패리티를 인코딩하여 다른 패리티 청크를 생성하는 패리티 청크 생성부를 더 포함할 수 있다.According to an aspect of the present invention, the data recovery unit may include: a chunk determination unit for determining whether the chunk in which the failure occurs is a parity chunk, when the data is the second straining scheme; And a parity chunk generation unit for allocating a chunk and reading the data chunk to encode the parity to generate another parity chunk.
본 발명의 일측에 따르면, 상기 데이터 복구부는 상기 장가 발생한 청크가 패리티 청크인 경우, 상기 데이터 청크를 할당하고 상기 다른 데이터 청크와 다른 패리티 청크를 읽어 상기 데이터 청크를 복구하는 데이터 청크 복구부를 더 포함할 수 있다.According to an aspect of the present invention, the data recovery unit further includes a data chunk recovering unit that allocates the data chunk and reads the parity chunk different from the other data chunks to recover the data chunk when the chunk generated is a parity chunk .
본 발명의 일측에 따른 파일 데이터 분산 저장 방법은 파일의 데이터를 청크(chunk) 단위로 나누어 데이터 청크에 대한 복제 데이터 청크를 포함하는 제1 스트라입(stripe)으로 유지하는 단계, 상기 데이터를 청크 단위로 나누어 상기 데이터 청크와 패리티 청크를 포함하는 제2 스트라입으로 유지하는 단계, 상기 제1 스트라입과 상기 제2 스트라입을 혼합하여 유지하는 단계, 상기 제1 스트라입을 상기 제2 스트라입으로 변환하여 유지하는 단계 및 상기 제2 스트라입을 상기 제1 스트라입으로 변환하여 유지하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method for distributing file data, the method comprising: dividing data of a file into chunks and maintaining the data in a first stripe including replica chunks for data chunks; Maintaining the data stream in a second strata containing the data chunk and parity chunks; maintaining the first strata and the second strata in a mixed fashion; transforming the first strata into the second strata; And converting and maintaining the second strap into the first strap.
본 발명의 일실시예에 따르면 데이터 서버에 파일의 데이터를 청크들로 나누어 복제 방식 또는 패리티 방식으로 유지하면서 파일의 접근 빈도에 따라 복제 방식에서 패리티 방식으로 그리고 반대로 패리티 방식에서 복제 방식으로 변환할 수 있다.According to an embodiment of the present invention, a data server can divide data of a file into chunks and convert the data from the replication method to the parity method and vice versa from the parity method to the replication method according to the access frequency of the file while maintaining the replication method or the parity method. have.
본 발명의 일실시예에 따르면 데이터에 대한 접근 빈도가 많은 경우 청크들을 복제 방식으로 유지하고, 효율적인 데이터 접근이 가능하도록 하면서 또한 접근 빈도가 줄어들면 다시 데이터를 패리티 방식으로 변환함으로써, 복제 방식에서 낭비되었던 스토리지 공간을 효율적으로 절약할 수 있으면서 복제 방식과 동일한 가용성을 제공할 수 있다.According to an embodiment of the present invention, when the access frequency of data is large, chunks are maintained in a replicated manner, and efficient data access is enabled. In addition, when the access frequency is reduced, data is converted into parity data again, Efficient storage space while still providing the same availability as replication.
본 발명의 일실시예에 따르면 파일의 접근 형태에 따라 파일의 데이터를 복제 방식과 패리티 방식을 혼합하여 유지할 수 있도록 함으로써, 데이터의 효율적인 접근과 스토리지 공간의 효율적인 유지할 수 있다.According to an embodiment of the present invention, data of a file can be maintained in a mixed manner by a replication method and a parity method according to a file access mode, thereby efficiently accessing data and efficiently maintaining a storage space.
도 1은 본 발명의 일실시예에 따른 파일 분산 시스템의 구성을 도시한 블록도이다.
도 2는 본 발명의 일실시예에 따른 파일 데이터 분산 저장 장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일측에 따라 제1 스트라입 방식으로 데이터를 유지하는 경우의 레이아웃을 도시한 도면이다.
도 4는 본 발명의 일측에 따라 제2 스트라입 방식으로 데이터를 유지하는 경우의 레이아웃을 도시한 도면이다.
도 5는 본 발명의 일측에 따라 제1 스트라입 방식 및 제2 스트라입 방식이 혼합된 형태로 데이터를 유지하는 경우의 레이아웃을 도시한 도면이다.
도 6은 본 발명의 일측에 따라 제1 스트라입 방식의 파일을 제2 스트라입 방식의 파일로 변환하는 방법을 도시한 흐름도이다.
도 7은 본 발명의 일측에 따라 제2 스트라입 방식의 파일을 제1 스트라입 방식의 파일로 변환하는 방법을 도시한 흐름도이다.
도 8은 본 발명의 다른 측에 따라 제2 스트라압 방식의 파일을 제1 스트라입 방식의 파일로 변환하는 방법을 도시한 흐름도이다.
도 9는 본 발명의 일측에 따라 데이터 서버에 장애가 발생한 경우 처리 과정을 도시한 흐름도이다.
도 10은 본 발명의 다른 측에 따라 데이터 서버에 장애가 발생한 경우 처리 과정을 도시한 흐름도이다.1 is a block diagram showing the configuration of a file distribution system according to an embodiment of the present invention.
2 is a block diagram illustrating a configuration of a file data distributed storage apparatus according to an embodiment of the present invention.
3 is a diagram showing a layout in a case where data is held in a first straining method according to an aspect of the present invention.
4 is a diagram showing a layout in a case where data is held in a second straining method according to an aspect of the present invention.
FIG. 5 is a view showing a layout in a case where data is held in a mixed form of the first straining method and the second straining method according to an aspect of the present invention.
FIG. 6 is a flowchart illustrating a method of converting a file of a first straining method into a file of a second straining method according to an aspect of the present invention.
FIG. 7 is a flowchart illustrating a method of converting a file of a second straining method into a file of a first straining method according to an aspect of the present invention.
FIG. 8 is a flowchart illustrating a method of converting a file of a second stripe type into a file of a first stripe type according to another aspect of the present invention.
9 is a flowchart illustrating a process in the case where a failure occurs in a data server according to an embodiment of the present invention.
FIG. 10 is a flowchart illustrating a process when a data server fails according to another aspect of the present invention.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings and accompanying drawings, but the present invention is not limited to or limited by the embodiments.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The terminology used herein is a term used for appropriately expressing an embodiment of the present invention, which may vary depending on the user, the intent of the operator, or the practice of the field to which the present invention belongs. Therefore, the definitions of these terms should be based on the contents throughout this specification.
도 1은 본 발명의 일실시예에 따른 파일 분산 시스템의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of a file distribution system according to an embodiment of the present invention.
도 1의 분산 파일 시스템은 클라이언트(101), 메타데이터 서버(102), 및 데이터 서버(103)를 포함한다.The distributed file system of FIG. 1 includes a client 101, a metadata server 102, and a data server 103.
도 1을 참조하면, 본 발명의 일측에 따른 클라이언트(110)는 클라이언트 응용을 수행하고, 메타데이터 서버(120)에 저장된 파일의 메타데이터를 접근할 수 있으며, 데이터 서버(130)에 저장된 파일의 데이터를 입출력할 수 있다.Referring to FIG. 1, a
본 발명의 일측에 따른 메타데이터 서버(120)는 파일 시스템의 모든 파일에 대한 메타데이터를 저장하고 관리하며, 모든 데이터 서버(130)에 대한 상태 정보를 관리한다.The
본 발명의 일측에 따른 데이터 서버(130)는 파일의 데이터 청크를 저장 및 관리하고, 주기적으로 메타데이터 서버(120)에게 자신의 상태 정보를 보고한다.The
본 발명의 일측에 따르면, 데이터 서버(130)는 다수 개로 구성하는 것이 바람직하며, 클라이언트(110), 메타데이터 서버(120) 및 다수의 데이터 서버(130)는 네트워크로 상호 연결된다.According to one aspect of the present invention, it is preferable that the
도 2는 본 발명의 일실시예에 따른 파일 데이터 분산 저장 장치의 구성을 도시한 블록도이다.2 is a block diagram illustrating a configuration of a file data distributed storage apparatus according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일실시예에 따른 파일의 데이터를 청크(chunk) 단위로 나누어 데이터 청크에 대한 복제 데이터 청크를 포함하는 제1 스트라입(stripe)으로 유지하는 제1 스트라입 관리부(210), 상기 데이터를 청크 단위로 나누어 상기 데이터 청크와 패리티 청크를 포함하는 제2 스트라입으로 유지하는 제2 스트라입 관리부(220), 상기 제1 스트라입과 상기 제2 스트라입을 혼합하여 유지하는 혼합 스트라입 관리부(230), 상기 제1 스트라입을 상기 제2 스트라입으로 변환하여 유지하는 제1 스트라입 변환부(240) 및 상기 제2 스트라입을 상기 제1 스트라입으로 변환하여 유지하는 제2 스트라입 변환부(250)로 구성된다.Referring to FIG. 2, a first strike management unit for dividing data of a file according to an embodiment of the present invention into chunks and maintaining the data in a first stripe including replica chunks for data chunks, A second
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 데이터 복구부(미도시)를 이용하여 데이터 청크를 저장하는 데이터 서버의 장애 여부를 판단하고, 상기 데이터 서버가 장애로 판단된 경우 상기 데이터를 복구할 수 있다.The apparatus for distributing file data according to an aspect of the present invention determines whether or not a data server storing data chunks has failed by using a data recovery unit (not shown), and when the data server is determined as a failure, .
본 발명의 일측에 따르면, 상기 각각의 청크는 청크 크기, 전체 청크 개수, 스트라입 개수, 스트라입 폭 또는 패리티 폭 등의 다양한 정보를 포함한다.According to one aspect of the present invention, each of the chunks includes various pieces of information such as a chunk size, a total number of chunks, a number of strap entries, a stripe width or a parity width.
도 3은 본 발명의 일측에 따라 제1 스트라입 방식으로 데이터를 유지하는 경우의 레이아웃을 도시한 도면이다.3 is a diagram showing a layout in a case where data is held in a first straining method according to an aspect of the present invention.
본 발명의 일측에 따른 제1 스트라입 관리부(210)는 파일의 청크들을 복제본으로 유지할 때 기본적으로 청크 크기(301), 전체 청크 개수(302), 스트라입 개수(303), 스트라입 폭(304), 패리티 폭(305) 등의 스트라입 정보를 유지한다.The first
본 발명의 일측에 따르면, 상기 청크 크기(301)는 파일 별로 다를 수 있으며 한 파일에서 모든 청크는 동일한 크기를 가질 수 있다.According to one aspect of the present invention, the
본 발명의 일측에 따르면, 청크는 주 청크와 복제본 청크로 이루어지며, 파일에 대한 쓰기는 주 청크에만 이루어지며, 주 청크에 반영된 데이터는 추후에 복제본 청크로 복제될 수 있다.According to one aspect of the present invention, a chunk consists of a main chunk and a replica chunk, the writing to the file is done only in the main chunk, and the data reflected in the main chunk may be replicated later in the replica chunk.
본 발명의 일측에 따르면, 파일 레이아웃에서 전체 청크 개수(302)는 주 청크와 복제본 청크를 포함한 개수를 의미한다.According to one aspect of the present invention, the total number of
본 발명의 일측에 따르면, 스트라입 개수(303)는 파일의 전체 청크 개수와 스트라입 폭(304) 및 패리티 폭(305)에 따라 결정될 수 있다.According to one aspect of the present invention, the number of
본 발명의 일측에 따르면, 스트라입 폭(304)은 제1 스트라입 방식의 경우 하나의 스트라입에서 주 청크의 개수를 의미한다.According to one aspect of the present invention, the strike width 304 means the number of main chunks in a strike in the case of the first straining method.
본 발명의 일측에 따르면, 제1 스트라입 방식의 경우 스트라입 폭(304)은 1이 바람직하다.According to one aspect of the present invention, in the case of the first straining method, the strap width 304 is preferably one.
본 발명의 일측에 따르면, 패리티 폭(305)은 제1 스트라입 방식의 경우 하나의 스트라입에서 복제본 청크의 개수를 의미한다.According to one aspect of the present invention, the parity width 305 means the number of replicated chunks in one stripe in the case of the first straining method.
예를 들어, 패리티 폭(305)이 1인 경우에는 복제본이 하나인 경우이며, 이 경우에는 스트라입에 속하는 하나의 청크를 저장하고 있는 데이터 서버 장애가 발생하더라도 대처할 수 있다.For example, if the parity width 305 is 1, there is only one replica. In this case, even if a data server failure storing one chunk belonging to the strains occurs, it can be coped with.
본 발명의 일측에 따른 제1 스트라입 관리부(210)는 스트라입에 속하는 두 청크를 저장하고 있는 데이터 서버 장애가 발생하였을 때는 대처하기 어려우므로, 복제본을 두개를 두어 패리티 폭을 2로 하면 스트라입에 속하는 두 청크를 저장하고 있는 데이터 서버가 동시에 장애가 발생하더라도 대처할 수 있다.Since the first
본 발명의 일측에 따르면, 각각의 스트라입(306, 307, 308, 309, 310, 311)은 스트라입에 속하는 청크의 개수와 각 청크의 정보를 유지하며, 청크의 정보는 청크가 저장된 데이터 서버(130)와 디스크 정보 그리고 청크 식별자, 청크 버전, 상태 정보를 포함할 수 있다.According to one aspect of the present invention, each
도 4는 본 발명의 일측에 따라 제2 스트라입 방식으로 데이터를 유지하는 경우의 레이아웃을 도시한 도면이다.4 is a diagram showing a layout in a case where data is held in a second straining method according to an aspect of the present invention.
도 4를 참조하면, 본 발명의 일측에 따른 제2 스트라입 관리부(220)는 파일의 청크들을 패리티 방식으로 유지하기 위해 청크 크기(401), 전체 청크 개수(402), 스트라입 개수(403), 스트라입 폭(404), 패리티 폭(405) 정보를 유지한다. 4, the second
본 발명의 일측에 따르면, 제2 스트라입 방식의 경우 청크는 데이터 청크와 패리티 청크로 구별된다.According to one aspect of the present invention, in the case of the second straining method, chunks are distinguished by data chunks and parity chunks.
본 발명의 일측에 따르면, 데이터 청크는 실제 파일 데이터가 저장되고, 패리티 청크는 스트라입에 속하는 데이터 청크의 데이터를 패리티 인코딩 방법에 의해 인코딩한 패리티 데이터가 저장된다.According to one aspect of the present invention, parity data obtained by encoding actual chunks of data in a data chunk and parity chunks in a data chunk belonging to a strike is encoded by a parity encoding method.
본 발명의 일측에 따르면, 청크 크기(401)는 한 파일에 속하는 데이터 청크와 패리티 청크의 크기를 의미한다.According to one aspect of the present invention, chunk size 401 refers to the size of data chunks and parity chunks belonging to a file.
본 발명의 일측에 따르면, 전체 청크 개수(402)는 한 파일에 속하는 데이터 청크와 패리티 청크를 모두 포함하는 개수이다. According to one aspect of the present invention, the total number of
본 발명의 일측에 따르면, 스트라입 개수(403)는 한 파일에 속하는 스트라입 개수를 의미하며, 전체 청크 개수(403), 스트라입 폭(404) 및 패리티 폭(405)에 의해 결정될 수 있다.According to one aspect of the present invention, the number of
본 발명의 일측에 따르면, 스트라입 폭(404)은 하나의 스트라입에 속하는 데이터 청크의 개수를 의미한다. According to one aspect of the present invention, the strike width 404 means the number of data chunks belonging to a single strike.
본 발명의 일측에 따르면, 패리티 폭(405)은 하나의 스트라입에 속하는 패리티 청크의 개수를 의미한다. According to one aspect of the present invention, the parity width 405 means the number of parity chunks belonging to a single stripe.
본 발명의 일측에 따르면, 파일 데이터 분산 저장 장치는 패리티 폭(405)에 따라 장애에 대처할 수 있는 정도가 다를 수 있어, 패리티 폭(405)이 1인 경우에는 제1 스트라입 방식에서 패리티 폭(305)을 1로 하였을 때, 즉 복제본을 하나 두었을 때와 동일하다.According to one aspect of the present invention, the degree to which a file data dispersion storage device can cope with a fault may be different according to the parity width 405. When the parity width 405 is 1, the parity width 405 in the first- 305) is set to 1, that is, it is the same as when a duplicate is placed.
본 발명의 일측에 따르면, 파일 데이터 분산 저장 장치는 스트라입에 속하는 하나의 데이터 청크를 저장하고 있는 데이터 서버에 장애가 발생하였을 때 대처할 수 있다.According to an aspect of the present invention, a file data distribution storage device can cope with a failure in a data server storing one data chunk belonging to a strike.
본 발명의 일측에 따르면, 파일 데이터 분산 저장 장치는 스트라입에 속하는 두 개의 데이터 청크를 저장하고 있는 데이터 서버들에 동시에 장애가 발생하였을 때 대처하기 어려울 수 있어, 패리티 폭을 2인 경우 제1 스트라입 방식에서 패리티 폭(305)을 2로 하였을 때, 즉 복제본을 두개 두었을 때와 동일하게 처리할 수 있다.According to one aspect of the present invention, the file data distributed storage device may be difficult to cope with when a data server storing two data chunks belonging to a strike simultaneously fails, and when the parity width is 2, Method, the same processing can be performed when the parity width 305 is set to 2, that is, when two replicas are set.
본 발명의 일측에 따르면, 파일 데이터 분산 저장 장치는 스트라입에 속하는 두 개의 데이터 청크를 저장하고 있는 데이터 서버들에 동시에 장애가 발생하였을 때도 대처할 수 있다.According to an aspect of the present invention, a file data distribution storage apparatus can cope with a case where a failure occurs simultaneously in data servers storing two data chunks belonging to a strike.
본 발명의 일측에 따르면, 파일 데이터 분산 저장 장치는 제2 스트라입 방식에서도 각각의 스트라입(406, 407)에는 스트라입에 속하는 청크의 개수와 데이터 청크 그리고 패리티 청크의 정보를 포함한다.According to one aspect of the present invention, the file data distribution storage device includes information on the number of chunks belonging to a stripe, data chunks, and parity chunks in each of the straights 406 and 407 even in the second straining method.
본 발명의 일측에 따르면, 청크 정보는 청크를 저장하고 있는 데이터 서버와 디스크 정보 그리고 청크 식별자, 청크 버전, 상태 정보 등을 포함한다.According to one aspect of the present invention, chunk information includes a data server storing chunks, disk information, and chunk identifiers, chunk versions, status information, and the like.
도 5는 본 발명의 일측에 따라 제1 스트라입 방식 및 제2 스트라입 방식이 혼합된 형태로 데이터를 유지하는 경우의 레이아웃을 도시한 도면이다.FIG. 5 is a view showing a layout in a case where data is held in a mixed form of the first straining method and the second straining method according to an aspect of the present invention.
본 발명의 일측에 따른 혼합 스트라입 관리부(230)는 파일의 청크들을 복제 방식과 패리티 방식으로 혼합되어 유지되는 경우 기본적으로 청크 크기(501), 전체 청크 개수(502), 스트라입 개수(503), 스트라입 폭(504), 패리티 폭(505) 정보를 유지한다.When the chunks of a file are maintained in a mixed manner by a duplication method and a parity method, the mixed
본 발명의 일측에 따르면, 혼합 형태에서 스트라입 개수(503)는 상기 두가지 스트라입 방식에서와 동일하다.According to one aspect of the present invention, the number of
본 발명의 일측에 따르면, 파일 데이터 분산 저장 장치는 스트라입 폭(504)과 패리티 폭(505)은 제2 스트라입 방식을 우선적으로 유지하는 것이 바람직하며, 각각의 스트라입에서도 동일하게 스트라입에 속하는 청크의 개수와 청크 정보를 유지할 수 있다.According to one aspect of the present invention, in the file data distributed storage device, it is preferable that the stripe width 504 and the parity width 505 maintain the priority of the second straining method, The number of chunks belonging and the chunk information can be maintained.
본 발명의 일측에 따르면, 파일 데이터 분산 저장 장치는 각 청크가 데이터 청크 또는 복제 청크 또는 패리티 청크일 수 있으며, 이는 청크의 정보에 의해 판단할 수 있다.According to one aspect of the present invention, the file data distributed storage device may be such that each chunk may be a data chunk or a duplicate chunk or a parity chunk, which may be determined by the information of the chunk.
도 6은 본 발명의 일측에 따라 제1 스트라입 방식의 파일을 제2 스트라입 방식의 파일로 변환하는 방법을 도시한 흐름도이다.FIG. 6 is a flowchart illustrating a method of converting a file of a first straining method into a file of a second straining method according to an aspect of the present invention.
본 발명의 일측에 따른 제1 스트라입 변환부(240)는 청크 할당부를 이용하여 상기 패리티 청크를 할당하고(601), 비트 설정부를 이용하여 상기 데이터 청크에 인코딩 비트를 설정할 수 있다(602).The first
본 발명의 일측에 따른 메타데이터 서버는 스트라입에 대한 패리티 청크를 데이터 서버에 할당하도록 요청할 수 있으며, 할당할 패리티 청크의 개수는 패리티 폭에 의해 결정될 수 있다.A metadata server according to an aspect of the present invention may request to allocate a parity chunk for a strike to a data server, and the number of parity chunks to be allocated may be determined by a parity width.
이때, 본 발명의 일측에 따른 할당된 패리티 청크들은 일단 임시 청크로 설정되며, 스트라입 폭에 의해 스트라입에 포함될 데이터 청크들의 상태를 인코딩 상태로 설정할 수 있다.At this time, the allocated parity chunks according to one aspect of the present invention are temporarily set to temporary chunks, and the state of data chunks to be included in the strains can be set to the encoding state by the stripe width.
본 발명의 일측에 따른 제1 스트라입 변환부(240)는 갱신 판단부를 이용하여 상기 데이터 청크가 갱신 중인지 여부를 판단하고(603), 인코딩 요청부를 이용하여 상기 데이터 청크를 갱신하지 않는 경우, 상기 패리티 청크가 할당된 데이터 서버에 패리티 인코딩을 요청할 수 있다(604).The
본 발명의 일측에 따른 제1 스트라입 변환부(240)는 데이터 청크가 갱신 중이면 패리티 청크를 삭제하고 인코딩을 취소할 수 있다(608).If the data chunk is being updated, the first
본 발명의 일측에 따른 제1 스트라입 변환부(240)는 데이터 청크에 인코딩 상태를 설정함으로써, 스트라입에 대한 패리티 인코딩을 진행하는 동안 데이터 청크에 대한 갱신이 발생하였을 때 패리티 인코딩을 취소하고 패리티 청크를 삭제한 후, 스트라입 변환을 다음 스트라입에 대해 수행할 수 있다.The
본 발명의 일측에 따른 제1 스트라입 변환부(240)는 인코딩 상태 설정이 완료되면 패리티 청크가 할당된 데이터 서버에 패리티 인코딩을 요청하고, 데이터 서버는 스트라입에 속하는 데이터 청크들을 읽어서 패리티 청크를 생성한다.When the encoding state setting is completed, the first
본 발명의 일측에 따른 제1 스트라입 변환부(240)는 인코딩 판단부를 통하여 상기 패리티 인코딩의 성공 여부를 판단하고(605), 레이아웃 변경부를 이용하여 상기 패리티 인코딩이 성공한 경우, 상기 파일의 레이아웃을 변경한다(606).The
본 발명의 일측에 따른 제1 스트라입 변환부(240)는 패리티 인코딩이 실패하면 패리티 청크를 삭제하고 변환을 취소할 수 있다.The first
본 발명의 일측에 따른 제1 스트라입 변환부(240)는 패리티 청크가 완성되면, 청크의 상태를 주 청크에서 데이터 청크로, 임시 청크 상태인 패리티 청크를 패리티 청크 상태로 변경함으로써 파일 레이아웃을 변경할 수 있다.When the parity chunk is completed, the first
본 발명의 일측에 따른 제1 스트라입 변환부(240)는 청크 삭제부를 이용하여 상기 데이터 청크에 대한 상기 복제 데이터 청크를 삭제할 수 있다.The
즉, 본 발명의 일측에 따른 제1 스트라입 변환부(240)는 파일 레이아웃이 변경되면 데이터 청크의 복제본 청크들을 삭제한다(607).That is, if the file layout is changed, the first
본 발명의 일측에 따르면, 청크에 대한 삭제는 지연되어 이루어지도록 하는데, 데이터 서버는 청크를 즉시 삭제하는 것이 아니라 삭제할 청크를 표시해 두었다가 주기적 또는 시스템의 부하가 적을 때를 이용하여 청크를 삭제함으로써 시스템의 부하에 영향을 주지 않도록 한다.According to one aspect of the present invention, the deletion of chunks is delayed, and the data server does not delete the chunks immediately, but rather displays the chunks to be deleted, and then deletes the chunks using the periodic or system load, Do not affect the load.
본 발명의 일측에 따르면, 제1 스트라입 변환부(240)에 의한 변환 처리 과정은 각각의 스트라입에 대해 반복적으로 이루어진다.According to one aspect of the present invention, the conversion process by the first
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 적어도 하나의 스트라입이 변환되었으면 파일 레이아웃의 기본 정보인 스트라입 폭과 패리티 폭을 변경한다.The file data distribution storage device according to an aspect of the present invention changes the stripe width and the parity width, which are basic information of the file layout, when at least one stripe has been converted.
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 파일을 완전하게 변환하거나 또는 일부만 변환할 수도 있다. 만약 일부만 변환된 경우에는 재변환 과정을 수행할 수도 있다. A file data distribution storage device according to an aspect of the present invention may convert a file completely or only partially. If only a part is converted, the re-conversion process may be performed.
본 발명의 일측에 따르면, 이러한 변환 처리는 파일의 접근 빈도에 따라 관리자에 의해 정책적으로 결정될 수 있다.According to one aspect of the present invention, such conversion processing can be policy-determined by the administrator depending on the access frequency of the file.
도 7은 본 발명의 일측에 따라 제2 스트라입 방식의 파일을 제1 스트라입 방식의 파일로 변환하는 방법을 도시한 흐름도이다.FIG. 7 is a flowchart illustrating a method of converting a file of a second straining method into a file of a first straining method according to an aspect of the present invention.
본 발명의 일측에 따른 제2 스트라입 변환부(250)는 청크 할당부를 이용하여 상기 복제 데이터 청크를 할당하고(701), 복제 요청부를 이용하여 상기 데이터 청크가 저장된 데이터 서버에 복제를 요청할 수 있다(702).The second
본 발명의 일측에 따른 제2 스트라입 변환부(250)는 파일의 청크들을 제2 스트라입 방식으로 유지하고 있다가 제1 스트라입 방식으로 변환하기 위해서 먼저 메타데이터 서버에서 스트라입의 데이터 청크들에 대한 복제 청크들을 할당하도록 데이터 서버에게 요청한다.The
본 발명의 일측에 따른 제2 스트라입 변환부(250)는 복제 청크의 상태를 임시 청크로 설정한다.The second
본 발명의 일측에 따른 제2 스트라입 변환부(250)는 각각의 데이터 청크를 저장하고 있는 데이터 서버에 자신의 복제 청크로 복제를 하도록 요청한다. The second
본 발명의 일측에 따른 제2 스트라입 변환부(250)는 데이터 청크를 복제하는 동안 데이터 청크를 저장하고 있는 데이터 서버에 고장이 발생하면 스트라입의 패리티 청크와 다른 데이터 청크를 이용하여 복구하는 절차에 들어간다.When a failure occurs in the data server storing the data chunks during the replication of the data chunks, the
본 발명의 일측에 따른 제2 스트라입 변환부(250)는 데이터 청크를 복제하는 동안 데이터 청크에 대한 갱신이 발생하면 도 8에서 설명하는 절차를 수행한다.The
본 발명의 일측에 따른 제2 스트라입 변환부(250)는 인코딩 판단부를 이용하여 상기 데이터 청크의 복제 성공 여부를 판단하고(703), 인코딩 판단부 및 레이아웃 변경부를 이용하여 상기 데이터 청크의 복제가 성공한 경우, 상기 파일의 레이아웃을 변경한다(704).The
본 발명의 일측에 따른 제2 스트라입 변환부(250)는 데이터 청크의 복제가 실패하면, 복제 청크를 삭제하고 복제를 취소한다(706). If the duplication of the data chunk fails, the second
본 발명의 일측에 따른 제2 스트라입 변환부(250)는 데이터 청크의 복제가 성공하면, 복제 청크를 스트라입으로 구성하고 데이터 청크의 상태는 주 청크로, 복제 청크는 복제 데이터 청크로 변경하여 파일 레이아웃을 변경한다.If the data chunk is successfully duplicated, the
본 발명의 일측에 따른 제2 스트라입 변환부(250)는 청크 삭제부를 이용하여 상기 패리티 청크를 삭제할 수도 있다(705).The second
본 발명의 일측에 따르면, 패리티 청크에 대한 삭제는 지연되어 이루어진다.According to one aspect of the present invention, the deletion for the parity chunk is made in a delayed manner.
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 모든 스트라입에 대한 복제가 완료되면 파일 레이아웃의 기본 정보인 스트라입 폭과 패리티 폭을 변경한다.The file data distribution storage device according to an aspect of the present invention changes the stripe width and the parity width, which are basic information of the file layout, when the copying for all the strokes is completed.
본 발명의 일측에 따르면, 제2 스트라입 변환부에 의한 스트라입 변환 처리 과정은 모든 스트라입에 대해 반복적으로 수행될 수 있다.According to one aspect of the present invention, the process of performing the strap-in conversion process by the second strap-in conversion unit can be repeatedly performed for all strains.
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 모든 스트라입이 변환되지 않은 경우 스트라입 폭과 패리티 폭을 변경하지는 않는다. The file data distributed storage device according to an aspect of the present invention does not change the stripe width and the parity width when all the strokes are not converted.
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 스트라입 변환 중에 메타데이터 서버에 고장이 발생한 경우에는 청크가 할당되었지만 복제가 완료되지 못한 임시 청크들이 존재할 수 있으므로, 이러한 청크들은 쓰레기 청크로 분류되어 시스템 복구 시에 삭제된다.In the file data distributed storage device according to an aspect of the present invention, when a failure occurs in the metadata server during the strike conversion, there may exist temporary chunks that have been allocated chunks but not replicated. It is deleted at the time of recovery.
본 발명의 일측에 따르면, 유틸리티에 의한 스트라입 변환은 파일의 접근 빈도에 따라 특정 청크에 대해서만 수행되록 지정할 수 있다.According to one aspect of the present invention, the strayn transformation by the utility can be specified to be performed only for a specific chunk according to the access frequency of the file.
도 8은 본 발명의 다른 측에 따라 제2 스트라압 방식의 파일을 제1 스트라입 방식의 파일로 변환하는 방법을 도시한 흐름도이다.FIG. 8 is a flowchart illustrating a method of converting a file of a second stripe type into a file of a first stripe type according to another aspect of the present invention.
본 발명의 일측에 따른 제2 스트라입 변환부(240)는 청크 쓰기 요청부를 이용하여 상기 패리티 청크가 갱신된 경우 상기 데이터 청크에 대한 쓰기를 요청하고(801), 데이터 추가 판단부를 이용하여 상기 데이터에 다른 데이터가 추가되는지 여부를 판단한다(802).If the parity chunk is updated by using the chunk write request unit, the second
본 발명의 일측에 따른 제2 스트라입 변환부(240)는 패리티 인코딩부를 이용하여 상기 다른 데이터가 추가되는 경우 상기 다른 데이터를 상기 패리티 청크에 전달하여 패리티 인코딩할 수 있다(808, 809).The second
본 발명의 일측에 따른 제2 스트라입 변환부(240)는 청크 할당부를 이용하여 상기 데이터가 갱신되는 경우 상기 데이터를 저장하는 데이터 서버에 상기 복제 데이터 청크를 할당 요청할 수 있다.When the data is updated using the chunk allocation unit, the
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 제2 스트라입 방식으로 유지되는 파일의 데이터를 갱신하게 되면, 클라이언트로부터 스트라입에 속하는 데이터 청크에 대한 쓰기 요청을 할 수 있다.The file data distributed storage device according to an aspect of the present invention can request a write from a client for a data chunk belonging to a strike when updating data of a file maintained in the second strike method.
본 발명의 일측에 따른 제2 스트라입 변환부(240)는 데이터 갱신부를 이용하여 상기 할당된 복제 데이터 청크로 상기 데이터를 갱신한다(803, 804).The
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 기존 데이터를 갱신하는 경우 갱신되는 청크를 저장하고 있는 데이터 서버에 복제 청크 할당을 요청하고, 복제 청크가 할당되면 복제 청크로 데이터를 갱신한다.A file data distribution storage device according to an aspect of the present invention requests allocation of a copy chunk to a data server storing a chunk to be updated when updating existing data, and updates the data with a copy chunk when the copy chunk is allocated.
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 갱신된 데이터를 패리티 청크에 전달하여 패리티를 갱신한다.A file data distribution storage apparatus according to an aspect of the present invention updates updated parity by transferring updated data to a parity chunk.
본 발명의 일측에 따른 제2 스트라입 변환부(240)는 패리티 청크 갱신부를 이용하여 상기 갱신된 데이터를 상기 패리티 청크에 전달하여 상기 패리티 청크를 갱신하고(805), 데이터 복제부를 이용하여 상기 갱신된 데이터를 제외한 영역의 데이터를 복제할 수 있다(806).The
본 발명의 일측에 따른 제2 스트라입 변환부(240)는 파일 레이아웃 변경부를 이용하여 상기 제2 스트라입에 포함된 모든 데이터 청크에 대한 복제가 완료된 경우, 상기 파일의 레이아웃을 변경할 수 있다.The second
본 발명의 일측에 따른 제2 스트라입 변환부(240)는 제2 스트라입 방식의 파일을 갱신하게 되면 데이터와 패리티를 동시에 갱신해 주어야 한다.The second
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 파일을 갱신함으로써, 접근 빈도가 증가시킬 가능성을 높일 수 있다.The file data distributed storage device according to one aspect of the present invention can increase the frequency of access frequency by updating the file.
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 데이터의 접근 효율성을 증가시키면서 갱신에 대한 비용을 줄이고 장애에 대한 가용성을 유지하기 위하여 파일을 다시 복제 방식으로 변환할 수 있다.The file data distribution storage device according to an aspect of the present invention can convert a file to a replication method in order to reduce the cost for updating and maintain availability for a fault while increasing data access efficiency.
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 갱신된 데이터를 제외한 부분의 데이터를 복제한다(806). The file data distribution storage device according to an aspect of the present invention replicates data of a portion excluding the updated data (806).
본 발명의 일측에 따른 파일 데이터 분산 저장 장치의 상기 처리 과정은 스트라입에 속하는 데이터 청크들에 대해 반복적으로 수행하며, 스트라입에 속하는 모든 데이터 청크에 대해 복제가 완료되면 파일 레이아웃을 변경할 수 있다.The process of the file data storage device according to an embodiment of the present invention is repeatedly performed on the data chunks belonging to the stripe, and the file layout can be changed when all data chunks belonging to the stripe are completely copied.
도 9는 본 발명의 일측에 따라 데이터 서버에 장애가 발생한 경우 처리 과정을 도시한 흐름도이다.9 is a flowchart illustrating a process in the case where a failure occurs in a data server according to an embodiment of the present invention.
도 9를 참조하면, 본 발명의 일측에 따른 데이터 복구부는 데이터 요청부를 이용하여 상기 패리티 청크를 저장하는 데이터 서버에 데이터 읽기를 요청한다.Referring to FIG. 9, a data recovery unit according to an embodiment of the present invention requests data to be read from a data server storing the parity chunk using a data request unit.
본 발명의 일측에 따른 데이터 복구부는 복구 데이터 처리부를 이용하여 상기 패리티 청크를 저장하는 데이터 서버를 이용하여 상기 데이터를 복구하고, 상기 복구된 데이터를 클라이언트로 전달한다.A data recovery unit according to an aspect of the present invention recovers the data using a data server storing the parity chunk using a recovery data processing unit, and transfers the recovered data to a client.
본 발명의 일측에 따르면, 상기 패리티 청크를 저장하는 데이터 서버는 장애가 발생한 데이터 청크를 제외한 다른 데이터 청크를 읽어 상기 데이터를 복구할 수 있다.According to an aspect of the present invention, the data server storing the parity chunk may recover the data by reading another data chunk except for the data chunk in which the failure occurs.
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 제2 스트라입 방식으로 파일을 유지하고 있는 경우, 데이터 클라이언트에서 데이터를 읽기 위해서 먼저 메타데이터 서버로부터 읽을 위치의 스트라입 정보를 받아온다(901).In the file data distribution storage device according to an embodiment of the present invention, when the file is held in the second straining method, the data client receives the straining information of the location to be read from the metadata server (901).
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 읽을 청크를 결정하고 청크가 저장된 데이터 서버에 데이터 읽기를 요청한다(902).A file data distribution storage device according to an aspect of the present invention determines a chunk to be read and requests data to be read from a data server in which the chunk is stored (902).
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 데이터 서버에 접근할 수 있으면 데이터 서버에서 바로 데이터를 읽어서 클라이언트로 전달한다(907).The file data distributed storage device according to an aspect of the present invention reads data directly from the data server and transfers the read data to the client when the data server is accessible (907).
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 데이터 서버에 접근할 수 없으면, 즉, 장애가 발생한 경우 스트라입의 패리티 청크를 저장하고 있는 데이터 서버에 데이터 읽기 요청을 한다(904).If the file data distribution storage device according to an aspect of the present invention can not access the data server, that is, if a failure occurs, the data distribution server stores a data read request to the data server storing the parity chunk of the strike (904).
본 발명의 일측에 따르면, 패리티 청크를 저장하고 있는 데이터 서버는 장애가 발생한 데이터 청크를 제외한 다른 데이터 청크를 읽어서 데이터를 복구한다(905). According to one aspect of the present invention, the data server storing the parity chunk reads data chunks other than the failed data chunks to recover the data (905).
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 복구된 데이터를 클라이언트로 전달한다(906).The file data distributed storage device according to an aspect of the present invention transfers the recovered data to the client (906).
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 데이터 서버에 장애가 발생한 경우, 장애가 발생한 데이터 서버에 청크가 저장된 파일의 경우에는 복구 처리를 수행할 수 있다.According to an aspect of the present invention, a file data distribution storage apparatus can perform a recovery process in the case of a failure in a data server, or a file in which a chunk is stored in a failed data server.
도 10은 본 발명의 다른 측에 따라 데이터 서버에 장애가 발생한 경우 처리 과정을 도시한 흐름도이다.FIG. 10 is a flowchart illustrating a process when a data server fails according to another aspect of the present invention.
본 발명의 일측에 따른 데이터 복구부는 스트라입 정보 수신부를 통하여 상기 장애가 발생한 데이터 서버에 저장된 파일의 스트라입 정보를 수신한다(1001).The data recovery unit according to an aspect of the present invention receives stripe information of a file stored in the failed data server through the stripe information receiving unit (1001).
본 발명의 일측에 따른 데이터 복구부는 스트라입 방식 판단부를 이용하여 상기 스트라입 정보를 분석하여 상기 데이터가 제1 스트라입 방식 또는 제2 스트라입 방식인지 여부를 판단한다(1002).A data recovery unit according to an aspect of the present invention analyzes the straining information using a straining method determination unit and determines whether the data is a first straining method or a second straining method (1002).
예를 들어, 본 발명의 일측에 따른 데이터 복구부는 스트라입 폭이 1 보다 큰가를 판단하여 스트라입 폭이 1 보다 크지 않으면 제1 스트라입 방식으로 판단하고, 스트라입 폭이 1 보다 크면 제2 스트라입 방식으로 판단할 수 있다.For example, the data recovery unit according to one aspect of the present invention determines whether the stripe width is greater than 1, and determines that the stripe width is greater than 1. If the stripe width is greater than 1, It can be judged by mouth method.
본 발명의 일측에 따른 데이터 복구부는 데이터 복제부를 이용하여 상기 데이터가 제1 스트라입 방식인 경우, 상기 복제 데이터 청크를 할당하고 상기 장애 데이터 청크를 다른 복제 데이터 청크로 복제한다(1008, 1009).The data recovery unit according to an aspect of the present invention allocates the replicated data chunks and replicates the failed data chunks to other replicated data chunks (1008, 1009) when the data is the first straining scheme using the data replicating unit.
본 발명의 일측에 따른 데이터 복구부는 레이아웃 변경부를 이용하여 상기 복제된 다른 복제 데이터 청크를 기반으로 상기 파일의 레이아웃을 변경할 수 있다(1010).The data recovery unit according to an aspect of the present invention may change the layout of the file based on the other replicated data chunks using the layout changing unit (1010).
본 발명의 일측에 따른 데이터 복구부는 청크 판단부를 이용하여 상기 데이터가 제2 스트라입 방식인 경우, 상기 장애가 발생한 청크가 패리티 청크인지 여부를 판단한다(1003).The data recovery unit according to an aspect of the present invention uses the chunk determination unit to determine whether the chunk in which the failure occurs is a parity chunk, when the data is the second straining scheme (1003).
본 발명의 일측에 따른 데이터 복구부는 패리티 청크 생성부를 이용하여 상기 장가 발생한 청크가 패리티 청크인 경우, 상기 패리티 청크를 할당하고 상기 데이터 청크를 읽어 패리티를 인코딩하여 다른 패리티 청크를 생성한다(1004, 1005).The data recovery unit according to an aspect of the present invention allocates the parity chunk when the chunk generated by the chunk is a parity chunk using the parity chunk generating unit, reads the data chunk, and encodes the parity to generate another parity chunk (1004, 1005 ).
본 발명의 일측에 따른 데이터 복구부는 데이터 청크 복구부를 이용하여 상기 데이터 복구부는 상기 장가 발생한 청크가 패리티 청크인 경우, 상기 데이터 청크를 할당하고 상기 다른 데이터 청크와 다른 패리티 청크를 읽어 상기 데이터 청크를 복구한다(1006, 1007).The data recovery unit according to an aspect of the present invention uses a data chunk recovering unit to recover the data chunk by allocating the data chunk and reading another parity chunk from the other data chunk when the chunk generated is a parity chunk, (1006, 1007).
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 파일 데이터를 분산 저장함에 있어서 접근 빈도에 따라 데이터를 복제하여 저장하고 관리하는 방법으로 유지하다가 접근 빈도가 줄어들거나 관리자의 의도에 의해 데이터를 패리티를 갖는 스트라입 방식으로 변경하여 저장하도록 함으로써, 스토리지 효율성을 증가시키면서 복제 방식과 동일한 가용성을 제공할 수 있다.According to one aspect of the present invention, a file data distribution storage apparatus stores and manages data in accordance with an access frequency in a distributed and stored file data, and the access frequency is reduced or the data is stored in a parity The storage system can be changed and stored in a strained manner, thereby providing the same availability as the replication method while increasing the storage efficiency.
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 패리티를 갖는 스트라입 방식으로 저장된 파일이 다시 갱신될 때 파일 데이터의 접근 빈도가 다시 증가할 것을 예상하여 파일을 다시 복제 방식으로 변경하여 저장하도록 함으로써 접근 효율성을 증가시킬 수 있다.The file data distribution storage device according to an aspect of the present invention estimates that the access frequency of the file data increases again when a file stored in a strained manner with parity is updated again, Efficiency can be increased.
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 하나의 파일에서 일부 데이터에 대한 접근이 자주 발생하는 것을 대비하여 일부 데이터에 대해서만 복제 방식으로 데이터를 저장하고 나머지 부분에 대해서는 패리티를 갖는 스트라입 방식으로 유지할 수 있다.The file data distribution storage apparatus according to an embodiment of the present invention stores data in a duplication manner only for a part of data in order to prevent frequent access to some data in one file, .
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 메타데이터 서버에서 볼륨 단위로 스토리지에 대한 저장 방식을 결정하고, 기본적으로 최초에 파일 저장될 때는 이후 접근이 자주 발생할 것으로 예상되어 복제 방식으로 저장할 수 있다.The file data distribution storage device according to an aspect of the present invention determines a storage method for a storage in units of volumes in a metadata server and is basically expected to occur frequently when a file is stored for the first time, .
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 파일에 대한 접근 빈도가 줄어들었을 때 자동으로 또는 관리자에 의해 유틸리티를 통하여 파일 또는 특정 디렉토리 아래 파일들에 대해 패리티를 갖는 스트라입 형태로 저장 방식을 변경할 수 있다.The file data distribution storage device according to an aspect of the present invention may change the storage method in a form of a stripe having a parity with respect to a file or files under a specific directory, .
본 발명의 일측에 따른 파일 데이터 분산 저장 장치는 볼륨에 속한 모든 파일에 대해 복제 방식으로 데이터를 저장함으로써 낭비될 수 있는 스토리지 공간을 절약할 수 있으며, 시스템 장애로 인한 장애 상황에서도 패리티를 통해 데이터를 손실을 방지할 수 있다.The file data distributed storage device according to an aspect of the present invention can save a storage space that can be wasted by storing data in a replicated manner for all files belonging to a volume, Loss can be prevented.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments according to the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as a hard disk, a floppy disk, and a magnetic tape; optical media such as CD-ROM and DVD; magnetic recording media such as a floppy disk; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.As described above, the present invention has been described with reference to particular embodiments, such as specific elements, and specific embodiments and drawings. However, it should be understood that the present invention is not limited to the above- And various modifications and changes may be made thereto by those skilled in the art to which the present invention pertains. Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .
210: 제1 스트라입 관리부
220: 제2 스트라입 관리부
230: 혼합 스트라입 관리부
240: 제1 스트라입 변환부
250: 제2 스트라입 변환부210: first strap entry manager
220: Second Straight Input Management Section
230: Mixed Strain Manager
240: first stray input conversion section
250: second stray input conversion section
Claims (20)
상기 데이터를 청크 단위로 나누어 생성되는 상기 데이터 청크와 패리티 청크를 각각 포함하는 제2 스트라입으로 유지하는 제2 스트라입 관리부;
상기 제1 스트라입과 상기 제2 스트라입을 혼합하여 유지하는 혼합 스트라입 관리부;
상기 제1 스트라입을 상기 제2 스트라입으로 변환하여 유지하는 제1 스트라입 변환부; 및
상기 제2 스트라입을 상기 제1 스트라입으로 변환하여 유지하는 제2 스트라입 변환부;
를 포함하는 파일 데이터 분산 저장 장치.A first strike management unit for holding a data in a file in a first stripe including a data chunk and a duplicate data chunk, the data being divided into chunks;
A second strike manager for holding the data in a second strike including the data chunk and the parity chunk generated by dividing the data into chunks;
A mixed strap management unit which mixes and holds the first strap and the second strap;
A first stratification transform unit for transforming and holding the first stratum into the second stratum; And
A second strap transformer for converting the second strap into the first strap and holding the second strap;
And a file data storage device.
상기 제1 스트라입 및 상기 제2 스트라입으로 유지되는 상기 데이터 청크를 저장하는 데이터 서버의 장애 여부를 판단하여, 상기 데이터 서버가 장애로 판단된 경우 상기 데이터를 복구하는 데이터 복구부
를 더 포함하는 파일 데이터 분산 저장 장치.The method according to claim 1,
A data restoring unit for determining whether a data server storing the data chunks retained in the first and second strains has failed and restoring the data if the data server is judged to be a failure;
Further comprising: means for storing the file data in the storage means.
상기 데이터 청크, 상기 복제 데이터 청크 및 상기 패리티 청크 각각은,
청크 크기, 전체 청크 개수, 스트라입 개수, 스트라입 폭 또는 패리티 폭 중 어느 하나 이상의 정보를 포함하는 파일 데이터 분산 저장 장치.The method according to claim 1,
Wherein the data chunk, the replicated data chunk,
A chunk size, a total number of chunks, a number of strains, a stripe width, or a parity width.
상기 제1 스트라입 변환부는,
상기 패리티 청크를 할당하는 청크 할당부; 및
상기 데이터 청크에 인코딩 비트를 설정하는 비트 설정부;
를 포함하는 파일 데이터 분산 저장 장치.The method according to claim 1,
Wherein the first stretch transformer comprises:
A chunk allocation unit allocating the parity chunk; And
A bit setting unit for setting an encoding bit in the data chunk;
And a file data storage device.
상기 제1 스트라입 변환부는,
상기 데이터 청크가 갱신 중인지 여부를 판단하는 갱신 판단부;
상기 데이터 청크를 갱신하지 않는 경우, 상기 패리티 청크가 할당된 데이터 서버에 패리티 인코딩을 요청하는 인코딩 요청부;
상기 패리티 인코딩의 성공 여부를 판단하는 인코딩 판단부; 및
상기 패리티 인코딩이 성공한 경우, 상기 파일의 레이아웃을 변경하는 레이아웃 변경부;
를 더 포함하는 파일 데이터 분산 저장 장치.5. The method of claim 4,
Wherein the first stretch transformer comprises:
An update determination unit for determining whether the data chunk is being updated;
An encoding request unit for requesting parity encoding to the data server to which the parity chunk is allocated if the data chunk is not updated;
An encoding determination unit determining whether the parity encoding is successful; And
A layout changing unit for changing a layout of the file when the parity encoding is successful;
Further comprising: means for storing the file data in the storage means.
상기 제1 스트라입 변환부는,
상기 데이터 청크에 대한 상기 복제 데이터 청크를 삭제하는 청크 삭제부;
를 더 포함하는 파일 데이터 분산 저장 장치.6. The method of claim 5,
Wherein the first stretch transformer comprises:
A chunk deleting unit for deleting the replicated data chunk for the data chunk;
Further comprising: means for storing the file data in the storage means.
상기 제2 스트라입 변환부는,
상기 복제 데이터 청크를 할당하는 청크 할당부; 및
상기 데이터 청크가 저장된 데이터 서버에 복제를 요청하는 복제 요청부;
를 포함하는 파일 데이터 분산 저장 장치.The method according to claim 1,
Wherein the second stretch transforming unit comprises:
A chunk allocation unit allocating the replicated data chunk; And
A duplication request unit for requesting duplication to the data server in which the data chunk is stored;
And a file data storage device.
상기 제2 스트라입 변환부는,
상기 데이터 청크의 복제 성공 여부를 판단하는 인코딩 판단부; 및
상기 데이터 청크의 복제가 성공한 경우, 상기 파일의 레이아웃을 변경하는 레이아웃 변경부;
를 더 포함하는 파일 데이터 분산 저장 장치.8. The method of claim 7,
Wherein the second stretch transforming unit comprises:
An encoding determination unit for determining whether the data chunk is successfully replicated; And
A layout changing unit for changing a layout of the file when the copying of the data chunk is successful;
Further comprising: means for storing the file data in the storage means.
상기 제2 스트라입 변환부는,
상기 패리티 청크를 삭제하는 청크 삭제부;
를 더 포함하는 파일 데이터 분산 저장 장치.9. The method of claim 8,
Wherein the second stretch transforming unit comprises:
A chunk deleting unit for deleting the parity chunk;
Further comprising: means for storing the file data in the storage means.
상기 제2 스트라입 변환부는,
상기 패리티 청크가 갱신된 경우 상기 데이터 청크에 대한 쓰기를 요청하는 청크 쓰기 요청부; 및
상기 제2 스트라입으로 유지하는 데이터에 다른 데이터가 추가되는지 여부를 판단하는 데이터 추가 판단부;
를 포함하는 파일 데이터 분산 저장 장치.The method according to claim 1,
Wherein the second stretch transforming unit comprises:
A chunk write request unit for requesting writing of the data chunk when the parity chunk is updated; And
A data addition determination unit that determines whether or not other data is added to the data held in the second strains;
And a file data storage device.
상기 제2 스트라입 변환부는,
상기 다른 데이터가 추가되는 경우 상기 다른 데이터를 상기 패리티 청크에 전달하여 패리티 인코딩 하는 패리티 인코딩부
를 더 포함하는 파일 데이터 분산 저장 장치.11. The method of claim 10,
Wherein the second stretch transforming unit comprises:
A parity encoding unit for transmitting the other data to the parity chunk to parity-
Further comprising: means for storing the file data in the storage means.
상기 제2 스트라입 변환부는,
상기 제2 스트라입으로 유지되는 데이터를 모니터링 중, 상기 데이터가 갱신되는 경우 상기 데이터를 저장하는 데이터 서버에 상기 복제 데이터 청크를 할당 요청하는 청크 할당부;
상기 할당된 복제 데이터 청크로 상기 데이터를 갱신하는 데이터 갱신부;
상기 갱신된 데이터를 상기 패리티 청크에 전달하여 상기 패리티 청크를 갱신하는 패리티 청크 갱신부;
상기 갱신된 데이터를 제외한 영역의 데이터를 복제하는 데이터 복제부;
를 더 포함하는 파일 데이터 분산 저장 장치.11. The method of claim 10,
Wherein the second stretch transforming unit comprises:
A chunk allocation unit for requesting allocation of the replicated data chunk to a data server that stores the data when the data is updated while monitoring data held in the second strains;
A data updating unit updating the data with the allocated replicated data chunk;
A parity chunk updating unit for transferring the updated data to the parity chunk to update the parity chunk;
A data copying unit for copying data of an area excluding the updated data;
Further comprising: means for storing the file data in the storage means.
상기 제2 스트라입 변환부는,
상기 제2 스트라입에 포함된 모든 데이터 청크에 대한 복제가 완료된 경우, 상기 파일의 레이아웃을 변경하는 파일 레이아웃 변경부
를 더 포함하는 파일 데이터 분산 저장 장치.13. The method of claim 12,
Wherein the second stretch transforming unit comprises:
When a duplication of all data chunks included in the second stripe is completed, a file layout changing unit
Further comprising: means for storing the file data in the storage means.
상기 데이터 복구부는,
상기 패리티 청크를 저장하는 데이터 서버에 데이터 읽기를 요청하는 데이터 요청부;
상기 패리티 청크를 저장하는 데이터 서버를 이용하여 상기 데이터를 복구하고, 상기 복구된 데이터를 클라이언트로 전달하는 복구 데이터 처리부
를 포함하고,
상기 패리티 청크를 저장하는 데이터 서버는, 상기 제1 스트라입 및 상기 제2 스트라입으로 유지되는 상기 데이터 청크 중 장애가 발생한 데이터 청크를 제외한 다른 데이터 청크를 읽어 상기 데이터를 복구하는 것을 특징으로 하는 파일 데이터 분산 저장 장치.3. The method of claim 2,
The data recovery unit,
A data request unit for requesting a data server for storing the parity chunk to read data;
A restoration data processor for restoring the data using the data server storing the parity chunk and delivering the restored data to a client,
Lt; / RTI >
Wherein the data server for storing the parity chunk reads the data chunk other than the failed data chunk in the first and second strains to recover the data. Distributed storage.
상기 데이터 복구부는,
상기 장애가 발생한 데이터 서버에 저장된 파일의 스트라입 정보를 수신하는 스트라입 정보 수신부;
상기 스트라입 정보를 분석하여 상기 데이터가 제1 스트라입 방식 또는 제2 스트라입 방식인지 여부를 판단하는 스트라입 방식 판단부;
상기 데이터가 제1 스트라입 방식인 경우, 상기 복제 데이터 청크를 할당하고 상기 장애가 발생한 데이터 서버에 저장된 데이터 청크를 다른 복제 데이터 청크로 복제하는 데이터 복제부; 및
상기 복제된 다른 복제 데이터 청크를 기반으로 상기 파일의 레이아웃을 변경하는 레이아웃 변경부
를 포함하는 파일 데이터 분산 저장 장치.3. The method of claim 2,
The data recovery unit,
A straining information receiving unit for receiving straining information of a file stored in the data server in which the fault occurred;
A straining method determiner for analyzing the straining information to determine whether the data is a first straining method or a second straining method;
A data replication unit for allocating the replicated data chunk and replicating data chunks stored in the failed data server to another replicated data chunk when the data is the first straining scheme; And
And a layout changing unit for changing a layout of the file based on the other replicated data chunks,
And a file data storage device.
상기 데이터 복구부는,
상기 데이터가 제2 스트라입 방식인 경우, 상기 장애가 발생한 데이터 서버에 저장된 청크가 패리티 청크인지 여부를 판단하는 청크 판단부;
상기 장애가 발생한 데이터 서버에 저장된 청크가 패리티 청크인 경우, 상기 패리티 청크를 할당하고 상기 데이터 청크를 읽어 패리티를 인코딩하여 다른 패리티 청크를 생성하는 패리티 청크 생성부
를 더 포함하는 파일 데이터 분산 저장 장치.16. The method of claim 15,
The data recovery unit,
A chunk determining unit for determining whether the chunk stored in the failed data server is a parity chunk if the data is the second straining method;
A parity chunk generation unit for generating parity chunks by allocating the parity chunks and reading the data chunks to encode parities when the chunks stored in the failed data server are parity chunks,
Further comprising: means for storing the file data in the storage means.
상기 데이터 복구부는,
상기 장애가 발생한 데이터 서버에 저장된 청크가 패리티 청크인 경우, 상기 데이터 청크를 할당하고 상기 다른 패리티 청크를 읽어 상기 데이터 청크를 복구하는 데이터 청크 복구부;
를 더 포함하는 파일 데이터 분산 저장 장치.17. The method of claim 16,
The data recovery unit,
A data chunk recovering unit that allocates the data chunk and reads the other parity chunk to recover the data chunk when the chunk stored in the failed data server is a parity chunk;
Further comprising: means for storing the file data in the storage means.
상기 데이터를 청크 단위로 나누어 생성되는 상기 데이터 청크와 패리티 청크를 각각 포함하는 제2 스트라입으로 유지하는 단계;
상기 제1 스트라입과 상기 제2 스트라입을 혼합하여 유지하는 단계;
상기 제1 스트라입을 상기 제2 스트라입으로 변환하여 유지하는 단계; 및
상기 제2 스트라입을 상기 제1 스트라입으로 변환하여 유지하는 단계
를 포함하는 파일 데이터 분산 저장 방법.Maintaining a first stripe including data chunks and duplicate data chunks, the data chunks being divided into chunks;
Maintaining the data in a second stratum including the data chunks and the parity chunks, each of which is generated by dividing the data by a chunk unit;
Mixing and maintaining the first strap and the second strap;
Converting and maintaining the first strap into the second strap; And
Converting the second strap into the first strap and maintaining
/ RTI > The method of claim 1,
상기 제1 스트라입 및 상기 제2 스트라입으로 유지되는 상기 데이터 청크를 저장하는 데이터 서버의 장애 여부를 판단하여, 상기 데이터 서버가 장애로 판단된 경우 상기 데이터를 복구하는 단계
를 더 포함하는 파일 데이터 분산 저장 방법.19. The method of claim 18,
Determining whether a data server storing the data chunks retained in the first and second strains has failed, and recovering the data if the data server is determined to be a failure
And storing the file data.
상기 데이터 청크, 상기 복제 데이터 청크 및 상기 패리티 청크 각각은,
청크 크기, 전체 청크 개수, 스트라입 개수, 스트라입 폭 또는 패리티 폭 중 어느 하나 이상의 정보를 포함하는 파일 데이터 분산 저장 방법.19. The method of claim 18,
Wherein the data chunk, the replicated data chunk,
A chunk size, a total number of chunks, a number of strains, a stripe width, or a parity width.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110090087A KR101695991B1 (en) | 2011-09-06 | 2011-09-06 | Apparatus and method for distribute and store file data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110090087A KR101695991B1 (en) | 2011-09-06 | 2011-09-06 | Apparatus and method for distribute and store file data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130026738A KR20130026738A (en) | 2013-03-14 |
| KR101695991B1 true KR101695991B1 (en) | 2017-01-12 |
Family
ID=48177905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110090087A KR101695991B1 (en) | 2011-09-06 | 2011-09-06 | Apparatus and method for distribute and store file data |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101695991B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190093802A (en) * | 2018-01-18 | 2019-08-12 | 아주대학교산학협력단 | System and method for the analysis of large amount of data |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10585749B2 (en) * | 2017-08-10 | 2020-03-10 | Samsung Electronics Co., Ltd. | System and method for distributed erasure coding |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7421537B2 (en) * | 2004-03-22 | 2008-09-02 | Intel Corporation | Migrating data between storage volumes |
| GB2418769B (en) * | 2004-10-02 | 2009-06-17 | Hewlett Packard Development Co | Method and system for storing data |
| WO2006052830A2 (en) * | 2004-11-05 | 2006-05-18 | Trusted Data Corporation | Storage system condition indicator and method |
| US8510370B2 (en) * | 2008-02-26 | 2013-08-13 | Avid Technology, Inc. | Array-based distributed storage system with parity |
-
2011
- 2011-09-06 KR KR1020110090087A patent/KR101695991B1/en active IP Right Grant
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190093802A (en) * | 2018-01-18 | 2019-08-12 | 아주대학교산학협력단 | System and method for the analysis of large amount of data |
| KR102029942B1 (en) | 2018-01-18 | 2019-10-08 | 아주대학교산학협력단 | System and method for the analysis of large amount of data |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130026738A (en) | 2013-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11263173B2 (en) | Transaction log index generation in an enterprise backup system | |
| US11119984B2 (en) | Managing deletions from a deduplication database | |
| US10956601B2 (en) | Fully managed account level blob data encryption in a distributed storage environment | |
| CN103944981B (en) | Cloud storage system and implement method based on erasure code technological improvement | |
| US11461015B2 (en) | Available storage space in a system with varying data redundancy schemes | |
| CN102902600B (en) | Efficient application-aware disaster recovery | |
| US10719250B2 (en) | System and method for combining erasure-coded protection sets | |
| KR100985169B1 (en) | Apparatus and method for file deduplication in distributed storage system | |
| US10558565B2 (en) | Garbage collection implementing erasure coding | |
| US10740300B1 (en) | Synchronization of metadata in a distributed storage system | |
| KR20140124674A (en) | Method for distributing and storing file-based data | |
| US20190007208A1 (en) | Encrypting existing live unencrypted data using age-based garbage collection | |
| US11093387B1 (en) | Garbage collection based on transmission object models | |
| CN104641365A (en) | System and method for managing deduplication using checkpoints in a file storage system | |
| WO2019001521A1 (en) | Data storage method, storage device, client and system | |
| CN103116615B (en) | A kind of data index method and server based on version vector | |
| WO2018014650A1 (en) | Distributed database data synchronisation method, related apparatus and system | |
| US20130159257A1 (en) | Systems, Method, and Computer Program Products Providing Sparse Snapshots | |
| KR20120032920A (en) | System and method for distributely processing file volume for chunk unit | |
| US11775193B2 (en) | System and method for indirect data classification in a storage system operations | |
| KR101695991B1 (en) | Apparatus and method for distribute and store file data | |
| KR20120090320A (en) | Method for effective data recovery in distributed file system | |
| US8255367B2 (en) | File management apparatus, method, and program | |
| WO2023197937A1 (en) | Data processing method and apparatus, storage medium, and computer program product | |
| JP6671708B2 (en) | Backup restore system and backup restore method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20191223 Year of fee payment: 4 |