KR100912127B1 - System and method for managing meta-data - Google Patents
System and method for managing meta-data Download PDFInfo
- Publication number
- KR100912127B1 KR100912127B1 KR1020070081865A KR20070081865A KR100912127B1 KR 100912127 B1 KR100912127 B1 KR 100912127B1 KR 1020070081865 A KR1020070081865 A KR 1020070081865A KR 20070081865 A KR20070081865 A KR 20070081865A KR 100912127 B1 KR100912127 B1 KR 100912127B1
- Authority
- KR
- South Korea
- Prior art keywords
- file
- management server
- metadata
- client
- data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 22
- 238000007726 management method Methods 0.000 claims abstract description 126
- 230000004044 response Effects 0.000 claims abstract description 10
- 238000011084 recovery Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명은 메타데이터 관리 시스템 및 메타데이터 관리 방법에 관한 것으로, 파일 메타데이터를 관리하는 메타데이터 관리 서버; 클라이언트로부터 파일 접근 요청을 받음에 따라, 상기 메타데이터 관리 서버로부터 파일 메타데이터를 획득하여, 객체 관리 서버에 객체로의 접근을 요청하는 클라이언트 파일 시스템; 및 상기 클라이언트 파일 시스템의 요청에 따라, 객체 데이터를 읽어 상기 클라이언트 파일 시스템에 반환하는 객체 관리 서버를 포함하되, 상기 객체 관리 서버는, 파일 데이터를 저장하는 데이터 영역과 파일 메타데이터 복구시 필요한 정보를 저장하는 카탈로그 영역을 갖도록 객체를 관리하고, 상기 메타데이터 관리 서버로부터 요청이 있는 경우에, 상기 카탈로그 영역에 저장된 정보를 상기 메타데이터 관리 서버에 제공하는 메타데이터 관리 시스템 및 이를 이용한 메타데이터 관리 방법을 제공한다.The present invention relates to a metadata management system and a metadata management method, comprising: a metadata management server managing file metadata; A client file system that obtains file metadata from the metadata management server and requests an object management server to access an object in response to receiving a file access request from a client; And an object management server that reads object data and returns the data to the client file system according to a request of the client file system, wherein the object management server includes a data area for storing file data and information necessary for recovering file metadata. A metadata management system for managing an object to have a catalog area to store and providing information stored in the catalog area to the metadata management server when a request is received from the metadata management server, and a metadata management method using the same. to provide.
메타데이터, 카탈로그 영역, 객체 관리 서버, 메타데이터 관리 서버 Metadata, catalog area, object management server, metadata management server
Description
본 발명은, 객체 기반 분산 파일 시스템에서 객체 속성에 기반하여, 메타데이터를 관리하는 시스템 및 메타데이터를 관리하는 방법에 관한 것이다.The present invention relates to a system for managing metadata and a method for managing metadata based on object attributes in an object-based distributed file system.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호:2005-S-405-02, 과제명: 차세대 인터넷 서버 기술 개발].The present invention is derived from the research conducted as part of the IT new growth engine core technology development project of the Ministry of Information and Communication and the Ministry of Information and Communication Research and Development. .
종래의 스토리지 환경에서는 기업에서 생산되는 데이터가 주류를 이루었으나, 최근 인터넷 기술의 비약적인 발전으로 블로그, 사진, 동영상과 같은 멀티미디어 데이터가 급속도로 증가하고 있다. 특히, 국내외에서 인터넷 서비스를 실시중인 대형 포탈 업체의 경우에는 매월 수TB ~ 수십 TB의 데이터가 새롭게 생성되고 있다. 그러나, DAS, NAS, SAN 과 같은 종래의 스토리지 환경에서는 스토리지 확장성 및 관리의 용이성 측면에서 많은 문제점이 있기 때문에 이렇게 변화하는 서비스 환경에 적용하기가 쉽지 않다. In the conventional storage environment, data produced by a company has become mainstream, but multimedia data such as blogs, photos, and videos are rapidly increasing due to the rapid development of the Internet technology. In particular, large portal companies that provide Internet services at home and abroad are newly generating data of several TB to several tens of TB every month. However, in the conventional storage environment such as DAS, NAS, SAN, there are many problems in terms of storage scalability and ease of management, so it is not easy to apply to this changing service environment.
이러한 문제를 해결하기 위해 최근에 이슈화되고 있는 객체 기반 스토리지 기술은 앞서 언급된 기존의 스토리지 시스템이 갖는 문제점을 해결할 수 있는 방법을 제시하고 있다. Recently, the object-based storage technology, which has been recently issued to solve this problem, suggests a method to solve the problems of the aforementioned storage system.
그러나, 최근 제시되고 있는 객체 기반 스토리지 기술에 의한다고 하더라도, 파일 메타데이터가 완전히 유실된 경우에는 객체 데이터가 유효함에도 불구하고 객체 데이터가 속하는 파일 정보를 알 수 없어, 결과적으로 전체 파일 시스템이 사용 불가능한 상태를 초래하게 된다. 따라서, 파일 메타데이터 유실시 객체 데이터를 획득할 수 있는 방안에 대한 필요성이 절실히 요구된다.However, even with the recently proposed object-based storage technology, if the file metadata is completely lost, even though the object data is valid, the file information to which the object data belongs is not known, and as a result, the entire file system is unavailable. It causes a condition. Therefore, there is an urgent need for a method for obtaining file metadata-disappearing object data.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 객체에 저장된 파일 속성 정보를 이용하여 유실된 파일 메타데이터를 복구하기 위한 시스템 및 방법을 제공하는데 그 목적이 있다. An object of the present invention is to provide a system and method for recovering lost file metadata using file property information stored in an object.
상기의 목적을 달성하기 위하여, 본 발명에 따른 메타데이터 관리 시스템은, 파일 메타데이터를 관리하는 메타데이터 관리 서버; 클라이언트로부터 파일 접근 요청을 받음에 따라, 상기 메타데이터 관리 서버로부터 파일 메타데이터를 획득하여, 객체 관리 서버에 객체로의 접근을 요청하는 클라이언트 파일 시스템; 및 상기 클라이언트 파일 시스템의 요청에 따라, 객체 데이터를 읽어 상기 클라이언트 파일 시스템에 반환하는 객체 관리 서버를 포함한다. In order to achieve the above object, the metadata management system according to the present invention, a metadata management server for managing file metadata; A client file system that obtains file metadata from the metadata management server and requests an object management server to access an object in response to receiving a file access request from a client; And an object management server that reads object data and returns the object data to the client file system according to a request of the client file system.
특히, 상기 객체 관리 서버는, 파일 데이터를 저장하는 데이터 영역과 파일 메타데이터 복구시 필요한 정보를 저장하는 카탈로그 영역을 갖도록 객체를 관리하고, 상기 메타데이터 관리 서버로부터 요청이 있는 경우에, 상기 카탈로그 영역에 저장된 정보를 상기 메타데이터 관리 서버에 제공한다.In particular, the object management server manages the object to have a data area for storing file data and a catalog area for storing information necessary for file metadata recovery, and the catalog area in response to a request from the metadata management server. Provide the information stored in the metadata management server.
또한, 상기의 목적을 달성하기 위하여, 본 발명에 따른 메타데이터 관리 방법은, 메타데이터 관리 서버의 장애로 파일 메타데이터가 유실된 경우에, 상기 메타데이터 관리 서버가 객체 관리 서버로 객체의 카탈로그 영역에 저장된 정보를 요청하는 단계; 상기 정보에 대한 요청에 따라, 상기 객체 관리 서버가 카탈로그 영 역으로부터 파일 메타데이터의 복구에 필요한 정보를 수집하는 단계; 상기 객체 관리 서버가 상기 수집된 정보를 상기 메타데이터 관리 서버에 전송하는 단계; 및 상기 메타데이터 관리 서버가 상기 전송받은 정보를 이용하여 유실된 파일 메타데이터를 복구하는 단계를 포함한다.In addition, in order to achieve the above object, in the metadata management method according to the present invention, if the file metadata is lost due to the failure of the metadata management server, the metadata management server to the object management server catalog area of the object Requesting information stored in the; In response to the request for the information, collecting, by the object management server, information necessary for recovering file metadata from a catalog area; Transmitting, by the object management server, the collected information to the metadata management server; And recovering, by the metadata management server, the lost file metadata by using the received information.
본 발명에서 제시하는 객체 기반 분산 파일시스템에서 객체 속성에 기반한 메타데이터 서버의 복구 방법을 통하여, 데이터 손실을 방지하는 기능을 제공할 수 있다. 따라서, 다양한 서비스가 운용되는 웹 포탈, VoD 또는 스토리지 임대 서비스와 같이 대량의 데이터 전송이 필요한 환경에서 스토리지 플랫폼으로 활용되어 안정적인 데이터 서비스를 제공할 수 있다. In the object-based distributed file system proposed by the present invention, a function for preventing data loss can be provided through a method for recovering a metadata server based on object properties. Therefore, it can be used as a storage platform in an environment requiring a large amount of data transmission, such as a web portal, VoD or storage leasing services that operate a variety of services can provide a stable data service.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해 질 것이다. 이하 첨부된 도면을 참조하여 본 발명에 따른 다양한 실시예를 상세히 설명한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. Hereinafter, various embodiments of the present disclosure will be described in detail with reference to the accompanying drawings.
도 1을 참조하여, 본 발명에 따른 메타데이터 관리 시스템에 대하여 상세히 설명하면 다음과 같다. 도 1은, 본 발명에 따른 메타데이터 관리 시스템의 구조를 도시한다.Referring to Figure 1, the metadata management system according to the present invention will be described in detail as follows. 1 shows a structure of a metadata management system according to the present invention.
도 1에 도시된 바와 같이, 상기 메타데이터 관리 시스템에서는, 적어도 하나의 클라이언트 파일 시스템(101), 메타데이터 관리 서버(105) 및 객체 관리 서버(103)들이 네트워크 스위치(102)를 통해 교신하면서 데이터의 입출력을 제공한 다. As shown in FIG. 1, in the metadata management system, at least one
더욱 구체적으로, 특정 클라이언트가 클라이언트 파일 시스템(101)에 특정 파일로의 접근을 요청하면, 상기 클라이언트 파일 시스템(101)은, 메타데이터 관리 서버(105)로부터 파일의 실제 데이터가 저장된 객체의 정보를 획득한 후, 객체 관리 서버(103)에 객체 인터페이스를 사용하여 객체의 접근을 요청하게 된다. 그리고, 상기 객체 관리 서버(103)는, 객체 저장 디스크(104)에 저장된 객체의 데이터를 읽어 상기 클라이언트 파일 시스템(101)에 반환한다. More specifically, when a specific client requests the
또한, 상기 클라이언트 파일시스템(101)은, 일단 상기 메타데이터 관리 서버(105)를 캐시한 후에는, 상기 메타데이터 관리 서버(105)와 더 이상 통신하지 않고, 상기 객체 관리 서버(103)와의 통신만 유지하게 된다. In addition, once the
특히, 본 발명에서는, 상기 메타데이터 관리 서버(105)에서 관리하는 파일 메타데이터가 유실된 경우에, 상기 메타데이터 관리 서버(105)는, 상기 객체 관리 서버(103)에 파일 메타데이터의 복구를 위한 정보를 요청하게 되고, 이에 따라, 상기 객체 관리 서버(103)는, 상기 유실된 파일 메타데이터의 복구를 위해 필요한 정보를 상기 메타데이터 관리 서버(105)에 제공하게 된다.In particular, in the present invention, when the file metadata managed by the
여기에서, 상기 객체 관리 서버(105)에서의 객체 관리 방법, 특히, 상기 파일 메타데이터의 복구를 위해 필요한 정보의 관리 방법에 대하여 이하에서 상세히 설명하도록 한다.Herein, an object management method in the
도 2를 참조하여, 본 발명에 따른 메타데이터 관리 시스템에서 파일 데이터를 읽는 과정을 상세히 설명하도록 한다. 도 2는, 본 발명에 따른 메타데이터 관리 시스템에서 파일 데이터를 읽는 과정을 도시한다.Referring to FIG. 2, a process of reading file data in the metadata management system according to the present invention will be described in detail. 2 illustrates a process of reading file data in a metadata management system according to the present invention.
예를 들어, 클라이언트가 /mnt/file1.txt란 파일을 읽고자 할 경우(201), 클라이언트 파일 시스템(202)은, /mnt/file1.txt 파일에 대한 접근 정보가 캐시에 존재하지 않으면, 메타데이터 관리 서버(205)에게 파일의 메타데이터 정보를 요청 하고(1), 상기 메타데이터 관리 서버(205)로부터 파일의 속성 및 객체의 위치와 같은 메타데이터 정보를 획득한다(2). 그리고, 상기 클라이언트 파일시스템(202)은, 객체 관리 서버(203)로 객체의 데이터를 요청하고(3), 상기 객체 관리 서버 (203)로부터 해당 객체의 데이터를 획득한다(4).For example, if a client wants to read a file named /mnt/file1.txt (201), the
특히, 본 발명에서는, 상기 메타데이터 관리 서버(205)에 장애가 발생하여 파일 메타데이터가 완전히 유실된 경우, 상기 메타데이터 관리 서버(205)는, 상기 객체 관리 서버(203)에서 관리되고 있는 객체로부터 파일 메타데이터의 복구를 위하여 필요한 정보를 획득하여, 상기 유실된 파일 메타데이터를 복구하게 된다. Particularly, in the present invention, when the
도 3을 참조하여, 본 발명에 따른 객체 관리 서버에서 관리하는 객체의 영역을 상세히 설명하도록 한다. 도 3은, 본 발명에 따른 객체 관리 서버에서 관리하는 객체의 카탈로그 영역을 도시한다.Referring to Figure 3, it will be described in detail the area of the object managed by the object management server according to the present invention. 3 shows a catalog area of an object managed by the object management server according to the present invention.
본 발명에 따른 객체 관리 서버는, 객체(301)를 카탈로그 영역(302)과 데이터 영역(303)으로 구분하여 관리한다. 기존의 객체 관리 서버에서 관리하는 객체에는 데이터만이 저장되어 있었으나, 본 발명에서는, 데이터를 저장하는 데이터 영역(303) 및 파일 메타데이터 복구시 사용될 수 있는 필수 정보들을 카탈로그 영역(302)을 별도로 관리한다.The object management server according to the present invention manages the
상기 카탈로그 영역(302)을 구성하는 요소는, 파일의 이름(304), 파일의 소유자(305), 파일의 속성(306), 파일의 시간 정보(307) 등이다.The elements constituting the
상기 파일의 이름(304)은, "mnt/file1.txt"와 같이 메타데이터 관리 서버에 저장된 파일의 절대 경로 이름을 의미하며, 절대 경로를 사용하는 이유는 파일 메타데이터 복구시 파일이 속한 디렉터리 트리 구조를 재구성할 수 있도록 하기 위함이다.The
상기 파일의 소유자(305)는, "root:root"와 같이 UNIX 또는 Linux 운영체제에서 관리하는 사용자 및 그룹의 명칭으로 파일의 소유 권한을 의미한다. The owner of the
상기 파일의 속성(306)은, "rw-r--r-"과 같이 해당 파일을 읽거나, 쓰거나, 실행할 수 있는 권한을 의미한다. The
상기 파일의 시간 정보(307)는, "2006-10-25 20:37"과 같이 파일의 시간 정보를 의미하며, 생성시간, 최근 접근시간, 최근 수정시간 등이 기록될 수 있으나 시스템 성능에 영향을 미칠 가능성이 있기 때문에 시스템 성능 및 운용환경에 따라 선별적으로 적용할 수 있다.The
상기 카탈로그 영역(302)이 변경되는 경우는 크게 두 가지 경우로 이루어진다. The
첫째, 객체가 처음 생성될 때이다. 객체의 생성 시점은 파일 생성 시점과 동일하며 클라이언트 파일시스템에서 객체 관리 서버에 객체의 생성을 요청할 때 <파일이름, 소유자, 속성, 시간> 정보를 함께 전달하여 객체의 카탈로그 영역에 기록한다. First, when the object is first created. The object creation time is the same as the file creation time. When the client file system requests the object management server to create the object, the <file name, owner, attribute, time> information is also delivered and recorded in the object's catalog area.
도 4를 참조하여, 이에 대하여 더욱 상세히 설명한다. 도 4는, 본 발명에 따른 객체 관리 서버에서, 생성된 파일 메타데이터가 객체에 저장되는 과정을 도시한다.With reference to Figure 4, this will be described in more detail. 4 illustrates a process of storing generated file metadata in an object in the object management server according to the present invention.
먼저, 클라이언트(401)가 "mnt/file1.txt" 파일의 생성을 클라이언트 파일 시스템(402)에 요청한다.First, the
상기 클라이언트 파일 시스템(402)은, 상기 요청에 따라, 새로운 파일의 데이터가 기록될 공간을 마련하기 위해 객체 관리 서버(403)에 새로운 객체의 생성을 요청한다. 이때, 상기 클라이언트 파일 시스템(402)은, 객체의 생성 요청과 함께 새로 생성할 파일의 속성 정보, 즉 파일의 이름, 파일의 소유자, 파일의 속성, 파일의 시간 정보 등의 정보를 함께 전송한다. In response to the request, the
상기 객체 관리 서버(403)는, 상기 요청에 따라, 새로운 객체를 하나 생성하고, 객체의 카탈로그 영역에 상기 전송받은 파일의 속성 정보, 즉 파일의 이름, 파일의 소유자, 파일의 속성, 파일의 시간 정보를 기록한다. 그리고, 객체 관리 서버(403)는, 상기 생성된 객체의 식별자를 상기 클라이언트 파일 시스템(402)으로 반환한다. 이후, 상기 클라이언트 파일 시스템(402)은, 메타데이터 관리 서버 (405)에게 "mnt/file1.txt" 파일의 파일 메타데이터 정보 생성을 요청한다. The
둘째, 파일 메타데이터 정보가 변경이 되는 경우로서 사용자가 파일 소유자 변경, 파일 소유 그룹 변경, 파일의 시간 변경 등을 수행할 때 객체의 카탈로그 영역에 변경된 속성 정보를 기록한다. Second, when the file metadata information is changed, the changed attribute information is recorded in the catalog area of the object when the user changes the file owner, the file ownership group, or the file time.
도 5를 참조하여, 이에 대하여 더욱 상세히 설명한다. 도 5는, 본 발명에 따 른 객체 관리 서버에서, 변경된 파일 메타데이터가 객체에 저장되는 과정을 도시한다.With reference to FIG. 5, this will be described in more detail. FIG. 5 illustrates a process in which changed file metadata is stored in an object in the object management server according to the present invention.
먼저, 클라이언트(501)가, 클라이언트 파일 시스템(502)에 파일의 속성 변경을 요청한다. 그리고, 상기 클라이언트 파일시스템(502)은, 상기 요청에 따라, 객체 관리 서버(503)에게 해당 객체의 카탈로그 정보 변경을 요청한다. 이후, 상기 객체 관리 서버(503)는, 객체의 카탈로그 영역에 저장된 메타데이터에 관련된 정보를 변경하고, 상기 클라이언트 파일 시스템(502)에 변경 완료를 통보한다. 그리고, 상기 클라이언트 파일 시스템(502)은, 메타데이터 관리 서버(505)에게 최종적으로 파일 메타데이터의 속성을 변경하도록 요청한다. First, the
도 6을 참조하여, 본 발명에 따른 메타데이터 관리 시스템에서, 유실된 메타데이터를 복구하는 과정을 상세히 설명하면 다음과 같다. 도 6은, 본 발명에 따른 메타데이터 관리 시스템에서, 유실된 메타데이터를 복구하는 과정을 도시한다.Referring to Figure 6, in the metadata management system according to the present invention, the process of recovering the lost metadata in detail as follows. 6 illustrates a process of recovering lost metadata in a metadata management system according to the present invention.
상기 유실된 파일 메타데이터를 복구하는 과정은, 크게 메타데이터 관리 서버에서 객체 관리 서버에게 복구를 위해 객체의 카탈로그 영역에 저장된 정보를 요청하는 단계(601)와, 객체 관리 서버에서 모든 객체들의 카탈로그 영역 정보를 수집하여 메타데이터 관리 서버에게 전송하는 단계(602) 및 메타데이터 관리 서버에서 객체의 카탈로그 정보를 이용하여 파일 메타데이터를 복구하는 단계(604)로 이루어진 것을 특징으로 한다. The process of restoring the lost file metadata includes a step (601) of requesting information stored in a catalog area of an object for recovery from an object management server in a metadata management server, and catalog area of all objects in the object management server. Collecting and transmitting the information to the metadata management server (602) and recovering the file metadata by using the catalog information of the object in the metadata management server (604).
상기 메타데이터 관리 서버에서 객체 관리 서버로 파일 메타데이터 복구를 위한 정보를 요청하는 단계(601)는, 단순히 네트워크 메시지를 전송하는 수준에서 이루어진다. 상기 네트워크 메시지는, TCP 프로토콜을 사용하는 것이 효율적이지만, 운용 시스템의 환경에나 네트워크 상태에 따라 다른 프로토콜도 유연하게 적용할 수 있다. Requesting
상기 객체 관리 서버에서 모든 객체들의 정보를 수집하여 메타데이터 관리 서버에게 전송하는 단계(602)는 다음의 두 단계로 나뉠 수 있다. In
먼저, 상기 객체 관리 서버는, 객체 저장소에 저장된 모든 객체들을 순회하면서 각 객체의 카탈로그 영역에 포함된 정보를 수집한다. 상기 수집된 정보(603)에는, 파일 메타데이터를 구성하는 필수 항목들이 포함되며, 예를 들어, 객체 식별자, 파일의 이름, 파일의 소유자, 파일의 속성, 파일의 시간 정보로 구성될 수 있다. First, the object management server collects information included in the catalog area of each object while traversing all the objects stored in the object store. The collected
그리고, 상기 객체 관리 서버는, 파일 메타데이터의 복구를 위한 정보의 수집이 완료되면, 상기 메타데이터 관리 서버에 상기 수집된 정보를 전송한다. 메타데이터 관리 서버로의 전송은, 네트워크 프로토콜을 사용하며, 시스템 환경 또는 네트워크 상황에 따라 효율적인 크기 단위로 패킷을 나누어 전송할 수 있다.The object management server transmits the collected information to the metadata management server when collection of information for restoring file metadata is completed. The transmission to the metadata management server uses a network protocol and may divide the packet into efficient size units according to a system environment or a network condition.
상기 메타데이터 관리 서버는, 상기 객체 관리 서버로부터 전송받은 정보를 이용하여, 유실된 파일 메타데이터를 복구한다(604).The metadata management server recovers lost file metadata by using the information received from the object management server (604).
예를 들어, 상기 전송받은 정보 중에서, 각 객체 단위로 정보를 파싱하여 파일 메타데이터를 복구할 수 있다. For example, among the received information, the file metadata may be recovered by parsing the information in units of objects.
도 7을 참조하여, 각 객체별로 파일 메타데이터를 복구하는 과정에 대하여 상세히 설명하도록 한다. 도 7은, 본 발명에 따른 메타데이터 관리 시스템에서, 메 타데이터 관리 서버의 장애에 따른 회복 과정을 도시한다.A process of recovering file metadata for each object will be described in detail with reference to FIG. 7. 7 illustrates a recovery process according to a failure of the metadata management server in the metadata management system according to the present invention.
도 7에 도시된 바와 같이, 메타데이터 관리 서버는, 파일 메타데이터를 고장 직전의 상태로 복구하기 위해, 객체 관리 서버로부터 전송받은 정보가 다 처리될 때까지 각 객체 식별자 단위로 처리한다(702,703,704). As shown in FIG. 7, the metadata management server processes each object identifier unit until the information received from the object management server is processed in order to restore the file metadata to the state just before the failure (702, 703, 704). .
더욱 구체적으로 설명하면, 먼저, 상기 메타데이터 관리 서버는, 하나의 객체에 해당되는 정보를 파싱하여 <파일이름, 소유자, 속성, 시간> 정보를 추출한다(705). More specifically, first, the metadata management server parses information corresponding to one object and extracts <file name, owner, attribute, time> information (705).
그리고, 상기 메타데이터 관리 서버는, 파일 이름을 "/" 단위로 파싱한다(706). 예를 들어, 각 디렉터리 엔트리별로 분류하는데, 만약 파일 이름이 "mnt/file1.txt"인 경우 "mnt", "file1.txt"로 분류할 수 있다.The metadata management server parses the file name in units of "/" (706). For example, each directory entry is classified. If the file name is "mnt / file1.txt", it can be classified as "mnt" or "file1.txt".
현재 분류된 엔트리가 가장 마지막 엔트리인지를 판단하여(707), 가장 마지막 엔트리가 아닌 경우에 디렉터리가 존재하는지를 판단한다(708). 그리고, 디렉터리를 생성하여 파일 시스템 트리 구조를 재구성한다(709).It is determined whether the currently classified entry is the last entry (707), and if it is not the last entry, it is determined whether the directory exists (708). The directory is generated to reconstruct the file system tree structure (709).
예를 들어, 파일 이름이 "mnt/file1.txt"인 경우에, 가장 마지막 엔트리는 "file1.txt"이다.For example, if the file name is "mnt / file1.txt", the last entry is "file1.txt".
그리고, 상기 판단 결과 가장 마지막 엔트리인 경우에는, 새로운 파일을 생성한다(710). 이렇게 유실된 파일이 생성되고 난 후에는 파일이 가지고 있는 메타데이터 정보를 복구하기 위해서 파일의 소유자를 설정하고(711), 파일의 속성을 설정하고(712), 파일의 시간정보를 설정한 후(713), 객체 식별자, 예를 들어 "65536"와 파일, 예를 들어 "file1.txt"를 매핑하여(714) 파일의 복구를 완료한다.If it is the last entry as a result of the determination, a new file is generated (710). After the lost file is created, in order to recover the metadata information of the file, the owner of the file is set (711), the property of the file (712), and the time information of the file is set ( 713, the object identifier, for example, "65536" and the file, for example "file1.txt", are mapped (714) to complete the recovery of the file.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로, 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.
도 1은 본 발명에 따른 메타데이터 관리 시스템의 일실시예 구조도.1 is a structural diagram of an embodiment of a metadata management system according to the present invention;
도 2는 본 발명에 따른 메타데이터 관리 시스템에서 파일 데이터를 읽는 과정을 나타낸 도면.2 is a diagram illustrating a process of reading file data in a metadata management system according to the present invention.
도 3은 본 발명에 따른 객체 관리 서버에서 관리하는 객체의 카탈로그 영역 구성도.3 is a block diagram illustrating a catalog area of objects managed by an object management server according to the present invention.
도 4는 본 발명에 따른 객체 관리 서버에서, 생성된 파일 메타데이터가 객체에 저장되는 과정을 나타낸 도면.4 is a diagram illustrating a process of storing generated file metadata in an object in the object management server according to the present invention;
도 5는 본 발명에 따른 객체 관리 서버에서, 변경된 파일 메타데이터가 객체에 저장되는 과정을 나타낸 도면. 5 is a diagram illustrating a process of storing changed file metadata in an object in the object management server according to the present invention.
도 6은 본 발명에 따른 메타데이터 관리 시스템에서, 유실된 메타데이터를 복구하는 과정을 나타낸 일실시예 흐름도.6 is a flowchart illustrating a process of recovering lost metadata in a metadata management system according to the present invention.
도 7은 본 발명에 따른 메타데이터 관리 시스템에서, 메타데이터 관리 서버의 장애에 따른 회복 과정을 나타낸 흐름도.7 is a flowchart illustrating a recovery process according to a failure of the metadata management server in the metadata management system according to the present invention.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
101 : 클라이언트 파일 시스템101: client file system
102 : 네트워크 스위치102: network switch
103 : 객체 관리 서버103: object management server
104 : 객체 저장 디스크104: object storage disk
105 : 메타데이터 관리 서버105: metadata management server
106 : 메타데이터 저장 디스크106: metadata storage disk
301 : 객체301: object
302 : 객체의 카탈로그 영역302: Catalog area of the object
303 : 객체의 데이터 영역303: data area of the object
304 : 파일 이름304: file name
305 : 파일의 소유자305: Owner of the file
306 : 파일의 속성306: file attributes
307 : 파일의 시간 정보307: file time information
Claims (7)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060121386 | 2006-12-04 | ||
KR20060121386 | 2006-12-04 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20090003057A KR20090003057A (en) | 2009-01-09 |
KR100912127B1 true KR100912127B1 (en) | 2009-08-13 |
Family
ID=40485948
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070081865A KR100912127B1 (en) | 2006-12-04 | 2007-08-14 | System and method for managing meta-data |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100912127B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200094619A (en) * | 2019-01-30 | 2020-08-07 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | Method and apparatus for backing up information |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101341412B1 (en) * | 2009-12-18 | 2013-12-13 | 한국전자통신연구원 | Apparatus and method of controlling metadata in asymmetric distributed file system |
KR101587631B1 (en) * | 2011-09-06 | 2016-01-25 | 한국전자통신연구원 | Local apparatus based on cloud and method for reading and storing file |
KR101672349B1 (en) * | 2011-12-27 | 2016-11-07 | 한국전자통신연구원 | File cloud service apparatus and method |
KR101689257B1 (en) * | 2013-11-19 | 2016-12-23 | 한국전자통신연구원 | Metadata management apparatus and Method thereof |
KR101963303B1 (en) * | 2018-11-12 | 2019-03-28 | 한국해양과학기술원 | A S-100 standard information transmission data simplification method and a computer-readable recording medium recording the same |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060067119A (en) * | 2004-12-14 | 2006-06-19 | 한국전자통신연구원 | Crash recovery system and method for a distributed file server using object based storage |
KR20060071085A (en) * | 2004-12-21 | 2006-06-26 | 한국전자통신연구원 | Crash recovery system and method for a distributed file server using object based storage |
KR20060121654A (en) * | 2004-02-27 | 2006-11-29 | 마이크로소프트 코포레이션 | System and method for recovery units in databases |
KR20070061088A (en) * | 2005-12-08 | 2007-06-13 | 한국전자통신연구원 | File management method in file system and metadata server for the same |
-
2007
- 2007-08-14 KR KR1020070081865A patent/KR100912127B1/en not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060121654A (en) * | 2004-02-27 | 2006-11-29 | 마이크로소프트 코포레이션 | System and method for recovery units in databases |
KR20060067119A (en) * | 2004-12-14 | 2006-06-19 | 한국전자통신연구원 | Crash recovery system and method for a distributed file server using object based storage |
KR20060071085A (en) * | 2004-12-21 | 2006-06-26 | 한국전자통신연구원 | Crash recovery system and method for a distributed file server using object based storage |
KR20070061088A (en) * | 2005-12-08 | 2007-06-13 | 한국전자통신연구원 | File management method in file system and metadata server for the same |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200094619A (en) * | 2019-01-30 | 2020-08-07 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | Method and apparatus for backing up information |
KR102207727B1 (en) | 2019-01-30 | 2021-01-25 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | Method and apparatus for backing up information |
Also Published As
Publication number | Publication date |
---|---|
KR20090003057A (en) | 2009-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6619406B2 (en) | Log record management | |
JP6522812B2 (en) | Fast Crash Recovery for Distributed Database Systems | |
US10387673B2 (en) | Fully managed account level blob data encryption in a distributed storage environment | |
CN109241161B (en) | Meteorological data management method | |
JP6196368B2 (en) | Avoiding system-wide checkpoints in distributed database systems | |
US8171100B2 (en) | Reducing latency of access requests in distributed storage systems having a shared data set | |
US20190007206A1 (en) | Encrypting object index in a distributed storage environment | |
US9588977B1 (en) | Data and metadata structures for use in tiering data to cloud storage | |
CA2734675C (en) | Shared namespace for storage clusters | |
US10659225B2 (en) | Encrypting existing live unencrypted data using age-based garbage collection | |
JP6346937B2 (en) | Database system with database engine and separate distributed storage service | |
US6711572B2 (en) | File system for distributing content in a data network and related methods | |
US8131723B2 (en) | Recovering a file system to any point-in-time in the past with guaranteed structure, content consistency and integrity | |
US8108429B2 (en) | System for moving real-time data events across a plurality of devices in a network for simultaneous data protection, replication, and access services | |
US10558565B2 (en) | Garbage collection implementing erasure coding | |
JP2018129078A (en) | In place snapshots | |
CN102855239B (en) | A kind of distributed geographical file system | |
KR101078287B1 (en) | Method Recovering Data Server at the Applying Multiple Reproduce Dispersion File System and Metadata Storage and Save Method Thereof | |
KR100912127B1 (en) | System and method for managing meta-data | |
Grönvall et al. | The design of a multicast-based distributed file system | |
CN112653730A (en) | User mode network file storage method and system | |
CN108874590A (en) | A kind of system of cloud host automated back-up and recovery | |
GB2439576A (en) | Storing related small data fragments in the same block | |
CN110716898A (en) | Method and system for gathering field geological survey data in real time | |
US11656946B2 (en) | Cloud-native global file system with reshapable caching |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20121221 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20130806 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20140806 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20150806 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20160808 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20170807 Year of fee payment: 9 |
|
LAPS | Lapse due to unpaid annual fee |