KR20090062747A - 파일 저장 시스템 및 파일 저장 시스템에서의 중복 파일관리 방법 - Google Patents

파일 저장 시스템 및 파일 저장 시스템에서의 중복 파일관리 방법 Download PDF

Info

Publication number
KR20090062747A
KR20090062747A KR1020070130179A KR20070130179A KR20090062747A KR 20090062747 A KR20090062747 A KR 20090062747A KR 1020070130179 A KR1020070130179 A KR 1020070130179A KR 20070130179 A KR20070130179 A KR 20070130179A KR 20090062747 A KR20090062747 A KR 20090062747A
Authority
KR
South Korea
Prior art keywords
file
files
information management
management table
copies
Prior art date
Application number
KR1020070130179A
Other languages
English (en)
Other versions
KR100946986B1 (ko
Inventor
이상민
차명훈
김영균
김명준
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020070130179A priority Critical patent/KR100946986B1/ko
Priority to US12/140,302 priority patent/US8103636B2/en
Publication of KR20090062747A publication Critical patent/KR20090062747A/ko
Application granted granted Critical
Publication of KR100946986B1 publication Critical patent/KR100946986B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094—Redundant storage or storage space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system

Abstract

본 발명은 파일 저장 시스템 및 파일 저장 시스템에서의 중복 파일 관리 방법에 관한 것이다. 이와 같은 본 발명은, 오류 회복을 위한 파일 복제를 수행하는 파일 저장 시스템에 있어서, 신규 파일 생성을 요청하는 클라이언트와; 기저장된 파일 복제본에 대한 정보를 저장하며 상기 클라이언트로부터 생성 요청되는 파일에 대해 기저장된 파일과의 중복 여부를 확인하여 기설정된 복제본 개수를 넘지 않도록 제어하는 메타데이터 서버와; 상기 메타데이터 서버의 제어에 의해 파일 복제 및 파일 저장을 각각 수행하는 파일 복제부와 저장부를 포함하는 데이터 서버를 포함하여 구성되어, 시스템 내의 중복 파일을 최소화하면서 파일 복구를 수행할 수 있도록 한다.
중복 파일, 파일 복제, 파일 저장 시스템

Description

파일 저장 시스템 및 파일 저장 시스템에서의 중복 파일 관리 방법{FILE STORAGE SYSTEM AND METHOD FOR MANAGING DUPLICATED FILES IN THE FILE STORAGE SYSTEM}
본 발명은 파일 저장 시스템에 관한 것으로, 특히 오류 회복을 위해 저장하는 파일 복제본을 최소화할 수 있는 파일 저장 시스템 및 파일 저장 시스템에서의 중복 파일 관리 방법에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-S-016-01, 과제명: 저비용 대규모 글로벌 인터넷 서비스 솔루션 개발].
일반적으로 파일 저장 시스템은 음악, 동영상, 이미지, 문서 등의 파일을 저장하기 위한 공간을 제공한다. 컨텐츠들의 사실화, 정교화로 인해 파일의 크기가 커지면서 파일을 저장하는데 필요한 공간이 점점 더 많이 요구됨에 따라 다수의 컴퓨터들을 네트워크로 연결하여 대용량의 저장 공간을 제공하는 파일 저장 시스템이 출현하게 되었다. 이러한 파일 저장 시스템은 사용자가 저장한 파일에 문제가 발생하는 경우를 대비하여 미리 동일한 파일을 여러 개 복제함으로써 복구 가능성을 높 이도록 구성되어 있다.
그런데, 이와 같은 파일 저장 시스템에서 하나의 파일이 저장되면 시스템 내에서 미리 지정된 개수만큼의 파일 복제본이 항상 생성된다. 그 파일이 적을 경우는 문제가 되지 않지만, 다수의 사용자들이 동일한 파일을 동시에 저장하고자 하는 경우에는 시스템 내에서 불필요하게 많은 중복 파일을 저장하게 되는 문제점이 발생하게 된다.
예컨대, 기본적으로 하나의 파일에 대해 3개의 파일 복제본을 저장하는 시스템의 경우, 100명의 사용자가 A라는 동일한 파일을 각각 저장하게 되면, 이 파일 저장 시스템에는 총 300개의 동일한 파일이 존재하게 된다. 이에 따라 저장 공간의 부족 현상이 발생하게 되고, 파일들을 유지 관리하는 부담이 증가되는 문제점을 야기시킬 수 있다.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로, 본 발명의 목적은 중복 파일을 최소화하여 유지할 수 있는 파일 저장 시스템 및 파일 저장 시스템에서의 중복 파일 관리 방법을 제공함에 있다.
본 발명의 다른 목적은 중복 파일을 최소화하면서 파일 복구 처리를 수행할 수 있는 파일 저장 시스템 및 파일 저장 시스템에서의 중복 파일 관리 방법을 제공함에 있다.
본 발명의 또 다른 목적은 신규 파일 저장 시 중복 파일 생성을 최소화할 수 있는 파일 저장 시스템 및 파일 저장 시스템에서의 중복 파일 관리 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 실시 예에 따른 파일 저장 시스템은, 신규 파일 생성을 요청하는 클라이언트와; 기저장된 파일 복제본에 대한 정보를 저장하며 상기 클라이언트로부터 생성 요청되는 파일에 대해 기저장된 파일과의 중복 여부를 확인하여 기설정된 복제본 개수를 넘지 않도록 제어하는 메타데이터 서버와; 상기 메타데이터 서버의 제어에 의해 파일 복제 및 파일 저장을 각각 수행하는 파일 복제부와 저장부를 포함하는 데이터 서버를 포함하여 구성될 수 있다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 실시 예에 따른 파일 저장 시스템에서의 중복 파일 관리 방법은, 클라이언트로부터 생성 요청된 파일에 대해 기설정된 복제 개수를 충족시키는 파일들 중 빠른 중복성 검사 용도의 제 1 기준이 동일한 파일이 존재하는지 확인하는 단계와; 상기 확인 결과에 따라 상기 생성 요청된 파일과 상기 제 1 기준이 동일한 파일들의 복제본이 기설정된 복제본 개수를 넘지 않도록 복제본 생성을 제어하는 단계를 포함하여 이루어질 수 있다.
바람직하게, 본 발명의 실시 예에 따른 파일 저장 시스템에서의 중복 파일 관리 방법은, 상기 생성 요청된 파일에 대해 기설정된 복제 개수를 충족시키는 파일들 중 정밀한 중복성 검사 용도의 제 2 기준이 동일한 파일이 존재하는지 확인하 는 단계와; 상기 확인 결과에 따라 상기 엔트리에 해당되는 파일과 상기 제 2 기준이 동일한 파일들의 복제본이 기설정된 복제본 개수를 넘지 않도록 복제본 생성을 제어하는 단계를 더 포함하여 이루어질 수 있다.
본 발명에 따른 파일 저장 시스템 및 파일 저장 시스템에서의 중복 파일 관리 방법은, 동일한 파일에 대한 다수의 저장 요청에 대해 시스템에서 요구되는 최소한의 파일 복제본 만을 저장하도록 함으로써 불필요한 저장 공간의 소모를 방지함과 동시에 문제가 발생되는 파일에 대한 복구 처리도 가능토록 하는 시스템 효율 향상의 효과가 있다.
본 발명은 다수의 저장 장치들이 네트워크로 연결되어 복구 목적으로 동일한 파일을 여러 개 저장하는 환경에서 신규 파일을 저장하고자 할 때 중복 파일 생성을 최소화하도록 한다.
이하, 본 발명의 바람직한 실시 예들을 첨부한 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
도 1은 본 발명의 실시 예에 따른 파일 저장 시스템의 구성을 나타내는데, 이를 통해 제 1 파일(160)이 복제되어 제 1 내지 제 3 데이터 서버(130~150)에 저 장되는 구조에 대해 설명하기로 한다.
도 1에 도시된 바와 같이, 파일 저장 시스템(100)은 데이터 서버(130~150), 메타 데이터 서버(120), 클라이언트(110)를 포함하여 구성될 수 있다. 통상적으로 데이터 서버(130~150)와 클라이언트(110)는 다수개가 존재하며 메타 데이터 서버(120)는 하나 혹은 여러 개로 구성될 수 있다.
제 1 내지 제 4파일(160, 170a, 170b, 170c)은 동일한 것으로, 제 1 파일(160)이 복제되어 제 1 내지 제 3 데이터 서버(130~150)의 제 2 내지 제 4 파일(170a~170c)로 저장될 수 있다.
동일한 방식으로 하나의 파일을 생성하고자 하는 경우, 시스템 내에서 미리 지정된 개수만큼 여러 개로 복제하는 이유는 파일이 손상되었을 때의 복구 가능성을 높이기 위함이다.
도 2는 도 1의 메타 데이터 서버(120) 및 데이터 서버(130~150)의 구성을 나타내는 구성도로서 이를 참조하면, 메타 데이터 서버(120)는 도 2에 도시된 바와 같이 파일 정보 관리부(124)와 제어부(122)를 포함하여 구성될 수 있다. 데이터 서버(130~150)는 도 2에 도시된 바와 같이 파일 복제부(172)와 저장부(174)를 포함하여 구성될 수 있다.
파일 정보 관리부(124)는 정해진 복제 개수를 충족시키는 파일들에 관한 정보가 보관되는 파일정보 관리 테이블과 모든 파일들에 대한 메타 정보를 가지고 있으며 상기 파일정보 관리 테이블과 연결되는 정보를 포함하는 메타 파일들을 포함할 수 있다.
제어부(122)는 메타 데이터 서버(120)의 전반적인 동작을 제어한다. 또한 제어부(122)는 파일 생성 요청에 대하여 메타 파일을 생성하며 상기 파일정보 관리 테이블을 조회하고 그 결과를 이용하여 기설정된 개수 이상의 중복파일 생성을 방지함으로써 과도한 중복파일이 발생하지 않도록 제어한다. 예컨대 n개의 복제본을 생성하여 저장하는 파일 저장 시스템에서, 파일정보 관리 테이블 조회 결과 새로 저장 요청되는 파일과 동일한 파일이 이미 저장되어 있는 경우는 n개의 복제본을 저장하지 않고 1개의 파일만 저장토록 제어할 수 있다.
파일 복제부(172)는 데이터 서버(130~150)에서 파일이 복제되는 작업을 관장하며, 저장부(174)는 데이터 서버(130~150)에서 파일의 저장 작업을 관리한다.
이하 도 3 및 도 4를 참조하여 본 발명의 시스템(100)의 동작을 설명하기로 한다.
도 3 및 도 4는 본 발명의 실시 예에 따른 파일 저장 시스템에서의 중복 파일 관리 방법의 절차를 나타낸 흐름도로서, 도 1 및 도 2에 있어서 신규 파일 생성 요청 시 중복 파일 생성을 최소화시키는 동작을 설명한다.
S310 단계에서 클라이언트(110)의 파일 저장으로 인한 신규 파일 생성 요청이 발생하면, S320 단계에서 제어부(122)는 생성 요청된 파일에 대해 파일 정보 관리부(124)의 파일정보 관리 테이블을 조회하여 제 1 기준이 동일한 파일이 존재하는지 판단한다. 상기 제 1 기준은 빠른 중복성 검사를 위한 것으로, 파일명과 파일 크기 중 적어도 하나일 수 있다. 예컨대 파일 이름과 파일 크기가 동일한 파일이 이미 저장되어 있는지 판단한다.
상기 판단 결과, 제 1 기준이 동일한 파일이 존재하지 않는 경우, S330 단계에서 제어부(122)는 상기 생성 요청된 파일에 대해 기설정된 복제 개수(n개)만큼의 파일을 생성하고, S340 단계에서 파일정보 관리 테이블에 해당 파일에 관련된 정보를 삽입하고, S350 단계에서 관련된 메타 파일을 생성한다.
한편 상기 판단 결과, 제 1 기준이 동일한 파일이 존재하는 경우, S360 단계에서 제어부(122)는 기설정된 복제 개수에 따르지 않고 1개의 파일만 데이터 서버(130~150) 내에 생성하고, S370 단계에서 관련된 메타 파일을 메타 데이터 서버(120) 내에 생성하고, S380 단계에서 신규파일리스트에 엔트리를 삽입, 즉, 해당 파일에 관련된 정보를 작성한다.
상기 파일정보 관리 테이블에서 하나의 행으로 표현되는 파일은 시스템(100) 내에서 미리 정해진 복제 개수(n)만큼 복제 완료된 파일에 해당한다. 상기 신규파일리스트에 하나의 항목으로 표현되는 파일은 시스템(100) 내에서 미리 정해진 복제 개수만큼 복제되지 않고 오직 한 개만 생성된 파일에 해당한다. 상기 신규파일리스트의 유지 목적은 상기 S320 단계의 판단 결과에 문제가 있을 경우를 대비하기 위함이다.
도 4의 과정들은 상기 도 3의 S380 단계에서 신규파일리스트에 삽입된 파일들에 대해 백그라운드에서 적용되는 후처리 과정으로서, 도 3의 과정들이 종료된 이후 일정 시간이 지난 뒤에 수행될 수 있다.
S410 단계에서 제어부(122)는 신규파일리스트에서 하나의 엔트리를 인출한다. 전술한 바와 같이 상기 엔트리는 미리 정해진 복제 개수만큼 복제되지 않고 오 직 한 개만 생성된 파일이다.
이어서 S420 단계에서 제어부(122)는 이전에 상기 엔트리의 파일과 제 1 기준이 동일하다고 판단된 파일정보 관리 테이블의 복제본 개수 조건을 충족한 파일과 상기 엔트리의 파일에 대해 제 2 기준이 동일한지 판단한다. 상기 제 2 기준은 정밀한 중복성 검사를 위한 것으로, 해당 파일의 데이터 내용일 수 있다. 예컨대 데이터 비교를 통해 실제 동일한 파일인지 판단한다. 즉, 상기 S320 단계에서 단순히 파일명과 파일 크기를 기준으로 파일의 동일성을 판단한 것이라면, 여기에서는 파일들 간의 상세한 데이터 비교를 통해 실제 동일한 파일인지를 판단함으로써 중복성 판단의 신뢰도를 높인다. 이러한 데이터 비교는 소요 시간이 상당할 수 있기 때문에 백그라운드에서 진행되는 것이 바람직하다.
상기 판단 결과 제 2 기준이 동일한 파일이 아닌 경우, 예컨대 파일명과 파일 크기는 같지만 실제 파일 내용은 다른 경우, S430 단계에서 제어부(122)는 한 개만 존재하던 파일의 복제 개수를 시스템(100)에서 규정된 복제 개수만큼 추가 생성한다. 이어서 S440 단계에서 파일정보 관리 테이블에 해당 파일에 대한 정보를 삽입하고, S450 단계에서 해당 파일에 대한 메타 파일 정보를 수정하며, S460 단계에서 신규파일리스트에서 상기 엔트리, 즉, 해당 파일의 정보를 삭제한다.
한편, 상기 판단 결과 제 2 기준도 동일한 파일인 경우, S460 단계에서 제어부(122)는 신규파일리스트에서 상기 엔트리를 삭제한다. 즉, 신규로 한 개 생성했던 파일과 동일한 파일이 시스템(100) 내에 규정된 복제 개수 이상 이미 존재하고 있으므로 신규로 생성한 파일에 대한 복제본은 불필요한 것으로 판단하여 추가로 생성하지 않는 것이다.
도 5는 내지 도 7은 본 발명의 실시 예에 따른 파일정보 관리 테이블(510)과 메타 파일(520~540)의 일예를 나타낸 도면으로, 설명의 편의를 위해 '/data/data1', '/group/files/data1', '/data/testdata'라는 총 3개의 파일을 저장하고 있고, 규정된 복제 개수는 3인 경우를 가정한다. 따라서 데이터 서버(130~150)에는 총 9개의 파일들이 저장되어 있으며 이러한 파일에 대한 정보는 메타 데이터 서버(120)에서 관리하고 있는 메타 파일(520~540)에 별도로 기록된다. 상기 파일에 대한 정보는 파일정보 관리 테이블(510)에 기록됨으로써 추후에 생성될 파일들과의 신속한 비교를 위해 사용된다.
예컨대, '/data/data1'에 대한 메타 파일(520)의 내용을 조회함으로써 '/data/data1'의 파일의 크기는 5000 바이트(byte)이고, '/data/data1'이 총 3개 복제되어 있으며, 각각의 복제본은 1번 데이터 서버(130)에서 ID 100인 파일과 2번 데이터 서버(140)의 ID 100인 파일, 그리고 3번 데이터 서버(150)의 ID 100인 파일로서 저장되어 있다는 것을 확인할 수 있다. 또한 '/data/data1'에 대한 정보가 파일정보 관리 테이블(510)에서 키 값이 1인 레코드로서 기재되어 있다는 것을 확인할 수 있다.
이후 도 6에 도시된 바와 같은 24000 바이트의 크기를 갖는 '/data1'이라는 파일의 신규 저장이 요청되면 제어부(122)는 이 '/data1'과 동일한 파일이 존재하는지 신속하게 비교하기 위해 파일정보 관리 테이블(510)에서 'data1'이라는 파일이 존재하는지 조회한다. 조회 결과 'data1'이라는 이름의 파일은 2개의 행에서 존 재하지만 파일 경로 열의 값에 의거하여 '/group/files/data1'에 해당하는 메타 파일이 파일 크기가 24000으로 동일한 것으로 판단될 수 있다. 따라서 '/data1'의 처리 흐름은 상기 도 3의 S360 내지 S380 단계에 따라 수행될 수 있다. 그 결과 '/data1'에 대해 생성된 메타파일(610)에서 '파일정보 관리 테이블 참조'의 속성 값은 파일 정보 관리 테이블(510)에서 키 값이 2인 행을 가리키게 되며, 후처리 과정을 위하여 '/data1'이라는 값이 신규파일리스트에 삽입될 수 있다.
일정 시간 후 백그라운드에서 '/data1'이라는 파일에 대한 후처리 과정이 시작될 수 있는데, 상기 도 4의 S420 단계에 따라 '/data1'이라는 파일과 '/data1'이 참조하고 있는 '/group/files/data1'을 상세 비교하여 실제 동일한 파일인지를 판단한다. 상기 판단 결과 두 파일이 실제 동일한 파일인 경우, S460 단계에 따라 신규파일리스트에서 '/data1'에 대한 엔트리를 삭제함으로써 후처리 과정을 종결한다.
그러나 상기 판단 결과 두 파일이 실제 동일하지 않은 경우, S430 내지 S440 단계에 따라 '/data1'에 대하여 파일 복제본을 추가 생성하고, 파일정보 관리 테이블(510)에 '/data1'에 대한 파일 정보를 삽입함으로써 파일정보 관리 테이블(710)은 도 7에서 같이 변경된 내용을 갖게 된다. 이어서 S450 내지 S460 단계에 따라 관련된 메타 파일(610)을 수정한 새로운 메타 파일(720)을 산출한 후, 신규파일리스트에서 '/data1'에 대한 엔트리를 삭제함으로써 후처리 과정을 종료한다.
이상에서는 본 발명에서 특정의 바람직한 실시 예에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시 예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.
도 1은 본 발명의 실시 예에 따른 파일 저장 시스템의 구성을 나타내는 구성도.
도 2는 도 1의 메타 데이터 서버 및 데이터 서버의 구성을 나타내는 구성도.
도 3 및 도 4는 본 발명의 실시 예에 따른 파일 저장 시스템에서의 중복 파일 관리 방법의 절차를 나타낸 흐름도.
도 5는 내지 도 7은 본 발명의 실시 예에 따른 파일정보 관리 테이블 및 메타 파일의 예시도.

Claims (25)

  1. 오류 회복을 위한 파일 복제를 수행하는 파일 저장 시스템에 있어서,
    신규 파일 생성을 요청하는 클라이언트와;
    기저장된 파일 복제본에 대한 정보를 저장하며 상기 클라이언트로부터 생성 요청되는 파일에 대해 기저장된 파일과의 중복 여부를 확인하여 기설정된 복제본 개수를 넘지 않도록 제어하는 메타데이터 서버와;
    상기 메타데이터 서버의 제어에 의해 파일 복제 및 파일 저장을 각각 수행하는 파일 복제부와 저장부를 포함하는 데이터 서버를 포함하여 구성되는 것을 특징으로 하는 파일 저장 시스템.
  2. 제 1항에 있어서, 상기 메타데이터 서버는
    기설정된 복제 개수를 충족시키는 파일들에 관한 정보가 보관되는 파일정보 관리 테이블과 모든 파일들에 대한 메타 정보를 가지고 있으며 상기 파일정보 관리 테이블과 연결되는 정보를 포함하는 메타 파일들을 포함하는 파일 정보 관리부와;
    상기 클라이언트로부터의 파일 생성 요청에 대해 메타 파일을 생성하며 상기 파일정보 관리 테이블을 조회하여 중복파일 생성 시 기설정된 복제본 개수를 초과하지 않도록 제어하는 제어부를 포함하여 구성되는 것을 특징으로 하는 파일 저장 시스템.
  3. 제 2항에 있어서, 상기 제어부는
    상기 파일정보 관리 테이블 조회 결과, 새로 생성 요청되는 파일의 이름과 크기가 동일한 파일이 이미 저장되어 있는 경우 1개의 파일만 저장토록 제어하는 것을 특징으로 하는 파일 저장 시스템.
  4. 제 3항에 있어서, 상기 제어부는
    상기 저장되는 파일에 대해 신규파일리스트에 엔트리를 삽입하는 것을 특징으로 하는 파일 저장 시스템.
  5. 제 4항에 있어서, 상기 제어부는
    상기 엔트리를 인출하여 상세 데이터 비교를 통해 기설정된 복제 개수를 충족시키는 파일들 중 해당 파일과 실제 데이터가 동일한 파일이 존재하는지를 판단하는 것을 특징으로 하는 파일 저장 시스템.
  6. 제 5항에 있어서, 상기 제어부는
    실제 데이터가 동일한 파일이 존재하면 신규파일리스트에서 상기 엔트리를 삭제하는 것을 특징으로 하는 파일 저장 시스템.
  7. 제 5항에 있어서, 상기 제어부는
    실제 데이터가 동일한 파일이 존재하지 않으면 한 개만 존재하던 파일의 복제 개수를 시스템에서 규정된 복제 개수만큼 추가 생성하는 것을 특징으로 하는 파일 저장 시스템.
  8. 제 7항에 있어서, 상기 제어부는
    상기 파일정보 관리 테이블에 해당 파일에 대한 정보를 삽입하며, 해당 파일에 대한 메타 파일 정보를 수정하고, 상기 신규파일리스트에서 상기 엔트리를 삭제하는 것을 특징으로 하는 파일 저장 시스템.
  9. 제 5항 내지 8항 중 어느 한 항에 있어서, 상기 제어부는
    백그라운드에서 동작을 수행하는 것을 특징으로 하는 파일 저장 시스템.
  10. 제 2항에 있어서, 상기 제어부는
    상기 파일정보 관리 테이블 조회 결과, 새로 생성 요청되는 파일의 이름과 크기가 동일한 파일이 없는 경우, 해당 파일에 대해 기설정된 복제 개수만큼의 파일을 생성하고, 상기 파일정보 관리 테이블에 해당 파일에 관련된 정보를 삽입하며 관련된 메타 파일을 생성하는 것을 특징으로 하는 파일 저장 시스템.
  11. 클라이언트로부터 생성 요청된 파일에 대해 기설정된 복제 개수를 충족시키는 파일들 중 빠른 중복성 검사 용도의 제 1 기준이 동일한 파일이 존재하는지 확 인하는 제 1 확인 단계와;
    상기 확인 결과에 따라 상기 생성 요청된 파일과 상기 제 1 기준이 동일한 파일들의 복제본이 기설정된 복제본 개수를 넘지 않도록 복제본 생성을 제어하는 제 1 제어 단계를 포함하여 이루어지는 것을 특징으로 하는 파일 저장 시스템에서의 중복 파일 관리 방법.
  12. 제 11항에 있어서, 상기 제 1 확인 단계는
    기설정된 복제 개수를 충족시키는 파일들에 관한 정보가 보관되는 파일정보 관리 테이블 조회에 기반하여 수행되는 것을 특징으로 하는 파일 저장 시스템에서의 중복 파일 관리 방법.
  13. 제 12항에 있어서, 상기 제 1 제어 단계는
    상기 파일정보 관리 테이블 조회 결과, 상기 제 1 기준이 동일한 파일이 존재하는 경우 1개의 파일만 저장토록 제어하는 것을 특징으로 하는 파일 저장 시스템에서의 중복 파일 관리 방법.
  14. 제 13항에 있어서,
    상기 저장되는 파일에 대해 신규파일리스트에 엔트리를 삽입하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 파일 저장 시스템에서의 중복 파일 관리 방법.
  15. 제 14항에 있어서,
    상기 엔트리에 해당되는 파일에 대해 기설정된 복제 개수를 충족시키는 파일들 중 정밀한 중복성 검사 용도의 제 2 기준이 동일한 파일이 존재하는지 확인하는 제 2 확인 단계와;
    상기 확인 결과에 따라 상기 엔트리에 해당되는 파일과 상기 제 2 기준이 동일한 파일들의 복제본이 기설정된 복제본 개수를 넘지 않도록 복제본 생성을 제어하는 제 2 제어 단계를 더 포함하여 이루어지는 것을 특징으로 하는 파일 저장 시스템에서의 중복 파일 관리 방법.
  16. 제 15항에 있어서, 상기 제 2 제어 단계는
    상기 제 2 기준이 동일한 파일이 존재하면 신규파일리스트에서 상기 엔트리를 삭제하는 단계를 추가로 더 포함하는 것을 특징으로 하는 파일 저장 시스템에서의 중복 파일 관리 방법.
  17. 제 15항에 있어서, 상기 제 2 제어 단계는
    상기 제 2 기준이 동일한 파일이 존재하지 않으면 한 개만 존재하던 파일의 복제본을 시스템에서 규정된 복제 개수만큼 추가 생성하는 것을 특징으로 하는 파일 저장 시스템에서의 중복 파일 관리 방법.
  18. 제 17항에 있어서, 상기 제 2 제어 단계는
    상기 파일정보 관리 테이블에 상기 복제본이 추가 생성된 파일에 대한 정보를 삽입하며, 해당 파일에 대한 메타 파일 정보를 수정하고, 상기 신규파일리스트에서 상기 엔트리를 삭제하는 단계를 추가로 더 포함하는 것을 특징으로 하는 파일 저장 시스템에서의 중복 파일 관리 방법.
  19. 제 16항 또는 제 17항에 있어서, 상기 제 2 기준은
    해당 파일의 데이터 내용인 것을 특징으로 하는 파일 저장 시스템에서의 중복 파일 관리 방법.
  20. 제 15항 내지 18항 중 어느 한 항에 있어서,
    해당 단계는 백그라운드에서 수행되는 것을 특징으로 하는 파일 저장 시스템에서의 중복 파일 관리 방법.
  21. 제 12항에 있어서, 상기 제 1 제어 단계는
    상기 파일정보 관리 테이블 조회 결과, 상기 제 1 기준이 동일한 파일이 존재하는 경우, 해당 파일에 대해 기설정된 복제 개수만큼의 파일을 생성하는 것을 특징으로 하는 파일 저장 시스템에서의 중복 파일 관리 방법.
  22. 제 21항에 있어서, 상기 제 1 제어 단계는
    상기 파일정보 관리 테이블에 해당 파일에 관련된 정보를 삽입하며 관련된 메타 파일을 생성하는 단계를 추가로 더 포함하는 것을 특징으로 하는 파일 저장 시스템에서의 중복 파일 관리 방법.
  23. 제 13항 또는 제 21항에 있어서, 상기 제 1 기준은
    파일명과 파일크기 중 적어도 하나인 것을 특징으로 하는 파일 저장 시스템에서의 중복 파일 관리 방법.
  24. 기설정된 복제 개수를 충족시키는 파일들에 관한 정보가 보관되는 파일정보 관리 테이블과 모든 파일들에 대한 메타 정보를 가지고 있으며 상기 파일정보 관리 테이블과 연결되는 정보를 포함하는 메타 파일들을 포함하는 파일 정보 관리부와;
    상기 클라이언트로부터의 파일 생성 요청에 대해 메타 파일을 생성하며 상기 파일정보 관리 테이블을 조회하여 중복파일 생성 시 기설정된 복제본 개수를 초과하지 않도록 제어하는 제어부와;
    상기 제어부의 제어에 따라 파일 복제를 수행하는 파일 복제부와;
    상기 제어부에 의해 생성되는 파일을 저장하는 저장부를 포함하여 구성되는 것을 특징으로 하는 파일 저장 시스템.
  25. 기설정된 복제 개수를 충족시키는 파일들에 관한 정보가 보관되는 파일정보 관리 테이블과 모든 파일들에 대한 메타 정보를 가지고 있으며 상기 파일정보 관리 테이블과 연결되는 정보를 포함하는 메타 파일들을 포함하는 파일 정보 관리부와;
    상기 클라이언트로부터의 파일 생성 요청에 대해 메타 파일을 생성하며 상기 파일정보 관리 테이블을 조회하여 중복파일 생성 시 기설정된 복제본 개수를 초과하지 않도록 제어하는 제어부를 포함하여 구성되는 것을 특징으로 하는 메타 데이터 서버.
KR1020070130179A 2007-12-13 2007-12-13 파일 저장 시스템 및 파일 저장 시스템에서의 중복 파일관리 방법 KR100946986B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070130179A KR100946986B1 (ko) 2007-12-13 2007-12-13 파일 저장 시스템 및 파일 저장 시스템에서의 중복 파일관리 방법
US12/140,302 US8103636B2 (en) 2007-12-13 2008-06-17 File storage system and method for managing duplicate files in file storage system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070130179A KR100946986B1 (ko) 2007-12-13 2007-12-13 파일 저장 시스템 및 파일 저장 시스템에서의 중복 파일관리 방법

Publications (2)

Publication Number Publication Date
KR20090062747A true KR20090062747A (ko) 2009-06-17
KR100946986B1 KR100946986B1 (ko) 2010-03-10

Family

ID=40754668

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070130179A KR100946986B1 (ko) 2007-12-13 2007-12-13 파일 저장 시스템 및 파일 저장 시스템에서의 중복 파일관리 방법

Country Status (2)

Country Link
US (1) US8103636B2 (ko)
KR (1) KR100946986B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100985169B1 (ko) * 2009-11-23 2010-10-05 (주)피스페이스 분산 저장 시스템에서 파일의 중복을 제거하는 장치 및 방법
WO2012086920A2 (ko) * 2010-12-24 2012-06-28 (주)케이티 내용 기반 중복 방지 기능을 가지는 분산 저장 시스템 및 그 오브젝트 저장 방법 및 컴퓨터에 의하여 독출가능한 저장 매체
US8495013B2 (en) 2010-12-24 2013-07-23 Kt Corporation Distributed storage system and method for storing objects based on locations
KR101335934B1 (ko) * 2009-12-18 2013-12-03 한국전자통신연구원 비대칭 클러스터 분산 파일 시스템에서 데이터 복제 및 복구 방법
US8775870B2 (en) 2010-12-22 2014-07-08 Kt Corporation Method and apparatus for recovering errors in a storage system
US8849756B2 (en) 2011-04-13 2014-09-30 Kt Corporation Selecting data nodes in distributed storage system
US9052962B2 (en) 2011-03-31 2015-06-09 Kt Corporation Distributed storage of data in a cloud storage system
US9158460B2 (en) 2011-04-25 2015-10-13 Kt Corporation Selecting data nodes using multiple storage policies in cloud storage system
US9888062B2 (en) 2010-12-24 2018-02-06 Kt Corporation Distributed storage system including a plurality of proxy servers and method for managing objects

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110153570A1 (en) * 2009-12-18 2011-06-23 Electronics And Telecommunications Research Institute Data replication and recovery method in asymmetric clustered distributed file system
US8452822B2 (en) * 2010-06-30 2013-05-28 Verizon Patent And Licensing Inc. Universal file naming for personal media over content delivery networks
CN104166602B (zh) * 2014-08-15 2017-07-04 小米科技有限责任公司 数据备份方法及装置、电子设备
KR102415626B1 (ko) 2016-01-04 2022-07-01 한국전자통신연구원 데이터 소유권 검증 방법 및 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7117246B2 (en) * 2000-02-22 2006-10-03 Sendmail, Inc. Electronic mail system with methodology providing distributed message store
US7092956B2 (en) * 2001-11-02 2006-08-15 General Electric Capital Corporation Deduplication system
US7055008B2 (en) * 2003-01-22 2006-05-30 Falconstor Software, Inc. System and method for backing up data
JP2005148868A (ja) * 2003-11-12 2005-06-09 Hitachi Ltd ストレージ装置におけるデータのプリフェッチ
EP1723564A2 (en) * 2004-02-11 2006-11-22 Storage Technology Corporation Clustered hierarchical file services
US7200604B2 (en) * 2004-02-17 2007-04-03 Hewlett-Packard Development Company, L.P. Data de-duplication
KR100749922B1 (ko) * 2004-12-14 2007-08-21 한국전자통신연구원 객체 기반 스토리지를 사용하는 분산 파일 서버에서 장애복구 시스템 및 방법
KR100700200B1 (ko) * 2004-12-24 2007-03-27 주식회사 나우콤 파일의 정보를 이용하여 중복된 파일을 저장하고다운로드하는 방법 및 장치
US20070220592A1 (en) * 2006-03-02 2007-09-20 Thomas Muehlbauer Comparing Media Files Against Database Content
US8527469B2 (en) * 2006-10-13 2013-09-03 Sony Corporation System and method for automatic detection of duplicate digital photos

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100985169B1 (ko) * 2009-11-23 2010-10-05 (주)피스페이스 분산 저장 시스템에서 파일의 중복을 제거하는 장치 및 방법
WO2011062387A2 (ko) * 2009-11-23 2011-05-26 (주)피스페이스 분산 저장 시스템에서 파일의 중복을 제거하는 장치 및 방법
WO2011062387A3 (ko) * 2009-11-23 2011-09-09 (주)피스페이스 분산 저장 시스템에서 파일의 중복을 제거하는 장치 및 방법
KR101335934B1 (ko) * 2009-12-18 2013-12-03 한국전자통신연구원 비대칭 클러스터 분산 파일 시스템에서 데이터 복제 및 복구 방법
US8775870B2 (en) 2010-12-22 2014-07-08 Kt Corporation Method and apparatus for recovering errors in a storage system
WO2012086920A2 (ko) * 2010-12-24 2012-06-28 (주)케이티 내용 기반 중복 방지 기능을 가지는 분산 저장 시스템 및 그 오브젝트 저장 방법 및 컴퓨터에 의하여 독출가능한 저장 매체
WO2012086920A3 (ko) * 2010-12-24 2012-09-07 (주)케이티 내용 기반 중복 방지 기능을 가지는 분산 저장 시스템 및 그 오브젝트 저장 방법 및 컴퓨터에 의하여 독출가능한 저장 매체
US8495013B2 (en) 2010-12-24 2013-07-23 Kt Corporation Distributed storage system and method for storing objects based on locations
US9888062B2 (en) 2010-12-24 2018-02-06 Kt Corporation Distributed storage system including a plurality of proxy servers and method for managing objects
US9052962B2 (en) 2011-03-31 2015-06-09 Kt Corporation Distributed storage of data in a cloud storage system
US8849756B2 (en) 2011-04-13 2014-09-30 Kt Corporation Selecting data nodes in distributed storage system
US9158460B2 (en) 2011-04-25 2015-10-13 Kt Corporation Selecting data nodes using multiple storage policies in cloud storage system

Also Published As

Publication number Publication date
US20090157769A1 (en) 2009-06-18
US8103636B2 (en) 2012-01-24
KR100946986B1 (ko) 2010-03-10

Similar Documents

Publication Publication Date Title
KR100946986B1 (ko) 파일 저장 시스템 및 파일 저장 시스템에서의 중복 파일관리 방법
KR102444033B1 (ko) 콘텐츠 아이템을 동기화하기 위한 커밋 프로토콜
US8285689B2 (en) Distributed file system and data block consistency managing method thereof
JP5918243B2 (ja) 分散型データベースにおいてインテグリティを管理するためのシステム及び方法
JP5516575B2 (ja) データ挿入システム
JP2013544386A5 (ko)
CN104951475A (zh) 分布式文件系统和实现方法
US20110153769A1 (en) Apparatus and method for accessing a metadata
Sajwan et al. The hadoop distributed file system: Architecture and internals

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130304

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140303

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee