KR101709118B1 - 하이브리드 스토리지 시스템의 파일 관리 방법 및 장치 - Google Patents

하이브리드 스토리지 시스템의 파일 관리 방법 및 장치 Download PDF

Info

Publication number
KR101709118B1
KR101709118B1 KR1020120047400A KR20120047400A KR101709118B1 KR 101709118 B1 KR101709118 B1 KR 101709118B1 KR 1020120047400 A KR1020120047400 A KR 1020120047400A KR 20120047400 A KR20120047400 A KR 20120047400A KR 101709118 B1 KR101709118 B1 KR 101709118B1
Authority
KR
South Korea
Prior art keywords
file
server
data server
information
cache
Prior art date
Application number
KR1020120047400A
Other languages
English (en)
Other versions
KR20130123897A (ko
Inventor
김영창
김홍연
최완
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120047400A priority Critical patent/KR101709118B1/ko
Priority to US13/864,685 priority patent/US20130297969A1/en
Publication of KR20130123897A publication Critical patent/KR20130123897A/ko
Application granted granted Critical
Publication of KR101709118B1 publication Critical patent/KR101709118B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/184—Distributed file systems implemented as replicated file system
    • G06F16/1844—Management specifically adapted to replicated file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094—Redundant storage or storage space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2097—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements maintaining the standby controller/processing unit updated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3485—Performance evaluation by tracing or monitoring for I/O devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81—Threshold

Abstract

본 발명은 하이브리드(Hybrid) 스토리지 시스템에서 파일 쓰기 성능 향상과 가용성을 제공하기 위한 방법에 관한 것으로, 상세하게는, 하이브리드(Hybrid) 스토리지 시스템의 메타데이터 서버를 통한 파일 관리 방법에 있어서, 클라이언트로부터 파일기록대상서버정보 요청신호가 수신되면, 기저장된 캐쉬 서버 정보에 따른 각 캐쉬 서버의 저장 공간을 고려하여 캐쉬 서버를 선택하여 선택된 캐쉬 서버 정보를 클라이언트로 전송하여 클라이언트가 선택된 캐쉬 서버에 파일을 저장하도록 하고, 상기 선택된 캐쉬 서버로부터 상기 저장된 파일에 대한 복제본기록대상서버정보 요청이 수신되면, 기저장된 데이터 서버 정보에 따른 각 데이터 서버의 여유 저장 공간을 고려하여 제1 데이터 서버를 선택하여 선택된 제1 데이터 서버 정보를 상기 캐쉬 서버로 전송하여 상기 캐쉬 서버가 상기 선택된 제1 데이터 서버에 상기 파일의 복제본을 저장하도록 하고, 상기 선택된 캐쉬 서버 및 상기 선택된 제1 데이터 서버로부터 상기 파일 및 상기 파일의 복제본의 저장 정보를 수신하여 파일 메타데이터를 저장한다.

Description

하이브리드 스토리지 시스템의 파일 관리 방법 및 장치{METHOD AND APPRATUS FOR MANAGING FILE IN HYBRID STORAGE SYSTEM}
본 발명은 하이브리드(Hybrid) 스토리지 시스템에서 파일 쓰기 성능 향상과 가용성을 제공하기 위한 방법에 관한 것으로, 보다 자세하게는 솔리드 스테이트 드라이브(SSD; Solid State Drive)와 같은 고성능의 저장장치와 일반 하드 디스크 드라이브로 구성되는 하이브리드 스토리지 시스템에 있어서, 고속의 저장장치를 파일 저장을 위한 캐시 서버로 사용하여 파일 쓰기 성능을 향상시키고, 또한 파일의 실시간 복제 및 지연 복제를 통해 파일에 대한 다수의 복제본을 각기 다른 데이터 서버에 저장할 수 있도록 함으로써 파일 관리에 대한 가용성을 제공할 수 있도록 하는 방법 및 장치에 관한 것이다.
솔리드 스테이트 드라이브(Solid State Drive; SSD)는 반도체를 기반으로 한 저장장치로서 순차적 읽기/쓰기 성능과 임의의 읽기/쓰기 명령어 처리량이 하드 디스크 드라이브(Hard Disk Drive; HDD)에 비해서 좋은 성능을 보여주며 또한 전력 소비가 적다는 장점이 있다. 그러나, 저장이 수행될 부분이 삭제되지 않은 부분에 속해 있다면 먼저 삭제를 수행해야 하며, 하드 디스크 드라이브에 비해 가격당 저장공간이 상대적으로 작아 대용량의 스토리지 시스템을 구축할 때 비용이 높아지며, 수명이 하드 디스크 드라이브에 비해 짧아 엔터프라이즈 급 스토리지 서버에 사용하기에는 안정성이 떨어지기 때문에 주 저장장치로 사용하기 어려운 단점이 존재한다.
따라서, 이러한 두 저장장치의 단점을 서로 보완하고 장점을 취하고자 두 저장장치를 혼용하여 SSD를 주 저장장치가 아닌 HDD에 대한 캐쉬로 쓰기 위한 하이브리드 스토리지 시스템에 대한 기술 개발이 요구되고 있다.
이러한 노력에 따라, 미국 공개 특허 제2011-0153931 A1 호에는, “Hybrid storage subsystem with mixed placement of file contents”가 개시되어 있다. 이 기술은 SSD와 HDD를 함께 구성한 스토리지 서브시스템에서 SSD를 읽기 캐쉬로 사용하는 방법에 대한 연구이다. 파일 접근 시, 파일의 블록이 SSD 에 존재하지 않으면 HDD를 통해 해당 파일 블록에 접근하지만, 한번 접근한 파일 블록은 HDD에서 SSD로 옮겨 저장하여 동일한 파일 블록에 대한 다음 접근 속도를 향상시키기 위해 SSD를 읽기 캐쉬로 사용한다. 파일 갱신은 파일이 저장된 SSD 또는 HDD 모두에서 이루어지지만 파일의 최초 생성은 항상 HDD에서 이루어지도록 한다. 그러나, 이 기술은 파일에 대한 임의 접근이 빈번하고, 접근되는 파일의 내용들이 서로 다른 블록에 위치했을 경우, 동일한 파일에 대한 접근이 발생하여도 캐쉬 미스가 빈번히 발생하여 캐쉬 효율이 떨어질 수 있으며, 동영상과 같은 대용량의 파일을 연속적으로 한번 접근하는 경우에는 캐쉬 사용의 이점이 떨어진다는 단점이 존재한다.
또한 SSD로 캐쉬되어 HDD로부터 이관된 블록들이 유실될 경우에 대한 대안이 없는 문제가 있다.
또한, 대한민국 공개특허 제 10-2008-0090959 호에는 “SSD에서의 임의 쓰기 성능을 개선하기 위한 저장 장치, 방법, 및 컴퓨터 판독 가능한 기록 매체”가 개시되어 있다. 이 기술은, SSD가 순차적 읽기/쓰기 성능 및 임의 읽기/쓰기 명령어 처리량 및 임의의 읽기 성능에 비해 떨어지는 임의의 쓰기 성능을 개선하기 위해 하드 디스크 드라이브를 임의의 쓰기를 위한 SSD의 캐쉬로 사용하여 읽기 동작에서는 SSD의 장점을 제공하고 동시에 쓰기 동작에서는 HDD의 장점을 유지하도록 하는 기술이다. 그러나 이 기술은 SSD의 수명이 짧기 때문에 안정성이 떨어짐으로 인해 발생할 수 있는 데이터의 유실에 대한 대안이 없는 문제점이 존재한다.
본 발명은 전술한 종래기술의 문제점을 해결하기 위하여, 고속의 저장장치로 구성된 서버를 파일 저장을 위한 캐쉬 서버로 활용하여 파일의 쓰기 성능을 향상시키고, 캐쉬 서버로부터 일반 데이터 서버로의 실시간 복제 및 데이터 서버로부터 서로 다른 데이터 서버로의 지연 복제를 통해 3개의 파일 복제본을 유지하여 가용성을 제공하는 데 그 목적이 있다.
본 발명의 실시 예에 따른 하이브리드 스토리지 관리 시스템의 메타데이터 서버를 통한 파일 관리 방법은, 클라이언트로부터 파일기록대상서버정보 요청이 수신되면, 기저장된 캐쉬 서버 정보에 따른 각 캐쉬 서버의 저장 공간을 고려하여 어느 하나의 캐쉬 서버를 선택하는 단계, 상기 클라이언트가 상기 선택된 캐쉬 서버에 파일을 저장할 수 있도록 상기 선택된 캐쉬 서버의 정보를 상기 클라이언트로 전송하는 단계, 상기 선택된 캐쉬 서버로부터 상기 저장된 파일에 대한 복제본기록대상서버정보 요청신호가 수신되면, 기저장된 데이터 서버 정보에 따른 각 데이터 서버의 저장 공간을 고려하여 어느 하나의 제1 데이터 서버를 선택하는 단계, 상기 캐쉬 서버가 상기 선택된 제1 데이터 서버에 상기 파일의 복제본을 저장하도록 상기 선택된 제1 데이터 서버의 정보를 상기 캐쉬 서버로 전송하는 단계, 및 상기 선택된 캐쉬 서버 및 상기 선택된 제1 데이터 서버로부터 상기 파일 및 상기 복제본의 저장 정보를 수신하여 파일 메타데이터를 저장하는 단계를 포함한다.
또한, 본 발명의 다른 실시 예에 따른 하이브리드 스토리지 관리 시스템의 메타데이터 서버는, 클라이언트로부터 파일기록대상서버정보 요청이 수신되면, 기저장된 캐쉬 서버 정보에 따른 각 캐쉬 서버의 저장 공간을 고려하여 어느 하나의 캐쉬 서버를 선택하는 캐쉬 서버 제어부, 상기 선택된 캐쉬 서버의 정보를 상기 클라이언트로 전송하여 상기 클라이언트가 상기 선택된 캐쉬 서버에 파일을 저장하도록 하는 네트워크 인터페이스부, 상기 선택된 캐쉬 서버로부터 상기 저장된 파일에 대한 복제본기록대상서버정보 요청이 수신되면, 기저장된 데이터 서버 정보에 따른 각 데이터 서버의 여유 저장 공간을 고려하여 어느 하나의 제1 데이터 서버를 선택하고, 상기 선택된 제1 데이터 서버의 정보를 상기 캐쉬 서버로 전송하여 상기 캐쉬 서버가 상기 선택된 제1 데이터 서버에 상기 파일의 복제본을 저장하도록 하는 데이터 서버 제어부, 및 상기 선택된 캐쉬 서버 및 상기 선택된 제1 데이터 서버로부터 상기 파일 및 상기 파일의 복제본의 저장 정보를 수신하여 파일 메타데이터를 저장하는 메타데이터 제어부를 포함한다.
본 발명의 구성에 따르면, 각기 다른 특성을 갖는 저장장치로 구성된 다수의 데이터 서버가 네트워크로 연결된 하이브리드 스토리지 시스템에서 솔리드 스테이트 드라이브와 같은 고속 저장장치로 구성된 데이터 서버를 데이터 캐쉬 서버로 활용하여 파일 쓰기 성능을 향상시킬 수 있으며, 또한 실시간 복제 및 지연 복제를 통해 3개의 파일 복제본을 유지함으로써 가용성을 제공할 수 있는 이점이 있다.
도 1은 본 발명의 실시 예에 따른 하이브리드 스토리지 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 메타데이터 서버의 구성을 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 캐쉬 서버의 구성을 도시한 도면이다.
도 4는 본 발명의 실시 예에 따른 메타데이터 서버를 통한 파일 관리 방법의 흐름을 도시한 순서도이다.
도 5는 도 4의 파일 관리 방법을 상세히 도시한 순서도이다.
도 6은 본 발명의 실시 예에 따른 캐쉬 서버를 통한 파일 관리 방법의 흐름을 도시한 순서도이다.
도 7은 도 6의 파일 관리 방법을 상세히 도시한 순서도이다.
도 8은 본 발명의 실시 예에 따른 메타데이터 서버를 통한 파일 검색 방법의 흐름을 도시한 순서도이다.
도 9는 도 8의 파일 검색 방법을 상세히 도시한 순서도이다.
도 10은 본 발명의 실시 예에 따른 메타데이터 서버를 통한 파일 복제 방법의 흐름을 도시한 순서도이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 여러 가지 실시 예들을 보다 상세히 설명하도록 하겠다. 나아가, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "부", “모듈” 및 "장치"는 단순히 본 명세서 작성의 용이함을 고려하여 부여되는 것으로서, 상기 "부", “모듈” 및 "장치"는 서로 혼용되어 사용될 수 있으며, 하드웨어 또는 소프트웨어로 설계 가능하다.
나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시 예를 상세하게 설명하지만, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 발명의 목적을 달성하기 위한 하이브리드 스토리지 시스템은, 클라이언트, 메타데이터 서버, 캐쉬 서버, 및 데이터 서버로 구성되며, 각각의 장치는 네트워크를 통해 연결될 수 있다. 캐쉬 서버는 솔리드 스테이트 드라이브와 같은 고속의 저장장치가 장착된 서버이며, 데이터 서버는 일반 하드 디스크 드라이브가 장착된 서버이다. 본 발명에서는 고속의 저장장치가 장착된 캐쉬 서버를 파일 쓰기 캐쉬 서버로 이용하여 쓰기 성능을 향상시키는 방법, 파일 저장 시 캐쉬 서버로부터 데이터 서버로의 실시간 복제 및 데이터 서버로부터 서로 다른 데이터 서버로의 지연 복제를 통해 3개의 파일 복제본을 유지하여 가용성을 제공하는 방법을 제공한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 하이브리드 스토리지 시스템의 구성을 도시한 도면이다.
실시 예에 따라, 하이브리드 스토리지 시스템은 클라이언트(102), 메타데이터 서버(101), 캐쉬 서버(103), 및 데이터 서버(104)를 포함할 수 있다.
클라이언트(102)는 파일에 관련된 응용 처리를 수행할 수 있다. 따라서, 클라이언트(102)는 파일에 대한 작업을 수행하기 위해 메타데이터 서버(101)에 요청신호를 전송하여 해당 작업을 수행할 서버의 주소 정보를 획득한다. 파일을 기록하는 경우에 메타데이터 서버(101)는 등록된 캐쉬 서버(103)중의 한 서버를 선택하여 클라이언트(102)에 주소 정보를 전달하고 클라이언트는 해당 캐쉬 서버(103)로 파일 쓰기를 수행한다. 캐쉬 서버(103)는 파일을 기록함과 함께, 데이터 서버(104)로 실시간 복제를 수행하며, 파일 쓰기 및 복제가 완료되면 이를 클라이언트에 전달한다. 또한 파일 쓰기 및 복제 완료 후 데이터 서버(104)의 복제본을 다른 데이터 서버(104)로 2차 복제를 수행한다.
따라서, 본 발명이 적용되는 하이브리드 스토리지 시스템에서 캐쉬 서버(103)로 솔리드 스테이트 드라이브와 같은 고속의 저장장치가 사용되면, 데이터 서버(104)에 비해 쓰기 응답 속도가 빠르기 때문에 파일 쓰기를 캐쉬 서버(103)에서 수행함으로써 쓰기 성능을 향상시킬 수 있다. 또한 캐쉬 서버(103)로부터 데이터 서버(104)로의 실시간 복제 및 데이터 서버(104)로부터 다른 데이터 서버(104)로의 지연 복제를 통해 3개의 복제본을 유지함으로써 파일에 대한 가용성을 제공할 수 있다.
도 2는 본 발명의 실시 예에 따른 메타데이터 서버의 구성을 도시한 도면이다.
실시 예에 따라, 메타데이터 서버(101)는, 제어부(201)와 네트워크 인터페이스부(205)를 포함할 수 있고, 제어부(201)는, 메타데이터 제어부(202), 캐쉬 서버 제어부(203), 및 데이터 서버 제어부(204)를 포함할 수 있다.
메타데이터 제어부(202)는 파일에 대한 메타데이터 정보를 관리한다. 파일의 메타데이터 정보는 파일 이름, 크기, 생성 날짜, 최근 갱신 날짜, 권한 등의 정보와 해당 파일을 실제로 저장하고 있는 캐쉬 서버 정보 및 데이터 서버 정보를 포함한다.
또한, 파일의 메타데이터 정보는 파일의 최초 생성시에 생성되고, 파일의 변경이 발생하거나 복제본의 이관에 따라 저장된 데이터 서버가 변경될 경우 메타데이터 정보가 갱신될 수 있다.
캐쉬 서버 제어부(203)는 하이브리드 스토리지 시스템에 등록된 캐쉬 서버 정보를 관리한다. 캐쉬 서버 정보는 캐쉬 서버의 식별자, 주소, 저장 용량 및 여유 공간 등의 정보를 포함하며, 새로운 캐쉬 서버가 등록될 때 생성되고, 용량 정보 변경이나 주소 변경 시 갱신된다.
캐쉬 서버 제어부(203)는, 실시 예에 따라, 클라이언트로부터 파일기록대상서버정보 요청신호가 수신되면, 기저장된 캐쉬 서버 정보에 따른 각 캐쉬 서버의 여유 저장 공간을 고려하여 어느 하나의 캐쉬 서버를 선택할 수 있다.
네트워크 인터페이스부(205)는, 상기 선택된 캐쉬 서버의 정보를 상기 클라이언트로 전송하여 상기 클라이언트가 상기 선택된 캐쉬 서버에 파일을 저장하도록 할 수 있다.
또한, 네트워크 인터페이스부(205)는, 주기적인 통신을 통하여 상기 각 캐쉬 서버와 상기 각 데이터 서버의 고장을 감지할 수 있고, 클라이언트로부터 파일 위치정보 요청신호가 수신되면, 상기 파일 위치정보 요청신호에 따른 파일이 어느 하나의 캐쉬 서버에 저장된 것으로 확인되면, 상기 확인된 캐쉬 서버의 정보를 상기 요청신호가 전송된 클라이언트로 전송하고, 상기 파일 위치정보 요청신호에 따른 파일이 어느 하나의 데이터 서버에만저장된 것으로 확인되면, 상기 확인된 데이터 서버의 정보를 상기 요청신호가 전송된 클라이언트로 전송할 수 있다.
데이터 서버 제어부(204)는, 데이터 서버 정보를 관리하고, 데이터 서버 정보는 데이터 서버의 식별자, 주소, 저장 용량 및 여유 공간 등의 정보를 포함하며, 새로운 데이터 서버가 등록될 때 생성되고, 용량 정보 변경이나 주소 변경 시 갱신된다.
또한, 데이터 서버 제어부(204)는, 상기 선택된 캐쉬 서버로부터 상기 저장된 파일에 대한 복제본기록대상서버정보 요청신호가 수신되면, 기저장된 데이터 서버 정보에 따른 각 데이터 서버의 여유 저장 공간을 고려하여 어느 하나의 제1 데이터 서버를 선택하고, 상기 선택된 제1 데이터 서버의 정보를 상기 캐쉬 서버로 전송하여 상기 캐쉬 서버가 상기 선택된 제1 데이터 서버에 상기 파일의 복제본을 저장하도록 할 수 있다.
또한, 데이터 서버 제어부(204)는, 상기 저장된 파일에 대한 추가 복제본을 기록할 제2 데이터 서버를 선택하여 상기 선택된 제2 데이터 서버에 상기 추가 복제본의 저장 요청 신호를 전송할 수 있다.
또한, 데이터 서버 제어부(204)는, 어느 하나의 서버에서 고장이 감지되면, 상기 저장된 파일 메타데이터에 기초하여 상기 고장이 감지된 서버에 저장된 파일에 대한 복제 리스트를 생성하고, 상기 생성된 복제 리스트에서 파일 정보를 획득하여, 상기 각 데이터 서버 중, 유효한 복제본을 저장한 제3 데이터 서버를 확인하고, 상기 기저장된 데이터 서버 정보에 포함된 각 데이터 서버의 여유 저장 공간을 고려하여 상기 복제 리스트에 포함된 파일을 복제할 제4 데이터 서버를 선택하고, 상기 복제 리스트에 포함된 파일에 대한 상기 제4 데이터 서버로의 복제를 요청하는 요청 신호를 상기 제3 데이터 서버로 전송할 수 있다.
또한, 데이터 서버 제어부(204)는, 상기 복제 리스트에 포함된 파일 중, 상기 제4 데이터 서버로의 복제가 완료되지 않은 파일이 존재하는 경우, 상기 기저장된 데이터 서버 정보에 따른 각 데이터 서버의 여유 저장 공간을 고려하여 상기 복제가 완료되지 않은 파일을 전송할 제5 데이터 서버를 선택하고, 상기 제5 데이터 서버로 상기 복제가 완료되지 않은 파일의 복제를 수행하도록 하는 요청 신호를 상기 네트워크 인터페이스부를 통하여 상기 제3 데이터 서버로 전송할 수 있다.
또한, 데이터 서버 제어부(204)는, 각 캐쉬 서버 중, 어느 하나의 캐쉬 서버에서 여유 공간의 부족으로 인한 파일 이관을 수행하기 위한 파일이관대상서버정보 요청신호가 상기 네트워크 인터페이스부를 통하여 수신되면, 기저장된 데이터 서버 정보에 따른 각 데이터 서버의 여유 저장 공간을 고려하여 어느 하나의 제5 데이터 서버를 선택하고, 상기 제5 데이터 서버의 정보를 상기 네트워크 인터페이스부를 통하여 상기 여유 공간이 부족한 캐쉬 서버로 전송하여 상기 여유 공간이 부족한 캐쉬 서버가 상기 제5 데이터 서버로 파일 이관을 수행하도록 제어할 수 있다.
또한, 다른 실시 예에 따라, 캐쉬 서버 제어부(203)와 데이터 서버 제어부(204)는 구현 방법에 따라 캐쉬 서버 정보와 데이터 서버 정보을 통합 관리할 경우 하나의 모듈로 동작할 수 있다.
도 3은 본 발명의 실시 예에 따른 캐쉬 서버의 구성을 도시한 도면이다.
캐쉬 서버(103)는 파일 저장부(303), 파일정보 리스트(304), 저장장치(302)로 구성된다.
캐쉬 서버(103)에 장착되는 솔리드 스테이트 드라이브와 같은 플래시 기반 저장장치(302)는 웨어레벨링, 가비지 콜렉션과 같은 동작으로 인해 로그 기록과 같은 순차적인 기록 방식에서 효율적으로 동작하는 것으로 알려져 있다.
본 발명이 적용되는 시스템에서 캐쉬 서버(103)는 이러한 효과를 간접적으로 이용하기 위해서 쓰기 완료된 파일의 날짜 정보를 기준으로 파일 정보 리스트(304)를 유지한다.
파일 쓰기 요청을 받으면 파일 저장부(303)는 해당 파일 정보(305)를 파일정보 리스트(304)에 추가하고 실제 파일을 고속 저장장치(302)에 저장한다.
파일정보 리스트(304)는 리스트나 큐를 이용하여 구현할 수 있으며 가장 최근에 쓰여진 파일 정보(305)가 가장 마지막에 위치한다. 파일 저장부(303)는 고속 저장장치(302)의 공간을 지속적으로 모니터링하여, 여유 저장공간 용량이 임계값 이하가 되면 파일정보 리스트(304)에서 저장된 날짜가 가장 오래된 파일들을 선택하여 데이터 서버로 파일을 이관하여 항상 임계값을 초과하는 여유 저장공간을 유지하도록 할 수 있다.
도 4는 본 발명의 실시 예에 따른 메타데이터 서버를 통한 파일 관리 방법의 흐름을 도시한 순서도이다.
먼저, 메타데이터 서버는, 클라이언트로부터 파일기록대상서버정보 요청신호가 수신되면(S401), 기저장된 캐쉬 서버 정보에 따른 각 캐쉬 서버의 여유 저장 공간을 고려하여 어느 하나의 캐쉬 서버를 선택하고, 상기 선택된 캐쉬 서버의 정보를 상기 클라이언트로 전송하여 상기 클라이언트가 상기 선택된 캐쉬 서버에 파일을 저장하도록 한다(S402).
다음으로, 상기 선택된 캐쉬 서버로부터 상기 저장된 파일에 대한 복제본기록대상서버정보 요청신호가 수신되면(S403), 기저장된 데이터 서버 정보에 따른 각 데이터 서버의 여유 저장 공간을 고려하여 어느 하나의 제1 데이터 서버를 선택하고, 상기 선택된 제1 데이터 서버의 정보를 상기 캐쉬 서버로 전송하여 상기 캐쉬 서버가 상기 선택된 제1 데이터 서버에 상기 파일의 복제본을 저장하도록 한다(S404).
다음으로, 상기 선택된 캐쉬 서버 및 상기 선택된 제1 데이터 서버로부터 상기 파일 및 상기 파일의 복제본의 저장 정보를 수신하여 파일 메타데이터를 저장한다(S405).
다음으로, 상기 저장된 파일에 대한 추가 복제본을 기록할 제2 데이터 서버를 선택할 수 있고, 상기 선택된 제2 데이터 서버에 상기 추가 복제본의 저장 요청 신호를 전송한다(S406).
다음으로, 상기 추가 복제본의 저장 완료 신호가 수신되면(S407), 상기 저장된 파일 메타데이터를 갱신한다(S408).
도 5는 도 4의 파일 관리 방법을 상세히 도시한 순서도이다.
도 5에 도시된 프로세스를 통하여 하이브리드 스토리지 시스템은 파일을 저장하고, 가용성을 제공하기 위해 복제본을 생성할 수 있다.
클라이언트(102)는 파일을 쓰기 위해 먼저 메타데이터 서버(101)에 파일을 쓸 서버 정보를 요청한다(S501).
메타데이터 서버(101)는 캐쉬 서버 정보를 검색하여 등록된 캐쉬 서버(103) 중 저장 여유 공간의 크기와 같은 선택 기준에 따라 한대를 선택하여 이를 클라이언트에 전송한다(S502).
클라이언트(102)는 전달받은 캐쉬 서버로 파일 쓰기를 요청한다(S503).
파일 쓰기 요청을 받은 캐쉬 서버(103)는 파일 저장시 실시간으로 복제본을 저장할 데이터 서버 정보 획득을 위해 메타데이터 서버(101)에 이를 요청한다(S504).
메타데이터 서버(101)는 등록된 데이터 서버(104) 중 캐쉬 서버 선택과 유사하게 데이터 서버 선택 기준에 따라 한대를 선택하여 이를 캐쉬 서버(103)에 전달한다(S505).
캐쉬 서버(103)는 실제 파일 저장을 수행(S506)하고, 동시에 저장된 파일의 내용들을 실시간으로 데이터 서버1(104)에 전송하여 복제본 저장을 요청 한다.
캐쉬 서버(103)는 저장된 파일 정보를 파일정보 리스트에 추가(S507)하여 저장을 완료하고, 제1 데이터 서버(104)가 복제본 저장(S508)을 완료한 후 완료되었음을 알리는 메시지는 전송하면(S509), 메타데이터 서버(101)에 파일 원본 및 복제본 저장이 완료되었음을 알린다(S510).
메타데이터 서버(101)는 저장이 완료된 파일의 메타데이터를 저장(S511)하고 메타데이터 저장이 성공적으로 완료되었음을 캐쉬 서버(103)에 알린다(S512).
캐쉬 서버(103)는 메타데이터 저장이 완료되었음을 확인하고 클라이언트(102)에 파일 저장이 완료되었음을 알린다(S513).
메타데이터 서버(101)는 가용성을 제공하기 위한 3개의 복제본을 유지하기 위해 새로이 저장된 파일의 추가 복제본을 저장할 다른 데이터 서버를 선택하고(S515), 복제본이 저장되어 있는 제1 데이터 서버(104)에 추가 복제본 저장을 요청한다(S515).
제1 데이터 서버(104)는 추가 복제본 저장 요청을 받은 후, 해당 복제본을 다른 제2 데이터 서버(104)로 전송하여 복제본을 저장하도록 요청한다(S516).
제2 데이터 서버(104)는 전송받은 복제본을 저장하고(S517), 완료 되었음을 제1 데이터 서버 (104)에 전달하며(S518), 제1 데이터 서버 (104)는 이를 메타데이터 서버(101)에 전달하여 복제본 저장을 종료한다(S519).
메타데이터 서버(101)는 제1 데이터 서버(104)로부터 복제본 저장 완료 메시지를 받은 후, 해당 파일의 메타데이터 정보에 새로운 복제본에 대한 정보를 추가하여 메타데이터를 갱신한다(S520).
도 6은 본 발명의 실시 예에 따른 캐쉬 서버를 통한 파일 관리 방법의 흐름을 도시한 순서도이다.
도 6는 하이브리드 스토리지 시스템에서 캐쉬 서버로부터 데이터 서버로의 파일 이관을 설명하는 흐름도이다. 캐쉬 서버는 하이브리드 스토리지 시스템의 파일 쓰기 캐쉬로 사용되기 때문에 항상 클라이언트로부터의 새로운 파일 쓰기 요청을 처리하기 위한 여유 공간을 유지해야 한다.
이를 위해 캐쉬 서버는 두 개의 임계값을 유지한다.
제1 임계값은 캐쉬 서버가 유지해야 할 최소의 여유 공간 크기로써 여유 공간의 크기가 제1 임계값 이하가 되면 백그라운드에서 파일 이관이 실행된다.
제2 임계값 은 캐쉬 서버에 여유 공간 확보를 위해 저장된 파일을 데이터 서버로 이관할 경우 사용되는 값으로써 제2 임계값을 초과하는 여유 공간을 확보할 때까지 백그라운드에서 파일 이관을 수행한다.
이에 따른 파일 이관 절차는 다음과 같다. 캐쉬 서버는 여유 공간의 크기를 주기적으로 모니터링 하여 여유 공간의 크기가 제1 임계값 이하인지 아닌지를 판단한다(S601). 여유 공간의 크기가 제1 임계값을 초과하면, 기설정된 시간 동안 대기(S602)한 후 다시 여유 공간의 크기를 비교한다.
만약 여유 공간의 크기가 제1 임계값 이하가 되면 파일 이관 절차를 수행한다.
이를 위해 먼저 캐쉬 서버에서 관리하는 파일정보 리스트로부터 저장된 시간이 가장 오래된 파일정보를 획득한다(S603).
캐쉬 서버는 해당 파일을 데이터 서버로 이관하기 위해 메타데이터 서버에 이관 대상 데이터 서버 정보를 요청한다(S604).
다음으로, 캐쉬 서버는 메타데이터 서버에서 이관할 데이터 서버 선택 기준에 따라 이관 대상 데이터 서버가 선택되어 전달된 이관 대상 데이터 서버 정보를 획득하고 (S605), 전달받은 데이터 서버로 파일을 전송하여 파일 이관을 수행한다(S606).
데이터 서버로부터 전송받은 파일이 저장 완료되었음을 알리는 신호가 수신되면, 캐쉬 서버는 이관이 완료된 파일 정보를 메타데이터 서버에 전송하고(S607), 메타데이터 서버는 이관이 완료된 파일의 메타데이터 정보를 갱신한다.
캐쉬 서버는 파일 이관을 완료하고 여유 공간 크기를 제2 임계값과 비교한다(S608). 제2 임계값 보다 여유공간의 크기 이하일 경우에는 여유 공간 확보를 위해 추가적으로 파일을 이관하기 위해 파일 정보 획득 단계(S603)부터 상기 과정을 반복하고, 그렇지 않을 경우에는 파일 이관을 종료하고 여유공간 모니터링을 다시 수행한다.
도 7은 도 6의 파일 관리 방법을 상세히 도시한 순서도이다.
도 7은 도 6에 도시된 파일 캐쉬 서버의 여유 공간을 확보하는 파일 관리 방법을 하이브리드 스토리지 시스템 측면에서 도시한 도면이다.
캐쉬 서버(103)는 여유 공간의 크기를 주기적으로 모니터링 하여 여유 공간의 크기가 제1 임계값 이하인지 아닌지를 판단한다(S701).
여유 공간의 크기가 제1 임계값 이상이면 주어진 기간동안 슬립한 후 다시 여유 공간의 크기를 비교한다(S702). 만약 여유 공간의 크기가 제1 임계값 이하가 되면 파일 이관 절차를 수행한다.
이를 위해 먼저 캐쉬 서버(103)에서 관리하는 파일정보 리스트로부터 저장된 시간이 가장 오래된 파일정보를 획득한다(S703).
캐쉬 서버(103)는 해당 파일을 데이터 서버로 이관하기 위해 메타데이터 서버(101)에 이관 대상 데이터 서버 정보를 요청한다(S704).
메타데이터 서버(101)는 이관할 데이터 서버 선택 기준에 따라 이관 대상 데이터 서버로 제5 데이터 서버(104)를 선택하고(S705), 해당 서버 정보를 캐쉬 서버에 전달한다(S706).
캐쉬 서버(103)는 전달받은 데이터 서버 정보에 기초하여, 제5 데이터 서버(104)로 파일을 전송한다(S707). 제5 데이터 서버(104)는 전송받은 파일을 저장하고(S708), 완료 후 이를 캐쉬 서버(103)에 알린다(S709).
캐쉬 서버(103)는 이관이 완료된 파일 정보를 메타데이터 서버(101)에 전송하고(S710), 메타데이터 서버(101)는 이관이 완료된 파일의 메타데이터 정보를 갱신한다(S711). 캐쉬 서버(103)는 파일 이관을 완료하고 여유 공간 크기를 제2 임계값과 비교한다(S712). 제2 임계값 보다 여유공간의 크기가 작을 경우에는 여유 공간 확보를 위해 추가적으로 파일을 이관하기 위해 상기 과정을 반복하고, 그렇지 않을 경우에는 파일 이관을 종료하고 여유공간 모니터링을 다시 수행한다.
도 8은 본 발명의 실시 예에 따른 메타데이터 서버를 통한 파일 검색 방법의 흐름을 도시한 순서도이다.
실시 예에 따라, 메타데이터 서버는, 파일 위치 정보 요청 신호가 수신되면(S801). 상기 요청 신호에 대응하는 파일의 복제본이 캐쉬 서버에 존재하는지 여부를 판단한다(S802).
또한, 판단(S802) 결과, 복제본이 캐쉬 서버에 존재하는 경우에는, 캐쉬 서버에 기록된 파일의 읽기 속도가 데이터 서버에 기록된 파일의 읽기 속도보다 빠르기 때문에, 파일이 존재하는 캐쉬 서버의 정보를 클라이언트로 전송한다(S803).
반면에, 판단(S802) 결과, 복제본이 캐쉬 서버에 존재하지 않고, 데이터 서버에만 존재하는 경우에는, 파일이 존재하는 데이터 서버의 정보를 클라이언트로 전송한다(S804).
도 9는 도 8의 파일 검색 방법을 상세히 도시한 순서도이다.
하이브리드 스토리지 시스템의 캐쉬 서버는 여유 공간 확보를 위한 파일 이관이 수행되기 전에는 파일이 캐쉬 서버에 존재하기 때문에, 캐쉬 서버에서 파일을 획득하여 읽기 성능을 향상 시킬 수 있다.
이를 위한 파일 읽기 과정은 다음과 같다. 먼저 클라이언트(102)는 메타데이터 서버(101)에 읽고자 하는 파일 정보를 보내어 해당 파일이 저장되어 있는 서버의 정보를 요청한다(S901).
메타데이터 서버(101)는 파일의 메타데이터 정보를 검색하여 파일이 캐쉬 서버에 존재하는지 확인한다. 파일이 캐쉬 서버에 존재할 경우에는 캐쉬 서버 정보를 클라이언트(102)로 전송하고(S903), 그렇지 않을 경우에는 복제본을 저장한 데이터 서버(104)들 중에서 하나를 선택하여 클라이언트에 전송한다(S904).
클라이언트(102)는 전송받은 캐쉬 서버 또는 데이터 서버로 파일 전송 요청을 수행한다(S905).
캐쉬 서버 또는 데이터 서버는 클라이언트로 파일을 전송하고(S906), 클라이언트(102)는 파일 작업을 수행한 후 종료를 위해 파일 닫기 요청을 해당 서버로 전송한다(S907).
도 10은 본 발명의 실시 예에 따른 메타데이터 서버를 통한 파일 복제 방법의 흐름을 도시한 순서도이다.
하이브리드 스토리지 시스템은 파일을 저장한 서버의 고장이 발생하여도 다른 복제본을 통해 파일 서비스가 가능하도록 가용성을 제공하기 위해 3개의 복제본을 유지할 수 있고, 이를 위해 캐쉬 서버나 데이터 서버에 고장이 발생하면 해당 서버에 저장되어 있는 파일의 복제본 수 유지를 위한 복제본 생성 절차를 수행한다.
이를 위한 자세한 과정은 다음과 같다. 먼저 메타데이터 서버(101)는 캐쉬 서버 및 데이터 서버와의 주기적인 통신을 통해 해당 서버의 상태 정보를 보고받는다. 만약 해당 서버로부터 정해진 시간 동안 상태 정보를 보고받지 못한 경우 해당 서버의 고장으로 판단한다(S1001).
서버의 고장이 감지되면 메타데이터 서버(101)는 가용성 제공을 위한 3개의 복제본 수 유지를 위해 파일 정보를 검색하여 고장 서버에 저장되어 있던 파일들을 검색하여 복제할 파일들의 복제 리스트를 작성한다(S1002).
즉, 메타데이터 서버(101)는, 어느 하나의 서버에서 고장이 감지되면, 메타데이터 서버에 저장된 파일 메타데이터에 기초하여 상기 고장이 감지된 서버에 저장된 파일에 대한 복제 리스트를 생성할 수 있다.
메타데이터 서버(101)는 복제 리스트에서 복제할 파일 정보를 획득하고(S1003), 해당 파일의 유효한 복제본이 저장되어 있는 데이터 서버(101) 정보를 검색한다(S1004).
이후 복제본이 저장될 다른 제4 데이터 서버 (104)를 선택하고(S1005), 복제본이 저장되어 있는 제3 데이터 서버(104)로 복제 요청을 전송한다(S1006).
제3 데이터 서버는 요청 받은 파일의 복제본을 제4 데이터 서버로 전송하여 복제를 요청하고(S1007), 제4 데이터 서버는 복제본을 저장한 후(S1008) 제3 데이터 서버에 복제가 완료되었음을 알린다(S1009).
제3 데이터 서버는 복제본이 제4 데이터 서버에 저장되었음을 메타데이터 서버(101)에 알리고(S1010), 메타데이터 서버(101)는 해당 파일의 메타데이터를 갱신한다(S1011).
메타데이터 서버(101)는 복제 리스트를 검사하여 복제 작업의 완료 여부를 판단하고(S1012), 복제할 파일이 남아 있을 경우 상기 과정을 반복한다.
즉, 메타데이터 서버는, 상기 복제 리스트에 포함된 파일 중, 상기 제4 데이터 서버로의 복제가 완료되지 않은 파일이 존재하는 경우, 상기 기저장된 데이터 서버 정보에 따른 각 데이터 서버의 여유 저장 공간을 고려하여 상기 복제가 완료되지 않은 파일을 전송할 제5 데이터 서버를 선택하고, 상기 제5 데이터 서버로 상기 복제가 완료되지 않은 파일의 복제를 수행하도록 하는 요청 신호를 상기 제3 데이터 서버로 전송할 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
101: 메타데이터 서버
102: 클라이언트
103: 캐쉬 서버
104: 데이터 서버
105: 네트워크

Claims (16)

  1. 하이브리드 스토리지 관리 시스템의 메타데이터 서버를 통한 파일 관리 방법에 있어서,
    클라이언트로부터 파일기록대상서버정보 요청이 수신되면, 기저장된 캐쉬 서버 정보에 따른 각 캐쉬 서버의 저장 공간을 고려하여 어느 하나의 캐쉬 서버를 선택하는 단계;
    상기 클라이언트가 상기 선택된 캐쉬 서버에 파일을 저장할 수 있도록 상기 선택된 캐쉬 서버의 정보를 상기 클라이언트로 전송하는 단계;
    상기 선택된 캐쉬 서버로부터 상기 저장된 파일에 대한 복제본기록대상서버정보 요청신호가 수신되면, 기저장된 데이터 서버 정보에 따른 각 데이터 서버의 저장 공간을 고려하여 어느 하나의 제1 데이터 서버를 선택하는 단계;
    상기 캐쉬 서버가 상기 선택된 제1 데이터 서버에 상기 파일의 복제본을 저장하도록 상기 선택된 제1 데이터 서버의 정보를 상기 캐쉬 서버로 전송하는 단계;
    상기 선택된 캐쉬 서버 및 상기 선택된 제1 데이터 서버로부터 상기 파일 및 상기 복제본의 저장 정보를 수신하여 파일 메타데이터를 저장하는 단계;
    상기 저장된 파일에 대한 추가 복제본을 기록할 제2 데이터 서버를 선택하는 단계;
    상기 선택된 제2 데이터 서버에 상기 추가 복제본의 저장 요청을 전송하는 단계; 및
    상기 추가 복제본의 저장 완료 신호가 수신되면, 상기 저장된 파일 메타데이터를 갱신하는 단계를 포함하는 것을 특징으로 하는 파일 관리 방법.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 캐쉬 서버는,
    솔리드 스테이트 드라이브 장치로 구성되고,
    상기 데이터 서버는,
    하드 디스크 드라이브 장치로 구성되는 것을 특징으로 하는 파일 관리 방법.
  4. 청구항 1에 있어서,
    상기 파일 관리 방법은,
    주기적인 통신을 통하여 상기 각 캐쉬 서버와 상기 각 데이터 서버의 고장을 감지하는 단계;
    어느 하나의 서버에서 고장이 감지되면, 상기 저장된 파일 메타데이터에 기초하여 상기 고장이 감지된 서버에 저장된 파일에 대한 복제 리스트를 생성하는 단계;
    상기 생성된 복제 리스트에서 파일 정보를 획득하여, 상기 각 데이터 서버 중, 유효한 복제본을 저장한 제3 데이터 서버를 확인하는 단계;
    상기 기저장된 데이터 서버 정보에 포함된 각 데이터 서버의 저장 공간을 고려하여 상기 복제 리스트에 포함된 파일을 복제할 제4 데이터 서버를 선택하는 단계;
    상기 복제 리스트에 포함된 파일에 대한 상기 제4 데이터 서버로의 복제 요청을 상기 제3 데이터 서버로 전송하는 단계; 및
    상기 제3 데이터 서버로부터 복제 완료 신호가 수신되면, 상기 저장된 파일 메타데이터를 갱신하는 단계를 더 포함하는 것을 특징으로 하는 파일 관리 방법.
  5. 청구항 4에 있어서,
    상기 파일 관리 방법은,
    상기 복제 리스트에 포함된 파일 중, 상기 제4 데이터 서버로의 복제가 완료되지 않은 파일이 존재하는 경우, 상기 기저장된 데이터 서버 정보에 따른 각 데이터 서버의 여유 저장 공간을 고려하여 상기 복제가 완료되지 않은 파일을 전송할 제5 데이터 서버를 선택하는 단계; 및
    상기 제5 데이터 서버로 상기 복제가 완료되지 않은 파일의 복제를 수행하도록 하는 요청을 상기 제3 데이터 서버로 전송하는 단계를 더 포함하는 것을 특징으로 하는 파일 관리 방법.
  6. 청구항 1에 있어서,
    상기 파일 관리 방법은,
    클라이언트로부터 파일 위치정보 요청이 수신되면, 상기 파일 위치정보 요청에 따른 파일이 어느 하나의 캐쉬 서버에 저장된 것으로 확인되면, 상기 확인된 캐쉬 서버의 정보를 상기 요청이 전송된 클라이언트로 전송하는 단계; 및
    상기 파일 위치정보 요청에 따른 파일이 어느 하나의 데이터 서버에만 저장된 것으로 확인되면, 상기 확인된 데이터 서버의 정보를 상기 요청이 전송된 클라이언트로 전송하는 단계를 더 포함하는 것을 특징으로 하는 파일 관리 방법.
  7. 청구항 1에 있어서,
    상기 파일 관리 방법은,
    상기 각 캐쉬 서버 중, 어느 하나의 캐쉬 서버에서 여유 공간의 부족으로 인한 파일 이관을 수행하기 위한 파일이관대상서버정보 요청이 수신되면, 기저장된 데이터 서버 정보에 따른 각 데이터 서버의 저장 공간을 고려하여 어느 하나의 제5 데이터 서버를 선택하는 단계; 및
    상기 제5 데이터 서버의 정보를 상기 여유 공간이 부족한 캐쉬 서버로 전송하여 상기 여유 공간이 부족한 캐쉬 서버가 상기 제5 데이터 서버로 파일 이관을 수행하도록 하는 단계를 더 포함하는 것을 특징으로 하는 파일 관리 방법.
  8. 청구항 7에 있어서,
    상기 파일 관리 방법은,
    상기 여유 공간이 부족한 캐쉬 서버에서 상기 파일 이관이 완료되어 상기 파일 이관에 대한 정보가 수신되면, 상기 저장된 파일 메타데이터를 갱신하는 단계를 더 포함하는 것을 특징으로 하는 파일 관리 방법.
  9. 하이브리드 스토리지 관리 시스템의 메타데이터 서버에 있어서,
    클라이언트로부터 파일기록대상서버정보 요청이 수신되면, 기저장된 캐쉬 서버 정보에 따른 각 캐쉬 서버의 저장 공간을 고려하여 어느 하나의 캐쉬 서버를 선택하는 캐쉬 서버 제어부;
    상기 선택된 캐쉬 서버의 정보를 상기 클라이언트로 전송하여 상기 클라이언트가 상기 선택된 캐쉬 서버에 파일을 저장하도록 하는 네트워크 인터페이스부;
    상기 선택된 캐쉬 서버로부터 상기 저장된 파일에 대한 복제본기록대상서버정보 요청이 수신되면, 기저장된 데이터 서버 정보에 따른 각 데이터 서버의 여유 저장 공간을 고려하여 어느 하나의 제1 데이터 서버를 선택하고, 상기 선택된 제1 데이터 서버의 정보를 상기 캐쉬 서버로 전송하여 상기 캐쉬 서버가 상기 선택된 제1 데이터 서버에 상기 파일의 복제본을 저장하도록 하는 데이터 서버 제어부; 및
    상기 선택된 캐쉬 서버 및 상기 선택된 제1 데이터 서버로부터 상기 파일 및 상기 파일의 복제본의 저장 정보를 수신하여 파일 메타데이터를 저장하는 메타데이터 제어부를 포함하고,
    상기 데이터 서버 제어부는,
    상기 저장된 파일에 대한 추가 복제본을 기록할 제2 데이터 서버를 선택하여 상기 선택된 제2 데이터 서버에 상기 추가 복제본의 저장 요청을 전송하고,
    상기 메타데이터 제어부는,
    상기 추가 복제본의 저장 완료 신호가 수신되면, 상기 저장된 파일 메타데이터를 갱신하는 것을 특징으로 하는 메타데이터 서버.
  10. 삭제
  11. 청구항 9에 있어서,
    상기 캐쉬 서버는,
    솔리드 스테이트 드라이브 장치로 구성되고,
    상기 데이터 서버는,
    하드 디스크 드라이브 장치로 구성되는 것을 특징으로 하는 메타데이터 서버.
  12. 청구항 9에 있어서,
    상기 네트워크 인터페이스부는,
    주기적인 통신을 통하여 상기 각 캐쉬 서버와 상기 각 데이터 서버의 고장을 감지하고,
    상기 데이터 서버 제어부는,
    상기 서버들 중, 어느 하나의 서버에서 고장이 감지되면, 상기 저장된 파일 메타데이터에 기초하여 상기 고장이 감지된 서버에 저장된 파일에 대한 복제 리스트를 생성하고, 상기 생성된 복제 리스트에서 파일 정보를 획득하여, 상기 각 데이터 서버 중, 유효한 복제본을 저장한 제3 데이터 서버를 확인하고, 상기 기저장된 데이터 서버 정보에 포함된 각 데이터 서버의 저장 공간을 고려하여 상기 복제 리스트에 포함된 파일을 복제할 제4 데이터 서버를 선택하고, 상기 복제 리스트에 포함된 파일에 대한 상기 제4 데이터 서버로의 복제 요청 신호를 상기 제3 데이터 서버로 전송하고,
    상기 메타데이터 제어부는,
    상기 제3 데이터 서버로부터 복제 완료 신호가 수신되면, 상기 저장된 파일 메타데이터를 갱신하는 것을 특징으로 하는 메타데이터 서버.
  13. 청구항 12에 있어서,
    상기 데이터 서버 제어부는,
    상기 복제 리스트에 포함된 파일 중, 상기 제4 데이터 서버로의 복제가 완료되지 않은 파일이 존재하는 경우, 상기 기저장된 데이터 서버 정보에 따른 각 데이터 서버의 저장 공간을 고려하여 상기 복제가 완료되지 않은 파일을 전송할 제5 데이터 서버를 선택하고, 상기 제5 데이터 서버로 상기 복제가 완료되지 않은 파일의 복제 요청 신호를 상기 네트워크 인터페이스부를 통하여 상기 제3 데이터 서버로 전송하는 것을 특징으로 하는 메타데이터 서버.
  14. 청구항 9에 있어서,
    상기 네트워크 인터페이스부는,
    클라이언트로부터 파일 위치정보 요청이 수신되면, 상기 파일 위치정보 요청신호에 따른 파일이 어느 하나의 캐쉬 서버에 저장된 것으로 확인되면, 상기 확인된 캐쉬 서버의 정보를 상기 요청이 전송된 클라이언트로 전송하고, 상기 파일 위치정보 요청에 따른 파일이 어느 하나의 데이터 서버에만 저장된 것으로 확인되면, 상기 확인된 데이터 서버의 정보를 상기 요청이 전송된 클라이언트로 전송하는 단계를 더 포함하는 것을 특징으로 하는 메타데이터 서버.
  15. 청구항 9에 있어서,
    상기 데이터 서버 제어부는,
    상기 각 캐쉬 서버 중, 어느 하나의 캐쉬 서버에서 여유 공간의 부족으로 인한 파일 이관을 수행하기 위한 파일이관대상서버정보 요청이 상기 네트워크 인터페이스부를 통하여 수신되면, 기저장된 데이터 서버 정보에 따른 각 데이터 서버의 여유 저장 공간을 고려하여 어느 하나의 제5 데이터 서버를 선택하고, 상기 제5 데이터 서버의 정보를 상기 네트워크 인터페이스부를 통하여 상기 여유 공간이 부족한 캐쉬 서버로 전송하여 상기 여유 공간이 부족한 캐쉬 서버가 상기 제5 데이터 서버로 파일 이관을 수행하도록 하는 것을 특징으로 하는 메타데이터 서버.
  16. 청구항 15에 있어서,
    상기 메타데이터 제어부는,
    상기 여유 공간이 부족한 캐쉬 서버에서 상기 파일 이관이 완료되어 상기 파일 이관에 대한 정보가 상기 네트워크 인터페이스부를 통하여 수신되면, 상기 저장된 파일 메타데이터를 갱신하는 것을 특징으로 하는 메타데이터 서버.
KR1020120047400A 2012-05-04 2012-05-04 하이브리드 스토리지 시스템의 파일 관리 방법 및 장치 KR101709118B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120047400A KR101709118B1 (ko) 2012-05-04 2012-05-04 하이브리드 스토리지 시스템의 파일 관리 방법 및 장치
US13/864,685 US20130297969A1 (en) 2012-05-04 2013-04-17 File management method and apparatus for hybrid storage system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120047400A KR101709118B1 (ko) 2012-05-04 2012-05-04 하이브리드 스토리지 시스템의 파일 관리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130123897A KR20130123897A (ko) 2013-11-13
KR101709118B1 true KR101709118B1 (ko) 2017-02-22

Family

ID=49513576

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120047400A KR101709118B1 (ko) 2012-05-04 2012-05-04 하이브리드 스토리지 시스템의 파일 관리 방법 및 장치

Country Status (2)

Country Link
US (1) US20130297969A1 (ko)
KR (1) KR101709118B1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015068239A1 (ja) * 2013-11-07 2015-05-14 株式会社日立製作所 計算機システムおよびデータ制御方法
US10430385B1 (en) 2014-12-05 2019-10-01 EMC IP Holding Company LLC Limited deduplication scope for distributed file systems
US10021212B1 (en) 2014-12-05 2018-07-10 EMC IP Holding Company LLC Distributed file systems on content delivery networks
US10936494B1 (en) * 2014-12-05 2021-03-02 EMC IP Holding Company LLC Site cache manager for a distributed file system
US10452619B1 (en) 2014-12-05 2019-10-22 EMC IP Holding Company LLC Decreasing a site cache capacity in a distributed file system
US10951705B1 (en) 2014-12-05 2021-03-16 EMC IP Holding Company LLC Write leases for distributed file systems
US10423507B1 (en) 2014-12-05 2019-09-24 EMC IP Holding Company LLC Repairing a site cache in a distributed file system
US10445296B1 (en) 2014-12-05 2019-10-15 EMC IP Holding Company LLC Reading from a site cache in a distributed file system
CN105069024B (zh) * 2015-07-16 2018-08-03 清华大学 面向并行数据采集的分布式文件系统写访问方法
US11157459B2 (en) * 2016-02-26 2021-10-26 Red Hat, Inc. Granular data self-healing
JP2019197304A (ja) * 2018-05-08 2019-11-14 アズビル株式会社 情報蓄積装置、情報蓄積システムおよび情報蓄積方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080046538A1 (en) 2006-08-21 2008-02-21 Network Appliance, Inc. Automatic load spreading in a clustered network storage system
US20110246821A1 (en) 2010-03-30 2011-10-06 International Business Machines Corporation Reliability scheme using hybrid ssd/hdd replication with log structured management

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7383462B2 (en) * 2004-07-02 2008-06-03 Hitachi, Ltd. Method and apparatus for encrypted remote copy for secure data backup and restoration
US7502961B2 (en) * 2004-09-09 2009-03-10 Microsoft Corporation Method, system, and apparatus for providing alert synthesis in a data protection system
US7389393B1 (en) * 2004-10-21 2008-06-17 Symantec Operating Corporation System and method for write forwarding in a storage environment employing distributed virtualization
US7877544B2 (en) * 2007-08-20 2011-01-25 International Business Machines Corporation Storing redundant segments and parity information for segmented logical volumes
KR20100048130A (ko) * 2008-10-30 2010-05-11 주식회사 케이티 메타데이터 클러스터 기반의 분산형 스토리지 시스템 및 그동작 방법
EP2196895A1 (en) * 2008-12-09 2010-06-16 Thomson Licensing System for storing and/or retrieving a data-set and method thereof
KR101023883B1 (ko) * 2009-02-13 2011-03-22 (주)인디링스 고속 저장 장치를 캐쉬로 사용하는 스토리지 시스템
JP2011209973A (ja) * 2010-03-30 2011-10-20 Hitachi Ltd ディスクアレイ構成プログラム、計算機、計算機システム
US9170892B2 (en) * 2010-04-19 2015-10-27 Microsoft Technology Licensing, Llc Server failure recovery
US8484419B2 (en) * 2010-11-24 2013-07-09 International Business Machines Corporation Systems and methods for backing up storage volumes in a storage system
US8909996B2 (en) * 2011-08-12 2014-12-09 Oracle International Corporation Utilizing multiple storage devices to reduce write latency for database logging
WO2013046258A1 (en) * 2011-09-28 2013-04-04 Hitachi, Ltd. Method for calculating tier relocation cost and storage system using the same
US20130238832A1 (en) * 2012-03-07 2013-09-12 Netapp, Inc. Deduplicating hybrid storage aggregate
US9772948B2 (en) * 2012-07-06 2017-09-26 Seagate Technology Llc Determining a criterion for movement of data from a primary cache to a secondary cache
US8938641B2 (en) * 2012-09-27 2015-01-20 Intel Corporation Method and apparatus for synchronizing storage volumes
US10296462B2 (en) * 2013-03-15 2019-05-21 Oracle International Corporation Method to accelerate queries using dynamically generated alternate data formats in flash cache

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080046538A1 (en) 2006-08-21 2008-02-21 Network Appliance, Inc. Automatic load spreading in a clustered network storage system
US20110246821A1 (en) 2010-03-30 2011-10-06 International Business Machines Corporation Reliability scheme using hybrid ssd/hdd replication with log structured management

Also Published As

Publication number Publication date
KR20130123897A (ko) 2013-11-13
US20130297969A1 (en) 2013-11-07

Similar Documents

Publication Publication Date Title
KR101709118B1 (ko) 하이브리드 스토리지 시스템의 파일 관리 방법 및 장치
JP6708948B2 (ja) ブロックストレージ
CN106407040B (zh) 一种远程数据复制方法及系统
US11461015B2 (en) Available storage space in a system with varying data redundancy schemes
US8930648B1 (en) Distributed deduplication using global chunk data structure and epochs
US8799414B2 (en) Archiving data for a distributed filesystem
US8799413B2 (en) Distributing data for a distributed filesystem across multiple cloud storage systems
US8805967B2 (en) Providing disaster recovery for a distributed filesystem
US8805968B2 (en) Accessing cached data from a peer cloud controller in a distributed filesystem
US9996421B2 (en) Data storage method, data storage apparatus, and storage device
CN102598020B (zh) 用于改进的数据去重的装置、系统及方法
JP4249719B2 (ja) バックアップシステム、プログラム及びバックアップ方法
KR20120063926A (ko) 비대칭 클러스터링 파일시스템에서의 패리티 산출 방법
JP5569074B2 (ja) ストレージシステム
JP2012074039A (ja) ファイルをチャンク単位で分散処理するシステムおよび方法
US10452619B1 (en) Decreasing a site cache capacity in a distributed file system
US20210334241A1 (en) Non-disrputive transitioning between replication schemes
US20180067680A1 (en) Storage control apparatus, system, and storage medium
US20150012709A1 (en) Progressive virtual lun
CN106528338A (zh) 一种远程数据复制方法、存储设备及存储系统
WO2014064740A1 (en) Computer system and file server migration method
US10423507B1 (en) Repairing a site cache in a distributed file system
JP7306665B2 (ja) ストレージ装置、データ移行方法、プログラム
US20140082280A1 (en) Storage apparatus and control method
JP2016189105A (ja) ストレージシステム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200128

Year of fee payment: 4