KR20100048130A - 메타데이터 클러스터 기반의 분산형 스토리지 시스템 및 그동작 방법 - Google Patents

메타데이터 클러스터 기반의 분산형 스토리지 시스템 및 그동작 방법 Download PDF

Info

Publication number
KR20100048130A
KR20100048130A KR1020080107153A KR20080107153A KR20100048130A KR 20100048130 A KR20100048130 A KR 20100048130A KR 1020080107153 A KR1020080107153 A KR 1020080107153A KR 20080107153 A KR20080107153 A KR 20080107153A KR 20100048130 A KR20100048130 A KR 20100048130A
Authority
KR
South Korea
Prior art keywords
metadata
storage
server
cluster
cache
Prior art date
Application number
KR1020080107153A
Other languages
English (en)
Inventor
임태영
송현선
오희수
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020080107153A priority Critical patent/KR20100048130A/ko
Publication of KR20100048130A publication Critical patent/KR20100048130A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 메타데이터 클러스터 기반의 분산형 스토리지 시스템 및 그 동작 방법에 관한 것으로, 다수의 메타데이터 서버와 하나의 메타데이터베이스로 이루어진 메타데이터 클러스터를 기반으로 각 메타데이터 서버의 캐쉬 메모리상의 메타데이터는 실시간으로 동기화하고, 메타데이터베이스상의 메타데이터는 비실시간으로 동기화함으로써, 클라이언트의 수 및 스토리지의 양에 관계없이 스토리지 서비스를 제공할 수 있는, 메타데이터 클러스터 기반의 분산형 스토리지 시스템 및 그 동작 방법을 제공하고자 한다.
이를 위하여, 본 발명은, 분산형 스토리지 시스템에 있어서, 웹 서비스 클라이언트로부터의 스토리지 요청을 메타데이터 클러스터로 중개하고, 상기 메타데이터 클러스터로부터 전달받은 메타데이터를 파일 저장 서버로 전달하기 위한 스토리지 중개 서버; 상기 스토리지 중개 서버로부터 중개받은 스토리지 요청에 따라 메타데이터를 생성하여 상기 스토리지 중개 서버로 전달하고, 캐쉬(cache)에 저장한 후 타 메타데이터 클러스터로 멀티캐스팅하며, 상기 타 메타데이터 클러스터로부터의 메타데이터로 상기 캐쉬를 동기화하기 위한 상기 메타데이터 클러스터; 및 상기 스토리지 중개 서버로부터의 메타데이터를 기반으로 해당 파일을 저장하기 위한 상기 파일 저장 서버를 포함한다.
웹 서비스, 분산형 스토리지, 메타데이터 클러스터, 캐쉬, 멀티캐스팅, 동기화

Description

메타데이터 클러스터 기반의 분산형 스토리지 시스템 및 그 동작 방법{DISTRIBUTED STORAGE SYSTEM BASED ON METADATA CLUSTER AND METHOD THEREOF}
본 발명은 메타데이터 클러스터 기반의 분산형 스토리지 시스템 및 그 동작 방법에 관한 것으로, 더욱 상세하게는 다수의 메타데이터 서버와 하나의 메타데이터베이스로 이루어진 메타데이터 클러스터를 기반으로 각 메타데이터 서버의 캐쉬 메모리상의 메타데이터는 실시간으로 동기화하고, 메타데이터베이스상의 메타데이터는 비실시간으로 동기화함으로써, 클라이언트의 수 및 스토리지의 양에 관계없이 스토리지 서비스를 제공할 수 있는, 메타데이터 클러스터 기반의 분산형 스토리지 시스템 및 그 동작 방법에 관한 것이다.
인터넷 서비스 환경에서 대용량의 데이터를 효율적으로 처리하기 위해 DAS(Direct Attached Storage), NAS(Network Attached Storage), 및 SAN(Storage Area Network) 등과 같은 스토리지 환경을 구성하여 사용하고 있다.
DAS는 블록기반의 스토리지 디바이스를 호스트 컴퓨터의 입출력 버스에 SCSI(Small Computer System Interface) 혹은 IDE(Integrated Device Electronics)를 통하여 직접 연결한 구조이며, 고성능 및 강력한 데이터 보호 기능을 제공하지만 스토리지 디바이스의 확장에는 제약이 존재한다.
NAS는 상이한 플랫폼을 갖는 호스트들에서 데이터 공유가 가능하도록 파일 서비스를 제공하기 위하여, 파일이 스토리지 디바이스에 어떻게 저장되었는지를 기술하는 메타데이터를 하나의 서버에서 모두 관리하는 구조이며, 모든 파일에 대한 입출력이 하나의 서버를 통하기 때문에 파일 서버에 병목 현상이 발생하는 문제가 있다.
SAN은 스토리지 디바이스 연결성 제약과 스토리지 디바이스의 공유 문제를 해결하기 위한 구조이며, 보다 많은 클라이언트 호스트와 스토리지 디바이스를 지원하기 위한 빠르고, 확장성이 높은 상호 연결을 지원하는 구조이다.
그러나 SAN은 파일 시스템과 같은 스토리지 응용이 데이터를 공유하기 위해 서로 다른 플랫폼들에서 파일 시스템의 메타데이터를 이해할 수 있어야 하며, 별도의 고가 장비들이 필요로 하기 때문에 스토리지 확장성에 제한을 받는다.
이를 해결하기 위한 방안으로, 소프트웨어적으로 구현된 비대칭 분산 파일 시스템을 이용한 스토리지 시스템이 제안되었다. 이러한 스토리지 시스템은 수억개 이상의 파일에 대한 메타데이터를 관리하는 메타데이터 서버가 전체 시스템 성능에 핵심적인 역할을 하므로, 이에 대한 개선의 필요가 대두되어 왔다.
즉, 이러한 스토리지 시스템은 유닉스 또는 리눅스 파일 시스템의 표준인 POSIX(Portable Operating System Interface)기반으로 구현되었는데, 이는 스토리 지 클라이언트들의 수가 수천, 수만개로 증가하면 성능 저하의 요인으로 작용하는 문제점이 있다.
상기와 같은 종래 기술의 문제점을 해결하고자 하는 것이 본 발명의 과제이다.
따라서 본 발명은 다수의 메타데이터 서버와 하나의 메타데이터베이스로 이루어진 메타데이터 클러스터를 기반으로 각 메타데이터 서버의 캐쉬 메모리상의 메타데이터는 실시간으로 동기화하고, 메타데이터베이스상의 메타데이터는 비실시간으로 동기화함으로써, 클라이언트의 수 및 스토리지의 양에 관계없이 스토리지 서비스를 제공할 수 있는, 메타데이터 클러스터 기반의 분산형 스토리지 시스템 및 그 동작 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 시스템은, 분산형 스토리지 시스템에 있어서, 웹 서비스 클라이언트로부터의 스토리지 요청을 메타데이터 클러스터로 중개하고, 상기 메타데이터 클러스터로부터 전달받은 메타데이터를 파일 저장 서버로 전달하기 위한 스토리지 중개 서버; 상기 스토리지 중개 서버로부터 중개받은 스토리지 요청에 따라 메타데이터를 생성하여 상기 스토리지 중개 서버로 전달하고, 캐쉬(cache)에 저장한 후 타 메타데이터 클러스터로 멀티캐스팅하며, 상기 타 메타데이터 클러스터로부터의 메타데이터로 상기 캐쉬를 동기화하기 위한 상기 메타데이터 클러스터; 및 상기 스토리지 중개 서버로부터의 메타데이터를 기반으로 해당 파일을 저장하기 위한 상기 파일 저장 서버를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 방법은, 분산형 스토리지 시스템의 동작 방법에 있어서, 웹 서비스 클라이언트로부터의 스토리지 요청을 스토리지 중개자를 통해 전달받는 단계; 상기 전달받은 스토리지 요청에 상응하는 메타데이터를 생성하는 단계; 및 상기 생성한 메타데이터를 캐쉬(cache)에 저장한 후 타 메타데이터 클러스터로 멀티캐스팅하는 단계를 포함한다.
또한, 본 발명은 웹 서비스 클라이언트로부터 인터넷 어플리케이션 서버를 통해 원격 스토리지 서비스를 요청받음에 따라 웹 서비스 인터페이스를 통해 온 스토리지 요청을 중개한다.
또한, 본 발명은 실제 파일을 저장하는 노드와 그 파일이 저장된 위치와 시간 등 파일 메타데이터를 관리하는 메타데이터 서버를 분리하여 비대칭 구조로 파일 시스템을 구성한다.
또한, 본 발명은 대규모 분산 스토리지를 제공하기 위해 전체 스토리지를 하나의 주소 공간으로 묶어주는 단일 스토리지 이미지를 제공한다.
또한, 본 발명은 저가의 일반 장비를 기반으로 구축하여 스토리지 노드가 고장 나더라도 사용자 입장에서는 인지하지 못하고 계속 사용할 수 있다. 특히, 저장 노드들에 저장된 파일들에 대한 모든 메타데이터를 유지하는 메타데이터 서버는 절대로 다운되지 않도록 클러스터 서버 형태로 구성하여, 메타데이터 클러스터에 있는 각 메타데이터 서버들은 모두 동시에 동작하도록 활성화되고, 파일 입출력 요청에 대한 부하를 나누어 처리하여 안정성과 성능을 모두 향상시킨다.
또한, 본 발명은 스토리지 중개자로부터 파일 입출력 요구를 받으면 신속하게 처리해줄 수 있도록 모든 메타데이터가 캐쉬 메모리에 상주하도록 한다. 그러나 임의의 메타데이터 서버를 통해 파일이 추가된 경우, 그 메타데이터를 다른 메타데이터 서버들과 일관성을 갖도록 동기화해야 하는데, 캐쉬 메모리에 상주한 메타데이터들 간에는 실시간으로 동기화하도록 하고, 디스크에 저장된 데이터베이스들 간에는 부하가 적은 시간에 비동기 방식으로 동기화한다.
또한, 본 발명은 대규모 저가 스토리지 플랫폼을 인터넷 어플리케이션 업체들이 사용하기 쉽게 하기 위해 표준 웹 서비스 방식의 인터페이스를 제공한다.
또한, 본 발명은 단순 저장, 검색만을 위한 API(Application Programming Interface)를 지원하는 구조로 스토리지 중개자를 최대한 가볍게 만들어서 더 많은 스토리지 요청을 처리할 수 있도록 한다.
또한, 본 발명은 저가 일반 저장 장치 기반 대규모 스토리지를 분산 파일시 스템으로 구성하여 웹 서비스 인터페이스를 통해 제3의 인터넷 사업자에게 스토리지 서비스를 제공한다.
또한, 본 발명은 대규모로 확장 가능한 구조로서, 스토리지를 제3의 어플리케이션 제공 업체 또는 일반 사용자들에게 PC의 하드디스크처럼 원격지에서 저장할 수 있도록 웹 서비스 인터페이스를 제공한다.
또한, 본 발명은 여러 곳에 분산되어 있는 스토리지 노드들을 하나의 저장 공간으로 묶어주기 위해서 파일 저장 위치를 관리하는 메타데이터 서버와, 실제 파일을 저장하고 클라이언트와 직접 입출력하는 스토리지 서버를 물리적으로 분리한다.
상기와 같은 본 발명은, 다수의 메타데이터 서버와 하나의 메타데이터베이스로 이루어진 메타데이터 클러스터를 기반으로 각 메타데이터 서버의 캐쉬 메모리상의 메타데이터는 실시간으로 동기화하고, 메타데이터베이스상의 메타데이터는 비실시간으로 동기화함으로써, 클라이언트의 수 및 스토리지의 양에 관계없이 스토리지 서비스를 제공할 수 있는 효과가 있다.
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기 술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
도 1 은 본 발명에 따른 메타데이터 클러스터 기반의 분산형 스토리지 시스템에 대한 일실시예 구성도이다.
도 1 에서 보는 바와 같이, 본 발명에 따른 메타데이터 클러스터 기반의 분산형 스토리지 시스템은, 웹 서비스 클라이언트로부터의 스토리지 요청을 메타데이터 클러스터(20)로 중개하고, 상기 메타데이터 클러스터(20)로부터 전달받은 메타데이터를 파일 저장 서버(30)로 전달하기 위한 웹 서비스 플랫폼 기반의 스토리지 중개자(10), 상기 스토리지 중개자(10)로부터 중개받은 스토리지 요청에 따라 메타데이터를 생성하여 상기 스토리지 중개자(10)로 전달하고, 캐쉬(cache)에 저장한 후 타(他) 메타데이터 클러스터로 멀티캐스팅하며, 타 메타데이터 클러스터로부터의 메타데이터로 캐쉬를 동기화하기 위한 메타데이터 클러스터(20), 및 상기 스토리지 중개자(10)로부터의 메타데이터를 기반으로 해당 파일을 저장하기 위한 파일 저장 서버(30)를 포함한다.
여기서, 메타데이터는 파일 이름, 저장 위치, 및 생성시간 등을 포함한다.
또한, 스토리지 중개자는 일종의 중개 서버로서, 이해를 돕기 위해 하나의 스토리지 중개자만을 표현하였지만, 그 수는 본 발명에 아무런 영향을 미치지 않음 을 밝혀 둔다.
또한, 파일 저장 서버(30)는 일체화된 고가의 대용량 파일 저장 서버는 물론, 저가의 소용량 서버노드들로 구성할 수도 있다.
도 2 는 본 발명에 따른 메타데이터 클러스터의 일실시예 구성도이다.
도 2에 도시된 바와 같이, 본 발명에 따른 메타데이터 클러스터는, 스토리지 중개자(10)로부터 중개받은 스토리지 요청에 따라 메타데이터를 생성하여 상기 스토리지 중개자(10)로 전달하고, 캐쉬(cache)에 저장한 후 제 2 메타데이터 서버(220)로 멀티캐스팅하며, 제 2 메타데이터 서버(220)로부터의 메타데이터로 캐쉬를 동기화하기 위한 제 1 메타데이터 서버(210), 및 상기 제 1 메타메디어 서버(210) 및 제 2 메타데이터 서버(220)의 각 캐쉬상의 메타데이터를 저장하기 위한 메타데이터베이스(230)를 포함한다.
본 발명에서는 이해를 돕기 위해 각 메타데이터 클러스터 내에 두 개의 메타데이터 서버를 일예로 들어 설명하였지만, 그 수는 본 발명에 아무런 영향을 미치지 않음을 밝혀 둔다.
또한, 제 1 메타데이터 서버(210)는 캐쉬에 적재된 메타데이터를 실시간으로 즉시 멀티캐스팅하여 동기화하고, 디스크(메타데이터베이스)에 저장된 메타데이터는 비동기적으로 지연된(delayed) 동기화를 수행한다.
즉, 임의의 메타데이터 서버를 통해 파일이 추가 또는 변경되면, 해당 메타데이터 서버는 캐쉬에 파일 메타데이터를 저장하면서, 다른 메타데이터 서버로 즉 시 전송한다. 전송하는 방식은 수신 메타데이터 서버들을 명시하여 멀티캐스트 방식을 이용한다.
따라서 메타데이터 서버들은 메모리(캐쉬) 레벨에서 최신의 메타데이터로 동기화하므로, 모든 메타데이터 서버는 디스크 방식의 메타데이터베이스에 접근하지 않고, 곧바로 동기화된 캐쉬를 이용하여 스토리지 중개자로 해당 메타데이터를 제공할 수 있다.
이를 좀 더 상세히 살펴보면, 웹 서비스 클라이언트는 인터넷 어플리케이션 서버를 통해 사진, 동영상 등에 대한 스토리지(검색, 저장, 삭제 등) 서비스를 제공받는다. 이때, 사용자는 해당 인터넷 어플리케이션 서버에 파일을 요청 또는 저장한다고 생각하지만, 실제로는 네트워크에 별도로 구축된 대규모 스토리지(파일 저장 서버)에 저장한다.
인터넷 어플리케이션 서버는 사용자의 파일 검색 또는 저장 요청을 웹 서비스 API를 호출하는 방식으로 분산형 스토리지 시스템에 전달한다. 임의의 인터넷 어플리케이션 서버가 더 많은 스토리지를 요구하면 별도의 작업 없이 전체 스토리지 용량 내에서 탄력적으로 제공한다.
웹 서비스 플랫폼 기반의 스토리지 중개자(10)는 API 호출을 통해 받은 스토리지 요청을 여유가 있는 메타데이터 클러스터(20)로 전달한다. 이때, 스토리지 중개자(10)는 각 메타데이터 클러스터 내 메타데이터 서버들의 서비스 상태 및 여유 자원 정보를 주기적으로 파악한다.
그러면, 메타데이터 클러스터(20)는 스토리지 요청에 상응하는 메타데이터를 생성한 후 스토리지 중개자(10)로 전달한다. 메타데이터를 수신한 스토리지 중개자(10)는 메타데이터 내 파일 저장 위치를 이용하여 해당 데이터 저장 서버(30)에서 직접 파일을 입출력한다.
각 메타데이터 클러스터는 복수의 메타데이터 서버들이 모두 동시에 동작하며, 각 메타데이터 클러스터 내의 메타데이터 서버들은 하나의 메타데이터베이스를 공유한다. 그리고, 메타데이터 클러스터들 간에는 별도의 메타데이터베이스를 동기화시켜 운용한다.
메타데이터 클러스터들은 서로 장애 대처용으로 운용(이중화 운용)될 수 있다. 하나의 메타데이터 클러스터 내 모든 메타데이터 서버에 장애가 발생하면, 다른 메타데이터 클러스터가 스토리지 중개자(10)를 통해 중개되는 스토리지 요청을 처리한다.
도 3 은 본 발명에 따른 메타데이터 클러스터 기반의 분산형 스토리지 시스템의 동작 방법에 대한 일실시예 흐름도이다.
먼저, 웹 서비스 클라이언트로부터의 스토리지 요청을 스토리지 중개자를 통해 전달받는다(301).
이후, 상기 전달받은 스토리지 요청에 상응하는 메타데이터를 생성한다(302).
이후, 상기 생성한 메타데이터를 캐쉬(cache)에 저장한 후 타(他) 메타데이 터 클러스터로 멀티캐스팅한다(303).
부가적으로, 상기 생성한 메타데이터를 메타데이터베이스에 저장한다.
이러한 본 발명은 대규모 저가 장비 기반 분산 스토리지 시스템을 구성할 때 성능에 가장 핵심적인 영향을 주는 메타데이터 서버를 클러스터로 구성하여 서버의 안정성과 성능 향상을 도모하였고, 메타데이터 클러스터를 복수로 구성하여 전체 스토리지에 저장되는 파일의 수를 거의 무제한으로 처리하게 되어 거의 무한대 용량을 처리하는 엄청난 확장성을 실현할 수 있게 되었다.
또한, 본 발명은 하나의 주소공간에 있는 저장되어 있는 파일들을 여러 대의 메타데이터 서버들이 공유함으로 인해 생기는 파일 메타데이터에 대한 일관성 유지를 위하여 메타데이터 서버들간의 메모리 캐쉬 동기화 방안을 제안하여 해결하였다.
또한, 본 발명은 메타데이터 서버 메모리들 사이에는 실시간 메타데이터 동기화를 하여 성능저하를 방지하였고, 데이터 일관성을 위해 디스크 기반 메타데이터들 간에는 한가한 시간에 지연된 동기화를 하도록 2단계 동기화 방안을 제시하였다.
또한, 본 발명에서 제공하는 대규모 저가 스토리지를 온라인으로 UCC, IPTV, SNS 같은 어플리케이션 업체들에게 제공하기 위해서 단순 저장, 검색을 제공하는 웹 서비스 API를 제공하도록 설계하였다.
또한, 본 발명은 API를 통해서 어플리케이션 업체와 분산 스토리지간에 중개 하는 스토리지 중개자도 최대한 가볍게 설계하여, 더 많은 사용자들의 파일 입출력을 지원하도록 하였다. 이는 POSIX기반 스토리지 클라이언트에서 관리하는 복잡한 자료구조와 알고리즘 대신 웹 서비스 API를 위한 간단한 자료구조와 알고리즘을 제공함으로써 가능하다.
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
본 발명은 스토리지 시스템 등에 이용될 수 있다.
도 1 은 본 발명에 따른 메타데이터 클러스터 기반의 분산형 스토리지 시스템에 대한 일실시예 구성도,
도 2 는 본 발명에 따른 메타데이터 클러스터의 일실시예 구성도,
도 3 은 본 발명에 따른 메타데이터 클러스터 기반의 분산형 스토리지 시스템의 동작 방법에 대한 일실시예 흐름도이다.
* 도면의 주요 부분에 대한 부호의 설명
10 : 스토리지 중개자 20 : 메타데이터 클러스터
30 : 파일 저장 서버

Claims (6)

  1. 분산형 스토리지 시스템에 있어서,
    웹 서비스 클라이언트로부터의 스토리지 요청을 메타데이터 클러스터로 중개하고, 상기 메타데이터 클러스터로부터 전달받은 메타데이터를 파일 저장 서버로 전달하기 위한 스토리지 중개 서버;
    상기 스토리지 중개 서버로부터 중개받은 스토리지 요청에 따라 메타데이터를 생성하여 상기 스토리지 중개 서버로 전달하고, 캐쉬(cache)에 저장한 후 타 메타데이터 클러스터로 멀티캐스팅하며, 상기 타 메타데이터 클러스터로부터의 메타데이터로 상기 캐쉬를 동기화하기 위한 상기 메타데이터 클러스터; 및
    상기 스토리지 중개 서버로부터의 메타데이터를 기반으로 해당 파일을 저장하기 위한 상기 파일 저장 서버
    를 포함하는 분산형 스토리지 시스템.
  2. 제 1 항에 있어서,
    상기 메타데이터 클러스터는,
    상기 스토리지 중개 서버로부터 중개받은 스토리지 요청에 따라 메타데이터를 생성하여 상기 스토리지 중개 서버로 전달하고, 상기 캐쉬(cache)에 저장한 후 타 메타데이터 서버로 멀티캐스팅하며, 상기 타 메타데이터 서버로부터의 메타데이 터로 상기 캐쉬를 동기화하기 위한 메타데이터 서버; 및
    상기 메타데이터 서버 및 상기 타 메타데이터 서버의 각 캐쉬상의 메타데이터를 저장하기 위한 메타데이터베이스
    를 포함하는 분산형 스토리지 시스템.
  3. 제 2 항에 있어서,
    상기 메타데이터 서버는,
    상기 캐쉬상의 메타데이터는 실시간으로 상기 타 메타데이터 서버와 동기화하고, 트랜잭션이 적은 시간대에 상기 메타데이터베이스를 갱신하는 분산형 스토리지 시스템.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 메타데이터는,
    파일 이름, 저장 위치, 생성시간 중 적어도 하나를 포함하는 분산형 스토리지 시스템.
  5. 분산형 스토리지 시스템의 동작 방법에 있어서,
    웹 서비스 클라이언트로부터의 스토리지 요청을 스토리지 중개자를 통해 전달받는 단계;
    상기 전달받은 스토리지 요청에 상응하는 메타데이터를 생성하는 단계; 및
    상기 생성한 메타데이터를 캐쉬(cache)에 저장한 후 타 메타데이터 클러스터로 멀티캐스팅하는 단계
    를 포함하는 분산형 스토리지 시스템의 동작 방법.
  6. 제 5 항에 있어서,
    상기 메타데이터는,
    파일 이름, 저장 위치, 생성시간 중 적어도 하나를 포함하는 분산형 스토리지 시스템의 동작 방법.
KR1020080107153A 2008-10-30 2008-10-30 메타데이터 클러스터 기반의 분산형 스토리지 시스템 및 그동작 방법 KR20100048130A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080107153A KR20100048130A (ko) 2008-10-30 2008-10-30 메타데이터 클러스터 기반의 분산형 스토리지 시스템 및 그동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080107153A KR20100048130A (ko) 2008-10-30 2008-10-30 메타데이터 클러스터 기반의 분산형 스토리지 시스템 및 그동작 방법

Publications (1)

Publication Number Publication Date
KR20100048130A true KR20100048130A (ko) 2010-05-11

Family

ID=42274940

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080107153A KR20100048130A (ko) 2008-10-30 2008-10-30 메타데이터 클러스터 기반의 분산형 스토리지 시스템 및 그동작 방법

Country Status (1)

Country Link
KR (1) KR20100048130A (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120065072A (ko) * 2010-12-10 2012-06-20 한국전자통신연구원 클라우드 스토리지 및 그의 관리 방법
KR20130045159A (ko) * 2011-10-24 2013-05-03 한국전자통신연구원 분산 파일시스템에서 클라이언트가 데이터 저장에 참여하는 장치 및 방법
KR20130123897A (ko) * 2012-05-04 2013-11-13 한국전자통신연구원 하이브리드 스토리지 시스템의 파일 관리 방법 및 장치
KR101351237B1 (ko) * 2011-09-28 2014-01-13 권주현 네트워크의 파일 분산 처리 시스템
CN104471580A (zh) * 2013-03-13 2015-03-25 尼尔森（美国）有限公司 通过分析声压级来减少溢出的方法和系统
CN104683374A (zh) * 2013-11-28 2015-06-03 北京华云网际科技有限公司 一种分布式存储的缓存更新方法及分布式存储系统
KR20150086649A (ko) * 2014-01-20 2015-07-29 한국전자통신연구원 데이터 분산 처리 장치 및 방법, 그리고 스토리지 서버
US9378218B2 (en) 2011-10-24 2016-06-28 Electronics And Telecommunications Research Institute Apparatus and method for enabling clients to participate in data storage in distributed file system
WO2019189963A1 (ko) * 2018-03-28 2019-10-03 주식회사 리얼타임테크 분산 클러스터 관리 시스템 및 그 방법
KR102047233B1 (ko) * 2018-10-22 2019-11-21 강릉원주대학교산학협력단 이중 부하 분산을 이용한 메타데이터 검색 시스템 및 이중 부하 분산을 통한 데이터베이스 관리 방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120065072A (ko) * 2010-12-10 2012-06-20 한국전자통신연구원 클라우드 스토리지 및 그의 관리 방법
KR101351237B1 (ko) * 2011-09-28 2014-01-13 권주현 네트워크의 파일 분산 처리 시스템
KR20130045159A (ko) * 2011-10-24 2013-05-03 한국전자통신연구원 분산 파일시스템에서 클라이언트가 데이터 저장에 참여하는 장치 및 방법
US9378218B2 (en) 2011-10-24 2016-06-28 Electronics And Telecommunications Research Institute Apparatus and method for enabling clients to participate in data storage in distributed file system
KR20130123897A (ko) * 2012-05-04 2013-11-13 한국전자통신연구원 하이브리드 스토리지 시스템의 파일 관리 방법 및 장치
CN104471580A (zh) * 2013-03-13 2015-03-25 尼尔森（美国）有限公司 通过分析声压级来减少溢出的方法和系统
CN104683374A (zh) * 2013-11-28 2015-06-03 北京华云网际科技有限公司 一种分布式存储的缓存更新方法及分布式存储系统
CN104683374B (zh) * 2013-11-28 2019-03-08 北京华云网际科技有限公司 一种分布式存储的缓存更新方法
KR20150086649A (ko) * 2014-01-20 2015-07-29 한국전자통신연구원 데이터 분산 처리 장치 및 방법, 그리고 스토리지 서버
WO2019189963A1 (ko) * 2018-03-28 2019-10-03 주식회사 리얼타임테크 분산 클러스터 관리 시스템 및 그 방법
KR102047233B1 (ko) * 2018-10-22 2019-11-21 강릉원주대학교산학협력단 이중 부하 분산을 이용한 메타데이터 검색 시스템 및 이중 부하 분산을 통한 데이터베이스 관리 방법

Similar Documents

Publication Publication Date Title
US10942812B2 (en) System and method for building a point-in-time snapshot of an eventually-consistent data store
US11650886B2 (en) Orchestrator for orchestrating operations between a computing environment hosting virtual machines and a storage environment
US20220188003A1 (en) Distributed Storage Method and Device
KR20100048130A (ko) 메타데이터 클러스터 기반의 분산형 스토리지 시스템 및 그동작 방법
KR102025934B1 (ko) 분산형 시스템에서의 범위들의 분할 및 이동
JP6479020B2 (ja) 分散ストレージシステムにおけるオブジェクトの階層チャンキング
US9720989B2 (en) Dynamic partitioning techniques for data streams
Rao et al. Performance issues of heterogeneous hadoop clusters in cloud computing
US10558565B2 (en) Garbage collection implementing erasure coding
US10585599B2 (en) System and method for distributed persistent store archival and retrieval in a distributed computing environment
US20130218934A1 (en) Method for directory entries split and merge in distributed file system
CN112470112A (zh) 块存储系统的分布式副本
US20150169598A1 (en) System and method for providing a persistent snapshot of a running system in a distributed data grid
CN102420854A (zh) 面向云存储的分布式文件系统
Dwivedi et al. Analytical review on Hadoop Distributed file system
US20190188309A1 (en) Tracking changes in mirrored databases
Baron et al. Storage options in the aws cloud
CN103501319A (zh) 一种低延迟的面向小文件的分布式存储系统
US20220391359A1 (en) Distributed File System that Provides Scalability and Resiliency
Varade et al. Distributed metadata management scheme in hdfs
CN111225003B (zh) 一种nfs节点配置方法和装置
US20080195675A1 (en) Method for Pertorming Distributed Backup on Client Workstations in a Computer Network
US11757703B1 (en) Access requests processing and failover handling across multiple fault tolerance zones
US20220391361A1 (en) Distributed File System with Reduced Write and Read Latencies
US8516023B1 (en) Context based file system

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination