KR101620782B1 - 사전 데이터를 활용한 데이터 저장 방법 및 시스템 - Google Patents

사전 데이터를 활용한 데이터 저장 방법 및 시스템 Download PDF

Info

Publication number
KR101620782B1
KR101620782B1 KR1020150006897A KR20150006897A KR101620782B1 KR 101620782 B1 KR101620782 B1 KR 101620782B1 KR 1020150006897 A KR1020150006897 A KR 1020150006897A KR 20150006897 A KR20150006897 A KR 20150006897A KR 101620782 B1 KR101620782 B1 KR 101620782B1
Authority
KR
South Korea
Prior art keywords
data
block
stored
dictionary
dictionary data
Prior art date
Application number
KR1020150006897A
Other languages
English (en)
Inventor
이재면
강경태
Original Assignee
한양대학교 에리카산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 에리카산학협력단 filed Critical 한양대학교 에리카산학협력단
Priority to KR1020150006897A priority Critical patent/KR101620782B1/ko
Application granted granted Critical
Publication of KR101620782B1 publication Critical patent/KR101620782B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2246Trees, e.g. B+trees
    • G06F17/30327
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • G06F16/137Hash-based
    • G06F17/30097

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

사전 데이터를 활용한 데이터 저장 방법 및 시스템이 개시된다. 사전 데이터를 활용한 데이터 저장 방법은 저장하고자 하는 데이터의 블록이 저장 공간 내에 기 저장된 사전 데이터의 블록과 동일한지 판단하는 단계; 및 상기 저장하고자 하는 데이터의 블록이 상기 사전 데이터의 블록과 동일한 경우, 상기 사전 데이터를 참조하도록 상기 사전 데이터의 블록의 위치 정보를 포함하는 메타 데이터를 저장하는 단계를 포함할 수 있다.

Description

사전 데이터를 활용한 데이터 저장 방법 및 시스템{Method and System for Storing Data Block Using Previous Stored Data Block}
본 발명은 사전 데이터를 활용한 데이터 저장 방법 및 시스템에 관한 것이다. 더욱 상세하게는 데이터 저장 시 사전에 저장된 데이터와 동일한 데이터는 저장하지 않고, 기 저장된 데이터를 참조하도록 하는 사전 데이터를 활용한 데이터 저장 방법 및 시스템에 관한 것이다.
컴퓨터 네트워크의 기술 발전에 따라, 각 단말의 독립적인 하드웨어 성능에 의존하던 기존의 컴퓨팅 환경은, 네트워크 상의 모든 컴퓨팅 자원을 활용하여 단말의 요청에 따라 해당 서비스를 제공하는 클라우드 컴퓨팅(Cloud Computing) 형태로 진화하고 있다.
클라우드 컴퓨팅 서비스란 인터넷과 같은 정보통신망을 통한 '컴퓨팅 자원의 온 디맨드 아웃소싱 서비스'라고 정의할 수 있다. 클라이언트는 어플리케이션(Application), 스토리지(Storage), 운영체제(Operation System, OS), 보안(Security) 등의 필요한 컴퓨팅 자원을 각 클라이언트의 단말에 설치하여 사용하는 것이 아니라, 가상화 기술을 통해 생성된 가상의 컴퓨팅 환경 상의 서비스를 원하는 시점에 원하는 만큼 골라서 사용하게 된다.
이때, 클라이언트는 각 컴퓨팅 자원의 구입비용을 지불하는 것이 아니라 사용량에 기반하여 대가를 지불하게 된다.
인터넷과 소셜 네트워킹 서비스의 발전 이후 각종 서비스 업체에서 저장 및 관리해야 할 데이터의 양은 엄청나게 증가하였고, 이를 저장, 복제 또는 분석 등을 수행하는 데에 드는 속도 또한 엄청나게 증가함에 따라, 각종 인터넷과 소셜 네트워킹 서비스 업체들은 스토리지 비용을 감당할 수 없게 되었고, 따라서, 이러한 클라우드 컴퓨팅 서비스 특히, 클라우드 스토리지 서비스에 주목을 하게 되었고, 이에 따라, 클라우드 컴퓨팅 서비스 중 현재 가장 활발하게 서비스가 이루어지고 있는 컴퓨팅 자원은 바로 스토리지(storage)가 된다.
그러나, 클라우드 스토리지 서비스에서 엄청나게 많은 양의 데이터를 저장 또는 관리하는 데에 있어서, 기존의 관계형 데이터베이스(Relational Database) 기술로는 대량의 데이터를 읽고 쓰는 속도와 그 확장성 면에서 상당한 제약을 갖게 되었으며, 이에 따라 기존의 관계형 데이터베이스에서 읽고 쓰는 속도를 개선하고, 분산 병렬 처리 및 확장성을 용이하게 한 데이터베이스 기술로 NoSQL(Not only SQL) 또는 빅데이터 데이터베이스 기술이 대두되고 있다.
한국공개특허 10-2012-0013475호는 이러한 분산 파일 시스템에서 URL 정보를 이용한 데이터 관리 기술에 관한 것으로, 데이터 안정성 및 성능 향상을 위해 파일 별로 복제본을 여러 저장공간으로 분산하여 생성 및 관리하는 분산 파일 시스템 기반으로 구현된 클라우드 스토리지 서비스에 관한 기술을 기재하고 있다.
그러나, 대량의 데이터를 분산하여 저장하는 관계로 인덱싱 하기 어렵고, 파일의 리스트를 정렬하는 기능에 있어서 기술적 한계를 갖는다.
기존 데이터 저장 방법은 메타 데이터를 저장한 후 실제 데이터를 저장한다. 그러나, 소셜 네트워크 서비스의 유행과 스마트 기기의 보편화로 데이터 생산량이 급격히 증가했고, 앞으로 증가세는 더욱 가속화 될 전망이다.
일례로, 유명 서비스 제공 업체가 보유한 데이터 센터의 용량이 제타 바이트(zetta bytes)를 넘어가고 있다고 밝혔다. 예를 들어, 4TB 하드 디스크로 ZB를 저장하려면, 세로로 하드 디스크를 세웠을 때 지구를 한 바퀴 돌 정도의 개수가 필요하다. 그러므로, 데이터 센터는 데이터 용량을 줄이기 위한 방법이 필요하다.
한편, 데이터가 계속 증가하고 있지만, 이 중 중복된 데이터도 많이 있다. 예를 들어, 유명 사진의 경우 다수의 사람들이 저장하기 때문에 모두 동일한 실제 데이터를 갖는다고 볼 수 있다. 이러한 중복 데이터를 제거하는 것이 데이터 용량을 줄이는 데 큰 효과가 있다.
본 발명이 이루고자 하는 기술적 과제는 데이터 저장 시 사전에 저장된 데이터와 동일한 데이터는 저장하지 않고, 기 저장된 데이터를 참조하도록 하는 메타 데이터를 저장함으로써, 데이터 용량을 감소시킬 수 있는 사전 데이터를 활용한 데이터 저장 방법 및 시스템을 제공하는데 있다.
본 발명이 이루고자 하는 기술적 과제는 해시(hash) 코드를 만든 후 B-트리(B-tree)를 구성하여 저장함으로써 사전에 저장된 블록인지 여부를 검색하여, 검색 오버헤드를 최소화해 주고, 입출력 속도를 향상시키는 사전 데이터를 활용한 데이터 저장 방법 및 시스템을 제공하는데 있다.
일 측면에 있어서, 본 발명에서 제안하는 사전 데이터를 활용한 데이터 저장 방법은 저장하고자 하는 데이터의 블록이 저장 공간 내에 기 저장된 사전 데이터의 블록과 동일한지 판단하는 단계; 및 상기 저장하고자 하는 데이터의 블록이 상기 사전 데이터의 블록과 동일한 경우, 상기 사전 데이터를 참조하도록 상기 사전 데이터의 블록의 위치 정보를 포함하는 메타 데이터를 저장하는 단계를 포함한다.
상기 사전 데이터의 블록과 동일한지 판단하는 단계는 상기 저장하고자 하는 데이터의 블록의 해시(hash) 코드를 생성하는 단계; 및 상기 해시 코드를 이용하여 B-트리(B-tree)를 구성하고 상기 사전 데이터 블록과 동일한지 판단하는 단계를 포함할 수 있다.
상기 사전 데이터의 블록과 동일한지 판단하는 단계는 상기 사전 데이터의 블록이 상기 저장하고자 하는 데이터의 블록과 전체 내용이 동일한지 여부를 판단할 수 있다.
전체 데이터 경우의 수를 나열한 리스트를 작성하여 상기 리스트에 상기 해시 코드와 상기 B-트리를 적용하여 중복성을 검사하고, 상기 리스트 내 각각의 항목을 참조하도록 상기 메타 데이터를 저장할 수 있다.
상기 사전 데이터를 확인하기 위해, 저장된 상기 메타 데이터를 통해 상기 사전 데이터의 블록의 위치 정보를 확인하는 단계; 및 상기 위치 정보를 참조하여 상기 저장 공간 내에 저장된 상기 사전 데이터의 블록에서 데이터를 읽어오는 단계를 더 포함할 수 있다.
상기 저장 공간은 소셜 네트워크 서비스 내 저장 공간이며, 다수의 클라이언트에 의해 상기 저장 공간 내에 기 저장된 상기 사전 데이터의 블록은 중복되지 않는 것을 특징으로 할 수 있다.
다른 측면에 있어서, 본 발명에서 제안하는 사전 데이터를 활용한 데이터 저장 시스템은 데이터가 저장되는 데이터 서버; 및 클라이언트로부터 저장 요청된 저장하고자 하는 데이터의 블록이 데이터 서버 내에 기 저장된 사전 데이터의 블록과 동일한지 판단하는 판단부와, 상기 판단부에서 상기 저장하고자 하는 데이터의 블록이 상기 사전 데이터의 블록과 동일한 경우, 상기 데이터 서버 내 상기 사전 데이터의 블록의 위치 정보를 포함하는 메타 데이터를 저장하는 메타 데이터 저장부로 구성된 메타 데이터 서버를 포함한다.
상기 메타 데이터 서버는 상기 판단부에서 상기 저장하고자 하는 데이터의 블록의 해시(hash) 코드를 생성한 후, 상기 해시 코드를 이용하여 B-트리(B-tree)를 구성하고 상기 사전 데이터 블록과 동일한지 판단할 수 있다.
상기 메타 데이터 서버는 전체 데이터 경우의 수를 나열한 리스트를 작성하여 상기 리스트에 상기 해시 코드와 상기 B-트리를 적용하여 중복성을 검사하고, 상기 리스트 내 각각의 항목을 참조하도록 상기 메타 데이터를 상기 메타 데이터 저장부에 저장할 수 있다.
상기 데이터 서버와 상기 메타 데이터 서버는 소셜 네트워크 서비스 내 저장 공간이며, 다수의 클라이언트에 의해 상기 데이터 서버 내에 기 저장된 상기 사전 데이터의 블록은 중복되지 않을 수 있다.
본 발명의 실시예들에 따르면 데이터 저장 시 사전에 저장된 데이터와 동일한 데이터는 저장하지 않고, 기 저장된 데이터를 참조하도록 하는 메타 데이터를 저장함으로써, 데이터 용량을 감소시킬 수 있는 사전 데이터를 활용한 데이터 저장 방법 및 시스템을 제공할 수 있다.
본 발명의 실시예들에 따르면 해시(hash) 코드를 만든 후 B-트리(B-tree)를 구성하여 저장함으로써 사전에 저장된 블록인지 여부를 검색하여, 검색 오버헤드를 최소화해 주고, 입출력 속도를 향상시키는 사전 데이터를 활용한 데이터 저장 방법 및 시스템을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 사전 데이터를 활용한 데이터 저장 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 사전 데이터를 활용한 데이터 저장 시스템을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 데이터가 저장되는 구조를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 사전 데이터를 활용한 데이터 저장 방법을 나타내는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 사전 데이터를 활용한 데이터 읽는 방법을 나타내는 흐름도이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
소셜 네트워크 서비스(Social Network Service; SNS)의 확산과 스마트폰의 발전으로 데이터가 기하급수적으로 증가하고 있으며, 그 양은 이미 제타 바이트(zetta bytes)를 넘어섰다. 계속 가속화되고 있는 데이터 용량의 증가는 스토리지 서버의 증축을 요구하고, 이는 데이터 제공 업체의 부담으로 작용한다. 이에 따라, 이러한 부담을 줄이기 위한 기술이 필요하다.
특히, 저장된 데이터에는 중복된 데이터가 상당히 많은 것을 확인할 수 있다. 일례로, 유명 사진 또는 비디오의 경우 다수가 저장하고 있음을 직관적으로 알 수 있다.
이와 같이, 사진이나 비디오 등의 데이터가 중복되어 저장되는 경우가 있으며, 그 크기 또한 적지 않다. 따라서, 데이터를 저장할 때 실제 데이터를 저장하지 않고, 사전 데이터를 가리키는 방법으로 데이터를 저장함으로써, 저장 공간을 효율적으로 사용할 수 있다.
여기서, 사전 데이터는 다른 사람이 저장한 데이터일 수 있으며, 단순한 데이터 맵이 될 수 있다.
종래에도 파일을 저장할 때 메타 데이터(metadata)에서 실제 데이터가 저장된 위치를 가리키고 있다. 그러나, 제안한 방법은 메타 데이터(metadata)가 가리키는 위치를 새로 저장하는 실제 데이터가 아니고, 기존 데이터를 가리키는 방법이다.
도 1은 본 발명의 일 실시예에 따른 사전 데이터를 활용한 데이터 저장 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 사전 데이터를 활용한 데이터 저장 시스템은 데이터 서버(110)와 메타 데이터 서버(120)를 포함한다.
클라이언트(130)는 데이터를 저장하기 위해서 저장 공간 내에 저장을 요청할 수 있으며, 이때 저장 공간은 데이터 서버(110)와 메타 데이터 서버(120)를 포함할 수 있다.
여기서, 클라이언트는 불특정 다수의 사용자 또는 사용자가 이용하는 컴퓨터, 노트북, 스마스 기기, 스마트폰, 사용자 단말 등이 될 수 있다.
또한, 데이터는 문자, 사진, 비디오 등 다양한 콘텐츠가 될 수 있으며, 블록 단위로 저장될 수 있다.
클라이언트(130)의 데이터 저장 요청에 따라, 메타 데이터 서버(120)에서 요청된 데이터가 사전에 기 저장된 데이터(사전 데이터)와 중복 여부를 판단하여, 중복인 경우에는 사전 데이터의 위치 정보를 포함하는 메타 데이터를 저장할 수 있다.
여기서, 데이터 서버(110)에는 사전 데이터와 중복되는 데이터가 다시 저장되지 않으므로, 데이터 서버(110) 내 저장 공간을 효율적으로 저장 및 관리할 수 있다.
이러한 사전 데이터는 두 가지 경우로 나눌 수 있다.
첫째는, 유명 사진이나 비디오 등과 같이 전체 내용이 동일한 경우가 될 수 있다. 그리고, 둘째는 미리 모든 데이터 경우의 수를 나열한 리스트가 될 수 있다.
예를 들어, 사전에 사진을 저장하면서 100번째에 실제 데이터를 저장했다면, 다음에 동일한 사진을 저장할 때에는 실제 데이터를 저장하지 않고, 나열한 리스트에서 100번째를 가리키도록 설정할 수 있다.
이러한 방법에 따르면, 사전 데이터의 위치 정보를 포함하는 메타 데이터만 저장할 뿐 실제 데이터를 저장하지 않아 용량을 획기적으로 줄일 수 있다.
파일 시스템에서 데이터는 블록 단위로 저장하기 때문에 아래에서는 데이터를 블록으로 설명하기로 한다.
먼저, 데이터를 저장할 때 사전에 저장된 블록인지 여부를 검색할 수 있다.
사전에 저장된 블록인지 여부를 검색하기 위해서 블록의 해시(hash) 코드를 만든 후 B-트리(B-tree)를 구성하여 저장할 수 있다.
동일한 해시(hash) 코드를 가진 블록은 세부적인 비교 구문에 의해 구별될 수 있다. 이 방식은 검색 오버헤드를 최소화해 주고, 입출력 속도를 향상시키는데 도움이 될 수 있다.
도 2는 본 발명의 일 실시예에 따른 사전 데이터를 활용한 데이터 저장 시스템을 나타내는 도면이다.
도 2를 참조하면, 사전 데이터를 활용한 데이터 저장 시스템은 데이터 서버(210)와 메타 데이터 서버(220)를 포함한다. 또한, 메타 데이터 서버(220)는 판단부(221)와 메타 데이터 저장부(222)를 포함한다.
데이터 서버(210)는 데이터가 저장되는 공간으로, 소셜 네트워크 서비스 등 클라우드 스토리지 서비스의 불특정 사용자들(클라이언트)의 불특정 파일들을 저장 및 관리할 수 있다.
또한, 데이터 서버(210)는 하드 디스크 드라이브(HDD), 플래시 메모리 장치 등의 스토리지 장치가 될 수 있으나 이에 제한되지 않는다.
메타 데이터 서버(220)는 판단부(221)와 메타 데이터 저장부(222)를 포함할 수 있다.
먼저, 판단부(221)는 클라이언트로부터 저장 요청된 저장하고자 하는 데이터의 블록이 데이터 서버(210) 내에 기 저장된 사전 데이터의 블록과 동일한지 판단할 수 있다.
그리고, 메타 데이터 저장부(222)는 판단부(221)에서 저장하고자 하는 데이터의 블록이 사전 데이터의 블록과 동일한 경우, 데이터 서버 내 사전 데이터의 블록의 위치 정보를 포함하는 메타 데이터를 저장할 수 있다.
이러한, 메타 데이터 서버(220)는 판단부(221)에서 저장하고자 하는 데이터의 블록의 해시(hash) 코드를 생성한 후, 해시 코드를 이용하여 B-트리(B-tree)를 구성하고 저장함으로써, 사전 데이터 블록과 동일한지 판단할 수 있다.
예를 들어, 메타 데이터 서버는 전체 데이터 경우의 수를 나열한 리스트를 작성하여 리스트에 해시 코드와 B-트리를 적용하여 중복성을 검사하고, 리스트 내 각각의 항목을 참조하도록 메타 데이터를 메타 데이터 저장부에 저장할 수 있다.
다시 말하면, 사전에 저장된 블록인지 여부를 검색하기 위해서 블록의 해시(hash) 코드를 만든 후 B-트리(B-tree)를 구성하여 저장할 수 있다. 그리고, 동일한 해시(hash) 코드를 가진 블록은 세부적인 비교 구문에 의해 구별될 수 있다. 이에 따라, 검색 오버헤드를 최소화해 주고, 입출력 속도를 향상시키는데 도움이 될 수 있다.
그리고, 데이터 서버와 메타 데이터 서버는 소셜 네트워크 서비스 내 저장 공간으로 클라우드 스토리지가 될 수 있으며, 다수의 클라이언트에 의해 데이터 서버 내에 기 저장된 사전 데이터의 블록은 중복되지 않는 것이 바람직하다.
도 3은 본 발명의 일 실시예에 따른 데이터가 저장되는 구조를 설명하기 위한 도면이다.
도 3을 참조하면, 사전 데이터를 활용한 데이터 저장 시스템은 데이터 서버(310)와 메타 데이터 서버(320)로 구성될 수 있다.
예를 들어, 클라이언트로부터 저장 요청된 데이터가 데이터 서버(310)에 저장된 사전 데이터와 동일하지 않은 경우, 데이터 서버(310)에 저장되며 저장 위치 및 데이터 정보를 포함하는 메타 데이터는 메타 데이터 서버(320)에 저장될 수 있다.
또한, 클라이언트로부터 저장 요청된 데이터가 데이터 서버(310)에 저장된 사전 데이터와 동일한 경우, 데이터 서버(310)에 저장되지 않고, 사전 데이터의 저장 위치 및 데이터 정보를 포함하는 메타 데이터는 메타 데이터 서버(320)에 저장될 수 있다.
다시 말하면, 클라이언트로부터 저장 요청된 데이터가 데이터 서버에 저장된 사전 데이터와 동일한 경우, 데이터를 저장할 때 실제 데이터를 저장하지 않고, 사전 데이터를 가리키는 방법으로 데이터를 저장함으로써, 저장 공간을 효율적으로 사용할 수 있다.
도 4는 본 발명의 일 실시예에 따른 사전 데이터를 활용한 데이터 저장 방법을 나타내는 흐름도이다.
도 4를 참조하면, 사전 데이터를 활용한 데이터 저장 방법은 도 1 내지 도 3에서 설명한 사전 데이터를 활용한 데이터 저장 시스템을 이용하여 구체적으로 설명할 수 있다.
여기서, 사전 데이터를 활용한 데이터 저장 시스템은 데이터 서버와 메타 데이터 서버를 포함한다. 또한, 메타 데이터 서버는 판단부와 메타 데이터 저장부를 포함한다.
단계(410)에서, 메타 데이터 서버는 판단부에서 클라이언트로부터 요청된 저장하고자 하는 데이터의 블록이 저장 공간 내에 기 저장된 사전 데이터의 블록과 동일한지 여부를 판단할 수 있다.
사전 데이터의 블록과 동일한지 판단하는 위해, 사전 데이터의 블록이 저장하고자 하는 데이터의 블록과 전체 내용이 동일한지 여부를 판단할 수 있다.
그리고, 사전 데이터의 블록과 동일한지 판단하는 위해서, 저장하고자 하는 데이터의 블록의 해시(hash) 코드를 생성할 수 있다. 이후, 해시 코드를 이용하여 B-트리(B-tree)를 구성하고 사전 데이터 블록과 동일한지 판단할 수 있다.
다시 말하면, 전체 데이터 경우의 수를 나열한 리스트를 작성하여 리스트에 해시 코드와 B-트리를 적용하여 중복성을 검사하고, 리스트 내 각각의 항목을 참조하도록 메타 데이터를 저장할 수 있다.
단계(420)에서, 판단부는 저장하고자 하는 데이터의 블록이 사전 데이터의 블록과 동일한 경우, 사전 데이터를 참조하도록 사전 데이터의 블록의 위치 정보를 포함하는 메타 데이터를 메타 데이터 저장부에 저장할 수 있다.
저장 공간은 소셜 네트워크 서비스 내 저장 공간이 될 수 있으며, 다수의 클라이언트에 의해 저장 공간 내에 기 저장된 사전 데이터의 블록은 중복되지 않는 것이 바람직하다.
도 5는 본 발명의 일 실시예에 따른 사전 데이터를 활용한 데이터 읽는 방법을 나타내는 흐름도이다.
도 5를 참조하면, 도 4와 같이 사전 데이터를 활용하여 데이터를 저장한 후, 저장된 사전 데이터를 확인하기 위해, 단계(430)에서, 클라이언트로부터 저장된 사전 데이터의 열람이 요청된 경우, 메타 데이터 저장부에 저장된 메타 데이터를 통해 데이터 서버 내에 저장된 사전 데이터의 블록의 위치 정보를 확인할 수 있다.
단계(440)에서, 메타 데이터에 저장된 위치 정보를 참조하여 저장 공간 내(데이터 서버)에 저장된 사전 데이터의 블록에서 데이터를 읽어올 수 있다.
다시 말하면, 네트워크 기반 클라우드 스토리지 환경에서는 클라이언트, 메타 데이터 서버, 데이터 서버들이 네트워크를 통해 교신하면서 데이터의 입출력을 제공할 수 있다. 클라이언트가 특정 파일을 접근하기 위해서는, 먼저 메타 데이터 서버로부터 파일의 실제 데이터가 저장된 블록의 위치 정보를 획득한 후, 블록이 위치한 데이터 서버에 접근하여 블록의 데이터를 읽어 클라이언트에게 반환할 수 있다.
이러한 구조는 클라이언트 시스템이 저장 장치에 직접 접근할 수 있게 해주며, 또한 파일의 빈번한 접근으로 인해 발생하는 병목 지점을 회피하도록 하여 스토리지의 확장성을 높일 수 있다.
이상에서, 사전 데이터를 이용한 저장 시스템 및 방법에 대해 소셜 네트워크 서비스 등의 클라우드 스토리지 환경을 기준으로 설명하였으나 클라우드 스토리지뿐만 아니라, 하드 디스크 드라이브 등의 스토리지 장치에 적용이 가능하다.
따라서, 중복된 데이터를 저장하지 않아 저장 용량을 줄일 수 있을 뿐만 아니라, 중복 데이터를 쓰지 않기 때문에 쓰기 속도가 향상되며, 가동 중(in place) 업데이트(update)가 안 되는 플래시 메모리(flash memory) 기반 저장장치나 SMR 방식 하드 디스크 드라이브(HDD)에서 성능 향상을 얻을 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
110, 210, 310: 데이터 서버
120, 220, 320: 메타 데이터 서버
130: 클라이언트
221: 판단부
222: 메타 데이터 저장부

Claims (10)

  1. 저장하고자 하는 데이터의 블록이 저장 공간 내에 기 저장된 사전 데이터의 블록과 동일한지 판단하는 단계; 및
    상기 저장하고자 하는 데이터의 블록이 상기 사전 데이터의 블록과 동일한 경우, 상기 사전 데이터를 참조하도록 상기 사전 데이터의 블록의 위치 정보를 포함하는 메타 데이터를 저장하는 단계
    를 포함하고,
    상기 메타 데이터를 저장하는 단계는,
    상기 저장하고자 하는 데이터의 블록이 상기 사전 데이터의 블록과 동일한 경우, 상기 저장 공간에 상기 저장하고자 하는 데이터를 저장하지 않고 상기 저장하고자 하는 데이터에 대하여 상기 저장하고자 하는 데이터의 블록과 동일한 블럭의 사전 데이터를 가리키는 상기 메타 데이터를 저장하는 것
    을 특징으로 하는 사전 데이터를 활용한 데이터 저장 방법.
  2. 제1항에 있어서,
    상기 사전 데이터의 블록과 동일한지 판단하는 단계는
    상기 저장하고자 하는 데이터의 블록의 해시(hash) 코드를 생성하는 단계; 및
    상기 해시 코드를 이용하여 B-트리(B-tree)를 구성하고 상기 사전 데이터 블록과 동일한지 판단하는 단계
    를 포함하는 사전 데이터를 활용한 데이터 저장 방법.
  3. 제1항에 있어서,
    상기 사전 데이터의 블록과 동일한지 판단하는 단계는
    상기 사전 데이터의 블록이 상기 저장하고자 하는 데이터의 블록과 전체 내용이 동일한지 여부를 판단하는 것
    을 특징으로 하는 사전 데이터를 활용한 데이터 저장 방법.
  4. 삭제
  5. 제1항 있어서,
    상기 사전 데이터를 확인하기 위해, 저장된 상기 메타 데이터를 통해 상기 사전 데이터의 블록의 위치 정보를 확인하는 단계; 및
    상기 위치 정보를 참조하여 상기 저장 공간 내에 저장된 상기 사전 데이터의 블록에서 데이터를 읽어오는 단계
    를 더 포함하는 사전 데이터를 활용한 데이터 저장 방법.
  6. 제1항 있어서,
    상기 저장 공간은 소셜 네트워크 서비스 내 저장 공간이며, 다수의 클라이언트에 의해 상기 저장 공간 내에 기 저장된 상기 사전 데이터의 블록은 중복되지 않는 것
    을 특징으로 하는 사전 데이터를 활용한 데이터 저장 방법.
  7. 데이터가 저장되는 데이터 서버; 및
    클라이언트로부터 저장 요청된 저장하고자 하는 데이터의 블록이 상기 데이터 서버 내에 기 저장된 사전 데이터의 블록과 동일한지 판단하는 판단부와, 상기 판단부에서 상기 저장하고자 하는 데이터의 블록이 상기 사전 데이터의 블록과 동일한 경우, 상기 데이터 서버 내 상기 사전 데이터의 블록의 위치 정보를 포함하는 메타 데이터를 저장하는 메타 데이터 저장부로 구성된 메타 데이터 서버
    를 포함하고,
    상기 메타 데이터 서버는,
    상기 저장하고자 하는 데이터의 블록이 상기 사전 데이터의 블록과 동일한 경우, 상기 데이터 서버에 상기 저장하고자 하는 데이터를 저장하지 않고 상기 저장하고자 하는 데이터에 대하여 상기 저장하고자 하는 데이터의 블록과 동일한 블럭의 사전 데이터를 가리키는 상기 메타 데이터를 저장하는 것
    을 특징으로 하는 사전 데이터를 활용한 데이터 저장 시스템.
  8. 제7항에 있어서,
    상기 메타 데이터 서버는
    상기 판단부에서 상기 저장하고자 하는 데이터의 블록의 해시(hash) 코드를 생성한 후, 상기 해시 코드를 이용하여 B-트리(B-tree)를 구성하고 상기 사전 데이터 블록과 동일한지 판단하는 것
    을 특징으로 하는 사전 데이터를 활용한 데이터 저장 시스템.
  9. 삭제
  10. 제7항 있어서,
    상기 데이터 서버와 상기 메타 데이터 서버는 소셜 네트워크 서비스 내 저장 공간이며, 다수의 클라이언트에 의해 상기 데이터 서버 내에 기 저장된 상기 사전 데이터의 블록은 중복되지 않는 것
    을 특징으로 하는 사전 데이터를 활용한 데이터 저장 시스템.
KR1020150006897A 2015-01-14 2015-01-14 사전 데이터를 활용한 데이터 저장 방법 및 시스템 KR101620782B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150006897A KR101620782B1 (ko) 2015-01-14 2015-01-14 사전 데이터를 활용한 데이터 저장 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150006897A KR101620782B1 (ko) 2015-01-14 2015-01-14 사전 데이터를 활용한 데이터 저장 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101620782B1 true KR101620782B1 (ko) 2016-05-13

Family

ID=56023744

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150006897A KR101620782B1 (ko) 2015-01-14 2015-01-14 사전 데이터를 활용한 데이터 저장 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101620782B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114785795A (zh) * 2022-04-02 2022-07-22 北京蓝海在线科技有限公司 分布式存储方法、系统、设备、存储介质及信息处理终端

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100985169B1 (ko) 2009-11-23 2010-10-05 (주)피스페이스 분산 저장 시스템에서 파일의 중복을 제거하는 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100985169B1 (ko) 2009-11-23 2010-10-05 (주)피스페이스 분산 저장 시스템에서 파일의 중복을 제거하는 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114785795A (zh) * 2022-04-02 2022-07-22 北京蓝海在线科技有限公司 分布式存储方法、系统、设备、存储介质及信息处理终端

Similar Documents

Publication Publication Date Title
US11711420B2 (en) Automated management of resource attributes across network-based services
US11119678B2 (en) Transactional operations in multi-master distributed data management systems
US8775425B2 (en) Systems and methods for massive structured data management over cloud aware distributed file system
US11537556B2 (en) Optimized content object storage service for large scale content
US8904377B2 (en) Reconfiguration of computer system to allow application installation
US11693908B2 (en) System and methods for dynamic generation of object storage datasets from existing file datasets
US20150310045A1 (en) Managing an index of a table of a database
US9742860B2 (en) Bi-temporal key value cache system
US20150310052A1 (en) Managing a table of a database
US11132458B2 (en) Tape processing offload to object storage
CN104603762A (zh) 利用并行文件访问协议的自动校准以及元数据管理支持对文件系统的共享存储的协调访问
US9600486B2 (en) File system directory attribute correction
US10956499B2 (en) Efficient property graph storage for streaming/multi-versioning graphs
US10713228B2 (en) Generating and accessing a data table
US9679014B2 (en) Generating and accessing a data table
US11290532B2 (en) Tape reconstruction from object storage
KR101620782B1 (ko) 사전 데이터를 활용한 데이터 저장 방법 및 시스템
WO2019155308A1 (en) Data migration in a hierarchical storage management system
US10884646B2 (en) Data management system for storage tiers
US10248701B2 (en) Efficient distributed query execution
US20220050912A1 (en) Security semantics for database queries
US10896193B2 (en) Cache fetching of OLAP based data using client to client relationships and data encoding

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190408

Year of fee payment: 4