KR102193969B1 - 동적 데이터의 안전한 분산 데이터 관리를 위한 방법 및 시스템 - Google Patents

동적 데이터의 안전한 분산 데이터 관리를 위한 방법 및 시스템 Download PDF

Info

Publication number
KR102193969B1
KR102193969B1 KR1020190036997A KR20190036997A KR102193969B1 KR 102193969 B1 KR102193969 B1 KR 102193969B1 KR 1020190036997 A KR1020190036997 A KR 1020190036997A KR 20190036997 A KR20190036997 A KR 20190036997A KR 102193969 B1 KR102193969 B1 KR 102193969B1
Authority
KR
South Korea
Prior art keywords
data
servers
information
server
stored
Prior art date
Application number
KR1020190036997A
Other languages
English (en)
Other versions
KR20200114746A (ko
Inventor
윤택영
조남수
문대성
김익균
진승헌
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020190036997A priority Critical patent/KR102193969B1/ko
Priority to US16/794,377 priority patent/US20200310652A1/en
Publication of KR20200114746A publication Critical patent/KR20200114746A/ko
Application granted granted Critical
Publication of KR102193969B1 publication Critical patent/KR102193969B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/1666—Error detection or correction of the data by redundancy in hardware where the redundant component is memory or memory area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명에 따른 동적 데이터의 안전한 분산 데이터 관리를 위한 방법은, 원본 데이터를 복수로 분할하는 단계, 데이터 블록들로 구성된 행(row) 단위의 데이터의 상태 정보를 생성하는 단계, 및 상기 상태 정보 및 상기 행 단위의 데이터를 복구하는 위한 부가 정보를 생성하는 단계를 포함하고, 상기 데이터 블록들은 상기 분할된 데이터가 데이터 서버들에 저장되고, 상기 데이터 서버들의 각각은 상기 분할된 데이터를 상기 데이터 서버들의 간격으로 선택된 데이터 블록을 저장하는 것을 특징으로 한다.

Description

동적 데이터의 안전한 분산 데이터 관리를 위한 방법 및 시스템{METHOD AND SYSTEM FOR SECURE DISTRIBUTED DATA MANAGEMENT OF DYNAMIC DATA}
본 발명은 동적 데이터의 안전한 분산 데이터 관리를 위한 방법 및 시스템에 관한 것이다.
일반적으로, 데이터 분산을 통한 원본 데이터 보호 기술의 경우 동일 데이터를 여러 개의 서버에 동시에 저장하는 형태의 가장 기본적인 방법과 RAID 방식과 같이 일부 서버가 훼손되더라도 나머지 서버의 값으로 훼손된 부분 데이터를 복구할 수 있는 기술이 존재한다. 그러나 기존의 다중 서버 기반의 데이터 원본 보호 기술은 정적인 데이터를 대상으로 설계된 경우가 많아 동적인 데이터가 사용되는 응용 환경을 위한 기술로는 한계점이 존재한다.
또한, 단일 서버에서 발생하는 에러의 경우 ECC(error correcting code)를 이용하여 사용자의 요구에 따라 훼손된 데이터를 복원할 수 있다. 다수의 서버에 데이터를 분산하여 저장하는 경우에도 ECC 기술을 이용하여 개별 서버에서 발생한 일부 데이터 훼손에 대응하여 원본 데이터 복원하는 것이 가능하다. 그러나 이와 같은 ECC 기반의 대응 방식의 경우에도 특정 서버에 저 본 발명의 실시 예에 따른 분산 데이터 관리 서버는: 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 인스트럭션을 저장하는 메모리를 포함하고, 상기 적어도 하나의 인스트럭션은, 원본 데이터를 복수로 분할하고; 상기 분할된 데이터에서 데이터 서버들의 각각에 저장되는 데이터 블록들로 구성된 행(row) 단위의 데이터의 상태 정보를 생성하고; 및 상기 상태 정보 및 상기 행 단위의 데이터를 복구하는 위한 부가 정보를 생성하도록 실행되는 것을 특징으로 한다. 그러나 이와 같은 ECC 기반의 대응 방식의 경우에도 특정 서버에 저장된 전체 전체 데이터가 훼손되는 경우를 대응하는 것은 여전히 불가능하다.
공개특허: 10-2017-0077231, 공개일: 2017년 7월 5일, 제목: 스토리지 클라이언트 파일 시스템들을 위한 스토리지 볼륨들의 동적 스케일링. 공개특허: 10-2015-0079950, 공개일: 2015년 7월 8일, 제목: 동적 데이터 저장을 위한 시스템 및 방법. 공개특허: 10-2018-0078991, 공개일: 2018년 7월 10일, 제목: 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템. 미국등록특허: US 10,0783,903, 등록일: 2018년 9월 11일, 제목: Scalable database system for querying time-series data.
C. C. Erway 외 3명, "Dynamic Provable Data Possession", ACM Transactions on Information and System Security, Volume 17 Issue 4, Article 15, PP. 1-29, 2015년 4월.
본 발명의 목적은 데이터 외부 위탁 저장하는 응용 환경에서 데이터가 저장된 스토리지의 안전성 및 안정성에 데이터의 가용성이 저해 받거나 유실되지 않도록 원본 복원을 보장하는 분산 데이터 관리 방법 및 시스템을 제공하는 데 있다.
또한, 본 발명의 목적은 저장된 데이터가 동적으로 변할 때 분산되어 저장된 데이터에 대한 업데이트 제공하는 분산 데이터 관리 방법 및 시스템을 제공하는 데 있다.
또한, 본 발명의 목적은 데이터를 분산하여 저장하기 위한 데이터 인코딩 등 가공 및 부가 데이터 생성 기술과 추가, 삭제, 변경 등 데이터 업데이트를 위한 요소 알고리즘을 갖는 분산 데이터 관리 방법 및 시스템을 제공하는 데 있다.
본 발명의 실시 예에 따른 동적 데이터의 안전한 분산 데이터 관리를 위한 방법은, 원본 데이터를 복수로 분할하는 단계; 데이터 블록들로 구성된 행(row) 단위의 데이터의 상태 정보를 생성하는 단계; 및 상기 상태 정보 및 상기 행 단위의 데이터를 복구하는 위한 부가 정보를 생성하는 단계를 포함하고, 상기 데이터 블록들은 상기 분할된 데이터가 데이터 서버들에 저장되고, 상기 데이터 서버들의 각각은 상기 분할된 데이터를 상기 데이터 서버들의 간격으로 선택된 데이터 블록을 저장하는 것을 특징으로 한다.
실시 에에 있어서, 상기 상태 정보는 적어도 하나의 상태 정보 서버에 저장되는 것을 특징으로 한다.
실시 예에 있어서, 상기 상태 정보는 상기 행 단위의 데이터의 상태를 나타내는 플래그 정보와 상기 데이터 서버들에 저장된 데이터 중에서 상기 원본 데이터에 대응하는 데이터의 개수에 대응하는 원본 데이터 정보를 포함하는 것을 특징으로 한다.
실시 예에 있어서, 상기 플래그 정보는 상기 행 단위의 데이터 중에서 NULL 데이터가 포함되지 않는 경우 비트 '1'로 설정되고, 상기 행 단위의 데이터 중에서 상기 NULL 데이터가 포함되는 경우 비트 '0'으로 설정되는 것을 특징으로 한다.
실시 예에 있어서, 상기 원본 데이터 정보는 업데이트 과정에서 상기 원본 데이터에 상관없이 저장되는 NULL 데이터의 개수를 포함하는 것을 특징으로 한다.
실시 예에 있어서, 상기 부가 정보는 적어도 하나의 부가 데이터 서버에 저장되는 것을 특징으로 한다.
실시 예에 있어서, 상기 데이터 블록들 중에서 어느 하나의 추가, 삭제 혹은 수정에 대응하는 업데이트를 요청하는 단계를 더 포함할 수 있다.
실시 예에 있어서, 상기 데이터 서버들 중에서 어느 하나의 데이터 서버의 데이터 블록을 업데이트 데이터로 변경하는 단계; 및 상기 업데이트 데이터에 대응하여 상기 부가 정보를 업데이트 하는 단계를 더 포함할 수 있다.
실시 예에 있어서, 상기 데이터 블록들 중에서 어느 하나의 삭제를 요청하는 단계; 상기 삭제 요청된 데이터 블록에 대응하는 데이터 서버에 이웃한 데이터 서버의 데이터를 저장하는 단계; 및 상기 데이터 서버들 중에서 마지막 데이터 서버에 NULL 데이터를 저장하는 단계를 더 포함할 수 있다.
실시 예에 있어서, 상기 행 단위의 데이터에 데이터 삽입을 요청하는 단계를 더 포함할 수 있다.
실시 예에 있어서, 상기 삽입 데이터를 추가할 공간이 있을 경우, 추가하고자 하는 데이터 서버에 상기 삽입 데이터를 저장하는 단계를 더 포함할 수 있다.
실시 예에 있어서, 상기 삽입 데이터를 추가할 공간이 없을 경우, 추가하고자 하는 데이터 서버에 상기 삽입 데이터를 저장하고, 상기 데이터 서버들에 새로운 행 단위의 데이터를 생성하는 단계를 더 포함할 수 있다.
실시 예에 있어서, 누적된 NULL 데이터 중에서 삭제 가능한 부분을 제거하기 위한 노이즈를 제거하는 단계를 더 포함할 수 있다.
실시 예에 있어서, 상기 데이터 서버들 중에서 적어도 2개에서 NULL 데이터의 개수가 상기 데이터 서버의 개수와 같거나 클 때, 상기 노이즈를 제거하는 단계가 시작되는 것을 특징으로 한다.
본 발명의 실시 예에 따른 분산 데이터 관리 서버는: 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 인스트럭션을 저장하는 메모리를 포함하고, 상기 적어도 하나의 인스트럭션은, 원본 데이터를 복수로 분할하고; 데이터 블록들로 구성된 행(row) 단위의 데이터의 상태 정보를 생성하고; 및 상기 상태 정보 및 상기 행 단위의 데이터를 복구하는 위한 부가 정보를 생성하도록 상기 적어도 하나의 프로세서에서 실행되고, 상기 데이터 블록들은 상기 분할된 데이터가 데이터 서버들에 저장되고, 상기 데이터 서버들의 각각은 상기 분할된 데이터를 상기 데이터 서버들의 간격으로 선택된 데이터 블록을 저장하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 분산 데이터 관리 서버는: 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 인스트럭션을 저장하는 메모리를 포함하고, 상기 적어도 하나의 인스트럭션은, 원본 데이터를 복수로 분할하고; 상기 분할된 데이터에서 데이터 서버들의 각각에 저장되는 데이터 블록들로 구성된 행(row) 단위의 데이터의 상태 정보를 생성하고; 및 상기 상태 정보 및 상기 행 단위의 데이터를 복구하는 위한 부가 정보를 생성하도록 상기 적어도 하나의 프로세서에서 실행되는 것을 특징으로 한다.
실시 예에 있어서, 상기 데이터 서버들의 각각에는 상기 분할된 데이터가 상기 데이터 서버들의 개수 간격으로 저장되는 것을 특징으로 한다.
실시 예에 있어서, 상기 데이터 블록들 중에서 어느 하나에 데이터 수정에 대응하는 업데이트 요청 시, 상기 데이터 서버들 중에서 상기 업데이트 요청에 대응하는 서버에 업데이트 데이터가 저장되고, 상기 부가 정보는 업데이트 되는 것을 특징으로 한다.
실시 예에 있어서, 상기 데이터 블록들 중에서 어느 하나에 대한 삭제 요청 시, 상기 데이터 서버들 중에서 상기 삭제 요청에 대응하는 데이터 서버를 제외한 나머지 데이터 서버에 저장된 데이터를 한 칸씩 앞선 순서의 데이터 서버에 저장하고, 상기 데이터 서버들 중에서 마지막 서버에 NULL 데이터가 저장되는 것을 특징으로 한다.
본 발명의 실시 예에 따른 분산 데이터 관리 시스템은, 원본 데이터를 분할시킨 데이터 블록들을 저장하는 데이터 서버들; 상기 데이터 서버들의 각각에 저장된 데이터 블록들로 구성된 행 단위의 데이터에 대응하는 상태 정보를 저장하는 상태 정보 서버; 상기 행 단위의 데이터 및 상기 상태 정보를 복구하기 위한 부가 정보를 저장하는 적어도 하나의 부가 데이터 서버; 및 상기 원본 데이터를 분할하고, 상기 데이터 서버들의 개수 간격으로 데이터 블록을 상기 데이터 서버들에 저장시키고, 상기 상태 정보 및 상기 부가 정보를 생성하는 분산 데이터 관리 서버를 포함하고, 상기 데이터 서버들의 각각은 상기 분할된 데이터를 상기 데이터 서버들의 간격으로 선택된 데이터 블록을 저장하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 분산 데이터 관리 방법 및 시스템은, 외부 서비스 제공자의 스토리지에 분산되어 저장되는 동적 데이터에 대한 저장 및 업데이트를 제공할 수 있다.
본 발명의 실시 예에 따른 분산 데이터 관리 방법 및 시스템은, 단순히 연속된 데이터 청크(chunk)를 나누어 분산하여 저장하고 원본 데이터를 저장한 스토리지 외에 원본 데이터 손실에 대응하기 위한 부가정보를 저장한 스토리지 몇 개를 추가로 운영하는 기존의 방식과는 다르게, 동적인 데이터에 유연한 분산 데이터 관리를 제공할 수 있다.
본 발명의 실시 예에 따른 분산 데이터 관리 방법 및 시스템은 동적인 데이터에 대해 효율적으로 동작하는 분산 데이터 관리 기술을 제공할 수 있다.
이하에 첨부되는 도면들은 본 실시 예에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시 예들을 제공한다. 다만, 본 실시예의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도 1은 본 발명의 실시 예에 따라 데이터 분산 데이터 관리 시스템(10)을 예시적으로 보여주는 도면이다.
도 2는 본 발명의 실시 예에 따라 원본 데이터를 복수의 데이터 서버들에 분산하여 저장하는 과정을 예시적으로 보여주는 도면이다.
도 3은 본 발명의 실시 예에 따라 특정 데이터 블록을 다른 정보로 바꾸는 변경 요청에 따른 분산 저장 데이터 업데이트 과정을 예시적으로 보여주는 도면이다.
도 4는 본 발명의 실시 예에 따라 특정 데이터 블록(m09)을 제거하는 삭제 요청에 따라 분산 저장 데이터에 대한 업데이트 과정을 예시적으로 보여주는 도면이다.
도 5a 및 도 5b는 본 발명의 실시 예에 따라 특정 데이터 블록(m*)을 추가하는 삽입 요청에 따라 분산 저장 데이터에 대한 업데이트 과정을 예시적으로 보여주는 도면이다.
도 6은 본 발명의 실시 예에 따라 데이터 업데이트 과정에서 발생한 불필요한 정보를 주기적으로 제거하는 과정을 예시적으로 보여주는 도면이다.
도 7은 동적 데이터의 안전한 관리를 위한 데이터 분산 데이터 관리 시스템의 동작 방법을 예시적으로 보여주는 흐름도이다.
아래에서는 도면들을 이용하여 본 발명의 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 본 발명의 내용을 명확하고 상세하게 기재할 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다.
상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 혹은 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함하다" 혹은 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 혹은 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것들의 존재 혹은 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명의 실시 예에 따른 동적 데이터의 안전한 분산 데이터 관리를 위한 방법 및 시스템은 사용자가 자신의 데이터를 분산된 다수의 서버에 저장함으로써 일부 서버가 DDoS 등과 같은 서비스 저해 공격을 당하더라도 나머지 서버에 저장된 정보를 이용하여 원본 데이터 사용에 제한을 받지 않을 수 있다.
본 발명의 실시 예에 따른 동적 데이터의 안전한 분산 데이터 관리를 위한 방법 및 시스템은, 특히 원본 데이터가 주기적 혹은 비주기적으로 변경되는 동적인 형태의 데이터를 관리하기 위한 효율적인 데이터 업데이트를 할 수 있다.
본 발명의 실시 예에 따른 동적 데이터의 안전한 분산 데이터 관리를 위한 방법 및 시스템의 적용 대상은 사용자가 자신의 데이터를 외부 서버에 위탁하여 저장하는 응용 환경이다. 즉, 사용자는 본인의 데이터를 위탁 서버에 전달하고 본인의 로컬 저장 공간에서는 대응하는 데이터를 삭제한다. 이러한 응용 환경의 특성으로 인해 외부로 위탁된 데이터 원본을 다시 돌려받을 수 있는지의 여부가 사용자 입장에서는 가장 중요한 보안 요소가 된다.
기술의 발전에 따라 스마트 오피스, 클라우드 컴퓨팅 등과 같이 고정된 장소가 아닌 다양한 곳에서의 데이터 가공에 대한 요구 및 관련 서비스가 증가하고 있다. 이에 따라, 동일한 상태로 저장되고 관리되는 정적인 데이터가 아닌 원본에서 지속적으로 버전이 변경되는 동적인 데이터를 지원하는 것 또한 중요한 기능이 되고 있다.
본 발명의 실시 예에 따른 동적 데이터의 안전한 분산 데이터 관리를 위한 방법 및 시스템은, 데이터 외부 위탁 저장하는 응용 환경에서 데이터가 저장된 스토리지의 안전성 및 안정성에 데이터의 가용성이 저해 받거나 유실되지 않도록 하고, 기능적으로는 동적으로 변동되는 데이터에 대한 서비스 지원을 할 수 있다.
도 1은 본 발명의 실시 예에 따라 데이터 분산 데이터 관리 시스템(10)을 예시적으로 보여주는 도면이다. 도 1을 참조하면, 데이터 분산 데이터 관리 시스템(10)은 복수의 데이터 서버들(100), 상태 정보 서버(200), 적어도 하나의 부가 데이터 서버(300), 및 분산 데이터 관리 서버(400)를 포함할 수 있다.
복수의 데이터 서버들(100)은 원본 데이터를 분할시킨 데이터 블록들로 구성된 행(row) 단위 데이터를 저장하도록 구현될 수 있다. 여기서 데이터 블록들의 각각은 복수의 데이터 서버에 저장될 수 있다.
상태 정보 서버(200)는 행 단위의 데이터에 대응하는 상태 정보를 저장하도록 구현될 수 있다. 실시 예에 있어서, 상태 정보는 행 단위의 데이터에 NULL 데이터가 포함되는 지에 관련된 정보를 포함할 수 있다. 즉, 상태 정보는 행 단위의 데이터가 원본 데이터인지 아닌지에 관련된 정보를 포함할 수 있다.
부가 데이터 서버(300)는 행 단위의 데이터 및 상태 정보에 대한 부가 정보를 저장하도록 구현될 수 있다. 예를 들어 부가 정보는 행 단위의 데이터 및 상태 정보를 복구하는데 필요한 정보를 포함할 수 있다.
분산 데이터 관리 서버(400)는 원본 데이터를 데이터 서버들(100)에 저장하기 위하여 복수로 분할하고, 데이터 서버들(100)의 각각에 저장되는 데이터 블록들로 구성된 행 단위의 데이터에 대응하는 상태 정보를 생성하고, 상태 정보 및 분할된 데이터가 훼손되더라도 복구하기 위한 부가 정보를 생성하도록 구현될 수 있다. 실시 예에 있어서, 분산 데이터 관리 서버(400)는 복수의 서버들 중에서 데이터 서버들(100), 상태 정보 서버(200), 부가 데이터 서버(300)를 임의로 결정할 수 있다.
본 발명의 실시 예에 따른 분산 데이터 관리 시스템(10)은, 단순히 연속된 데이터 청크(chunk)를 나누어 분산하여 저장하고 원본 데이터를 저장한 스토리지 외에 원본 데이터 손실에 대응하기 위한 부가정보를 저장한 스토리지 몇 개를 추가로 운영하는 기존의 방식과는 다르게, 동적인 데이터에 유연한 분산 데이터 관리를 제공할 수 있다.
도 2는 본 발명의 실시 예에 따라 원본 데이터를 복수의 데이터 서버들에 분산하여 저장하는 과정을 예시적으로 보여주는 도면이다. 도 2를 참조하면, 복수의 데이터 서버들(100; 110 ~ 160)은 원본 데이터를 저장하도록 구현될 수 있다. 복수의 데이터 서버들(110 ~ 160)의 각각은 원본 메시지(M)를 복수의 조각으로 구분된 메시지들(예를 들어, m1 ~ m24; 데이터 블록)을 정해진 순서에 따라 저장하도록 구현될 수 있다. 실시 예에 있어서, 원본 데이터를 다수의 서버에 분산하여 저장하는 과정은, 각 서버에 저장될 정보들을 생성하는 단계를 포함할 수 있다.
실시 예에 있어서, 원본 파일 M은 같은 크기의 조각으로 나누어질 수 있다. 조각의 크기는 동적인 데이터 변형 과정에서 변형, 추가, 삭제가 이루어지는 정보의 단위로 설정하는 경우 데이터 변형을 위한 동작에 최적화될 수 있다. 하지만, 조각의 크기는 제한되지 않는다고 이해되어야 할 것이다.
각 서버에 저장되도록 나누어진 분할된 데이터를 데이터 블록이라 하겠다. 이렇게 나누어진 조각은 원본 데이터를 보관하는 데이터 서버들(110 ~ 160)에 분산 저장될 수 있다.
실시 예에 있어서, 연속된 데이터 블록이 하나의 서버에 연속적으로 저장되는 것이 아니라, 도 2에 도시된 바와 같이 원본 데이터를 저장하는 서버의 개수를 주기로 각 서버에 저장될 수 있다. 예를 들어, 도 2에 도시된 바와 같이 6개의 서버(110 ~160)가 원본 데이터 저장에 사용되는 경우, 제 1 데이터 서버(Srv1; 110)은 파일 블록 m1, m1+6, m1+12, m1+18, 등과 같이 데이터 서버 개수인 6의 간격으로 선택된 데이터 블록들을 저장할 수 있다. 한편, 원본 데이터를 저장하는 데이터 서버의 개수가 6개로 제한되지 않는다고 이해되어야 할 것이다.
원본 데이터를 관리하기 위한 두 종류의 부가 데이터 관리 서버가 존재할 수 있다. 제 1 종류의 부가 데이터 관리 서버는 상태 정보 서버(200)이고, 제 2 종류의 부가 데이터 서버는 부가 데이터 서버(310, 320)이다.
상태 정보 서버(200)는 동적인 데이터 관리를 위한 데이터 상태 정보를 저장하도록 구현될 수 있다. 도 2에서 Srv0이 상태 정보 서버(200)로써, 상태 정보 서버(200)에 저장된 각각의 상태 정보 블록은 같은 위치의 블록을 관리하기 위한 정보로 이용될 수 있다.
실시 예에 있어서, 상태 정보 블록의 크기는 데이터 블록의 크기와 동일할 수 있다. 상태 정보 블록은 데이터 복원 기능을 위해 관리되는 부가 서버에 저장할 인코딩 데이터 생성을 위해 데이터 블록과 동일 크기일 수 있다. 하지만 상태 정보 블록의 크기가 여기에 제한될 필요는 없다.
한편, 상태 정보의 양이 하나의 상태 정보 블록으로 표현하기 어려운 경우 2 개 이상의 상태 정보 블록들이 사용될 수 있다. 이때 2 개 이상의 상태 정보 블록들의 각각을 저장하는 2개 이상의 서버가 사용될 수 있다. 한편, 도 2에서는 한 개의 블록으로 상태 정보를 표현할 수 있는 경우이다.
상술된 바와 같이, 원본 데이터와 상태 정보 데이터가 결정되고, 두 정보를 표현하기 위한 블록의 개수가 결정되면, 데이터 훼손 복구 비율에 준해 부가 정보(additional data)가 생성될 수 있다.
부가 데이터 서버(310, 320)는 부가 정보를 저장하도록 구현될 수 있다. 도 2에서는, 블록들(s1, m1, m2, m3, m4, m5, m6)서 발생하는 훼손에 대응하기 위해 2개의 부가 정보 블록 e11, e12이 필요한 경우를 예로 보여주고 있다.
한편, 도 2에서는 부가 데이터 서버의 개수가 2이다. 하지만, 본 발명의 부가 데이터 서버의 개수가 여기에 제한되지 않는다고 이해되어야 할 것이다. 동일한 훼손 대응력을 제공하기 위한 부가 정보 블록의 개수는 동일하다. 따라서 도 2에서 도시된 바와 같이 각 서버에서 같은 순서에 존재하는 데이터 블록들은 하나의 집합을 이루어 동적인 데이터 관리 및 데이터 훼손 대응력을 제공할 수 있다. 실시 예에 있어서, 데이터 훼손에 대응하기 위한 데이터 가공 기술은 ECC(error correcting code) 등이 사용될 수 있다.
도 3은 본 발명의 실시 예에 따라 특정 데이터 블록을 다른 정보로 바꾸는 변경 요청에 따른 분산 저장 데이터 업데이트 과정을 예시적으로 보여주는 도면이다. 도 3을 참조하면, 변경 요청(m09
Figure 112019032621716-pat00001
m09')에 따른 분산 저장 데이터 업데이트 과정은 다음과 같이 진행될 수 있다.
우선, 상태 정보 서버(200, Srv0)에 저장된 상태 정보에 대해 간략히 설명하겠다. 기본적으로 상태 정보는 상태를 나타내는 플래그(flag) 정보와 분산 서버에 저장된 데이터 중에 원본 데이터에 대응하는 정보가 아닌 개수를 나타내는 원본 데이터 정보를 포함할 수 있다.
실시 예에 있어서 플래그 정보는 분산 서버들의 같은 열에 모두 원본 데이터의 일부 정보가 저장되어 있는 경우에는 '1' 값을 설정되고, 그렇지 않은 경우 '0'으로 설정될 수 있다. 한편, 플래그에 설정된 값이 여기에 제한되는 않는다고 이해되어야 할 것이다.
실시 예에 있어서, 원본 데이터 정보는 업데이트 과정에서 데이터와 상관없는 NULL 데이터가 저장되는 경우가 발생하는데, NULL 데이터의 개수를 저장할 수 있다.
상술된, 플래그 정보 및 원본 데이터 정보를 이용하여, 분산 서버들의 특정 열에 데이터가 저장된 곳과 데이터와 상관 없는 null 정보가 저장된 곳에 대한 정보가 제공될 수 있다.
또한, 상태 정보의 이용 방법은 사용자가 본인의 데이터 열람 중, 특정 위치의 정보를 변경하고자 하는 경우, 대응하는 블록 데이터를 저장한 서버에게 이전 정보에서 새로운 변경 정보로 바꿀 것을 요청할 수 있다. 대응하는 데이터 저장하고 있는 서버는 단순히 기존 정보에서 새로운 정보로 값을 변경할 수 있다.
이와 더불어, 같은 열에 저장된 값들의 에러 복원을 위한 정보를 저장하는 서버의 경우에는 한 블록의 변경에도 복원을 위한 정보 업데이트를 수행하여 새로운 값으로 갱신될 수 있다. 실시 예에 있어서, 갱신을 위한 정보의 생성은 데이터의 주인이 직접 수행할 수 있다. 다른 실시 예에 있어서, 갱신을 위한 정보의 생성은 중간에 터미널 역할을 수행하는 중계 서버 내지 서비스 대행 서버 등의 third entity가 대신 수행할 수 있다.
도 3에서는 m09을 새로운 값으로 변경하는 요청에 따른 동작을 나타내고 있다. 소속된 열의 에러 대응 정보를 관리하는 두 서버(Srv7, Srv8)에 저장되어 있던 값들이 m09
Figure 112019032621716-pat00002
m09'의 데이터 변경에 따라 업데이트 될 수 있다(e21
Figure 112019032621716-pat00003
e21', e22
Figure 112019032621716-pat00004
e22'). 이 과정에서 대응하는 열에 저장된 원본 데이터 블록 개수의 변화는 없으므로 Srv0에 저장된 값은 변하지 않는다.
도 4는 본 발명의 실시 예에 따라 특정 데이터 블록(m09)을 제거하는 삭제 요청에 따라 분산 저장 데이터에 대한 업데이트 과정을 예시적으로 보여주는 도면이다. 도 4를 참조하면, m09가 삭제되는 경우에 m09가 포함된 열의 정보들은 다음과 같이 변경될 수 있다. 우선 m09를 제외한 나머지 블록들(m10, m11, m12)는 한 칸씩 앞선 순서에 대응하는 서버에 이전에 저장된 값 대신에 저장될 수 있다. 즉, 전체적으로는 한 칸씩 앞으로 밀린 형상으로 분산 서버에 저장되고 마지막 서버에 null 정보가 저장될 수 있다.
결과적으로 대응하는 열에는 1개의 NULL 데이터가 저장되어 있으므로 상태 정보 서버(Srv0)는 0, 1으로 값이 업데이트 될 수 있다. 이는 NULL 데이터가 포함되어 있는 열이며, 1개의 NULL 데이터가 포함되어 있음을 의미한다. 도 3에서 도시된 방법으로 에러 대응 정보 저장 서버(Srv7, Srv8)에 저장된 값들은 변경된 데이터 저장 상태에 맞게 값이 업데이트 되어 저장될 수 있다(e21
Figure 112019032621716-pat00005
e21', e22
Figure 112019032621716-pat00006
e22').
도 5a는 본 발명의 실시 예에 따라 특정 데이터 블록(m*)을 추가하는 삽입 요청에 따라 분산 저장 데이터에 대한 업데이트 과정을 예시적으로 보여주는 도면이다. 도 5a를 참조하면, 새로운 데이터 블록 m*이 m08과 m09 사이에 삽입되는 경우, 새로운 데이터 블록이 추가될 공간에 따라 다르게 수행될 수 있다.
우선, 도 5b에 도시된 바와 같이 기존에 온전한 상태로 되어 있어 상태 정보 서버(Srv0)의 값이 1, 0인 경우, m08 뒤에 m*를 추가하고 나머지는 null로 채울 수 있다. 그리고, 같은 열에 있던 m09, m10, m11, m12는 새로운 열을 만들어 앞에서부터 채우고 나머지 공간은 null로 채울 수 있다. 즉, 하나의 열이 두 개의 열로 변경되며, 이 과정에서 두 열의 상태는 0,3 과 0,2로 설정될 수 있다. 즉, 도 5에서 도시된 바와 같이, 윗 열에는 세 개의 null 정보가 아래 열에는 2개의 null 정보가 저장될 수 있다. 새롭게 생긴 추가 열을 포함하여 변화가 발생한 두 열에 대한 에러 관련 데이터 블록들은 모두 새로 생성하여 대응하는 서버에 추가될 수 있다. 기존에 NULL 데이터 저장되어 있어 데이터를 추가하기 위한 공간이 있던 경우에는 데이터를 추가하고자 하는 위치에 데이터를 삽입하여 데이터 추가 요청이 처리될 수 있다.
도 6은 본 발명의 실시 예에 따라 데이터 업데이트 과정에서 발생한 불필요한 정보를 주기적으로 제거하는 과정을 예시적으로 보여주는 도면이다. 도 6을 참조하면, 누적된 NULL 데이터 중에서 삭제하여 제거할 수 있는 부분을 정리하는 노이즈 제거 과정에 대한 업데이트 과정은 다음과 같이 진행될 수 있다. 노이즈 제거하기 위한 원본 데이터 상태(도 5b 참조)에서 도 6에 도시된 바와 같이 노이즈를 제거한 뒤의 상태로 변경될 수 있다.
2번째와 5번째 두 개의 열에 존재하는 null 블록의 총 개수가 서버의 개수인 6보다 크거나 같은 값이면, 노이즈 제거 과정이 시작될 수 있다. 노이즈가 포함된 두 열 이 포함된 영역을 대상으로 업데이트가 진행될 수 있다. 도 5에서 확인할 수 있는 Red Zone이 그 영역에 대응할 수 있다.
첫 번째 열의 NULL 데이터에서 시작해서 마지막 열의 끝까지가 업데이트 영역에 대응할 수 있다. 시작점과 끝나는 지점은 상태 정보를 통해 알 수 있다.
상술된 바와 같이, 상태 정보를 통해 NULL 데이터의 합이 서버의 개수 이상이 되는 경우 노이즈 제거가 시작되고 첫 번째 열의 NULL 데이터 블록 개수를 참고하여 NULL 데이터 시작 지점을 찾을 수 있다.
업데이트를 위해 각 서버에 저장된 정보 중에서 다른 서버에 저장해야 하는 값을 구분되어야 한다. 도 5a에 도시된 블록들(B1,..., B6)가 여기에 대응할 수 있다.
실시 예에 있어서, 첫 번째 열을 제외한 두 번째 열부터 시작하여 마지막 열에 null이 없는 경우에는 대응하는 블록에 마지막 열까지 포함될 수 있다. 실시 예에 있어서, null이 있는 경우는 이를 제외하고 그 이전 열까지의 정보가 포함될 수 있다. 예를 들어, B2의 경우 두 번째 열 m10에서 시작하여 마지막 열이 null이 아니므로, 마지막 열인 m22를 포함하는 3개 데이터 블록(m10, m16, m22)으로 블록(B2)이 구성될 수 있다. B5의 경우에는 마지막 열이 null 이므로 이전 열 정보인 m19까지 포함된 m13 및 m19로 블록(B5)이 구성될 수 있다. 훼손 대응 정보 저장 서버인 Srv7와 Srv8의 경우에는 Red Zone에 대응하는 모든 정보가 삭제되고 새로운 정보로 채워질 것이다.
또한, 노이즈 제거가 수행되는 과정은 다음과 같이 진행될 수 있다. 상술된 바와 같이 정보의 구획이 나누어지면, 각 서버에 업데이트를 위한 데이터 변경 명령이 전송될 수 있다. 4개의 열에서 3개의 열로 노이즈 제거로 1열이 삭제되는 과정이다. 따라서 전체적으로 열의 개수가 줄어들 수 있다.
상태 정보 서버(Srv0)는 모든 상태 정보를 1, 0 로 업데이트하고, 마지막 열의 경우만 업데이트 이전 null의 개수에서 업데이트 남은 null의 개수를 계산하여 업데이트 할 수 있다.
도 6에 도시된 바와 같이 총 6개의 NULL 데이터 블록이 있던 경우라 마지막 열에 남겨지는 NULL 데이터 블록이 없으므로 다른 열과 마찬가지로 1, 0으로 상태 정보가 설정 될 수 있다. 각 데이터 서버(Srv1 ~ Srv6)에는 앞에서 계산된 B1,..., B6가 순차적으로 저장될 수 있다.
B1은 첫 번째 서버부터 시작하여 업데이트가 적용되는 첫 열에 저장되어 있던 정상 데이터의 개수만큼 지난 위치부터 시작하여 순차적으로 저장될 수 있다.
도 5의 경우 두 번째 열에는 m07, m08 두 값이 null이 아닌 상태로 저장되어 있었으므로 데이터 블록들은 두 칸을 띄어 Srv3부터 시작하여 B1부터 순차적으로 데이터 지정이 될 수 있다. 따라서 도 6에 도시된 바와 같이 Srv4는 B2, Srv5는 B3, Srv6는 B4, Srv1은 B5, Srv2는 B6의 형태로 데이터가 저장될 수 있다. 데이터 저장 이전에 Red Zone에 대응하는 값들이 삭제되고 삭제된 위치에 할당된 값들이 저장될 수 있다. Srv7와 Srv8에는 변경된 정보에 준하여 생성된 값들이 저장될 수 있다.
본 발명의 실시 예에 따른 분산 데이터 관리 장치 및 방법은, 분산 데이터 관리 환경에서 일부 서버의 훼손을 대비하기 위해 훼손 대응 정보를 추가적인 서버에 저장하여 안전성을 확보하는 기술을 사용함으로써, 상시로 데이터 변경이 발생하는 동적인 데이터에 대응하여 분산 데이터 업데이트를 지원하기 위한 데이터 분산 및 관리할 수 있다.
도 7은 동적 데이터의 안전한 관리를 위한 데이터 분산 데이터 관리 시스템의 동작 방법을 예시적으로 보여주는 흐름도이다. 도 1 내지 도 7을 참조하면, 데이터 분산 데이터 관리 시스템(10)의 동작 방법은 다음과 같이 진행될 수 있다.
분산 데이터 관리 서버(400)는 원본 데이터를 데이터 서버들(예를 들어, Srv1 ~ Srv6)에 저장하기 위하여 복수로 분할할 수 있다(S110). 여기서 분할된 데이터, 데이터 블록들은 데이터 서버들(Srv1~ Srv6)의 개수에 대응하는 행(row) 단위로 각 데이터 서버에 저장될 수 있다.
분산 데이터 관리 서버(400)는 데이터 서버들에 저장되는 행 단위의 데이터에 대응하는 상태 정보를 생성할 수 있다(S120). 여기서 상태 정보는 플래그 정보 및 원본 데이터 정보를 포함할 수 있다. 생성된 상태 정보는 상태 정보 서버(예를 들어, Srv0)에 저장될 수 있다.
분산 데이터 관리 서버(400)는 행 단위의 상태 정보 및 분할된 데이터에 대한 부가 정보를 생성할 수 있다(S130). 여기서 부가 정보는 행 단위의 상태 정보 및 분할된 데이터가 훼손되더라도 복구하기 위한 에러 정정 코드를 포함할 수 있다. 생성된 부가 정보는 부가 데이터 서버(예를 들어, Srv7, Srv8)에 저장될 수 있다.
실시 예에 따라서는, 단계들 및/혹은 동작들의 일부 혹은 전부는 하나 이상의 비-일시적 컴퓨터-판독가능 매체에 저장된 명령, 프로그램, 상호작용 데이터 구조(interactive data structure), 클라이언트 및/혹은 서버를 구동하는 하나 이상의 프로세서들을 사용하여 적어도 일부가 구현되거나 혹은 수행될 수 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), SSD(solid state drive), 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령(command)/인스트럭션(instruction)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치(휘발성/비휘발성 메모리)가 포함될 수 있다.
본 발명의 실시 예에 따른 분산 데이터 관리 서버는 적어도 하나의 프로세서, 및 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 인스트럭션을 저장하는 메모리를 포함하고, 적어도 하나의 인스트럭션은, 원본 데이터를 복수로 분할하고, 분할된 데이터에서 데이터 서버들의 각각에 저장되는 데이터 블록들로 구성된 행(row) 단위의 데이터의 상태 정보를 생성하고, 및 상태 정보 및 상기 행 단위의 데이터를 복구하는 위한 부가 정보를 생성하도록 적어도 하나의 프로세서에서 실행될 수 있다.
하나 이상의 비-일시적 컴퓨터-판독가능 매체는 예시적으로 소프트웨어, 펌웨어, 하드웨어, 및/혹은 그것들의 어떠한 조합일 수 있다. 또한, 본 명세서에서 논의된 "모듈"의 기능은 소프트웨어, 펌웨어, 하드웨어, 및/혹은 그것들의 어떠한 조합으로 구현될 수 있다.
본 발명의 실시 예들의 하나 이상의 동작들/단계들/모듈들을 구현/수행하기 위한 하나 이상의 비-일시적 컴퓨터-판독가능 매체 및/혹은 수단들은 ASICs(application-specific integrated circuits), 표준 집적 회로들, 마이크로 컨트롤러를 포함하는, 적절한 명령들을 수행하는 컨트롤러, 및/혹은 임베디드 컨트롤러, FPGAs(field-programmable gate arrays), CPLDs(complex programmable logic devices), 및 그와 같은 것들을 포함할 수 있지만, 여기에 한정되지는 않는다.
한편, 상술 된 본 발명의 내용은 발명을 실시하기 위한 구체적인 실시 예들에 불과하다. 본 발명은 구체적이고 실제로 이용할 수 있는 수단 자체뿐 아니라, 장차 기술로 이용할 수 있는 추상적이고 개념적인 아이디어인 기술적 사상을 포함할 것이다.
10: 분산 데이터 관리 시스템
110 ~ 160, Srv1 ~ Srv6: 데이터 서버
200, Srv0: 상태 정보 서버
300, 310, 320, Srv7, Srv8: 부가 데이터 서버
400: 분산 데이터 관리 서버

Claims (20)

  1. 동적 데이터의 안전한 분산 데이터 관리를 위한 방법에 있어서,
    원본 데이터를 복수로 분할하는 단계;
    데이터 블록들로 구성된 행(row) 단위의 데이터의 상태 정보를 생성하는 단계; 및
    상기 상태 정보 및 상기 행 단위의 데이터를 복구하는 위한 부가 정보를 생성하는 단계를 포함하고,
    상기 데이터 블록들은 상기 분할된 데이터가 데이터 서버들에 저장되고,
    상기 데이터 서버들의 각각은 상기 분할된 데이터를 상기 데이터 서버들의 간격으로 선택된 데이터 블록을 저장하되,
    상기 상태정보는,
    행 단위의 데이터에 NULL 데이터가 포함되는 지에 관련된 정보를 포함하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서,
    상기 상태 정보는 적어도 하나의 상태 정보 서버에 저장되는 것을 특징으로 하는 방법.
  3. 제 1 항에 있어서,
    상기 상태 정보는 상기 행 단위의 데이터의 상태를 나타내는 플래그 정보와 상기 데이터 서버들에 저장된 데이터 중에서 상기 원본 데이터에 대응하는 데이터의 개수에 대응하는 원본 데이터 정보를 포함하는 것을 특징으로 하는 방법.
  4. 제 3 항에 있어서,
    상기 플래그 정보는 상기 행 단위의 데이터 중에서 NULL 데이터가 포함되지 않는 경우 비트 '1'로 설정되고, 상기 행 단위의 데이터 중에서 상기 NULL 데이터가 포함되는 경우 비트 '0'으로 설정되는 것을 특징으로 하는 방법.
  5. 제 3 항에 있어서,
    상기 원본 데이터 정보는 업데이트 과정에서 상기 원본 데이터에 상관없이 저장되는 NULL 데이터의 개수를 포함하는 것을 특징으로 하는 방법.
  6. 제 1 항에 있어서,
    상기 부가 정보는 적어도 하나의 부가 데이터 서버에 저장되는 것을 특징으로 하는 방법.
  7. 제 1 항에 있어서,
    상기 데이터 블록들 중에서 어느 하나의 추가, 삭제 혹은 수정에 대응하는 업데이트를 요청하는 단계를 더 포함하는 방법.
  8. 제 7 항에 있어서,
    상기 데이터 서버들 중에서 어느 하나의 데이터 서버의 데이터 블록을 업데이트 데이터로 변경하는 단계; 및
    상기 업데이트 데이터에 대응하여 상기 부가 정보를 업데이트 하는 단계를 더 포함하는 방법.
  9. 제 1 항에 있어서,
    상기 데이터 블록들 중에서 어느 하나의 삭제를 요청하는 단계를 더 포함하는 방법.
  10. 제 9 항에 있어서,
    상기 삭제 요청된 데이터 블록에 대응하는 데이터 서버에 이웃한 데이터 서버의 데이터를 저장하는 단계; 및
    상기 데이터 서버들 중에서 마지막 데이터 서버에 NULL 데이터를 저장하는 단계를 더 포함하는 방법.
  11. 제 1 항에 있어서,
    상기 행 단위의 데이터에 데이터 삽입을 요청하는 단계를 더 포함하는 방법.
  12. 제 11 항에 있어서,
    상기 삽입 데이터를 추가할 공간이 있을 경우, 추가하고자 하는 데이터 서버에 상기 삽입 데이터를 저장하는 단계를 더 포함하는 방법.
  13. 제 11 항에 있어서,
    상기 삽입 데이터를 추가할 공간이 없을 경우, 추가하고자 하는 데이터 서버에 상기 삽입 데이터를 저장하고, 상기 데이터 서버들에 새로운 행 단위의 데이터를 생성하는 단계를 더 포함하는 방법.
  14. 제 1 항에 있어서,
    누적된 NULL 데이터 중에서 삭제 가능한 부분을 제거하기 위한 노이즈를 제거하는 단계를 더 포함하는 방법.
  15. 제 14 항에 있어서,
    상기 데이터 서버들 중에서 적어도 2개에서 NULL 데이터의 개수가 상기 데이터 서버의 개수와 같거나 클 때, 상기 노이즈를 제거하는 단계가 시작되는 것을 특징으로 하는 방법.
  16. 분산 데이터 관리 서버에 있어서:
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 인스트럭션을 저장하는 메모리를 포함하고,
    상기 적어도 하나의 인스트럭션은,
    원본 데이터를 복수로 분할하고;
    데이터 블록들로 구성된 행(row) 단위의 데이터의 상태 정보를 생성하고; 및
    상기 상태 정보 및 상기 행 단위의 데이터를 복구하는 위한 부가 정보를 생성하도록 상기 적어도 하나의 프로세서에서 실행되고,
    상기 데이터 블록들은 상기 분할된 데이터가 데이터 서버들에 저장되고, 상기 데이터 서버들의 각각은 상기 분할된 데이터를 상기 데이터 서버들의 간격으로 선택된 데이터 블록을 저장하되,
    상기 상태정보는,
    행 단위의 데이터에 NULL 데이터가 포함되는 지에 관련된 정보를 포함하는 것을 특징으로 하는 분산 데이터 관리 서버.
  17. 제 16 항에 있어서,
    상기 데이터 서버들의 각각에는 상기 분할된 데이터가 상기 데이터 서버들의 개수 간격으로 저장되는 것을 특징으로 하는 분산 데이터 관리 서버.
  18. 제 16 항에 있어서,
    상기 데이터 블록들 중에서 어느 하나에 업데이트 요청 시, 상기 데이터 서버들 중에서 상기 업데이트 요청에 대응하는 서버에 업데이트 데이터가 저장되고, 상기 부가 정보는 업데이트 되는 것을 특징으로 하는 분산 데이터 관리 서버.
  19. 제 16 항에 있어서,
    상기 데이터 블록들 중에서 어느 하나에 대한 삭제 요청 시, 상기 데이터 서버들 중에서 상기 삭제 요청에 대응하는 데이터 서버를 제외한 나머지 데이터 서버에 저장된 데이터를 한 칸씩 앞선 순서의 데이터 서버에 저장하고, 상기 데이터 서버들 중에서 마지막 서버에 NULL 데이터가 저장되는 것을 특징으로 하는 분산 데이터 관리 서버.
  20. 원본 데이터를 분할시킨 데이터 블록들을 저장하는 데이터 서버들;
    상기 데이터 서버들의 각각에 저장된 데이터 블록들로 구성된 행 단위의 데이터에 대응하는 상태 정보를 저장하는 상태 정보 서버;
    상기 행 단위의 데이터 및 상기 상태 정보를 복구하기 위한 부가 정보를 저장하는 적어도 하나의 부가 데이터 서버; 및
    상기 원본 데이터를 분할하고, 상기 데이터 서버들의 개수 간격으로 데이터 블록을 상기 데이터 서버들에 저장시키고, 상기 상태 정보 및 상기 부가 정보를 생성하는 분산 데이터 관리 서버를 포함하고,
    상기 데이터 서버들의 각각은 상기 분할된 데이터를 상기 데이터 서버들의 간격으로 선택된 데이터 블록을 저장하되,
    상기 상태정보는,
    행 단위의 데이터에 NULL 데이터가 포함되는 지에 관련된 정보를 포함하는 것을 특징으로 하는 분산 데이터 관리 시스템.
KR1020190036997A 2019-03-29 2019-03-29 동적 데이터의 안전한 분산 데이터 관리를 위한 방법 및 시스템 KR102193969B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190036997A KR102193969B1 (ko) 2019-03-29 2019-03-29 동적 데이터의 안전한 분산 데이터 관리를 위한 방법 및 시스템
US16/794,377 US20200310652A1 (en) 2019-03-29 2020-02-19 Method and system for secure distributed data management of dynamic data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190036997A KR102193969B1 (ko) 2019-03-29 2019-03-29 동적 데이터의 안전한 분산 데이터 관리를 위한 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20200114746A KR20200114746A (ko) 2020-10-07
KR102193969B1 true KR102193969B1 (ko) 2020-12-22

Family

ID=72606001

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190036997A KR102193969B1 (ko) 2019-03-29 2019-03-29 동적 데이터의 안전한 분산 데이터 관리를 위한 방법 및 시스템

Country Status (2)

Country Link
US (1) US20200310652A1 (ko)
KR (1) KR102193969B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117687564A (zh) * 2022-09-05 2024-03-12 华为云计算技术有限公司 一种数据存储方法、装置及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008027335A (ja) * 2006-07-25 2008-02-07 Nec Corp ストレージシステム、ストレージシステムのデータ移行方法、データ移行装置
KR101128998B1 (ko) * 2010-09-15 2012-03-23 케이티하이텔 주식회사 패리티 데이터를 이용한 분산 파일 운용 방법
JP2016095561A (ja) * 2014-11-12 2016-05-26 日本電気株式会社 制御装置、分散データベースシステム、方法およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101506330B1 (ko) * 2008-09-23 2015-03-27 삼성전자 주식회사 데이터 강건성 관리장치와, 데이터 저장 방법 및 데이터 복구 방법
CN103794240B (zh) 2012-11-02 2017-07-14 腾讯科技（深圳）有限公司 在线音频数据的存储方法及装置
US9628350B2 (en) 2014-11-05 2017-04-18 Amazon Technologies, Inc. Dynamic scaling of storage volumes for storage client file systems
KR101951527B1 (ko) 2016-12-30 2019-02-22 주식회사 포스코아이씨티 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008027335A (ja) * 2006-07-25 2008-02-07 Nec Corp ストレージシステム、ストレージシステムのデータ移行方法、データ移行装置
KR101128998B1 (ko) * 2010-09-15 2012-03-23 케이티하이텔 주식회사 패리티 데이터를 이용한 분산 파일 운용 방법
JP2016095561A (ja) * 2014-11-12 2016-05-26 日本電気株式会社 制御装置、分散データベースシステム、方法およびプログラム

Also Published As

Publication number Publication date
US20200310652A1 (en) 2020-10-01
KR20200114746A (ko) 2020-10-07

Similar Documents

Publication Publication Date Title
CN109725822B (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN110750382B (zh) 用于提高数据修复性能的最小存储再生码编码方法及系统
US9626245B2 (en) Policy based hierarchical data protection
CN104598162B (zh) 用于跨存储设备写入数据的方法和系统
US9141679B2 (en) Cloud data storage using redundant encoding
US10949314B2 (en) Method and apparatus for failure recovery of storage device
CN103593256A (zh) 一种基于多层排重的虚机快照备份方法和系统
US10346066B2 (en) Efficient erasure coding of large data objects
CN104052576A (zh) 一种云存储下基于纠错码的数据恢复方法
US11442827B2 (en) Policy-based hierarchical data protection in distributed storage
US11150805B2 (en) System and method for using free space to improve erasure code locality
CN102833281A (zh) 一种分布式自增计数的实现方法、装置及系统
US9529675B2 (en) Data recovery method, data recovery device and distributed storage system
CN104881242A (zh) 数据写入方法及装置
KR102193969B1 (ko) 동적 데이터의 안전한 분산 데이터 관리를 위한 방법 및 시스템
CN108121497B (zh) 存储方法以及存储系统
KR20080050276A (ko) 객체 기반 분산 공유 시스템 및 그의 방법
US10365848B2 (en) Space reservation for distributed storage systems
CN114968119A (zh) 一种数据保护方法、装置、设备及存储介质
CN107329699B (zh) 一种纠删重写方法及系统
US20150331752A1 (en) Method of data storage on cloud data center for reducing processing and storage requirements by engaging user equipment
CN111506450B (zh) 用于数据处理的方法、设备和计算机程序产品
CN111857560A (zh) 用于管理数据的方法、设备和计算机程序产品
KR101741186B1 (ko) 부분 복구가능 부호의 검증이 가능한 데이터 분산 저장 장치 및 방법
CN115756955A (zh) 一种数据备份、数据恢复的方法、装置及计算机设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant