KR20200059731A - Memory DB based Deduplication Block Data Transmission method - Google Patents

Memory DB based Deduplication Block Data Transmission method Download PDF

Info

Publication number
KR20200059731A
KR20200059731A KR1020180144815A KR20180144815A KR20200059731A KR 20200059731 A KR20200059731 A KR 20200059731A KR 1020180144815 A KR1020180144815 A KR 1020180144815A KR 20180144815 A KR20180144815 A KR 20180144815A KR 20200059731 A KR20200059731 A KR 20200059731A
Authority
KR
South Korea
Prior art keywords
data
block data
server
duplication
backup
Prior art date
Application number
KR1020180144815A
Other languages
Korean (ko)
Other versions
KR102220635B1 (en
Inventor
안재훈
박창원
한재승
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020180144815A priority Critical patent/KR102220635B1/en
Publication of KR20200059731A publication Critical patent/KR20200059731A/en
Application granted granted Critical
Publication of KR102220635B1 publication Critical patent/KR102220635B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2066—Optimisation of the communication load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2082—Data synchronisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0618—Block ciphers, i.e. encrypting groups of characters of a plain text message using fixed encryption transformation
    • H04L9/0631—Substitution permutation network [SPN], i.e. cipher composed of a number of stages or rounds each involving linear and nonlinear transformations, e.g. AES algorithms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Retry When Errors Occur (AREA)

Abstract

Provided is a memory DB-based duplication block data transmission method. According to an embodiment of the present invention, in a data duplexing method, block data stored in an original server is de-duplicated, and the de-duplicated block data is transmitted to a backup server in real time. Therefore, non-disruptive backup construction based on non-disruptive real-time data duplication software is enabled, and the security is reinforced and the data processing speed is improved in a block data transmission process when configuring the DR.

Description

메모리 DB 기반 중복 제거 블록 데이터 전송 방법{Memory DB based Deduplication Block Data Transmission method}Memory DB based Deduplication Block Data Transmission method

본 발명은 데이터 이중화 저장 기술에 관한 것으로, 더욱 상세하게는 데이터 이중화 저장 시스템의 장애 발생으로 인한 백업 서버 데이터 손실을 보호하기 위한 방법 및 시스템에 관한 것이다.The present invention relates to a data redundant storage technology, and more particularly, to a method and system for protecting a backup server data loss due to a failure of the data redundant storage system.

데이터 이중화 저장 시스템은 CPU, 스토리지, 제어반 등으로 구성되는 서버 시스템을 이중으로 설계하여, 주 계통의 시스템 장애시 자동으로 부 계통의 시스템으로 서비스를 제공하는 시스템이다.The data redundancy storage system is a system that dually designs a server system composed of a CPU, storage, and control panel, and automatically provides services to a sub-system when a system failure occurs in the main system.

기존 데이터 이중화 저장 시스템의 이중화는 실시간성이 없다. 즉, 기존 데이터 이중화 저장 시스템은 실시간 데이터 동기화 기능을 제공하지 않아 백업 서버 장애 발생시 100% 데이터 복구가 어렵다는 문제가 있다.The redundancy of the existing data redundancy storage system has no real time. That is, the existing data redundant storage system does not provide real-time data synchronization, so it is difficult to recover 100% data when a backup server fails.

또한, 기존 스토리지 DR은 동일 벤더의 제품 간 DR 기능을 지원하고 일부 이기종 스토리지 DR을 지원하는 제품은 DR 구축시 Down Time이 필요하다.In addition, the existing storage DR supports the DR function between products of the same vendor, and some heterogeneous storage DR products require down time when building the DR.

아울러, 무중단 이중화 기술을 사용하지 않아 별도의 Agent 설치가 요구되기 때문에. Agent 설치 시 추가적인 자원 Resource 점유하여 성능 저하를 초래하게 된다.In addition, since an uninterrupted redundancy technology is not used, a separate agent installation is required. When installing the agent, the additional resource is occupied, causing performance degradation.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 기존 운영 시스템 중단, 타벤더 이기종 제품 사용 제한 등을 극복하기 위해, 무중단 실시간 데이터 이중화 소프트웨어 기반의 무중단 백업 구축이 가능하도록 LZ4 압축 알고리즘과 AES 암호화 알고리즘을 활용한 실시간 블록 데이터 전송 방법 및 시스템을 제공함에 있다.The present invention has been devised to solve the above problems, and the object of the present invention is to provide a non-disruptive real-time data duplication software based non-disruptive backup construction to overcome the existing operating system interruption, other vendor heterogeneous product use restrictions, and the like. To provide a method and system for real-time block data transmission using LZ4 compression algorithm and AES encryption algorithm.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 데이터 이중화 방법은, 원본 서버에 저장된 블록 데이터를 중복 제거하는 단계; 중복 제거된 블록 데이터를 실시간으로 백업 서버에 전송하는 단계;를 포함한다.According to an embodiment of the present invention for achieving the above object, the data duplication method, the step of removing duplicate data stored in the original server block; And transmitting the deduplicated block data to the backup server in real time.

그리고, 본 발명의 실시예에 따른 데이터 이중화 방법은, 중복 제거된 블록 데이터를 압축하는 단계;를 더 포함하고, 전송 단계는, 압축된 블록 데이터를 전송할 수 있다.In addition, the data duplication method according to an embodiment of the present invention further includes compressing deduplicated block data, and the transmitting step may transmit the compressed block data.

또한, 본 발명의 실시예에 따른 데이터 이중화 방법은, 압축된 블록 데이터를 암호화 하는 단계;를 더 포함하고, 전송 단계는, 암호화된 블록 데이터를 전송할 수 있다.In addition, the data duplication method according to an embodiment of the present invention further includes the step of encrypting the compressed block data, and the transmitting step can transmit the encrypted block data.

그리고, 본 발명의 실시예에 따른 데이터 이중화 방법은, 백업 서버와 암호키를 관리하는 단계;를 더 포함할 수 있다.In addition, the data duplication method according to an embodiment of the present invention may further include managing a backup server and an encryption key.

또한, 중복 제거 단계는, 유사도 기반으로 블록 데이터를 중복 제거할 수 있다.In addition, the deduplication step may deduplicate block data based on similarity.

그리고, 메모리 DB 기반 Tree Server를 사용하여 비교할 수 있다.And, you can compare using a memory DB-based Tree Server.

또한, 데이터 압축률을 미리 분석하여, 압축 알고리즘 적용 여부를 결정할 수 있다.In addition, it is possible to determine whether to apply a compression algorithm by analyzing the data compression rate in advance.

한편, 본 발명의 다른 실시예에 따른, 데이터 이중화 시스템은, 저장된 블록 데이터를 중복 제거하고, 중복 제거된 블록 데이터를 실시간으로 전송하는 원본 서버; 및 원본 서버가 전송한 블록 데이터를 저장하는 백업 서버;를 포함한다.On the other hand, according to another embodiment of the present invention, the data redundancy system includes: an original server that deduplicates stored block data and transmits the deduplicated block data in real time; And a backup server that stores block data transmitted by the original server.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 무중단 실시간 데이터 이중화 소프트웨어 기반의 무중단 백업 구축이 가능하고, DR 구성 시 블록 데이터 전송과정에서 보안 강화를 위한 블록 데이터 암호화가 가능하며, 모든 백업 및 복구 과정에서 데이터 처리 속도 향상을 위한 압축/압축해제와 중복 제거가 가능해진다.As described above, according to embodiments of the present invention, non-disruptive real-time data duplication software-based non-disruptive backup can be built, and when configuring DR, block data encryption is possible to enhance security during the block data transmission process, and all backups and During the recovery process, compression / decompression and deduplication for speeding up data processing are possible.

도 1은 본 발명의 일 실시예에 따른 메모리 DB 기반 중복 제거 블록 데이터 전송 방법을 구현할 수 있는 데이터 이중화 저장 시스템을 도시한 도면,
도 2는 명령어 인터페이스의 설명에 제공되는 도면,
도 3은 LZ4 압축과 AES 암호화의 설명에 제공되는 도면,
도 4는 Prechecker 모듈의 설명에 제공되는 도면,
도 5는 키 관리 방법의 설명에 제공되는 도면,
도 6은 본 발명의 다른 실시예에 따른 데이터 이중화 저장 방법의 설명에 제공되는 도면이다.1 is a diagram illustrating a data duplication storage system capable of implementing a method for transmitting a deduplication block data based on a memory DB according to an embodiment of the present invention;
2 is a diagram provided for the description of the command line interface,
3 is a diagram provided for explanation of LZ4 compression and AES encryption;
4 is a view provided in the description of the Prechecker module,
5 is a view provided for explaining a key management method,
6 is a view provided for explaining a data duplication storage method according to another embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 메모리 DB 기반 중복 제거 블록 데이터 전송 방법을 구현할 수 있는 데이터 이중화 저장 시스템을 도시한 도면이다.1 is a diagram illustrating a data duplication storage system capable of implementing a method for transmitting a deduplication block data based on a memory DB according to an embodiment of the present invention.

본 발명의 실시예에 따른 데이터 이중화 저장 시스템은, 장애 발생으로 인한 백업 서버 데이터 손실을 보호하기 위해 실시간으로 블록 데이터를 전송하는데, 압축과 암호화를 병행한다.The data redundant storage system according to an embodiment of the present invention transmits block data in real time in order to protect backup server data loss due to a failure, and performs compression and encryption in parallel.

이를 통해 무중단 실시간 데이터 이중화 소프트웨어 기반의 무중단 백업 구축이 가능하며, DR 구성 시 블록 데이터 전송 과정에서 보안 강화를 위한 블록 데이터 암호화가 가능하며, 중복 제거 기능에 의해 모든 백업 및 복구 과정에서 데이터 처리 속도 향상이 가능하다.Through this, non-disruptive real-time data duplication software-based non-disruptive backup can be built, and when DR is configured, block data encryption is possible to enhance security during the block data transmission process, and deduplication function improves data processing speed in all backup and recovery processes. This is possible.

도 1에 도시된 데이터 이중화 저장 시스템에서, 원본 서버(100)로부터 백업 서버(200)로의 데이터 전송은 실시간으로 이루어진다. 실시간 데이터 전송을 통해 실시간 데이터 동기화가 가능하므로, 장애/재해 발생시 100% 데이터 복구가 가능하다.In the data redundant storage system shown in FIG. 1, data transmission from the original server 100 to the backup server 200 is performed in real time. Real-time data synchronization is possible through real-time data transmission, so 100% data recovery is possible in the event of a failure / disaster.

한편, 도 2에 도시된 바와 같이, 명령어 인터페이스 제공으로 인해 손쉬운 DR 제공할 수 있다.On the other hand, as shown in Figure 2, it is possible to provide easy DR due to the provision of a command interface.

본 발명의 실시예에 따른 데이터 이중화 저장 시스템에서는, 블록 데이터 전송 시 유사도 기반 중복 제거를 활용하여 중복 제거된 블록 데이터를 전송함으로써, 네트워크 트래픽을 감소킨다. 이때, 메모리 DB 기반 Tree Server를 사용한 비교를 통해, 보다 빠른 데이터 비교를 수행할 수 있다.In the data redundancy storage system according to an embodiment of the present invention, network traffic is reduced by transmitting deduplicated block data by utilizing similarity-based deduplication when transmitting block data. At this time, it is possible to perform faster data comparison through comparison using a memory DB-based Tree Server.

그리고, 본 발명의 실시예에 따른 데이터 이중화 저장 시스템에서는, 도 1의 하부에 도시된 바와 같이, 원본 서버(100)로부터 백업 서버(200)로의 데이터 전송 시에는, LZ4 압축 알고리즘을 이용하여 고속으로 데이터를 압축한다.And, in the data duplication storage system according to an embodiment of the present invention, as shown in the lower part of FIG. 1, when data is transmitted from the original server 100 to the backup server 200, the LZ4 compression algorithm is used to achieve high speed. Compress data.

뿐만 아니라, 본 발명의 실시예에 따른 데이터 이중화 저장 시스템에서는, 도 1의 하부에 도시된 바와 같이, 원격 DR/클라우드 사이트로의 백업 데이터 전송을 위해서, AES 암호화를 통한 데이터를 암호화한다.In addition, in the data redundant storage system according to an embodiment of the present invention, as shown in the lower part of FIG. 1, data is encrypted through AES encryption for transmission of backup data to a remote DR / cloud site.

도 3에는 원본 서버(100)로부터 백업 서버(200)로의 데이터 전송에 앞서, 데이터에 대한 LZ4 압축과 AES 암호화가 순차적으로 적용되며, 수신된 데이터는 백업 서버(200)에서 AES 복호화된 후 LZ4 압축해제가 이루어짐을 나타내었다.3, prior to data transmission from the original server 100 to the backup server 200, LZ4 compression and AES encryption of data are sequentially applied, and the received data is AES decrypted by the backup server 200 and then LZ4 compression. It showed that the release was done.

한편, 원본 서버(100)는, 도 4에 도시된 바와 같이, Prechecker 모듈로 데이터의 압축률을 미리 분석하여, LZ4 압축 알고리즘 적용 여부를 결정하여, 효율적인 자원 활용을 도모할 수 있다.Meanwhile, as illustrated in FIG. 4, the original server 100 may analyze the compression rate of data in advance with the Prechecker module, determine whether to apply the LZ4 compression algorithm, and promote efficient resource utilization.

나아가, 본 발명의 실시예에 따른 데이터 이중화 저장 시스템에서는, AES 암호화키를 관리하기 위해, RSA 암호화 알고리즘을 활용한 키 관리 기능을 제공한다. 도 5에는 원본 서버(100)와 백업 서버(200)가 RSA 암호화 기반의 공개키&개인키 알고리즘으로 키를 관리하는 방법이 나타나 있다.Furthermore, in the data redundant storage system according to an embodiment of the present invention, in order to manage the AES encryption key, a key management function using an RSA encryption algorithm is provided. 5, the original server 100 and the backup server 200 show a method of managing a key using a public key & private key algorithm based on RSA encryption.

도 6은 본 발명의 다른 실시예에 따른 데이터 이중화 저장 방법의 설명에 제공되는 도면이다.6 is a view provided for explaining a data duplication storage method according to another embodiment of the present invention.

도 6에 도시된 바와 같이, 메모리 DB 기반 Tree Server를 사용하여 파일을 비교하고, 해시 테이블을 비교하여 측정한 유사도 기반으로, 원본 서버(100)의 블록 데이터를 중복 제거한다.As illustrated in FIG. 6, the files are compared using the memory DB-based Tree Server, and the block data of the original server 100 is duplicated based on the similarity measured by comparing the hash tables.

구체적으로, 유사도가 높은 경우에는 백업 서버(200)에 블록 레벨로 데이터를 전송하지만, 유사도가 낮은 경우에는 백업 서버(200)에 파일 레벨로 데이터를 전송한다.Specifically, when the similarity is high, data is transmitted at the block level to the backup server 200, but when the similarity is low, data is transmitted at the file level to the backup server 200.

다음, 중복 제거된 블록 데이터를 LZ4 압축 알고리즘으로 압축한 후, 압축된 블록 데이터를 AES 암호화 한다. 이때, 데이터 압축률을 미리 분석하여, LZ4 압축 알고리즘 적용 여부를 결정할 수 있다.Next, after the deduplicated block data is compressed by the LZ4 compression algorithm, the compressed block data is AES-encrypted. At this time, the data compression rate may be analyzed in advance to determine whether to apply the LZ4 compression algorithm.

그리고, 암호화된 블록 데이터를 실시간으로 백업 서버(200)에 전송한다. 멀티 프로세싱을 활용하여, 압축, 암호화 및 전송 과정은 동시에 수행하여, 실시간 블록 데이터 전송을 가능하게 한다.Then, the encrypted block data is transmitted to the backup server 200 in real time. By utilizing multi-processing, compression, encryption, and transmission processes are performed simultaneously to enable real-time block data transmission.

지금까지, 메모리 DB 기반 중복 제거 블록 데이터 전송을 수행하는 데이터 이중화 저장 시스템 및 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.So far, a preferred embodiment of the data duplication storage system and method for performing memory DB based deduplication block data transmission has been described in detail.

위 실시예에서는, 기존 운영시스템 중단, 타벤더 이기종 제품 사용 제한 등을 극복하기 위해 무중단 실시간 데이터 이중화 소프트웨어 기반의 무중단 백업구축이 가능하도록 LZ4 압축 알고리즘과 AES 암호화 알고리즘을 활용한 실시간 블록데이터 전송 시스템 플랫폼을 제공하였다.In the above embodiment, a real-time block data transmission system platform using LZ4 compression algorithm and AES encryption algorithm to enable non-disruptive real-time data duplication software-based non-disruptive backup construction to overcome the existing operating system interruption, other vendor heterogeneous product use restrictions, etc. Provided.

이에 의해, 무중단 실시간 데이터 이중화 소프트웨어 기반의 무중단 백업 구축이 가능하고, DR 구성 시 블록 데이터 전송과정에서 보안 강화를 위한 블록 데이터 암호화하며, 모든 백업 및 복구 과정에서 데이터 처리 속도 향상을 위한 압축/압축해제와 중복 제거 기능을 제공할 수 있게 된다.Thereby, non-disruptive real-time data duplication software-based non-disruptive backup can be built, and when DR is configured, block data is encrypted to enhance security in the block data transfer process, and compression / decompression is performed to improve data processing speed in all backup and recovery processes. And deduplication.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.On the other hand, the technical idea of the present invention can be applied to a computer-readable recording medium containing a computer program that performs functions of the apparatus and method according to the present embodiment. Further, the technical idea according to various embodiments of the present invention may be implemented in the form of computer-readable codes recorded on a computer-readable recording medium. The computer-readable recording medium can be any data storage device that can be read by a computer and stores data. Of course, the computer-readable recording medium can be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, and the like. In addition, computer-readable codes or programs stored on a computer-readable recording medium may be transmitted through a network connected between computers.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. In addition, various modifications can be implemented by those skilled in the art, and these modifications should not be individually understood from the technical idea or prospect of the present invention.

100 : 원본 서버
200 : 백업 서버100: origin server
200: backup server

Claims (8)

원본 서버에 저장된 블록 데이터를 중복 제거하는 단계;
중복 제거된 블록 데이터를 실시간으로 백업 서버에 전송하는 단계;를 포함하는 것을 특징으로 하는 데이터 이중화 방법.
Deduplication of block data stored in the origin server;
And transmitting the deduplicated block data to the backup server in real time.
청구항 1에 있어서,
중복 제거된 블록 데이터를 압축하는 단계;를 더 포함하고,
전송 단계는,
압축된 블록 데이터를 전송하는 것을 특징으로 하는 데이터 이중화 방법.
The method according to claim 1,
Compressing the deduplicated block data; further comprising,
The transfer phase,
A method for data duplication, characterized by transmitting compressed block data.
청구항 2에 있어서,
압축된 블록 데이터를 암호화 하는 단계;를 더 포함하고,
전송 단계는,
암호화된 블록 데이터를 전송하는 것을 특징으로 하는 데이터 이중화 방법.
The method according to claim 2,
Encrypting the compressed block data; further comprising,
The transfer phase,
A method for data duplication, characterized by transmitting encrypted block data.
청구항 3에 있어서,
백업 서버와 암호키를 관리하는 단계;를 더 포함하는 것을 특징으로 하는 데이터 이중화 방법.
The method according to claim 3,
Managing the backup server and the encryption key; Data duplication method further comprising.
청구항 1에 있어서,
중복 제거 단계는,
유사도 기반으로 블록 데이터를 중복 제거하는 것을 특징으로 하는 데이터 이중화 방법.
The method according to claim 1,
The deduplication step,
A method of data duplication, characterized in that block data is deduplicated based on similarity.
청구항 5에 있어서,
메모리 DB 기반 Tree Server를 사용하여 비교하는 것을 특징으로 하는 데이터 이중화 방법.
The method according to claim 5,
Data duplication method characterized by comparing using memory DB based Tree Server.
청구항 2에 있어서,
데이터 압축률을 미리 분석하여, 압축 알고리즘 적용 여부를 결정하는 것을 특징으로 하는 데이터 이중화 방법.
The method according to claim 2,
A data duplication method characterized by determining whether to apply a compression algorithm by analyzing the data compression rate in advance.
저장된 블록 데이터를 중복 제거하고, 중복 제거된 블록 데이터를 실시간으로 전송하는 원본 서버; 및
원본 서버가 전송한 블록 데이터를 저장하는 백업 서버;를 포함하는 것을 특징으로 하는 데이터 이중화 시스템.
A source server that deduplicates stored block data and transmits deduplicated block data in real time; And
And a backup server storing block data transmitted by the original server.
KR1020180144815A 2018-11-21 2018-11-21 Memory DB based Deduplication Block Data Transmission method KR102220635B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180144815A KR102220635B1 (en) 2018-11-21 2018-11-21 Memory DB based Deduplication Block Data Transmission method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180144815A KR102220635B1 (en) 2018-11-21 2018-11-21 Memory DB based Deduplication Block Data Transmission method

Publications (2)

Publication Number Publication Date
KR20200059731A true KR20200059731A (en) 2020-05-29
KR102220635B1 KR102220635B1 (en) 2021-02-26

Family

ID=70912468

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180144815A KR102220635B1 (en) 2018-11-21 2018-11-21 Memory DB based Deduplication Block Data Transmission method

Country Status (1)

Country Link
KR (1) KR102220635B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102477386B1 (en) * 2022-07-15 2022-12-15 주식회사 노바챔프 A data backup method based on live monitoring and a computer program stored in a computer-readable storage medium inplementing the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5286712B2 (en) * 2007-08-17 2013-09-11 日本電気株式会社 Information evaluation apparatus, information evaluation method, and information evaluation program
KR20150064593A (en) * 2013-12-03 2015-06-11 삼성전자주식회사 Deduplication method using data association and system thereof
JP2016510196A (en) * 2013-03-13 2016-04-04 ジャンプトゥー メディア インコーポレイテッド Secure network communication
KR101667756B1 (en) * 2015-11-04 2016-10-19 한림대학교 산학협력단 Archive file de-duplication apparatus and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5286712B2 (en) * 2007-08-17 2013-09-11 日本電気株式会社 Information evaluation apparatus, information evaluation method, and information evaluation program
JP2016510196A (en) * 2013-03-13 2016-04-04 ジャンプトゥー メディア インコーポレイテッド Secure network communication
KR20150064593A (en) * 2013-12-03 2015-06-11 삼성전자주식회사 Deduplication method using data association and system thereof
KR101667756B1 (en) * 2015-11-04 2016-10-19 한림대학교 산학협력단 Archive file de-duplication apparatus and method

Also Published As

Publication number Publication date
KR102220635B1 (en) 2021-02-26

Similar Documents

Publication Publication Date Title
US20220075534A1 (en) Gateway for Cloud-Based Secure Storage
US9152578B1 (en) Securing data replication, backup and mobility in cloud storage
KR100985169B1 (en) Apparatus and method for file deduplication in distributed storage system
US20190391962A1 (en) Determining chunk boundaries for deduplication of storage objects
US9749300B1 (en) Method and system for immediate recovery of virtual machines encrypted in the cloud
US8762743B2 (en) Encrypting data objects to back-up
US9722788B1 (en) Rekeying encrypted virtual machines in a cloud
US9740880B1 (en) Encrypted virtual machines in a cloud
US20070208918A1 (en) Method and apparatus for providing virtual machine backup
US11386070B2 (en) Method and system for secure data replication data integrity verification
US9881030B2 (en) Distributed archive system, data archive device, and data restoring device with improved restoration and security
US9734156B1 (en) Systems and methods for leveraging data-deduplication capabilities of file systems
WO2012079967A2 (en) Replicating data
CN106681865B (en) Service recovery method and device
CN111708657B (en) System backup and verification method based on block chain query
CN104794143A (en) Agent-free backup technology
US11093342B1 (en) Efficient deduplication of compressed files
US8688753B2 (en) Transformation of logical data objects for storage
KR20200059731A (en) Memory DB based Deduplication Block Data Transmission method
US9324123B2 (en) Storage of keyID in customer data area
US11567687B2 (en) Uninterrupted block-based restore using a virtual container
US10719256B1 (en) Performance of deduplication storage systems
US9569512B2 (en) Methods, devices and computer programs for optimizing the replication of data in computer systems
US20240232352A1 (en) Malware detection on encrypted data
US20200349267A1 (en) Shredding system and method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant