KR101953548B1 - 네트워크 트래픽 기록 장치 및 그 방법 - Google Patents

네트워크 트래픽 기록 장치 및 그 방법 Download PDF

Info

Publication number
KR101953548B1
KR101953548B1 KR1020160017135A KR20160017135A KR101953548B1 KR 101953548 B1 KR101953548 B1 KR 101953548B1 KR 1020160017135 A KR1020160017135 A KR 1020160017135A KR 20160017135 A KR20160017135 A KR 20160017135A KR 101953548 B1 KR101953548 B1 KR 101953548B1
Authority
KR
South Korea
Prior art keywords
data
divided
hash
integrity verification
deduplication
Prior art date
Application number
KR1020160017135A
Other languages
English (en)
Other versions
KR20170095570A (ko
Inventor
이주영
김익균
김종현
최선오
최양서
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160017135A priority Critical patent/KR101953548B1/ko
Priority to US15/360,957 priority patent/US20170235640A1/en
Publication of KR20170095570A publication Critical patent/KR20170095570A/ko
Application granted granted Critical
Publication of KR101953548B1 publication Critical patent/KR101953548B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G06F16/134—Distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/022—Capturing of monitoring data by sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/82—Solving problems relating to consistency

Abstract

본 발명의 실시예에 따른 일정 단위의 원본 데이터로부터 하나의 데이터 블록을 생성하고 하나의 데이터 블록을 미리 정한 단위로 분할하는 데이터 분할부; 상기 하나의 데이터 블록단위로 데이터 무결성 검증 정보를 생성하는 데이터 무결성 검증 정보 생성부; 및 상기 하나의 데이터 블록 단위로 중복제거 대상 데이터에 대한 중복제거를 수행하는 데이터 중복 제거 인코딩부를 포함할 수 있다.

Description

네트워크 트래픽 기록 장치 및 그 방법{Network traffic recording device and method thereof}
본 발명은 네트워크 트래픽 기록 장치 및 그 방법에 관한 것으로, 보다 상세하게는 중복 데이터를 제거하여 저장한 후 원본 데이터 복원 시 복원된 데이터의 무결성을 보장할 수 있는 기술에 관한 것이다.
스마트폰, 태블릿 PC 등과 같은 기기의 발전으로, 이들 기기를 이용한 모바일 데이터 트래픽 또한 급격하게 증가하고 있는 실정이다. 이러한 모바일 데이터 트래픽 증가는 무선 네트워크 환경에서 심각한 망 부하를 일으킬 수 있다.
특히, 하나의 기지국(또는 중계기)이 다수의 단말을 관리하는 네트워크 구조에서, 기지국은 자신의 커버리지 안에 있는 모든 단말로 데이터 트래픽을 전달하기 때문에 단말의 수 및 단말에서 제공받는 데이터가 증가할수록 기지국에서는 심각한 병목현상이 일어나게 된다. 이로 인해, 기지국에서 단말에게 데이터 전달을 위한 시간이 지연될 뿐만 아니라 각 단말에게 데이터를 전달하기 위한 대역폭 또한 줄어들어 단말들은 양질의 서비스를 받을 수가 없게 된다.
이러한 문제를 해결하기 위해 네트워크-레벨의 중복 제거(redundancy elimination: RE) 알고리즘이 있다. 이러한 중복 제거 알고리즘은 네트워크 계층 관점에서 중복되는 트래픽을 효과적으로 제거하여 네트워크 내부의 트래픽을 줄일 수 있다.
또한, 보관해야 할 데이터의 양이 급격히 증가함에 따라, 중복되는 데이터를 제거하여 저장하면서 필요 시 원본 데이터를 복원할 수 있도록 함으로써 저장에 필요한 스토리지를 절감할 수 있을 뿐 아니라 네트워크를 통해서 데이터를 전송 시에도 원본 데이터를 보내는 것에 비해 상대적으로 전송 시간을 줄일 수 있는 등 여러 장점을 갖는다.
그러나 중복 제거된 데이터를 복원한 후 복원된 데이터의 무결성을 검증하는 것이 필요하다. 최근 디지털 데이터가 법적 증거 자료로 활용되는 경우가 많아지면서, 저장된 데이터의 무결성을 증명할 필요가 더욱 발생하고 있다. 또한 상기와 같이 데이터 보관 시 중복되는 데이터를 제거하고 저장하는 경우에서도 중복성을 판단하기 위해 많이 사용하는 해시(Hash) 함수는 충돌가능성이 있는 것으로 알려져 있어, 복원된 데이터가 원본과 동일한 데이터임을 판단할 필요가 있지만, 종래의 기술은 이와 같은 무결성 증명방법을 제공하지 않고 있다.
특허등록번호 KR 10-14658910000호
본 발명의 실시예는 중복 데이터를 제거 시에 원본 데이터로부터 무결성 검증을 위한 무결성 검증정보를 생성하여 저장하고 데이터 복원 시 무결성 검증정보를 이용하여 복원 데이터의 무결성 검증을 수행하는 네트워크 트래픽 기록 장치 및 그 방법을 제공하고자 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따른 일정 단위의 원본 데이터로부터 하나의 데이터 블록을 생성하고 하나의 데이터 블록을 미리 정한 단위로 분할하는 데이터 분할부; 상기 하나의 데이터 블록단위로 데이터 무결성 검증 정보를 생성하는 데이터 무결성 검증 정보 생성부; 및 상기 하나의 데이터 블록 단위로 중복제거 대상 데이터에 대한 중복제거를 수행하는 데이터 중복 제거 인코딩부를 포함할 수 있다.
상기 데이터 분할부는, 상기 하나의 데이터 블록을 제 1 분할 데이터 단위로 분할하고, 상기 제 1 분할 데이터 중에서 중복제거 비대상이 되는 제 2 분할데이터와 중복제거 대상이 되는 제 3 분할 데이터로 구분하여 분할할 수 있다.
상기 데이터 무결성 검증 정보 생성부는, 상기 데이터 블록마다의 모든 제 2 분할데이터와 상기 제 3 분할 데이터 각각에 대해 암호 해시를 적용하여 해시 값(hash value)을 생성할 수 있다.
상기 데이터 무결성 검증 정보 생성부는, 상기 데이터 무결성 검증 정보를 상기 데이터 블록마다 병렬로 생성할 수 있다.
상기 중복제거 인코딩부는, 상기 데이터 블록 단위로 중복 제거 데이터 인코딩을 수행하고, 상기 중복 제거 데이터 인코딩 수행 결과로부터 획득되는 해시 테이블에 대한 해시 테이블 인코딩 절차를 수행할 수 있다.
상기 중복제거 인코딩부는, 상기 데이터 블록 단위로 중복 제거 데이터 인코딩을 수행하기 위해, 상기 제 2 분할 데이터의 값을 그대로 출력버퍼에 저장하고, 상기 제 3 분할 데이터에 대해 중복 제거 절차를 수행할 수 있다.
상기 중복제거 인코딩부는, 상기 제 3 분할 데이터에 대해 중복 제거 절차를 수행하기 위해, 상기 제 3 분할 데이터의 해시값이 상기 해시 테이블에 존재하는지를 판단하고, 상기 해시 값이 상기 해시 테이블에 존재하는 경우 상기 해시 테이블에서 상기 해시 값의 인덱스를 구하여 상기 인덱스를 출력버퍼에 저장할 수 있다.
상기 중복제거 인코딩부는, 상기 해시 값이 상기 해시 테이블에 존재하지 않는 경우, 상기 해시값(Key), 상기 해시값의 원본 데이터인 제 3 분할데이터(Value), 상기 제 3 분할 데이터의 길이(Length)로 구성된 튜플을 상기 해시테이블에 저장하고, 상기 해시테이블에서 상기 튜플의 저장 위치를 상기 튜플에 대한 인덱스로서 구할 수 있다.
상기 중복제거 인코딩부는, 상기 해시 테이블 인코딩 절차를 위해, 상기 해시 테이블에 포함된 튜플의 개수를 출력버퍼에 저장할 수 있다.
상기 중복제거 인코딩부는, 상기 해시 테이블 인코딩 절차를 위해, 상기 해시 테이블의 튜플 중 상기 해시값의 원본 데이터인 제 3 분할데이터, 상기 원본 데이터인 제 3 분할데이터의 길이만으로 구성된 튜플의 각 행을 상기 출력버퍼에 저장한다.
데이터 복원 요청 시 중복제거된 데이터를 원본 데이터대로 복원하는 중복 제거 복원 디코딩부를 더 포함할 수 있다.
상기 중복 제거 복원 디코딩부는, 상기 중복 제거 데이터 인코딩 수행 결과 및 상기 해시 테이블 인코딩 절차에 대한 결과를 이용하여 중복 제거된 데이터를 복원할 수 있다.
상기 중복 제거 복원 디코딩부는, 상기 제 2 분할데이터를 읽어 결과 버퍼에 저장하고, 상기 제 3 분할데이터에 대해 중복 제거 복원 절차를 수행할 수 있다.
상기 중복 제거 복원 디코딩부는, 상기 제 3 분할데이터에 대해 중복 제거 복원을 위해, 상기 해시 테이블에서 인덱스값에 매핑되는 원본 데이터인 상기 제 3 분할 데이터의 길이(Length), 상기 해시 값의 원본데이터인 제 3 분할데이터(Value)를 이용해 상기 제 3 분할데이터의 원본 데이터를 확보할 수 있다.
상기 중복 제거 복원 디코딩부는, 상기 중복 제거된 데이터 블록의 일부의 제 1 분할데이터를 복원하는 경우, 상기 일부 복원을 원하는 제 1 분할 데이터가 상기 중복 제거된 데이터 블록에서 몇 번째 제 1 분할데이터인지를 판단하고, 상기 중복 제거된 데이터 블록에서 복원을 원하는 상기 제 1 분할데이터의 저장 위치를 계산하고, 상기 계산된 저장위치의 제 1 분할데이터에 대한 중복 제거 복원을 수행할 수 있다.
상기 복원된 데이터 블록에 대해 상기 데이터 무결성 검증 정보를 이용하여 무결성 여부 판정을 수행하는 데이터 무결성 검증부를 더 포함할 수 있다.
상기 데이터 무결성 검증부는, 상기 복원된 데이터 블록에 대한 무결성 검증을 위해, 상기 복원된 데이터 블록의 제 2 분할데이터와 제 3분할 데이터에 대한 해시와 상기 원본 데이터로부터 생성된 데이터 블록의 무결성 검증 정보가 동일한지를 판정하여 무결성 여부를 검증할 수 있다.
상기 데이터 무결성 검증부는, 상기 복원된 일부의 제 1 분할데이터에 대한 무결성 검증을 위해, 상기 복원된 일부의 제 1 분할 데이터의 제 2 분할데이터와 제 3 분할데이터에 대한 해시와 상기 원본 데이터로부터 생성된 데이터 블록의 일부의 제 1 분할데이터의 무결성 검증정보를 비교하여 무결성 여부를 검증할 수 있다.
본 발명의 실시예에 따른 네트워크 트래픽 기록장치는 일정 단위의 원본 데이터로부터 하나의 데이터 블록을 생성하고 하나의 데이터 블록을 미리 정한 단위로 분할하는 데이터 분할부; 상기 하나의 데이터 블록단위로 데이터 무결성 검증 정보를 생성하는 데이터 무결성 검증 정보 생성부; 및 상기 하나의 데이터 블록 단위로 중복제거 대상 데이터에 대한 중복제거를 수행하는 데이터 중복 제거 인코딩부; 데이터 복원 요청 시 중복제거된 데이터를 원본 데이터대로 복원하는 중복 제거 복원 디코딩부; 및 상기 복원된 데이터에 대해 상기 데이터 무결성 검증 정보를 이용하여 무결성 여부 판정을 수행하는 데이터 무결성 검증부를 포함할 수 있다.
본 발명의 실시예에 따른 네트워크 트래픽 저장 방법은 일정 단위의 원본 데이터로부터 하나의 데이터 블록을 생성하고 하나의 데이터 블록을 미리 정한 단위로 분할하는 단계; 상기 하나의 데이터 블록단위로 데이터 무결성 검증 정보를 생성하는 단계; 상기 하나의 데이터 블록 단위로 중복제거 대상 데이터에 대한 중복제거를 수행하는 단계; 데이터 복원 요청 시 중복제거된 데이터를 원본 데이터대로 복원하는 단계; 및 상기 복원된 데이터에 대해 상기 데이터 무결성 검증 정보를 이용하여 무결성 여부 판정을 수행하는 단계를 포함할 수 있다.
본 기술은 네트워크 트래픽을 기록 시, 중복되는 데이터를 제거하여 기록함으로써 소요되는 스토리지 공간을 최소화할 수 있다.
또한 본 기술은 네트워크 트래픽의 중복 데이터를 제거하여 저장함과 동시에 저장하는 원본 데이터의 무결성 검증 정보를 생성하여, 추후 원본 데이터 복원 시 미리 저장한 해당 원본 데이터의 무결성 검증 정보를 이용하여 원본 데이터 무결성을 검증함으로써 저장된 데이터의 신뢰성 및 이에 따른 데이터 활용도를 증가시킬 수 있다.
또한, 본 기술은 저장된 네트워크 트래픽이 향후 네트워크 포렌식 수사의 대상이 되거나 법적 증거로 채택될 때, 데이터의 무결성을 검증할 수 있다.
도 1은 본 발명의 실시예에 따른 네트워크 트래픽 기록 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 분할 데이터의 구조를 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 해시 함수를 이용한 무결성 검증정보 생성을 위한 해시 트리를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 데이터 블록의 예시도이다.
도 5는 본 발명의 실시예에 따른 제 3 분할 데이터를 이용한 해시 테이블의 예시도이다.
도 6은 본 발명의 실시예에 따른 데이터 블록의 중복 제거 데이터 인코딩 예시도이다.
도 7은 본 발명의 실시예에 따른 해시 테이블 인코딩 예시도이다.
도 8은 본 발명의 실시예에 따른 네트워크 트래픽 기록 장치의 처리 방법을 나타내는 순서도이다.
도 9는 본 발명의 실시예에 따른 분산 자원 관리 시스템을 적용한 컴퓨터 시스템의 구성도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 도 1 내지 도 9를 참조하여, 본 발명의 실시예들을 구체적으로 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 네트워크 트래픽 기록 장치의 구성도이다.
도 1을 참조하면 본 발명의 실시예에 따른 네트워크 트래픽 기록 장치는 데이터 분할부(110), 데이터 무결성 검증 정보 생성부(120), 데이터 중복 제거 인코딩부(130), 데이터 관리부(140), 중복 제거 복원 디코딩부(150), 데이터 무결성 검증부(160)를 포함한다.
데이터 분할부(110)는 입력 네트워크 트래픽을 버퍼링하다가 일정 단위의 데이터 크기가 모아지면 하나의 데이터 블록을 생성하고, 도 2와 같이 하나의 데이터 블록에 대해 제1 분할데이터, 제2 분할데이터, 제3 분할데이터로 데이터를 분할한다.
도 2를 참조하면 데이터 분할부(110)는 데이터 블록을 미리 정의된 단위로 분할하여 제1 분할데이터를 생성하고, 생성된 제1 분할데이터 중에서 중복제거 비대상이 되는 데이터를 제2 분할데이터로 분류한다.
그 후 데이터 분할부(110)는 제1 분할데이터 중에서 중복제거 대상이 되는 데이터를 제3 분할데이터로 분류하고, 제3 분할데이터는 하나 이상의 데이터로 추가 분할될 수 있다.
데이터 무결성 검증 정보 생성부(120)는 도 2의 데이터 블록 단위로 데이터 무결성 검증 정보를 생성한다. 데이터 무결성 검증 정보 생성부(120)는 데이터 블록의 모든 제2 분할데이터와 제3 분할데이터 각각에 대해 암호 해시를 적용하여 해시 값을 생성한다. 이 해시 값들이 도 3의 해시 트리에서 최하단 노드(leaves)가 된다.
데이터 무결성 검증 정보 생성부(120)는 데이터 블록의 데이터 시퀀스를 유지하면서, 상기 제2 분할데이터의 해시 값과 상기 제3 분할데이터의 해시 값들을 이용해 해시 체인을 생성한다. 데이터 무결성 검증 정보 생성부(120)는 해시 체인을 생성함에 있어 최 하단 노드 상부의 제1 상위 노드는 제1 분할데이터 별로 하나씩 생성할 수 있다. 데이터 무결성 검증 정보 생성부(120)는 이후 상위 노드 체인 생성 시, 하나의 상위 노드 계산에 연결할 하위 노드의 수를 설정할 수 있다.
데이터 무결성 검증 정보 생성부(120)는 이러한 해시 체인 처리를 통해 해시 트리를 구축하고, 최상위 노드가 하나가 될 때까지 체인을 생성한다. 이때 최상위 노드를 루트 해시로 한다. 도 3에 도시된 바와 같이, 데이터 블록의 전체에 대한 무결성 확인을 위한 무결성 검증 정보는 루트 해시(210)를 사용할 수 있다. 또한, 데이터 블록 일부에 대한 무결성 검증 정보는 해시 트리 중 데이터 블록의 일부분에 대한 해시 값들로 구성된 서브 해시 트리(220, 230)의 최상위 해시를 사용할 수 있다. 또한, 데이터 무결성 검증 정보 생성부(120)는 무결성 검증 정보를 생성하기 위한 절차를 병렬 처리로 수행할 수 있다.
데이터 중복 제거 인코딩부(130)는 데이터 블록 당 중복 제거 데이터 인코딩과 해시 테이블 인코딩을 수행하여, 데이터 블록당 중복 제거 데이터 인코딩 결과와 해시 테이블 인코딩 결과를 포함하는 중복 제거 데이터 블록을 생성한다.
도 4는 제 2 분할데이터와 제 3 분할 데이터를 포함하는 데이터 블록의 예시도이고, 도 5는 본 발명의 실시예에 따른 제 3 분할 데이터를 이용한 해시 테이블의 예시도이다. 도 5를 참조하면 해시 테이블의 각 행은 해시 값(Key), 해당 해시 값에 대한 원본 데이터(Value), 원본 데이터인 제 3 분할데이터의 길이(Length)의 튜플로 구성된다. 해시 값은 해시 테이블 내에서 유일한 값이다.
데이터 중복 제거 인코딩부(130)는 데이터 블록의 중복 제거 대상인 제 3 분할데이터에 대해서만 중복 제거 절차를 수행한 후, 데이터 블록의 모든 제 1 분할데이터에 대해 중복 제거 데이터 인코딩 절차를 각각 반복 수행한다.
이때, 데이터 중복 제거 인코딩부(130)에 의한 중복 제거 데이터 인코딩 절차는 아래와 같다.
먼저, 데이터 중복 제거 인코딩부(130)는 데이터 중복 제거 인코딩부(130)는 제2 분할데이터의 값은 그대로 출력버퍼(미도시)에 기록한다. 이때, 출력버퍼는 도시되어 있지는 않으나 일반적인 버퍼로서 그 구체적인 설명은 생략하기로 한다. 한편, 데이터 중복 제거 인코딩부(130)는 제3 분할데이터에 대해 다음의 중복 제거 절차를 수행한다.
데이터 중복 제거 인코딩부(130)의 중복 제거 절차를 구체적으로 설명하면 아래와 같다.
먼저, 데이터 중복 제거 인코딩부(130)는 제3 분할데이터의 해시 값이 해시 테이블에 존재하는지 판단한다. 해시 값이 해시 테이블에 존재하지 않는 경우, 데이터 중복 제거 인코딩부(130)는 해시 값(Key), 해시 값의 원본 데이터인 제 3 분할데이터(Value), 원본 데이터인 제 3 분할데이터의 길이(Length)를 포함하는 튜플을 도 5의 해시테이블에 저장하고, 해시테이블 상에서 튜플의 저장 위치를 이 튜플에 대한 인덱스(index)로서 출력버퍼에 저장한다.
반면, 해시 값이 해시 테이블에 존재하는 경우, 데이터 중복 제거 인코딩부(130)는 해시 테이블에서 해시 값(Key)의 인덱스를 구하고, 인덱스를 출력버퍼에 저장한다. 이때,, 제 3 분할데이터가 적어도 2개 이상으로 추가 분할되어 있는 경우 인덱스를 구하는 과정을 반복 수행한다. 이러한 데이터 블록의 중복 제거 인코딩 절차에 의한 결과는 도 6과 같이 도시될 수 있다.
그 후 데이터 중복 제거 인코딩부(130)는 중복 제거 인코딩 절차를 통해 최종 얻어진 해시 테이블에 대해, 해시 테이블 인코딩 절차를 수행한다. 해시 테이블 인코딩 절차를 위해, 먼저, 데이터 중복 제거 인코딩부(130)는 해시 테이블에 포함된 튜플의 개수를 출력버퍼에 저장한다. 해시 테이블의 튜플 중, 해시 값의 원본 데이터인 제 3 분할데이터(Value), 원본 데이터인 제 3 분할데이터의 길이(Length) 만으로 구성된 튜플의 각 행을 출력버퍼에 저장한다. 이때, 출력 버퍼의 데이터가 데이터 블록에 대한 중복 제거 데이터 블록이 된다. 도 7은 해시 테이블 인코딩 절차에 의한 해시 테이블 인코딩 결과를 도시한다.
데이터 관리부(140)는 데이터가 기록된 후 해당 데이터의 변경을 방지하는 기능을 제공하고, 스토리지 빈 공간이 설정 크기 이하일 때 데이터를 자동 삭제함으로써 네트워크 트래픽 지속적으로 저장(레코딩) 될 수 있도록 한다.
이때, 데이터 관리부(140)는 데이터의 저장 후 해당 데이터에 대한 변경 방지를 위해, 스토리지의 특정 영역을 가상 볼륨으로 할당(creation)하고, 가상 볼륨에 데이터를 기록(write) 후, 가상볼륨을 닫으면(close) 가상 볼륨 내의 데이터를 더 이상 수정할 수 없도록 한다.
한편, 스토리지 빈 공간이 설정크기 이하일 때 데이터를 자동 삭제하기 위해 가상 볼륨 단위로 데이터를 삭제하고, 가장 오래된 가상 볼륨부터 삭제한다.
데이터 관리부(140)는 데이터 무결성 검증 정보 생성부(120)에서 생성한 데이터 무결성 검증 정보와 데이터 중복 제거 인코딩부(130)에서 생성한 중복 제거 데이터 블록을 내부의 스토리지(미도시)에 저장한다.
중복 제거 복원 디코딩부(150)는 중복이 제거된 데이터 블록의 중복 제거 데이터 인코딩 결과와 해시 테이블 인코딩 결과를 이용해 중복이 제거된 데이터의 원본을 복원한다. 중복 제거된 데이터의 복원 디코딩 절차를 수행하기 위해 중복 제거 복원 디코딩부(150)는 데이터 블록의 각 제1 분할데이터에 대해서 제2 분할데이터를 읽어 결과버퍼에 기록하고, 제 3 분할데이터에 대해 중복 제거 복원 절차를 수행한다.
제 3 분할 데이터에 대한 중복 제거 복원 절차를 수행하기 위해, 중복 제거 복원 디코딩부(150)는 먼저 인덱스 값을 읽고, 해시 테이블에서 해당 인덱스와 매핑된 원본 데이터인 제 3 분할데이터의 길이(Length)와 해시 값의 원본 데이터인 제3 분할데이터(Value)를 이용해서 각 제 3 분할데이터의 원본 데이터를 확보한다. 이 후 중복 제거 복원 디코딩부(150)는 확보한 원본 데이터를 결과버퍼에 기록한다. 여기서 결과버퍼에 기록된 데이터가 중복 제거된 데이터 블록의 복원 데이터가 된다.
이때, 제 3 분할데이터가 두 개 이상의 데이터로 분할되어 있는 경우, 중복 제거 복원 디코딩부(150)는 상술한 제 3 분할 데이터에 대한 중복 제거 복원 절차를 반복 수행한다. 또한, 제 1 분할 데이터가 두 개 이상인 경우, 중복 제거 복원 디코딩부(150)는 제 2 분할 데이터를 읽어와 기록하는 과정, 제 3 분할 데이터에 대한 중복 제거 복원 절차를 반복 수행한다.
한편, 중복 제거된 데이터 블록의 일부 제 1 분할데이터를 복원하기 위해, 중복 제거 복원 디코딩부(150)는 일부 복원을 원하는 제1 분할데이터가 중복 제거된 데이터 블록에서 몇 번째 제1 분할데이터인지를 확인한다. 그 후, 중복 제거 복원 디코딩부(150)는 중복 제거된 데이터 블록에서 복원을 원하는 일부의 제 1 분할데이터의 저장위치를 계산한다. 이때, 복원을 원하는 일부의 제 1 분할데이터의 저장위치를 계산하기 위한 방법은 아래 수학식 1과 같다.
Figure 112016014679457-pat00001
복원할 제1 분할데이터 (n번째): c n
복원할 제1 분할데이터 위치: location(c n )
i 번째 제1 분할데이터의 제2 분할데이터 길이: len(nd i )
i 번째 제1 분할데이터의 제3 분할데이터 개수: count(d i )
인덱스를 저장하는 데이터 구조의 크기: sizeof(idx)
중복 제거 복원 디코딩부(150)는 중복 제거된 데이터 블록에서 복원하고자 하는 제1 분할 데이터를 획득해 상술한 중복 제거 복원 디코딩 절차를 수행한다.
데이터 무결성 검증부(160)는 중복 제거 복원 디코딩부(150)에서 복원한 데이터 블록에 대한 무결성 여부 판정 및 복원한 일부 제1 분할데이터에 대한 무결성 여부 판정을 수행한다.
먼저, 복원한 데이터 블록에 대한 무결성 여부 판정 절차를 수행하기 위해, 데이터 무결성 검증부(160)는 중복 제거 복원 디코딩부(150)에서 복원한 각 제2 분할데이터와 제3 분할데이터에 대한 해시를 생성하기 위해 데이터 무결성 검증 정보 생성부(120)에 데이터를 전달한다. 이에 대한 결과로 위해 데이터 무결성 검증 정보 생성부(120)로부터 복원한 데이터 블록에 대한 루트 해시를 얻는다.
이어서, 데이터 무결성 검증부(160)는 데이터 관리부에서 원본 데이터 블록에 대한 무결성 검증 정보를 획득한다. 그 후, 데이터 무결성 검증부(160)는 복원한 데이터 블록의 상기 루트 해시와 원본 데이터 블록의 상기 무결성 검증 정보가 동일한지 확인하다. 이어, 데이터 무결성 검증부(160)는 확인 결과 동일하면 복원한 데이터가 무결한 것으로, 동일하지 않으면 중복 제거 복원이 실패한 것으로 판정한다.
한편, 복원한 일부의 제1 분할데이터에 대한 무결성 여부 판정 절차를 수행하기 위해, 데이터 무결성 검증부(160)는 복원한 일부 제1 분할데이터의 제2 분할데이터와 제3 분할 데이터에 대한 해시와 해시체인을 생성하기 위해 데이터 무결성 검증 정보 생성부에 데이터를 전달한다. 이에 대한 결과로 생성된 해시 체인의 루트 해시를 얻는다.
그 후, 데이터 무결성 검증부(160)는 데이터 관리부에서 복원된 일부 제1 분할데이터의 원본과 맵핑된 부분 해시 트리를 얻고, 이 해시 트리의 최상위 해시 값을 무결성 검증 정보로 사용한다.
이어 데이터 무결성 검증부(160)는 복원한 일부 제1 분할데이터의 루트 해시와 원본 일부 제1 분할데이터의 무결성 검증 정보가 동일한지 확인하다. 이에 동일한 경우, 데이터 무결성 검증부(160)는 복원한 일부 제1 분할데이터가 무결한 것으로, 동일하지 않으면 중복 제거 복원이 실패한 것으로 판정한다.
이하, 도 8을 참조하여 본 발명의 실시예에 따른 네트워크 트래픽 기록 장치의 처리 방법을 설명하면 아래와 같다.
먼저, 데이터 분할부(110)는 입력되는 데이터를 일정 단위의 원본 데이터로부터 하나의 데이터 블록을 생성하고 하나의 데이터 블록을 미리 정한 단위로 분할한다(S110).
그 후, 데이터 무결성 검증 생성부(120)는 하나의 데이터 블록단위로 데이터 무결성 검증 정보를 생성한다(S120).
이어서 데이터 중복 제거 인코딩부(130)는 하나의 데이터 블록 단위로 중복제거 대상 데이터에 대한 중복제거를 수행하고(S130), 데이터 관리부(140)는 데이터 무결성 검증 정보를 저장한다(S140).
그 후,중복 제거 복원 디코딩부(150)는 데이터 복원 요청 시 중복제거된 데이터를 원본 데이터대로 복원한다(S150).
이어 데이터 무결성 검증부(160)는 복원된 데이터에 대해 데이터 무결성 검증 정보를 이용하여 무결성 여부 판정을 수행한다(S160).
이러한 과정들은 상기 네트워크 트래픽 기록 단계는 병렬처리 환경에서 병렬적으로 처리될 수 있다.
이와 같이 본 발명은 네트워크 트래픽을 기록할 때 중복되는 데이터를 제거한 후 저장함으로써 저장에 소요되는 스토리지 공간을 절약할 수 있고, 중복 제거 시 기록되는 원본데이터의 무결성 검증 정보를 함께 저장하여 복원 데이터의 무결성 검증 시 무결성 검증 정보를 이용하도록 함으로써 데이터의 신뢰도 및 활용도를 높일 수 있다.
도 9는 본 발명의 실시예에 따른 분산 자원 관리 시스템을 적용한 컴퓨터 시스템의 구성도이다.
도 9를 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다.
예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110 : 데이터 분할부
120 : 데이터 무결성 검증 정보 생성부
130 : 데이터 중복 제거 인코딩부
140 : 데이터 관리부
150 : 중복 제거 복원 디코딩부
160 : 데이터 무결성 검증부

Claims (20)

  1. 일정 단위의 원본 데이터로부터 하나의 데이터 블록을 생성하고, 상기 하나의 데이터 블록을 제 1 분할 데이터 단위로 분할하고, 상기 제 1 분할 데이터를 중복제거 비대상이 되는 제 2 분할 데이터와 중복제거 대상이 되는 제 3 분할 데이터로 구분하여 분할하는 데이터 분할부;
    상기 하나의 데이터 블록단위로 데이터 무결성 검증 정보를 생성하는 데이터 무결성 검증 정보 생성부; 및
    상기 하나의 데이터 블록 단위로 중복제거 대상 데이터에 대한 중복제거를 수행하는 데이터 중복 제거 인코딩부
    를 포함하고,
    상기 데이터 무결성 검증 정보 생성부는
    상기 하나의 데이터 블록에 상응하는 데이터 블록마다의 모든 제 2 분할 데이터와 상기 제 3 분할 데이터 각각에 대해 암호 해시를 적용하여 해시 값(hash value)을 생성하고, 상기 해시 값을 기반으로 생성된 해시 트리의 최상위 노드를 이용하여 상기 데이터 무결성 검증 정보를 생성하되, 상기 해시 트리의 최하단 노드 상부의 제 1 상위 노드가 상기 제1 분할 데이터 별로 하나씩 생성되도록 상기 제 2 분할 데이터의 해시 값과 상기 제 3 분할 데이터의 해시 값들을 이용하여 해시 체인을 생성하는 것을 특징으로 하는 네트워크 트래픽 기록 장치.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 데이터 무결성 검증 정보 생성부는,
    상기 데이터 무결성 검증 정보를 상기 하나의 데이터 블록에 상응하는 데이터 블록마다 병렬로 생성하는 것을 특징으로 하는 네트워크 트래픽 기록 장치.
  5. 청구항 1에 있어서,
    상기 중복제거 인코딩부는,
    상기 데이터 블록 단위로 중복 제거 데이터 인코딩을 수행하고, 상기 중복 제거 데이터 인코딩 수행 결과로부터 획득되는 해시 테이블에 대한 해시 테이블 인코딩 절차를 수행하는 것을 특징으로 하는 네트워크 트래픽 기록 장치.
  6. 청구항 5에 있어서,
    상기 중복제거 인코딩부는,
    상기 데이터 블록 단위로 중복 제거 데이터 인코딩을 수행하기 위해, 상기 제 2 분할 데이터의 값을 그대로 출력버퍼에 저장하고, 상기 제 3 분할 데이터에 대해 중복 제거 절차를 수행하는 것을 특징으로 하는 네트워크 트래픽 기록 장치.
  7. 청구항 6에 있어서,
    상기 중복제거 인코딩부는,
    상기 제 3 분할 데이터에 대해 중복 제거 절차를 수행하기 위해,
    상기 제 3 분할 데이터의 해시값이 상기 해시 테이블에 존재하는지를 판단하고, 상기 해시 값이 상기 해시 테이블에 존재하는 경우 상기 해시 테이블에서 상기 해시 값의 인덱스를 구하여 상기 인덱스를 출력버퍼에 저장하는 것을 특징으로 하는 네트워크 트래픽 기록 장치.
  8. 청구항 7에 있어서,
    상기 중복제거 인코딩부는,
    상기 해시 값이 상기 해시 테이블에 존재하지 않는 경우,
    상기 해시값(Key), 상기 해시값의 원본 데이터인 제 3 분할데이터(Value), 상기 제 3 분할 데이터의 길이(Length)로 구성된 튜플을 상기 해시테이블에 저장하고, 상기 해시테이블에서 상기 튜플의 저장 위치를 상기 튜플에 대한 인덱스로 구하는 것을 특징으로 하는 네트워크 트래픽 기록 장치.
  9. 청구항 5에 있어서,
    상기 중복제거 인코딩부는,
    상기 해시 테이블 인코딩 절차를 위해,
    상기 해시 테이블에 포함된 튜플의 개수를 출력버퍼에 저장하는 것을 특징으로 하는 네트워크 트래픽 기록 장치.
  10. 청구항 9에 있어서,
    상기 중복제거 인코딩부는,
    상기 해시 테이블 인코딩 절차를 위해,
    상기 해시 테이블의 튜플 중 상기 제 3 분할데이터, 상기 제 3 분할데이터의 길이만으로 구성된 튜플의 각 행을 상기 출력버퍼에 저장하는 것을 특징으로 하는 네트워크 트래픽 기록 장치.
  11. 청구항 5에 있어서,
    데이터 복원 요청 시 중복제거된 데이터를 원본 데이터대로 복원하는 중복 제거 복원 디코딩부;
    를 더 포함하는 네트워크 트래픽 기록 장치.
  12. 청구항 11에 있어서,
    상기 중복 제거 복원 디코딩부는,
    상기 중복 제거 데이터 인코딩 수행 결과 및 상기 해시 테이블 인코딩 절차에 대한 결과를 이용하여 중복 제거된 데이터를 복원하는 것을 특징으로 하는 네트워크 트래픽 기록 장치.
  13. 청구항 11에 있어서,
    상기 중복 제거 복원 디코딩부는,
    상기 제 2 분할데이터를 읽어 결과 버퍼에 저장하고,
    상기 제 3 분할데이터에 대해 중복 제거 복원 절차를 수행하는 것을 특징으로 하는 네트워크 트래픽 기록 장치.
  14. 청구항 13에 있어서,
    상기 중복 제거 복원 디코딩부는,
    상기 제 3 분할데이터에 대해 중복 제거 복원을 위해,
    상기 해시 테이블에서 인덱스값에 매핑되는 원본 데이터인 상기 제 3 분할 데이터의 길이(Length), 상기 제 3 분할데이터(Value)를 이용해 상기 제 3 분할데이터의 원본 데이터를 확보하는 것을 특징으로 하는 네트워크 트래픽 기록 장치.
  15. 청구항 14에 있어서,
    상기 중복 제거 복원 디코딩부는,
    상기 중복 제거된 데이터 블록의 일부의 제 1 분할데이터를 복원하는 경우,
    상기 일부 복원을 원하는 제 1 분할 데이터가 상기 중복 제거된 데이터 블록에서 몇번째 제 1 분할데이터인지를 판단하고,
    상기 중복 제거된 데이터 블록에서 복원을 원하는 상기 제 1 분할데이터의 저장 위치를 계산하고,
    상기 계산된 저장위치의 제 1 분할데이터에 대한 중복 제거 복원을 수행하는 것을 특징으로 하는 네트워크 트래픽 기록 장치.
  16. 청구항 15에 있어서,
    상기 복원된 데이터 블록에 대해 상기 데이터 무결성 검증 정보를 이용하여 무결성 여부 판정을 수행하는 데이터 무결성 검증부;
    를 더 포함하는 네트워크 트래픽 기록 장치.
  17. 청구항 16에 있어서,
    상기 데이터 무결성 검증부는,
    상기 복원된 데이터 블록에 대한 무결성 검증을 위해,
    상기 복원된 데이터 블록의 제 2 분할데이터와 제 3분할 데이터에 대한 해시와 상기 원본 데이터로부터 생성된 데이터 블록의 무결성 검증 정보가 동일한지를 판정하여 무결성 여부를 검증하는 것을 특징으로 하는 네트워크 트래픽 기록 장치.
  18. 청구항 16에 있어서,
    상기 데이터 무결성 검증부는,
    상기 복원된 일부의 제 1 분할데이터에 대한 무결성 검증을 위해,
    상기 복원된 일부의 제 1 분할 데이터의 제 2 분할데이터와 제 3 분할데이터에 대한 해시와 상기 원본 데이터로부터 생성된 데이터 블록의 일부의 제 1 분할데이터의 데이터 무결성 검증정보를 비교하여 무결성 여부를 검증하는 것을 특징으로 하는 네트워크 트래픽 기록 장치.
  19. 일정 단위의 원본 데이터로부터 하나의 데이터 블록을 생성하고, 상기 하나의 데이터 블록을 제 1 분할 데이터 단위로 분할하고, 상기 제 1 분할 데이터를 중복제거 비대상이 되는 제 2 분할 데이터와 중복제거 대상이 되는 제 3 분할 데이터로 구분하여 분할하는 데이터 분할부;
    상기 하나의 데이터 블록단위로 데이터 무결성 검증 정보를 생성하는 데이터 무결성 검증 정보 생성부;
    상기 하나의 데이터 블록 단위로 중복제거 대상 데이터에 대한 중복제거를 수행하는 데이터 중복 제거 인코딩부;
    데이터 복원 요청 시 중복제거된 데이터를 원본 데이터대로 복원하는 중복 제거 복원 디코딩부; 및
    상기 복원된 데이터에 대해 상기 데이터 무결성 검증 정보를 이용하여 무결성 여부 판정을 수행하는 데이터 무결성 검증부
    를 포함하고,
    상기 데이터 무결성 검증 정보 생성부는
    상기 하나의 데이터 블록에 상응하는 데이터 블록마다의 모든 제 2 분할 데이터와 상기 제 3 분할 데이터 각각에 대해 암호 해시를 적용하여 해시 값(hash value)을 생성하고, 상기 해시 값을 기반으로 생성된 해시 트리의 최상위 노드를 이용하여 상기 데이터 무결성 검증 정보를 생성하되, 상기 해시 트리의 최하단 노드 상부의 제 1 상위 노드가 상기 제1 분할 데이터 별로 하나씩 생성되도록 상기 제 2 분할 데이터의 해시 값과 상기 제 3 분할 데이터의 해시 값들을 이용하여 해시 체인을 생성하는 것을 특징으로 하는 네트워크 트래픽 기록 장치.
  20. 일정 단위의 원본 데이터로부터 하나의 데이터 블록을 생성하고, 상기 하나의 데이터 블록을 제 1 분할 데이터 단위로 분할하고, 상기 제 1 분할 데이터를 중복제거 비대상이 되는 제 2 분할 데이터와 중복제거 대상이 되는 제 3 분할 데이터로 구분하여 분할하는 단계;
    상기 하나의 데이터 블록단위로 데이터 무결성 검증 정보를 생성하는 단계;
    상기 하나의 데이터 블록 단위로 중복제거 대상 데이터에 대한 중복제거를 수행하는 단계;
    데이터 복원 요청 시 중복 제거된 데이터를 원본 데이터대로 복원하는 단계; 및
    상기 복원된 데이터에 대해 상기 데이터 무결성 검증 정보를 이용하여 무결성 여부 판정을 수행하는 단계
    를 포함하고,
    상기 데이터 무결성 검증 정보를 생성하는 단계는
    상기 하나의 데이터 블록에 상응하는 데이터 블록마다의 모든 제 2 분할 데이터와 상기 제 3 분할 데이터 각각에 대해 암호 해시를 적용하여 해시 값(hash value)을 생성하고, 상기 해시 값을 기반으로 생성된 해시 트리의 최상위 노드를 이용하여 상기 데이터 무결성 검증 정보를 생성하되, 상기 해시 트리의 최하단 노드 상부의 제 1 상위 노드가 상기 제1 분할 데이터 별로 하나씩 생성되도록 상기 제 2 분할 데이터의 해시 값과 상기 제 3 분할 데이터의 해시 값들을 이용하여 해시 체인을 생성하는 것을 특징으로 하는 네트워크 트래픽 저장 방법.
KR1020160017135A 2016-02-15 2016-02-15 네트워크 트래픽 기록 장치 및 그 방법 KR101953548B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160017135A KR101953548B1 (ko) 2016-02-15 2016-02-15 네트워크 트래픽 기록 장치 및 그 방법
US15/360,957 US20170235640A1 (en) 2016-02-15 2016-11-23 Network traffic recording apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160017135A KR101953548B1 (ko) 2016-02-15 2016-02-15 네트워크 트래픽 기록 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20170095570A KR20170095570A (ko) 2017-08-23
KR101953548B1 true KR101953548B1 (ko) 2019-03-04

Family

ID=59560272

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160017135A KR101953548B1 (ko) 2016-02-15 2016-02-15 네트워크 트래픽 기록 장치 및 그 방법

Country Status (2)

Country Link
US (1) US20170235640A1 (ko)
KR (1) KR101953548B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102115436B1 (ko) * 2018-11-02 2020-05-27 주식회사 넥스트칩 데이터를 관리하는 방법 및 그 방법을 수행하는 메모리 래퍼
SE543186C2 (en) * 2019-01-11 2020-10-20 Zeropoint Tech Ab Systems, methods and devices for eliminating duplicates and value redundancy in computer memories
TWI772648B (zh) * 2019-06-03 2022-08-01 銓鴻資訊有限公司 基於集體驗證的部分資料驗證方法
CN111614671A (zh) * 2020-05-20 2020-09-01 西安佐尔电子技术有限公司 一种基于大数据平台的网络安全实施系统及方法
TWI772926B (zh) * 2020-10-19 2022-08-01 財團法人資訊工業策進會 日誌處理裝置及其日誌處理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150169613A1 (en) * 2013-12-17 2015-06-18 Nafea BShara In-band de-duplication
WO2016020068A1 (en) * 2014-08-07 2016-02-11 Gurulogic Microsystems Oy Encoder, decoder and method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8891520B2 (en) * 2012-06-28 2014-11-18 Alcatel Lucent Scaling redundancy elimination middleboxes
KR101465891B1 (ko) 2013-07-30 2014-11-26 고려대학교 산학협력단 무선 네트워크에서 트래픽 중복 제거 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150169613A1 (en) * 2013-12-17 2015-06-18 Nafea BShara In-band de-duplication
WO2016020068A1 (en) * 2014-08-07 2016-02-11 Gurulogic Microsystems Oy Encoder, decoder and method

Also Published As

Publication number Publication date
US20170235640A1 (en) 2017-08-17
KR20170095570A (ko) 2017-08-23

Similar Documents

Publication Publication Date Title
KR101953548B1 (ko) 네트워크 트래픽 기록 장치 및 그 방법
US10140172B2 (en) Network-aware storage repairs
US9436722B1 (en) Parallel checksumming of data chunks of a shared data object using a log-structured file system
WO2018001110A1 (zh) 一种基于纠删码的存储数据重构方法和装置、存储节点
US10003357B2 (en) Systems and methods for verification of code resiliency for data storage
US7937371B2 (en) Ordering compression and deduplication of data
US9268711B1 (en) System and method for improving cache performance
US9378155B2 (en) Method for processing and verifying remote dynamic data, system using the same, and computer-readable medium
CN104272274A (zh) 一种分布式文件存储系统中的数据处理方法及设备
KR101632817B1 (ko) 클라우드 컴퓨팅 보안 데이터 저장
US9268693B1 (en) System and method for improving cache performance
WO2019001521A1 (zh) 数据存储方法、存储设备、客户端及系统
US11249987B2 (en) Data storage in blockchain-type ledger
WO2019137323A1 (zh) 一种数据存储方法、装置及系统
CN105893169A (zh) 一种基于纠删码的文件存储方法和系统
EP3182601B1 (en) Data processing method and system based on quasi-cyclic ldpc
US8738858B1 (en) System and method for improving cache performance
US20140156607A1 (en) Index for deduplication
US10402262B1 (en) Fencing for zipheader corruption for inline compression feature system and method
CN113126879B (zh) 一种数据存储方法、装置和电子设备
US10769016B2 (en) Storing a plurality of correlated data in a dispersed storage network
JP5492103B2 (ja) バックアップ装置、バックアップ方法、データ圧縮方法、バックアッププログラムおよびデータ圧縮プログラム
CN110597462A (zh) 块链式账本中的数据存储方法、系统、装置及设备
CN110658994B (zh) 一种基于hdd和ssd混合磁盘阵列的数据处理方法及装置
CN114691414A (zh) 一种校验块生成方法及一种数据恢复方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant