KR102529704B1 - 인 메모리 데이터베이스의 데이터를 처리하는 방법 및 장치 - Google Patents

인 메모리 데이터베이스의 데이터를 처리하는 방법 및 장치 Download PDF

Info

Publication number
KR102529704B1
KR102529704B1 KR1020200108749A KR20200108749A KR102529704B1 KR 102529704 B1 KR102529704 B1 KR 102529704B1 KR 1020200108749 A KR1020200108749 A KR 1020200108749A KR 20200108749 A KR20200108749 A KR 20200108749A KR 102529704 B1 KR102529704 B1 KR 102529704B1
Authority
KR
South Korea
Prior art keywords
key
partition
data record
compression
data
Prior art date
Application number
KR1020200108749A
Other languages
English (en)
Other versions
KR20220027634A (ko
Inventor
김옥수
Original Assignee
주식회사 아미크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아미크 filed Critical 주식회사 아미크
Priority to KR1020200108749A priority Critical patent/KR102529704B1/ko
Priority to JP2020175202A priority patent/JP2022039881A/ja
Priority to US17/076,119 priority patent/US11494093B2/en
Publication of KR20220027634A publication Critical patent/KR20220027634A/ko
Application granted granted Critical
Publication of KR102529704B1 publication Critical patent/KR102529704B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G06F3/0622—Securing storage systems in relation to access
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477—Temporal data queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H03M7/42—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code using table look-up for the coding or decoding process, e.g. using read-only memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

휘발성의 인 메모리 데이터베이스에 저장된 데이터 레코드를 파티션 단위로 압축하여 비 휘발성의 저장 수단에 저장하되, 비 휘발성의 저장 수단에 저장된 파티션 각각을 고유하게 식별하는 저장키 및 데이터 레코드에 대한 파티션을 결정하는데 사용된 식별정보를 휘발성의 인 메모리 데이터베이스의 테이블에 저장함으로써, 비 휘발성의 저장 수단에 압축 저장된 데이터를 빠르게 검색할 수 있는 데이터 처리 방법 및 장치를 제공한다.

Description

인 메모리 데이터베이스의 데이터를 처리하는 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING DATA OF IN-MEMORY DATABASE}
아래의 설명은 인 메모리 데이터베이스의 데이터를 처리하는 방법 및 장치에 관한 것이다.
인터넷의 보급 확대, 데이터 통신 기술의 발전 등과 더불어 PC, 랩탑 및 스마트폰과 같은 데이터 생산 및 소비 수단이 널리 보급됨에 따라, 오늘날 생산되고 소비되는 데이터의 양은 기하급수적으로 늘어나고 있는 실정이다.
이러한 데이터들을 효과적으로 분류하고 활용하기 위하여 데이터베이스를 이용하여 데이터를 관리하는 방법이 각종 기업, 단체 및 학교 등지에서 널리 이용되고 있다. 그러나, 늘어나는 데이터의 양이 기하급수적인 만큼, 데이터베이스의 용량도 곧 한계에 다다르게 될 것이며, 데이터베이스의 용량을 계속하여 확장하는 것도 비용 및 관리의 측면에서 제약이 있는 것이 현실이다.
따라서, 데이터베이스를 효율적으로 아카이빙하여 용량을 절약할 수 있는 기술에 대한 관심이 증가하고 있다. 특히, 데이터 압축기술을 이용한 데이터베이스의 아카이빙 및 아카이빙된 데이터의 검색에 대한 관심이 대두되고 있다.
한편, 인 메모리 데이터베이스(in-memory database) 기술의 출현으로 중요한 데이터가 장애가 발생하는 경우에 데이터 손실 위험이 높은 휘발성 데이터 저장 수단에 저장되는 경우가 점점 더 많아지고 있다. 따라서 이러한 인 메모리 데이터베이스 내의 데이터를 적절한 스토리지 비용으로 비휘발성의 데이터 저장 수단에 빠르고 안전하게 아카이빙할 수 있으면, 이러한 휘발성의 데이터 저장 수단 내의 데이터에 대한 손실 위험을 최소화할 수 있다.
[선행기술문헌]
대한민국 공개특허 제2014-0072929호(발명의 명칭: 아카이빙 작업수행 자동화 방법, 공개일자: 2014년 6월 16일)
휘발성의 인 메모리 데이터베이스에 저장된 데이터 레코드를 파티션 단위로 압축하여 비 휘발성의 저장 수단에 저장하되, 비 휘발성의 저장 수단에 저장된 파티션 각각을 고유하게 식별하는 저장키와 데이터 레코드에 대한 파티션을 결정하는데 사용된 선별정보를 휘발성의 인 메모리 데이터베이스의 테이블에 저장함으로써, 비 휘발성의 저장 수단에 압축 저장된 데이터를 빠르게 검색할 수 있는 데이터 처리 방법 및 장치를 제공한다.
적어도 하나의 프로세서를 포함하는 컴퓨터 장치가 수행하는 데이터 처리 방법에 있어서, 상기 적어도 하나의 프로세서에 의해, 휘발성의 인 메모리 데이터베이스의 테이블에 포함된 데이터 레코드에 대한 파티션을 데이터 레코드의 선별정보에 기초하여 결정하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 파티션별로 데이터 레코드를 압축하여 압축 파티션을 생성하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 압축 파티션 및 상기 압축 파티션을 고유하게 식별하는 저장키를 연계하여 비 휘발성의 저장 수단에 저장하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 상기 저장키 및 상기 선별정보를 연계하여 상기 휘발성의 인 메모리 데이터베이스의 인덱스테이블에 저장하는 단계를 포함하는 데이터 처리 방법을 제공한다.
일측에 따르면, 상기 분류하는 단계는, 상기 선별정보는 해당 데이터 레코드의 임의의 필드값을 포함하고, 상기 인덱스테이블에 저장하는 단계는, 상기 저장키 및 상기 임의의 필드값을 연계하여 그룹인덱스테이블에 저장하는 것을 특징으로 할 수 있다.
다른 측면에 따르면, 상기 선별정보는 해당 데이터 레코드의 시간에 대한 정보를 포함하고, 상기 인덱스테이블에 저장하는 단계는, 상기 저장키 및 상기 시간에 대한 정보를 연계하여 기간인덱스테이블에 저장하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 데이터 처리 방법은, 상기 테이블에 포함된 데이터 레코드 각각에 대해, 프라이머리키(primary key), 해당 데이터 레코드를 포함하여 압축된 압축 파티션 내에서의 해당 데이터 레코드의 위치인 키인덱스정보 및 해당 데이터 레코드를 포함하여 압축된 압축 파티션에 대응되는 저장키를 연계하여 키인덱스테이블에 저장하는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 키인덱스테이블에 저장하는 단계는, 상기 프라이머리키를 통해 상기 테이블과 연결된 연결테이블에서 데이터 레코드를 압축하여 생성된 제2 압축 파티션에 대하여, 상기 제2 압축 파티션에 포함된 데이터 레코드 중에서 상기 테이블에 포함된 데이터 레코드와 상기 프라이머리키가 동일한 데이터 레코드를 검색하는 단계; 및 상기 검색된 데이터 레코드에 대하여 상기 제2 압축 파티션 내에서의 위치인 서브인덱스정보를 상기 키인덱스테이블상의 상기 프라이머리키가 동일한 데이터 레코드에 대해 더 저장하는 단계를 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 데이터 처리 방법은, 상기 압축된 데이터 레코드를 상기 테이블에서 삭제하는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 데이터 처리 방법은, 상기 삭제된 데이터 레코드의 복원 요청에 응답하여 상기 인덱스테이블에서 상기 복원 요청이 포함하는 식별정보와 연계된 저장키를 검색하는 단계; 상기 비 휘발성의 저장 수단에서 상기 검색된 저장키와 연계된 압축 파티션을 검색하는 단계; 상기 검색된 압축 파티션의 압축을 해제하여 상기 삭제된 데이터 레코드를 복원하는 단계; 및 상기 복원된 데이터 레코드를 상기 식별정보에 기초하여 상기 테이블에 기록하는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 압축 파티션을 생성하는 단계는, 상기 결정된 파티션에 포함된 데이터 레코드를 이진 객체로 압축하여 상기 압축 파티션을 생성하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 비 휘발성의 저장 수단에 저장하는 단계는, 상기 압축 파티션 및 상기 저장키를 상기 컴퓨터 장치와 네트워크를 통해 연결된 다른 컴퓨터 장치의 비 휘발성의 저장 수단으로 분리하여 저장하는 것을 특징으로 할 수 있다.
적어도 하나의 프로세서를 포함하는 컴퓨터 장치가 수행하는 데이터 처리 방법에 있어서, 상기 적어도 하나의 프로세서에 의해, 데이터 레코드의 선별정보를 포함하는 검색조건을 수신하는 단계; 상기 적어도 하나의 프로세서에 의해, 휘발성의 인 메모리 데이터베이스상에서 데이터 레코드의 선별정보와 해당 데이터 레코드가 포함된 압축 파티션을 고유하게 식별하는 저장키를 연계하여 저장하는 인덱스테이블로부터, 상기 검색조건이 포함하는 선별정보에 연계된 저장키를 검색하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 저장키와 압축 파티션을 연계하여 저장하는 비 휘발성의 저장 수단에서 상기 검색된 저장키에 연계된 압축 파티션을 검색하는 단계를 포함하는 데이터 처리 방법을 제공한다.
일측에 따르면, 상기 선별정보는 해당 데이터 레코드의 임의의 필드값을 포함하고, 상기 저장키를 검색하는 단계는, 상기 저장키 및 상기 임의의 필드값을 연계하여 저장하는 그룹인덱스테이블에서 상기 검색조건의 선별정보로서 포함된 임의의 필드값에 연계된 저장키를 검색하는 것을 특징으로 할 수 있다.
다른 측면에 따르면, 상기 선별정보는 해당 데이터 레코드의 시간에 대한 정보를 포함하고, 상기 검색된 저장키에 연계된 압축 파티션을 검색하는 단계는, 상기 저장키 및 상기 시간에 대한 정보를 연계하여 저장하는 기간인덱스테이블에서 상기 검색조건의 선별정보로서 포함된 시간에 대한 정보에 연계된 저장키를 검색하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 데이터 처리 방법은, 상기 검색조건이 데이터 레코드의 프라이머리키를 더 포함하는 경우, 키인덱스테이블에서 상기 검색조건이 더 포함하는 프라이머리키에 연계된 키인덱스정보 및 저장키를 검색하는 단계를 더 포함하고, 상기 키인덱스테이블은 휘발성의 인 메모리 데이터베이스상의 임의의 테이블이 포함하는 데이터 레코드 각각에 대해, 프라이머리키, 해당 데이터 레코드를 포함하여 압축된 압축 파티션 내에서의 해당 데이터 레코드의 위치인 키인덱스정보 및 해당 데이터 레코드를 포함하여 압축된 압축 파티션에 대응되는 저장키를 연계하여 저장하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 검색된 저장키에 연계된 압축 파티션을 검색하는 단계는, 상기 검색된 키인덱스정보 및 저장키에 더 기초하여 상기 검색된 압축 파티션에서 검색조건에 따른 데이터 레코드를 검색하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 키인덱스테이블은 상기 프라이머리키를 통해 상기 임의의 테이블과 연결된 연결테이블이 존재하는 경우, 상기 연결테이블에서 데이터 레코드를 압축하여 생성된 제2 압축 파티션에 대하여 데이터 레코드의 상기 제2 압축 파티션에서의 위치인 서브인덱스정보를 더 포함하고, 상기 키인덱스정보 및 저장키를 검색하는 단계는, 상기 키인덱스테이블에서 상기 검색조건이 더 포함하는 프라이머리키에 연계된 서브인덱스정보를 더 검색하고, 상기 검색된 저장키에 연계된 압축 파티션을 검색하는 단계는, 상기 제2 압축 파티션 및 상기 서브인덱스정보에 기초하여 상기 제2 압축 파티션에서 상기 검색조건에 따른 데이터 레코드를 더 검색하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 비 휘발성의 저장 수단은 상기 컴퓨터 장치와 네트워크를 통해 연결된 다른 컴퓨터 장치의 비 휘발성의 저장 수단을 포함하고, 상기 비 휘발성의 저장 수단에서 상기 검색된 저장키에 연계된 압축 파티션을 검색하는 단계는, 상기 네트워크를 통해 상기 다른 컴퓨터 장치의 비 휘발성의 저장 수단으로부터 상기 검색된 저장키에 연계된 압축 파티션을 검색하는 것을 특징으로 할 수 있다.
컴퓨터 장치와 결합되어 상기 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공한다.
상기 방법을 컴퓨터 장치에 실행시키기 위한 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록매체를 제공한다.
컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서에 의해, 휘발성의 인 메모리 데이터베이스의 테이블에 포함된 데이터 레코드에 대한 파티션을 데이터 레코드의 선별정보에 기초하여 결정하고, 상기 파티션별로 데이터 레코드를 압축하여 압축 파티션을 생성하고, 상기 압축 파티션 및 상기 압축 파티션을 고유하게 식별하는 저장키를 연계하여 비 휘발성의 저장 수단에 저장하고, 상기 저장키 및 상기 선별정보를 연계하여 상기 휘발성의 인 메모리 데이터베이스의 인덱스테이블에 저장하는 것을 특징으로 하는 컴퓨터 장치를 제공한다.
컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서에 의해, 데이터 레코드의 선별정보를 포함하는 검색조건을 수신하고, 휘발성의 인 메모리 데이터베이스상에서 데이터 레코드의 선별정보와 해당 데이터 레코드가 포함된 압축 파티션을 고유하게 식별하는 저장키를 연계하여 저장하는 인덱스테이블로부터, 상기 검색조건이 포함하는 선별정보에 연계된 저장키를 검색하고, 저장키와 압축 파티션을 연계하여 저장하는 비 휘발성의 저장 수단에서 상기 검색된 저장키에 연계된 압축 파티션을 검색하는 것을 특징으로 하는 컴퓨터 장치를 제공한다.
휘발성의 인 메모리 데이터베이스에 저장된 데이터 레코드를 파티션 단위로 압축하여 비 휘발성의 저장 수단에 저장하되, 비 휘발성의 저장 수단에 저장된 파티션 각각을 고유하게 식별하는 저장키와 데이터 레코드에 대한 파티션을 결정하는데 사용된 선별정보를 휘발성의 인 메모리 데이터베이스의 테이블에 저장함으로써, 비 휘발성의 저장 수단에 압축 저장된 데이터를 빠르게 검색할 수 있다.
도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다.
도 3은 본 발명의 일실시예에 있어서, 아카이빙을 위한 컴퓨터 시스템의 개괄적인 모습을 도시한 도면이다.
도 4는 본 발명의 일실시예에 있어서, 데이터를 아카이빙하기 위한 데이터 처리 방법의 예를 도시한 흐름도이다.
도 5는 본 발명의 일실시예에 있어서, 데이터를 아카이빙하기 위한 데이터 처리 방법의 다른 예를 도시한 흐름도이다.
도 6은 본 발명의 일실시예에 따른 압축테이블의 구조의 제1 예를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 압축테이블의 구조의 제2 예를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 기간인덱스테이블의 구조의 예를 도시한 도면이다.
도 9는 본 발명의 일실시예에 따른 그룹인덱스테이블의 구조의 예를 도시한 도면이다.
도 10은 본 발명의 일실시예에 따른 압축테이블의 구조의 제2 예를 도시한 도면이다.
도 11은 본 발명의 일실시예에 있어서, 기간인덱스테이블과 그룹인덱스테이블이 결합된 형태의 인덱스테이블의 구조의 예를 도시한 도면이다.
도 12는 본 발명의 일실시예에 있어서, 데이터를 아카이빙하기 위한 데이터 처리 방법의 또 다른 예를 도시한 흐름도이다.
도 13은 본 발명의 일실시예에 따른 압축테이블 및 키인덱스테이블의 구조의 예를 도시한 도면이다.
도 14는 본 발명의 일실시예에 따른 압축테이블 및 키인덱스테이블의 구조의 다른 예를 도시한 도면이다.
도 15는 본 발명의 일실시예에 있어서, 아카이빙된 데이터를 검색하기 위한 데이터 처리 방법의 예를 도시한 도면이다.
도 16 및 도 17은 본 발명의 일실시예에 있어서, 아카이빙된 데이터를 검색하는 예들을 도시한 도면들이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
본 발명의 실시예들에 따른 데이터 처리 시스템은 적어도 하나의 컴퓨터 장치에 의해 구현될 수 있으며, 본 발명의 실시예들에 따른 데이터 처리 방법은 데이터 처리 시스템에 포함되는 적어도 하나의 컴퓨터 장치를 통해 수행될 수 있다. 컴퓨터 장치에는 본 발명의 일실시예에 따른 컴퓨터 프로그램이 설치 및 구동될 수 있고, 컴퓨터 장치는 구동된 컴퓨터 프로그램의 제어에 따라 본 발명의 실시예들에 따른 데이터 처리 방법을 수행할 수 있다. 상술한 컴퓨터 프로그램은 컴퓨터 장치와 결합되어 데이터 처리 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장될 수 있다.
도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다. 도 1의 네트워크 환경은 복수의 전자 기기들(110, 120, 130, 140), 복수의 서버들(150, 160) 및 네트워크(170)를 포함하는 예를 나타내고 있다. 이러한 도 1은 발명의 설명을 위한 일례로 전자 기기의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다. 또한, 도 1의 네트워크 환경은 본 실시예들에 적용 가능한 환경들 중 하나의 예를 설명하는 것일 뿐, 본 실시예들에 적용 가능한 환경이 도 1의 네트워크 환경으로 한정되는 것은 아니다.
복수의 전자 기기들(110, 120, 130, 140)은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 복수의 전자 기기들(110, 120, 130, 140)의 예를 들면, 스마트폰(smart phone), 휴대폰, 네비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등이 있다. 일례로 도 1에서는 전자 기기(110)의 예로 스마트폰의 형상을 나타내고 있으나, 본 발명의 실시예들에서 전자 기기(110)는 실질적으로 무선 또는 유선 통신 방식을 이용하여 네트워크(170)를 통해 다른 전자 기기들(120, 130, 140) 및/또는 서버(150, 160)와 통신할 수 있는 다양한 물리적인 컴퓨터 장치들 중 하나를 의미할 수 있다.
통신 방식은 제한되지 않으며, 네트워크(170)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(170)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(170)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
서버(150, 160) 각각은 복수의 전자 기기들(110, 120, 130, 140)과 네트워크(170)를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 예를 들어, 서버(150)는 네트워크(170)를 통해 접속한 복수의 전자 기기들(110, 120, 130, 140)로 서비스(일례로, 아카이빙 서비스, 파일 배포 서비스, 지도 서비스, 컨텐츠 제공 서비스, 그룹 통화 서비스(또는 음성 컨퍼런스 서비스), 메시징 서비스, 메일 서비스, 소셜 네트워크 서비스, 지도 서비스, 번역 서비스, 금융 서비스, 결제 서비스, 검색 서비스 등)를 제공하는 시스템일 수 있다.
도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다. 앞서 설명한 복수의 전자 기기들(110, 120, 130, 140) 각각이나 서버들(150, 160) 각각은 도 2를 통해 도시된 컴퓨터 장치(200)에 의해 구현될 수 있다.
이러한 컴퓨터 장치(200)는 도 2에 도시된 바와 같이, 메모리(210), 프로세서(220), 통신 인터페이스(230) 그리고 입출력 인터페이스(240)를 포함할 수 있다. 메모리(210)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(210)와는 구분되는 별도의 영구 저장 장치로서 컴퓨터 장치(200)에 포함될 수도 있다. 또한, 메모리(210)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(210)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 메모리(210)로 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 인터페이스(230)를 통해 메모리(210)에 로딩될 수도 있다. 예를 들어, 소프트웨어 구성요소들은 네트워크(170)를 통해 수신되는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 컴퓨터 장치(200)의 메모리(210)에 로딩될 수 있다.
프로세서(220)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(210) 또는 통신 인터페이스(230)에 의해 프로세서(220)로 제공될 수 있다. 예를 들어 프로세서(220)는 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 인터페이스(230)는 네트워크(170)를 통해 컴퓨터 장치(200)가 다른 장치(일례로, 앞서 설명한 저장 장치들)와 서로 통신하기 위한 기능을 제공할 수 있다. 일례로, 컴퓨터 장치(200)의 프로세서(220)가 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이나 명령, 데이터, 파일 등이 통신 인터페이스(230)의 제어에 따라 네트워크(170)를 통해 다른 장치들로 전달될 수 있다. 역으로, 다른 장치로부터의 신호나 명령, 데이터, 파일 등이 네트워크(170)를 거쳐 컴퓨터 장치(200)의 통신 인터페이스(230)를 통해 컴퓨터 장치(200)로 수신될 수 있다. 통신 인터페이스(230)를 통해 수신된 신호나 명령, 데이터 등은 프로세서(220)나 메모리(210)로 전달될 수 있고, 파일 등은 컴퓨터 장치(200)가 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.
입출력 인터페이스(240)는 입출력 장치(250)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(240)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(250)는 컴퓨터 장치(200)와 하나의 장치로 구성될 수도 있다.
또한, 다른 실시예들에서 컴퓨터 장치(200)는 도 2의 구성요소들보다 더 적은 혹은 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 장치(200)는 상술한 입출력 장치(250) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.
도 3은 본 발명의 일실시예에 있어서, 아카이빙을 위한 컴퓨터 시스템의 개괄적인 모습을 도시한 도면이다. 도 3의 컴퓨터 시스템(300)은 앞서 설명한 컴퓨터 장치(200)에 의해 구현될 수 있으며, 인 메모리 데이터베이스(310), 비 휘발성의 저장 수단(320), 아카이빙 컴포넌트(330) 및 인터페이스 컴포넌트(340)를 포함할 수 있다.
인 메모리 데이터베이스(310)에 저장된 데이터는 아카이빙 컴포넌트(330)의 처리에 의해 비 휘발성의 저장 수단(320)으로 아카이빙될 수 있다. 또한, 비 휘발성의 저장 수단(320)에 아카이빙된 데이터는 아카이빙 컴포넌트(330)의 처리에 의해 인 메모리 데이터베이스(310)로 복원되거나 또는 검색될 수 있다.
실시예에 따라 비 휘발성의 저장 수단(320)은 컴퓨터 시스템(300)의 외부에 존재할 수도 있다. 예를 들어, 비 휘발성의 저장 수단(320)은 컴퓨터 시스템(300)과 네트워크를 통해 연결된 다른 컴퓨터 장치에 포함될 수 있다. 다른 컴퓨터 장치는 독립적으로 존재하거나 또는 클라우드 시스템의 일부일 수 있다.
또한, 실시예에 따른 아카이빙 컴포넌트(330)가 데이터를 아카이빙하기 위한 기능, 데이터를 복원하기 위한 기능 및 데이터를 검색하기 위한 기능 중 적어도 하나가 외부 서비스를 통해 제공될 수도 있다. 예를 들어, 아카이빙 컴포넌트(330)는 API 호출에 기반하여 외부 서비스가 제공하는 기능들을 활용하여 데이터를 아카이빙, 복원 및/또는 검색할 수 있다.
도 4는 본 발명의 일실시예에 있어서, 데이터를 아카이빙하기 위한 데이터 처리 방법의 예를 도시한 흐름도이다. 본 실시예에 따른 데이터 처리 방법은 도 3을 통해 설명한 컴퓨터 시스템(300)을 구현하는 컴퓨터 장치(200)에 의해 수행될 수 있다. 이때, 컴퓨터 장치(200)의 프로세서(220)는 메모리(210)가 포함하는 운영체제의 코드나 적어도 하나의 컴퓨터 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(220)는 컴퓨터 장치(200)에 저장된 코드가 제공하는 제어 명령에 따라 컴퓨터 장치(200)가 도 4의 방법이 포함하는 단계들(410 내지 440)을 수행하도록 컴퓨터 장치(200)를 제어할 수 있다.
단계(410)에서 컴퓨터 장치(200)는 휘발성의 인 메모리 데이터베이스의 테이블에 포함된 데이터 레코드에 대한 파티션을 데이터 레코드의 선별정보에 기초하여 결정할 수 있다. 여기서, 휘발성의 인 메모리 데이터베이스는 도 3을 통해 설명한 인 메모리 데이터베이스(310)에 대응할 수 있다. 선별정보는 데이터 레코드에 대한 시간에 대한 정보 및/또는 데이터 레코드의 임의의 필드값을 포함할 수 있다. 컴퓨터 장치(200)는 이러한 시간에 대한 정보 및/또는 필드값에 기초하여 데이터 레코드에 대한 파티션을 결정할 수 있다. 테이블은 인 메모리 데이터베이스에서 데이터를 저장하는 기본 구조를 이루는 단위로서, 단계(410)에서 언급하는 테이블은 인 메모리 데이터베이스에 포함된 복수의 테이블 중에서 용량을 절약하기 위하여 아카이빙을 하려는 테이블일 수 있다.
예를 들어, 컴퓨터 장치(200)는 필드값이 소정의 범위 이내인 데이터 레코드들을 하나의 파티션으로 선별할 수 있다. 이때, 필드값은 테이블에서 가장 검색이 빈번하게 발생하는 필드의 필드값으로 결정될 수 있다. 이는 아카이빙된 데이터를 추후 검색할 때, 해당 필드값에 기반하여 생성된 인덱스정보를 이용하여 검색의 효율성을 극대화할 수 있기 때문이다. 다른 예로, 컴퓨터 장치는 시간에 대한 정보가 소정의 범위 이내인 데이터 레코드들을 하나의 파티션으로 선별할 수 있다.
또한, 파티션은 테이블에 포함된 전체 데이터 레코드 중에서 선별된 데이터 레코드의 집합으로 구성될 수 있다. 파티션은 적어도 하나 이상 생성될 수 있으며, 필요에 따라서 테이블의 전체가 아닌 일부의 데이터 레코드만을 대상으로 한정하여 파티션을 생성할 수 있다. 예를 들어, 테이블에서 2015년 이후의 데이터 레코드는 제외하고, 2015년 이전의 데이터 레코드만을 대상으로 아카이빙을 위한 파티션을 생성할 수 있다.
한편, 하나의 파티션에 포함되는 데이터 레코드의 개수는 테이블에 포함된 전체 레코드의 개수, 인 메모리 데이터베이스를 검색하는 컴퓨터의 성능 및 인 메모리 데이터베이스에서 빈도가 높은 검색조건 등을 종합적으로 분석 및 검토하여 결정될 수 있다.
다른 실시예에서는, 선별된 파티션 중에서 데이터 레코드의 개수가 임계치를 초과하는 초과 파티션이 존재하면, 그 초과 파티션을 레코드의 개수가 임계치 이하인 복수의 파티션들로 분리할 수 있다. 예컨대, 하나의 파티션이 포함할 수 있는 데이터 레코드의 개수인 임계치가 10만개로 설정될 수 있다. 그러나, 만약에, 선별된 파티션이 임계치를 초과하는 데이터 레코드 개수를 포함한다면, 이는 컴퓨터의 과부하 및 비효율을 초래할 수 있어, 문제의 소지가 될 수 있다. 따라서, 하나의 파티션이 10만개를 초과하는 데이터 레코드를 가지는 경우, 이를 10만개 단위의 복수의 파티션들로 분리하여 여러 개의 파티션들을 생성할 수 있다. 예컨대, 하나의 파티션이 25만개의 데이터 레코드 개수를 가지는 경우, 컴퓨터 장치(200)는 이 초과 파티션을 10만개씩의 데이터 레코드 개수를 가지는 두 개의 파티션들과 5만개의 데이터 레코드 개수를 가지는 파티션의 총 3개의 파티션들로 분리할 수 있다.
한편, 위와 같이 분리된 복수의 파티션들은 서로 동일한 필드값에 의한 분류 기준에 의해 분류되었기 때문에, 그 복수의 파티션들을 서로 구별할 방법이 없을 수 있다. 따라서, 그 분리된 복수의 레코드그룹 각각에 일련번호(예, 1,2,3,4, ??)를 부여하고 인덱스테이블의 일련번호 필드에 더 저장할 수 있다. 이 경우, 아카이빙된 데이터를 검색할 때에도, 분리된 복수의 파티션들 각각을 구별하여 검색을 수행할 수 있다. 이러한 일련번호는 이후 설명될 시퀀스에 대응될 수 있다.
단계(420)에서 컴퓨터 장치(200)는 파티션별로 데이터 레코드를 압축하여 압축 파티션을 생성할 수 있다. 일례로, 컴퓨터 장치(200)는 결정된 파티션에 포함된 데이터 레코드를 이진 객체로 압축하여 압축 파티션을 생성할 수 있다.
일례로, 컴퓨터 장치(200)는 압축 파티션을 생성하기 위해, 먼저 압축 파티션에 포함될 데이터 레코드를 버퍼에 저장할 수 있다. 데이터 레코드가 저장되는 버퍼의 크기는 테이블의 구조(필드의 개수, 종류, 및 크기) 및 압축 파티션에 포함될 데이터 레코드의 임계치에 기초하여 결정될 수 있다. 예를 들어, 테이블이 DATE(문자 8자), NAME(문자 30자) 및 AGE(정수 4바이트)의 총 3개의 필드를 포함하고 있고, 압축 파티션에 포함된 데이터 레코드 개수에 대한 임계치가 10만개라고 하면, 문자 1자를 2바이트로 계산할 때, 버퍼의 크기는 최소 10만 * (8*2 + 30*2 + 4) = 800만 바이트(약 8 메가바이트)가 될 수 있다. 이때 컴퓨터 장치(200)는 압축 파티션에 포함된 데이터 레코드 및 그 데이터 레코드의 필드값을 순차적으로 모두 읽어서, 버퍼에 차례대로 저장할 수 있다.
이후, 컴퓨터 장치(200)는 버퍼에 저장된 데이터를 압축하여 압축 파티션을 생성할 수 있다. 압축 파티션은 버퍼에 저장된 데이터를 압축하여 생성된 이진 객체 형태의 결과물일 수 있다. 이때, 압축으로 인한 손실이 발생하지 않도록 하기 위하여, 무손실의 압축 알고리즘인 ZIP, CTW, LZ77, LZW, gzip, bzip2, DEFLATE 등이 사용될 수 있다.
이때, 컴퓨터 장치(200)는 생성된 압축 파티션별로 고유하게 부여된 저장키를 생성할 수 있다.
단계(430)에서 컴퓨터 장치(200)는 압축 파티션 및 압축 파티션을 고유하게 식별하는 저장키를 연계하여 비 휘발성의 저장 수단에 저장할 수 있다. 이미 설명한 바와 같이, 비 휘발성의 저장 수단은 컴퓨터 장치(200)에 포함될 수도 있으나, 컴퓨터 장치(200)와 네트워크를 통해 연결된 다른 컴퓨터 장치에 포함될 수도 있다. 예를 들어, 압축 파티션은 비 휘발성의 저장 수단에서 파티션 단위로 압축하여 아카이빙된 데이터가 저장되는 압축테이블에 저장될 수 있다. 압축테이블은 파티션별로 압축하여 생성된 압축 파티션을 저장하기 위한 필드와 해당 압축 파티션에 대응되도록 고유하게 부여된 저장키를 저장하기 위한 필드를 포함할 수 있다. 저장키는 압축 파티션별로 고유하게 부여된 값을 포함하는 키로서, 저장키에 해당하는 압축테이블의 필드에 각 압축 파티션별로 공유한 저장키의 값이 저장될 수 있다. 또한, 저장키에 해당하는 필드는 하나 이상이 될 수도 있으며, 그 하나 이상의 필드에 분산 저장된 저장키들의 값들이 결합되었을 때, 각 압축 파티션별로 고유한 저장키가 형성되도록 구현될 수도 있다.
단계(440)에서 컴퓨터 장치(200)는 저장키 및 선별정보를 연계하여 휘발성의 인 메모리 데이터베이스의 인덱스테이블에 저장할 수 있다. 일례로, 선별정보가 해당 데이터 레코드의 임의의 필드값을 포함하는 경우, 컴퓨터 장치(200)는 단계(440)에서 저장키 및 임의의 필드값을 연계하여 그룹인덱스테이블에 저장할 수 있다. 그룹인덱스테이블에 저장된 저장키와 필드값은 임의의 필드값을 포함하는 검색조건에 따라 압축 저장된 데이터 레코드를 검색하기 위한 인덱스로서 활용될 수 있다. 다른 예로, 선별정보가 데이터 레코드의 시간에 대한 정보를 포함하는 경우, 컴퓨터 장치(200)는 저장키 및 시간에 대한 정보를 연계하여 기간인덱스테이블에 저장할 수 있다. 기간인덱스테이블에 저장된 저장키와 시간에 대한 정보는 임의의 시간에 대한 정보를 포함하는 검색조건에 따라 압축 저장된 데이터 레코드를 검색하기 위한 인덱스로서 활용될 수 있다. 다시 말해, 그룹인덱스테이블 및/또는 기간인덱스테이블을 포함하는 인덱스테이블은 검색조건이 포함하는 필드값 및/또는 시간에 대한 정보에 대응하는 저장키를 획득하는데 이용될 수 있으며, 저장키는 비 휘발성의 저장 수단(이 포함하는 압축테이블)에서 저장키에 대응하는 압축 파티션을 획득하는데 이용될 수 있다.
도 5는 본 발명의 일실시예에 있어서, 데이터를 아카이빙하기 위한 데이터 처리 방법의 다른 예를 도시한 흐름도이다. 본 실시예에 따른 데이터 처리 방법은 도 4를 통해 설명한 단계(440) 이후에 단계(510)를 더 포함할 수 있다.
단계(510)에서 컴퓨터 장치(200)는 압축된 데이터 레코드를 테이블에서 삭제할 수 있다. 데이터베이스를 압축하여 아카이빙하는 목적은 데이터베이스의 저장 공간을 절약하기 위함이므로, 컴퓨터 장치(200)는 아카이빙된 데이터 레코드들을 테이블에서 삭제함으로써 인 메모리 데이터베이스의 저장 공간을 절약할 수 있다. 다만, 실시예에 따라 압축된 데이터 레코드를 테이블에서 바로 삭제하지 않고, 일정 기간이 지난 후에 테이블에서 삭제할 수도 있다.
한편, 삭제된 데이터 레코드는 추후 해당 테이블로 복구될 수도 있다. 예를 들어, 컴퓨터 장치(200)는 삭제된 데이터 레코드의 복원 요청에 응답하여 인덱스테이블에서 복원 요청이 포함하는 식별정보와 연계된 저장키를 검색하고, 비 휘발성의 저장 수단(또는 비 휘발성의 저장 수단이 포함하는 압축 테이블)에서 검색된 저장키와 연계된 압축 파티션을 검색할 수 있다. 이후, 컴퓨터 장치(200)는 검색된 압축 파티션의 압축을 해제하여 삭제된 데이터 레코드를 복원하고, 복원된 데이터 레코드를 식별정보에 기초하여 테이블에 기록할 수 있다. 이때, 압축 파티션이 포함하는 데이터 레코드들 중 복원이 요청된 특정 데이터 레코드를 식별하기 위해 추후 설명되는 키인덱스테이블의 정보들이 활용될 수도 있다.
도 6은 본 발명의 일실시예에 따른 압축테이블의 구조의 제1 예를 도시한 도면이다. 도 6의 테이블(610)은 Doc.No. 필드(611), 시간에 대한 Date 필드(612) 및 특정 속성에 대한 Col1 필드(613)를 포함하고 있다. 이때, 컴퓨터 장치(200)는 선별정보로서 시간에 대한 정보인 테이블(610)의 Date 필드(612)의 필드값 또는 Col1 필드(613)의 필드값에 기초하여 테이블(610)의 데이터 레코드를 분류 및 압축함으로써 압축 파티션을 생성할 수 있다. 이때, 컴퓨터 장치(200)는 압축 파티션을 고유하게 식별하기 위한 저장키와 해당 압축 파티션을 서로 연계하여 저장함으로써 압축테이블(600)을 생성할 수 있다. 예를 들어, 도 6의 실시예에 따른 압축테이블(600)은 저장키를 필드값으로 갖는 OBJECT ID 필드(621)와 압축 파티션을 필드값으로 갖는 COMPRESSED DATA 필드(622)를 포함할 수 있다.
도 7은 본 발명의 일실시예에 따른 압축테이블의 구조의 제2 예를 도시한 도면이고, 도 8은 본 발명의 일실시예에 따른 기간인덱스테이블의 구조의 예를 도시한 도면이고, 도 9는 본 발명의 일실시예에 따른 그룹인덱스테이블의 구조의 예를 도시한 도면이다.
도 7은 앞서 도 6을 통해 설명한 테이블(610)을 통해 압축테이블(700)을 생성하는 다른 실시예를 설명하고 있다. 예를 들어, 컴퓨터 장치(200)는 선별정보로서 시간에 대한 정보인 테이블(610)의 Date필드(612)의 필드값에 기초하여 테이블(610)의 데이터 레코드를 분류 및 압축함으로써 압축 파티션을 생성할 수 있다. 또한, 컴퓨터 장치(200)는 선별정보와 해당하는 압축 파티션을 서로 연계하여 저장함으로써 압축테이블(700)을 생성할 수 있다. 예를 들어, 도 7의 실시예에 따른 압축 테이블(700)은 시간에 대한 정보를 필드값으로 갖는 PERIOD 필드(710)와 압축 파티션을 필드값으로 갖는 COMPRESSED DATA 필드(720)를 포함할 수 있다.
한편 도 8은 압축테이블(700)이 Date 필드(612)의 필드값(시간에 대한 정보)에 기초하여 데이터 레코드를 분류 및 압축함으로써 생성된 압축 파티션을 포함하는 경우에 생성 및 활용될 수 있는 기간인덱스테이블(800)의 예를 나타내고 있다. 이때, 기간인덱스테이블(800)은 시간에 대한 정보를 필드값으로 갖는 PERIOD 필드(810)와 저장키를 필드값으로 갖는 OBJECT ID 필드(820)를 포함할 수 있다. 예를 들어, 컴퓨터 장치(200)는 시간에 대한 정보(일례로, "2020.01")를 선별정보로서 포함하는 검색조건을 수신하는 경우, 기간인덱스테이블(800)에서 검색조건에 포함된 시간에 대한 정보를 이용하여 대응하는 저장키(일례로, 기간인덱스테이블(800)에서 시간에 대한 정보 "2020.01"에 대응하는 저장키 "O0001")를 검색할 수 있으며, 검색된 저장키를 이용하여 압축테이블(620)에서 저장키에 대응하는 압축 파티션(일례로, 압축테이블(600)에서 저장키 "O0001"에 대응하는 "50,000 Rows"의 압축 파티션)을 검색할 수 있게 된다.
또한, 도 9는 압축테이블(600)이 Col1 필드(613)의 필드값에 기초하여 데이터 레코드를 분류 및 압축함으로써 생성된 압축 파티션을 포함하는 경우에 생성 및 활용될 수 있는 그룹인덱스테이블(900)의 예를 나타내고 있다. 이때, 그룹인덱스테이블(900) Col1 필드(613)의 필드값을 자신의 필드값으로 갖는 PERIOD 필드(910)와 저장키를 필드값으로 갖는 OBJECT ID 필드(920)를 포함할 수 있다. 예를 들어, 컴퓨터 장치(200)는 Col1 필드(613)의 필드값(일례로, "1000")을 선별정보로서 포함하는 검색조건을 수신하는 경우, 그룹인덱스테이블(900)에서 검색조건에 포함된 필드값을 이용하여 대응하는 저장키(일례로, 그룹인덱스테이블(900)에서 필드값 "1000"에 대응하는 저장키 "O0001")를 검색할 수 있으며, 검색된 저장키를 이용하여 압축테이블(600)에서 저장키에 대응하는 압축 파티션(일례로, 압축테이블(600)에서 저장키 "O0001"에 대응하는 "50,000 Rows"의 압축 파티션)을 검색할 수 있게 된다.
도 10은 본 발명의 일실시예에 따른 압축테이블의 구조의 제2 예를 도시한 도면이고, 도 11은 본 발명의 일실시예에 있어서, 기간인덱스테이블과 그룹인덱스테이블이 결합된 형태의 인덱스테이블의 구조의 예를 도시한 도면이다.
도 10은 앞서 도 6을 통해 설명한 테이블(610)을 통해 압축테이블(1000)을 생성하는 또 다른 실시예를 설명하고 있다. 예를 들어, 컴퓨터 장치(200)는 시간에 대한 정보인 테이블(610)의 Date 필드(612)의 필드값 및 Col1 필드(613)의 필드값의 두 개의 필드값에 기초하여 테이블(610)의 데이터 레코드를 분류 및 압축함으로써 압축 파티션을 생성할 수 있다.
보다 구체적인 예로, 컴퓨터 장치(200)는, Data 필드(612)의 필드값이 "2002.01"이면서 Col1 필드(613)의 필드값이 "1000"인 데이터 레코드들을 압축하여 제1 압축 파티션을, Data 필드(612)의 필드값이 "2002.01"이면서 Col1 필드(613)의 필드값이 "2000"인 데이터 레코드들을 압축하여 제2 압축 파티션을, Data 필드(612)의 필드값이 "2002.02"이면서 Col1 필드(613)의 필드값이 "1000"인 데이터 레코드들을 압축하여 제3 압축 파티션을, Data 필드(612)의 필드값이 "2002.02"이면서 Col1 필드(613)의 필드값이 "2000"인 데이터 레코드들을 압축하여 제4 압축 파티션을, Data 필드(612)의 필드값이 "2002.03"이면서 Col1 필드(613)의 필드값이 "1000"인 데이터 레코드들을 압축하여 제5 압축 파티션을, Data 필드(612)의 필드값이 "2002.03"이면서 Col1 필드(613)의 필드값이 "2000"인 데이터 레코드들을 압축하여 제6 압축 파티션을 각각 생성할 수 있다.
이 경우, 컴퓨터 장치(200)는 압축 파티션을 고유하게 식별하기 위한 저장키와 해당 압축 파티션을 서로 연계하여 저장함으로써 압축테이블(1000)을 생성할 수 있다. 예를 들어, 도 10의 실시예에 따른 압축테이블(1000)은 저장키를 필드값으로 갖는 OBJECT ID 필드(1010)와 압축 파티션을 필드값으로 갖는 COMPRESSED DATA 필드(1020)를 포함할 수 있다.
한편 도 11은 기간인덱스테이블과 그룹인덱스테이블이 결합된 형태의 인덱스테이블(1100)의 예를 나타내고 있다. 이때, 인덱스테이블(1100)은 시간에 대한 정보를 필드값으로 갖는 PERIOD 필드(1110), Col1 필드(613)의 필드값을 자신의 필드값으로 갖는 PERIOD 필드(1110), 그리고 저장키를 필드값으로 갖는 OBJECT ID 필드(1130)를 포함할 수 있다. 예를 들어, 컴퓨터 장치(200)는 시간에 대한 정보(일례로, "2020.02") 및 Col1 필드(613)의 필드값(일례로, "1000")을 선별정보로서 포함하는 검색조건을 수신하는 경우, 인덱스테이블(1100)에서 검색조건이 포함하는 시간에 대한 정보와 필드값을 모두 만족하는 저장키(일례로, 인덱스테이블(1100)의 저장키 "O0003")를 검색할 수 있으며, 검색된 저장키를 이용하여 압축테이블(1000)에서 저장키에 대응하는 압축 파티션(일례로, 압축테이블(1000)에서 저장키 "O0003"에 대응하는 "30,000 Rows"의 압축 파티션)을 검색할 수 있게 된다.
이와 같이, 본 발명의 일실시예에 따른 데이터 처리 방법은 압축하는 절차를 거쳐 인 메모리 데이터베이스를 아카이빙함으로써, 인 메모리 데이터베이스의 용량을 획기적으로 절약하는 효과가 있다. 또한, 인 메모리 데이터베이스에 포함된 인덱스테이블을 통해 압축된 데이터가 저장되는 비 휘발성의 저장 수단의 원본테이블에 접속하여 추후에 그 아카이빙된 데이터를 복원 또는 검색함에 따라 검색의 효율성을 극대화할 수 있다.
한편, 휘발성의 인 메모리 데이터베이스에 포함되는 인덱스테이블은 인 메모리 데이터베이스의 특성에 따라 데이터가 손상될 위험이 존재하기 때문에 별도의 비 휘발성의 저장 수단에 백업될 수도 있다. 인덱스테이블이 백업되는 비 휘발성의 저장 수단은 압축 파티션이 저장되는 비 휘발성의 저장 수단과 동일할 수도 있고, 상이할 수도 있다. 예를 들어, 압축 파티션이 컴퓨터 장치(200)의 외부 시스템이 포함하는 비 휘발성의 저장 수단에 저장되고, 인덱스테이블은 컴퓨터 장치(200)의 로컬 저장소에 백업되는 경우를 고려할 수 있다.
도 12는 본 발명의 일실시예에 있어서, 데이터를 아카이빙하기 위한 데이터 처리 방법의 또 다른 예를 도시한 흐름도이다. 본 실시예에 따른 데이터 처리 방법은 도 4를 통해 설명한 단계(440) 이후에 단계(1210)를 더 포함할 수 있다.
단계(1210)에서 컴퓨터 장치(200)는 테이블에 포함된 데이터 레코드 각각에 대해, 프라이머리키(primary key), 해당 데이터 레코드를 포함하여 압축된 압축 파티션 내에서의 해당 데이터 레코드의 위치인 키인덱스정보 및 해당 데이터 레코드를 포함하여 압축된 압축 파티션에 대응되는 저장키를 연계하여 키인덱스테이블에 저장할 수 있다.
프라이머리키는 인 메모리 데이터베이스에서 레코드별로 고유하게 식별되는 값을 가지는 필드에서의 해당 값을 의미할 수 있으며, 기본키, 주키 또는 유니크키라고도 할 수 있다. 또한, 하나의 테이블에는 하나 이상의 프라이머리키가 존재할 수 있다. 또한, 키인덱스정보는 특정한 프라이머리키의 값을 가지는 데이터 레코드가 압축 파티션 내에서 어느 위치에 저장되어 있는지에 대한 정보이다. 예를 들어, 압축 파티션이 포함하는 10만개의 데이터 레코드에 대한 정보 중에서 1000번째로 저장된 데이터 레코드라는 저장순서에 관한 정보가 키인덱스정보로 저장될 수 있다.
한편, 키인덱스테이블에 프라이머리키를 저장하는 이유는 검색 대상이 되는 테이블을 다른 필드값 및 시간에 대한 정보뿐만 아니라 그 프라이머리키에 의해 직접 검색할 수 있도록 하기 위함이다. 즉, 사용자가 특정한 프라이머리키를 입력하면서, 그 프라이머리키를 갖는 데이터 레코드를 테이블에서 검색하려고 할 때, 키인덱스테이블이 사용될 수 있다. 보다 구체적으로, 컴퓨터 장치(200)는 특정한 프라이머리키를 갖는 데이터 레코드의 키인덱스정보와 저장키를 키인덱스테이블에서 검색할 수 있다. 이 경우, 컴퓨터 장치(200)는 획득한 저장키로 비 휘발성의 저장 수단(또는 비 휘발성의 저장 수단이 포함하는 압축테이블)에서 저장키에 대응하는 압축 파티션을 획득할 수 있으며, 키인덱스정보를 이용하여 압축 파티션에서 사용자가 원하는 특정 데이터 레코드를 검색할 수 있게 된다. 이미 설명한 바와 같이, 이러한 키인덱스테이블의 키인덱스정보는 특정 조건의 데이터 레코드를 테이블에 복원함에 있어서, 압축 파티션이 포함하는 데이터 레코드들 중에서 특정 조건의 데이터 레코드를 식별하기 위해 활용될 수도 있다.
도 13은 본 발명의 일실시예에 따른 압축테이블 및 키인덱스테이블의 구조의 예를 도시한 도면이다.
압축테이블(1310)은 저장키를 필드값으로 갖는 OBJECT ID 필드(1311), 대상 테이블의 처리 순서(시퀀스)를 필드값으로 갖는 SEQ 필드(1312) 및 압축 파티션을 필드값으로 갖는 COMPRESSED DATA 필드(1313)를 포함할 수 있다. 시퀀스는 부모 테이블과 자식 테이블이 존재할 때, 부모 테이블을 먼저 추출하고, 추출된 부모 테이블의 데이터를 이용하여 자식 테이블을 처리하는 처리 순서를 정의할 수 있다.
키인덱스테이블(1320)은 이미 설명한 바와 같이, 프라이머리키를 필드값으로 갖는 Doc.No. 필드(1321), 저장키를 필드값으로 갖는 OBJECT ID 필드(1322) 및 키인덱스정보를 필드값으로 갖는 Key Location info. 필드(1323)를 포함할 수 있다. 예를 들어, 키인덱스정보 1@1001에서 "@" 이전의 "1"은 SEQ 필드(1312)의 필드값에 대응하는 시퀀스를, "@" 이후의 "1001"은 해당 압축 파티션이 포함하는 데이터 레코드들 중 1,001 번째 데이터 레코드를 지시할 수 있다. 보다 구체적인 예로, 키인덱스테이블(1320)의 첫 번째 레코드는 프라이머리키가 '1'인 데이터 레코드가 저장키가 'O0001'이고, 시퀀스가 '1'인 압축 파티션의 데이터 레코드들 중 1,001 번째의 데이터 레코드로서 포함되어 있음을 지시할 수 있다. 이와 유사하게, 키인덱스테이블(1320)의 두 번째 레코드는 프라이머리키가 '2'인 데이터 레코드가 저장키가 'O0001'이고, 시퀀스가 '2'인 압축 파티션의 데이터 레코드들 중 2,001 번째의 데이터 레코드로서 포함되어 있음을 지시할 수 있다.
이처럼, 키인덱스정보는 압축 파티션 내에서의 특정 데이터 레코드의 위치에 대한 정보를 포함할 수 있으며, 이러한 키인덱스정보와 프라이머리키 및 저장키를 포함하는 키인덱스테이블(일례로, 도 13의 키인덱스테이블(1320))을 활용함으로써, 사용자의 검색조건에 따라 조회해야 할 데이터 레코드의 수를 줄일 수 있다.
다른 실시예에서 컴퓨터 장치(200)는 프라이머리키를 통해 제1 테이블(일례로, 단계(410)에서 설명한 테이블)과 연결된 연결테이블에서 데이터 레코드를 압축하여 생성된 제2 압축 파티션에 대하여, 제2 압축 파티션에 포함된 데이터 레코드 중에서 제1 테이블에 포함된 데이터 레코드와 프라이머리키가 동일한 데이터 레코드를 검색할 수 있으며, 검색된 데이터 레코드에 대하여 제2 압축 파티션 내에서의 위치인 서브인덱스정보를 키인덱스테이블상의 프라이머리키가 동일한 데이터 레코드에 대해 더 저장할 수 있다. 연결테이블은 프라이머리키를 통해 제1 테이블과 연결되는 테이블이다. 즉, 프라이머리키는 제1 테이블과 연결테이블에 모두 존재할 수 있다. 제2 압축 파티션은 프라이머리키를 통해 제1 테이블과 연결되는 연결테이블이 존재할 때, 해당 연결테이블에서 데이터 레코드를 압축하여 생성된 데이터일 수 있다. 이때. 제2 압축 파티션은 도 4에 대한 설명에서 상술한 압축 파티션과 동일한 방식으로 생성될 수 있으며, 압축 파티션과 마찬가지로 고유한 저장키와 함께 비 휘발성의 저장 수단(또는 비 휘발성의 저장 수단이 포함하는 압축테이블)에 저장될 수 있다. 서브인덱스정보는 특정한 프라이머리키를 가지는 데이터 레코드가 어떤 제2 압축 파티션 내에서 어느 위치에 저장되어 있는지에 대한 정보이다. 예를 들어, 제2 압축 파티션에 포함된 10만개의 데이터 레코드에 대한 정보 중에서 1000번째로 저장된 데이터 레코드라는 저장순서에 관한 정보가 서브인덱스정보로 저장될 수 있다. 예를 들어, 인 메모리 데이터베이스에 제1 테이블과 프라이머리키를 통해 연결되는 연결테이블이 존재하고, 제1 테이블에는 존재하지 않으나 연결테이블에는 존재하는 필드에 대하여, 사용자가 그 필드의 필드값 정보를 필요로 할 수 있다. 이 경우, 컴퓨터 장치(200)는 추후에 그 연결테이블까지 검색할 수 있도록 키인덱스테이블 상의 동일한 프라이머리키를 가지는 데이터 레코드에 대해 서브인덱스정보를 더 저장할 수 있다.
또 다른 실시예에서 컴퓨터 장치(200)는 제1 테이블에 대해 다수의 연결테이블이 존재하는 경우, 연결테이블 각각에 대한 서브인덱스정보를 취합하여 압축한 뒤, 키인덱스테이블에 새로운 서브인덱스정보로 저장할 수도 있다. 예를 들어, 컴퓨터 장치(200)가 연결테이블에서 동일한 프라이머리키를 갖는 데이터 레코드에 대하여 둘 이상의 제2 압축 파티션 내에서의 위치에 대한 서브인덱스정보를 모두 취합할 수 있으며, 취합된 값들을 압축하여, 키인덱스테이블 상의 동일한 프라이머리키의 값을 포함하는 데이터 레코드에 새로운 서브인덱스정보로 저장할 수 있다.
도 14는 본 발명의 일실시예에 따른 압축테이블 및 키인덱스테이블의 구조의 다른 예를 도시한 도면이다.
압축테이블(1410)은 저장키를 필드값으로 갖는 OBJECT ID 필드(1411), 테이블의 식별자를 필드값으로 갖는 TABLE 필드(1412), 시퀀스를 필드값으로 갖는 SEQ 필드(1413) 및 압축 파티션을 필드값으로 갖는 COMPRESSED DATA 필드(1414)를 포함할 수 있다. TABLE 필드(1412)는 테이블의 식별자를 필드값으로 포함할 수 있으며, 이를 통해 대응하는 압축 파티션이 어느 테이블에서 추출된 데이터 레코드들을 포함하는가를 식별할 수 있다.
본 실시예에 따른 키인덱스테이블(1420)은 프라이머리키를 필드값으로 갖는 Doc.No. 필드(1421), 저장키를 필드값으로 갖는 OBJECT ID 필드(1422), 키인덱스정보를 필드값으로 갖는 Key Location info. 필드(1423) 및 서브인덱스정보를 필드값으로 갖는 Sub Location info. 필드(1424)를 포함할 수 있다.
예를 들어, 키인덱스테이블(1420)의 첫 번째 레코드는 프라이머리키가 '1'인 데이터 레코드가 저장키가 'O0001'이고, 시퀀스가 '1'인 압축 파티션의 데이터 레코드들 중 10,001 번째의 데이터 레코드로서 포함되어 있음을 지시할 수 있다. 이때, Sub Location info. 필드(1424)의 필드값 "TAB1@1001-2/TAB2@2001-3"은 프라이머리키가 '1'인 데이터 레코드의 연결테이블에 대해 생성된 제2 압축 파티션 내에서의 위치를 나타내고 있다. 예를 들어, 필드값 "TAB1@1001-2/TAB2@2001-3"에서 "@" 이전의 "TAB1"과 "TAB2"는 동일한 프라이머리키를 통해 연결된 연결테이블들을 의미할 수 있으며, "@" 이후의 "1001-2"는 연결테이블 "TAB1"에 대한 제2 압축 파티션이 포함하는 데이터 레코드들 중 1,001 번째 데이터 레코드부터 2개의 데이터 레코드(1,001 번째 데이터 레코드(제1 데이터 레코드) 및 1,002 번째 데이터 레코드(제2 데이터 레코드))를 나타내고 있다. 또한, "@" 이후의 "2001-3"은 연결테이블 "TAB2"에 대한 제2 압축 파티션이 포함하는 데이터 레코드들 중 2,001 번째 데이터 레코드부터 3개의 데이터 레코드(2,001 번째 데이터 레코드(제3 데이터 레코드), 2,002 번째 데이터 레코드(제4 데이터 레코드) 및 2,003 번째 데이터 레코드(제5 데이터 레코드))를 나타내고 있다. 이때, 제1 데이터 레코드부터 제5 데이터 레코드까지가 모두 동일한 프라이머리키에 의해 식별될 수 있다.
도 15는 본 발명의 일실시예에 있어서, 아카이빙된 데이터를 검색하기 위한 데이터 처리 방법의 예를 도시한 도면이다. 본 실시예에 따른 데이터 처리 방법 역시 컴퓨터 장치(200)에 의해 수행될 수 있다.
단계(1510)에서 컴퓨터 장치(200)는 데이터 레코드의 선별정보를 포함하는 검색조건을 수신할 수 있다. 이러한 선별정보는 검색하고자 하는 데이터 레코드의 임의의 필드값 및/또는 해당 데이터 레코드의 시간에 대한 정보를 포함할 수 있다. 선별정보가 포함하는 필드값 및/또는 시간에 대한 정보는 범위의 형태로 포함될 수도 있다.
단계(1520)에서 컴퓨터 장치(200)는 휘발성의 인 메모리 데이터베이스상에서 데이터 레코드의 선별정보와 해당 데이터 레코드가 포함된 압축 파티션을 고유하게 식별하는 저장키를 연계하여 저장하는 인덱스테이블로부터, 검색조건이 포함하는 선별정보에 연계된 저장키를 검색할 수 있다. 이미 설명한 바와 같이 인덱스테이블은 그룹인덱스테이블 및/또는 기간인덱스테이블을 포함할 수 있으며, 그룹인덱스테이블은 특정 필드값과 저장키를 연계하여 저장할 수 있고, 기간인덱스테이블은 시간에 대한 정보와 저장키를 연계하여 저장함을 설명하였다. 따라서, 컴퓨터 장치(200)는 선별정보가 포함하는 필드값 및/또는 시간에 대한 정보에 대응하는 저장키를 그룹인덱스테이블 및/또는 기간인덱스테이블로부터 검색할 수 있게 된다. 예를 들어, 컴퓨터 장치(200)는 선별정보가 데이터 레코드의 임의의 필드값을 포함하는 경우, 저장키 및 임의의 필드값을 연계하여 저장하는 그룹인덱스테이블에서 검색조건의 선별정보로서 포함된 임의의 필드값에 연계된 저장키를 검색할 수 있다. 다른 예로, 컴퓨터 장치(200)는 선별정보가 데이터 레코드의 시간에 대한 정보를 포함하는 경우, 저장키 및 시간에 대한 정보를 연계하여 저장하는 기간인덱스테이블에서 검색조건의 선별정보로서 포함된 시간에 대한 정보에 연계된 저장키를 검색할 수 있다.
단계(1530)에서 컴퓨터 장치(200)는 저장키와 압축 파티션을 연계하여 저장하는 비 휘발성의 저장 수단에서 검색된 저장키에 연계된 압축 파티션을 검색할 수 있다. 이미 설명한 바와 같이, 비 휘발성의 저장 수단(또는 비 휘발성의 저장 수단이 포함하는 압축테이블)은 압축 파티션 및 압축 파티션을 고유하게 식별하는 저장키를 연계하여 저장하고 있으며, 따라서 컴퓨터 장치(200)는 이러한 비 휘발성의 저장 수단에서 저장키를 통해 해당 압축 파티션을 검색할 수 있게 된다.
이미 설명한 바와 같이, 키인덱스테이블이 더 활용되는 경우, 사용자는 프라이머리키를 검색에 활용할 수 있다. 키인덱스테이블은 앞서 설명한 바와 같이, 휘발성의 인 메모리 데이터베이스상의 임의의 테이블이 포함하는 데이터 레코드 각각에 대해, 프라이머리키, 해당 데이터 레코드를 포함하여 압축된 압축 파티션 내에서의 해당 데이터 레코드의 위치인 키인덱스정보 및 해당 데이터 레코드를 포함하여 압축된 압축 파티션에 대응되는 저장키를 연계하여 저장할 수 있다. 이때, 검색조건이 데이터 레코드의 프라이머리키를 더 포함하는 경우, 컴퓨터 장치(200)는 키인덱스테이블에서 검색조건이 더 포함하는 프라이머리키에 연계된 키인덱스정보 및 저장키를 검색할 수 있다. 이후, 컴퓨터 장치(200)는 검색된 키인덱스정보 및 저장키에 더 기초하여 단계(1530)에서 검색된 압축 파티션으로부터 검색조건에 따른 특정 데이터 레코드를 검색할 수 있게 된다.
또한, 키인덱스테이블은 프라이머리키를 통해 임의의 테이블과 연결된 연결테이블이 존재하는 경우, 연결테이블에서 데이터 레코드를 압축하여 생성된 제2 압축 파티션에 대하여 데이터 레코드의 제2 압축 파티션에서의 위치인 서브인덱스정보를 더 포함할 수 있다. 따라서, 검색조건이 프라이머리키를 더 포함하는 경우, 컴퓨터 장치(200)는 키인덱스테이블에서 검색조건이 더 포함하는 프라이머리키에 연계된 서브인덱스정보를 더 검색할 수 있고, 제2 압축 파티션 및 서브인덱스정보에 기초하여 제2 압축 파티션에서 검색조건에 따른 데이터 레코드를 더 검색함으로써, 특정 데이터 레코드에 대해, 검색하고자 하는 제1 테이블의 필드값뿐만 아니라, 제1 테이블과 프라이머리키로 연결된 연결테이블의 필드값도 획득할 수 있게 된다.
한편, 이미 설명한 바와 같이, 비 휘발성의 저장 수단은 컴퓨터 장치(200)와 네트워크를 통해 연결된 다른 컴퓨터 장치의 비 휘발성의 저장 수단을 포함할 수도 있다. 이 경우, 컴퓨터 장치(200)는 단계(1530)에서 네트워크를 통해 다른 컴퓨터 장치의 비 휘발성의 저장 수단으로부터 단계(1520)에서 검색된 저장키에 연계된 압축 파티션을 검색할 수 있다.
도 16 및 도 17은 본 발명의 일실시예에 있어서, 아카이빙된 데이터를 검색하는 예들을 도시한 도면들이다.
도 16은 쿼리(1610)를 통해 압축테이블(1620)에서 아카이빙된 데이터를 검색하는 예를 나타내고 있다. 도 16의 실시예에서는 압축테이블(1620)이 인덱스테이블과 결합된 형태로서, PERIOD 필드(1621), COL1 필드(1622), TABLE 필드(1623), OBJECT ID 필드(1624), SEQ 필드(1625) 및 COMPRESSED DATA 필드(1626)를 포함하고 있다. 실시예에 따라, PERIOD 필드(1621)와 COL1 필드(1622)는 별도의 인덱스테이블에 존재할 수도 있다. 이 경우, 압축테이블(1620)과 인덱스테이블을 연결하기 위해, 두 테이블들 각각에 OBJECT ID 필드(1624)가 존재할 수 있다. 실시예에 따라 TABLE 필드(1623)와 SEQ 필드(1625) 역시 인덱스테이블에 존재할 수도 있다.
이때, 쿼리(1610)는 테이블 "TAB1"로부터 PERIOD 필드(1621)의 필드값이 "2002.01"이고, COL1 필드(1622)의 필드값이 "1000"인 데이터 레코드를 검색하라는 명령을 의미할 수 있다. 이때, 컴퓨터 장치(200)는 압축테이블(1620)에서 쿼리(1610)에 해당하는 데이터 레코드가 압축테이블(1620)의 첫 번째 레코드의 COMPRESSED DATA 필드(1626)에 저장된 압축 파티션임을 확인할 수 있다. 따라서, 컴퓨터 장치(200)는 해당 압축 파티션의 압축을 해제하고, 해당 압축 파티션이 포함하는 데이터 레코드들("50,000 rows"의 데이터 레코드들)을 검색의 결과로서 제공할 수 있다.
도 17은 쿼리(1710)를 통해 압축테이블(1620)에서 아카이빙된 데이터를 검색하는 예를 나타내고 있다. 도 17의 실시예에서 쿼리(1710)는 프라이머리키를 검색조건으로서 활용하고 있기 때문에 키인덱스테이블(1720)이 활용될 수 있다. 키인덱스테이블(1720)은 Doc.No. 필드(1721), OBJECT ID 필드(1722), Key Location Info. 필드(1723) 및 Sub Location Info. 필드(1724)를 포함하고 있다.
이때, 쿼리(1710)는 테이블 "TAB1" 및 테이블 "TAB2"에서 프라이머리키로서의 Doc.No. 필드(1721)의 필드값이 '1'인 데이터 레코드를 검색하라는 명령을 의미할 수 있다. 이때, 컴퓨터 장치(200)는 키인덱스테이블(1720)에서 Doc.No. 필드(1721)의 필드값이 '1'인 첫 번째 레코드를 확인할 수 있으며, 첫 번째 레코드의 Sub Location Info. 필드(1724)의 필드값을 통해 압축테이블(1620)에서 프라이머리키가 '1'인 데이터 레코드들을 검색할 수 있다. 예를 들어, 컴퓨터 장치(200)는 Doc.No. 필드(1721)의 필드값이 '1'인 키인덱스테이블(1720)의 첫 번째 레코드의 서브인덱스정보 "TAB1@1001-2/TAB2@2001-3"를 통해 압축테이블(1620)에서 프라이머리키가 '1'인 데이터 레코드들을 추출할 수 있다. 이때, 서브인덱스정보가 포함하는 위치를 통해 압축 파티션들의 전체 데이터 레코드들을 전부 검색하지 않아도 쉽고 빠르게 특정 프라이머리키의 값을 갖는 데이터 레코드들을 검색할 수 있다.
이와 같이, 본 발명의 실시예들에 따르면, 휘발성의 인 메모리 데이터베이스에 저장된 데이터 레코드를 파티션 단위로 압축하여 비 휘발성의 저장 수단에 저장하되, 비 휘발성의 저장 수단에 저장된 파티션 각각을 고유하게 식별하는 저장키와 데이터 레코드에 대한 파티션을 결정하는데 사용된 선별정보를 휘발성의 인 메모리 데이터베이스의 테이블에 저장함으로써, 비 휘발성의 저장 수단에 압축 저장된 데이터를 빠르게 검색할 수 있다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (21)

  1. 컴퓨터 장치와 결합되어 데이터 처리 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 데이터 처리 방법은,
    휘발성의 인 메모리 데이터베이스의 테이블에 포함된 데이터 레코드에 대한 파티션을 데이터 레코드의 선별정보에 기초하여 결정하는 단계;
    상기 파티션별로 데이터 레코드를 압축하여 압축 파티션을 생성하는 단계;
    상기 압축 파티션 및 상기 압축 파티션을 고유하게 식별하는 저장키를 연계하여 비 휘발성의 저장 수단에 저장하는 단계;
    상기 저장키 및 상기 선별정보를 연계하여 상기 휘발성의 인 메모리 데이터베이스의 인덱스테이블에 저장하는 단계; 및
    상기 테이블에 포함된 데이터 레코드 각각에 대해, 프라이머리키(primary key), 해당 데이터 레코드를 포함하여 압축된 압축 파티션 내에서의 해당 데이터 레코드의 위치인 키인덱스정보 및 해당 데이터 레코드를 포함하여 압축된 압축 파티션에 대응되는 저장키를 연계하여 키인덱스테이블에 저장하는 단계
    를 포함하고,
    상기 키인덱스테이블에 저장하는 단계는,
    상기 프라이머리키를 통해 상기 테이블과 연결된 연결테이블에서 데이터 레코드를 압축하여 생성된 제2 압축 파티션에 대하여,
    상기 제2 압축 파티션에 포함된 데이터 레코드 중에서 상기 테이블에 포함된 데이터 레코드와 상기 프라이머리키가 동일한 데이터 레코드를 검색하는 단계; 및
    상기 검색된 데이터 레코드에 대하여 상기 제2 압축 파티션 내에서의 위치인 서브인덱스정보를 상기 키인덱스테이블 상의 상기 프라이머리키가 동일한 데이터 레코드에 대해 더 저장하는 단계
    를 포함하고,
    상기 키인덱스정보는,
    제1 프라이머리키에 대응하는 제1 데이터 레코드를 포함하는 압축 파티션의 일련번호로서의 시퀀스; 및
    상기 시퀀스에 대응하는 압축 파티션의 상기 제1 데이터 레코드의 순서
    를 포함하고,
    상기 서브인덱스정보는,
    제2 프라이머리키를 통해 연결된 연결 테이블의 식별자;
    상기 제2 프라이머리키를 통해 연결된 상기 연결 테이블의 식별자를 구분하는 제1 구분자;
    상기 식별자 각각에 대한 상기 제2 프라이머리키를 통해 식별되는 데이터 레코드의 범위; 및
    상기 제2 프라이머리키를 통해 연결된 상기 연결 테이블 중 동일한 연결 테이블에 대한 식별자와 범위를 구분하는 제2 구분자
    를 포함하는 것
    을 특징으로 하는 컴퓨터 프로그램.
  2. 제1항에 있어서,
    상기 선별정보는 해당 데이터 레코드의 임의의 필드값을 포함하고,
    상기 인덱스테이블에 저장하는 단계는,
    상기 저장키 및 상기 임의의 필드값을 연계하여 그룹인덱스테이블에 저장하는 것
    을 특징으로 하는 컴퓨터 프로그램.
  3. 제1항에 있어서,
    상기 선별정보는 해당 데이터 레코드의 시간에 대한 정보를 포함하고,
    상기 인덱스테이블에 저장하는 단계는,
    상기 저장키 및 상기 시간에 대한 정보를 연계하여 기간인덱스테이블에 저장하는 것
    을 특징으로 하는 컴퓨터 프로그램.
  4. 제1항에 있어서,
    상기 데이터 처리 방법은,
    상기 압축된 데이터 레코드를 상기 테이블에서 삭제하는 단계
    를 더 포함하는 것
    을 특징으로 하는 컴퓨터 프로그램.
  5. 제4항에 있어서,
    상기 데이터 처리 방법은,
    상기 삭제된 데이터 레코드의 복원 요청에 응답하여 상기 인덱스테이블에서 상기 복원 요청이 포함하는 식별정보와 연계된 저장키를 검색하는 단계;
    상기 비 휘발성의 저장 수단에서 상기 검색된 저장키와 연계된 압축 파티션을 검색하는 단계;
    상기 검색된 압축 파티션의 압축을 해제하여 상기 삭제된 데이터 레코드를 복원하는 단계; 및
    상기 복원된 데이터 레코드를 상기 식별정보에 기초하여 상기 테이블에 기록하는 단계
    를 더 포함하는 것
    을 특징으로 하는 컴퓨터 프로그램.
  6. 제1항에 있어서,
    상기 압축 파티션을 생성하는 단계는,
    상기 결정된 파티션에 포함된 데이터 레코드를 이진 객체로 압축하여 상기 압축 파티션을 생성하는 것
    을 특징으로 하는 컴퓨터 프로그램.
  7. 제1항에 있어서,
    상기 비 휘발성의 저장 수단에 저장하는 단계는,
    상기 압축 파티션 및 상기 저장키를 상기 컴퓨터 장치와 네트워크를 통해 연결된 다른 컴퓨터 장치의 비 휘발성의 저장 수단으로 분리하여 저장하는 것
    을 특징으로 하는 컴퓨터 프로그램.
  8. 적어도 하나의 프로세서를 포함하는 컴퓨터 장치가 수행하는 데이터 처리 방법에 있어서,
    상기 적어도 하나의 프로세서에 의해, 휘발성의 인 메모리 데이터베이스의 테이블에 포함된 데이터 레코드에 대한 파티션을 데이터 레코드의 선별정보에 기초하여 결정하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 파티션별로 데이터 레코드를 압축하여 압축 파티션을 생성하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 압축 파티션 및 상기 압축 파티션을 고유하게 식별하는 저장키를 연계하여 비 휘발성의 저장 수단에 저장하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 저장키 및 상기 선별정보를 연계하여 상기 휘발성의 인 메모리 데이터베이스의 인덱스테이블에 저장하는 단계; 및
    상기 테이블에 포함된 데이터 레코드 각각에 대해, 프라이머리키(primary key), 해당 데이터 레코드를 포함하여 압축된 압축 파티션 내에서의 해당 데이터 레코드의 위치인 키인덱스정보 및 해당 데이터 레코드를 포함하여 압축된 압축 파티션에 대응되는 저장키를 연계하여 키인덱스테이블에 저장하는 단계
    를 포함하고,
    상기 키인덱스테이블에 저장하는 단계는,
    상기 프라이머리키를 통해 상기 테이블과 연결된 연결테이블에서 데이터 레코드를 압축하여 생성된 제2 압축 파티션에 대하여,
    상기 제2 압축 파티션에 포함된 데이터 레코드 중에서 상기 테이블에 포함된 데이터 레코드와 상기 프라이머리키가 동일한 데이터 레코드를 검색하는 단계; 및
    상기 검색된 데이터 레코드에 대하여 상기 제2 압축 파티션 내에서의 위치인 서브인덱스정보를 상기 키인덱스테이블 상의 상기 프라이머리키가 동일한 데이터 레코드에 대해 더 저장하는 단계
    를 포함하고,
    상기 키인덱스정보는,
    제1 프라이머리키에 대응하는 제1 데이터 레코드를 포함하는 압축 파티션의 일련번호로서의 시퀀스; 및
    상기 시퀀스에 대응하는 압축 파티션의 상기 제1 데이터 레코드의 순서
    를 포함하고,
    상기 서브인덱스정보는,
    제2 프라이머리키를 통해 연결된 연결 테이블의 식별자;
    상기 제2 프라이머리키를 통해 연결된 상기 연결 테이블의 식별자를 구분하는 제1 구분자;
    상기 식별자 각각에 대한 상기 제2 프라이머리키를 통해 식별되는 데이터 레코드의 범위; 및
    상기 제2 프라이머리키를 통해 연결된 상기 연결 테이블 중 동일한 연결 테이블에 대한 식별자와 범위를 구분하는 제2 구분자
    를 포함하는 것
    을 특징으로 하는 데이터 처리 방법.
  9. 제8항의 방법을 컴퓨터 장치에 실행시키기 위한 컴퓨터 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록매체.
  10. 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서에 의해,
    휘발성의 인 메모리 데이터베이스의 테이블에 포함된 데이터 레코드에 대한 파티션을 데이터 레코드의 선별정보에 기초하여 결정하고,
    상기 파티션별로 데이터 레코드를 압축하여 압축 파티션을 생성하고,
    상기 압축 파티션 및 상기 압축 파티션을 고유하게 식별하는 저장키를 연계하여 비 휘발성의 저장 수단에 저장하고,
    상기 저장키 및 상기 선별정보를 연계하여 상기 휘발성의 인 메모리 데이터베이스의 인덱스테이블에 저장하고,
    상기 테이블에 포함된 데이터 레코드 각각에 대해, 프라이머리키(primary key), 해당 데이터 레코드를 포함하여 압축된 압축 파티션 내에서의 해당 데이터 레코드의 위치인 키인덱스정보 및 해당 데이터 레코드를 포함하여 압축된 압축 파티션에 대응되는 저장키를 연계하여 키인덱스테이블에 저장하고,
    상기 키인덱스테이블에 저장하기 위해, 상기 적어도 하나의 프로세서에 의해,
    상기 프라이머리키를 통해 상기 테이블과 연결된 연결테이블에서 데이터 레코드를 압축하여 생성된 제2 압축 파티션에 대하여,
    상기 제2 압축 파티션에 포함된 데이터 레코드 중에서 상기 테이블에 포함된 데이터 레코드와 상기 프라이머리키가 동일한 데이터 레코드를 검색하고,
    상기 검색된 데이터 레코드에 대하여 상기 제2 압축 파티션 내에서의 위치인 서브인덱스정보를 상기 키인덱스테이블 상의 상기 프라이머리키가 동일한 데이터 레코드에 대해 더 저장하고,
    상기 키인덱스정보는,
    제1 프라이머리키에 대응하는 제1 데이터 레코드를 포함하는 압축 파티션의 일련번호로서의 시퀀스; 및
    상기 시퀀스에 대응하는 압축 파티션의 상기 제1 데이터 레코드의 순서
    를 포함하고,
    상기 서브인덱스정보는,
    제2 프라이머리키를 통해 연결된 연결 테이블의 식별자;
    상기 제2 프라이머리키를 통해 연결된 상기 연결 테이블의 식별자를 구분하는 제1 구분자;
    상기 식별자 각각에 대한 상기 제2 프라이머리키를 통해 식별되는 데이터 레코드의 범위; 및
    상기 제2 프라이머리키를 통해 연결된 상기 연결 테이블 중 동일한 연결 테이블에 대한 식별자와 범위를 구분하는 제2 구분자
    를 포함하는 것
    을 특징으로 하는 컴퓨터 장치.
  11. 제10항에 있어서,
    상기 선별정보는 해당 데이터 레코드의 임의의 필드값을 포함하고,
    상기 인덱스테이블에 저장하기 위해, 상기 적어도 하나의 프로세서에 의해,
    상기 저장키 및 상기 임의의 필드값을 연계하여 그룹인덱스테이블에 저장하는 것
    을 특징으로 하는 컴퓨터 장치.
  12. 제10항에 있어서,
    상기 선별정보는 해당 데이터 레코드의 시간에 대한 정보를 포함하고,
    상기 인덱스테이블에 저장하기 위해, 상기 적어도 하나의 프로세서에 의해,
    상기 저장키 및 상기 시간에 대한 정보를 연계하여 기간인덱스테이블에 저장하는 것
    을 특징으로 하는 컴퓨터 장치.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
KR1020200108749A 2020-08-27 2020-08-27 인 메모리 데이터베이스의 데이터를 처리하는 방법 및 장치 KR102529704B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200108749A KR102529704B1 (ko) 2020-08-27 2020-08-27 인 메모리 데이터베이스의 데이터를 처리하는 방법 및 장치
JP2020175202A JP2022039881A (ja) 2020-08-27 2020-10-19 コンピュータプログラム、データ処理方法、記録媒体およびコンピュータ装置
US17/076,119 US11494093B2 (en) 2020-08-27 2020-10-21 Method and apparatus for processing data of in-memory database

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200108749A KR102529704B1 (ko) 2020-08-27 2020-08-27 인 메모리 데이터베이스의 데이터를 처리하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220027634A KR20220027634A (ko) 2022-03-08
KR102529704B1 true KR102529704B1 (ko) 2023-05-09

Family

ID=80358496

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200108749A KR102529704B1 (ko) 2020-08-27 2020-08-27 인 메모리 데이터베이스의 데이터를 처리하는 방법 및 장치

Country Status (3)

Country Link
US (1) US11494093B2 (ko)
JP (1) JP2022039881A (ko)
KR (1) KR102529704B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130013606A1 (en) 2011-07-08 2013-01-10 Stanfill Craig W Managing Storage of Data for Range-Based Searching
WO2015015727A1 (ja) 2013-07-30 2015-02-05 日本電気株式会社 ストレージ装置、データアクセス方法およびプログラム記録媒体
US20150363271A1 (en) 2014-06-16 2015-12-17 International Business Machines Corporation Restoring data in a hierarchical storage management system
US20190034466A1 (en) 2016-02-26 2019-01-31 Armiq Co., Ltd. Database archiving method and device for creating index information and method and device of retrieving archived database including index information
US20200159627A1 (en) 2010-06-04 2020-05-21 Commvault Systems, Inc. Failover systems and methods for performing backup operations, including heterogeneous indexing and load balancing of backup and indexing resources

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140072929A (ko) 2012-11-16 2014-06-16 현대중공업 주식회사 아카이빙 작업수행 자동화 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200159627A1 (en) 2010-06-04 2020-05-21 Commvault Systems, Inc. Failover systems and methods for performing backup operations, including heterogeneous indexing and load balancing of backup and indexing resources
US20130013606A1 (en) 2011-07-08 2013-01-10 Stanfill Craig W Managing Storage of Data for Range-Based Searching
WO2015015727A1 (ja) 2013-07-30 2015-02-05 日本電気株式会社 ストレージ装置、データアクセス方法およびプログラム記録媒体
US20150363271A1 (en) 2014-06-16 2015-12-17 International Business Machines Corporation Restoring data in a hierarchical storage management system
US20190034466A1 (en) 2016-02-26 2019-01-31 Armiq Co., Ltd. Database archiving method and device for creating index information and method and device of retrieving archived database including index information

Also Published As

Publication number Publication date
US20220066656A1 (en) 2022-03-03
JP2022039881A (ja) 2022-03-10
US11494093B2 (en) 2022-11-08
KR20220027634A (ko) 2022-03-08

Similar Documents

Publication Publication Date Title
KR102559290B1 (ko) 하이브리드 클라우드 기반의 실시간 데이터 아카이빙 방법 및 시스템
CN111949710B (zh) 数据存储方法、装置、服务器及存储介质
EP3896564A1 (en) Data processing method and device, and computer readable storage medium
US11030050B2 (en) Method and device of archiving database and method and device of retrieving archived database
US10972569B2 (en) Apparatus, method, and computer program product for heterogenous compression of data streams
US11030172B2 (en) Database archiving method and device for creating index information and method and device of retrieving archived database including index information
JP6726690B2 (ja) 基本データシーブを用いて無損失削減されたデータに対する多次元検索、コンテンツ連想的な取出し、ならびにキーワードベースの検索および取出しの実行
CN114416670B (zh) 适用于网盘文档的索引创建方法、装置、网盘及存储介质
US9734171B2 (en) Intelligent redistribution of data in a database
US11556497B2 (en) Real-time archiving method and system based on hybrid cloud
KR102529704B1 (ko) 인 메모리 데이터베이스의 데이터를 처리하는 방법 및 장치
JP7387116B2 (ja) データの送信および照会時の費用を最小化するためのデータアーカイビング方法およびシステム
KR102236521B1 (ko) 데이터를 처리하기 위한 방법 및 장치
US11500896B2 (en) Method and system for selectively separating organization data according to business division
CN114115734B (en) Data deduplication method, device, equipment and storage medium
JP7377915B2 (ja) 個別データ検索サービスを提供する方法、コンピュータ装置、およびコンピュータプログラム
CN112667607B (zh) 一种历史数据的管理方法及相关设备
CN118656025A (zh) 对象存储系统的重复数据删除方法、设备及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant