KR102564170B1 - 데이터 객체 저장 방법, 장치, 및 이를 이용한 컴퓨터 프로그램이 저장되는 컴퓨터 판독가능한 저장 매체 - Google Patents

데이터 객체 저장 방법, 장치, 및 이를 이용한 컴퓨터 프로그램이 저장되는 컴퓨터 판독가능한 저장 매체 Download PDF

Info

Publication number
KR102564170B1
KR102564170B1 KR1020170170421A KR20170170421A KR102564170B1 KR 102564170 B1 KR102564170 B1 KR 102564170B1 KR 1020170170421 A KR1020170170421 A KR 1020170170421A KR 20170170421 A KR20170170421 A KR 20170170421A KR 102564170 B1 KR102564170 B1 KR 102564170B1
Authority
KR
South Korea
Prior art keywords
data
storage device
external storage
stored
data object
Prior art date
Application number
KR1020170170421A
Other languages
English (en)
Other versions
KR20190019805A (ko
Inventor
펭타오 시에
하이주 샤오
위에화 다이
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20190019805A publication Critical patent/KR20190019805A/ko
Application granted granted Critical
Publication of KR102564170B1 publication Critical patent/KR102564170B1/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/172Caching, prefetching or hoarding of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/1734Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2291User-Defined Types; Storage management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2358Change logging, detection, and notification

Abstract

데이터 객체 저장 방법이 제공된다. 상기 데이터 객체 저장 방법은, 데이터 객체(data object)에 대한 쓰기 요청(writing request)을 수신하면, 데이터 객체의 데이터를 데이터 객체의 데이터 필드(data field)를 포함하는 제1 부분과, 데이터 객체의 메타 데이터(meta data)를 포함하는 제2 부분으로 분할하고, 제1 부분을 제1 외부 저장 장치에 저장된 제1 데이터 파일(data file)에 쓰고(write), 제1 외부 저장 장치에 저장된 제1 부분의, 위치 정보와, 제2 부분을, 제2 외부 저장 장치에 저장된 제2 데이터 파일에 쓰는 것을 포함한다.

Description

데이터 객체 저장 방법, 장치, 및 이를 이용한 컴퓨터 프로그램이 저장되는 컴퓨터 판독가능한 저장 매체{METHOD AND DEVICE FOR STORING DATA OBJECT, AND COMPUTER READABLE STORAGE MEDIUM HAVING A COMPUTER PROGRAM USING THE SAME}
본 발명의 기술적 사상은 데이터 저장 장치에 관련되어 있고, 더 구체적으로 데이터 객체를 저장하는 방법 및 장치에 관해 설명한다.
종래의 데이터베이스(database) 또는 파일 시스템(file system)에서는, 캐시(cache) 관리 방법으로서 B/B+ 트리(B/B+ tree), 해쉬 테이블(Hash table), 및 스킵 리스트(skip list) 등이 일반적으로 이용된다. 그리고 데이터는 일반적으로 객체(object)의 형태 측면에서 이러한 구조들과 관련이 있다. 예로서, B/B+ 트리를 이용하는 것을 들면, 각각의 데이터 객체는 각각의 트리 노드에 저장된다. B+ 트리에서, 데이터 정보는 리프(leaf) 노드로 전송되고, B+ 트리의 내부 노드는 관련된 키(key) 값의 범위를 저장하는데에만 이용된다. 데이터 노드가 상대적으로 크고, 매우 큰 양의 메모리를 차지할 수 있으므로, 빅 데이터(big data) 분석을 수행할 때, 종종 메모리 부족을 야기할 수 있다. 이때, 데이터베이스 또는 파일 시스템은 해당되는 대체 알고리즘(예를 들어, 최저 사용 빈도(LRU: Least Recently Used) 알고리즘)에 따라 메모리 페이지 데이터를 삭제할 수 있다. 메모리 페이지가 삭제된 후 B+ 트리의 B 트리는 B 트리나 B+ 트리의 균형을 유지하기 위해, 삭제된 데이터에 따라 B 트리 또는 B+ 트리를 조정할 수 있다. 새로운 데이터가 메모리에 로드되면, B 트리 또는 B+ 트리의 구조는 변화하고, 이때, 트리의 조정이 또한 필요할 수 있다. 유사한 연산 방법으로 또한 해쉬 테이블 및 스킵 리스트가 존재한다.
즉, 데이터 객체를 저장하기 위한 종래의 방법은, 캐시 영역에 로드되는 데이터 객체가 매우 큰 캐시 공간을 소비하게 되므로, 메모리의 많은 부분이 차지된다. 메모리 부족으로 인해 데이터 검색시의 더 많은 캐시 손실이 야기된다. 또한, 메모리 부족으로 인해 빈번한 인-아웃 페이지 교체가 야기되며, 시스템이 페이지 교체 동작시 CPU 시간을 매우 많이 소비하게 된다. 따라서, 클라이언트(client) 및 입/출력(I/O) 요청을 시간내에 처리할 수 없다. 게다가, 캐시 관리에 있어, 데이터베이스 또는 파일 시스템의 요구가 복잡하고 시간 소비를 많이 하는 동작을 수행하도록 하여, 결국 데이터베이스 또는 파일 시스템의 성능 저하를 야기한다.
본 발명은 적어도 본 명세서에 기술된 문제점들 및/또는 단점들을 해결하고, 적어도 이하에서 설명되는 이점들을 제공할 수 있다.
본 발명이 해결하고자 하는 기술적 과제는 데이터 객체 저장 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는 데이터 객체 저장 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는 데이터 객체 저장 방법을 이용하는 컴퓨터 프로그램이 저장되는 컴퓨터 판독가능한 저장 매체를 제공하는 것이다.
그러나, 본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한 본 발명의 몇몇 실시예에 따른 데이터 객체 저장 방법은 데이터 객체(data object)에 대한 쓰기 요청(writing request)을 수신하면, 데이터 객체의 데이터를 데이터 객체의 데이터 필드(data field)를 포함하는 제1 부분과, 데이터 객체의 메타 데이터(meta data)를 포함하는 제2 부분으로 분할하고, 제1 부분을 제1 외부 저장 장치에 저장된 제1 데이터 파일(data file)에 쓰고(write), 제1 외부 저장 장치에 저장된 제1 부분의, 위치 정보와, 제2 부분을, 제2 외부 저장 장치에 저장된 제2 데이터 파일에 쓰는 것을 포함한다.
상기 기술적 과제를 해결하기 위한 본 발명의 몇몇 실시예에 따른 데이터 객체 저장 장치는 데이터 객체(data object)에 대한 쓰기 요청(writing request)을 수신하면, 데이터 객체의 데이터를 데이터 객체의 데이터 필드(data field)를 포함하는 제1 부분과, 데이터 객체의 메타 데이터(meta data)를 포함하는 제2 부분으로 분할하는 분할부, 제1 부분을 제1 외부 저장 장치에 저장된 제1 데이터 파일(data file)에 쓰는 제1 쓰기부, 및 제1 외부 저장 장치에 저장된 제1 부분의, 위치 정보와, 제2 부분을, 제2 외부 저장 장치에 저장된 제2 데이터 파일에 쓰는 제2 쓰기부를 포함한다.
상기 기술적 과제를 해결하기 위한 본 발명의 몇몇 실시예에 따른 데이터 객체 저장 방법을 이용하는 컴퓨터 프로그램이 저장된 컴퓨터 판독가능한 저장 매체는 컴퓨터 프로그램(computer program)이 저장된 컴퓨터 판독 가능한 저장 매체(computer readable storage medium)로서, 컴퓨터 프로그램은 컴퓨터의 프로세서(processor)가, 데이터 객체(data object)에 대한 쓰기 요청(writing request)을 수신하면, 데이터 객체의 데이터를 데이터 객체의 데이터 필드(data field)를 포함하는 제1 부분과, 데이터 객체의 메타 데이터(meta data)를 포함하는 제2 부분으로 분할하고, 제1 부분을 제1 외부 저장 장치에 저장된 제1 데이터 파일(data file)에 쓰고(write), 제1 외부 저장 장치에 저장된 제1 부분의, 위치 정보와, 제2 부분을, 제2 외부 저장 장치에 저장된 제2 데이터 파일에 쓰도록 한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1은 몇몇 실시예에 따른 데이터 객체를 저장하는 방법에 관한 예시적인 순서도이다.
도 2는 종래의 데이터 객체를 저장하는 방법을 설명하는 예시적인 도면이다.
도 3은 몇몇 실시예에 따른 데이터 객체를 저장하는 방법을 설명하기 위한 예시적인 도면이다.
도 4는 몇몇 실시예에 따른 데이터 객체의 데이터 필드를 쿼리 (query)하는 방법을 설명하기 위한 예시적인 순서도이다.
도 5는 몇몇 실시예에 따른 데이터 객체의 데이터 필드를 업데이트하는 방법을 설명하기 위한 예시적인 순서도이다.
도 6은 몇몇 실시예에 따른 데이터 객체의 데이터 필드를 삭제하는 방법을 설명하기 위한 예시적인 순서도이다.
도 7은 몇몇 실시예에 따른 데이터 객체의 데이터 필드를 추가하는 방법을 설명하기 위한 예시적인 순서도이다.
도 8은 몇몇 실시예에 따른 데이터 객체를 저장하는 장치를 설명하기 위한 예시적인 블록도이다.
첨부된 도면에 도시된 본 발명의 예시적인 몇몇 실시예들은 이하에서 상세히 언급된다. 동일한 도면부호는 첨부된 도면 전체에서 동일한 구성요소를 나타낸다. 이하에서, 첨부된 도면을 참조하여 본 발명의 기술적 사상에 따른 몇몇 실시예들을 설명한다.
도 1은 몇몇 실시예에 따른 데이터 객체를 저장하는 방법에 관한 예시적인 순서도이다.
도 1을 참조하면, 데이터 객체에 대한 쓰기 요청(writing request)이 수신되면, 데이터 객체의 데이터는 데이터의 제1 부분과 데이터의 제2 부분으로 분리될 수 있다(S101). 데이터의 제1 부분은 데이터 객체의 데이터 필드(data field)를 포함할 수 있다. 데이터의 제2 부분은 데이터 객체의 메타 데이터(meta data)를 포함할 수 있다.
여기에서, 데이터 객체는 서로 연관된 데이터의 그룹이나 세트로서 이해될 수 있다. 예를 들어, 적어도 하나의, 사용자에 대한 특성 정보를 기록하는 데이터 세트는 데이터 객체로 간주될 수 있다.
데이터 객체는 복수개의 메타 데이터(meta data) 및 복수개의 데이터 필드(data field)를 포함할 수 있다. 각각의 데이터 필드는 적어도 하나의 데이터 객체와 대응될 수 있다.
메타 데이터는 데이터의 기술(description)에 이용되며, 주로 데이터의 특성(data property) 정보를 기술하는데 이용된다. 예를 들어, 데이터 객체의 메타 데이터는 데이터 객체의 인덱스 필드(index field), 인덱스 필드 기술 정보(description information), 및 각각의 데이터 객체의 데이터 필드(data field)의 기술 정보를 포함할 수 있다. 예를 들어, 데이터 필드의 기술 정보는 데이터 필드의 정보, 데이터 필드의 유형 등일 수 있다. 인덱스 필드의 기술 정보는 인덱스 필드의 정보, 인덱스 필드의 유형 등일 수 있다.
예를 들어, 데이터 객체가 사용자(user)에 대한 특성 정보를 적어도 하나 기록하는 세트이면, 데이터 객체의 인덱스 필드의 기술 정보는 사용자 ID(user ID)일 수 있다. 인덱스 필드는 사용자 ID의 특정 값일 수 있다. 각각의 데이터 필드의 기술 정보는 인식번호(identification number), 전화번호(phone number), 주소 등과 같은 이름 또는 유형일 수 있다. 각각의 데이터 필드는 사용자의 인식번호의 특정 값, 사용자의 전화번호의 특정 값, 사용자 주소의 특정 값일 수 있다.
예를 들어, 데이터의 제1 부분은 데이터 객체에 있는 모든 데이터 필드를 포함하고, 데이터의 제2 부분은 데이터 객체 포함된 모든 메타 데이터를 포함할 수 있다.
다른 예로서, 데이터의 제1 부분에 포함된 데이터 필드의 길이는 미리 정한 문턱 값보다 클 수 있다. 데이터의 제2 부분은, 데이터 필드의 길이가 미리 정한 문턱 값보다 크지 않은 경우, 데이터 객체의 데이터 필드를 더 포함할 수 있다. 다시 말해서, 데이터의 제1 부분은, 길이가 미리 정한 문턱 값보다 큰 (데이터 객체의) 데이터 필드를 포함할 수 있다. 또한, 데이터의 제2 부분은 데이터 객체에 포함된 메타 데이터, 및 길이가 미리 정한 문턱 값보다 크지 않은 (데이터 객체의) 데이터 필드를 포함할 수 있다. 여기에서, 미리 정한 문턱 값의 크기는 실제 상황(예를 들어, 메모리의 크기 등)에 따라 설정되는 것을 이해할 수 있을 것이다.
데이터의 제1 부분은 제1 외부 저장 장치에 저장된 제1 데이터 파일에 쓰여진다(S102).
제1 외부 저장 장치에 있는 데이터의 제1 부분의, 위치 정보(location information)와 데이터의 제2 부분은 제2 외부 저장 장치에 저장된 제2 데이터 파일에 쓰여진다(S103). 제1 외부 저장 장치와 제2 외부 저장 장치는 동일한 외부 저장 장치일 수 있다. 반면, 제1 외부 저장 장치와 제2 외부 저장 장치는 서로 다른 외부 저장 장치일 수 있다. 다시 말해서, 높은 접근(acceess) 빈도를 갖고 데이터 객체의 검색(retrive)에 요구되는 데이터와 상대적으로 큰 공간을 차지하는 데이터 필드는 분리되어 저장될 수 있다.
다른 데이터 객체의 데이터의 제1 부분도 동일한 제1 데이터 파일에 쓰여질 수 있다. 또한, 제1 외부 저장 장치에 있는 다른 데이터 객체의 데이터의 제1 부분의, 위치 정보와 데이터의 제2 부분 역시 제2 데이터 필드에 쓰여질 수 있다.
예를 들어, 제1 외부 저장 장치는 빠른 속도의 외부 저장 장치일 수 있다. 예를 들어, 제1 외부 저장 장치는 SATA 솔리드 스테이트 드라이브(SATA SSD: SATA Solid State Drive)와 NVMe 솔리드 스테이트 드라이브(NVMe SSD)등과 같은 솔리드 스테이트 드라이브(SSD)일 수 있다. 그러므로, 솔리드 스테이트 드라이브의 높은 대역폭(bandwidth)과 낮은 지연(delay) 특성이 요구된 데이터 필드를 신속하게 읽는데 이용될 수 있다.
예를 들어, 제2 외부 저장 장치는 빠른 속도의 외부 저장 장치(예를 들어, 솔리드 스테이트 드라이브 등), 마그네틱 디스크(magnetic disk) 등과 같은 저장 장치일 수 있다.
예를 들어, 제1 외부 저장 장치에 있는 데이터의 제1 부분의, 위치 정보는 제1 외부 저장 장치에 있는 데이터의 제1 부분의, 구조 기술 정보(structure description information)의 위치 정보일 수 있다. 여기에서, 데이터의 제1 부분의 구조 기술 정보는 제1 데이터 파일에 있는 데이터의 제1 부분의 특정 조직 형태(organization form)의 기술 정보로 간주될 수 있다. 예를 들어, 데이터의 제1 부분의 구조 기술 정보는 제1 데이터 파일에 있는 데이터의 제1 부분에, 포함된 각각의 데이터의 위치 정보 및 길이 정보를 포함할 수 있다.
다른 예를 들어, 제1 외부 저장 장치에 있는 데이터의 제1 부분의, 위치 정보는 제1 외부 저장 장치에 있는 데이터의 제1 부분에, 포함된 각각의 데이터 필드의 위치 정보 및 길이 정보일 수 있다.
데이터의 제1 부분이 제1 데이터 파일에 쓰여질 것이 결정되고, 데이터의 제1 부분이 제1 데이터 파일의 특정 위치에 쓰여진 후에, 제1 데이터 파일의 주소(address)는 시스템에서 이용될 수 있다. 다시 말해서, 제1 외부 저장 장치에 있는 데이터의 제1 부분의, 위치 정보가 알려질 수 있다. 제1 외부 저장 장치에 있는 데이터의 제1 부분의, 위치 정보를 획득하는 것은 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 알려져 있으며, 이하에서는 이를 반복해서 설명하지 않는다.
게다가, 몇몇 실시예에 따르면, 데이터의 제1 부분 전체가 제1 외부 저장 장치에 저장된 후에 과정 S103이 수행될 수 있다.
또한, 예를 들어, 본 발명의 몇몇 실시예에 따른 데이터 객체를 저장하는 방법은 과정 S102와 S103 사이에 다음의 과정을 더 수행할 수 있다.
제1 외부 저장 장치에 있는 데이터의 제1 부분의, 위치 정보와 데이터의 제2 부분만 파일 시스템의 로그 파일(log file)에 쓰여질 수 있다. 또한 로그 파일은 제1 외부 저장 장치나 제2 외부 저장 장치에 저장될 수 있다. 다시 말해서, 데이터의 제1 부분은 파일 시스템의 로그 파일에 쓰여지지 않을 수 있다. 예로서, 로그 파일은 제2 외부 저장 장치에 저장될 수 있다. 즉, 로그 파일과 데이터의 제2 부분은 동일한 외부 저장 장치에 저장될 수 있다.
종래 기술에서, 데이터 객체의 모든 데이터는 파일 시스템의 로그 파일에 저장된다. 그러므로, 로그 파일이 외부 저장 장치의 많은 공간을 차지하여, 데이터 쓰기 속도가 느려질 수 있다. 그러나, 본 발명의 몇몇 실시예에 따르면, 파일 시스템의 로그 파일이 차지하는 외부 저장 장치의 공간을 효과적으로 줄일 수 있고, 이는 데이터 쓰기 속도를 향상시킬 수 있다.
예로서, 몇몇 실시예에 따른 데이터 객체의 저장 방법은, 데이터 객체의 데이터 필드의 읽기(reading) 요청이 수신되면, 제1 외부 저장 장치에 있는 데이터의 제1 부분의, 위치 정보와 데이터의 제2 부분을 제2 외부 저장 장치로부터 메모리의 캐시 영역으로 로딩하는 것을 더 포함할 수 있다. 다시 말해서, 높은 접근(acceess) 빈도를 갖고 데이터 객체의 검색(retrive)에 요구되는 데이터는 캐시 영역으로 로딩되어, 검색에 필요한 대부분의 정보를, 각각의 데이터 객체가 차지하는 캐시의 영역을 줄이면서, 캐시로부터 얻을 수 있도록 하여, 데이터 검색 속도에 영향을 미치지 않도록 할 수 있다.
예로서, 캐시 영역으로 로딩된 데이터 객체의 데이터는 메모리의 캐시 영역에서 B 트리, B+ 트리, 해시 테이블, 및 스킵 리스트 중 하나의 형태로 관리될 수 있다.
도 2는 종래의 데이터 객체를 저장하는 방법을 설명하는 예시적인 도면이다.
도 3은 몇몇 실시예에 따른 데이터 객체를 저장하는 방법을 설명하기 위한 예시적인 도면이다.
NoSQL 데이터베이스인 MongoDB를 예로 들면, MongoDB에서 데이터 객체는 도큐먼트(document)의 형태(JSON 형태와 유사한 네스터블(nestable) K-V쌍의 그룹)로 저장될 수 있다. 또한, 도큐먼트는 키-값(key-value) 쌍을 가질 수 있다. MongoDB에서 추가, 삭제, 수정, 및 검색은 도큐먼트의 기본 단위로 수행될 수 있다.
도 2에 도시된 바와 같이, 종래에는 데이터베이스가 데이터 객체의 쓰기 요청을 수신하면, 데이터 객체의 모든 데이터가 함께 저장 엔진(storage engine)에 의해 직접 외부 저장 장치에 저장되었다.
도 3에 도시된 바와 같이, 본 발명의 몇몇 실시예에 따르면, 데이터베이스가 데이터 객체의 쓰기 요청을 수신하면, 쓰여질 데이터 객체는 차단될(blocked) 수 있고, 데이터 객체의 데이터는 데이터의 제1 부분과 제2 부분으로 분리될 수 있다.
이때, 도큐먼트 내에 메타 데이터(예를 들어, 인덱스 필드와 인덱스 필드의 기술 정보(_id: user123456789), 및 각각의 데이터 필드의 기술 정보(Field1, Field2, ... ))만 유지될 수 있다.
그리고, 데이터 객체의 데이터의 제1 부분은 제1 외부 저장 장치의 제1 데이터 파일에 저장될 수 있다. 여기에서, 제1 데이터 파일의 기술 정보 데이터 블록은 데이터 객체의 데이터의 제1 부분의 구조 기술 정보(즉, 제1 데이터 파일의 데이터의 제1 부분에 포함된 각각의 데이터 필드의 위치 정보 및 길이 정보)를 저장할 수 있다.
이때, 제1 외부 저장 장치에 있는 데이터 객체의 데이터의 제1 부분의, 위치 정보(예를 들어, 제1 외부 저장 장치에 있는 데이터 객체의 데이터의 제1 부분의, 구조 기술 정보(예를 들어, 제1 데이터 파일의 일련 번호(serial number)를 나타내는 fdindex: 2, 및 제1 데이터 파일에 있는 데이터 객체의 데이터의 제1 부분의 구조 기술 오프셋(offset)을 나타내는 header: 40960))는 도큐먼트에 해당하는 위치에 추가될 수 있다.
예를 들어, 데이터 객체의 데이터의 제1 부분이 모두 디스크에 저장되면, 재구성된 도큐먼트는 후속 처리를 위한 저장 엔진에 의해 연속적으로 처리될 수 있다. 예를 들어, 저장 엔진은 재구성된 도큐먼트를 종래의 방식으로 제2 외부 저장 장치에 저장된 제2 데이터 파일에 기록할 수 있다.
도 4는 몇몇 실시예에 따른 데이터 객체의 데이터 필드를 쿼리 (query)하는 방법을 설명하기 위한 예시적인 순서도이다.
도 4를 참조하면, 데이터 객체에 있는 적어도 하나의 데이터 필드에 대한 쿼리 요청(query request)이 수신되면, 제1 외부 저장 장치에 있는 데이터 객체의 데이터의 제1 부분의, 위치 정보와 데이터 객체의 데이터의 제2 부분이 제2 외부 저장 장치로부터 메모리의 캐시 영역으로 로딩될 수 있다(S201).
쿼리된 데이터 필드(queried data field)에 대응하는 메타 데이터와 제1 외부 저장 장치에 있는 쿼리된 데이터 필드의, 위치 정보가 메모리의 캐시 영역에서 읽어질 수 있다(S202). 예를 들어, 쿼리된 데이터 필드에 대응하는 메타 데이터는 쿼리된 데이터 필드의 기술 정보(예를 들어, 이름, 유형 등)일 수 있다.
쿼리된 데이터 필드는 읽기 위치 정보에 따라 제1 외부 저장 장치에서 읽어질 수 있다(S203).
특히, 예를 들어, 제1 외부 저장 장치에 있는 데이터 객체의 데이터의 제1 부분의, 위치 정보가 제1 외부 저장 장치에 있는 데이터 객체의 데이터의 제1 부분의, 구조 기술 정보의 위치 정보인 경우, 제1 외부 저장 장치에 있는 데이터 객체의 데이터의 제1 부분의, 구조 기술 정보의 위치 정보는 읽어질 수 있다(S202). 이후, 먼저 데이터의 제1 부분의 구조 기술 정보가 데이터의 제1 부분의 구조 기술 정보의 위치 정보에 따라 읽혀질 수 있다. 그리고, 제1 데이터 파일에 있는 쿼리된 데이터 필드의, 위치 정보 및 길이 정보가 읽어질 수 있다. 그리고, 상기 위치 정보 및 길이 정보에 따라 쿼리된 데이터 필드가 읽어질 수 있다(S203).
다른 예로서, 데이터 객체의 데이터의 제1 부분의 위치 정보가 제1 외부 저장 장치에 있는 데이터의 제1 부분에, 포함된 각각의 데이터 필드의 위치 정보와 길이 정보인 경우, 쿼리된 데이터 필드의 위치 정보와 길이 정보가 바로 읽어질 수 있다(S202). 그리고, 읽어진 위치 정보에 따라 쿼리된 데이터 필드는 제1 외부 저장 장치에서 바로 읽어질 수 있다(S203).
읽어진 메타 데이터와 읽어진 데이터 필드가 재결합하여 반환(return)된다(S204). 예를 들어, 재결합된 데이터는 쿼리 요청에 따라 반환 리스트(return list)에 채워질 수 있고, 반환 함수가 데이터 반환을 완료하기 위해 호출될 수 있다.
예로서, 데이터 객체의 데이터의 제1 부분이 데이터 객체에 있는 미리 정한 문턱 값 보다 큰 길이의 데이터 필드를 포함하고, 데이터 객체의 데이터의 제2 부분이 데이터 객체에 포함된 메타 데이터와 데이터 객체에 있는 미리 정한 문턱 값 보다 크지 않은 길이의 데이터 필드를 포함할 때, 과정 S202는 쿼리된 데이터 필드가 메모리의 캐시 영역에 저장될지 여부를 결정하는 것을 포함할 수 있다. 여기에서, 쿼리된 데이터 필드가 메모리의 캐시 영역에 저장되지 않는 것으로 결정된 경우, 쿼리된 데이터 필드와 대응하는 메타 데이터와 제1 외부 저장 장치에 있는 쿼리된 데이터 필드의, 위치 정보는 메모리의 캐시 영역에서 읽어질 수 있다.
반면, 쿼리된 데이터 필드가 메모리의 캐시 영역에 저장되는 것으로 결정된 경우, 쿼리된 데이터 필드와 쿼리된 데이터 필드와 대응하는 메타 데이터는 메모리의 캐시 영역에서 읽어질 수 있다. 이후, 바로 과정 S204를 실행할 수 있다.
도 5는 몇몇 실시예에 따른 데이터 객체의 데이터 필드를 업데이트하는 방법을 설명하기 위한 예시적인 순서도이다.
도 5를 참조하면, 과정 S301에서, 데이터 객체에 있는 적어도 하나의 데이터 필드에 대한 업데이트 요청이 수신되면, 업데이트된 데이터 필드는 제1 외부 저장 장치에 저장된 제1 데이터 파일에 쓰여질 수 있다.
과정 S302에서, 기존의 데이터 필드(old data field)는 제1 데이터 파일에서 삭제될 수 있다. 즉, 업데이트는 솔리드 스테이트 드라이브(SSD)의 특성에 적합하도록 데이터가 순차적으로 추가되어 쓰여지는 방식을 채택함으로써, 데이터의 랜덤 업데이트 동작을 순차적 업데이트 동작으로 변환할 수 있다.
과정 S303에서, 제1 외부 저장 장치에 있는 기존의 데이터 필드의, 위치 정보는 제1 외부 저장 장치에 있는 업데이트된 데이터 필드의, 위치 정보로 교체될 수 있다.
특히, 예로서, 데이터 객체의 데이터의 제1 부분의 위치 정보가 제1 외부 저장 장치에 있는 데이터의 제1 부분의, 구조 기술 정보의 위치 정보인 경우, 과정 S303 에서, 데이터의 제1 부분의 구조 기술 정보에서, 제1 데이터 파일에 있는 기존의 데이터 필드의, 위치 정보 및 길이 정보는 제1 데이터 파일에 있는 업데이트된 데이터 필드의, 위치 정보 및 길이 정보로 대체될 수 있다.
다른 예로서, 데이터 객체의 데이터의 제1 부분의 위치 정보가 제1 외부 저장 장치에 있는 데이터의 제1 부분에, 포함된 각각의 데이터 필드의 위치 정보 및 길이 정보인 경우, 과정 S303에서, 제2 데이터 파일에서, 제1 외부 저장 장치에 있는 기존의 데이터 필드의, 위치 정보 및 길이 정보는 업데이트된 데이터 필드의 위치 정보 및 길이 정보로 대체될 수 있다.
데이터 객체의 데이터의 제1 부분이 데이터 객체에 있는 미리 정한 문턱 값보다 큰 길이의 데이터 필드를 포함하고, 데이터 객체의 데이터의 제2 부분이, 데이터 객체에 포함된 메타 데이터와, 데이터 객체에 있는 미리 정한 문턱값보다 크지 않은 길이의 데이터 필드를 포함하면, 몇몇 실시예에 따른 데이터 객체의 데이터 필드를 업데이트하는 방법은 기존의 데이터 필드의 길이와 업데이트된 데이터 필드의 길이가 모두 문턱 값보다 큰 경우에 적합할 수 있다.
예를 들어, 기존의 데이터 필드의 길이와 업데이트된 데이터 필드의 길이가 모두 문턱 값보다 크지 않은 경우, 제2 데이터 파일에서, 기존의 데이터 필드는 업데이트된 데이터 필드로 교체될 수 있다.
예를 들어, 기존의 데이터 필드의 길이가 미리 정한 문턱 값보다 크고, 업데이트된 데이터 필드의 길이가 미리 정한 문턱 값보다 크지 않은 경우, 기존의 데이터 필드는 제1 데이터 파일에서 삭제될 수 있고, 기존의 데이터 필드의 위치 정보와 길이 정보는 이와 대응하여 제2 데이터 파일에서 삭제될 수 있다. 그리고, 업데이트된 데이터 필드는 제2 데이터 파일에 쓰여질 수 있다.
예를 들어, 기존의 데이터 필드의 길이가 미리 정한 문턱 값보다 크지 않고, 업데이트된 데이터 필드의 길이가 미리 정한 문턱 값보다 큰 경우, 기존의 데이터 필드는 제2 데이터 파일에서 삭제될 수 있고, 업데이트된 데이터 필드는 제1 데이터 파일에 쓰여질 수 있다. 그리고, 제1 외부 저장 장치에 있는 업데이트된 데이터 필드의, 위치 정보 및 길이 정보는 제2 데이터 파일에 쓰여질 수 있다.
도 6은 몇몇 실시예에 따른 데이터 객체의 데이터 필드를 삭제하는 방법을 설명하기 위한 예시적인 순서도이다.
도 6에 도시된 바와 같이, 과정 S401에서, 데이터 객체에 있는 적어도 하나의 데이터 필드의 삭제 요청(deleting request)을 수신하면, 삭제가 요청된 데이터 필드는 제1 데이터 파일에서 삭제될 수 있다.
과정 S402에서, 제1 외부 저장 장치에서 삭제가 요청된 데이터 필드의 위치 정보 및 길이 정보가 삭제될 수 있다.
특히, 예를 들어, 데이터 객체의 데이터의 제1 부분의 위치 정보가 제1 외부 저장 장치에 있는 데이터의 제1 부분의, 구조 기술 정보의 위치 정보인 경우, 과정 S402에서, 제1 데이터 파일에서 삭제가 요청된 데이터 필드의 위치 정보 및 길이 정보는 데이터의 제1 부분의 구조 기술 정보에서 삭제될 수 있다.
다른 예로서, 데이터 객체의 데이터의 제1 부분의 위치 정보가 제1 외부 저장 장치에 있는 데이터의 제1 부분에, 포함된 각각의 데이터 필드의 위치 정보 및 길이 정보인 경우, 제1 외부 저장 장치에서 삭제가 요청된 데이터 필드의 위치 정보 및 길이 정보는 제2 데이터 파일에서 삭제될 수 있다.
과정 S403에서, 삭제가 요청된 데이터 필드와 대응하는 메타 데이터가 제2 데이터 파일에서 삭제될 수 있다.
데이터 객체의 데이터의 제1 부분이 데이터 객체에 있는 미리 정한 문턱 값보다 큰 길이의 데이터 필드를 포함하고, 데이터 객체의 데이터의 제2 부분이 데이터 객체에 포함된 메타 데이터와 데이터 객체의 미리 정한 문턱 값보다 크지 않은 길이의 데이터 필드를 포함하는 경우, 몇몇 실시예에 따른 데이터 객체의 데이터 필드를 삭제하는 방법은 삭제될 데이터 필드의 길이가 미리 정한 문턱 값보다 큰 경우에 적합할 수 있다.
게다가, 예를 들어, 삭제가 요청된 데이터 필드의 길이가 미리 정한 문턱 값보다 크지 않은 경우, 삭제가 요청된 데이터 필드와 이에 대응하는 메타 데이터가 제2 데이터 파일에서 직접 삭제될 수 있다.
도 7은 몇몇 실시예에 따른 데이터 객체의 데이터 필드를 추가하는 방법을 설명하기 위한 예시적인 순서도이다.
도 7을 참조하면, 과정 S501에서, 데이터 객체의 적어도 하나의 데이터 필드에 대한 추가 요청(adding request)이 수신되면, 새로 추가된 데이터 필드는 제1 외부 저장 장치에 저장된 제1 데이터 파일에 쓰여질 수 있다.
과정 S502에서, 새로 추가된 데이터 필드와 대응하는 메타 데이터는 제2 외부 저장 장치에 저장된 제2 데이터 파일에 쓰여질 수 있다.
과정 S503에서, 제1 외부 저장 장치에 있는 새로 추가된 데이터 필드의 위치 정보 및 길이 정보가 저장될 수 있다.
특히, 예를 들어, 데이터 객체의 데이터의 제1 부분의 위치 정보가 제1 외부 저장 장치에 있는 데이터의 제1 부분의, 구조 기술 정보의 위치 정보인 경우, 제1 데이터 파일에 있는 새로 추가된 데이터 필드의, 위치 정보 및 길이 정보는 데이터 객체의 데이터의 제1 부분의 구조 기술 정보에 저장될 수 있다.
다른 예로서, 데이터 객체의 데이터의 제1 부분의 위치 정보가 제1 외부 저장 장치에 있는 데이터의 제1 부분에, 포함된 각각의 데이터 필드의 위치 정보 및 길이 정보인 경우, 제1 외부 저장 장치에 있는 새로 추가된 데이터 필드의 위치 정보 및 길이 정보는 제2 데이터 파일에 쓰여질 수 있다.
데이터 객체의 데이터의 제1 부분이 데이터 객체에 있는 미리 정한 문턱 값보다 큰 길이의 데이터 필드를 포함하고, 데이터 객체의 데이터의 제2 부분이 데이터 객체에 포함된 메타 데이터와 데이터 객체의 미리 정한 문턱 값보다 크지 않은 길이의 데이터 필드를 포함하는 경우, 과정 S501은 데이터 객체의 적어도 하나의 데이터 필드에 대한 추가 요청이 있는 경우, 새로 추가된 데이터 필드의 길이가 미리 정한 문턱 값보다 큰지 여부를 결정하는 것을 포함할 수 있다. 여기에서, 새로 추가된 데이터 필드의 길이가 미리 정한 문턱 값보다 크면, 새로 추가된 데이터 필드는 제1 외부 저장 장치에 저장된 제1 데이터 파일에 쓰여질 수 있다. 반면, 새로 추가된 데이터 필드의 길이가 미리 정한 문턱 값보다 크지 않으면, 새로 추가된 데이터 필드와 이에 대응되는 메타 데이터는 제2 외부 저장 장치에 저장된 제2 데이터 파일에 직접 쓰여질 수 있다.
도 8은 몇몇 실시예에 따른 데이터 객체를 저장하는 장치를 설명하기 위한 예시적인 블록도이다.
도 8에 도시된 바와 같이, 본 발명의 몇몇 실시예에 따른 데이터 객체 저장 장치는 분할부(101, dividing unit), 제1 쓰기부(102, first writing unit), 및 제2 쓰기부(103, second writing unit)를 포함할 수 있다.
분할부(101)는 데이터 객체의 쓰기 요청(writing request)을 수신하면, 데이터 객체의 데이터를 데이터의 제1 부분과 데이터의 제2 부분으로 나눌 수 있다. 여기에서, 데이터의 제1 부분은 데이터 객체의 데이터 필드를 포함할 수 있다. 또한, 데이터의 제2 부분은 데이터 객체의 메타 데이터를 포함할 수 있다.
예를 들어, 데이터 객체의 메타 데이터는 데이터 객체의 인덱스 필드(index field), 인덱스 필드 기술 정보(description information), 및 각각의 데이터 객체의 데이터 필드(data field)의 기술 정보를 포함할 수 있다.
예를 들어, 데이터의 제1 부분은 데이터 객체에 있는 모든 데이터 필드를 포함하고, 데이터의 제2 부분은 데이터 객체 포함된 모든 메타 데이터를 포함할 수 있다.
다른 예로서, 데이터의 제1 부분에 포함된 데이터 필드의 길이는 미리 정한 문턱 값보다 클 수 있다. 데이터의 제2 부분은, 데이터 필드의 길이가 미리 정한 문턱 값보다 크지 않은 경우, 데이터 객체의 데이터 필드를 더 포함할 수 있다. 다시 말해서, 데이터의 제1 부분은, 길이가 미리 정한 문턱 값보다 큰 (데이터 객체의) 데이터 필드를 포함할 수 있다. 또한, 데이터의 제2 부분은 데이터 객체에 포함된 메타 데이터, 및 길이가 미리 정한 문턱 값보다 크지 않은 (데이터 객체의) 데이터 필드를 포함할 수 있다. 여기에서, 미리 정한 문턱 값의 크기는 실제 상황(예를 들어, 메모리의 크기 등)에 따라 설정되는 것을 이해할 수 있을 것이다.
제1 쓰기부(102)는 데이터의 제1 부분을 제1 외부 저장 장치에 저장된 제1 데이터 파일에 쓸 수 있다.
제2 쓰기부(103)는 제1 외부 저장 장치에 있는 데이터의 제1 부분의, 위치 정보 및 데이터의 제2 부분을 제2 외부 저장 장치에 저장된 제2 데이터 파일에 쓸 수 있다. 여기에서, 제1 외부 저장 장치와 제2 외부 저장 장치는 동일한 외부 저장 장치이거나, 서로 다른 외부 저장 장치일 수 있다.
예를 들어, 제1 외부 저장 장치에 있는 데이터의 제1 부분의, 위치 정보는 제1 외부 저장 장치에 있는 데이터의 제1 부분의, 구조 기술 정보의 위치 정보일 수 있다. 여기에서, 데이터의 제1 부분의 구조 기술 정보는 제1 데이터 파일에 있는 데이터의 제1 부분의, 특정 조직 형태(organization form)의 기술 정보로 간주될 수 있다. 예를 들어, 데이터의 제1 부분의 구조 기술 정보는 제1 데이터 파일에 있는 데이터의 제1 부분에, 포함된 각각의 데이터의 위치 정보 및 길이 정보를 포함할 수 있다.
다른 예로서, 제1 외부 저장 장치에 있는 데이터의 제1 부분의, 위치 정보는 제1 외부 저장 장치에 있는 데이터의 제1 부분에, 포함된 각각의 데이터 필드의 위치 정보 및 길이 정보일 수 있다.
예를 들어, 본 발명의 몇몇 실시예에 따른 데이터 객체의 저장 장치는 로딩부(미도시, loading unit)를 더 포함할 수 있다.
로딩부는, 데이터 객체에 대한 읽기 명령이 수신되면, 제1 외부 저장 장치에 있는 데이터의 제1 부분의, 위치 정보 및 데이터의 제2 부분을 제2 외부 저장 장치에서 메모리의 캐시 영역으로 로딩할 수 있다.
예를 들어, 본 발명의 몇몇 실시예에 따른 데이터 객체의 저장 장치는 제3 쓰기부(미도시, third writing unit)와 로그 파일 저장부(미도시, log file storage unit)를 더 포함할 수 있다.
제1 쓰기부(102)가 데이터의 제1 부분을 제1 외부 저장 장치에 저장된 제1 데이터 파일에 쓰고 난 후, 그리고, 제2 쓰기부(103)가 제1 외부 저장 장치에 있는 데이터의 제1 부분의, 위치 정보와 데이터의 제2 부분을 제2 외부 저장 장치에 저장된 제2 데이터 파일에 쓰기 전, 제3 쓰기부는 제1 외부 저장 장치에 있는 데이터의 제1 부분의, 위치 정보와 데이터의 제2 부분을 파일 시스템의 로그 파일에 쓸 수 있다.
로그 파일 저장부는 로그 파일을 제1 외부 저장 장치에 저장하거나, 제2 외부 저장 장치에 저장할 수 있다.
예를 들어, 본 발명의 몇몇 실시예에 따른 데이터 객체의 저장 장치는 로딩부(loading unit, 미도시), 읽기부(reading unit, 미도시), 및 반환부(return unit, 미도시)를 더 포함할 수 있다.
로딩부는, 데이터 객체에 있는 적어도 하나의 데이터 필드의 쿼리 요청(query request)을 수신하면, 제1 외부 저장 장치에 있는 데이터 객체의 데이터의 제1 부분의, 위치 정보 및 데이터 객체의 데이터의 제2 부분을 제2 외부 저장 장치에서 메모리의 캐시 영역으로 로딩할 수 있다.
읽기부는, 쿼리된 데이터 필드에 대응하는 메타 데이터와 제1 외부 저장 장치에 있는 쿼리된 데이터 필드의, 위치 정보를 메모리의 캐시 영역에서 읽을 수 있다. 또한, 읽어진 위치 정보에 따라 제1 외부 저장 장치에서 쿼리된 데이터 필드를 읽을 수 있다.
반환부는 리드된 메타 데이터와 리드된 데이터 필드를 결합하고, 재결합 데이터로 반환할 수 있다.
예를 들어, 본 발명의 몇몇 실시예에 따른 데이터 객체의 저장 장치는 필드 삭제부(field deleting unit, 미도시) 및 위치 정보 업데이트부(location information updating unit, 미도시)를 더 포함할 수 있다.
예를 들어, 데이터 객체에 있는 적어도 하나의 데이터에 대한 업데이트 요청(updating request)을 수신하면, 제1 쓰기부(102)는 업데이트된 데이터 필드를 제1 외부 저장 장치에 저장된 제1 데이터 파일에 쓸 수 있다.
필드 삭제부는 제1 데이터 파일에서 기존의 데이터 필드를 삭제할 수 있다.
위치 정보 업데이트부는 제1 외부 저장 장치에 있는 기존의 데이터 필드의, 위치 정보를 제1 외부 저장 장치에 있는 업데이트된 데이터 필드의, 위치 정보로 교체할 수 있다.
예를 들어, 본 발명의 몇몇 실시예에 따른 데이터 객체의 저장 장치는 필드 삭제부(미도시), 위치 정보 업데이트부(미도시), 및 메타 데이터 삭제부(meta data deleting unit, 미도시)를 더 포함할 수 있다.
필드 삭제부는, 데이터 객체에 있는 적어도 하나의 데이터 필드에 대한 삭제 요청을 수신하면, 제1 데이터 파일에서 삭제가 요청된 데이터 필드를 삭제할 수 있다.
위치 정보 업데이트부는 제1 외부 저장 장치에 있는 삭제가 요청된 데이터 필드의, 위치 정보를 삭제할 수 있다.
메타 데이터 삭제부는 제2 외부 저장 장치의 제2 데이터 파일에서, 삭제가 요청된 데이터 필드와 대응되는 메타 데이터를 삭제할 수 있다.
또한, 예를 들어, 데이터 객체의 적어도 하나의 데이터 필드에 대한 추가 요청(adding request)을 수신하면, 제1 쓰기부(102)는 새로 추가된 데이터 필드를 제1 외부 저장 장치에 저장된 제1 데이터 파일에 저장할 수 있다. 데이터 객체의 데이터의 제1 부분의 위치 정보가, 제1 외부 저장 장치에 있는 데이터의 제1 부분의, 구조 기술 정보의 위치 정보인 경우, 제1 쓰기부(102)는 제1 데이터 파일에 있는 새로 추가된 데이터 필드의, 위치 정보 및 길이 정보를 데이터 객체의 데이터의 제1 부분의 구조 기술 정보에 저장할 수 있다. 그리고, 제2 쓰기부(103)는 새로 추가된 데이터 필드와 대응하는 메타 데이터를 제2 외부 저장 장치에 저장된 제2 데이터 파일에 쓸 수 있다.
데이터 객체의 데이터의 제1 부분의 위치 정보가 제1 외부 저장 장치에 있는 데이터의 제1 부분에, 포함된 각각의 데이터 필드의 위치 정보 및 길이 정보인 경우, 제2 쓰기부(103)는 제1 외부 저장 장치에 있는 새로 추가된 데이터 필드의, 위치 정보와 새로 추가된 데이터 필드와 대응하는 메타 데이터를 제2 데이터 파일에 쓸 수 있다.
본 발명의 몇몇 실시예에 따른 데이터 객체의 저장 장치를 구현하는 구체적인 방법은, 도 1 내지 도 7을 참조하여, 관련된 설명들을 조합하여 구현할 수 있을 것이다.
예를 들어, 몇몇 실시예에 따라 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체가 제공되고, 상기 컴퓨터 프로그램은 프로세서가 앞서 언급한 몇몇 실시예들에 따른 데이터 객체 저장 방법을 실행하도록 구현될 수 있다.
본 발명의 몇몇 실시예에 따른 데이터 객체의 저장 방법 및 장치는 데이터 객체의 새로운 조직의 형태를 제공할 수 있다. 또한, 본 발명의 몇몇 실시예에 따른 데이터 객체의 저장 방법 및 장치는 데이터 객체의 검색이 요구되고, 높은 접근 빈도를 갖는 데이터를 검색이 상대적으로 적은 큰 데이터 블록과 분리하여 저장할 수 있다. 이를 통해, 데이터 객체에 대한 읽기 요청이 수신되면, 데이터 객체의 검색이 요구되고, 상대적으로 높은 접근 빈도를 갖는 데이터만 캐시 영역에 로드하여, 각각의 데이터 객체가 차지하는 캐시 공간을 효과적으로 감소시킬 수 있다. 그러므로, 메모리에 보다 많은 메타 데이터를 저장할 수 있어 B 트리, 해시 테이블 등은 더 완성된 구조를 가지며, 구조 조정이 빈번하게 수행되지 않을 수 있다. 또한, 프로세서는 서비스를 처리하기 위한 더 많은 시간을 가질 수 있다. 게다가, 솔리드 스테이트 드라이브의 사용율(utility rate)을 효과적으로 증대시킬 수 있다.
게다가, 본 발명의 몇몇 실시예에 따른 데이터 객체의 저장 장치에 있는 유닛(unit)들은 하드웨어 구성요소 및/또는 소프트웨어 구성요소로 구현될 수 있다. 본 발명의 기술 분야에서 통상의 지식을 가진자는, 본 명세서에서 정의된 각각의 유닛에 의해 수행되는 과정에 따라, 각각의 유닛들을 구현할 수 있을 것이다. 예를 들어, 필드 프로그래머블 게이트 어레이(FPGA: Field Programmable Gate Array), 또는 응용 주문형 집적 회로(ASIC: Application Specific Integrated Circuit)으로 구현될 수 있다.
게다가, 본 발명의 몇몇 실시예에 따른 데이터 객체의 저장 방법은 컴퓨터 판독가능한 기록 매체에서 컴퓨터 코드로 구현될 수 있다. 본 발명의 기술 분야에서 통상의 지식을 가진 자는 상기 방법들에 대한 설명에 따라 컴퓨터 코드로 구현할 수 있을 것이다. 컴퓨터 코드가 컴퓨터에서 실행되면, 몇몇 실시예에 따른 방법들은 구현될 수 있다.
이상 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
101: 분할부
102: 제1 쓰기부
103: 제2 쓰기부

Claims (10)

  1. 데이터 저장 장치에 의해, 데이터 필드(data field)와 메타 데이터(meta data)를 포함하는 데이터 객체(data object)에 대한 쓰기 요청(writing request)을 수신하고,
    상기 데이터 저장 장치에 의해, 상기 쓰기 요청을 수신한 것에 응답하여, 상기 데이터 객체의 데이터를 상기 데이터 객체의 상기 데이터 필드를 포함하는 제1 부분과, 상기 데이터 객체의 상기 메타 데이터를 포함하는 제2 부분으로 분할하되, 상기 제1 부분의 데이터 크기는 상기 제2 부분의 데이터 크기보다 크고, 상기 제2 부분에 포함된 데이터는 상기 제1 부분에 포함된 데이터에 비해 높은 접근 빈도를 갖고,
    상기 데이터 저장 장치에 의해, 상기 제1 부분을 제1 외부 저장 장치에 저장된 제1 데이터 파일(data file)에 쓰고,
    상기 데이터 저장 장치에 의해, 상기 제1 외부 저장 장치에 저장된 상기 제1 부분의 위치 정보와, 상기 제2 부분을, 제2 외부 저장 장치에 저장된 제2 데이터 파일에 쓰는 것을 포함하되,
    상기 메타 데이터는 상기 데이터 객체의 데이터 특성을 기술하는 정보를 포함하는 데이터 객체 저장 방법.
  2. 제 1항에 있어서,
    상기 제1 부분에 포함된 데이터 필드의 길이는 미리 정한 문턱 값보다 크고,
    상기 제2 부분은, 길이가 미리 정한 문턱 값보다 작거나 같은 데이터 필드를 더 포함하는 데이터 객체 저장 방법.
  3. 제 1항에 있어서,
    상기 데이터 저장 장치에 의해, 상기 제1 부분을 상기 제1 외부 저장 장치에 저장된 상기 제1 데이터 파일에 쓰고난 후, 및 상기 제1 외부 저장 장치에 저장된 상기 제1 부분의 상기 위치 정보와 상기 제2 부분을 상기 제2 외부 저장 장치에 저장된 상기 제2 데이터 파일에 쓰기 전에, 상기 제1 외부 저장 장치에 저장된 상기 제1 부분의 상기 위치 정보와, 상기 제2 부분을 파일 시스템(file system)의 로그 파일(log file)에 쓰고,
    상기 데이터 저장 장치에 의해, 상기 로그 파일을 상기 제1 외부 저장 장치나 상기 제2 외부 저장 장치에 저장하는 것을 더 포함하는 데이터 객체 저장 방법.
  4. 제 1항에 있어서,
    상기 데이터 저장 장치에 의해, 상기 데이터 객체에 대한 읽기 요청(reading request)이 수신되면, 상기 제2 외부 저장 장치로부터, 상기 제1 외부 저장 장치에 저장된 상기 제1 부분의 상기 위치 정보와, 상기 제2 부분을 메모리의 캐시 영역(cache region)에 로드(load)하고,
    상기 데이터 저장 장치에 의해, 상기 제1 외부 저장 장치로부터의 상기 데이터 객체의 상기 데이터 필드를 읽고,
    상기 데이터 저장 장치에 의해, 상기 메모리의 상기 캐시 영역으로부터 상기 제2 부분에 포함되는 상기 데이터 객체의 상기 메타 데이터를 읽고,
    상기 데이터 저장 장치에 의해, 읽어진 상기 메타 데이터와 읽어진 상기 데이터 필드를 재결합하여 재결합 데이터를 생성하고,
    상기 데이터 저장 장치에 의해, 상기 재결합 데이터를 반환하는 것을 더 포함하는 데이터 객체 저장 방법.
  5. 제 1항에 있어서,
    상기 제1 외부 저장 장치에 저장된 상기 제1 부분의, 상기 위치 정보는 상기 제1 외부 저장 장치에 저장된 상기 제1 부분의, 구조 기술 정보(structure description information)의 위치 정보이고,
    상기 구조 기술 정보는 상기 제1 데이터 파일에 있는 상기 제1 부분에 포함된 각각의 데이터 필드의 위치 정보 및 길이 정보를 포함하는 데이터 객체 저장 방법.
  6. 제 1항에 있어서,
    상기 제1 외부 저장 장치에 저장된 상기 제1 부분의, 상기 위치 정보는, 상기 제1 외부 저장 장치에 저장된 상기 제1 부분에 포함된 각각의 데이터 필드의 위치 정보 및 길이 정보인 데이터 객체 저장 방법.
  7. 데이터 객체(data object)에 대한 쓰기 요청(writing request)을 수신하면, 상기 데이터 객체의 데이터를 상기 데이터 객체의 데이터 필드(data field)를 포함하는 제1 부분과, 상기 데이터 객체의 메타 데이터(meta data)를 포함하는 제2 부분으로 분할하는 분할부;
    상기 제1 부분을 제1 외부 저장 장치에 저장된 제1 데이터 파일(data file)에 쓰는 제1 쓰기부; 및
    상기 제1 외부 저장 장치에 저장된 상기 제1 부분의 위치 정보와, 상기 제2 부분을, 제2 외부 저장 장치에 저장된 제2 데이터 파일에 쓰는 제2 쓰기부를 포함하고,
    상기 제1 부분의 데이터 크기는 상기 제2 부분의 데이터 크기보다 크고, 상기 제2 부분에 포함된 데이터는 상기 제1 부분에 포함된 데이터에 비해 높은 접근 빈도를 갖고,
    상기 메타 데이터는 상기 데이터 객체의 데이터 특성을 기술하는 정보를 포함하는 데이터 객체 저장 장치.
  8. 제 7항에 있어서,
    상기 제1 부분에 포함된 데이터 필드의 길이는 미리 정한 문턱 값보다 크고,
    상기 제2 부분은, 길이가 미리 정한 문턱 값보다 작거나 같은 데이터 필드를 더 포함하는 데이터 객체 저장 장치.
  9. 제 7항에 있어서,
    상기 제1 부분을 상기 제1 외부 저장 장치에 저장된 상기 제1 데이터 파일에 쓰고난 후, 및 상기 제1 외부 저장 장치에 저장된 상기 제1 부분의, 상기 위치 정보와 상기 제2 부분을 상기 제2 외부 저장 장치에 저장된 상기 제2 데이터 파일에 쓰기 전, 상기 제1 외부 저장 장치에 저장된 상기 제1 부분의, 상기 위치 정보와, 상기 제2 부분을 파일 시스템(file system)의 로그 파일(log file)에 쓰는 제3 쓰기부; 및
    상기 로그 파일을 상기 제1 외부 저장 장치나 상기 제2 외부 저장 장치에 저장하는 로그 파일 저장부를 더 포함하는 데이터 객체 저장 장치.
  10. 컴퓨터 프로그램(computer program)이 저장된 컴퓨터 판독 가능한 저장 매체(computer readable storage medium)로서, 상기 컴퓨터 프로그램은 컴퓨터의 프로세서(processor)가,
    데이터 객체(data object)에 대한 쓰기 요청(writing request)을 수신하면, 상기 데이터 객체의 데이터를 상기 데이터 객체의 데이터 필드(data field)를 포함하는 제1 부분과, 상기 데이터 객체의 메타 데이터(meta data)를 포함하는 제2 부분으로 분할하고,
    상기 제1 부분을 제1 외부 저장 장치에 저장된 제1 데이터 파일(data file)에 쓰고(write),
    상기 제1 외부 저장 장치에 저장된 상기 제1 부분의 위치 정보와, 상기 제2 부분을, 제2 외부 저장 장치에 저장된 제2 데이터 파일에 쓰도록 하되,
    상기 제1 부분의 데이터 크기는 상기 제2 부분의 데이터 크기보다 크고, 상기 제2 부분에 포함된 데이터는 상기 제1 부분에 포함된 데이터에 비해 높은 접근 빈도를 갖고,
    상기 메타 데이터는 상기 데이터 객체의 데이터 특성을 기술하는 정보를 포함하는 컴퓨터 판독가능한 저장 매체.
KR1020170170421A 2017-08-17 2017-12-12 데이터 객체 저장 방법, 장치, 및 이를 이용한 컴퓨터 프로그램이 저장되는 컴퓨터 판독가능한 저장 매체 KR102564170B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710706073.6 2017-08-17
CN201710706073.6A CN107491523B (zh) 2017-08-17 2017-08-17 存储数据对象的方法及装置

Publications (2)

Publication Number Publication Date
KR20190019805A KR20190019805A (ko) 2019-02-27
KR102564170B1 true KR102564170B1 (ko) 2023-08-04

Family

ID=60646201

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170170421A KR102564170B1 (ko) 2017-08-17 2017-12-12 데이터 객체 저장 방법, 장치, 및 이를 이용한 컴퓨터 프로그램이 저장되는 컴퓨터 판독가능한 저장 매체

Country Status (3)

Country Link
US (1) US11586629B2 (ko)
KR (1) KR102564170B1 (ko)
CN (1) CN107491523B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647151B (zh) * 2018-04-26 2021-10-29 郑州云海信息技术有限公司 一种全闪系统元数据落盘方法、装置、设备及存储介质
CN110795386B (zh) * 2018-07-31 2022-07-01 杭州海康威视系统技术有限公司 一种数据写入方法和服务端
US10936454B2 (en) * 2018-11-21 2021-03-02 International Business Machines Corporation Disaster recovery for virtualized systems
CN111259201B (zh) * 2018-12-03 2023-08-18 北京嘀嘀无限科技发展有限公司 一种数据维护方法和系统
CN111767006B (zh) * 2019-04-02 2021-03-16 英韧科技(上海)有限公司 数据处理方法及装置
US11537617B2 (en) * 2019-04-30 2022-12-27 Dremio Corporation Data system configured to transparently cache data of data sources and access the cached data
CN111177075B (zh) * 2019-12-26 2022-04-22 浪潮电子信息产业股份有限公司 一种垃圾数据的识别方法、系统、电子设备及存储介质
CN111143290A (zh) * 2019-12-27 2020-05-12 浪潮电子信息产业股份有限公司 一种内存管理方法、系统、设备及计算机可读存储介质
CN111897780A (zh) * 2020-07-27 2020-11-06 百望股份有限公司 一种ofd文档的处理方法
CN113094379B (zh) * 2021-03-23 2023-08-01 杭州电魂网络科技股份有限公司 锚定式用户数据维护方法、装置、设备及介质
CN113590795B (zh) * 2021-08-03 2024-02-20 中国银行股份有限公司 知识点处理方法、装置、服务器、介质及产品
US20230153173A1 (en) * 2021-11-15 2023-05-18 International Business Machines Corporation Dynamic database object description adjustment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080005192A1 (en) * 2006-06-30 2008-01-03 Microsoft Corporation Dual logging of changes to a user preference in a computer device
CN101382948A (zh) 2008-10-14 2009-03-11 成都市华为赛门铁克科技有限公司 一种文件存储方法、装置和系统
US20170083762A1 (en) * 2015-06-22 2017-03-23 Photomyne Ltd. System and Method for Detecting Objects in an Image

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7644079B2 (en) * 2005-02-28 2010-01-05 Gm Global Technology Operations, Inc. System and method for temporal data mining
US8849955B2 (en) * 2009-06-30 2014-09-30 Commvault Systems, Inc. Cloud storage and networking agents, including agents for utilizing multiple, different cloud storage sites
US8412881B2 (en) 2009-12-22 2013-04-02 Intel Corporation Modified B+ tree to store NAND memory indirection maps
US8838895B2 (en) 2011-06-09 2014-09-16 21Vianet Group, Inc. Solid-state disk caching the top-K hard-disk blocks selected as a function of access frequency and a logarithmic system time
US8533231B2 (en) * 2011-08-12 2013-09-10 Nexenta Systems, Inc. Cloud storage system with distributed metadata
CN102760101B (zh) 2012-05-22 2015-03-18 中国科学院计算技术研究所 一种基于ssd 的缓存管理方法及系统
CN102722449B (zh) 2012-05-24 2015-01-21 中国科学院计算技术研究所 基于SSD的Key-Value型本地存储方法及系统
CN103020299B (zh) * 2012-12-29 2016-01-13 国家计算机网络与信息安全管理中心 全文检索中倒排索引及其追加数据的保存方法及存储装置
US10075523B2 (en) * 2013-04-01 2018-09-11 International Business Machines Corporation Efficient storage of data in a dispersed storage network
CN103559027A (zh) * 2013-10-22 2014-02-05 北京航空航天大学 一种key与value分开存储的key-value存储系统设计方法
US9378088B1 (en) * 2014-12-30 2016-06-28 Datadirect Networks, Inc. Method and system for reclamation of distributed dynamically generated erasure groups for data migration between high performance computing architectures and data storage using non-deterministic data addressing
US10909069B2 (en) * 2015-01-05 2021-02-02 Iguazio Systems Ltd. Service oriented data management and architecture
CN106227677B (zh) 2016-07-20 2018-11-20 浪潮电子信息产业股份有限公司 一种变长缓存元数据管理的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080005192A1 (en) * 2006-06-30 2008-01-03 Microsoft Corporation Dual logging of changes to a user preference in a computer device
CN101382948A (zh) 2008-10-14 2009-03-11 成都市华为赛门铁克科技有限公司 一种文件存储方法、装置和系统
US20170083762A1 (en) * 2015-06-22 2017-03-23 Photomyne Ltd. System and Method for Detecting Objects in an Image

Also Published As

Publication number Publication date
US11586629B2 (en) 2023-02-21
CN107491523B (zh) 2020-05-05
KR20190019805A (ko) 2019-02-27
US20190057090A1 (en) 2019-02-21
CN107491523A (zh) 2017-12-19

Similar Documents

Publication Publication Date Title
KR102564170B1 (ko) 데이터 객체 저장 방법, 장치, 및 이를 이용한 컴퓨터 프로그램이 저장되는 컴퓨터 판독가능한 저장 매체
US9672235B2 (en) Method and system for dynamically partitioning very large database indices on write-once tables
US10114908B2 (en) Hybrid table implementation by using buffer pool as permanent in-memory storage for memory-resident data
EP2735978B1 (en) Storage system and management method used for metadata of cluster file system
US11468027B2 (en) Method and apparatus for providing efficient indexing and computer program included in computer readable medium therefor
US8868926B2 (en) Cryptographic hash database
KR20200053512A (ko) Kvs 트리 데이터베이스
US20160306810A1 (en) Big data statistics at data-block level
US9507821B2 (en) Mail indexing and searching using hierarchical caches
US11580162B2 (en) Key value append
CN103019887A (zh) 数据备份方法及装置
CN113535670B (zh) 一种虚拟化资源镜像存储系统及其实现方法
KR101806394B1 (ko) 모바일 dbms환경에서 트랜잭션에 특화된 색인 캐시의 구조를 갖는 데이터 처리 방법
US10558636B2 (en) Index page with latch-free access
JP5790755B2 (ja) データベース管理装置及びデータベース管理方法
CN106874329A (zh) 数据库表索引的实现方法和装置
US20200019539A1 (en) Efficient and light-weight indexing for massive blob/objects
WO2012081165A1 (ja) データベース管理装置及びデータベース管理方法
US10762139B1 (en) Method and system for managing a document search index
US9824105B2 (en) Adaptive probabilistic indexing with skip lists
JP5626561B2 (ja) 情報処理システム及びそのデータ管理方法
US20240143213A1 (en) Fingerprint tracking structure for storage system
CN113641681B (zh) 一种空间自适应的海量数据查询方法
TWI475419B (zh) 用於在儲存系統上存取檔案的方法和系統
WO2021224960A1 (ja) 保存装置、保存方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant