KR101970874B1 - 비휘발성 메모리 저장 장치를 위한 하이브리드 해시 인덱스 - Google Patents

비휘발성 메모리 저장 장치를 위한 하이브리드 해시 인덱스 Download PDF

Info

Publication number
KR101970874B1
KR101970874B1 KR1020170055618A KR20170055618A KR101970874B1 KR 101970874 B1 KR101970874 B1 KR 101970874B1 KR 1020170055618 A KR1020170055618 A KR 1020170055618A KR 20170055618 A KR20170055618 A KR 20170055618A KR 101970874 B1 KR101970874 B1 KR 101970874B1
Authority
KR
South Korea
Prior art keywords
flag
bucket
buckets
record
data
Prior art date
Application number
KR1020170055618A
Other languages
English (en)
Other versions
KR20180121202A (ko
Inventor
강주영
이동호
김보경
Original Assignee
한양대학교 에리카산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 에리카산학협력단 filed Critical 한양대학교 에리카산학협력단
Priority to KR1020170055618A priority Critical patent/KR101970874B1/ko
Publication of KR20180121202A publication Critical patent/KR20180121202A/ko
Application granted granted Critical
Publication of KR101970874B1 publication Critical patent/KR101970874B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
    • G06F12/0246—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory in block erasable memory, e.g. flash memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

비휘발성 메모리를 기반으로 하는 개선된 해시 인덱스 구조 관리 방법 및 개선된 해시 인덱스를 포함하는 메모리 저장 장치를 제공한다. 데이터의 중복 비율을 기반으로 하여 결정된 플래그를 이용하여 저장공간을 효율적으로 사용한다. 플래그에 따라 버켓에 할당되는 오버플로우 버켓의 개수를 조절하고, 레코드의 삽입, 삭제 및 탐색 연산, 버켓의 분할 및 합병 연산을 제어할 수 있다.

Description

비휘발성 메모리 저장 장치를 위한 하이브리드 해시 인덱스 {HYBRID HASH INDEX FOR NON-VOLATILE MEMORY STORAGE DEVICE}
아래의 실시예들은 저장 장치 내 파일 시스템에 적용할 수 있는 인덱스 구조 관리 방법 및 상기 인덱스 구조를 가지는 메모리 저장 장치에 관한 것이다.
해시 인덱스(hash index)는 데이터에 대한 빠른 탐색이 가능하게 하기 때문에 자료 구조 및 파일 시스템에 많이 사용되는 인덱스 구조이다. 따라서 기존의 하드 디스크(hard disck) 및 플래시 메모리(flash memory) 기반의 해시 인덱스에 대한 다양한 연구가 존재 한다.
확장형 해시 인덱스(extendible hash index)는 요청받은 키의 해시값에 해당하는 데이터 버켓에 바로 접근하여 작업을 수행할 수 있기 때문에 탐색이 빠르고, 레코드 갱신 및 삭제 시에 해당 레코드를 제자리 갱신을 통해 직접 수정하고, 버켓 오버플로우가 발생할 때 마다 오버플로우가 발생한 버켓의 분할 연산을 하는 특징이 있다.
최근 하드 디스크, 플래시 메모리에 비하여 읽기 쓰기 속도가 월등히 빠르며 내구성이 좋고 바이트(byte) 단위의 데이터 접근 및 제자리 갱신이 가능한 상변화 메모리(Phase change memory, PCM)가 하드디스크 및 플래시 메모리를 대체할 저장 매체로 각광받고 있다.
상변화 메모리는 다양한 스토리지(storage)가 갖는 특성을 혼합하여 가지고 있기 때문에 기존의 해시 인덱스를 그대로 적용 시 메모리 수명의 보장과 성능의 최적화를 동시에 얻기 어렵다.
즉, 상변화 메모리에 기반한 저장 장치에 기존의 확장형 해시 인덱스를 적용하면 상변화 메모리의 제자리 갱신이 가능하다는 특성 상 레코드 갱신 및 삭제 시에 직접 수정은 가능하나 상변화 메모리의 내구도를 저하시킬 수 있고, 버켓 오버플로우 발생 시에 즉시 오버플로우 버켓을 할당하기 때문에 이에 따르는 성능 상의 오버헤드 및 불필요한 저장용량의 확장이 발생하게 되는 문제점이 있다.
일 실시예는 하나 이상의 버켓들 중 자주 접근하는 버켓과 자주 접근하지 않는 버켓을 분류하기 위하여 버켓 내의 데이터 중복 비율을 기초로 하여 상기 하나 이상의 버켓들 각각에 플래그를 할당한다. 상기 플래그를 기초로 하는 레코드 연산을 하여 기존의 인덱스 구조보다 비휘발성 메모리의 내구도를 높일 수 있는 인덱스 구조를 관리하는 방법 및 상기 인덱스 구조를 가지는 메모리 저장 장치를 제공할 수 있다.
일 실시예는 버켓에 버켓 오버플로우가 발생한 경우 상기 버켓 내의 데이터 중복 비율에 따라 상기 버켓에 할당되는 오버플로우 버켓을 달리함으로써 저장공간을 효율적으로 활용하는 인덱스 구조 관리 방법 및 상기 인덱스 구조를 가지는 메모리 저장 장치를 제공할 수 있다.
일 실시예는 상기 오버플로우 버켓에도 빈 공간이 없는 경우 상기 데이터 중복 비율에 따라 버켓의 분할 연산 또는 합병 연산 중 하나를 결정하여 연산함으로써 불필요한 저장용량의 확장을 방지하는 인덱스 구조 관리 방법 및 상기 인덱스 구조를 가지는 메모리 저장 장치를 제공할 수 있다.
본 발명의 일 실시예에 따른 인덱스 구조 관리 방법은 비휘발성 메모리의 인덱스 구조 관리 방법에 있어서, 상기 비휘발성 메모리에 포함된 하나 이상의 버켓들 각각의 저장된 데이터의 중복 비율을 산출하는 단계; 상기 산출된 중복 비율에 기초하여 상기 하나 이상의 버켓들 각각의 플래그를 결정하는 단계; 및 상기 결정된 플래그를 이용하여 상기 하나 이상의 버켓들에 대한 연산을 수행하는 단계를 포함한다.
상기 플래그를 결정하는 단계는 상기 하나 이상의 버켓들 각각에 저장된 데이터가 최근에 얼마나 자주 사용되고 있는지를 나타내기 위한 지표로서, 상기 산출된 데이터 중복 비율을 이용하고, 각 버켓의 상기 산출된 중복 비율이 제1 임계값 이하인 경우 제1 플래그, 제1 임계값 초과 및 제2 임계값 이하인 경우 제2 플래그, 제2 임계값 초과인 경우 제3 플래그로 상기 각 버켓의 플래그를 결정하는 단계를 포함할 수 있다.
상기 하나 이상의 버켓들에 대한 연산을 수행하는 단계는 삽입이 요청된 해시 키 값에 대응하는 해시 인덱스를 가진 버켓에 레코드를 삽입 또는 삭제하는 연산 단계를 포함할 수 있으며, 상기 삽입하는 연산은 상기 결정된 플래그에 따라서 덮어 쓰기 또는 로깅 방식일 수 있고, 상기 삭제하는 연산은 상기 버켓의 플래그에 따라 즉시 삭제 또는 로깅 방식일 수 있는 것을 특징으로 할 수 있다.
또는 상기 하나 이상의 버켓들에 대한 연산을 수행하는 단계는 상기 결정된 플래그에 따라서 상기 하나 이상의 버켓들에 저장된 레코드를 정방향 탐색 또는 역방향 탐색하는 단계를 포함할 수 있다.
또는 상기 하나 이상의 버켓들에 대한 연산을 수행하는 단계는 삽입이 요청된 해시 키 값에 대응하는 인덱스를 가진 버켓 내에 빈 슬롯이 없다면, 상기 결정된 플래그에 따라서 상기 버켓에 오버플로우 버켓을 차등하여 할당하는 단계를 포함할 수 있다.
나아가, 상기 하나 이상의 버켓들에 대한 연산을 수행하는 단계는 상기 오버플로우 버켓까지 빈 슬롯이 없다면 상기 결정된 플래그에 따라서 상기 버켓의 합병 또는 분할하는 연산 단계를 포함할 수 있다.
더 나아가, 상기 합병 또는 분할하는 연산을 수행한 후에, 상기 비휘발성 메모리에 포함된 하나 이상의 버켓들 각각에 저장된 데이터의 중복 비율을 갱신하는 단계; 상기 산출된 중복 비율에 기초하여 상기 하나 이상의 버켓들 각각의 플래그를 갱신하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 메모리 저장 장치는 하나 이상의 버켓들을 저장하는 비휘발성 메모리; 및 상기 하나 이상의 버켓들을 제어하는 제어부를 포함하며 상기 제어부는 상기 하나 이상의 버켓들 중 각 버켓에 저장되어 있는 데이터의 중복 비율을 산출하는 산출부; 상기 산출된 데이터 중복 비율에 따라 상기 하나 이상의 버켓들 각각의 플래그를 결정하는 결정부; 상기 결정된 플래그를 기초로 하여 레코드 삭제, 삽입 또는 탐색 연산을 하는 레코드 연산부; 및 상기 플래그를 기초로 하여 상기 하나 이상의 버켓들에 관한 연산을 하는 버켓 연산부를 포함한다.
상기 결정부는 상기 하나 이상의 버켓들 각각에 저장된 데이터가 최근에 얼마나 자주 사용되고 있는지를 나타내기 위한 지표로서, 상기 산출된 데이터 중복 비율을 이용하고, 각 버켓의 상기 산출된 중복 비율이 제1 임계값 이하인 경우 제1 플래그, 제1 임계값 초과 및 제2 임계값 이하인 경우 제2 플래그, 제2 임계값 초과인 경우 제3 플래그로 상기 각 버켓의 플래그를 결정할 수 있다.
상기 레코드 연산부는 삽입이 요청된 해시 키 값에 대응하는 해시 인덱스를 가진 버켓에 레코드를 삽입 또는 삭제하는 연산을 할 수 있고, 상기 삽입하는 연산은 상기 결정된 플래그에 따라서 덮어 쓰기 또는 로깅 방식일 수 있고, 상기 삭제하는 연산은 상기 버켓의 플래그에 따라 즉시 삭제 또는 로깅 방식일 수 있다.
또는 상기 레코드 연산부는 상기 결정된 플래그에 따라서 상기 하나 이상의 버켓들에 저장된 레코드를 정방향 탐색 또는 역방향 탐색 연산을 할 수 있다.
상기 버켓 연산부는 삽입이 요청된 해시 키 값에 대응하는 인덱스를 가진 버켓 내에 빈 슬롯이 없다면, 레코드를 저장하기 위하여 오버플로우 버켓을 상기 결정된 플래그에 따라서 차등하여 상기 하나 이상의 버켓들에 할당할 수 있다.
나아가, 상기 버켓 연산부는 상기 삽입 요청에 대하여 상기 상기 해시 키 값에 대응하는 인덱스를 가진 버켓에 할당된 오버플로우 버켓에도 빈 슬롯이 없다면, 상기 결정된 플래그에 따라서 상기 버켓의 합병 또는 분할 연산을 할 수 있다.
더 나아가, 상기 버켓 연산부는 상기 합병 또는 분할하는 연산을 수행한 후에 상기 하나 이상의 버켓들 각각에 저장된 데이터의 중복 비율을 갱신하고 상기 갱신된 중복 비율에 기초하여 상기 하나 이상의 버켓들 각각의 플래그를 갱신할 수 있다.
기존의 인덱스 구조는 레코드의 삽입 또는 삭제 연산 시에 덮어쓰기 및 즉시삭제 방식을 사용하여 메모리의 수명이 짧아지는 반면, 본 발명의 인덱스 구조는 버켓의 데이터 중복 비율에 따라 결정된 플래그를 기초로 하여 덮어쓰기 및 즉시삭제 방식 외에도 로깅 방식을 사용하기 때문에 비휘발성 메모리의 내구도를 높일 수 있다.
버켓 오버플로우가 발생한 경우 버켓 내의 데이터 중복 비율에 따라 상기 버켓에 할당되는 오버플로우 버켓을 달리함으로써 저장공간을 효율적으로 활용할 수 있다.
상기 오버플로우 버켓에도 빈 공간이 없는 경우 상기 데이터 중복 비율에 따라 버켓의 분할 연산 또는 합병 연산 중 하나를 결정하여 연산함으로써 불필요한 저장용량의 확장을 방지할 수 있다.
도 1은 기존의 확장성 해시 인덱스 구조를 설명하기 위한 버켓들의 예시를 나타낸다.
도 2는 분할 연산이 수행된 이후의 기존의 확장성 해시 인덱스 구조를 설명하기 위한 버켓들의 예시를 나타낸다.
도 3은 본 발명의 일 실시예에 따른 비휘발성 메모리의 인덱스 구조를 설명하기 위한 도면이다.
도 4는 본 발명의 인덱스 관리 방법에 따른 레코드 삽입 연산의 일 예이다.
도 5는 본 발명의 인덱스 관리 방법에 따른 레코드 삭제 연산의 일 예이다.
도 6은 본 발명의 인덱스 관리 방법에 따른 버켓 합병 연산의 일 예이다.
도 7은 본 발명의 일 실시예에 따른 비휘발성 메모리의 인덱스 구조 관리 방법을 나타낸 동작 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 버켓 오버플로우 관리 방법에 대한 동작 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 메모리 저장 장치의 블록도이다.
이하, 본 발명의 여러가지 실시예 중 특정 실시예를 첨부된 도면에 도시하여 상세하게 설명한다. 그러나 이러한 특정 실시예가 본 발명을 제한하거나 한정하는 것은 아니다. 도면의 부호에 관계없이 동일한 참조 번호는 동일한 구성요소를 나타내며, 중복되는 설명은 생략한다.
도 1은 하드 디스크, 플래시 메모리 등을 기반으로 사용되는 기존의 확장성 해시 인덱스 구조를 설명하기 위한 버켓들의 예시를 나타낸다. 확장형 해시 인덱스는 버켓 디렉토리(110)와 데이터 버켓(120), 해시 함수(130)로 구성되며 버켓 디렉토리(110)와 데이터 버켓(121, 122, 123)은 각각 전역 깊이(140)와 지역 깊이(150)를 버켓 디렉토리(110)는 2개의 비트 값을 사용하여 키에 대응하는 버켓을 구분한다. 즉, 해시 인덱스는 2비트로 구성된 값을 갖는다. 따라서 버켓 디렉토리(110)의 전역 깊이는 2이다. 버켓 디렉토리(110)는 인덱스를 사용하여 하나 이상의 데이터 버켓(121, 122, 123)을 가리킬 수 있다. 데이터 버켓(121, 122, 123)에는 레코드가 저장될 수 있다. 각 데이터 버켓은 인덱스의 비트 중 가장 마지막 1비트에 의해 구분된다. 따라서 0번 버켓(121), 1번 버켓(122) 및 2번 버켓(123)의 지역 깊이(150)는 각각 1, 2, 2이다. 도 1에서 각 버켓은 4개의 레코드를 저장할 수 있고 0번 버켓(121)은 키 값이 16, 8, 10인 레코드를 저장하고 있다. 버켓 내 레코드에는 키 값이 도시되어 있고 키 값의 2진수 표현이 괄호 안에 도시되어 있다. 해시 함수(130)는 키 값에 대응하는 인덱스를 생성하고, 키 값이 저장될 버켓을 결정한다. 도 1에서 해시 함수(130)는 2진수로 변환된 해시 키의 전역 깊이 만큼의 마지막 비트이다. 도 1에 도시된 바와 같이, 버켓 디렉토리(110)의 전역 깊이가 2므로 2(00010)이 삽입될 때(160) 마지막 2비트인 10이 인덱스로 추출되고 인덱스 10이 가리키는 0번 버켓(121)의 빈 슬롯에 2(00010)은 저장된다. 그러나 7(00111)이 삽입될 때(170) 인덱스 11이 가리키는 2번 버켓(123)에는 빈 슬롯이 없으므로 버켓 오버플로우가 발생한다. 따라서 버켓 분할 연산이 수행된다.
도 2는 분할 연산이 수행된 이후의 기존의 확장성 해시 인덱스 구조를 설명하기 위한 버켓들의 예시를 나타낸다. 분할 연산 수행 시에 전역 깊이와 지역 깊이가 같다면 버켓 디렉토리의 전역 깊이를 1만큼 증가시키고(210), 기존의 2번 버켓(123)의 데이터를 2번 버켓(123) 및 3번 버켓(210)에 재분배한다. 전역 깊이가 1증가했으므로 7(00111) 삽입 요청(170)에 대하여 마지막 3비트인 111이 인덱스가 되고 3번 버켓(210)에 저장된다. 재분배 후에는 대상 버켓의 지역 깊이를 1씩 증가시킨다(230, 240). 이 때 전역 깊이가 1만큼 증가하여 버켓디렉토리의 크기는 2배가 되므로 이에 따르는 성능 상의 오버헤드 및 불필요한 저장용량의 확장이 발생한다.
도 3은 본 발명의 일 실시예에 따른 비휘발성 메모리의 인덱스 구조를 설명하기 위한 도면이다. 버켓 디렉토리, 해시 함수, 데이터 버켓(121, 122, 123) 및 오버플로우 버켓(320, 330)으로 구성되어 있으며 버켓 디렉토리는 플래그(310)를 포함한다. 오버플로우 버켓(350, 360)은 데이터 버켓(121, 122, 123)에 버켓 오버플로우가 발생했을 경우 플래그(310)를 기초로 하여 상기 데이터 버켓(121, 122, 123)에 할당된다. 플래그(310)는 데이터 버켓 내 데이터 중복 비율에 따라 h(hot), w(warm), c(cold)로 구분한다. 일 실시예에서, 데이터 중복 비율은 1 - (중복된 키가 아닌 레코드의 수/모든 레코드의 수)로 산출할 수 있다. 데이터 중복 비율이 높아서 플래그가 h로 결정된 버켓에는 접근이 잦은 핫 데이터가 저장되고, 중복 비율이 낮아서 플래그가 w 또는 c로 결정된 버켓에는 자주 접근하지 않는 콜드 데이터가 저장될 수 있다. 도 3에 도시된 바와 같이, 데이터의 중복 비율이 임계값(340)인 0.7보다 높은 경우는 h, 0인 경우는 c, 0초과 0.7이하인 경우는 w로 버켓의 플래그가 결정될 수 있다. 플래그가 결정되면 저장 공간을 효율적으로 활용하기 위해서 각 버켓에 오버플로우 버켓을 할당한다. h 플래그인 버켓에는 할당할 수 있는 오버플로우 버켓의 최대 개수를 할당할 수 있다. c 플래그인 버켓에는 콜드 데이터의 특성 상 중복되지 않는 대량의 레코드 삽입으로 인해 검색 성능의 저하가 발생할 수 있으므로 h 플래그인 버켓에 비하여 적은 오버플로우 버켓을 할당할 수 있다. w 플래그인 버켓에는 c 플래그인 버켓에 비하여 콜드 데이터가 적으므로 상대적으로 소량의 레코드 삽입이 발생할 수 있다. 삽입되는 레코드가 적어 분할 연산이 늦게 발생할 수 있으므로 w 플래그인 버켓에는 오버플로우 버켓을 할당하지 않음으로써 검색 성능을 향상시킬 수 있다. 도 3 에 도시된 바와 같이, h 플래그인 2번 버켓(123)에는 할당 가능한 오버플로우 버켓의 최대 개수인 n 개가 할당(330)되었고, c 플래그인 0번 버켓(121)에는 절반인 n/2 개가 할당(320)되었고, w 플래그인 1번 버켓(122)에는 오버플로우 버켓이 할당되지 않았다. 일 실시예에서, 레코드 탐색을 하는 경우 w 플래그인 버켓에 저장된 레코드를 탐색할 때에는 기존의 확장성 해시 인덱스와 동일하게 정방향 탐색을 수행할 수 있다. h 또는 c 플래그인 버켓의 경우 레코드의 삽입 또는 삭제 연산이 로깅 방식을 통해 수행되기 때문에 최신의 레코드가 할당받은 오버플로우 버켓의 마지막에 위치할 확률이 높다. 그러므로 역방향 탐색을 통해 탐색 시간을 단축할 수 있다.
도 4는 본 발명의 인덱스 관리 방법에 따른 레코드 삽입 연산의 일 예이다. 10(01010)의 삽입이 요청(430)되면 해시 함수에 의해 인덱스 0에 대응되고 플래그가 w(410)인 0번 버켓(121)에 저장된다. 본 발명은 상변화 메모리와 같이 물리적으로 덮어 쓰기가 가능한 비휘발성 메모리를 기반으로 하는 인덱스 구조이므로 플래그가 w인 버켓에 레코드가 삽입되면 덮어 쓰기를 한다. 1(00001) 및 17(10001)의 삽입이 요청(440, 450)되면 해시 함수에 의해 인덱스 1에 대응되고 플래그가 c(420)인 1번 버켓(122)에 할당된 오버플로우 버켓(460)에 저장된다. 이 때 덮어 쓰기 방식이 아니라 빈 슬롯에 저장함으로써 특정 공간에 집중 쓰기로 인한 메모리 수명의 감소를 줄인다. 도 4에는 도시되지 않았으나 플래그가 h인 버켓에 레코드를 삽입할 때도 플래그 c의 경우와 같은 과정으로 저장할 수 있다.
도 5는 본 발명의 인덱스 관리 방법에 따른 레코드 삭제 연산의 일 예이다. 상기 삽입된 10(01010)의 삭제가 요청되면 플래그가 w(410)인 0번 버켓(121)에 저장된 10(01010)은 메모리의 물리적 특성을 활용하여 즉시 삭제(510)되고 10(01010)이 있던 슬롯은 빈 슬롯(520)이 된다. 상기 삽입된 1(00001)의 삭제가 요청되면 플래그가 c(420)인 1번 버켓(122)에 할당된 오버플로우 버켓(460)에 저장되어 있는 1(00001)이 삭제되었다는 로그를 기록(530)한다. 즉시 삭제를 하지 않음으로써 메모리의 수명을 늘릴 수 있다. 도 5에는 도시되지 않았으나 플래그가 h인 버켓에서 레코드를 삭제할 때도 플래그 c인 경우와 같은 과정으로 삭제할 수 있다.
도 6은 본 발명의 인덱스 관리 방법에 따른 버켓 합병 연산의 일 예이다. h 플래그인 버켓에 할당된 오버플로우 버켓까지 저장 공간이 없는 경우 합병 연산을 수행할 수 있다. h 플래그인 버켓 내의 데이터의 중복 비율은 높으므로 오래된 레코드를 삭제하고 동일한 키를 가진 최신 레코드를 저장하여 저장 공간을 확보할 수 있다. 도 6에 도시된 바와 같이, 1(00001)의 삽입 요청(610)이 있으나 인덱스 1에 대응하는 1번 버켓(122)에는 할당된 오버플로우 버켓(460)에도 빈 슬롯이 없기 때문에 버켓의 분할 연산 또는 합병 연산을 한다. 분할 연산 또는 합병 연산을 하기 전에, 1번 버켓의 데이터의 중복 비율을 재 산출하여 플래그를 결정한다. 1번 버켓에서 중복된 키가 아닌 엔트리의 수는 17(10001) 및 1(00001) 2개이며, 모든 엔트리의 수는 8개 이므로 데이터 중복 비율은 1-2/8 = 0.75 이다. 임계값인 0.7보다 크므로 h플래그가 할당(640)되고 버켓 합병 연산을 수행한다. 합병 연산은 최신의 17(10001) 및 1(00001) 레코드(620, 630)만 제외하고 나머지 레코드는 삭제하는 연산일 수 있다. 최신의 레코드만 저장한 후 삽입되는 레코드인 1(00001)(610)을 빈 슬롯에 저장한다. w 또는 c 플래그인 버켓 내의 데이터의 중복 비율은 h 플래그인 버켓 내의 데이터의 중복 비율에 비해 상대적으로 낮으므로 합병 연산으로는 저장 공간을 충분히 확보할 수 없으므로 기존 확장형 해시 인덱스의 분할 연산을 하여 저장 공간을 확보할 수 있다.
도 7은 본 발명의 일 실시예에 따른 비휘발성 메모리의 인덱스 구조 관리 방법을 나타낸 동작 흐름도이다. 버켓 디렉토리의 인덱스들이 가리키는 버켓들 각각에 저장되어 있는 데이터 중복 비율을 산출한다(710). 단계 (710)에 의해 산출된 데이터 중복 비율을 기초로 각 버켓의 플래그를 결정한다. 여기서 각 버켓의 상기 산출된 중복 비율이 제1 임계값 이하인 경우 c 플래그, 제1 임계값 초과 및 제2 임계값 이하인 경우 w 플래그, 제2 임계값 초과인 경우 h 플래그로 상기 각 버켓의 플래그를 결정할 수 있다. 또한 하나 이상의 임계값을 추가하여 플래그를 추가할 수도 있다. 단계 (720)에 의해 결정된 플래그를 기초로 하여 레코드의 삽입, 삭제 또는 탐색 연산을 수행한다(730). 레코드의 삽입 연산에 의하여 버켓 오버플로우가 발생했는지 판단하고(740), 버켓 오버플로우가 발생하면 버켓 오버플로우 관리 방법(750)에 의해서 버켓의 분할, 합병 연산 또는 오버플로우 버켓을 할당하여 저장 공간을 확보할 수 있다.
도 8은 본 발명의 일 실시예에 따른 버켓 오버플로우 관리 방법(750)에 대한 동작 흐름도이다. 레코드의 삽입(810)으로 버켓 오버플로우가 발생한 경우(820), 버켓의 현재 플래그가 w 플래그인지 판단한다(830). 일 실시예에 따라 플래그가 w인 버켓에는 오버플로우 버켓은 할당되지 않으므로, w 플래그라고 판단이 되면 레코드를 저장할 공간을 생성하기 위해 버켓 내 데이터의 중복 비율을 재산출하고 플래그를 재결정한 뒤 재결정된 플래그에 따라 버켓 분할 연산 또는 합병 연산을 수행할 수 있다(850). w 플래그가 아니고 h 플래그 또는 c 플래그라고 판단된 경우, 오버플로우 버켓이 이미 할당되었는지 여부를 판단할 수 있다(840). 할당되지 않았다면 현재 플래그에 따라 다른 개수의 오버플로우 버켓을 할당할 수 있다(860). 일 실시예는 플래그가 h인 버켓에 사용자가 정한 최대 개수 n개를 할당하며, 플래그가 c인 버켓에는 최대 개수의 절반인 n/2개를 할당할 수 있다. 이미 오버플로우 버켓이 할당되었다면 레코드를 저장할 공간을 생성하기 위해 버켓 내 데이터의 중복 비율을 재산출하고 플래그를 재결정한 뒤 재결정된 플래그에 따라 버켓 분할 연산 또는 합병 연산을 수행할 수 있다(850). 일 실시예에서, 버켓의 플래그가 h로 재결정된 경우, 버켓에는 접근이 잦은 핫 데이터가 저장되어 있을 확률이 높으므로 최신의 레코드만을 추출 및 저장하는 합병 연산을 통해 저장 공간을 확보할 수 있다. 버켓의 플래그가 c로 재결정된 경우, 버켓에는 자주 접근하지 않는 콜드 데이터가 저장되어 있을 확률이 높으므로 합병 연산은 비효율적이다. 버켓의 분할 연산을 통해 버켓 디렉토리를 확장함으로써 저장 공간을 확보할 수 있다.
도 9는 본 발명의 일 실시예에 따른 메모리 저장 장치의 블록도이다. 도 9를 참조하면, 본 발명의 일 실시예에 따른 메모리 저장 장치(900)는 비휘발성 메모리(910)와 제어부(920)를 포함하며, 제어부(920)는 산출부(930), 플래그 결정부(940), 레코드 연산부(950), 버켓 연산부(960)를 포함한다. 산출부(930)는 비휘발성 메모리(910)에 포함된 하나 이상의 버켓들 각각에 저장된 데이터의 중복 비율을 산출하며 버켓의 합병 또는 분할 연산이 있을 때 마다 각 버켓의 데이터 중복 비율을 재 산출할 수 있다. 플래그 결정부(940)는 상기 산출된 데이터 중복 비율을 기초로 하여 버켓들 각각의 플래그를 결정한다. 구체적으로는 상기 산출된 데이터 중복 비율과 정해진 임계값 간의 크기 비교를 통해 플래그를 결정할 수 있다. 예를 들어, 산출된 데이터 중복 비율이 제1 임계값 이하인 경우 c 플래그, 제1 임계값 초과 및 제2 임계값 이하인 경우 제2 플래그, 제2 임계값 초과인 경우 제3 플래그로 결정할 수 있다. 또한, 버켓의 데이터 중복 비율이 재 산출되면 이를 기초로 플래그를 다시 결정할 수도 있다. 레코드 연산부(950)는 결정된 플래그를 기초로 하여 레코드의 삽입, 삭제 및 탐색 연산을 수행한다. 레코드의 삽입 및 삭제 연산은 플래그의 종류에 따라 덮어 쓰기 및 즉시 삭제 방식이거나 로깅 방식일 수 있다. 로깅 방식으로 레코드의 삽입 및 삭제 연산을 하기 때문에 최신의 레코드가 버켓의 마지막 슬롯에 위치할 확률이 높다. 따라서 레코드 탐색 연산은 탐색의 속도를 향상시키기 위하여 플래그 종류에 따라 역방향 탐색 방식일 수 있다. 버켓 연산부(960)는 삽입이 요청된 해시 키 값에 대응하는 인덱스를 가진 버켓 내에 빈 슬롯이 없는 경우에 결정된 플래그에 따라서 오버플로우 버켓을 차등하여 상기 버켓에 할당할 수 있다. h 플래그인 버켓에는 할당할 수 있는 오버플로우 버켓의 최대 개수를 할당할 수 있다. c 플래그인 버켓에는 콜드 데이터의 특성 상 중복되지 않는 대량의 레코드 유입으로 인해 검색 성능의 저하가 발생할 수 있으므로 h 플래그인 버켓에 비하여 적은 오버플로우 버켓을 할당할 수 있다. w 플래그인 버켓에는 c 플래그인 버켓에 비하여 콜드 데이터가 적으므로 상대적으로 적은 레코드 삽입이 발생할 수 있다. 삽입되는 레코드가 적어 분할 연산이 늦게 발생할 수 있으므로 오버플로우 버켓을 할당하지 않음으로써 검색 성능을 향상시킬 수 있다.
이상과 같이 한정된 실시예를 들어 본 발명을 구체적으로 설명하였으나, 본 발명은 상술한 실시예에 한정되지 않는다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 청구 범위 및 발명의 설명을 보고 용이하게 변경, 수정하여 실시할 수 있으며 그러한 실시까지 본 발명의 청구범위의 기재 범위에 속하게 된다.

Claims (14)

  1. 비휘발성 메모리의 인덱스 구조 관리 방법에 있어서,
    상기 비휘발성 메모리에 포함된 하나 이상의 버켓들 각각에 저장된 데이터의 중복 비율을 산출하는 단계;
    상기 산출된 데이터의 중복 비율에 기초하여 상기 하나 이상의 버켓들 각각의 플래그를 결정하는 단계; 및
    상기 결정된 플래그를 이용하여 상기 하나 이상의 버켓들에 대한 연산을 수행하는 단계를 포함하되,
    상기 플래그를 결정하는 단계는,
    상기 하나 이상의 버켓들 각각에 저장된 데이터가 최근에 얼마나 자주 사용되고 있는지를 나타내기 위한 지표로서 상기 산출된 데이터의 중복 비율을 이용하고, 각 버켓의 상기 산출된 중복 비율이 제1 임계값 이하인 경우 제1 플래그, 제1 임계값 초과 및 제2 임계값 이하인 경우 제2 플래그, 제2 임계값 초과인 경우 제3 플래그로 상기 각 버켓의 플래그를 결정하는 단계를 포함하는 인덱스 구조 관리 방법.
  2. 제1항에 있어서,
    상기 하나 이상의 버켓들에 대한 연산을 수행하는 단계는,
    상기 결정된 플래그에 따라서 상기 하나 이상의 버켓들에 저장된 레코드를 정방향 탐색 또는 역방향 탐색하는 단계를 포함하는 인덱스 구조 관리 방법.
  3. 비휘발성 메모리의 인덱스 구조 관리 방법에 있어서,
    상기 비휘발성 메모리에 포함된 하나 이상의 버켓들 각각에 저장된 데이터의 중복 비율을 산출하는 단계;
    상기 산출된 데이터의 중복 비율에 기초하여 상기 하나 이상의 버켓들 각각의 플래그를 결정하는 단계; 및
    상기 결정된 플래그를 이용하여 상기 하나 이상의 버켓들에 대한 연산을 수행하는 단계를 포함하되,
    상기 하나 이상의 버켓들에 대한 연산을 수행하는 단계는,
    삽입이 요청된 해시 키 값에 대응하는 해시 인덱스를 가진 버켓에 레코드를 삽입 또는 삭제하는 연산 단계를 포함하며, 상기 삽입하는 연산은 상기 결정된 플래그에 따라서 덮어 쓰기 또는 로깅 방식일 수 있고, 상기 삭제하는 연산은 상기 버켓의 플래그에 따라 즉시 삭제 또는 로깅 방식일 수 있는 것을 특징으로 하는 인덱스 구조 관리 방법.
  4. 비휘발성 메모리의 인덱스 구조 관리 방법에 있어서,
    상기 비휘발성 메모리에 포함된 하나 이상의 버켓들 각각에 저장된 데이터의 중복 비율을 산출하는 단계;
    상기 산출된 데이터의 중복 비율에 기초하여 상기 하나 이상의 버켓들 각각의 플래그를 결정하는 단계; 및
    상기 결정된 플래그를 이용하여 상기 하나 이상의 버켓들에 대한 연산을 수행하는 단계를 포함하되,
    상기 하나 이상의 버켓들에 대한 연산을 수행하는 단계는,
    삽입이 요청된 해시 키 값에 대응하는 인덱스를 가진 버켓 내에 빈 슬롯이 없다면, 상기 결정된 플래그에 따라서 상기 버켓에 오버플로우 버켓을 차등하여 할당하는 단계를 포함하는 인덱스 구조 관리 방법.
  5. 제4항에 있어서,
    상기 하나 이상의 버켓들에 대한 연산을 수행하는 단계는,
    상기 오버플로우 버켓까지 빈 슬롯이 없다면 상기 결정된 플래그에 따라서 상기 버켓의 합병 또는 분할하는 연산 단계를 포함하는 인덱스 구조 관리 방법.
  6. 제5항에 있어서,
    상기 합병 또는 분할하는 연산을 수행하기 전에,
    상기 비휘발성 메모리에 포함된 하나 이상의 버켓들 각각에 저장된 데이터의 중복 비율을 갱신하는 단계;
    상기 갱신된 중복 비율에 기초하여 상기 하나 이상의 버켓들 각각의 플래그를 갱신하는 단계
    를 더 포함하는 인덱스 구조 관리 방법.
  7. 삭제
  8. 하나 이상의 버켓들을 저장하는 비휘발성 메모리; 및
    상기 하나 이상의 버켓들을 제어하는 제어부
    를 포함하는 메모리 저장 장치에 있어서,
    상기 제어부는 상기 하나 이상의 버켓들 중 각 버켓에 저장되어 있는 데이터의 중복 비율을 산출하는 산출부;
    상기 산출된 데이터 중복 비율에 따라 상기 하나 이상의 버켓들 각각의 플래그를 결정하는 플래그 결정부;
    상기 결정된 플래그를 기초로 하여 레코드 삭제, 삽입 또는 탐색 연산을 하는 레코드 연산부; 및
    상기 플래그를 기초로 하여 상기 하나 이상의 버켓들에 관한 연산을 하는 버켓 연산부를 포함하되,
    상기 플래그 결정부는
    상기 하나 이상의 버켓들 각각에 저장된 데이터가 최근에 얼마나 자주 사용되고 있는지를 나타내기 위한 지표로서, 상기 산출된 데이터 중복 비율을 이용하고, 각 버켓의 상기 산출된 중복 비율이 제1 임계값 이하인 경우 제1 플래그, 제1 임계값 초과 및 제2 임계값 이하인 경우 제2 플래그, 제2 임계값 초과인 경우 제3 플래그로 상기 각 버켓의 플래그를 결정하는 메모리 저장 장치.
  9. 제8항에 있어서,
    상기 레코드 연산부는,
    상기 결정된 플래그에 따라서 상기 하나 이상의 버켓들에 저장된 레코드를 정방향 탐색 또는 역방향 탐색 연산을 하는, 메모리 저장 장치.
  10. 하나 이상의 버켓들을 저장하는 비휘발성 메모리; 및
    상기 하나 이상의 버켓들을 제어하는 제어부
    를 포함하는 메모리 저장 장치에 있어서,
    상기 제어부는 상기 하나 이상의 버켓들 중 각 버켓에 저장되어 있는 데이터의 중복 비율을 산출하는 산출부;
    상기 산출된 데이터 중복 비율에 따라 상기 하나 이상의 버켓들 각각의 플래그를 결정하는 플래그 결정부;
    상기 결정된 플래그를 기초로 하여 레코드 삭제, 삽입 또는 탐색 연산을 하는 레코드 연산부; 및
    상기 플래그를 기초로 하여 상기 하나 이상의 버켓들에 관한 연산을 하는 버켓 연산부를 포함하되,
    상기 레코드 연산부는,
    삽입이 요청된 해시 키 값에 대응하는 해시 인덱스를 가진 버켓에 레코드를 삽입 또는 삭제하는 연산을 하며, 상기 삽입하는 연산은 상기 결정된 플래그에 따라서 덮어 쓰기 또는 로깅 방식일 수 있고, 상기 삭제하는 연산은 상기 버켓의 플래그에 따라 즉시 삭제 또는 로깅 방식일 수 있는 메모리 저장 장치.
  11. 하나 이상의 버켓들을 저장하는 비휘발성 메모리; 및
    상기 하나 이상의 버켓들을 제어하는 제어부
    를 포함하는 메모리 저장 장치에 있어서,
    상기 제어부는 상기 하나 이상의 버켓들 중 각 버켓에 저장되어 있는 데이터의 중복 비율을 산출하는 산출부;
    상기 산출된 데이터 중복 비율에 따라 상기 하나 이상의 버켓들 각각의 플래그를 결정하는 플래그 결정부;
    상기 결정된 플래그를 기초로 하여 레코드 삭제, 삽입 또는 탐색 연산을 하는 레코드 연산부; 및
    상기 플래그를 기초로 하여 상기 하나 이상의 버켓들에 관한 연산을 하는 버켓 연산부를 포함하되,
    상기 버켓 연산부는,
    삽입이 요청된 해시 키 값에 대응하는 인덱스를 가진 버켓 내에 빈 슬롯이 없다면, 레코드를 저장하기 위하여 오버플로우 버켓을 상기 결정된 플래그에 따라서 차등하여 상기 하나 이상의 버켓들에 할당하는, 메모리 저장 장치.
  12. 제11항에 있어서,
    상기 버켓 연산부는,
    상기 삽입 요청에 대하여 상기 해시 키 값에 대응하는 인덱스를 가진 버켓에 할당된 오버플로우 버켓에도 빈 슬롯이 없다면, 상기 결정된 플래그에 따라서 상기 버켓의 합병 또는 분할 연산을 하는, 메모리 저장 장치.
  13. 제12항에 있어서,
    상기 합병 또는 분할하는 연산을 수행하기 전에,
    상기 산출부는 상기 하나 이상의 버켓들 각각에 저장된 데이터의 중복 비율을 갱신하고,
    상기 플래그 결정부는 상기 갱신된 중복 비율에 기초하여 상기 하나 이상의 버켓들 각각의 플래그를 갱신하는,
    메모리 저장 장치.
  14. 삭제
KR1020170055618A 2017-04-28 2017-04-28 비휘발성 메모리 저장 장치를 위한 하이브리드 해시 인덱스 KR101970874B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170055618A KR101970874B1 (ko) 2017-04-28 2017-04-28 비휘발성 메모리 저장 장치를 위한 하이브리드 해시 인덱스

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170055618A KR101970874B1 (ko) 2017-04-28 2017-04-28 비휘발성 메모리 저장 장치를 위한 하이브리드 해시 인덱스

Publications (2)

Publication Number Publication Date
KR20180121202A KR20180121202A (ko) 2018-11-07
KR101970874B1 true KR101970874B1 (ko) 2019-08-13

Family

ID=64363443

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170055618A KR101970874B1 (ko) 2017-04-28 2017-04-28 비휘발성 메모리 저장 장치를 위한 하이브리드 해시 인덱스

Country Status (1)

Country Link
KR (1) KR101970874B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102085132B1 (ko) * 2018-11-13 2020-04-20 인하대학교 산학협력단 버킷 내부에서 해시 함수의 분류를 이용한 효율적인 쿠쿠 해시 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101123335B1 (ko) * 2009-01-15 2012-03-28 연세대학교 산학협력단 해시 인덱스 구성 방법과 그 장치, 및 상기 장치를 구비하는 데이터 저장 장치, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
KR101072558B1 (ko) * 2009-12-30 2011-10-11 동국대학교 산학협력단 해싱 기반의 데이터 관리 방법 및 장치
KR101340706B1 (ko) * 2011-12-08 2013-12-11 한양대학교 에리카산학협력단 플래시 메모리 기반 저장 장치를 위한 하이브리드 해시 인덱스

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LEE, CHANGMAN 외 3인. F2FS: A New File System for Flash Storage. 13th USENIX Conference on File and Storage Technologies. 2015.02.16. pages 273~286. 1부.*

Also Published As

Publication number Publication date
KR20180121202A (ko) 2018-11-07

Similar Documents

Publication Publication Date Title
KR102665979B1 (ko) 압축한 키-값 저장소 트리 데이터 블록 유출
US11301379B2 (en) Access request processing method and apparatus, and computer device
US9710397B2 (en) Data migration for composite non-volatile storage device
US10936207B2 (en) Linked lists in flash memory
US10353607B2 (en) Bloom filters in a flash memory
US10860232B2 (en) Dynamic adjustment of fingerprints added to a fingerprint index
US10521123B2 (en) Additive library for data structures in a flash memory
KR20200122994A (ko) 키 값 첨부
US11841826B2 (en) Embedded reference counts for file clones
CN112395212A (zh) 减少键值分离存储系统的垃圾回收和写放大的方法及系统
KR101340706B1 (ko) 플래시 메모리 기반 저장 장치를 위한 하이브리드 해시 인덱스
KR100907477B1 (ko) 플래시 메모리에 저장된 데이터의 인덱스 정보 관리 장치및 방법
KR101970874B1 (ko) 비휘발성 메모리 저장 장치를 위한 하이브리드 해시 인덱스
US11860840B2 (en) Update of deduplication fingerprint index in a cache memory
CN113094336B (zh) 基于Cuckoo哈希的文件系统目录管理方法及系统
US11204880B2 (en) Hash tables in flash memory
KR100941423B1 (ko) 메모리의 페이지 할당 방법 및 이를 수행하기 위한프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체
CN114296630B (zh) 机器可读存储介质、数据存储系统和数据存储系统的方法
US10740015B2 (en) Optimized management of file system metadata within solid state storage devices (SSDs)
Boucetta et al. LHFTL: A novel SSD performance optimisation approach using the LH index

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant