KR101686346B1 - 하이브리드 ｓｓｄ 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법 - Google Patents

하이브리드 ｓｓｄ 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법 Download PDF

Info

Publication number
KR101686346B1
KR101686346B1 KR1020150128965A KR20150128965A KR101686346B1 KR 101686346 B1 KR101686346 B1 KR 101686346B1 KR 1020150128965 A KR1020150128965 A KR 1020150128965A KR 20150128965 A KR20150128965 A KR 20150128965A KR 101686346 B1 KR101686346 B1 KR 101686346B1
Authority
KR
South Korea
Prior art keywords
data
cold data
volatile memory
node
ssd
Prior art date
Application number
KR1020150128965A
Other languages
English (en)
Inventor
윤희용
김경태
이병준
이정준
박나영
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020150128965A priority Critical patent/KR101686346B1/ko
Application granted granted Critical
Publication of KR101686346B1 publication Critical patent/KR101686346B1/ko

Links

Images

Classifications

    • G06F17/30194—
    • G06F17/30218—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0626—Reducing size or complexity of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/068—Hybrid storage device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 하이브리드 SSD 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법에 관한 것으로, (a) SSD 콘트롤러가 수신된 데이터를 핫 데이터 및 콜드 데이터로 분류하여 휘발성 메모리 및 비 휘발성 메모리로 저장하는 단계; (b) SSD 콘트롤러가 단일 및 다중 노드의 휘발성 메모리의 기억용량(capacity)이 미리 설정된 임계값과 비교하여 콜드 데이터의 축출(eviction) 여부를 판단하는 단계; 및 (c) 축출로 판단된 경우, SSD 콘트롤러가 네임 노드가 상기 휘발성 메모리에 저장된 콜드 데이터를 축출(eviction)하는 단계를 포함한다.
이와 같은 본 발명은, 하이브리드 SSD 기반 하둡 분산파일 시스템에서 핫 데이터 및 콜드 데이터의 특성을 고려하여 메모리에 레플리카(Replica)를 효율적으로 저장하기 위한 콜드 데이터 축출방법을 제공하고, 전체 복제 비용(total replication cost)을 줄일 수 있을 뿐만 아니라, 노드가 손상(fail)시 복구 시간(recovery time)을 줄일 수 있는 효율적인 콜드 데이터 축출(eviction)방법을 제공한다.

Description

하이브리드 ＳＳＤ 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법{COLD DATA EVICTION METHOD USING NODE CONGESTION PROBABILITY FOR HDFS BASED ON HYBRID SSD}
본 발명은 콜드 데이터 축출방법에 관한 것으로, 보다 상세하게는 하이브리드 SSD 기반 하둡 분산파일 시스템에서 메모리 기억용량 및 노드 혼잡확률을 이용한 콜드 데이터 축출방법에 관한 것이다.
최근, 소용량의 빠른 SSD(Solid State Drive)와 하나 이상의 상대적으로 느린 대용량의 하드디스크 드라이브(HDD)를 조합한 하이브리드 스토리지가 제안되었다. SSD의 가격이 저렴해지고 있지만, 엔터프라이즈 환경에서 HDD를 완전히 대체할 수 있는 수준은 아니다. 이런 이유로 SSD와 HDD를 조합하여 상대적으로 저렴한 가격에 SSD의 IO 성능을이용해서 전체적인 IO 성능을 높이는 하이브리드 스토리지가 많은 관심을 받고 있다.
기존의 하이브리드 스토리지 시스템들은 SSD와 HDD들을 어떻게 조직화하는지에 따라 두 가지 접근법으로 구분해 볼 수 있다. 일부 하이브리드 스토리지 시스템들은 데이터 접근의 지역성을 이용할 수 있도록 SSD와 HDD를 체계화한다. 이 시스템들 에서는 HDD의 데이터를 SSD에 캐싱해서 주로 모든 데이터 접근이 SSD에서 이루어지도록 한다.
다른 종류의 하이브리드 저장 시스템들이 제안되었다. 이 시스템들은 하이브리드 저장장치를 구성하는 여러 저장장치들이 같은 수준에 배치된다. SSD와 HDD의 용량을 더한 것이 하이브리드 저장장치의 용량이 되며, 자주 접근되는 데이터 블록들을 빠른 저장장치에 저장해서 성능을 향상한다. 이 외에도, 주기억장치와 플래시 메모리 저장장치로 구성되는 하이브리드 저장장치의 버퍼 관리기법을 제안하고 있다.
지금까지 언급한 하이브리드 스토리지 시스템들은 성능향상을 위해서 플래시 SSD를 사용한다. 플래시 SSD는 빠른 임의 읽기 성능을 보이는 반면, 쓰기를 위해서는 먼저 삭제를 해야 한다는 부담과, 삭제 횟수의 한계가 있는 특징으로 인해서 읽기와 쓰기 성능이 비대칭 적이다. 기존에 제안된 플래시 SSD를 사용하는 하이브리드 스토리지 시스템들은 이와 같은 플래시 SSD의 특성을 고려한 방법들을 제안하고 있다.
이와 같은 하이브리드 SSD 기반의 하둡 분산파일시스템에서 데이터 복제(Data replication) 프로세스를 진행함에 있어 종래의 발명에서는 단순한 기법들만을 고려하여 레플리카(replica)가 효율적으로 사용되고 있지 못하고 있다. 또한 현재 이를 효율적으로 적용할 수 있는 기법에 대한 연구가 활발하게 진행되고 있다.
대한민국 공개특허공보 제10-2011-0056006호(공개일자: 2011년05월26일) 대한민국 등록특허공보 제10-1422266호(등록일자: 2014년07월16일)
본 발명에 따른 하이브리드 SSD 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법은 다음과 같은 해결과제를 가진다.
첫째, 본 발명은 하이브리드 SSD 기반 하둡 분산파일 시스템에서 핫 데이터 및 콜드 데이터의 특성을 고려하여 메모리에 레플리카(Replica)를 효율적으로 저장하기 위한 콜드 데이터 축출방법을 제공하고자 함이다.
둘째, 본 발명은 휘발성 메모리의 기억용량(capacity) 및 노드의 혼잡확률을 고려하여 콜드 데이터의 축출(eviction)을 결정함으로써, 휘발성 메모리의 기억용량(Capacity)을 확보하는 방법을 제공하고자 함이다.
본 발명의 해결과제는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하고자 하는 본 발명의 제1 특징은, (a) SSD 콘트롤러가 수신된 데이터를 핫 데이터 및 콜드 데이터로 분류하여 휘발성 메모리 및 비 휘발성 메모리로 저장하는 단계; (b) SSD 콘트롤러가 단일 및 다중 노드의 휘발성 메모리의 기억용량(capacity)이 미리 설정된 임계값과 비교하여 콜드 데이터의 축출(eviction) 여부를 판단하는 단계; 및 (c) 축출로 판단된 경우, SSD 콘트롤러가 네임 노드가 상기 휘발성 메모리에 저장된 콜드 데이터를 축출(eviction)하는 단계를 포함한다.
여기서, 상기 휘발성 메모리로 ReRAM을 사용하고, 상기 비 휘발성 메모리로 MLC(Multi Level Cell) 낸드 플래시 메모리(NAND flash memory)로 사용되는 것이 바람직하고, 상기 (a) 단계는, (a1) SSD 콘트롤러가 다수의 클라이언트로부터 수신된 데이터를 NRU(Not Recently Used) 테이블을 이용하여 핫 데이터 및 콜드 데이터로 분류하는 단계; 및 (a2) SSD 콘트롤러가 분류된 핫 데이터(hot data) 및 파편 콜드 데이터(fragmented cold data) 휘발성 메모리에 저장하고, 비파편 콜드 데이터(Unfragmented cold data)는 비휘발성 메모리에 저장하는 단계를 포함하는 것이 바람직하다.
또한, 상기 (b) 단계는, 전체 휘발성 메모리의 기억용량이 20% 이하로 떨어지고, 단일 노드의 기억용량이 10% 이하인 경우, 상기 단일 노드의 콜드 데이터 축출(eviction)로 판단하는 것이 바람직하고, 상기 (c) 단계는, 상기 (b) 단계에서 축출로 판단된 경우, 상기 휘발성 메모리에 저장된 파편 콜드 데이터(fragmented cold data)를 축출(eviction)하는 단계인 것이 바람직하다.
그리고 본 발명의 제2 특징은, (a) SSD 콘트롤러가 수신된 데이터를 핫 데이터 및 콜드 데이터로 분류하여 휘발성 메모리 및 비 휘발성 메모리로 저장하는 단계; (b) SSD 콘트롤러가 단일 및 다중 노드의 휘발성 메모리의 기억용량(capacity)이 미리 설정된 임계값 이하 인지 여부를 판단하는 단계; (c) SSD 콘트롤러가 ECN(Explicit Congestion Notification) 피드백 신호를 사용하여 실시간으로 각 노드의 혼잡확률의 변화율을 산출하는 단계; 및 (d) SSD 콘트롤러가 상기 기억용량이 임계값 이하로 판단되고, 상기 혼잡확률 변화율이 미리 설정된 문턱값 보다 작은 경우, 상기 휘발성 메모리에 저장된 콜드 데이터를 축출(eviction)하는 단계를 포함한다.
여기서, 상기 휘발성 메모리로 ReRAM을 사용하고, 상기 비 휘발성 메모리로 MLC NAND flash memory로 사용되는 것이 바람직하고, 상기 (a) 단계는, (a1) SSD 콘트롤러가 다수의 클라이언트로부터 수신된 데이터를 NRU(Not Recently Used) 테이블을 이용하여 핫 데이터 및 콜드 데이터로 분류하는 단계; 및 (a2) SSD 콘트롤러가 분류된 핫 데이터(hot data) 및 파편 콜드 데이터(fragmented cold data) 휘발성 메모리에 저장하고, 비파편 콜드 데이터(Unfragmented cold data)는 비휘발성 메모리에 저장하는 단계를 포함하는 것이 바람직하다.
또한, 상기 (b) 단계는, 전체 휘발성 메모리의 기억용량이 20% 이하로 떨어지고, 단일 노드의 기억용량이 10% 이하인지 여부를 판단하는 단계인 것이 바람직하고, 상기 (d) 단계는, 상기 기억용량이 임계값 이하로 판단되고, 상기 혼잡확률 변화율이 미리 설정된 문턱값 이하인 경우, 상기 휘발성 메모리에 저장된 파편 콜드 데이터(fragmented cold data)를 축출(eviction)하는 단계인 것이 바람직하다.
그리고, 상기 (c) 단계는, 다중 ECN(Explicit Congestion Notification) 피드백 신호를 사용하여 실시간으로 각 노드의 혼잡확률 및 혼잡확률 변활율을 산출하는 단계; 및 노드의 혼잡확률 변화율이 0 보다 작은 경우, 해당 노드의 콜드 데이터 축출(eviction)을 결정하는 단계를 포함하는 것이 바람직하다.
또한, 상기 혼잡활율 변화율은,
Figure 112015088567958-pat00001
(여기서, ACK[i]는 전송패킷을 나타내고, wi는 ACK[i]의 웨이트 값이고, CP는 노드의 혼잡확률을 나타낸다.) 를 만족하는 식을 이용하여 산출하는 것이 바람직하다.
그리고, 본 발명의 제3 특징은, 컴퓨터에 상술한 하이브리드 SSD 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체를 그 특징으로 한다.
또한, 본 발명의 제4 특징은, 하드웨어와 결합되어 상술한 하이브리드 SSD 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램을 그 특징으로 한다.
본 발명에 따른 하이브리드 SSD 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법은 다음과 같은 효과를 가진다.
첫째, 본 발명은 본 발명은 하이브리드 SSD 기반 하둡 분산파일 시스템에서 핫 데이터 및 콜드 데이터의 특성을 고려하여 메모리에 레플리카(Replica)를 효율적으로 저장하기 위한 콜드 데이터 축출방법을 제공한다.
둘째, 본 발명은 본 발명은 휘발성 메모리의 기억용량(capacity) 및 노드의 혼잡확률을 고려하여 콜드 데이터의 축출(eviction)을 결정함으로써, 휘발성 메모리의 기억용량(Capacity)을 효율적으로 확보하는 방법을 제공한다.
셋째, 본 발명은 하이브리드 SSD 기반 하둡 분산파일 시스템에서 전체 복제 비용(total replication cost)을 줄일 수 있을 뿐만 아니라, 노드가 손상(fail)시 복구 시간(recovery time)을 줄일 수 있는 효율적인 콜드 데이터 축출(eviction)방법을 제공한다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1 및 도 2는 본 발명의 실시예에 따른 하이브리드 SSD 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법의 흐름을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 콜드 데이터 축출방법에 적용되는 하둡 분산파일 시스템의 데이터 복제 구조를 나타낸 모식도이다.
도 4는 본 발명의 실시예에 따른 하이브리드 SSD 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법 및 종래의 콜드 데이터 축출방법의 비교 모식도이다.
도 5는 도 2의 실시예를 적용하는 하이브리드 SSD 기반 하둡 분산파일 시스템에서 노드 혼잡확률을 이용한 콜드 데이터 축출방법의 알고리즘을 예시한 도면이다.
도 6은 노드가 손상(fail) 되었을 때 종래의 콜드 데이터 축출방법과 본 발명의 실시예에서 제안된 축출방법을 적용하였을 때, 노드의 평균 복구 시간을 비교한 그래프이다.
도 7은 종래의 콜드 데이터 축출방법과 본 발명의 실시예에서 제안된 축출방법을 적용하였을 때의 복제 비용(Replication cost)를 비교한 그래프이다.
이하, 첨부한 도면을 참조하여, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 설명한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 이해할 수 있는 바와 같이, 후술하는 실시예는 본 발명의 개념과 범위를 벗어나지 않는 한도 내에서 다양한 형태로 변형될 수 있다. 가능한 한 동일하거나 유사한 부분은 도면에서 동일한 도면부호를 사용하여 나타낸다.
본 명세서에서 사용되는 전문용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지는 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다.
본 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 군의 존재나 부가를 제외시키는 것은 아니다.
본 명세서에서 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하에서 본 발명의 바람직한 실시예를 도면을 참조하여 상세히 설명하기로 한다.
도 1 및 도 2는 본 발명의 실시예에 따른 하이브리드 SSD 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법의 흐름을 나타낸 도면이다.
도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 SSD 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법은, (a) SSD 콘트롤러가 수신된 데이터를 핫 데이터 및 콜드 데이터로 분류하여 휘발성 메모리 및 비 휘발성 메모리로 저장하는 단계; (b) SSD 콘트롤러가 상기 휘발성 메모리의 기억용량(capacity)이 미리 설정된 임계값과 비교하여 콜드 데이터의 축출(eviction) 여부를 판단하는 단계; 및 (c) 축출로 판단된 경우, SSD 콘트롤러가 네임 노드가 상기 휘발성 메모리에 저장된 콜드 데이터를 축출(eviction)하는 단계를 포함하여 구성된다.
그리고, 또 다른 실시예로서, 본 발명의 실시예에 따른 SSD 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법은, (a) SSD 콘트롤러가 수신된 데이터를 핫 데이터 및 콜드 데이터로 분류하여 휘발성 메모리 및 비 휘발성 메모리로 저장하는 단계; (b) SSD 콘트롤러가 상기 휘발성 메모리의 기억용량(capacity)미 미리 설정된 임계값 이하 인지 여부를 판단하는 단계; (c) SSD 콘트롤러가 ECN(Explicit Congestion Notification) 피드백 신호를 사용하여 실시간으로 각 노드의 혼잡확률의 변화율을 산출하는 단계; 및 (d) SSD 콘트롤러가 상기 기억용량이 임계값 이하로 판단되고, 상기 혼잡확률 변화율이 미리 설정된 문턱값 보다 작은 경우, 상기 휘발성 메모리에 저장된 콜드 데이터를 축출(eviction)하는 단계를 포함하여 구성된다.
이와 같이, 본 발명은 하둡 분산파일 시스템에서 저장공간의 신뢰성과 데이터의 가용성 및 안정성을 보장하기 위하여 모든 데이터의 복제본을 만들어 저장하는 방식을 보다 효율적으로 관리하기 위한 방법으로서, 각 노드에 휘발성 메모리인 ReRAM과 비휘발성 메모리인 MLC(Multi Level Cell: 이하 "MLC"라 함) 낸드 플래시 메모리(NAND flash memory)를 혼용한 하이브리드(Hybrid) SSD를 사용함에 있어 휘발성 메모리의 용량 및 노드의 혼잡확률을 고려하여 저장된 콜드 데이터를 축출(eviction)을 수행하여, 전체 복제비용(total replication cost)를 줄이고, 노드 손상(node fail)시 회복(recovery)하는 시간을 줄일 수 있는 효율적인 콜드 데이터 축출(eviction)방법을 제공한다.
여기서, 하둡 분산파일 시스템(HDFS:Hadoop Distributed File System)은 대용량 파일을 저장하고 처리하기 위해서 개발된 파일 시스템으로, 하나의 서버에서 동작하는 것이 아니라, 여러 개의 서버에 설치되어 서비스되는 시스템이다. 하둡 분산파일 시스템만을 위한 별도의 스토리지가 필요 없으며, 일반 리눅스 장비에 탑재되어 있는 로컬 디스크를 이용해서 확장 가능한 유연성 있는 구조를 가지고 있다.
하둡의 핵심 서비스는 중요한 역할을 담당하는 세가지 모듈로 분류할 수 있는데, 클라이언트 머신(Client Machines)과 마스터 노드(Master node) 그리고 슬레이브 노드(Slave node)가 있다.
마스터 노드는 많은 양의 데이터를 하둡 분산파일 시스템(HDFS)에 저장하고 맵-리듀스(Map-Reduce)를 통하여 병렬 계산을 수행하는 두 가지 핵심 기능을 담당하고, 잡 트랙커(Job Tracker)가 맵(Map)과 리듀스(Reduce)를 사용하여 데이터의 병렬 처리(Parallel processing)을 관리하고 조정하는 동안에 네임 노드(Name node)는 하둡 분산파일 시스템(HDFS)의 데이터 저장 기능을 관리하고 조정한다.
슬레이브 노드(Slave node)는 머신(Machine)의 대부분을 구성하고 데이터를 저장하고 계산을 실행하는 세부적인 일들을 담당한다. 각 슬레이브는 서로간에 통신을 하고, 마스터 노드(Master node)의 지시를 받기 위해서 데이터 노드(Data node)와 태스크 트랙커 데몬을 실행한다. 태스크 트랙커 데몬은 잡 트랙커의 슬레이브이며, 데이터 노드 데몬은 네임 노드의 슬레이브이다.
하둡 분산파일 시스템 클러스터는 일반적으로 네임노드를 담당하는 서버가 한대 존재하며, 하나의 노드에 붙은 스토리지(Stroage)를 관리하는 수많은 데이터노드(Datanode)로 구성이 된다.
네임노드는 마스터 노드 또는 파일 시스템 네임스페이스 역할을 담당하는 노드로써, 파일과 디렉토리에 대한 메타 데이터 정보를 저장하는 역할을 담당한다. 메타 데이터에는 디렉토리의 구조, 파일에 대한 정보와 파일이 저장되어 있는 물리적인 위치와 같은 정보가 저장된다. 또한 데이터노드로의 블록 매핑을 판단한다. 데이터노드는 요청한 파일을 읽거나 저장하는 역할을 담당하고 네임노드의 지지에 따라 블록을 생성, 삭제 그리고 복제 작업을 수행한다.
도 3은 본 발명의 실시예에 따른 콜드 데이터 축출방법에 적용되는 하둡 분산파일 시스템의 데이터 복제 구조를 나타낸 모식도이고, 도 4는 본 발명의 실시예에 따른 하이브리드 SSD 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법 및 종래의 콜드 데이터 축출방법의 비교 모식도이다.
클라우드 컴퓨팅 환경에서, 데이터 자원들은 기하학적으로 흩어져있기 때문에, 네트워킹 지연은 빠른 데이터 처리의 주요 장애 요인이었다. 도 3에 나타낸 바와 같이, 데이터 복제 전략들은 형식, 유닛 및 복제기준에 따른 카테고리로 분류될 수 있고, 복제 형식의 관점에서 두가지의 복제 형식으로서 정적 및 동적 복제가 있다. 전자는 데이터 복제를 정적으로 관리하기 때문에 대용량의 클라우드 데이터 서비스에는 덜 효과적이다. 이것은 데이터 처리 패턴에 있어 다양한 네트워크 조건과 변화들을 빠르게 대응할 수 없다는 단점이 있다. 이런 이유로, 동적 데이터 복제가 활발히 연구되고 있다.
그리고, 본 발명의 실시예에 따른 콜드 데이터 축출방법에 적용되는 MLC NAND flash 하이브리드 SSD는 비용을 유지하면서 SSD 기반 저장장치의 성능을 끌어올릴 수 있는 솔루션으로, 하이브리드 SSD는 SSD 콘트롤러, ReRAM 및 NAND 플래시 메모리 칩 어레이로 구성된다. 여기서, MLC 낸드 플래시(NAND flash)는 하이브리드 SSD의 전체 비용을 더욱 낮추기 위해 싱글 레벨 셀(SLC)을 더 선호한다. 즉, 본 발명의 실시예에서 따른 콜드 데이터 축출방법에 적용되는 하이브리드 SSD에서 휘발성 메모리로서 ReRAM을 사용하고, 비 휘발성 메모리로서 MLC 낸드 플래시 메모리(NAND flash memory)를 사용한다.
여기서, SSD 콘트롤러는 스토리지 시스템의 브레인으로서, 데이터를 지우고 쓰는 특징과 낸드 플래시의 내구성과 관련된 복잡한 알고리즘을 실행한다. SSD 콘트롤러 안에서, 데이터 관리 모듈이 데이터 및 메모리에 대한 동작에 기반하여 타겟 데이터를 SCM에 저장할지 낸드 플래시에 저장할지를 결정한다.
이와 같은 하둡 분산파일 시스템과 하이브리드 SSD에 기반하여 본 발명의 실시예에 따른 콜드 데이터 축출방법을 이하에서 보다 상세히 설명하기로 한다.
도 1 및 도 4에 나타낸 바와 같이, 본 발명의 실시예에 다른 콜드 데이터 축출방법은, 먼저 데이터가 들어오면 NRU(Not Recently Used)테이블을 사용하여 데이터를 핫(Hot)/콜드(Cold) 데이터로 분류하게 된다. 이때 핫 데이터와 파편(Fragmented) 콜드 데이터는 ReRAM에 저장하고 비파편(Unfragmented) 콜드 데이터는 MLC 낸드 ㅍ플래시 메모리(NAND flash memory)에 저장하게 된다.
여기서, 파편(Fragment) 데이터란 데이터가 삽입, 삭제, 수정으로 인하여 디스크 여러 곳에 흩어져 저장되는 것을 의미한다. 계속적으로 데이터가 축적되어 ReRAM의 메모리 기억용량(capacity)가 일정 임계값 이하로 떨어지게 되면 콜드 데이터 축출(cold data eviction)을 수행하게 된다.
종래의 발명에서는 단일 노드만을 고려하고 있지만 본 발명에서는 다중 노드를 고려하고 있다. 따라서 전체 ReRAM의 기억용량(capacity)이 20% 이하로 떨어지고, 단일 노드의 기억용량(capacity)이 10% 이하로 떨어지면 콜드 데이터 축출(Cold data eviction)이 결정된다. 이때 데이터 축출(eviction)은 페이지(page) 단위로 수행된다.
그리고, 도 2에 나타난 본 발명의 또 다른 실시예는 도 1의 실시예에서 휘발성 메모리의 기억용량(capacity)이 임계값 이하로 떨어지는 경우, 더불어 노드의 혼잡확률을 고려하여 콜드 데이터를 축출(eviction) 하는 방법을 제안한다.
도 5는 도 2의 실시예를 적용하는 하이브리드 SSD 기반 하둡 분산파일 시스템에서 노드 혼잡확률을 이용한 콜드 데이터 축출방법의 알고리즘을 예시한 도면이다.
즉, 도 5에 나타낸 바와 같이, SSD 콘트롤러는 ReRAM의 단일 노드의 capacity가 10% 이하로 떨어졌다고 판단되지만 노드 혼잡확률을 고려하였을 때 해당 노드가 혼잡하다고 판단되면 콜드 데이터 축출(eviction)을 늦추게 된다. 이는 노드가 혼잡함에도 불구하고 축출(eviction)을 수행하게 되면 축출(eviction) 때문에 노드가 요청된 프로세스를 처리하지 못하고 해당 노드의 출출(eviction) 과정이 끝나기를 기다려야 하기 때문이다.
그러므로, 상술한 과정이 시스템의 성능을 저하 시킬 수 있기 때문에 단일 노드(single node)의 노드 혼잡확률을 고려하여 축출(eviction)을 수행하게 되고, 노드가 출출(eviction)이 수행되어야 할 조건을 모두 충족한다면(기억용량 및 혼잡확률), ReRAM의 기억용량(capacity) 확보를 위하여 축출(eviction)이 최종적으로 결정된다.
이때 파편 콜드 데이터(Fragmented Cold data)가 가장 먼저 ReRAM에서 MLC 낸드 플래시 메모리(NAND flash memory)로의 축출(eviction) 대상으로 고려된다. 그 이유는 삽입, 삭제, 수정에 의하여 분산되어 저장된 데이터를 찾으려면 검색 속도의 저하를 가져올 뿐만 아니라 파편화된(fragmented) 데이터가 많을 경우 OS가 데이터를 모으는 일을 수행해야 하기 때문에 성능저하의 원인이 된다. 이러한 이유로 파편화된(fragmented) 데이터부터 축출(eviction)을 수행하게 된다.
이하에서 본 발명의 실시예에서 적용되는 혼잡확률(CP)을 산출한 방법으로 보다 구체적으로 설명하기로 한다.
본 발명의 실시예에서는 ECN(Explicit Congestion Notification) 패킷을 나타내는 CE(Congestion Explicit)비트를 이용하여 리턴 되는 패킷의 상관관계를 분석하고 이를 통하여 각 노드의 혼잡 상태를 예측한다. ECN 시그널은 바로 직전에 발생한 혼잡 신호를 나타낸다.
따라서 실시간으로 변화는 네트워크에서 패킷 손실이 일어날 가능성을 고려할 수 있는 ECN 시그널을 사용하였다. 또한 기존의 발명에서는 단일 ECN 피드백 신호를 이용하여 네트워크 상태를 확인하였다. 하지만 본 발명의 실시예에서는 실시간으로 변하는 네트워크 환경의 시그널 변화를 적절하게 파악하기 위하여 다중 ECN 피드백 신호를 사용하였다. 이때, 송신자(sender)은 계속적으로 에크(ACK)가 보내는 CE비트를 수집하고 현재 혼잡확률(CP) 값을 계산하게 된다.
[수학식 1]은 네트워크에서 패킷손실이 발생했을 때 혼잡확률(CP)을 구하는 수식이다.
Figure 112015088567958-pat00002
여기서 ACK[i]는 전송패킷을 나타내고, wi는 ACK[i]의 웨이트 값이고, CP는 노드의 혼잡확률을 나타낸다.
[수학식 2]는 ACK를 이용하여 세그먼트의 가중치를 계산하는 수식과 가중치의 범위를 보여주는 수식이다.
Figure 112015088567958-pat00003
[수학식 2]의 첫번째 수식과 두번째 수식을 통해 다음의 [수학식 3]과 같이 표현할 수 있다. 일반적으로 새로운 ACK의 가중치(weight)가 이전 ACK의 가중치(weight) 보다 크기 때문에 이전의 ACK에 네트워크 혼잡 상태를 나타내는 알파(α) 값을 주어 새로운 ACK의 weight를 계산하게 된다.
이때 알파(α) 값은 네트워크 대역 폭 대비 수신하는 패킷 사이즈 비율로 계산되며, 때문에 0에서 1 사이의 값을 가지게 되고, 1이 넘어가는 값은 물리적으로 수신할 수 없으므로 고려하지 않는다.
Figure 112015088567958-pat00004
[수학식 3]는 [수학식 2]를 풀어쓴 수식이다.
이때, CP[i+1] 값이 CP[i]값 보다 크면 혼잡확률이 증가하고 CP[i+1] 값이 CP[i] 값 보다 작게 되면 혼잡확률은 감소하게 된다. 이러한 CP 변화율 값을 통하여 네트워크 상태를 판단하게 된다.
ΔCP =CP[i+1]-CP[i]값을 이용하여 본 발명의 혼잡확률의 변화율 수식을 다음의 [수학식 4]와 같이 확정할 수 있다.
Figure 112015088567958-pat00005
이처럼 도 2 및 도 5에 나타낸 바와 같이, 본 발명의 실시예에 따른 혼잡확률을 이용한 콜드 데이터 축출방법은, 휘발성 메모리의 기억용량이 임계값 이하로 판단되고, ECN 피드백 신호를 이용하여 각 노드의 혼잡확률(CP) 및 혼잡확률 변화율(△CP)를 산출한 후, 노드의 혼잡확률 변화율(△CP)이 문턱값 이하로 산출되는 경우 콜드 데이터의 축출을 수행하는 방법을 제안한다.
즉, [수학식 4]를 이용하여 산출된 혼잡확률 변화율(△CP)이 0 보다 작은 음의 값인 경우 노드의 혼잡이 완화되는 것으로 판단할 수 있기 때문에, 콜드 데이터 축출(eviction)을 수행하고, 0 보다 큰 경우는 노드의 혼잡이 증가하여 콜드 데이터의 축출(eviction)을 늦추어(delay) 진행하지 않는다. 상술한 바와 같이, 이는 혼잡함에도 불구하고 축출(eviction)을 수행하게 되면 축출(eviction) 때문에 노드가 요청된 프로세스를 처리하지 못하고 해당 노드의 출출(eviction) 과정이 끝나기를 기다려야 하므로 전체 노드의 프로세스 처리 속도가 느려지는 문제가 있기 때문이다.
성능 평가
이하에서는 본 발명의 실시예에 따른 콜드 데이터 축출방법을 검증하기 위하여 C언어를 이용하여 기존의 연구 기법과의 성능 비교를 실행하였다. [표 1]은 본 발명의 실시예에 따른 콜드 데이터 축출방법을 성능 평가하기 위한 실험에 사용된 MLC 낸드 플래시 메모리와 ReRAM의 스펙을 나타낸다.
Figure 112015088567958-pat00006
본 발명의 실시예에 따른 콜드 데이터 축출방법의 알고리즘을 통하여 각 노드에 데이터 복제본이 전부 채워지는데 걸리는 시간을 비교하였다. 첫번째 시뮬레이션에서는 각 노드의 개수를 500 ~ 2500로 총 5번을 수행하였으며 노드의 개수가 500개일때에는 종래이 방법과의 차이점이 뚜렷하게 보이지 않지만 노드의 개수가 증가할수록 기존 기법과의 성능 차이가 뚜렷하게 달라지는 것을 확인할 수 있다.
두 번째 시뮬레이션을 통해서는 각 노드에서 손상(fail) 되었을 때, 노드의 복구 타임(recovery time)을 비교하였다. 이때도 첫 번째 시뮬레이션 결과와 같이 노드의 개수가 적을 때에는 차이가 비교적 적지만 노드의 개수가 커질수록 성능차이가 뚜렷하게 보이고 있음을 알 수 있다.
또한 두 번째 실험환경에서 노드 혼잡확률을 사용하였을 때의 성능을 비교 하였고, 이 실험 또한 이전 실험에서 보였던 것과 비슷한 실험결과 양상을 보여주고 있다.
도 6은 노드가 손상(fail) 되었을 때 종래의 콜드 데이터 축출방법과 본 발명의 실시예에서 제안된 축출방법을 적용하였을 때, 노드의 평균 복구 시간을 비교한 그래프이다.
도 6에 나타낸 바와 같이, 본 발명의 실시예에 따른 콜드 데이터 축출방법을 적용하는 알고리즘을 사용하는 경우, 복구 시간(recovery time)이 짧고 노드가 크게 증가하느 경우에도 복구 시간에 큰 차이가 없음을 알 수 있다. 즉, 본 발명의 실시예에 따른 콜드 데이터를 축출방법을 사용하는 경우, ReRAM에서 핫 데이터(hot data)를 효과적으로 저장할 수 있기 때문에 노드에서 손상(fail)이 발생했을 경우에도 성능이 빠른 ReRAM에서 입력(input)과 출력(output)이 자주 발생하는 핫 데이터(hot data)를 저장하고 관리하기 때문에 평균 복구시간이 빠르다는 것을 의미한다.
도 7은 종래의 콜드 데이터 축출방법과 본 발명의 실시예에서 제안된 축출방법을 적용하였을 때의 복제 비용(Replication cost)를 비교한 그래프이다.
도 7에 나타낸 바와 같이, 본 발명의 실시예에 따른 콜드 데이터 축출방법은 노드의 개수가 500개일 때에는 종래의 콜드 데이터 축출방법과 비슷한 복제 비용(Replication cost)을 보여주고 있지만 노드의 개수가 증가할수록 총 복제 비용(Replication cost)이 종래의 방법에 비하여 상당히 줄어드는 것을 확인할 수 있다.
즉, 하둡 분산파일 시스템(HDFS)에서는 레플리카(replica)를 랜덤하게 저장하고 있지만 본 발명의 실시예에서 제안하는 콜드 데이터 축출방법의 알고리즘을 사용함으로써, 데이터를 ReRAM과 MLC 낸드 플래시(NAND flash)에 보다 효과적으로 데이터를 저장하여 불필요한 데이터가 이동하는 비용(cost)이 줄어들게 됨을 확인할 수 있다.
도 8은 종래의 콜드 데이터 축출방법과 본 발명의 실시예에서 제안된 축출방법을 적용하였을 때의 노드 평균 복구시간을 나타내는 그래프이다. 도 9에 나타낸 바와 같이, 본 발명의 실시예에 따른 노드 혼잡확률을 고려한 콜드 데이터 축출(eviction)방법을 적용하는 노드의 복구방식이 종래의 방식보다 약 20% 정도 빠른 복구 시간을 보여주고 있음을 알 수 있다.

Claims (14)

  1. (a) SSD 콘트롤러가 수신된 데이터를 핫 데이터 및 콜드 데이터로 분류하여 휘발성 메모리 및 비 휘발성 메모리로 저장하는 단계;
    (b) SSD 콘트롤러가 단일 및 다중 노드의 휘발성 메모리의 기억용량(capacity)이 미리 설정된 임계값과 비교하여 콜드 데이터의 축출(eviction) 여부를 판단하는 단계; 및
    (c) 축출로 판단된 경우, SSD 콘트롤러가 네임 노드가 상기 휘발성 메모리에 저장된 콜드 데이터를 축출(eviction)하는 단계를 포함하되,
    상기 (c ) 단계는, 상기 (b) 단계에서 축출로 판단된 경우, 상기 휘발성 메모리에 저장된 파편 콜드 데이터(fragmented cold data)를 축출(eviction)하는 단계를 포함하는 것을 특징으로 하는 하이브리드 SSD 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법.
  2. 청구항 1에 있어서,
    상기 휘발성 메모리로 ReRAM을 사용하고, 상기 비휘발성 메모리로 MLC 낸드 플래시 메모리(NAND flash memory)로 사용되는 것을 특징으로 하는 하이브리드 SSD 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법.
  3. 청구항 1에 있어서,
    상기 (a) 단계는,
    (a1) SSD 콘트롤러가 다수의 클라이언트로부터 수신된 데이터를 NRU(Not Recently Used) 테이블을 이용하여 핫 데이터 및 콜드 데이터로 분류하는 단계; 및
    (a2) SSD 콘트롤러가 분류된 핫 데이터(hot data) 및 파편 콜드 데이터(fragmented cold data) 휘발성 메모리에 저장하고, 비파편 콜드 데이터(Unfragmented cold data)는 비휘발성 메모리에 저장하는 단계를 포함하는 것을 특징으로 하는 하이브리드 SSD 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법.
  4. 청구항 1에 있어서,
    상기 (b) 단계는,
    전체 휘발성 메모리의 기억용량이 20% 이하로 떨어지고, 단일 노드의 기억용량이 10% 이하인 경우, 상기 단일 노드의 콜드 데이터 축출(eviction)로 판단하는 것을 특징으로 하는 하이브리드 SSD 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법.
  5. 삭제
  6. (a) SSD 콘트롤러가 수신된 데이터를 핫 데이터 및 콜드 데이터로 분류하여 휘발성 메모리 및 비 휘발성 메모리로 저장하는 단계;
    (b) SSD 콘트롤러가 단일 및 다중 노드의 휘발성 메모리의 기억용량(capacity)이 미리 설정된 임계값 이하 인지 여부를 판단하는 단계;
    (c) SSD 콘트롤러가 ECN(Explicit Congestion Notification) 피드백 신호를 사용하여 실시간으로 각 노드의 혼잡확률의 변화율을 산출하는 단계; 및
    (d) SSD 콘트롤러가 상기 기억용량이 임계값 이하로 판단되고, 상기 혼잡확률 변화율이 미리 설정된 문턱값 보다 작은 경우, 상기 휘발성 메모리에 저장된 콜드 데이터를 축출(eviction)하는 단계를 포함하되,
    상기 (d) 단계는, 상기 기억용량이 임계값 이하로 판단되고, 상기 혼잡확률 변화율이 미리 설정된 문턱값 이하인 경우, 상기 휘발성 메모리에 저장된 파편 콜드 데이터(fragmented cold data)를 축출(eviction)하는 단계를 포함하는 것을 특징으로 하는 하이브리드 SSD 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법.
  7. 청구항 6에 있어서,
    상기 휘발성 메모리로 ReRAM을 사용하고, 상기 비휘발성 메모리로 MLC NAND flash memory로 사용되는 것을 특징으로 하는 하이브리드 SSD 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법.
  8. 청구항 6에 있어서,
    상기 (a) 단계는,
    (a1) SSD 콘트롤러가 다수의 클라이언트로부터 수신된 데이터를 NRU(Not Recently Used) 테이블을 이용하여 핫 데이터 및 콜드 데이터로 분류하는 단계; 및
    (a2) SSD 콘트롤러가 분류된 핫 데이터(hot data) 및 파편 콜드 데이터(fragmented cold data) 휘발성 메모리에 저장하고, 비파편 콜드 데이터(Unfragmented cold data)는 비휘발성 메모리에 저장하는 단계를 포함하는 것을 특징으로 하는 하이브리드 SSD 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법.
  9. 청구항 6에 있어서,
    상기 (b) 단계는,
    전체 휘발성 메모리의 기억용량이 20% 이하로 떨어지고, 단일 노드의 기억용량이 10% 이하인지 여부를 판단하는 단계인 것을 특징으로 하는 하이브리드 SSD 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법.
  10. 삭제
  11. 청구항 6에 있어서,
    상기 (c) 단계는,
    다중 ECN(Explicit Congestion Notification) 피드백 신호를 사용하여 실시간으로 각 노드의 혼잡확률 및 혼잡확률 변화율을 산출하는 단계; 및
    노드의 혼잡확률 변화율이 0 보다 작은 경우, 해당 노드의 콜드 데이터 축출(eviction)을 결정하는 단계를 포함하는 것을 특징으로 하는 하이브리드 SSD 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법.
  12. 청구항 11에 있어서,
    상기 혼잡확률 변화율은,
    Figure 112015088567958-pat00007

    (여기서, ACK[i]는 전송패킷을 나타내고, wi는 ACK[i]의 웨이트 값이고, α는 네트워크 대역 폭 대비 수신하는 패킷 사이즈 비율이며, CP는 노드의 혼잡확률을 나타낸다.)
    를 만족하는 식을 이용하여 산출하는 것을 특징으로 하는 하이브리드 SSD 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법.
  13. 컴퓨터에 청구항 1 또는 청구항 6의 하이브리드 SSD 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.
  14. 하드웨어와 결합되어 청구항 1 또는 청구항 6의 하이브리드 SSD 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.



KR1020150128965A 2015-09-11 2015-09-11 하이브리드 ｓｓｄ 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법 KR101686346B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150128965A KR101686346B1 (ko) 2015-09-11 2015-09-11 하이브리드 ｓｓｄ 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150128965A KR101686346B1 (ko) 2015-09-11 2015-09-11 하이브리드 ｓｓｄ 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법

Publications (1)

Publication Number Publication Date
KR101686346B1 true KR101686346B1 (ko) 2016-12-29

Family

ID=57736463

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150128965A KR101686346B1 (ko) 2015-09-11 2015-09-11 하이브리드 ｓｓｄ 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법

Country Status (1)

Country Link
KR (1) KR101686346B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108241725A (zh) * 2017-05-24 2018-07-03 新华三大数据技术有限公司 一种数据热度统计系统和方法
WO2019033292A1 (en) * 2017-08-16 2019-02-21 Intel Corporation NETWORK REDISTRIBUTE STORAGE
KR20190081770A (ko) * 2017-12-29 2019-07-09 한양대학교 산학협력단 문자 종류 개수에 기반한 데이터 구분 방법, 데이터 분류기 및 스토리지 시스템
CN112379842A (zh) * 2020-11-18 2021-02-19 深圳安捷丽新技术有限公司 一种预测数据冷热属性的方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110056006A (ko) 2009-11-20 2011-05-26 한국건설기술연구원 센서 네트워크 및 이를 위한 클러스터링 방법
KR101422266B1 (ko) 2008-05-28 2014-07-22 톰슨 라이센싱 멀티헤드의 계층적으로 클러스터된 피어-투-피어 라이브 스트리밍 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101422266B1 (ko) 2008-05-28 2014-07-22 톰슨 라이센싱 멀티헤드의 계층적으로 클러스터된 피어-투-피어 라이브 스트리밍 시스템
KR20110056006A (ko) 2009-11-20 2011-05-26 한국건설기술연구원 센서 네트워크 및 이를 위한 클러스터링 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SUN et al., A HIGH PERFORMANCE AND ENERGY-EFFICIENT COLD DATA EVICTION ALGORITHM FOR 3D-TSV HYBRID RERAM/MLC NAND SSD, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS─I: REGULAR PAPERS, VOL. 61, NO. 2, FEBR *
박나영 외 1명, Hybrid SSD기반의 QoS를 이용한 효율적인 복제데이터 저장 기법, 2014년도 한국인터넷정보학회 추계학술발표대회 논문집 제15권2호 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108241725A (zh) * 2017-05-24 2018-07-03 新华三大数据技术有限公司 一种数据热度统计系统和方法
WO2018214936A1 (zh) * 2017-05-24 2018-11-29 新华三大数据技术有限公司 数据热度统计
WO2019033292A1 (en) * 2017-08-16 2019-02-21 Intel Corporation NETWORK REDISTRIBUTE STORAGE
US11194522B2 (en) 2017-08-16 2021-12-07 Intel Corporation Networked shuffle storage
KR20190081770A (ko) * 2017-12-29 2019-07-09 한양대학교 산학협력단 문자 종류 개수에 기반한 데이터 구분 방법, 데이터 분류기 및 스토리지 시스템
KR102175176B1 (ko) * 2017-12-29 2020-11-06 한양대학교 산학협력단 문자 종류 개수에 기반한 데이터 구분 방법, 데이터 분류기 및 스토리지 시스템
CN112379842A (zh) * 2020-11-18 2021-02-19 深圳安捷丽新技术有限公司 一种预测数据冷热属性的方法和装置

Similar Documents

Publication Publication Date Title
US10169365B2 (en) Multiple deduplication domains in network storage system
KR101717644B1 (ko) 고체-상태 저장 디바이스 상에서 데이터를 캐싱하는 장치, 시스템, 및 방법
US10289315B2 (en) Managing I/O operations of large data objects in a cache memory device by dividing into chunks
US9582421B1 (en) Distributed multi-level caching for storage appliances
US9471506B2 (en) Tiered caching and migration in differing granularities
US9684469B1 (en) System and method for cache replacement using access-ordering lookahead approach
US9858197B2 (en) Cache management apparatus of hybrid cache-based memory system and the hybrid cache-based memory system
US9612758B1 (en) Performing a pre-warm-up procedure via intelligently forecasting as to when a host computer will access certain host data
US20140114932A1 (en) Selective deduplication
US9779026B2 (en) Cache bypass utilizing a binary tree
US11169927B2 (en) Efficient cache management
CN106445405B (zh) 一种面向闪存存储的数据访问方法及其装置
CN109800185B (zh) 一种数据存储系统中的数据缓存方法
US20180107601A1 (en) Cache architecture and algorithms for hybrid object storage devices
KR101686346B1 (ko) 하이브리드 ｓｓｄ 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법
US20220179585A1 (en) Management of Idle Time Compute Tasks in Storage Systems
US10534558B1 (en) Relocating paged metadata
Liu et al. A delayed container organization approach to improve restore speed for deduplication systems
US9606938B1 (en) Managing caches in storage systems
CN111880739A (zh) 一种面向超融合设备的近数据处理系统
CN111880900A (zh) 一种面向超融合设备的近数据处理系统的设计方法
KR101986579B1 (ko) Ssd 배열의 로그 기반 패리티 갱신 시스템 및 방법 그리고 이를 이용한 블록 및 노드 결함 복구 방법
US11989108B2 (en) Multi-tier heat maps
Xie Hash-Store: Next-generation data storage with hash-based data placement
Shaha DYNAMICALLY SCALABLE APPROACH FOR NAMENODE IN HADOOP DISTRIBUTED FILE SYSTEM USING SECONDARY STORAGE

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190905

Year of fee payment: 4