TW201737092A - 使用去重複dram系統演算法架構的去重複記憶體模組及其方法 - Google Patents

使用去重複dram系統演算法架構的去重複記憶體模組及其方法 Download PDF

Info

Publication number
TW201737092A
TW201737092A TW106100357A TW106100357A TW201737092A TW 201737092 A TW201737092 A TW 201737092A TW 106100357 A TW106100357 A TW 106100357A TW 106100357 A TW106100357 A TW 106100357A TW 201737092 A TW201737092 A TW 201737092A
Authority
TW
Taiwan
Prior art keywords
memory
hash
physical
bucket
memory module
Prior art date
Application number
TW106100357A
Other languages
English (en)
Other versions
TWI683217B (zh
Inventor
胡潮紅
鄭宏忠
克里希納 Ｔ． 馬拉迪
羅伯特 瑞南
Original Assignee
三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三星電子股份有限公司 filed Critical 三星電子股份有限公司
Publication of TW201737092A publication Critical patent/TW201737092A/zh
Application granted granted Critical
Publication of TWI683217B publication Critical patent/TWI683217B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G06F3/0641—De-duplication techniques
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/70—Masking faults in memories by using spares or by reconfiguring
    • G11C29/78—Masking faults in memories by using spares or by reconfiguring using programmable devices
    • G11C29/80—Masking faults in memories by using spares or by reconfiguring using programmable devices with improved layout
    • G11C29/808—Masking faults in memories by using spares or by reconfiguring using programmable devices with improved layout using a flexible replacement scheme
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/0292—User address space allocation, e.g. contiguous or non contiguous base addressing using tables or multilevel address translation means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0658—Controller construction arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0667—Virtualisation aspects at data level, e.g. file, record or object virtualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/70—Masking faults in memories by using spares or by reconfiguring
    • G11C29/74—Masking faults in memories by using spares or by reconfiguring using duplex memories, i.e. using dual copies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0038—System on Chip

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System (AREA)

Abstract

一種用以在內部執行記憶體去重複的去重複記憶體模組包括：雜湊表記憶體，將多個資料區塊儲存於包括多個雜湊表的雜湊表陣列中，雜湊表中的每一者包括實體桶及多個虛擬桶，所述多個虛擬桶分別包括實體桶中的某些實體桶，實體桶中的每一者包括：路線；位址查找表記憶體（ALUTM），包括指示每一所儲存資料區塊在實體桶中的對應一者中的位置的多個指針；以及緩衝記憶體，當雜湊表陣列已滿時儲存未儲存於雜湊表記憶體中的獨有資料區塊；處理器；以及記憶體，其中所述記憶體上儲存有指令，所述指令當被處理器執行時使記憶體模組與外部系統交換資料。

Description

使用去重複DRAM系統演算法架構的去重複記憶體模組及其方法
根據本發明的實施例的一或多個態樣是有關於資料去重複（data deduplication）。
資料去重複（或資料去重（data duplication elimination））指代減少記憶體裝置中的冗餘資料，以由此降低記憶體裝置的容量成本（capacity cost）。在資料去重複中，資料物件/項（例如，資料檔案）被分割成一或多個資料行/塊/區塊。藉由將由相同的資料組成的多個資料區塊與所儲存的單一資料區塊相關聯，資料區塊的重覆拷貝可藉由電腦記憶體而得到減少或去除，由此減少記憶體裝置中的冗餘資料拷貝的總數量。冗餘資料拷貝的減少可提高讀取延遲及記憶體帶寬，且可潛在地使電力得到節省。
因此，若重覆的資料拷貝可減少至單個資料拷貝，則在使用相同數量的實體資源的同時記憶體裝置的總可用容量會增大。由於記憶體裝置的所得縮減（resultant economization）使得能夠減少資料重寫計數、且由於可捨棄對已儲存於記憶體中的重覆資料區塊的寫入請求，因此可藉由有效地提高寫入持久性（write endurance）來延長實作資料去重複的記憶體裝置的壽命。
傳統的資料去重複方法可能使用記憶體中去重複技術（in-memory deduplication technology），藉此將去重複引擎與中央處理單元或記憶體控制器（memory controller，MC）按以中央處理單元為中心的方式進行整合。此類方法通常實作經去重複快取（deduplicated cache，DDC），所述經去重複快取與所述記憶體控制器運作進而使得中央處理單元處理器能夠察覺到複本，並嘗試根據所述記憶體控制器的控制來服務經去重複記憶體操作（例如，內容查找、參考計數更新等）。去重複方法亦可實作直接轉譯緩衝器（direct translation buffer，DTB），所述直接轉譯緩衝器是用於對轉譯行進行快取以藉由自關鍵路徑移除轉譯提取（translation fetch）來提高資料讀取的快取，且直接轉譯緩衝器可相似於旁視緩衝器（lookaside buffer）。
去重複已被最普遍地用於硬驅動機。然而，對於在例如動態隨機存取記憶體（dynamic random-access memory，DRAM）等揮發性記憶體的區域中提供微粒去重複（fine grain deduplication）亦存在關注。
在此背景技術章節揭露的以上資訊僅是為了增強對本發明的背景技術的理解，且因此以上資訊可含有不構成先前技術的資訊。
本揭露的實施例的各個態樣是針對動態隨機存取記憶體（DRAM）系統中的記憶體去重複。
根據本發明的實施例提供一種去重複記憶體模組，所述去重複記憶體模組用以在內部執行記憶體去重複，所述記憶體模組包括：雜湊表記憶體，將多個資料區塊儲存於包括多個雜湊表的雜湊表陣列中，所述雜湊表中的每一者包括實體桶及多個虛擬桶，所述多個虛擬桶分別包括所述實體桶中的某些實體桶，所述實體桶中的每一者包括：路線；位址查找表記憶體（address lookup table memory，ALUTM），包括指示每一所述所儲存資料區塊在所述實體桶中的對應一者中的位置的多個指針；以及緩衝記憶體，當所述雜湊表陣列已滿時儲存未儲存於所述雜湊表記憶體中的獨有資料區塊；處理器；以及記憶體，其中所述記憶體上儲存有指令，所述指令當被所述處理器執行時使所述記憶體模組與外部系統交換資料。
所述記憶體模組可為系統晶片動態隨機存取記憶體（DRAM）。
所述記憶體模組可用以：接收與應用圖案歷史集用池（application pattern history pool）、去重複演算法集用池（deduplication algorithm pool）、或去重複演算法選擇策略（deduplication algorithm selection policy）中的至少一者對應的資訊；以及基於所述所接收資訊定義一或多個去重複演算法。
所述記憶體模組可用以接收對以下中的至少一者進行設定的指令：去重複行大小、所述雜湊表的數目、所述雜湊表中的一者中的所述實體桶的數目、所述實體桶中的一者中的所述路線的數目、或所述虛擬桶中的一者中的實體桶的數目。
所述記憶體模組可用以接收為所述雜湊表中的每一者設定雜湊函數的指令。
所述記憶體模組可用以接收定義所述雜湊表記憶體、所述位址查找表記憶體、或所述緩衝記憶體中的至少一者的指令。
所述記憶體模組可用以：接收與傳入資料區塊對應的寫入請求；當接收到所述寫入請求時對所述傳入資料區塊進行雜湊，以產生雜湊值；判斷所述雜湊表記憶體中是否儲存有與所述雜湊值對應的值；對與儲存於所述雜湊表記憶體中的所述值對應的所述指針中的對應一者進行擷取；對所述位址查找表記憶體中的所述指針中的所述對應一者進行更新；以及對所述雜湊表記憶體中的所述指針中的所述對應一者的頻率計數進行更新。
所述記憶體模組可用以：接收讀取請求；自所述位址查找表記憶體擷取所述指針中的對應一者；自所述雜湊表記憶體擷取與所述指針中的所述對應一者相關聯的所述所儲存資料區塊中的一者；以及將所述所儲存資料區塊中的所述一者返送回所述外部系統。
根據本發明的實施例提供一種在記憶體模組中進行記憶體去重複的方法，所述方法包括：在所述記憶體模組中對以下進行定義：雜湊表記憶體，將多個資料區塊儲存於包括多個雜湊表的雜湊表陣列中，所述雜湊表中的每一者包括實體桶及多個虛擬桶，所述多個虛擬桶分別包括所述實體桶中的某些實體桶，所述實體桶中的每一者包括：路線；位址查找表記憶體（ALUTM），包括指示每一所述所儲存資料區塊位於所述實體桶中的哪一者中的多個指針；以及緩衝記憶體，當所述雜湊表陣列已滿時儲存未儲存於所述雜湊表記憶體中的資料區塊。所述方法更包括根據去重複演算法而將所述資料區塊儲存於所述雜湊表記憶體或所述緩衝記憶體中。
所述方法可更包括將所述去重複演算法選擇為由與所述記憶體模組相關聯的軟體或驅動器定義的非適應性去重複演算法（non-adaptive deduplication algorithm）、或者基於由所述記憶體模組接收的資訊的適應性去重複演算法（adaptive deduplication algorithm）。
所述方法可更包括自耦接至所述記憶體模組的記憶體控制器接收資訊，所述所接收資訊確定以下中的至少一者：去重複行大小、所述雜湊表的數目、所述雜湊表中的一者中的所述實體桶的數目、所述實體桶中的一者中的所述路線的數目、或所述虛擬桶中的一者中的實體桶的數目。所述非適應性去重複演算法可基於所述所接收資訊，且所述所接收資訊可由與所述記憶體模組相關聯的驅動器而設定。
所述方法可更包括藉由基於所述非適應性去重複演算法而使用所述驅動器創建所述雜湊表記憶體的區、所述位址查找表記憶體的區、及所述緩衝記憶體的區來確定所述區。
所述方法可更包括為所述雜湊表中的每一者接收雜湊演算法，所述雜湊演算法由所述驅動器基於所述非適應性去重複演算法而選擇。
所述方法可更包括：接收與應用圖案歷史集用池、去重複演算法集用池、或去重複演算法選擇策略中的至少一者對應的資訊；以及基於所述資訊而對所述適應性去重複演算法進行設定。
所述方法可更包括：使用與所述記憶體模組相關聯的驅動器選擇預處理演算法；接收所述預處理演算法；以及創建所述去重複演算法。
根據本發明的實施例提供一種在記憶體模組中進行記憶體去重複的方法，所述方法包括：在所述記憶體模組中對以下進行定義：雜湊表記憶體，將多個資料區塊儲存於包括多個雜湊表的雜湊表陣列中，所述雜湊表中的每一者包括實體桶及多個虛擬桶，所述多個虛擬桶分別包括所述實體桶，所述實體桶中的每一者包括路線、包括指示每一所述所儲存資料區塊在所述實體桶中的對應一者中的位置的多個指針的位址查找表記憶體（ALUTM）、以及當所述雜湊表陣列已滿時儲存未儲存於所述雜湊表記憶體中的資料區塊的緩衝記憶體；接收與傳入資料區塊對應的寫入請求；藉由對所述傳入資料區塊執行雜湊函數而計算雜湊值；根據所述雜湊值而對所述實體桶中的意圖實體桶進行存取；判斷所述意圖實體桶中是否儲存有所述傳入資料區塊；以及當所述意圖實體桶中儲存有與所述傳入資料區塊不同的另一資料區塊時，將所述傳入資料區塊儲存於所述意圖實體桶所在的所述虛擬桶中的一者的一個所述實體桶中。
所述方法可更包括當所述意圖實體桶中儲存有所述傳入資料區塊時對所述位址查找表記憶體中的所述指針中的對應一者進行更新。
所述方法可更包括將與所述指針中的所述對應一者對應的頻率計數減小1。
所述方法可更包括當所述頻率計數達到0時刪除儲存於所述意圖實體桶中的所述傳入資料區塊。
所述方法可更包括：接收與儲存於所述雜湊表陣列中的多個所述資料區塊對應的讀取請求；自所述位址查找表記憶體擷取與所述多個所述資料區塊對應的所述指針中的對應指針；基於所述指針中的所述對應指針在所述雜湊表記憶體中對所述多個所述資料區塊進行存取；對所述多個所述資料區塊進行重組以生成經重組資料；以及將所述經重組資料自所述記憶體模組發送至記憶體控制器。
藉由參照以下對實施例的詳細說明及附圖，可更易於理解本發明概念的特徵及達成該些特徵的方法。在下文中，將參照附圖來更詳細地闡述示例性實施例，在所有附圖中相同的參考號碼指代相同的元件。然而，本發明可被實施為各種不同的形式，且不應被視為僅限於本文中所說明的實施例。確切而言，提供該些實施例作為例子是為了使此揭露內容將透徹及完整，並將向熟習此項技術者充分傳達本發明的態樣及特徵。因此，為了全面理解本發明的態樣及特徵，可不再闡述對於此項技術中具有通常知識者而言不必要的過程、元件、及技術。除非另外注明，否則在所有附圖及書面說明通篇中，相同的參考編號表示相同的元件，且因此將不再對其予以贅述。在圖式中，為清晰起見，可誇大元件、層、及區的相對大小。
應理解，儘管本文中可能使用用語「第一（first）」、「第二（second）」、「第三（third）」等來闡述各種元件、組件、區、層、及/或區段，然而該些元件、組件、區、層、及/或區段不應受該些用語限制。該些用語用於區分各個元件、組件、區、層、或區段。因此，在不背離本發明的精神及範圍的條件下，可將以下所述的第一元件、組件、區、層、或區段稱為第二元件、組件、區、層、或區段。
為易於說明，本文中可能使用例如「在…之下（beneath）」、「在…下面（below）」、「下方的（lower）」、「在…以下（under）」、「在…之上（above）」、「上方的（upper）」等空間相對性用語來闡述圖中所示的一個元件或特徵與另一（其他）元件或特徵的關係。應理解，所述空間相對性用語旨在除圖中所繪示的定向以外亦囊括所述裝置在使用或操作中的不同定向。舉例而言，若圖中裝置被翻轉，則被闡述為在其他元件或特徵「下面」或「之下」或者「以下」的元件此時將被定向為在其他元件或特徵「之上」。因此，實例性用語「在…下面」及「在…以下」可囊括上方及下方兩種定向。所述裝置亦可具有其他定向（例如，旋轉90度或處於其他定向），且本文中所用的空間相對性描述語應相應地進行解釋。
應理解，當稱元件、層、區、或組件位於另一元件、層、區、或組件「上（on）」、「連接至（connected to）」或「耦接至（coupled to）」另一元件、層、區、或組件時，所述元件、層、區、或組件可直接位於所述另一元件、層、區、或組件上、直接連接至或直接耦接至所述另一元件、層、區、或組件，抑或可存在一或多個中間元件、層、區、或組件。另外，亦應理解，當稱元件或層位於兩個元件或層「之間（between）」時，所述元件或層可為所述兩個元件或層之間的唯一元件或層，抑或亦可存在一或多個中間元件或層。
在以下例子中，x軸、y軸、及z軸並非僅限於直角座標系的三個軸，而是可以更寬泛的意義進行解釋。舉例而言，x軸、y軸、及z軸可彼此垂直，或可代表彼此不垂直的不同的方向。
本文中所用的術語僅是為了闡述具體實施例，而非旨在限制本發明。除非上下文中清楚地另外指明，否則本文所用的單數形式「一（a及an）」旨在亦包含複數形式。更應理解，當在本說明書中使用用語「包括（comprises/comprising）」、及「包含（includes/including）」時，是指明所陳述特徵、整數、步驟、操作、元件、及/或組件的存在，但不排除一或多個其他特徵、整數、步驟、操作、元件、組件及/或其群組的存在或增添。本文中使用的用語「及/或（and/or）」包括相關所列項其中一或多個項的任意及所有組合。當例如「…中的至少一者（at least one of）」等表達位於一系列元件之前時，是修飾整個系列的元件，而並非修飾所述系列中的各別元件。
本文所用用語「實質上（substantially）」、「大約（about）」及類似用語用作近似值用語、而並非作為程度用語，並且旨在慮及此項技術中具有通常知識者將知的量測值或計算值的固有偏差。此外，在闡述本發明的實施例時使用「可（may）」是指代「本發明的一或多個實施例」。本文所用用語「使用（use）」、「正使用（using）」、及「被使用（used）」可視為分別與用語「利用（utilize）」、「正利用（utilizing）」、及「被利用（utilized）」同義。此外，用語「示例性（exemplary）」旨在指代例子或說明。
當可以不同的方式實作某一實施例時，可與所述次序不同地執行一特定過程次序。舉例而言，可實質上同時執行或以與所述次序相反的次序執行兩個連續的所述過程。
根據本文所述本發明的實施例的電子裝置或電裝置及/或任何其他相關裝置或組件可利用任何適合的硬體、韌體（例如，應用專用積體電路（application-specific integrated circuit））、軟體、或軟體、韌體、及硬體的組合來實作。舉例而言，可將該些裝置中的各種組件形成於一個積體電路（integrated circuit，IC）晶片上或單獨的積體電路晶片上。此外，可將該些裝置的各種組件實作於撓性印刷電路膜、膠帶載體封裝（tape carrier package，TCP）、印刷電路板（printed circuit board，PCB）上、或形成於一個基板上。此外，該些裝置的各種組件可為在一或多個計算裝置中由一或多個處理器運行、執行電腦程式指令並與用於執行本文所述各種功能性的其他系統組件進行交互的過程或執行緒。電腦程式指令儲存於可在使用例如（舉例而言，隨機存取記憶體（random access memory，RAM））等標準記憶體裝置的計算裝置中實作的記憶體中。電腦程式指令亦可儲存於例如（舉例而言，光碟唯讀記憶體（CD-ROM）、快閃驅動機、或類似元件）等其他非暫時性電腦可讀媒體中。此外，熟習此項技術者應知，在不背離本發明示例性實施例的精神及範圍的條件下，可將各種計算裝置的功能性組合或整合成單一的計算裝置，或者可使一特定計算裝置的功能性跨越一或多個其他計算裝置來分佈。
除非另外定義，否則本文所用的全部用語（包括技術及科學用語）的含義皆與本發明所屬技術領域中具有通常知識者所通常理解的含義相同。更應理解，該些用語（例如在常用字典中所定義的用語）應被解釋為具有與其在相關技術的上下文及/或本說明書中的含義一致的含義，且除非本文中進行明確定義，否則不應將其解釋為具有理想化或過於正式的意義。
圖1是本發明實施例的去重複DRAM系統架構的方塊圖。
參照圖1，為用作電腦記憶體，去重複記憶體執行被稱為「轉譯（translation）」的功能以記錄原始資料的內容與已進行去重複的一組獨有記憶體區塊之間的關係，其中所記錄的關係被以壓縮形式進行記憶。舉例而言，原始資料的位址可儲存於查找表中。
通常，中央處理單元的處理器110缺少對實體記憶體（例如，去重複DRAM記憶體模組130）的直接存取，取而代之，所述實體記憶體被作為記憶體行陣列而由記憶體控制器120進行管理。以中央處理單元為中心的去重複系統在中央處理單元內部的資料到達記憶體系統之前試圖對所述資料進行快取。
本實施例的去重複DRAM系統架構100使用與傳統的以中央處理單元為中心的去重複相對的以記憶體為中心的去重複，意為去重複DRAM記憶體模組130可在不存在來自處理器110的命令的情況下執行記憶體去重複。去重複DRAM系統架構100亦使用儲存於去重複DRAM記憶體模組130中的可配置去重複演算法來增大所述記憶體的容量效益（capacity benefit），以由此提供大容量記憶體解決方案（memory solution）。亦即，不同於以中央處理單元為中心的去重複，本實施例的去重複DRAM系統架構100具有包含於隨機存取記憶體模組（例如，去重複DRAM記憶體模組130）內的所有去重複智慧（deduplication intelligence）。因此，去重複能夠得以在中央處理單元模組140不知情的情況下在去重複DRAM記憶體模組130內執行，由此使得去重複DRAM記憶體模組130的容量能夠增大。亦即，由於去重複是以微粒的方式進行且是在揮發性記憶體內（例如，在去重複DRAM記憶體模組130內）進行操作，因此本實施例的所有去重複智慧均發生於去重複DRAM記憶體模組130自身內，而中央處理單元中的核心（kernel）模組140可察覺不到在去重複DRAM記憶體模組130內執行的去重複操作的具體細節。
應理解，儘管本實施例闡述使用DRAM作為去重複DRAM記憶體模組130，然而在本發明的其他實施例中亦可使用其他類型的記憶體。此外，本實施例的去重複DRAM系統架構100能夠支援與多種類型的記憶體進行的介接。亦即，本實施例的去重複DRAM記憶體模組130能夠藉由記憶體控制器120而與多個不同類型的記憶體介面（例如，雙倍資料速率第四代同步動態隨機存取記憶體（double data rate fourth-generation synchronous dynamic random-access memory，DDR4）、周邊組件快速互連（Peripheral Component Interconnect Express，PCIe），周邊組件快速互連為用於將電腦連接至一或多個周邊裝置、DDR-T、及KTI的串列擴展匯流排標準）相關聯。因此，應注意，可使用不同的架構將去重複DRAM記憶體模組130整合成去重複DRAM系統架構100。
此外，儘管可能對現有的DRAM記憶體模組作出某些改變（例如，驅動器更新）來實作本實施例，然而，軟體實施方案使得能夠使用本實施例的去重複DRAM系統架構100而無需對作業系統（operating system，OS）/中央處理單元模組140或處理器110作出實體改變。
本實施例的去重複DRAM系統架構100可針對DRAM智慧協定而在去重複DRAM記憶體模組130上實作系統晶片（system on a chip，SoC），所述DRAM智慧協定例如為去重複、內容可定址能力（content addressability）、保全性（security）、記憶體內置處理器（processor-in-memory，PIM）、列位址選通（row address strobe，RAS）等，所述列位址選通為被發送至DRAM以告知所述DRAM關聯位址是列位址、藉此使所述DRAM中的資料位元儲存於藉由行位址與列位址的交叉點而進行定位的胞元中的訊號。
去重複DRAM系統架構100亦可具有智慧型系統軟體，所述智慧型系統軟體使得處理器110能夠與記憶體控制器120相結合地達成虛擬密度管理（virtual density management）、智慧型資料放置（smart data placement）、及DRAM智慧應用程式設計介面（Application Programming Interface，API）等。
去重複DRAM記憶體模組130可更具有3DS DRAM組件，例如具有各種形狀因數（form factor）的最高容量DRAM記憶體模組（例如，雙列直插記憶體模組（dual in-line memory module，DIMM），2.5英吋，全高半長（full height half length，FHHL）、半高半長（half height half length，HHHL）、全高全長（full height full length，FHFL）等）。
因此，藉由提供使用本實施例的去重複DRAM系統架構100的以記憶體為中心的去重複系統，可直接在記憶體介面處執行去重複寫入過程，由此增大去重複DRAM記憶體模組130的容量。
圖2是圖1所示實施例的去重複DRAM記憶體模組中的各類記憶體的方塊圖，且圖3是圖2所示實施例的雜湊表記憶體的雜湊表的方塊圖。
參照圖2，本發明的實施例的去重複DRAM記憶體模組可具有其中去重複DRAM記憶體模組130內部的記憶體空間被歸類成三個不同的區的去重複演算法架構。所述三個不同的區包括：位址查找表（lookup table，LUT）記憶體（address LUT memory，ALUTM）210，用於指示所儲存的經去重複資料區塊的位置；雜湊表記憶體220，用於儲存所述經去重複資料區塊；以及溢出/緩衝記憶體230，用於在雜湊表記憶體的雜湊表的各雜湊路線均已滿時儲存資料。
當資料區塊欲進入至去重複DRAM記憶體模組130中時，所述去重複演算法可運作以判斷所述資料區塊是否為新的先前未被儲存的、在位址查找表記憶體210中缺少任何對應位址的資料區塊。為執行此操作，去重複演算法將對位址查找表記憶體210進行存取。為確保相同的資料區塊僅作為單一的表項而進行儲存，位址查找表記憶體210內的指針（pointer）/查找位址（例如，以下針對圖5所進一步闡述的實體行ID（PLID））指示所述相同的資料區塊儲存於雜湊表記憶體220中的何處。亦即，位址查找表記憶體210為用於將雜湊表內的位置（例如，位址）與查找位址映射指針（例如，實體行ID）相關聯的儲存裝置。因此，若資料區塊先前已被儲存於雜湊表記憶體220中，則位址查找表記憶體210內的指針能夠指向雜湊表記憶體220的其中儲存有所述相同的資料區塊的位址，由此消除對儲存所述資料區塊的重覆拷貝的需要，由此增大去重複DRAM記憶體模組130的記憶體容量。
參照圖3，記憶體去重複可使用相對高效但又簡單的多路線雜湊表/雜湊陣列380，以確保達成高程度的去重複且因此確保去重複DRAM記憶體模組130達成大的記憶體容量。本實施例的去重複DRAM記憶體模組130的雜湊表記憶體220是一或多個雜湊表380所處之處，且因其在判斷資料區塊是否為獨有的方面的有用性而得到使用。雜湊表380可被視作包括雜湊桶310（列）及雜湊路線320（行）的二維陣列。亦即，本實施例的雜湊表380包括m列雜湊桶310，每一雜湊桶310含有指示雜湊桶310的容量的n行資料行/槽/表項/雜湊路線320（m及n為整數）。
所述資料區塊儲存於雜湊表記憶體220的雜湊路線320中，且位址查找表記憶體210中的位址指針可儲存用於指示與特定資料區塊相關聯的特定雜湊桶310及特定雜湊路線320的值。因此，位址（例如，64位元位址）可被索引至位址查找表記憶體210中，且藉此，雜湊表380的雜湊桶310的儲存與所述位址對應的資料區塊的關聯雜湊路線320可得到確定。
因此，在寫入過程（例如，64位元組資料寫入）期間，當接收到寫入請求（即，對記錄包括一或多個資料區塊的傳入資料（incoming data）的請求）時，使用雜湊函數/雜湊演算法對所述傳入資料計算雜湊值（即，所述傳入資料「被雜湊」），進而使得可確定出對應的雜湊桶310及雜湊路線320。亦即，藉由對傳入資料進行雜湊，可判斷出資料是否為獨有的或是否已儲存於雜湊表380中。因此，所述雜湊值指示所述資料區塊所欲放置之處，或當所述資料區塊（例如，64位元組資料區塊）為複本時，所述雜湊值指示雜湊表記憶體220中已儲存有所述資料區塊之處。隨著資料內容被增添至記憶體，所述m個雜湊桶310中的某些雜湊桶310可首先達到容量。因此，去重複DRAM記憶體模組130包括使用緩衝記憶體230來儲存無法進入至雜湊表記憶體220中的資料區塊的溢出儲備（overflow provision）。此後，可擷取到原始查找位址，且位址查找表記憶體210可根據藉由對傳入資料進行雜湊而計算出的查找位址而進行更新。
當在所嘗試的寫入過程期間確定所有雜湊路線320均已滿時使用緩衝記憶體230。亦即，當雜湊表380裝滿時，在緩衝記憶體230的未經去重複的溢出區中放置資料，由此降低去重複程度。因此，緩衝記憶體230本質上是有保留的、標準的、簡單的溢出記憶體區，其充當用於實作虛擬密度過儲備管理溢出（virtual density over-provision management overflow）的系統晶片記憶體緩衝器/快取。一旦資料被放置於緩衝記憶體230中，所述資料便不再被雜湊，且不可再被去重複。
若電腦應用試圖多次將相同的值序列儲存至記憶體，則儲存於位址查找表記憶體210中的轉譯陣列中的多個表項指代其中資料區塊儲存於雜湊表記憶體220中的相同位址，其中位址查找表記憶體210中的表項小於所述原始的獨有資料區塊，由此使得能夠達成高效的壓縮。
所述m個雜湊桶310中的每一者可更包括參考/頻率計數行340及簽名行330，參考/頻率計數行340包括用於指示雜湊桶310的對應雜湊路線320的獨有辨識符。對於每一雜湊桶310，對應的簽名行330含有零來指示自由行（free line），或含有非零第二雜湊值來達成內容查找最佳化。因此，對於內容查找，通常不存在需要欲基於簽名行中的零表項來進行分配的自由行的簽名匹配，或者存在單一的簽名匹配，進而使得後續對資料行的讀取及內容的比較確認出存在複本。所述m個雜湊桶310中的每一者可更包括以下將參照圖5A、圖5B、及圖5C進一步闡述的跳字行。
實體行ID（PLID）350可用於將資料索引至雜湊表380中。實體行ID 350可用於辨識記憶體行，所述記憶體行可被劃分至位址查找表記憶體210、雜湊表記憶體220、或緩衝記憶體230中的一者中。每一記憶體行可被稱作資料行或轉譯行，所述資料行用於將獨有內容儲存於雜湊表380中，所述轉譯行用於儲存若干實體行ID 350及用於提供自處理器匯流排位址至雜湊表380中的經去重複資料區塊的映射。亦即，匯流排位址辨識轉譯行，且進一步辨識轉譯行中含有相關實體行ID 350的表項，此轉而會指明特定的資料行。因此，實體行ID 350可被實作成包括溢出旗標（overflow flag），且可包括用於指示特定的對應雜湊表380的資料、對應雜湊桶位元、及用於指示與實體行ID 350對應的資料區塊的位置的對應路線位元。
對於每一雜湊桶310，存在一種關聯雜湊函數/雜湊演算法「h(x)」，「h(x)」為產生用於將資料索引至雜湊桶310中的log2(m)位元雜湊的演算法（例如，若雜湊表380具有8個雜湊桶310，則此雜湊表380的雜湊函數將產生3位元雜湊）。亦即，雜湊函數h(x)使得相當大數量的輸入資料（例如，欲儲存於記憶體中的輸入資料檔案）能夠被輸入至雜湊函數h(x)中，且藉由欲儲存於雜湊表380中的雜湊函數h(x)而產生並輸出實質上不同的較小數量的輸出資料（例如，雜湊值）。因此，由於不同的資料設定可間或地對雜湊至同一雜湊值，因此雜湊函數h(x)使得能夠達成壓縮。
在對經去重複記憶體進行寫入時，當接收到對應於資料檔案的寫入請求時，所述經去重複記憶體首先執行重覆搜索以判斷雜湊表380中是否已儲存有相同的/重覆的資料區塊。所述經去重複記憶體接著對位址查找表記憶體210中的及雜湊表記憶體220中的表項進行更新。舉例而言，可藉由更新雜湊表記憶體220中的原始查找位址的頻率計數（即，減小1）來對參考/頻率計數行340進行更新，且當頻率計數達到0時在雜湊表記憶體220中刪除對應的資料區塊。此外，位址查找表記憶體210中可產生新的實體行ID 350。
在所述重覆搜索（其可稱作內容查找）期間，去重複DRAM記憶體模組130對期望寫入的資料檔案或資料檔案的一部分的先存實例（pre-existing instance）進行搜尋。當存在儲存於雜湊表記憶體220中的資料的先存實例時，所述重覆搜索返回指向對應資料行的實體行ID 350。當未找到資料的先存實例時，則藉由對雜湊表380中的空間進行分配、在所述空間中寫入內容、並返回新的實體行ID 350而為對應資料區塊創建新的資料行。所述內容可藉由以一偏差將實體行ID 350儲存於位址查找表記憶體210中而得到記錄，所述偏差是藉由匯流排位址而確定。
為將資料行「C」插入至雜湊表380中，可將C的對應雜湊函數「h(C)」作為數學運算來進行計算。一旦對資料行C計算雜湊函數，便可藉由內容查找操作來檢查雜湊表的列T(h(C))以查看是否存在充足的可用空間來容許插入資料行C（或查看在雜湊表380中是否已存在資料行C的副本）。
如所提及般，雜湊表380的每一雜湊桶310另外包括簽名行330及參考/頻率計數行340，由於簽名行330的簽名332及參考/頻率計數行340的參考計數342可被設計成小到足以使若干個量封包至每一雜湊桶310中此一事實，因此簽名行330及參考/頻率計數行340中的每一者僅佔用單一的雜湊路線320。亦即，在雜湊表380中，雜湊表380的一個整行可被指派至分別從屬於各雜湊桶310的各簽名行330，且一個整行可被指派至分別從屬於各雜湊桶310的各參考/頻率計數行340。
隨著例如資料行「C」等真實資料區塊被增添至雜湊表380，雜湊表380開始被填充以資料，所述資料可隨後藉由將儲存於位址查找表記憶體210中的對應實體行ID 350匹配至每一各別經去重複資料行的雜湊表380內的位址而得到存取。雜湊表380內的位址可藉由以下方式來辨識：辨識在其中定位所述資料的特定雜湊桶310及特定雜湊路線320（例如，辨識雜湊表380的列及行）。因此，對於儲存於雜湊表380中的每一資料區塊，存在藉由對應實體行ID 350而辨識的一或多個對應位址，所述對應實體行ID 350儲存於位址查找表記憶體210中且指向所述資料區塊的位置。一旦雜湊表380被資料裝滿，便在未經去重複的溢出區/緩衝記憶體230中放置新引入的資料，由此降低去重複程度。
在自經去重複記憶體進行讀取時，所述經去重複記憶體返回來自雜湊表記憶體220的資料行的拷貝或來自緩衝記憶體230的溢出行的拷貝。舉例而言，當接收到讀取請求而欲自所儲存資料進行讀取時，使用儲存於位址查找表記憶體210中的實體行ID 350來查找雜湊表380的對應位址。接著，對每一位址中的對應區塊進行擷取並重組。
圖4是根據本發明實施例的多雜湊表陣列的方塊圖。
參照圖4，根據本發明實施例的去重複DRAM系統架構使用包括多雜湊表（multiple hash table，MHT）480的雜湊表陣列400，所述多雜湊表480中的每一者包括m個雜湊桶410，每一雜湊桶410包括n個雜湊路線420。儘管本實施例將雜湊表480與雜湊桶410闡述為就其維數而言為一致的（例如，m及n被闡述為整數），然而在其他實施例中，同一多雜湊表陣列中的不同雜湊表可具有不同數目的雜湊桶，且相似地，多雜湊表陣列內、或甚至同一雜湊表內的不同雜湊桶可具有不同數目的雜湊路線。此外，儘管多雜湊表480被集體利用，然而不同的雜湊表480在某種程度上彼此獨立（例如，不同的雜湊表480可具有不同的相應雜湊函數，或可具有共用的雜湊函數）。
若雜湊表的陣列400包括「k」個平行的雜湊表T1 、T2 、…、Tk （k為整數），則其中每一雜湊表480分別使用單獨且獨立的雜湊函數h1 (x)、h2 (x)、…、hk (x)，乃因雜湊表T1 、T2 、…、Tk 中的每一者含有m個雜湊桶410，進而使得雜湊函數h1 (x)、h2 (x)、…、hk (x)仍生成log m位元雜湊，且由於每一雜湊桶410含有n個雜湊路線420，因此3維（3-dimensional，3D）雜湊表陣列（例如，多雜湊表陣列）的容量為m´n´k。
每一雜湊表480可對應於單一的雜湊函數，所述單一的雜湊函數確定如何對資料進行索引。藉由對欲被寫入的傳入資料進行雜湊，可將所得計算結果（例如，包括查找位址及鍵值的雜湊值）與一鍵值及一值進行比較，且若匹配所述值，則對應雜湊桶410中的參考/頻率計數行340增大，由此指示位址查找表記憶體210中的附加實體行ID 350指向特定行。
不同於傳統的雜湊表，本實施例的多雜湊表480包括多個虛擬雜湊桶/虛擬桶460，虛擬桶460由多個實體雜湊桶/實體桶410構成。在下文中，用語「實體桶」將指代先前所論述的雜湊桶，且將用於區分先前所論述的雜湊桶310與虛擬桶460。
每一虛擬桶460可包括對應雜湊表480的m個實體桶410中的H個實體桶410，H為小於m的整數。然而，應注意，同一雜湊表480中的虛擬桶460中的各個不同的虛擬桶460可共享一或多個實體桶410。如以下將闡述，藉由使用根據本發明的實施例的虛擬桶460，第四維數被增添至所述3維雜湊表陣列。因此，可在對資料的排列及放置方面提供更大的撓性，由此提高效率且增大所述去重複DRAM系統架構的壓縮比率。
本實施例使用虛擬桶460來將資料放置撓性提高另一程度以釋放由其他虛擬桶460所共享的其他實體桶410，乃因儲存於雜湊表480中的一者中的資料區塊可在對應虛擬桶460內移動、或移動至不同的實體桶410。藉由釋放雜湊表480內的空間，可藉由移除陳舊的/重覆的資料來達成去重複。亦即，藉由使用根據本發明的實施例的虛擬桶460，使用雜湊函數對資料行進行雜湊不會對受約束的對應位置造成嚴格限制，且資料能夠被放置於鄰近/「附近位置」實體桶410中，鄰近/「附近位置」實體桶410指代位於包括最初意圖（但被佔用）實體雜湊桶410的同一虛擬桶460內的實體桶410。
作為例子，內容（例如，資料行C）欲放置於所述k個雜湊表T1 (h1 (C))、T2 (h2 (C))、…、Tk (hk (C))中的一者的實體桶410中的一者中。若資料行C欲放置於T1 (h1 (C))中，則作為對需要將資料行C放置於由T1 (h1 (C))表示的實體桶410中的替代，本實施例容許使用較單一的實體桶410大且包括由T1 (h1 (C))表示的實體桶410、但亦總共含有H個實體桶410的虛擬桶460。亦即，虛擬桶460含有對齊於雜湊表480內且包括T1 (h1 (C))、T1 (h1 (C)+1)、T1 (h1 (C)+2)、…、T1 (h1 (C)+H-1)的H個毗鄰的、或相鄰的實體桶410的集合。
因此，虛擬桶460容許資料區塊在雜湊表480內移動以為未來的寫入操作釋放空間。本實施例的容許先前進入至雜湊表480（在含有雜湊表480的實體桶410的虛擬桶460內）中的資料區塊移動的操作可稱作跳格。可如下所述對使用用於記憶體去重複的多雜湊表480的跳格操作進行改善。
首先，去重複DRAM記憶體模組130可嘗試將資料行C插入至雜湊表480中來作為雜湊表480的雜湊函數的結果。然而，有時可使不同的資料行預先進入至雜湊表480中來作為同一雜湊函數的結果。亦即，儘管不同，然而不同的資料行可被引導至雜湊表480內的同一位置來作為雜湊函數的結果。為確定應在何處插入資料行C，所述操作可首先查找位於被表示為T(h(C))的實體桶410處或跟隨所述被表示為T(h(C))的實體桶410的第一可用實體桶410。
因此，在確定向何處寫入資料行C時，由於被表示為T(h(C))的最初意圖實體桶410可能被佔用，因此第一可用實體桶410（即，可向其中插入資料行的第一空的空間）可被表示為T(h(C)+f)，其中f為0或大於0。假定被表示為T(h(C))的實體桶410為對應虛擬桶460的H個實體桶410中的第一實體桶410，若f小於H（即，若同一虛擬桶460內存在未被佔用的實體桶410），則可將資料行C放置至對應虛擬桶460中。相似地，若被表示為T(h(C))的實體桶410為對應虛擬桶460的第二實體桶，若f小於H-1，則可將資料行C放置至對應虛擬桶460中。
然而，並且假設對應虛擬桶460的第一實體桶410為意圖實體桶410，若f大於或等於H（即，虛擬桶460中不存在可將資料行C適配於其中的實體桶410），則儘管資料行C不能適配至其虛擬桶460中，然而所述操作可嘗試以以下方式在虛擬桶460中創建空的空間。舉例而言，本發明實施例的去重複DRAM記憶體模組130可察看各實體桶410，首先察看由T(h(C)+f-H)表示的實體桶410，接著察看由T(h(C)+f-H+1)表示的實體桶，且以此類推直至判斷出由T(h(C)+f-1)表示的實體桶410是否具有包含於其中的資料為止（例如，可自頭至尾對虛擬桶460進行掃描）。去重複DRAM記憶體模組130可接著判斷是否可將實體桶410 T(h(C)+f-H)至T(h(C)+f-1)中所含有的任一資料物件放置至空的空間T(h(C)+f)中。亦即，去重複DRAM記憶體模組130可判斷具有實體桶T(h(C)+f)的共用虛擬桶460中是否存在實體桶T(h(C)+f-H)至T(h(C)+f-1)中的任一者，由此容許移動其中所含有的資料。去重複DRAM記憶體模組130可接著將所找到的最早的此類資料物件放置於所述空的空間中以由此在由T(h(C)+e)（e為小於f的整數）表示的實體桶410中創建新的空的空間。可重覆進行此過程直至e小於H（例如，可以級聯方式使資料在所述雜湊表內移動），由此在對應虛擬桶460中釋放足以容許放置資料行C的空間。
舉例而言，且參照圖5B，在本例子中，我們將把實體桶PB2指派為意圖實體桶410。由於意圖實體桶PB2是以與虛擬桶VB1相關聯的方式被佔用，因此可自頭至尾（例如，自實體桶PB2至實體桶PB5）掃描虛擬桶VB2。由於實體桶PB3、PB4、及PB5亦被佔用，因此第一可用實體桶410為實體桶PB6（即，f等於4，且因此大於或等於H，且對應虛擬桶VB2中不存在第一可用實體桶410）。因此，可使實體桶PB5中的資料移動至實體桶PB6，由此釋放虛擬桶VB2中的空間，進而使得可將資料行C放置於對應虛擬桶VB2中（實體桶PB5中）。然而，若意圖實體桶本來為PB1（即，對應虛擬桶460本來為VB1），則可重覆所述過程，進而使得可使實體桶PB4中的資料自虛擬桶VB1移動至相鄰的虛擬桶VB2，即移動至實體桶PB5的所新釋放的空間中。此後，可將資料行C寫入與意圖實體桶PB1對應的虛擬桶VB1的實體桶PB4中。
因此，由於某些實體桶410被不同的虛擬桶460所共有，此可理解為由於不同的虛擬桶460的重疊，資料可自一個虛擬桶460移動至另一虛擬桶460，由此為最初的雜湊桶410創建空間。
在另一實施例中，在寫入過程期間，當接收到對將資料區塊寫入至雜湊表的陣列400的請求時，去重複DRAM記憶體模組130可查找整個虛擬桶460的每一雜湊表的資料價值以檢查雜湊表480中的一者中是否已存在現有項。若第一意圖雜湊表480已滿，且若在第一意圖雜湊表480中未找到所述資料區塊（即，每一實體桶410的每一雜湊路線420被不同的資料區塊佔用），則去重複DRAM記憶體模組130可試圖使資料進入至緩衝記憶體230中，或可作為另一選擇試圖使資料進入至雜湊表陣列400的另一雜湊表480中。然而，若多雜湊表陣列400的所有雜湊表480均已滿，則接著所述資料區塊將「外溢（spill over）」至緩衝記憶體230。在此種實施例中，雜湊表陣列400內的資料的移動可被去重複DRAM記憶體模組130禁止。因此，藉由禁止先前儲存於雜湊表陣列400內的資料的移動，當前實施例（不同於先前所論述的實施例）能夠改善寫入功能所涉及的延遲。
亦即，當接收到寫入請求時，本實施例的去重複DRAM記憶體模組130對資料區塊進行雜湊，並接著判斷意圖實體桶（藉由對資料區塊進行雜湊生成的雜湊值而確定）或位於同一虛擬桶460內的任何其他鄰近的實體桶410中是否已儲存有所述資料區塊。若其中未儲存有資料區塊，則去重複DRAM記憶體模組130判斷在所述同一虛擬桶460內是否存在儲存資料區塊的任何餘地。若不存在餘地，則去重複DRAM記憶體模組130簡單地將資料區塊儲存於緩衝記憶體230中，或作為另一選擇在將資料區塊儲存於緩衝記憶體230中之前判斷在雜湊表陣列400中的別處是否存在任何可用的空間。由於未執行使其他資料區塊在各虛擬桶之間移動以釋放意圖虛擬桶460中的空間的操作，因此與本實施例的去重複DRAM記憶體模組130相關聯的尾延遲（tail latency）可較先前所述的實施例有所改善。
根據又一實施例，位址查找表記憶體210的配置、雜湊表記憶體220的配置、及緩衝記憶體230的配置可藉由去重複演算法（例如，去重複寫入演算法（deduplication write algorithm））來確定。所述去重複演算法可反過來藉由與去重複DRAM記憶體模組130相關聯的軟體或驅動器來確定（例如，非適應性去重複演算法），或者可基於由去重複DRAM記憶體模組130所分析的資訊或參數而藉由去重複DRAM記憶體模組130自身來確定（例如，適應性去重複演算法）。
舉例而言，對於適應性去重複演算法，去重複DRAM記憶體模組130可接收與應用圖案歷史、一組去重複演算法、或與所述去重複DRAM系統架構100對應的去重複演算法選擇策略中的一或多者對應的資訊。因此，藉由對跟蹤特定應用的過往行為或應用的類型的資料庫進行存取，去重複DRAM記憶體模組130的參數可被調整成提高效能。所述參數可包括雜湊表的數目（k）、實體桶的數目（m）、路線的數目（n）、虛擬桶的「高度」（即，每一虛擬桶的實體桶的數目）（H）、所述雜湊表的雜湊函數（h(x)）、或去重複行大小。所述參數亦可決定DRAM記憶體模組130內的哪些空間分別與位址查找表記憶體210、雜湊表記憶體220、或緩衝記憶體230相關聯。
此外，去重複DRAM記憶體模組130可產生分別與以不同方式調整的參數對應的一定數目的不同去重複寫入演算法。因此，去重複DRAM記憶體模組130可根據由處理器110處理的應用的類型來選擇所述不同去重複寫入演算法中的一者（例如，最佳化去重複寫入演算法）以提高去重複DRAM系統架構100的總體效能。
作為另一例子，對於非適應性去重複演算法，與去重複DRAM系統架構100的處理器110或記憶體控制器120相關聯的軟體或驅動器可決定藉由去重複DRAM記憶體模組130來實作的上述參數。作為另一選擇，所述軟體或驅動器可選擇預處理演算法，且去重複DRAM記憶體模組130可基於藉由記憶體控制器120而傳送的預處理演算法來創建去重複寫入演算法。
圖5A、圖5B、及圖5C繪示根據本發明實施例的用於產生跳字以將虛擬桶與特定實體桶相關聯的二維陣列。
參照圖5A、圖5B、及圖5C，根據本實施例，各種虛擬桶460可使用跳字值591或跳字向量592、及使用虛擬桶利用值來高效地跟蹤資料移動而與其對應的實體桶410相關聯。由於每一佔用實體桶410可僅對應於單一的虛擬桶460，因此跳字值591或跳字向量592可用於跟蹤與每一佔用實體桶410對應的是哪一虛擬桶460。
在本例子中，四個虛擬桶VB0、VB1、VB2、及VB3分別具有在實體桶PB0、PB1、PB2、PB3、PB4、PB5、及PB6的群組中的四個相連的實體桶的不同組合（即，H等於4）。
舉例而言，參照圖5A及圖5B，跳字向量592可藉由以下步驟來確定：創建包括實體桶位置及虛擬桶位置（例如，準位址（quasi-address））的二維陣列；以及在每一含有用於每一虛擬桶460的資料的實體桶410中放置1（例如，二元指標（binary indicator）），應注意，在與實體桶410對應的任一行中的1可不多於單一的1。因此，跳字向量592可包括可用於對每一虛擬桶460的實體桶使用進行跟蹤的為多個1及多個0的陣列。在本例子中，第一虛擬桶VB0佔用實體桶PB0、PB1、及PB3，第二虛擬桶VB1佔用實體桶PB2及PB4，第三虛擬桶VB2僅佔用實體桶PB5，且第四虛擬桶VB3未被佔用。
相似地，且參照圖5C，可在確知哪一虛擬桶460對應於所佔用實體桶410的條件下基於所述所佔用實體桶410來創建跳字值591。跳字值591可具有log2(H)位元的長度（H為每虛擬桶460的實體桶410的數目）。
關於跳字向量592或跳字值591的資訊可儲存於用於每一雜湊桶410的跳字行中，進而使得實體桶410與虛擬桶460之前的關係可在記憶體中進行索引。
圖6是根據本發明實施例的用於對雜湊表記憶體中的資料區塊進行定址的實體行ID（PLID）的方塊圖。
參照圖6，根據本發明的實施例，提供經修改的實體行ID 650。本發明的實施例的實體行ID 650包括多個位元，所述多個位元分別指示位址、偏差、表的索引、雜湊、及槽/路線、以及與具體的虛擬桶460成對以對在各虛擬桶460之間移動的物件進行跟蹤的鍵值651。因此，若鍵值651匹配具體的虛擬桶460，則可向此具體的虛擬桶460寫入資料物件。
然而，在另一實施例中，實體行ID 650以包括log2(H)位元的虛擬桶利用值欄位652（例如，虛擬桶索引）取代鍵值651（例如，包括/具有16個實體桶的高度的虛擬桶將對應於實體行ID 650中的4位元虛擬桶利用值欄位）。虛擬桶利用值欄位652指示對應於每一佔用實體桶410的是哪一虛擬桶460。因此，當將資料物件寫入至虛擬桶460時，已存在於虛擬桶460中的物件的數目可得到計算，且值p（其等於已存在於虛擬桶中的項的數目加一）可被寫作虛擬桶利用值652。藉由使用實體行ID 650中的虛擬桶利用值652，實體行ID 650的儲存開鎖可減少。
圖7是說明根據本發明實施例的用於使用跳格方法將資料寫入至記憶體模組的多雜湊表陣列中的過程的流程圖。
參照圖7，在操作S701中，可辨識多個雜湊表，所述雜湊表中的每一者對應於雜湊函數且分別包括實體雜湊桶，每一實體雜湊桶包括雜湊路線且用以儲存資料（例如，去重複DRAM記憶體模組130可辨識k個雜湊表480，所述k個雜湊表480分別對應於雜湊函數h(x)、分別包括m個實體雜湊桶410，每一實體雜湊桶包括n個雜湊路線420）。
在操作S702中，可辨識多個虛擬桶，所述虛擬桶中的每一者包括所述實體雜湊桶中的某些實體雜湊桶，且分別與另一虛擬桶共享至少一個實體雜湊桶（例如，如圖4中所示，去重複DRAM記憶體模組130可辨識多個虛擬桶460，虛擬桶460中的每一者包括所述m個實體雜湊桶410中的H個實體雜湊桶410，且每一虛擬桶460與另一虛擬桶460共享實體雜湊桶410中的至少一者）。在操作S702a中，可藉由以下步驟來辨識所述多個虛擬桶：以實體行ID（PLID）對所述雜湊表進行索引，所述實體行ID（PLID）包括為1og2(h)位元的虛擬桶利用值欄位且包括與所述虛擬桶中的對應一者中的資料區塊的數目相等的值；以及當將物件寫入至所述虛擬桶中的所述對應一者時將所述虛擬桶利用值欄位增加一（例如，如圖6中所示，可藉由以包括虛擬桶利用值欄位652且包括與虛擬桶460中的對應一者中的資料區塊的數目相等的值的實體行ID（PLID）650對雜湊表480進行索引來辨識虛擬桶460，其中當將物件或資料區塊寫入至虛擬桶460中的所述對應一者時可將虛擬桶利用值欄位652增加一。
在操作S703中，可將所述實體雜湊桶中儲存有資料的每一實體雜湊桶辨識為被指派至所述虛擬桶中的對應的單個虛擬桶（例如，如圖5B及圖5C中所示，去重複DRAM記憶體模組130可將儲存有資料的實體雜湊桶410（PB0、PB1、PB2、PB3、PB4、及PB5）辨識為被指派至虛擬桶460（VB0、VB1、及VB2）中的對應的單個虛擬桶460）。在操作S703a中，可藉由產生用於指示實體雜湊桶中含有資料的哪一實體雜湊桶與虛擬桶中的哪一者對應的跳字向量或跳字值來辨識所述實體雜湊桶（例如，如圖5B及圖5C中所示，去重複DRAM記憶體模組130可產生用於指示實體雜湊桶410中含有資料的哪一實體雜湊桶410與虛擬桶460中的哪一者對應的跳字向量592或跳字值591）。
在操作S704中，可根據所述雜湊函數中的對應一者來對資料行進行雜湊，以生成雜湊值（例如，去重複DRAM記憶體模組130可自記憶體控制器120接收與資料行C對應的寫入請求，且可根據所述雜湊函數h(x)中的對應一者來對傳入資料進行雜湊，以生成雜湊值）。
在操作S705中，可根據所述雜湊值來判斷對應雜湊表的虛擬桶中的對應一者是否具有給資料區塊的可用空間（例如，如圖5B及圖5C中所示，去重複DRAM記憶體模組130可確定虛擬桶460 VB3在實體桶PB6中具有給資料區塊的空間）。
在操作S706中，當虛擬桶中的所述對應一者不具有可用空間時可將資料自所述虛擬桶中的所述對應一者依序移動至所述虛擬桶中的相鄰的一者直至所述虛擬桶中的所述對應一者具有給資料區塊的空間為止（例如，如圖5B及圖5C中所示，當虛擬桶VB2不具有任何其他可用實體桶時，去重複DRAM記憶體模組130可將資料自虛擬桶VB2的實體桶PB5依序移動至虛擬桶VB3直至虛擬桶VB2具有給資料區塊的空間為止，其中若虛擬桶VB1是虛擬桶460中的所述對應一者，則可重覆進行所述過程以將資料自虛擬桶VB1的實體桶PB4移動至虛擬桶VB2的實體桶PB5）。在操作S706a中，可對位址查找表記憶體進行更新以改變與所移動的資料區塊對應的一或多個查找位址（例如，去重複DRAM記憶體模組130可對位址查找表記憶體210進行更新以改變與所移動的資料區塊對應的一或多個位址指針，進而使得可擷取到雜湊表記憶體220中的所移動資料區塊的新位址）。
在操作S707中，可將所述資料區塊儲存於虛擬桶中的所述對應一者中（例如，如圖5B及圖5C中所示，若虛擬桶VB1為意圖虛擬桶460，則去重複DRAM記憶體模組130可將所述資料區塊儲存於虛擬桶VB1的實體桶PB4中）。若確定包括虛擬桶VB1的雜湊表480已滿，則可將所述資料區塊儲存於緩衝記憶體230中。
圖8是說明根據本發明實施例的用於自記憶體模組的多雜湊表陣列讀取資料的過程的流程圖。
在操作S801中，可接收與儲存於所述雜湊表陣列中的多個資料區塊對應的讀取請求（例如，去重複DRAM記憶體模組130可自記憶體控制器120接收與構成資料行C的多個資料區塊對應的讀取請求，所述資料區塊儲存於雜湊表記憶體220的雜湊表陣列400中）。
在操作S802中，可自所述位址查找表記憶體210擷取所述指針中與所述多個資料區塊對應的對應指針（例如，去重複DRAM記憶體模組130可自位址查找表記憶體210擷取與構成資料行C的所述多個資料區塊對應的位址指針）。
在操作S803中，可基於所述指針中的所述對應的指針在所述雜湊表記憶體中對所述多個資料區塊進行存取（例如，去重複DRAM記憶體模組130可在雜湊表記憶體220中自雜湊表陣列400內的不同位址對資料區塊進行存取及擷取，所述不同位址對應於所擷取的位址指針）。
在操作S804中，可對所述多個資料區塊進行重組以生成經重組資料（例如，去重複DRAM記憶體模組130可對自雜湊表記憶體220擷取到的資料區塊進行重組以產生可等價於與所接收的讀取請求對應的資料行C的重組資料）。
在操作S805中，可將所述經重組資料自所述記憶體模組發送至記憶體控制器（例如，去重複DRAM記憶體模組130可將資料行C發送至記憶體控制器120）。
如上所述，資料去重複可使用本發明實施例的去重複DRAM記憶體模組來執行。因此，對記憶體的存取可減少，且DRAM系統的壽命可延長。
前述者是對示例性實施例的說明，且不應被視為對示例性實施例進行限制。儘管已闡述了一些示例性實施例，然而熟習此項技術者將易於領會，可在不實際上背離示例性實施例的新穎教示內容及優點的條件下在示例性實施例中作出諸多潤飾。因此，所有此類潤飾皆旨在包含於如在申請專利範圍中所界定的示例性實施例的範圍內。在申請專利範圍中，方式加功能條款旨在涵蓋本文所述的用於執行所敍述功能的結構、且不僅涵蓋結構性等效形式而且亦涵蓋等效結構。因此，應理解，前述者是對示例性實施例的說明且不應被視為僅限於所揭露的具體實施例，且對所揭露示例性實施例所作的潤飾以及其他示例性實施例皆旨在包含於隨附申請專利範圍的範圍內。本發明概念是由以下申請專利範圍所界定，其中在本發明概念中欲包含申請專利範圍的等效範圍。
100‧‧‧去重複動態隨機存取記憶體（DRAM）系統架構
110‧‧‧處理器
120‧‧‧記憶體控制器
130‧‧‧去重複DRAM記憶體模組
140‧‧‧中央處理單元模組
210‧‧‧位址查找表記憶體
220‧‧‧雜湊表記憶體
230‧‧‧緩衝記憶體
310‧‧‧雜湊桶
320‧‧‧雜湊路線
330‧‧‧簽名行
340‧‧‧參考/頻率計數行
342‧‧‧參考計數
350、450、650‧‧‧實體行ID
380‧‧‧多路線雜湊表/雜湊陣列
400‧‧‧雜湊表陣列
410‧‧‧實體雜湊桶/實體桶
420‧‧‧雜湊路線
460‧‧‧虛擬雜湊桶/虛擬桶
480‧‧‧雜湊表
591‧‧‧跳字值
592‧‧‧跳字向量
651‧‧‧鍵值
652‧‧‧虛擬桶利用值欄位/虛擬桶利用值
PB0、PB1、PB2、PB3、PB4、PB5、PB6‧‧‧實體桶
S701、S702、S702a、S703、S703a、S704、S705、S706、S706a、S707、S801、S802、S803、S804、S805‧‧‧操作
VB0‧‧‧第一虛擬桶
VB1‧‧‧第二虛擬桶
VB2‧‧‧第三虛擬桶
VB3‧‧‧第四虛擬桶
參照說明書、申請專利範圍、及附圖，將領會且理解本發明的該些及其他態樣，在附圖中：
圖1是本發明實施例的去重複DRAM系統架構的方塊圖。
圖2是圖1所示實施例的去重複DRAM記憶體模組中的各類記憶體的方塊圖。
圖3是圖2所示實施例的雜湊表記憶體的雜湊表的方塊圖。
圖4是根據本發明實施例的多雜湊表陣列的方塊圖。
圖5A、圖5B、及圖5C繪示根據本發明實施例的用於產生跳字（hopword）以將虛擬桶與特定實體桶相關聯的二維陣列。
圖6是根據本發明實施例的用於對雜湊表記憶體中的資料區塊進行定址的實體行ID（PLID）的方塊圖。
圖7是說明根據本發明實施例的用於使用跳格（hopscotch）方法將資料寫入至記憶體模組的多雜湊表陣列中的過程的流程圖。
圖8是說明根據本發明實施例的用於自記憶體模組的多雜湊表陣列讀取資料的過程的流程圖。
100‧‧‧去重複動態隨機存取記憶體(DRAM)系統架構
110‧‧‧處理器
120‧‧‧記憶體控制器
130‧‧‧去重複DRAM記憶體模組
140‧‧‧中央處理單元模組

Claims (20)

  1. 一種去重複記憶體模組，用以在內部執行記憶體去重複，所述記憶體模組包括： 雜湊表記憶體，將多個資料區塊儲存於包括多個雜湊表的雜湊表陣列中，所述雜湊表中的每一者包括多個實體桶及多個虛擬桶，所述多個虛擬桶分別包括所述實體桶中的部份實體桶，所述實體桶中的每一者包括路線； 位址查找表記憶體（ALUTM），包括指示每一所述所儲存資料區塊在所述實體桶中的對應一者中的位置的多個指針；以及 緩衝記憶體，當所述雜湊表陣列已滿時儲存未儲存於所述雜湊表記憶體中的獨有資料區塊； 處理器；以及 記憶體，其中所述記憶體上儲存有指令，所述指令當被所述處理器執行時使所述記憶體模組與外部系統交換資料。
  2. 如申請專利範圍第1項所述的記憶體模組，其中所述記憶體模組包括系統晶片動態隨機存取記憶體（DRAM）。
  3. 如申請專利範圍第1項所述的記憶體模組，其中所述記憶體模組用以： 接收與應用圖案歷史集用池、去重複演算法集用池、或去重複演算法選擇策略中的至少一者對應的資訊；以及 基於所述所接收資訊定義一或多個去重複演算法。
  4. 如申請專利範圍第1項所述的記憶體模組，其中所述記憶體模組用以接收對以下中的至少一者進行設定的指令：去重複行大小、所述雜湊表的數目、所述雜湊表中的一者中的所述實體桶的數目、所述實體桶中的一者中的所述路線的數目、或所述虛擬桶中的一者中的實體桶的數目。
  5. 如申請專利範圍第1項所述的記憶體模組，其中所述記憶體模組用以接收為所述雜湊表中的每一者設定雜湊函數的指令。
  6. 如申請專利範圍第1項所述的記憶體模組，其中所述記憶體模組用以接收定義所述雜湊表記憶體、所述位址查找表記憶體、或所述緩衝記憶體中的至少一者的指令。
  7. 如申請專利範圍第1項所述的記憶體模組，其中所述記憶體模組用以： 接收與傳入資料區塊對應的寫入請求； 當接收到所述寫入請求時對所述傳入資料區塊進行雜湊，以產生雜湊值； 判斷所述雜湊表記憶體中是否儲存有與所述雜湊值對應的值； 對與儲存於所述雜湊表記憶體中的所述值對應的所述指針中的對應一者進行擷取； 對所述位址查找表記憶體中的所述指針中的所述對應一者進行更新；以及 對所述雜湊表記憶體中的所述指針中的所述對應一者的參考計數進行更新。
  8. 如申請專利範圍第1項所述的記憶體模組，其中所述記憶體模組用以： 接收讀取請求； 自所述位址查找表記憶體擷取所述指針中的對應一者； 自所述雜湊表記憶體擷取與所述指針中的所述對應一者相關聯的所述所儲存資料區塊中的一者；以及 將所述所儲存資料區塊中的所述一者返送回所述外部系統。
  9. 一種在記憶體模組中進行記憶體去重複的方法，所述方法包括： 在所述記憶體模組中對以下進行定義： 雜湊表記憶體，將多個資料區塊儲存於包括多個雜湊表的雜湊表陣列中，所述雜湊表中的每一者包括多個實體桶及多個虛擬桶，所述多個虛擬桶分別包括所述實體桶中的部分實體桶，所述實體桶中的每一者包括路線； 位址查找表記憶體（ALUTM），包括指示每一所述所儲存資料區塊位於所述實體桶中的哪一者中的多個指針；以及 緩衝記憶體，當所述雜湊表陣列已滿時儲存未儲存於所述雜湊表記憶體中的資料區塊；以及 根據去重複演算法而將所述資料區塊儲存於所述雜湊表記憶體或所述緩衝記憶體中。
  10. 如申請專利範圍第9項所述的方法，更包括將所述去重複演算法選擇為由與所述記憶體模組相關聯的軟體或驅動器定義的非適應性去重複演算法、或者基於由所述記憶體模組接收的資訊的適應性去重複演算法。
  11. 如申請專利範圍第10項所述的方法，更包括自耦接至所述記憶體模組的記憶體控制器接收資訊，所述所接收資訊確定以下中的至少一者：去重複行大小、所述雜湊表的數目、所述雜湊表中的一者中的所述實體桶的數目、所述實體桶中的一者中的所述路線的數目、或所述虛擬桶中的一者中的實體桶的數目， 其中所述非適應性去重複演算法是基於所述所接收資訊，且 其中所述所接收資訊是由與所述記憶體模組相關聯的驅動器而設定。
  12. 如申請專利範圍第10項所述的方法，更包括藉由基於所述非適應性去重複演算法而使用所述驅動器創建所述雜湊表記憶體的區、所述位址查找表記憶體的區、及所述緩衝記憶體的區來確定所述區。
  13. 如申請專利範圍第10項所述的方法，更包括為所述雜湊表中的每一者接收雜湊演算法，所述雜湊演算法由所述驅動器基於所述非適應性去重複演算法而選擇。
  14. 如申請專利範圍第10項所述的方法，更包括： 接收與應用圖案歷史集用池、去重複演算法集用池、或去重複演算法選擇策略中的至少一者對應的資訊；以及 基於所述資訊而對所述適應性去重複演算法進行設定。
  15. 如申請專利範圍第9項所述的方法，更包括： 使用與所述記憶體模組相關聯的驅動器選擇預處理演算法； 接收所述預處理演算法；以及 創建所述去重複演算法。
  16. 一種在記憶體模組中進行記憶體去重複的方法，所述方法包括： 在所述記憶體模組中對以下進行定義： 雜湊表記憶體，將多個資料區塊儲存於包括多個雜湊表的雜湊表陣列中，所述雜湊表中的每一者包括實體桶及多個虛擬桶，所述多個虛擬桶分別包括所述實體桶，所述實體桶中的每一者包括路線； 位址查找表記憶體（ALUTM），包括指示每一所述所儲存資料區塊在所述實體桶中的對應一者中的位置的多個指針；以及 緩衝記憶體，當所述雜湊表陣列已滿時儲存未儲存於所述雜湊表記憶體中的資料區塊； 接收與傳入資料區塊對應的寫入請求； 藉由對所述傳入資料區塊執行雜湊函數而計算雜湊值； 根據所述雜湊值而對所述實體桶中的意圖實體桶進行存取； 判斷所述意圖實體桶中是否儲存有所述傳入資料區塊；以及 當所述意圖實體桶中儲存有與所述傳入資料區塊不同的另一資料區塊時，將所述傳入資料區塊儲存於所述意圖實體桶所在的所述虛擬桶中的一者的一個所述實體桶中。
  17. 如申請專利範圍第16項所述的方法，更包括當所述意圖實體桶中儲存有所述傳入資料區塊時對所述位址查找表記憶體中的所述指針中的對應一者進行更新。
  18. 如申請專利範圍第17項所述的方法，更包括將與所述指針中的所述對應一者對應的參考計數減小1。
  19. 如申請專利範圍第18項所述的方法，更包括當所述參考計數達到0時刪除儲存於所述意圖實體桶中的所述傳入資料區塊。
  20. 如申請專利範圍第16項所述的方法，更包括接收與儲存於所述雜湊表陣列中的多個所述資料區塊對應的讀取請求； 自所述位址查找表記憶體擷取與所述多個所述資料區塊對應的所述指針中的對應一者； 基於所述指針中的所述對應一者在所述雜湊表記憶體中對所述多個所述資料區塊進行存取； 對所述多個資料區塊進行重組以生成經重組資料；以及 將所述經重組資料自所述記憶體模組發送至記憶體控制器。
TW106100357A 2016-03-31 2017-01-06 使用去重複dram系統演算法架構的去重複記憶體模組及其方法 TWI683217B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662316402P 2016-03-31 2016-03-31
US62/316,402 2016-03-31
US15/162,512 2016-05-23
US15/162,512 US9966152B2 (en) 2016-03-31 2016-05-23 Dedupe DRAM system algorithm architecture

Publications (2)

Publication Number Publication Date
TW201737092A true TW201737092A (zh) 2017-10-16
TWI683217B TWI683217B (zh) 2020-01-21

Family

ID=59961545

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106100357A TWI683217B (zh) 2016-03-31 2017-01-06 使用去重複dram系統演算法架構的去重複記憶體模組及其方法

Country Status (5)

Country Link
US (1) US9966152B2 (zh)
JP (1) JP6764359B2 (zh)
KR (1) KR20170112958A (zh)
CN (1) CN107273042B (zh)
TW (1) TWI683217B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10437785B2 (en) * 2016-03-29 2019-10-08 Samsung Electronics Co., Ltd. Method and apparatus for maximized dedupable memory
US10162554B2 (en) * 2016-08-03 2018-12-25 Samsung Electronics Co., Ltd. System and method for controlling a programmable deduplication ratio for a memory system
US10296614B2 (en) 2016-12-07 2019-05-21 International Business Machines Corporation Bulk data insertion in analytical databases
CN110109915B (zh) * 2018-01-18 2024-01-05 伊姆西Ip控股有限责任公司 用于管理哈希表的方法、设备和计算机程序产品
US10628072B2 (en) * 2018-08-21 2020-04-21 Samsung Electronics Co., Ltd. Scalable architecture enabling large memory system for in-memory computations
US11079954B2 (en) * 2018-08-21 2021-08-03 Samsung Electronics Co., Ltd. Embedded reference counter and special data pattern auto-detect
US11334284B2 (en) 2018-09-24 2022-05-17 Samsung Electronics Co., Ltd. Database offloading engine
KR20200145902A (ko) 2019-06-19 2020-12-31 삼성디스플레이 주식회사 표시 패널
CN110321079B (zh) * 2019-06-27 2023-04-25 暨南大学 一种基于混合页面的磁盘缓存去重方法
EP3764233A1 (en) * 2019-07-08 2021-01-13 Continental Teves AG & Co. OHG Method of identifying errors in or manipulations of data or software stored in a device
JP7367470B2 (ja) * 2019-11-05 2023-10-24 富士通株式会社 情報処理装置およびキャッシュ制御プログラム
CN112433675B (zh) * 2020-11-23 2024-03-08 山东可信云信息技术研究院 一种针对超融合架构的存储空间优化方法及系统
CN112799841B (zh) * 2021-01-29 2023-04-25 烽火通信科技股份有限公司 一种数据对象存储管理的方法和装置

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5796939A (en) * 1997-03-10 1998-08-18 Digital Equipment Corporation High frequency sampling of processor performance counters
US6438560B1 (en) 1999-09-16 2002-08-20 International Business Machines Corporation Reuse of immutable objects during object creation
US7130229B2 (en) * 2002-11-08 2006-10-31 Intel Corporation Interleaved mirrored memory systems
US20050120265A1 (en) * 2003-12-02 2005-06-02 Pline Steven L. Data storage system with error correction code and replaceable defective memory
TWI417722B (zh) 2007-01-26 2013-12-01 Hicamp Systems Inc 階層式不可改變的內容可定址的記憶體處理器
US8504791B2 (en) 2007-01-26 2013-08-06 Hicamp Systems, Inc. Hierarchical immutable content-addressable memory coprocessor
JP5026213B2 (ja) 2007-09-28 2012-09-12 株式会社日立製作所 ストレージ装置及びデータ重複排除方法
US8219534B2 (en) 2008-02-27 2012-07-10 Dell Products L.P. Multiple file compaction for network attached storage
US9401967B2 (en) 2010-06-09 2016-07-26 Brocade Communications Systems, Inc. Inline wire speed deduplication system
US9141625B1 (en) 2010-06-22 2015-09-22 F5 Networks, Inc. Methods for preserving flow state during virtual machine migration and devices thereof
US8370316B2 (en) 2010-07-12 2013-02-05 Sap Ag Hash-join in parallel computation environments
US8645636B2 (en) * 2010-09-29 2014-02-04 International Business Machines Corporation Methods for managing ownership of redundant data and systems thereof
US20120158674A1 (en) 2010-12-20 2012-06-21 Mark David Lillibridge Indexing for deduplication
US9639543B2 (en) 2010-12-28 2017-05-02 Microsoft Technology Licensing, Llc Adaptive index for data deduplication
US8462781B2 (en) 2011-04-06 2013-06-11 Anue Systems, Inc. Systems and methods for in-line removal of duplicate network packets
WO2011100924A2 (zh) * 2011-04-14 2011-08-25 华为技术有限公司 在哈希表中添加、查找或删除键值的方法及装置
US8938469B1 (en) * 2011-05-11 2015-01-20 Juniper Networks, Inc. Dynamically adjusting hash table capacity
US9501421B1 (en) 2011-07-05 2016-11-22 Intel Corporation Memory sharing and page deduplication using indirect lines
US8886508B2 (en) 2011-08-22 2014-11-11 Freescale Semiconductor, Inc. Circuit simulation acceleration using model caching
US9298707B1 (en) 2011-09-30 2016-03-29 Veritas Us Ip Holdings Llc Efficient data storage and retrieval for backup systems
CN103975303B (zh) 2011-12-07 2017-08-08 英特尔公司 用于预链接软件以改善虚拟系统中的存储器去重的技术
US9116812B2 (en) 2012-01-27 2015-08-25 Intelligent Intellectual Property Holdings 2 Llc Systems and methods for a de-duplication cache
US20130275699A1 (en) 2012-03-23 2013-10-17 Hicamp Systems, Inc. Special memory access path with segment-offset addressing
US9177028B2 (en) 2012-04-30 2015-11-03 International Business Machines Corporation Deduplicating storage with enhanced frequent-block detection
JP5352712B2 (ja) * 2012-05-29 2013-11-27 株式会社日立ソリューションズ 検索方法、統合検索サーバ及びコンピュータプログラム
US9069810B2 (en) 2012-07-25 2015-06-30 International Business Machines Corporation Systems, methods and computer program products for reducing hash table working-set size for improved latency and scalability in a processing system
US20140115260A1 (en) 2012-10-18 2014-04-24 Oracle International Corporation System and method for prioritizing data in a cache
US9135383B2 (en) 2012-11-16 2015-09-15 Freescale Semiconductor, Inc. Table model circuit simulation acceleration using model caching
US9424267B2 (en) 2013-01-02 2016-08-23 Oracle International Corporation Compression and deduplication layered driver
US9141554B1 (en) * 2013-01-18 2015-09-22 Cisco Technology, Inc. Methods and apparatus for data processing using data compression, linked lists and de-duplication techniques
JP6094267B2 (ja) * 2013-03-01 2017-03-15 日本電気株式会社 ストレージシステム
US9141550B2 (en) * 2013-03-05 2015-09-22 International Business Machines Corporation Specific prefetch algorithm for a chip having a parent core and a scout core
KR20140114515A (ko) * 2013-03-15 2014-09-29 삼성전자주식회사 불휘발성 메모리 장치 및 그것의 중복 데이터 제거 방법
US9537771B2 (en) 2013-04-04 2017-01-03 Marvell Israel (M.I.S.L) Ltd. Exact match hash lookup databases in network switch devices
US9471500B2 (en) 2013-04-12 2016-10-18 Nec Corporation Bucketized multi-index low-memory data structures
US9148387B2 (en) 2013-05-10 2015-09-29 Brocade Communications Systems, Inc. Hardware hash table virtualization in multi-packet processor networking systems
US10339109B2 (en) 2013-07-15 2019-07-02 International Business Machines Corporation Optimizing hash table structure for digest matching in a data deduplication system
US20150019815A1 (en) 2013-07-15 2015-01-15 International Business Machines Corporation Utilizing global digests caching in data deduplication of workloads
US10073853B2 (en) 2013-07-17 2018-09-11 International Business Machines Corporation Adaptive similarity search resolution in a data deduplication system
US9898410B2 (en) 2013-09-10 2018-02-20 Intel Corporation Hybrid main memory using a fine-grain level of remapping
US10380073B2 (en) * 2013-11-04 2019-08-13 Falconstor, Inc. Use of solid state storage devices and the like in data deduplication
EP3066553B1 (en) 2013-11-08 2020-02-12 Fujitsu Limited Storage appliance and method thereof for inline deduplication with segmentation
KR20150067583A (ko) 2013-12-10 2015-06-18 삼성전자주식회사 불휘발성 메모리 장치 및 그것의 중복 데이터 제거 방법
US9792063B2 (en) 2014-01-15 2017-10-17 Intel Corporation Deduplication-based data security
US10380183B2 (en) 2014-04-03 2019-08-13 International Business Machines Corporation Building and querying hash tables on processors
US8868825B1 (en) 2014-07-02 2014-10-21 Pure Storage, Inc. Nonrepeating identifiers in an address space of a non-volatile solid-state storage
EP2966562A1 (en) 2014-07-09 2016-01-13 Nexenta Systems, Inc. Method to optimize inline i/o processing in tiered distributed storage systems
US9489239B2 (en) 2014-08-08 2016-11-08 PernixData, Inc. Systems and methods to manage tiered cache data storage
CN104298614B (zh) * 2014-09-30 2017-08-11 华为技术有限公司 数据块在存储设备中存储方法和存储设备
WO2016057672A1 (en) 2014-10-07 2016-04-14 Google Inc. Methods and systems for cache lines de-duplication
US9703797B2 (en) 2015-02-18 2017-07-11 Exagrid Systems, Inc. Multi-level deduplication
US9892053B2 (en) 2015-03-24 2018-02-13 Intel Corporation Compaction for memory hierarchies
CN104978151B (zh) * 2015-06-19 2017-12-29 浪潮电子信息产业股份有限公司 基于应用感知的重复数据删除存储系统中的数据重构方法
US10089320B2 (en) 2015-07-31 2018-10-02 Hiveio Inc. Method and apparatus for maintaining data consistency in an in-place-update file system with data deduplication

Also Published As

Publication number Publication date
JP2017188096A (ja) 2017-10-12
KR20170112958A (ko) 2017-10-12
TWI683217B (zh) 2020-01-21
US20170286004A1 (en) 2017-10-05
JP6764359B2 (ja) 2020-09-30
CN107273042A (zh) 2017-10-20
CN107273042B (zh) 2021-10-08
US9966152B2 (en) 2018-05-08

Similar Documents

Publication Publication Date Title
TWI683217B (zh) 使用去重複dram系統演算法架構的去重複記憶體模組及其方法
US10318434B2 (en) Optimized hopscotch multiple hash tables for efficient memory in-line deduplication application
TWI714664B (zh) 有效的記憶體在線重刪應用之虛擬桶多雜湊表
TWI804466B (zh) 擷取記憶體中儲存的資料的方法與去重複模組
US10649969B2 (en) Memory efficient persistent key-value store for non-volatile memories
KR102216116B1 (ko) 메모리 모듈 및 그것의 동작 방법
US10678704B2 (en) Method and apparatus for enabling larger memory capacity than physical memory size
US9507705B2 (en) Write cache sorting
US10528284B2 (en) Method and apparatus for enabling larger memory capacity than physical memory size
TW201723850A (zh) 快閃記憶體及其存取方法
JP2015028815A (ja) ｋｅｙ−ｖａｌｕｅストア方式を有するメモリシステム
US11914587B2 (en) Systems and methods for key-based indexing in storage devices
JP2022111330A (ja) メモリシステムおよび制御方法