TW201941068A - 對儲存媒體的同步記憶體匯流排存取 - Google Patents

對儲存媒體的同步記憶體匯流排存取 Download PDF

Info

Publication number
TW201941068A
TW201941068A TW108103272A TW108103272A TW201941068A TW 201941068 A TW201941068 A TW 201941068A TW 108103272 A TW108103272 A TW 108103272A TW 108103272 A TW108103272 A TW 108103272A TW 201941068 A TW201941068 A TW 201941068A
Authority
TW
Taiwan
Prior art keywords
memory
page
buffer
data
host
Prior art date
Application number
TW108103272A
Other languages
English (en)
Other versions
TWI711931B (zh
Inventor
保羅 史東雷格
布萊恩 Ｔ 希爾伯們
法蘭克 F 羅斯
Original Assignee
美商美光科技公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商美光科技公司 filed Critical 美商美光科技公司
Publication of TW201941068A publication Critical patent/TW201941068A/zh
Application granted granted Critical
Publication of TWI711931B publication Critical patent/TWI711931B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668—Details of memory controller
    • G06F13/1689—Synchronisation and timing concerns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
    • G06F12/0246—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory in block erasable memory, e.g. flash memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/10—Address translation
    • G06F12/1009—Address translation using page tables, e.g. page table structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668—Details of memory controller
    • G06F13/1673—Details of memory controller using buffers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4204—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus
    • G06F13/4234—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus being a memory bus
    • G06F13/4243—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus being a memory bus with synchronous protocol
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/21—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements
    • G11C11/34—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices
    • G11C11/40—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors
    • G11C11/401—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors forming cells needing refreshing or charge regeneration, i.e. dynamic cells
    • G11C11/406—Management or control of the refreshing or charge-regeneration cycles
    • G11C11/40607—Refresh operations in memory devices with an internal cache or data buffer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G06F2212/1024—Latency reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/72—Details relating to flash memory management
    • G06F2212/7201—Logical to physical mapping or translation of blocks or pages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/72—Details relating to flash memory management
    • G06F2212/7203—Temporary buffering, e.g. using volatile buffer or dedicated buffer blocks
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/21—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements
    • G11C11/34—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices
    • G11C11/40—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors
    • G11C11/401—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors forming cells needing refreshing or charge regeneration, i.e. dynamic cells
    • G11C11/406—Management or control of the refreshing or charge-regeneration cycles
    • G11C11/40611—External triggering or timing of internal or partially internal refresh operations, e.g. auto-refresh or CAS-before-RAS triggered refresh

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Memory System (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本發明提供一種計算系統，其具有包含第一記憶體及第二記憶體之記憶體組件，其中該第一記憶體可用於一主機系統以在第一複數個視窗之一或多者期間經由一記憶體匯流排進行讀取及寫入存取。該計算系統進一步包含一處理裝置，該處理裝置與該等記憶體組件可操作地耦合以：自該主機系統之一驅動程式接收關於儲存於該第二記憶體中之一資料頁之一請求；回應於該請求而將該頁自該第二記憶體傳送至一緩衝器；及將該頁自該緩衝器寫入至該第一記憶體，其中在對應於該記憶體匯流排之一再新時序之第二複數個視窗之至少一者期間將該頁寫入至該第一記憶體，且在該主機系統處控制該再新時序。

Description

對儲存媒體的同步記憶體匯流排存取
本文中揭示之至少一些實施例一般而言係關於記憶體系統，且更特定言之(但非限制地)係關於對計算系統中之儲存媒體的同步記憶體匯流排存取。
一記憶體子系統可為一記憶體模組，諸如一雙列直插記憶體模組(DIMM)、一小型DIMM (SO-DIMM)或一非揮發性雙列直插記憶體模組(NVDIMM)。一記憶體子系統可為一儲存系統，諸如一固態硬碟(SSD)或一硬碟機(HDD)。一記憶體子系統可包含儲存資料之一或多個記憶體組件。記憶體組件可為例如非揮發性記憶體組件及揮發性記憶體組件。記憶體組件之實例包含記憶體積體電路。一些記憶體積體電路係揮發性的且需要電力來維持經儲存資料。一些記憶體積體電路係非揮發性的且甚至在未被供電時仍可保留經儲存資料。非揮發性記憶體之實例包含快閃記憶體、唯讀記憶體(ROM)、可程式化唯讀記憶體(PROM)、可擦除可程式化唯讀記憶體(EPROM)及電可擦除可程式化唯讀記憶體(EEPROM)記憶體等。揮發性記憶體之實例包含動態隨機存取記憶體(DRAM)及靜態隨機存取記憶體(SRAM)。一般而言，一主機系統可利用一記憶體子系統來將資料儲存於記憶體組件處及自記憶體組件擷取資料。
例如，一電腦可包含一主機系統及附接至主機系統之一或多個記憶體子系統。主機系統可具有與一或多個記憶體子系統通信以儲存及/或擷取資料及指令之一中央處理單元(CPU)。用於一電腦之指令可包含作業系統、裝置驅動程式及應用程式。一作業系統管理電腦中之資源且為應用程式提供常見服務，諸如記憶體分配及資源之分時。一裝置驅動程式操作或控制電腦中之一特定類型之裝置；且作業系統使用裝置驅動程式來提供由該類型之裝置提供之資源及/或服務。一電腦系統之一中央處理單元(CPU)可運行一作業系統及裝置驅動程式以將服務及/或資源提供至應用程式。中央處理單元(CPU)可運行使用服務及/或資源之一應用程式。例如，實施一類型之電腦系統應用程式之一應用程式可指示中央處理單元(CPU)將資料儲存於一記憶體子系統之記憶體組件中及自記憶體組件擷取資料。
一電腦系統之一作業系統可容許一應用程式使用虛擬記憶體位址來將資料儲存於電腦系統之一或多個記憶體子系統之記憶體組件中或自電腦系統之一或多個記憶體子系統之記憶體組件擷取資料。作業系統將連接至電腦系統之中央處理單元(CPU)之一或多個記憶體子系統的虛擬位址映射至實體位址。作業系統使用記憶體子系統之實體位址實施虛擬位址處指定之記憶體存取。
一虛擬位址空間可被劃分為頁。可將一虛擬記憶體頁映射至記憶體子系統中之一實體記憶體頁。作業系統可使用一分頁技術以經由一記憶體模組中之一記憶體頁存取一儲存裝置中之一記憶體頁。在不同時間例項，一記憶體模組中之相同記憶體頁可用作存取儲存裝置中之不同記憶體頁或電腦系統中之另一儲存裝置的代理。
一電腦系統可包含用於建立或佈建虛擬機之一超管理器(或虛擬機監控器)。一虛擬機係使用電腦系統中可用之資源及服務虛擬地實施之一計算裝置。超管理器將虛擬機呈現給一作業系統，宛如虛擬機之組件係專用實體組件一樣。一客戶作業系統在虛擬機中運行以依與運行於電腦系統中之主機作業系統類似之一方式管理虛擬機中可用之資源及服務。超管理器容許多個虛擬機共用電腦系統之資源且容許虛擬機在電腦上實質上彼此獨立地操作。
相關申請案
本申請案主張Stonelake等人於2018年2月5日申請之標題為「Synchronous Memory Bus Access to Storage Media and Dram Using an SRAM Buffer」之美國臨時申請案序號62/626,577之優先權，該申請案之全部內容宛如全文闡述般以引用方式併入本文中。
本發明之至少一些態樣係關於對具有一或多個記憶體子系統之一計算系統中之儲存媒體的同步記憶體匯流排存取。一記憶體子系統在下文中亦稱為一「記憶體裝置」。一記憶體子系統之一實例係經由一記憶體匯流排連接至一中央處理單元(CPU)之一記憶體模組。記憶體模組之實例包含一雙列直插記憶體模組(DIMM)、一小型DIMM (SO-DIMM)、一非揮發性雙列直插記憶體模組(NVDIMM)等。一記憶體子系統之另一實例係經由一周邊互連(例如，一輸入/輸出匯流排、一儲存區域網路)連接至中央處理單元(CPU)之一儲存裝置。儲存裝置之實例包含一固態硬碟(SSD)、一快閃隨身碟、一通用串列匯流排(USB)快閃隨身碟及一硬碟機(HDD)。在一些實施例中，記憶體子系統係提供記憶體功能及儲存功能兩者之一混合記憶體/儲存子系統。一般而言，一主機系統可利用包含一或多個記憶體組件之一記憶體子系統。主機系統可提供待儲存於記憶體子系統處之資料且可請求待自記憶體子系統擷取之資料。
在一習知系統中，一主機可存取各種類型之記憶體，包含揮發性記憶體及非揮發性記憶體。已認識到，非揮發性記憶體(例如，交叉點記憶體)係通常具有比揮發性記憶體(例如，DRAM)長之一回應時間之一記憶體技術。此較長回應時間可防止在一同步匯流排(例如，一DDR4匯流排)上支援非揮發性記憶體，此可導致主機需更長存取時間來存取儲存於非揮發性記憶體中之資料。
本發明之至少一些態樣藉由使用提供對儲存媒體(例如，非揮發性記憶體)之同步記憶體匯流排存取的一同步組件而解決上述及其他缺陷。在各項實施例中，一記憶體系統藉由使用一同步記憶體匯流排而提供對儲存於例如一記憶體模組(例如，一DIMM)上之一非揮發性記憶體中之資料的主機存取。將儲存於非揮發性記憶體中之資料(例如，主機期望存取之一資料頁)移入及移出記憶體模組之一記憶體緩衝器(例如，SRAM)，使得可類似於存取儲存於一揮發性記憶體中之資料(例如，使用一DDR4匯流排存取DRAM)般使用記憶體匯流排存取儲存於非揮發性記憶體中之資料。因此，可藉由使用同步記憶體匯流排存取而加速藉由主機之記憶體存取。
在一項實例中，揮發性記憶體係DRAM，且非揮發性記憶體係交叉點記憶體(例如，3DXP記憶體)。一主機系統經由一DDR4記憶體匯流排存取DRAM。例如，緩衝器可為用作用於3DXP與DRAM之間之資料傳送之一暫態緩衝器的SRAM。例如，3DXP資料可隨時移動至SRAM緩衝器或自SRAM緩衝器移動(與主機DDR記憶體匯流排之狀態無關)。主機可自SRAM緩衝器存取頁入(paged-in)之3DXP資料，或在該資料已自SRAM緩衝器到達DRAM之後存取該資料。
更明確言之，在一項實例中，一DDR4記憶體匯流排係一同步匯流排且需要預定回應時間以正確操作。例如，一3D交叉點記憶體附接至一組常規DRAM後面之一DIMM上的DDR4匯流排。一典型DIMM可具有例如可由一主機使用DDR4同步時序存取之16至32個十億位元組之DRAM記憶體。
各項實施例藉由保留一或多個DRAM再新循環使得主機在此等經保留時間框期間不發出存取DRAM之讀取或寫入命令而提供經由DDR4匯流排對DIMM上之3DXP記憶體中之資料的存取。在一項實施例中，針對DRAM匯流排人為地增加DRAM之再新速率。此意謂主機控制器產生比在正常操作期間再新DRAM實際上所需更頻繁之再新命令。經保留再新循環之一或多者用於經由DIMM上之DRAM控制器本身將資料移動至位於該DRAM後面之3D交叉點記憶體及自位於該DRAM後面之3D交叉點記憶體移動資料。
在一項實施例中，若將以一先前習知方式添加3DXP，則一混合DIMM包含DRAM及3DXP兩者以在需要可能超過3DXP之效能位準之一回應時間的一DDR4匯流排上操作。然而，根據各項實施例，混合DIMM上之一記憶體系統控制器與已經組態以請求一或多個額外再新循環之一主機系統通信。記憶體系統控制器使用額外再新循環以在DDR4 DRAM與作為DIMM之部分之一SRAM緩衝器之間傳送資料，使得使用3DXP儲存媒體不需要改變在DDR記憶體匯流排上通信時之主機操作(例如，主機可以與存取習知DRAM類似或相同之一方式操作)。
在一項實施例中，可在任何時間排程至3DXP或自3DXP至一雙埠SRAM之一第一埠之傳送。僅至/自SRAM緩衝器及DRAM之傳送需要與經保留再新循環同步。雙埠SRAM之一第二埠作為DDR位址空間之部分暴露至主機，且可在再新未在DDR位址空間之SRAM部分上起作用之任何時間存取。
在一項實例中，主機之一BIOS經組態以在主機開機時引起主機作業系統(OS)設定再新時序(例如，經由組態tREFI/tRFC參數)。當OS使用此等客製化tREFI/tRFC參數時，記憶體系統控制器可匹配用於存取3DXP之時序(經由SRAM緩衝器)及用於存取DRAM之時序。
在一項實施例中，若SRAM匹配DRAM之全時序要求(且不僅僅是tREFI/tRFC)，則記憶體系統控制器可暴露在DRAM位址空間之一部分內或作為DRAM位址空間之一擴展的SRAM。為暴露DRAM位址空間內之SRAM，記憶體系統控制器解碼啟動(ACTIVATE)命令且將其等傳遞至不被攔截之DRAM列。否則，記憶體系統控制器將擷取該等啟動命令且以自SRAM讀取或寫入至SRAM對目標為經啟動庫及列之接下來的讀取/寫入(READ/WRITE)命令作出回應。
為暴露作為DRAM空間之一擴展之SRAM，記憶體系統控制器解碼CS或CiD信號且對來自SRAM之一專用CS/CiD (秩)上之全部DRAM命令作出回應。SRAM位址空間小於一DRAM，因此該CS/CiD (秩)上之較大位址混疊至SRAM位址空間中。系統軟體可意識到且僅使用匹配SRAM大小之額外CS/CiD (秩)之部分。
在一項實施例中，當系統組態有客製化tREFI/tRFC參數時，記憶體系統控制器可額外地使用額外再新循環來同步SRAM與DRAM之間之傳送。此係藉由記憶體系統控制器基於一計數器攔截再新(REFRESH)命令且決定是否應將再新命令轉送至DRAM而完成。若不應將再新命令轉送至DRAM，則可用一NOP命令取代再新命令或可抑制DRAM CS，使得DRAM不執行再新命令。在該相同再新循環中，記憶體系統控制器自由地將命令發出至DRAM以實施至/自SRAM之傳送。
另外，記憶體系統控制器可維持映射至SRAM緩衝器之一DDR頁映射表，以在資料已在SRAM緩衝器中之情況中加速資料存取。在一項實施例中，記憶體系統控制器解碼一DDR啟動命令，且控制器使用一查找表或CAM來判定目標庫及列是否已重新映射至SRAM或應傳遞至DRAM。記憶體系統控制器中之映射表支援頁之透明重新映射(從主機系統及主機記憶體控制器視角看)。因此，在已將一3DXP頁自SRAM複製至DRAM之後，可更新映射表使得存取自SRAM重新引導至DRAM。只要已在經保留再新循環期間傳送整個DRAM頁，主機便不會意識到資料已自SRAM移動至DRAM。
圖1繪示根據本發明之一些實施例之具有一記憶體子系統110之一例示性計算系統100。記憶體子系統110可包含媒體，諸如記憶體組件109A至109N。記憶體組件109A至109N可為揮發性記憶體組件、非揮發性記憶體組件或此等組件之一組合。在一些實施例中，記憶體子系統110係一記憶體模組。一記憶體模組之實例包含一DIMM及一NVDIMM。在一些實施例中，記憶體子系統係一儲存系統。一儲存系統之一實例係一SSD。在一些實施例中，記憶體子系統110係一混合記憶體/儲存子系統。一般而言，計算環境可包含使用記憶體子系統110之一主機系統120。例如，主機系統120可將資料寫入至記憶體子系統110及自記憶體子系統110讀取資料。
主機系統120可為一計算裝置，諸如一桌上型電腦、膝上型電腦、網路伺服器、行動裝置或包含一記憶體及一處理裝置之此計算裝置。主機系統120可包含或耦合至記憶體子系統110，使得主機系統120可自記憶體子系統110讀取資料或將資料寫入至記憶體子系統110。主機系統120可經由一實體主機介面耦合至記憶體子系統110。如本文中所使用，「耦合至」一般指代組件之間之一連接，其可為一間接通信連接或直接通信連接(例如，不具有介入組件)，無論是有線還是無線，包含諸如電連接、光學連接、磁性連接等之連接。一實體主機介面之實例包含但不限於一串列進階技術附接(SATA)介面、一快速周邊組件互連(PCIe)介面、通用串列匯流排(USB)介面、光纖通道、串列附接SCSI (SAS)、一雙倍資料速率(DDR)記憶體匯流排等。實體主機介面可用於在主機系統120與記憶體子系統110之間傳輸資料。主機系統120可進一步利用一快速NVM (NVMe)介面以在記憶體子系統110藉由PCIe介面與主機系統120耦合時存取記憶體組件109A至109N。實體主機介面可提供用於在記憶體子系統110與主機系統120之間傳遞控制、位址、資料及其他信號之一介面。圖1繪示一記憶體子系統110作為一實例。一般而言，主機系統120可經由一相同通信連接、多個各別通信連接及/或一通信連接組合存取多個記憶體子系統。
主機系統120包含一處理裝置118及一控制器116。主機系統120之處理裝置118可為例如一微處理器、一中央處理單元(CPU)、一處理器之一處理核心、一執行單元等。在一些例項中，控制器116可被稱為一記憶體控制器、一記憶體管理單元及/或一起始器。在一項實例中，控制器116控制經由耦合於主機系統120與記憶體子系統110之間之一匯流排進行的通信。
一般而言，控制器116可將命令或請求發送至記憶體子系統110以對記憶體組件109A至109N進行所要存取。控制器116可進一步包含用於與記憶體子系統110通信之介面電路。介面電路可將自記憶體子系統110接收之回應轉換成用於主機系統120之資訊。
主機系統120之控制器116可與記憶體子系統110之控制器115通信以執行諸如在記憶體組件109A至109N處讀取資料、寫入資料或擦除資料之操作及其他此等操作。在一些例項中，控制器116整合於處理裝置118之相同封裝內。在其他例項中，控制器116與處理裝置118之封裝分離。控制器116及/或處理裝置118可包含硬體，諸如一或多個積體電路及/或離散組件、一緩衝記憶體、一快取記憶體或其等之一組合。控制器116及/或處理裝置118可為一微控制器、專用邏輯電路(例如，一場可程式化閘陣列(FPGA)、一特定應用積體電路(ASIC)等)或另一適合處理器。
記憶體組件109A至109N可包含不同類型之非揮發性記憶體組件及/或揮發性記憶體組件之任何組合。非揮發性記憶體組件之一實例包含一反及(NAND)型快閃記憶體。記憶體組件109A至109N之各者可包含一或多個記憶體胞陣列，諸如單位階胞(SLC)或多位階胞(MLC) (例如，三位階胞(TLC)或四位階胞(QLC))。在一些實施例中，一特定記憶體組件可包含記憶體胞之一SLC部分及一MLC部分兩者。記憶體胞之各者可儲存由主機系統120使用之一或多個資料位元(例如，資料區塊)。儘管描述非揮發性記憶體組件(諸如NAND型快閃記憶體)，然記憶體組件109A至109N可基於任何其他類型之記憶體，諸如一揮發性記憶體。在一些實施例中，記憶體組件109A至109N可為但不限於隨機存取記憶體(RAM)、唯讀記憶體(ROM)、動態隨機存取記憶體(DRAM)、同步動態隨機存取記憶體(SDRAM)、相變記憶體(PCM)、磁隨機存取記憶體(MRAM)、自旋轉移力矩(STT)-MRAM、鐵電隨機存取記憶體(FeTRAM)、鐵電RAM (FeRAM)、導電橋接RAM (CBRAM)、電阻式隨機存取記憶體(RRAM)、基於氧化物之RRAM (OxRAM)、反或(NOR)快閃記憶體、電可擦除可程式化唯讀記憶體(EEPROM)、基於奈米線之非揮發性記憶體、併有憶阻器技術之記憶體，及一交叉點非揮發性記憶體胞陣列。一交叉點非揮發性記憶體陣列可基於一體電阻變化、結合一可堆疊交叉網格資料存取陣列執行位元儲存。另外，與許多基於快閃之記憶體相反，交叉點非揮發性記憶體可執行一就地寫入操作，其中可在先前未擦除一非揮發性記憶體胞之情況下程式化該非揮發性記憶體胞。此外，記憶體組件109A至109N之記憶體胞可被分組為可指代用於儲存資料之記憶體組件之一單位的記憶體頁或資料區塊。
記憶體子系統110之控制器115可與記憶體組件109A至109N通信以執行諸如在記憶體組件109A至109N處讀取資料、寫入資料或擦除資料之操作及其他此等操作(例如，對由控制器116排程於一命令匯流排上之命令作出回應)。控制器115可包含硬體，諸如一或多個積體電路及/或離散組件、一緩衝記憶體或其等之一組合。控制器115可為一微控制器、專用邏輯電路(例如，一場可程式化閘陣列(FPGA)、一特定應用積體電路(ASIC)等)或另一適合處理器。控制器115可包含一處理裝置117 (處理器)，處理裝置117經組態以執行儲存於本地記憶體119中之指令。在所繪示實例中，控制器115之本地記憶體119包含一嵌入式記憶體，該嵌入式記憶體經組態以儲存用於執行控制記憶體子系統110之操作(包含處置記憶體子系統110與主機系統120之間之通信)之各種程序、操作、邏輯流程及常式的指令。在一些實施例中，本地記憶體119可包含儲存記憶體指針、經提取資料等之記憶體暫存器。本地記憶體119亦可包含用於儲存微程式碼之唯讀記憶體(ROM)。雖然圖1中之例示性記憶體子系統110已被繪示為包含控制器115，但在本發明之另一實施例中，一記憶體子系統110可不包含一控制器115，且可代替性地依賴於外部控制(例如，其由一外部主機、或由與記憶體子系統分離之一處理器或一控制器提供)。
一般而言，控制器115可自主機系統120接收命令或操作，且可將命令或操作轉換成用於達成對記憶體組件109A至109N之所要存取的指令或適當命令。控制器115可負責與記憶體組件109A至109N相關聯之其他操作，諸如損耗均衡操作、廢棄項目收集操作、錯誤偵測及錯誤校正碼(ECC)操作、加密操作、快取操作及一邏輯區塊位址與一實體區塊位址之間之位址轉譯。控制器115可進一步包含用於經由實體主機介面與主機系統120通信之主機介面電路。主機介面電路可將自主機系統接收之命令轉換成用於存取記憶體組件109A至109N之命令指令，以及將與記憶體組件109A至109N相關聯之回應轉換成用於主機系統120之資訊。
記憶體子系統110亦可包含未繪示之額外電路或組件。在一些實施例中，記憶體子系統110可包含一快取區或緩衝器(例如，DRAM或SRAM)及可自控制器115接收一位址且解碼該位址以存取記憶體組件109A至109N的位址電路(例如，一列解碼器及一行解碼器)。
計算系統100包含主機系統120中之一同步組件113，同步組件113結合一緩衝器121運作以提供對記憶體子系統110中之儲存媒體之同步記憶體匯流排存取。在一項實例中，緩衝器121係SRAM。記憶體子系統110可經由一DDR或其他類型之同步記憶體匯流排為主機系統120提供對一儲存媒體(例如，3DXP記憶體)中之資料之存取。在一項實施例中，藉由保留一或多個DRAM再新循環使得主機系統120在經保留循環期間不發出存取DRAM之讀取或寫入命令而提供對一DIMM上之3DXP記憶體中之資料的存取。經保留再新循環之一或多者用於在緩衝器121與DIMM上之DRAM記憶體之間移動資料。相比之下，3DXP記憶體至緩衝器121傳送不需要與經保留再新循環同步。接著，可在主機系統120之一DRAM記憶體位址空間中存取經移動資料以在經由DDR記憶體匯流排進行之正常主機讀取/寫入請求期間存取。
在一項實例中，主機系統120將一頁入請求(用於存取一頁)發送至控制器115。回應於接收到頁入請求，控制器115將一頁自一慢速媒體(諸如揮發性記憶體)移動至揮發性記憶體(例如，記憶體子系統110上之DRAM)。
在一項實例中，主機系統120將一頁出請求發送至控制器115。回應於接收到頁出請求，控制器115經由緩衝器121將資料自揮發性記憶體(例如，記憶體子系統110上之DRAM)移出至非揮發性記憶體。在已出於此目的保留之一或多個再新循環期間，將資料自揮發性記憶體移出至緩衝器121。接著，將資料自緩衝器121移動至非揮發性記憶體(例如，3DXP)。在一項實施例中，自緩衝器121 (例如，SRAM)至3DXP記憶體之資料移動不存在特定時序要求。
例如，已認識到，DRAM與SRAM緩衝器之間之資料移動(例如，針對頁入及頁出請求)受自主機系統120至記憶體子系統110 (例如，一DIMM)之DDR匯流排信號之限制。亦已認識到，在主機系統正存取DIMM中之DRAM時，使用一緩衝器自主機系統120擷取DDR信號可減慢效能。再者，使用一緩衝器自主機系統120擷取DDR信號可提高介面電路(例如，其使用一DDR插槽)之成本及複雜性。本文中之各項實施例藉由使用經由同步組件113及緩衝器121之記憶體匯流排同步而克服此等缺陷。
在一些實施例中，主機系統120中之控制器116及/或處理裝置118包含同步組件113之至少一部分。例如，控制器116及/或處理裝置118可包含實施同步組件113之邏輯電路。例如，主機系統120之處理裝置118 (處理器)可經組態以執行儲存於記憶體中之指令而執行控制同步組件113之記憶體匯流排時序之操作，如本文中描述。在一些實施例中，同步組件113係主機系統120之一作業系統、一裝置驅動程式或一應用程式之部分。
在一項實例中，一中央處理單元(CPU)可存取連接至CPU之一記憶體系統中之記憶體。例如，中央處理單元(CPU)可經組態以使用同步組件113存取記憶體。例如，一非揮發性記憶體無法由CPU直接定址，且其耦合至可由CPU直接定址之一揮發性記憶體。經由揮發性記憶體存取非揮發性記憶體，從而將資料交換至緩衝器121及自緩衝器121交換資料且使用同步組件113控制記憶體存取。
圖2展示具有不同類型之記憶體之一計算系統。根據本發明之一些實施例，計算系統執行用於對儲存媒體進行同步記憶體匯流排存取之指令。圖2之計算系統包含一主機系統120及經由一記憶體匯流排203連接至主機系統120之一記憶體模組205。記憶體模組205係圖1中繪示之記憶體子系統110之一實例。
主機系統120具有一處理裝置118，處理裝置118可為一中央處理單元或具有一或多個處理核心之一微處理器。主機系統120可具有一快取記憶體211。快取記憶體211之至少一部分可視情況整合於處理裝置118之相同積體電路封裝內。
圖2中繪示之記憶體模組205具有多種類型之記憶體(例如，221及223)。例如，A型記憶體221 (例如，DRAM)比B型記憶體223 (例如，3DXP)快。例如，記憶體匯流排203可為一雙倍資料速率匯流排。一般而言，數個記憶體模組(例如，205)可耦合至記憶體匯流排203。
處理裝置118經由指令(例如，一作業系統及/或一或多個裝置驅動程式)組態以使用同步組件113經由電腦系統中之記憶體之一部分存取電腦系統中之記憶體之另一部分。例如，記憶體模組205之B型記憶體223 (例如，3DXP)可經由記憶體模組205之A型記憶體221 (例如，DRAM)存取。例如，記憶體模組205之B型記憶體223僅可透過定址記憶體模組205之A型記憶體221而存取。
一控制器227可提供於記憶體模組205中以管理記憶體模組205內之A型記憶體221與B型記憶體223之間之資料傳送。在一項實施例中，在將資料傳送至緩衝器121或自緩衝器121傳送資料時，控制器227多工藉由主機系統120及記憶體模組205兩者對DRAM之存取。在一項實例中，記憶體匯流排203提供一主機DDR通道作為主機系統120與記憶體模組205之間之DDR介面。
在一項實例中，一旦一頁自3DXP記憶體擷取至緩衝器121中，則可將該頁載入至DRAM中以由主機經由一習知DDR4插槽(例如，主機DDR通道)存取。為將一頁換出DRAM，資料自DRAM移動至緩衝器121且接著至3DXP記憶體。
一般而言，記憶體子系統(例如，205)可包含諸如記憶體(例如，221、...、223)之媒體。記憶體(例如，221、...、223)可包含揮發性記憶體、非揮發性記憶體(NVM)及/或此等記憶體之一組合。在一些實施例中，電腦系統包含至少一個記憶體子系統，即一儲存裝置(未展示)。一儲存裝置之一實例係一固態硬碟(SSD)。在一些實施例中，電腦系統包含至少一個記憶體子系統，即組態為一記憶體模組205之一混合記憶體/儲存系統。處理裝置118可將資料寫入至記憶體子系統(例如，205)之各者且直接地或間接地自記憶體子系統(例如，205)讀取資料。
在一項實施例中，記憶體模組205藉由使用緩衝器121而經由揮發性記憶體提供對非揮發性儲存媒體之同步記憶體匯流排存取。在一項實例中，記憶體模組205係經由一DDR匯流排耦合至一主機系統120之一DIMM。儲存媒體係例如交叉點記憶體(例如，3DXP)。儲存於儲存媒體中之資料之部分使用經保留再新循環換入及換出DRAM (經由一SRAM緩衝器)，如下文描述。儲存媒體與SRAM緩衝器之間之傳送可在任何時間發生(例如，使用一雙埠SRAM)。
在一項實施例中，主機經由一通信通道與記憶體模組通信以進行讀取/寫入操作(例如，使用一DDR4匯流排)。主機可為具有一或多個中央處理單元(CPU)之一伺服器或其他電腦，電腦周邊裝置(諸如記憶體模組)可經由一互連(諸如一電腦匯流排(例如，周邊組件互連(PCI)、擴展PCI (PCI-X)、快速PCI (PCIe))、一通信部分及/或一電腦網路)附接至該伺服器或其他電腦。
在一項實施例中，記憶體模組可用於將主機之資料儲存於非揮發性儲存媒體中，但經由一同步DRAM記憶體介面進行存取，如本文中描述。記憶體模組具有一主機介面，該主機介面使用通信通道實施與主機之通信。
在一項實施例中，記憶體模組205具有運行例如韌體以回應於來自主機之通信而執行操作的控制器227。此等操作包含在預期執行於主機上之軟體之即將到來的需求時將資料頁移動至儲存媒體及自儲存媒體移動資料頁。韌體在操作記憶體模組(諸如在經保留再新循環期間將資料換入及換出緩衝器121)時控制控制器227之操作，如下文更詳細論述。
在一項實施例中，如上述，非揮發性儲存媒體係交叉點記憶體。在其他實施例中，儲存媒體可使用一不同類型之記憶體(例如，不同類型之儲存類記憶體)。例如，一儲存媒體中之記憶體胞可使用各種記憶體/儲存技術(諸如基於NAND閘之快閃記憶體、相變記憶體(PCM)及電阻式隨機存取記憶體)來實施，使得儲存媒體係非揮發性的。
記憶體模組包含揮發性動態隨機存取記憶體(DRAM)。DRAM將可由主機存取之資料儲存於一DRAM記憶體位址空間中。在一項實例中，根據各項實施例，交叉點儲存及記憶體裝置(例如，3DXP記憶體)具有可與DRAM相當之資料存取效能。
圖2之計算系統可用於實施一桌上型電腦、膝上型電腦、網路伺服器、行動裝置或包含一記憶體及一處理裝置之此計算裝置。處理裝置118可自記憶體子系統(例如，205)讀取資料或將資料寫入至記憶體子系統(例如，205)。
處理裝置118可經由一或多個實體介面(例如，203)耦合至一記憶體子系統(例如，205)。如本文中所使用，「耦合至」一般指代組件之間之一連接，其可為一間接通信連接或直接通信連接(例如，不具有介入組件)，無論是有線還是無線，包含諸如電連接、光學連接、磁性連接等之連接。
實體主機介面可用於在處理裝置118與記憶體子系統(例如，205)之間傳輸資料。實體主機介面可提供用於在記憶體子系統(例如，205)與處理裝置118之間傳遞控制、位址、資料及其他信號之一介面。
一般而言，一記憶體子系統(例如，205)包含連接提供記憶體(例如，221、...、223)之一組記憶體裝置(諸如記憶體積體電路)之一印刷電路板。記憶體子系統(例如，205)上之記憶體(例如，221、...、223)可包含不同類型之非揮發性記憶體裝置及/或揮發性記憶體裝置之任何組合。
非揮發性記憶體裝置之一實例包含一反及(NAND)型快閃記憶體或一反或(NOR)型快閃記憶體。一記憶體積體電路可包含一或多個記憶體胞陣列，諸如單位階胞(SLC)、多位階胞(MLC)、三位階胞(TLC)、四位階胞(QLC)等。在一些實施方案中，一特定記憶體裝置可包含記憶體胞之一SLC部分及一MLC (或TLC或QLC)部分兩者。記憶體胞之各者可儲存由主機系統120使用之一或多個資料位元。儘管描述非揮發性記憶體裝置(諸如NAND型快閃記憶體)，然記憶體積體電路可基於任何其他類型之記憶體，諸如一揮發性記憶體。在一些實施方案中，記憶體(例如，221、...、223)可包含但不限於隨機存取記憶體(RAM)、唯讀記憶體(ROM)、動態隨機存取記憶體(DRAM)、靜態隨機存取記憶體(SRAM)、同步動態隨機存取記憶體(SDRAM)、相變記憶體(PCM)、磁隨機存取記憶體(MRAM)、反或(NOR)快閃記憶體、電可擦除可程式化唯讀記憶體(EEPROM)及/或一交叉點非揮發性記憶體胞陣列。一交叉點非揮發性記憶體陣列可基於一體電阻變化、結合一可堆疊交叉網格資料存取陣列執行位元儲存。另外，與許多基於快閃之記憶體相反，交叉點非揮發性記憶體可執行一就地寫入操作，其中可在先前未擦除一非揮發性記憶體胞之情況下程式化該非揮發性記憶體胞。此外，記憶體裝置之記憶體胞可被分組為可指代用於儲存資料之記憶體裝置之一單位的記憶體頁或資料區塊。
一記憶體子系統(例如，205)可具有一控制器(例如，227)，該控制器與記憶體(例如，221、...、223)通信以回應於來自處理裝置118之請求、命令或指令而執行諸如在記憶體(例如，221、...、223)中讀取資料、寫入資料或擦除資料之操作及其他此等操作。控制器(例如，227)可包含硬體，諸如一或多個積體電路及/或離散組件、一緩衝記憶體或其等之一組合。控制器(例如，227)可為一微控制器、專用邏輯電路(例如，一場可程式化閘陣列(FPGA)、一特定應用積體電路(ASIC)等)或另一適合處理器。控制器(例如，227)可包含經組態以執行儲存於本地記憶體中之指令之一或多個處理器(處理裝置)。
控制器(例如，227)之本地記憶體可包含一嵌入式記憶體，該嵌入式記憶體經組態以儲存用於執行控制記憶體子系統(例如，205)之操作(包含處置記憶體子系統(例如，205)與處理裝置118之間之通信及下文更詳細描述之其他功能)之各種程序、操作、邏輯流程及常式的指令。控制器(例如，227)之本地記憶體可包含用於儲存微程式碼之唯讀記憶體(ROM)及/或儲存例如記憶體指針、經提取資料等之記憶體暫存器。
雖然圖2中之例示性記憶體子系統205已被繪示為包含控制器227，但在本發明之另一實施例中，一記憶體子系統(例如，205)可不包含一控制器(例如，227)，且可代替性地依賴於外部控制(例如，其由與記憶體子系統(例如，205)分離之一處理器或控制器提供)。
一般而言，控制器(例如，227)可根據用於通信通道(例如，203)之一標準通信協定自處理裝置118接收命令、請求或指令，且可遵循該標準協定將命令、請求或指令轉換成記憶體子系統(例如，205)內之詳細指令或適當命令，以達成對記憶體(例如，221、...、223)之所要存取。例如，控制器(例如，227)可負責與記憶體(例如，221、...、223)相關聯之操作，諸如損耗均衡操作、廢棄項目收集操作、錯誤偵測及錯誤校正碼(ECC)操作、加密操作、快取操作及一邏輯區塊位址與一實體區塊位址之間之位址轉譯。控制器(例如，227)可進一步包含用於經由實體主機介面與處理裝置118通信之主機介面電路。主機介面電路可將自處理裝置118接收之命令轉換成用於存取記憶體裝置(例如，221、...、223)之命令指令以及將與記憶體裝置(例如，221、...、223)相關聯之回應轉換成用於處理裝置118之資訊。
記憶體子系統(例如，205)亦可包含未繪示之額外電路或組件。在一些實施方案中，記憶體子系統(例如，205)可包含一快取區或緩衝器(例如，DRAM)及可自控制器(例如，227)接收一位址且解碼該位址以存取記憶體(例如，221、...、223)的位址電路(例如，一列解碼器及一行解碼器)。
在一項實例中，記憶體匯流排203具有用於對記憶體子系統(例如，205)提供電力及/或經由一預定協定與記憶體子系統(例如，205)通信之一或多個連接器；且記憶體子系統(例如，205)具有用於自處理裝置118接收電力、資料及命令之一或多個連接器。
一般而言，處理裝置118可執行一或多個作業系統以提供服務，包含其中使用同步記憶體存取經由電腦系統中之記憶體之一部分(例如，儲存於3DXP中之一頁)存取電腦系統中之記憶體之另一部分(例如，DRAM)的記憶體存取，如下文進一步論述。
圖3展示根據本發明之一些實施例之一記憶體模組401，其經組態用於藉由一主機系統(例如，主機系統120)對記憶體模組401之一非揮發性記憶體404 (例如，3DXP)進行同步記憶體匯流排存取。記憶體模組401係記憶體子系統110或記憶體模組205之一實例。在一項實例中，記憶體模組401係一混合DIMM。
記憶體模組401包含揮發性記憶體402 (例如，DRAM)、緩衝器410 (例如，SRAM)及用於存取非揮發性記憶體404之一媒體控制器414。記憶體模組401亦包含一緩衝控制器412，緩衝控制器412控制非揮發性記憶體404與緩衝器410之間及緩衝器410與揮發性記憶體402之間之資料移動(例如，回應於頁入或頁出請求)。緩衝器410係緩衝器121之一實例。
記憶體模組401使用多工器408來提供藉由記憶體控制器416及記憶體控制器418兩者對揮發性記憶體402之存取。在一項實施例中，多工器408受緩衝控制器412控制(例如，基於自記憶體控制器416接收之信號，如經由主機介面406自主機系統120接收之讀取或寫入命令)。
記憶體控制器416耦合至主機介面406以處置藉由一主機系統之讀取/寫入存取。記憶體控制器418耦合至緩衝控制器412以在將資料移動至緩衝器410或自緩衝器410移動資料時處置藉由緩衝控制器412之讀取/寫入存取。
在一項實施例中，緩衝控制器412維持一映射表403。在一項實例中，映射表403包含映射至緩衝器410之頁之一清單。在一項實例中，緩衝控制器412使用映射表403來判定是否使用揮發性記憶體402或緩衝器410服務來自主機系統之一讀取或寫入命令。
在一項實例中，揮發性記憶體402係DRAM，其可由主機系統經由主機介面406 (例如，一DDR4插槽)存取，且亦由記憶體模組401 (例如，一DIMM)內之緩衝控制器412存取。因為DDR4 DRAM可從兩側操作，所以來自DDR4插槽及緩衝控制器412兩者之時脈係同步的。
在操作中，主機系統透過DDR4插槽讀取/寫入DDR4資料。透過DDR4插槽間接地存取非揮發性記憶體404 (例如，3DXP記憶體)中之內容。例如，為操作3DXP中之一頁，使用一頁入/頁出控制路徑(例如，經由記憶體匯流排203實施為一控制通道)來請求記憶體模組401將一3DXP頁換入至DDR4 DRAM中(或將一既有頁換出DDR4 DRAM)。
在一項實例中，回應於一頁入請求，緩衝控制器412自3DXP記憶體讀取頁且將頁移動至緩衝器410 (例如，SRAM)中。SRAM足夠快以匹配主機介面406處之DDR4操作循環。可藉由緩衝控制器412使用以存取記憶體控制器416 (例如，一DDR4從屬機)之時序循環與記憶體匯流排上之DDR4通道之時序循環匹配，此係因為此時序受主機系統控制。
當主機系統使用DDR4通道時，緩衝控制器412不存取DDR4 DRAM。主機系統容許DDR4 DRAM在特定再新循環(例如，tRFC)中執行其自身之任務。在此等循環中，緩衝控制器412可在DDR4 DRAM與緩衝器410之間傳送資料。主機系統與記憶體模組401之間之協調使得主機系統發出足夠再新循環，使得緩衝控制器412可使用此等循環來在DDR4 DRAM與緩衝器410之間移動資料以換入/換出3DXP頁。為換出一頁，緩衝控制器412在經保留再新循環期間自DDR4 DRAM讀取該頁之資料，將其等緩沖於緩衝器410中，且隨後接著將頁保存至3DXP記憶體。
在一項實例中，一主機系統存取記憶體模組401 (例如，一DIMM)上之一記憶體空間(例如，DRAM記憶體位址空間)。DIMM將其自身暴露至主機作為DRAM之一通道。例如，從主機軟體視角來看，16 GB之DRAM可像正常DRAM一樣操作，直至實施同步組件113之一驅動程式被載入於主機中。驅動程式被載入於主機之超管理器中。例如，驅動程式係自主機之一硬碟機載入。
在一項實例中，驅動程式使用一控制路徑來請求3DXP資料區塊(例如4K位元組區塊或更大)以移入及移出DIMM上之各種DRAM位址。驅動程式及超管理器具有DRAM位址與3DXP資料之間之一映射(例如，參見下文論述之圖4之映射表246)。
在一項實施例中，驅動程式及超管理器控制DIMM上之資料移動。例如，請求將3DXP區塊移入及移出DRAM位址空間且將DRAM頁暴露至運行於主機上之軟體。軟體例如在一虛擬機(VM)中執行。一旦映射已藉由驅動程式進行，主機便可類似於習知DRAM記憶體般存取DRAM中之該等頁。因此，可使用主機系統之CPU執行讀取及寫入操作使得可存取所映射之一頁內之任何資料。
在一項實例中，提供一頁入/頁出控制路徑以供驅動程式請求當前在DRAM中、待寫回至3DXP記憶體之一頁，或請求當前在3DXP記憶體中之未在待頁入DRAM中之一頁。在一項實例中，3DXP記憶體具有遠大於DRAM之一容量(例如，DIMM上之128 GB之3DXP記憶體)。因此，主機系統處之軟體在任一時間最多可存取該容量之16 GB。主機系統處之驅動程式控制在任一時間暴露總容量之哪一16 GB部分。通常，此可使用4K位元組粒度(例如，使用4K位元組頁)來實施。
在一項實例中，記憶體模組401實施為一DIMM。非揮發性記憶體404 (儲存媒體)係由交叉點記憶體封裝提供。緩衝控制器412經由媒體控制器414與交叉點記憶體封裝通信(且亦可包含對來自交叉點記憶體之讀取及寫入的ECC管理)。例如，最初自交叉點記憶體獲得之資料頁被複製入及複製出緩衝器410 (頁入/頁出)。在一項實例中，一DDR從屬機附接至主機DDR匯流排(例如，一DDR4插槽)，且主機存取請求透過一DDR控制器到來。揮發性記憶體402係DRAM，且主機讀取/寫入請求經由記憶體控制器416引導至DRAM。
在一項實例中，DDR從屬機循環經保留用於SRAM傳送。例如，在室溫下之一正常DRAM再新循環具有每7.8微秒之一頻率(例如，一再新tRFC之時序)。當實施同步組件113時，主機系統經組態以實施比實際上再新DRAM所需快之一再新頻率(例如，主機比一正常頻率更頻繁地控制再新循環)。在一項實例中，再新頻率增加四倍。針對此四個再新循環中之一個循環，在主機再新之控制下執行一同步，且此觸發記憶體模組401之內部DRAM上發生一再新。對於四個再新循環中之其他三個循環，此等再新循環係閒置循環，其中緩衝控制器412可在主機不知道或未由主機控制之情況下在緩衝器410與DRAM之間進行讀取及寫入。因此，交叉點記憶體之一較低速度頻寬及一較長延時時間與將該資料傳送至一DDR介面中且使資料可用於一標準DDR4主機(例如，主機系統120)之能力之間存在一匹配。
在一項實例中，主機系統可使用正常DDR4時序對任何DRAM位址進行讀取/寫入存取。例如，主機可在該等時間裝置為每個DDR4角色產生任意訊務。
在一項實施例中，關於藉由緩衝器410對DRAM進行之讀取/寫入存取，經保留再新循環提供可將3DXP資料推送至DRAM及自DRAM推送3DXP資料之時間視窗。緩衝控制器412可讀取及寫入3DXP記憶體且隨時將資料暫存(stage)於緩衝器410中(緩衝器410係用於自3DXP記憶體讀取及寫入至3DXP記憶體之一暫存緩衝器(staging buffer))。在經保留用於由緩衝控制器412使用之再新時段(例如，tRFC)期間，可將經暫存資料自緩衝器410推送至DRAM (在主機不知道之情況下)。在一項實例中，在一tRFC循環期間，將來自交叉點記憶體之一新頁讀取至一DRAM位址中。該頁現可用於主機以在下一主機讀取/寫入循環中讀取及寫入。
在一項實例中，緩衝器410用作一速度匹配緩衝器，使得主機可在常規主機循環(例如，tREFI)期間接收資料(其儲存於3DXP記憶體中)。此結果係藉由將資料自緩衝器410推送至內部DRAM而達成，如上文描述。
在一項實例中，記憶體控制器416之一DDR4從屬機與緩衝控制器412介接以實施緩衝器410 (例如，SRAM)之使用。DDR4從屬機可接收一命令位址及資料。例如，使用可在DDR 2667處運行之高效能IO (可包含ZQ校準)。在一項實施例中，緩衝控制器412執行窺探以理解來自主機DDR通道之資料訊務。
在一項實例中，DRAM主控實體介面(PHY)連接至記憶體模組401之DRAM。在緩衝控制器412之控制下，多工器408將訊務自主機引導至用於揮發性記憶體402之特定DRAM通道，或視需要在記憶體模組401內部引導訊務(在針對SRAM緩衝器讀取及寫入保留使得主機此時不將讀取/寫入命令發出至DRAM之tRFC期間)。在一項實例中，緩衝控制器412自SRAM緩衝器410讀取及寫入。緩衝控制器412偵測tRFC視窗何時可供記憶體模組401在內部使用。
在一項實例中，3DXP非揮發性記憶體404之全DDR位址空間暴露至主機系統。根據各項實施例，主機系統120之一控制器(例如，控制器116)可依與存取一習知DRAM相同之方式(例如，相同讀取/寫入及再新時序循環)操作。在主機系統處改變例如tREFI及tRFC計數器之設定使得可保留一些再新循環用於由緩衝控制器412使用。例如，通常在初始化主機控制器期間程式化此等改變。在一項實施例中，主機上之軟體不需要對此等設定之可見性(例如，軟體及主機能夠以一正常方式操作)。
在一項實施例中，在記憶體模組401中提供控制暫存器。控制暫存器可位於例如DDR位址空間之一經保留高部分中(此等控制暫存器供記憶體模組使用且具有記憶體模組之一預定義含義)。主機中之驅動程式能夠進行一頁入請求，且知道何時已自3DXP記憶體載入一特定頁。若驅動程式未載入頁，則操作作為一正常DRAM操作執行。
圖4展示根據本發明之至少一些實施例之使用同步記憶體匯流排存取來存取記憶體模組205之一主機作業系統241。記憶體模組205包含緩衝器410。緩衝器410係緩衝器121之一實例。經由主機介面406自一主機作業系統241接收命令及資料。在一項實例中，主機作業系統241在主機系統120上執行。
在一項實施例中，一裝置驅動程式247 (例如，一後端驅動程式)經組態以經由一超管理器245進行記憶體存取。例如，圖4之系統可在圖1或圖2之一電腦系統中實施。
在一項實例中，主機作業系統241在圖1或圖2之電腦系統之處理裝置118上運行。主機作業系統241包含使用記憶體子系統(諸如記憶體模組205)之記憶體(例如，221、...、223)提供記憶體服務之一或多個裝置驅動程式(例如，247)。
後端驅動程式247維持一映射表246。例如，驅動程式247維持映射表246以包含儲存於非揮發性記憶體404中之資料頁之一映射。
主機作業系統241包含佈建一虛擬機249之一超管理器245。虛擬機249具有經由主機作業系統241使用圖1或圖2之計算系統之硬體提供之資源及服務實施的虛擬硬體。例如，超管理器245可使用記憶體子系統(諸如記憶體模組205)之記憶體(例如，221、...、223)之一部分佈建虛擬記憶體作為虛擬機249之部分。
虛擬機249容許一客戶作業系統243以如同作業系統243在具有與虛擬機中所佈建相同或類似之硬體組的一實體計算機器上運行之一方式將資源及/或服務提供至運行於客戶作業系統243上之應用程式(例如，251、...、253)。超管理器245管理虛擬機中所佈建之虛擬硬體與由主機作業系統241管理之計算系統中之硬體服務之間的映射。
一裝置驅動程式248 (例如，一前端驅動程式)與後端驅動程式247通信。當額外DDR容量可用時，驅動程式247及驅動程式248可通信以進行記憶體動態轉移(memory ballooning)。
圖4繪示其中藉由超管理器245佈建一虛擬機249之一例項。一般而言，超管理器245可佈建可運行相同客戶作業系統243或不同客戶作業系統之數個虛擬機(例如，249)。可指派不同使用者及/或應用程式集以使用不同虛擬機。
在一些例項中，主機作業系統241專用於提供用於佈建虛擬機之服務且不運行其他應用程式。或者，主機作業系統241可提供額外服務以支援其他應用程式，諸如應用程式(例如，251、...、253)。
在一項實施例中，裝置驅動程式247可經組態以請求一頁自較慢記憶體(例如，3DXP)至較快記憶體(例如，DRAM)之頁入以供虛擬機249使用。在請求頁之後，藉由將資料頁自較慢記憶體載入及/或傳送至較快記憶體而使該頁在較快記憶體中可用。例如，較慢記憶體可為記憶體模組401中之非揮發性記憶體404且較快記憶體係相同記憶體模組401中之揮發性記憶體402。
在一項實施例中，在一相同記憶體子系統內(諸如在相同記憶體模組401內)執行資料傳送(例如，藉由主機作業系統241回應於一頁入請求而執行)，以避免或減少連接至處理裝置118之通信通道(諸如記憶體匯流排203)中之擁塞。例如，可在記憶體模組205中之控制器227之控制下回應於來自裝置驅動程式247之一或多個命令、請求及/或指令而將資料自記憶體模組205中之較慢記憶體223 (例如，3DXP)複製至記憶體模組205中之較快記憶體221 (例如，DRAM)。
在一項實施例中，超管理器245不僅請求裝置驅動程式247存取一記憶體子系統(例如，記憶體模組205)中之一記憶體(例如，221、...、223)，而且對裝置驅動程式247提供可用於管理待使用之記憶體(例如，221、...、223)中之頁的資訊。
在一項實例中，驅動程式247係用於存取記憶體模組205 (例如，一DIMM)中之一記憶體位址空間之一記憶體模式驅動程式。驅動程式247可在任一時間控制哪些頁在DIMM之揮發性記憶體中。在一個方法中，例如，記憶體位址空間暴露至客戶作業系統243。在此超管理器環境中，客戶作業系統243看見DIMM中之非揮發性記憶體(例如，3DXP)之全儲存容量。
在一項實例中，僅經由主機作業系統241主動頁入DDR DRAM中之若干頁。若存在對不存在一頁的一客戶存取，則主機系統之一記憶體管理單元(MMU)中之一頁錯誤路徑觸發驅動程式247引起一頁之載入(頁入)。在一項實例中，頁透過控制暫存器載入。一旦頁實際上存在於DDR DRAM中，則驅動程式247可設置MMU映射(經由映射表246)使得一客戶應用程式可直接讀取及寫入該資料。
在一項實例中，一客戶之一前端驅動程式及一主機之一後端驅動程式傳達關於對記憶體位址空間之存取。在一項實例中，當決定頁陳舊(例如，未基於一預定臨限值頻繁使用)時，請求將當前映射於DDR記憶體位址空間中之資料之一部分推回至3DXP記憶體(例如，經由SRAM緩衝器)以使DDR記憶體中之空間可用於頁入其他頁。後端驅動程式247傳達頁出請求以將資料自DDR DRAM移動至3DXP記憶體。
在一項實施例中，後端驅動程式247操作為一記憶體模式驅動程式。在驅動程式247載入之前，不可存取記憶體模組205之3DXP記憶容量。在作為一記憶體模式驅動程式之此操作期間，客戶作業系統243將記憶體視為正常，且驅動程式247將保留記憶體模組上之DRAM頁用於頁入及頁出操作。
驅動程式247將3DXP記憶體暴露至客戶作業系統243且維持頁映射(例如，在映射表246中)。例如，驅動程式247維持當前在DRAM中之頁與保持於3DXP記憶體上之頁之間的映射。
在一項實例中，驅動程式247在主機系統處設置記憶體管理單元映射表以映射當前儲存於DRAM中之任何頁。若一經映射頁外部存在一存取以觸發一頁入請求，則可使用來自客戶之一頁錯誤路徑。可執行一頁出請求以維持DRAM中之一些記憶體空間。
在一項實施例中，操作不限於記憶體模式。驅動程式247亦可操作為一區塊模式驅動程式，其中3DXP記憶體作為區塊模式儲存器暴露。
在一項實例中，主機系統之一BIOS經組態以支援用於保留循環之tRFC及tREFI時序之設定，如上述。記憶體模組205自身通常由電力開啟或自再新初始化。在一項實例中，若進行基於驅動程式之歸零，則首先分配某些頁。在另一實例中，首先讀取之頁被歸零。在一項實例中，在首次請求一頁時，將其視為一歸零頁。
在一項實施例中，驅動程式247產生執行一頁入之一請求。在此實施例中，可存在兩種操作模式。在一第一模式中，若頁入請求在一短時段內發生，則驅動程式247可等待(例如，一短時段可小於500奈秒)。在操作完成之後，可立即將控制返回至客戶。在一項實例中，在處於該時段中時，驅動程式可將控制給予CPU且在一執行緒上該控制。
在一項實施例中，驅動程式維持一或多個映射表(例如，映射表246)。在一頁入請求上，存在列出全部經映射頁之一組頁表條目。在記憶體模組處，DDR從屬機上存在讀入頁入請求中之一選項，其中最初將資料自3DXP記憶體傳送至SRAM緩衝器。在典型操作中，緩衝控制器412等待適當視窗以將資料寫入至DRAM記憶體。
在一項實施例中，記憶體模組205維持其自身之映射表(例如，映射表403)，包含在SRAM緩衝器410中之頁的一清單。因此，緩衝控制器412可針對在記憶體模組205接收到請求之前已完成傳送至SRAM緩衝器410中之頁直接由SRAM緩衝器410服務對特定頁之讀取請求。此容許縮短完成頁入請求所花費之時間量。一旦頁位於SRAM緩衝器410中(且緩衝控制器412可在內部服務來自SRAM緩衝器410之請求)，記憶體模組205便可將一頁入完成信號傳回至主機系統。此允許減少主機系統存取該(若干)特定3DXP頁之延時。驅動程式247確保在設置其映射之前，主機將不會存取該(若干)頁直至頁入請求完成。
在一項實施例中，驅動程式247實施一頁出操作。在一項實例中，此操作作為一執行緒被觸發。此操作將自由頁自DRAM記憶體換回且改變有效頁之驅動程式級映射。進行對主機系統120處之CPU快取區之刷新以確保將任何寫入操作推送至DDR通道中。接著，可將頁出請求發送至記憶體模組205。
在一項實施例中，回應於一頁出請求，若經請求頁在緩衝器410中，則可排程該請求以將該頁之資料立即移動至非揮發性記憶體404。若經請求頁在揮發性記憶體402中，則在下一可用再新視窗中排程該請求。在緩衝器410中為經請求頁分配空間。在下一可用再新視窗期間將頁自揮發性記憶體402複製至緩衝器410。接著，可在任一後續時間將一寫入自緩衝器410排程至非揮發性記憶體404。當一頁出操作正在進行時，主機系統不存取經請求頁。
圖5展示根據本發明之一些實施例之用於對儲存媒體進行同步記憶體匯流排存取之一方法。圖5之方法可由處理邏輯執行，該處理邏輯可包含硬體(例如，處理裝置、電路、專用邏輯、可程式化邏輯、微程式碼、一裝置之硬體、積體電路等)、軟體(例如，運行或執行於一處理裝置上之指令)或其等之一組合。在一些實施例中，圖5之方法至少部分由圖1或圖2之同步組件113執行。儘管以一特定序列或順序展示，然除非另有指定，否則可修改程序之順序。因此，所繪示實施例應僅被理解為實例，且所繪示程序可依一不同順序執行，且一些程序可並行執行。另外，在各項實施例中，可省略一或多個程序。因此，並非每項實施例皆需要全部程序。其他程序流程係可能的。
例如，可在圖1或圖2之一計算系統中利用主機系統120及記憶體子系統110或記憶體模組205來實施圖5之方法。在一項實例中，同步組件113可至少部分經由圖3之記憶體模組401及圖3之主機作業系統241實施。
在圖5中之方塊301處，提供具有第一記憶體(例如，揮發性記憶體402)及第二記憶體(例如，非揮發性記憶體404)之一計算系統。第一記憶體可用於一主機系統(例如，主機系統120)以在一第一組時間視窗中一或多個視窗期間經由一記憶體匯流排(例如，記憶體匯流排203)進行讀取及寫入存取。在一項實例中，第一組時間視窗包含常規主機循環，其中主機系統120自記憶體模組401接收DRAM資料。在一項實例中，應注意，tREFI係再新之間之時間。一再新循環(tRFC)係tREFI之一部分。因此，在此實例中，其中主機可將讀取/寫入命令發出至DRAM之一常規主機循環係tREFI-tRFC長。
在方塊303，自主機系統之一驅動程式接收關於儲存於第二記憶體中之一資料頁之一請求。例如，該請求係自主機系統120之驅動程式247接收之一頁入請求。例如，資料頁儲存於非揮發性記憶體404 (例如，交叉點記憶體)中。
在方塊305，回應於請求而將經請求頁自第二記憶體傳送至一緩衝器。例如，緩衝器係緩衝器121或緩衝器410，且頁係自非揮發性記憶體404傳送。
在方塊307，將頁自緩衝器寫入至第一記憶體。在對應於記憶體匯流排之一再新時序之一第二組時間視窗之一或多者期間，將頁寫入至第一記憶體。在主機系統處控制再新時序。例如，在主機系統120處組態一DDR通道上之再新循環，使得可保留一些再新循環用於至及自緩衝器410之傳送。在一項實例中，對於各自總共四個再新循環，一個再新循環用於實際上再新DRAM記憶體，且其他三個循環經保留用於至及自緩衝器410之傳送。例如，主機系統120可經組態使得緩衝控制器412可在未用於再新揮發性記憶體402中之DDR4 DRAM的特定經保留再新循環(例如，tRFC)中執行DDR4 DRAM上之一或多個任務。在此等循環中，緩衝控制器412可在DDR4 DRAM與緩衝器410之間傳送資料。
在一項實施例中，藉由一記憶體模組(例如，記憶體模組401)經由一記憶體匯流排自一主機系統(例如，主機系統120)接收儲存於對一頁中之資料的一讀取命令。回應於接收到該讀取命令，經由記憶體匯流排將經請求資料發送至主機系統。
在一項實施例中，一記憶體模組維持一映射表(例如，映射表403)，包含映射至一緩衝器(例如，緩衝器410)之頁的一清單。該清單包含具有已在來自一主機系統之一讀取命令中請求之資料的一頁。回應於接收到讀取命令，記憶體模組之一緩衝控制器(例如，緩衝控制器412)基於映射表判定是自緩衝器還是自記憶體模組之揮發性記憶體(例如，揮發性記憶體402之DDR4 DRAM)發送經請求資料。
在另一實施例中，一計算系統具有一第一記憶體221及第二記憶體223。回應於一頁入請求，將第二記憶體223中之一頁中之資料複製/載入至第一記憶體221。
例如，裝置驅動程式247可將指令、請求及/或命令提供至記憶體模組401，以引起緩衝控制器412在第一記憶體221與第二記憶體223之間移動資料。
例如，第一記憶體221及第二記憶體223可在一相同記憶體模組205中，記憶體模組205經由一記憶體匯流排203連接至計算系統之一處理裝置118。
例如，記憶體模組205具有過量記憶容量，使得第二記憶體223無法由處理裝置118直接在記憶體匯流排203上定址。第一記憶體221係可在記憶體匯流排203上直接定址之記憶體模組205之記憶容量之一部分。
例如，第一記憶體221係揮發性動態隨機存取記憶體(DRAM)且第二記憶體223係非揮發性交叉點記憶體(例如，3DXP)。第二記憶體223為作為記憶體匯流排203上之電腦系統之主記憶體之部分的第一記憶體221提供一儲存功能。第二記憶體223虛擬地擴展記憶體模組205中之第一記憶體221 (例如，DRAM)之容量，且容許甚至在未被供電之情況下仍儲存記憶體模組205中之資料。
在一些實施方案中，處理裝置118與一記憶體子系統之間之一通信通道包含一電腦網路，諸如一區域網路、一無線區域網路、一無線個人區域網路、一蜂巢式通信網路、一寬頻高速始終連接之無線通信連接(例如，一當前或下一代行動網路鏈路)；且處理裝置118及記憶體子系統可經組態以使用類似於NVMe協定中之資料儲存管理及使用命令的資料儲存管理及使用命令來彼此通信。
一記憶體子系統一般可具有非揮發性儲存媒體。非揮發性儲存媒體之實例包含形成於一積體電路中之記憶體胞及塗佈於硬磁碟上之磁性材料。非揮發性儲存媒體可在未消耗電力之情況下維持儲存於其中之資料/資訊。記憶體胞可使用各種記憶體/儲存技術實施，諸如NAND邏輯閘、NOR邏輯閘、相變記憶體(PCM)、磁性記憶體(MRAM)、電阻式隨機存取記憶體、交叉點儲存及記憶體裝置(例如，3DXP記憶體)。一交叉點記憶體裝置使用無電晶體之記憶體元件，該等記憶體元件之各者具有在一起堆疊為一行之一記憶體胞及一選擇器。記憶體元件行經由兩層垂直線敷設(lay of wires)連接，其中一層敷設在記憶體元件行上方且另一層敷設在記憶體元件行下方。可在兩個層之各者上之一條線的一交叉點處個別地選擇各記憶體元件。交叉點記憶體裝置係快速的且非揮發性的，且可用作用於處理及儲存之一統一記憶體集區。
一記憶體子系統(例如，205)之控制器(例如，227)可運行韌體以回應於來自處理裝置118之通信而執行操作。韌體一般為提供對工程計算裝置之控制、監控及資料操縱的一類型之電腦程式。
涉及控制器之操作之一些實施例可使用由控制器執行之電腦指令(諸如控制器之韌體)來實施。在一些例項中，硬體電路可用於實施至少一些功能。韌體最初可儲存於非揮發性儲存媒體或另一非揮發性裝置中，且載入至揮發性DRAM及/或處理器內快取記憶體中以由控制器執行。
一非暫時性電腦儲存媒體可用於儲存一記憶體子系統(例如，205)之韌體之指令及/或一般而言作業系統(例如，241、243)以及特定言之裝置驅動程式247及超管理器245之指令。在一項實例中，當藉由處理裝置118執行指令時，指令引起處理裝置118執行上文論述之一方法。
圖6係其中可操作本發明之實施例之一例示性電腦系統600之一方塊圖。圖6繪示一電腦系統600之一例示性機器，可在電腦系統600內執行用於引起該機器執行本文中論述之方法論之任一或多者的一指令集。在一些實施例中，電腦系統600可對應於包含、耦合至或利用一記憶體子系統(例如，圖1之記憶體子系統110)之一主機系統(例如，圖1之主機系統120)，或其可用於執行一同步組件113之操作(例如，以執行指令而執行對應於關於圖1至圖5描述之同步組件113之操作)。在替代實施例中，機器可連接(例如，連網)至一LAN、一內部網路、一外部網路及/或網際網路中之其他機器。機器可在用戶端-伺服器網路環境中以一伺服器或一用戶端機器之身份操作，在一同級間(或分佈式)網路環境中作為一同級機器，或在一雲端計算基礎設施或環境中作為一伺服器或一用戶端機器。
機器可為一個人電腦(PC)、一平板PC、一機上盒(STB)、一個人數位助理(PDA)、一蜂巢式電話、一網路設備、一伺服器、一網路路由器、一交換機或橋接器，或能夠執行指定待由該機器採取之動作之一指令集(循序地或以其他方式)的任何機器。此外，雖然繪示一單一機器，但術語「機器」亦應被視為包含個別地或聯合地執行一(或多個)指令集以執行本文中論述之方法論之任一或多者的任何機器集合。
例示性電腦系統600包含經由一匯流排630 (其可包含多個匯流排)彼此通信之一處理裝置602、一主記憶體604 (例如，唯讀記憶體(ROM)、快閃記憶體、動態隨機存取記憶體(DRAM) (諸如同步DRAM (SDRAM)或Rambus DRAM (RDRAM))、靜態隨機存取記憶體(SRAM)等)及一資料儲存系統618。
處理裝置602表示一或多個通用處理裝置，諸如一微處理器、一中央處理單元或類似者。更特定言之，處理裝置可為一複雜指令集計算(CISC)微處理器、精簡指令集計算(RISC)微處理器、極長指令字(VLIW)微處理器、或實施其他指令集之一處理器、或實施一指令集組合之處理器。處理裝置602亦可為一或多個專用處理裝置，諸如一特定應用積體電路(ASIC)、一場可程式化閘陣列(FPGA)、一數位信號處理器(DSP)、網路處理器或類似者。處理裝置602經組態以執行用於執行本文中論述之操作及步驟之指令626。電腦系統600可進一步包含一網路介面裝置608以經由網路620通信。
資料儲存系統618可包含一機器可讀儲存媒體624 (亦被稱為一電腦可讀媒體)，一或多個指令626集或體現本文中描述之方法論或功能之任一或多者的軟體儲存於機器可讀儲存媒體624上。指令626亦可在其藉由電腦系統600執行期間完全或至少部分駐留在主記憶體604及/或處理裝置602內，主記憶體604及處理裝置602亦構成機器可讀儲存媒體。機器可讀儲存媒體624、資料儲存系統618及/或主記憶體604可對應於圖1之記憶體子系統110。
在一項實施例中，指令626包含用於實施對應於一同步組件113 (例如，關於圖1至圖5描述之同步組件113)之功能性的指令。雖然機器可讀儲存媒體624在一實例實施例中被展示為一單一媒體，但術語「機器可讀儲存媒體」應被視為包含儲存一或多個指令集之一單一媒體或多個媒體。術語「機器可讀儲存媒體」亦應被視為包含能夠儲存或編碼一指令集以由機器執行且引起機器執行本發明之方法論之任一或多者的任何媒體。因此，術語「機器可讀儲存媒體」應被視為包含但不限於固態記憶體、光學媒體及磁性媒體。
已依據對一電腦記憶體內之資料位元之操作的演算法及符號表示呈現前文[實施方式]之一些部分。此等演算法描述及表示係由熟習資料處理技術者使用以最有效地將其等工作實質傳達給其他熟習此項技術者之方式。在此且一般而言，一演算法被認為是導致一所要結果之一自我一致操作序列。操作係需要實體操縱實體量之操作。通常但非必要，此等量採取能夠被儲存、組合、比較及以其他方式操縱之電信號或磁信號之形式。主要出於常用之原因，已證實將此等信號稱為位元、值、元件、符號、字元、項、數字或類似者有時是方便的。
然而，應記住，全部此等及類似術語應與適當實體量相關聯且僅為應用於此等量之方便標籤。本發明可涉及一電腦系統或類似電子計算裝置將表示為電腦系統之暫存器及記憶體內之實體(電子)量的資料操縱及變換成類似地表示為電腦系統記憶體或暫存器或其他此等資訊儲存系統內之實體量的其他資料之動作及程序。
本發明亦係關於一種用於執行本文中之操作之設備。此設備可專門建構用於所欲目的，或其可包含藉由儲存於電腦中之一電腦程式選擇性地啟動或重新組態之一通用電腦。此一電腦程式可儲存於一電腦可讀儲存媒體中，諸如但不限於任何類型之磁碟，包含軟碟、光碟、CD-ROM及磁光碟、唯讀記憶體(ROM)、隨機存取記憶體(RAM)、EPROM、EEPROM、磁卡或光卡、或適於儲存電子指令之任何類型之媒體，其等各自耦合至一電腦系統匯流排。
本文中呈現之演算法及顯示器並非固有地與任何特定電腦或其他設備相關。各種通用系統可搭配根據本文中之教示之程式使用，或可證實建構一更專業設備以執行方法係方便的。多種此等系統之結構將如下文描述中所闡述般出現。另外，未參考任何特定程式設計語言描述本發明。將明白，可使用多種程式設計語言來實施如本文中描述之本發明之教示。
本發明可被提供為一電腦程式產品或軟體，其可包含其上儲存有指令之一機器可讀媒體，該等指令可用於程式化一電腦系統(或其他電子裝置)以執行根據本發明之一程序。一機器可讀媒體包含用於以一機器(例如，一電腦)可讀之一形式儲存資訊之任何機構。在一些實施例中，一機器可讀(例如，電腦可讀)媒體包含一機器(例如，一電腦)可讀儲存媒體，諸如一唯讀記憶體(「ROM」)、隨機存取記憶體(「RAM」)、磁碟儲存媒體、光學儲存媒體、快閃記憶體組件等。
在本描述中，各種功能及操作被描述為由電腦指令執行或引起以簡化描述。然而，熟習此項技術者將認知，此等表達意謂功能因藉由一或多個控制器或處理器(諸如一微處理器)執行電腦指令而產生。替代地或組合地，可使用具有或不具有軟體指令之專用電路(諸如使用特定應用積體電路(ASIC)或場可程式化閘陣列(FPGA))來實施功能及操作。可使用不具有軟體指令之硬接線電路或結合軟體指令來實施實施例。因此，技術既不限於硬體電路及軟體之任何特定組合亦不限於藉由資料處理系統執行之指令之任何特定來源。
在前述說明書中，已參考本發明之特定實例實施例描述本發明之實施例。將顯而易見的是，可在不脫離如下文發明申請專利範圍中所闡述之本發明之實施例之更廣泛精神及範疇之情況下對本發明之實施例進行各種修改。因此，本說明書及圖式應被視為闡釋性意義而非限制性意義。
100‧‧‧計算系統
109A至109N‧‧‧記憶體組件
110‧‧‧記憶體子系統
113‧‧‧同步組件
115‧‧‧控制器
116‧‧‧控制器
117‧‧‧處理裝置
118‧‧‧處理裝置
119‧‧‧本地記憶體
120‧‧‧主機系統
121‧‧‧緩衝器
203‧‧‧記憶體匯流排
205‧‧‧記憶體模組/記憶體子系統
221‧‧‧A型記憶體
223‧‧‧B型記憶體
227‧‧‧控制器
241‧‧‧主機作業系統
243‧‧‧客戶作業系統
245‧‧‧超管理器
246‧‧‧映射表
247‧‧‧裝置驅動程式/後端驅動程式
248‧‧‧裝置驅動程式
249‧‧‧虛擬機
251‧‧‧應用程式
253‧‧‧應用程式
301‧‧‧方塊
303‧‧‧方塊
305‧‧‧方塊
307‧‧‧方塊
401‧‧‧記憶體模組
402‧‧‧揮發性記憶體
403‧‧‧映射表
404‧‧‧非揮發性記憶體
406‧‧‧主機介面
408‧‧‧多工器
410‧‧‧緩衝器
412‧‧‧緩衝控制器
414‧‧‧媒體控制器
416‧‧‧記憶體控制器
418‧‧‧記憶體控制器
600‧‧‧電腦系統
602‧‧‧處理裝置
604‧‧‧主記憶體
608‧‧‧網路介面裝置
618‧‧‧資料儲存系統
620‧‧‧網路
624‧‧‧機器可讀儲存媒體
626‧‧‧指令
630‧‧‧匯流排
在隨附圖式之圖中藉由實例且非限制之方式繪示實施例，其中相似參考指示類似元件。
圖1繪示根據本發明之一些實施例之具有一記憶體子系統之一例示性計算系統。
圖2展示根據本發明之一些實施例之一計算系統，其具有不同類型之記憶體且運行用於對儲存媒體進行同步記憶體匯流排存取之指令。
圖3展示根據本發明之一些實施例之一記憶體模組，其經組態用於藉由一主機系統對記憶體模組之一非揮發性記憶體進行同步記憶體匯流排存取。
圖4展示根據本發明之至少一些實施例之使用同步記憶體匯流排存取來存取一記憶體模組之一主機作業系統。
圖5展示根據本發明之一些實施例之用於對儲存媒體進行同步記憶體匯流排存取之一方法。
圖6係其中可操作本發明之實施例之一例示性電腦系統之一方塊圖。

Claims (15)

  1. 一種計算系統，其包括： 複數個記憶體組件，其等具有第一記憶體及第二記憶體，其中該第一記憶體可用於一主機系統以在第一複數個視窗之一或多者期間經由一記憶體匯流排進行讀取及寫入存取； 一處理裝置，其與該複數個記憶體組件可操作地耦合以： 自該主機系統之一驅動程式接收關於儲存於該第二記憶體中之一資料頁之一請求； 回應於該請求而將該頁自該第二記憶體傳送至一緩衝器；及 將該頁自該緩衝器寫入至該第一記憶體，其中在對應於該記憶體匯流排之一再新時序之第二複數個視窗之至少一者期間將該頁寫入至該第一記憶體，且在該主機系統處控制該再新時序。
  2. 如請求項1之計算系統，其中在該第一複數個視窗之至少一者期間將該頁自該第二記憶體傳送至該緩衝器。
  3. 如請求項1之計算系統，其中在該第二複數個視窗之一部分期間再新該第一記憶體。
  4. 如請求項1之計算系統，其中該主機系統能夠在已將該頁傳送至該緩衝器之後經由該記憶體匯流排存取該資料頁。
  5. 如請求項1之計算系統，其中該頁係一第一頁，關於該資料頁之該請求係頁入該第一頁之一請求，且該處理裝置進一步用於： 自該驅動程式接收頁出儲存於該第一記憶體中之一第二頁之一請求； 回應於該請求而在該第二複數個視窗之至少一者期間將該第二頁自該第一記憶體寫入至該緩衝器；及 將該第二頁自該緩衝器傳送至該第二記憶體。
  6. 如請求項1之計算系統，其中該處理裝置進一步用於維持一映射表，該映射表包含映射至該緩衝器之頁之一清單，其中該清單包含自該第二記憶體傳送至該緩衝器之該頁。
  7. 如請求項1之計算系統，其中該驅動程式經組態以維持至少一個映射表，且該至少一個映射表包含儲存於該第二記憶體中之該資料頁之一映射。
  8. 如請求項1之計算系統，其中該第二記憶體之一儲存容量大於該第一記憶體之一儲存容量，且該驅動程式將該第二記憶體之該儲存容量暴露至與該主機系統通信之一客戶作業系統。
  9. 如請求項8之計算系統，其中該驅動程式回應於藉由該驅動程式自該客戶作業系統接收之一存取請求而提供關於儲存於該第二記憶體中之該資料頁之該請求。
  10. 如請求項1之計算系統，其中該第一記憶體及該第二記憶體在經由該記憶體匯流排耦合至該主機系統之一相同記憶體模組中。
  11. 如請求項10之計算系統，其中該第一記憶體可藉由該主機系統在該記憶體匯流排上直接定址，且該第二記憶體無法在該記憶體匯流排上直接定址。
  12. 一種方法，其包括： 經由一記憶體匯流排自一主機系統接收關於儲存於一第一記憶體中之一資料頁之一請求，其中一第二記憶體可用於該主機系統以在第一複數個視窗之一或多者期間經由該記憶體匯流排進行讀取及寫入存取； 回應於該請求而將該頁自該第一記憶體傳送至一緩衝器；及 將該頁自該緩衝器寫入至一第二記憶體，其中在對應於該記憶體匯流排之一再新時序之第二複數個視窗之至少一者期間將該頁寫入至該第二記憶體，且在該主機系統處控制該再新時序。
  13. 如請求項12之方法，其中在該第一複數個視窗之至少一者期間將該頁自該第一記憶體傳送至該緩衝器。
  14. 如請求項12之方法，其進一步包括： 經由該記憶體匯流排自該主機系統接收儲存於該頁中之第一資料之一讀取命令；及 回應於接收到該讀取命令而經由該記憶體匯流排將該第一資料發送至該主機系統。
  15. 如請求項14之方法，其進一步包括： 維持一映射表，該映射表包含映射至該緩衝器之頁之一清單，其中該清單包含自該第一記憶體傳送至該緩衝器之該頁；及 回應於接收到該讀取命令而基於該映射表判定是自該緩衝器還是自該第二記憶體發送該第一資料。
TW108103272A 2018-02-05 2019-01-29 對儲存媒體的同步記憶體匯流排存取 TWI711931B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862626577P 2018-02-05 2018-02-05
US62/626,577 2018-02-05
US16/157,900 2018-10-11
US16/157,900 US11030132B2 (en) 2018-02-05 2018-10-11 Synchronous memory bus access to storage media

Publications (2)

Publication Number Publication Date
TW201941068A true TW201941068A (zh) 2019-10-16
TWI711931B TWI711931B (zh) 2020-12-01

Family

ID=67475130

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108103272A TWI711931B (zh) 2018-02-05 2019-01-29 對儲存媒體的同步記憶體匯流排存取

Country Status (6)

Country Link
US (2) US11030132B2 (zh)
EP (1) EP3750071A4 (zh)
KR (1) KR102408149B1 (zh)
CN (1) CN111684432B (zh)
TW (1) TWI711931B (zh)
WO (1) WO2019152244A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI756810B (zh) * 2020-09-02 2022-03-01 瑞昱半導體股份有限公司 晶片與相關的晶片系統

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11030132B2 (en) 2018-02-05 2021-06-08 Micron Technology, Inc. Synchronous memory bus access to storage media
KR102583266B1 (ko) * 2018-10-24 2023-09-27 삼성전자주식회사 스토리지 모듈, 스토리지 모듈의 동작 방법, 및 스토리지 모듈을 제어하는 호스트의 동작 방법
US11526302B2 (en) * 2019-06-20 2022-12-13 AI Plus, Inc. Memory module and computing device containing the memory module
US11016903B2 (en) 2019-08-22 2021-05-25 Micron Technology, Inc. Hierarchical memory systems
US11144450B2 (en) * 2019-12-19 2021-10-12 Micron Technology, Inc. Maintaining sequentiality for media management of a memory sub-system
US20210216452A1 (en) * 2021-03-27 2021-07-15 Intel Corporation Two-level main memory hierarchy management

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0916470A (ja) * 1995-07-03 1997-01-17 Mitsubishi Electric Corp 半導体記憶装置
US6330625B1 (en) * 1999-01-15 2001-12-11 Oracle Corporation System for initiating multiple read operation requests to multiple copies of a data item and identifying a first one of the requests as having the fastest response time
JP2001195261A (ja) * 2000-01-13 2001-07-19 Nec Corp 外部メモリから内蔵メモリへのプログラム転送方法およびその転送方法を用いたマイクロコンピュータ
US6578109B1 (en) * 2000-06-29 2003-06-10 Sony Corporation System and method for effectively implementing isochronous processor cache
JP4049297B2 (ja) * 2001-06-11 2008-02-20 株式会社ルネサステクノロジ 半導体記憶装置
TWI334547B (en) * 2007-06-07 2010-12-11 Via Tech Inc System and method for serial peripheral interface data transmission
US20090113085A1 (en) * 2007-10-25 2009-04-30 Banyai Chris J Flushing write buffers
US8725927B2 (en) * 2008-10-15 2014-05-13 Micron Technology, Inc. Hot memory block table in a solid state storage device
US7962686B1 (en) * 2009-02-02 2011-06-14 Netapp, Inc. Efficient preservation of the ordering of write data within a subsystem that does not otherwise guarantee preservation of such ordering
US8607089B2 (en) 2011-05-19 2013-12-10 Intel Corporation Interface for storage device access over memory bus
US10198350B2 (en) * 2011-07-28 2019-02-05 Netlist, Inc. Memory module having volatile and non-volatile memory subsystems and method of operation
US9280497B2 (en) * 2012-12-21 2016-03-08 Dell Products Lp Systems and methods for support of non-volatile memory on a DDR memory channel
US8595427B1 (en) 2013-03-08 2013-11-26 Avalanche Technology, Inc. Non-volatile block storage module using magnetic random access memory (MRAM)
US9355041B2 (en) * 2013-03-14 2016-05-31 Nvidia Corporation Frame buffer access tracking via a sliding window in a unified virtual memory system
US9229885B2 (en) * 2014-05-21 2016-01-05 Freescale Semiconductor, Inc. Adaptive scheduling queue control for memory controllers based upon page hit distance determinations
KR102372888B1 (ko) * 2015-06-15 2022-03-10 삼성전자주식회사 저장 장치의 온도별 데이터 관리 방법
US20180293189A1 (en) * 2015-10-13 2018-10-11 Hewlett Packard Enterprise Development Lp Memory manager for autonomous memory device
US9460791B1 (en) 2015-12-08 2016-10-04 Inphi Corporation Data clock synchronization in hybrid memory modules
US10394487B2 (en) * 2016-07-21 2019-08-27 SK Hynix Inc. Memory system and operating method thereof
US11030132B2 (en) 2018-02-05 2021-06-08 Micron Technology, Inc. Synchronous memory bus access to storage media

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI756810B (zh) * 2020-09-02 2022-03-01 瑞昱半導體股份有限公司 晶片與相關的晶片系統

Also Published As

Publication number Publication date
CN111684432B (zh) 2023-10-20
US20190243788A1 (en) 2019-08-08
US20210271617A1 (en) 2021-09-02
TWI711931B (zh) 2020-12-01
US11544207B2 (en) 2023-01-03
US11030132B2 (en) 2021-06-08
EP3750071A4 (en) 2021-05-26
WO2019152244A1 (en) 2019-08-08
CN111684432A (zh) 2020-09-18
KR20200108366A (ko) 2020-09-17
EP3750071A1 (en) 2020-12-16
KR102408149B1 (ko) 2022-06-14

Similar Documents

Publication Publication Date Title
TWI711931B (zh) 對儲存媒體的同步記憶體匯流排存取
TWI752620B (zh) 與記憶體類型相關的頁表
TWI752619B (zh) 存取儲存的元資料以識別儲存資料的記憶體裝置
TW201935250A (zh) 用以存取異質記憶體組件的記憶體虛擬化
US10169242B2 (en) Heterogeneous package in DIMM
US9990283B2 (en) Memory system
US10191664B2 (en) Memory system
US20170109062A1 (en) Memory system
US10466909B2 (en) Memory system
US10445003B2 (en) Memory system for dualizing first memory based on operation mode
US20170109066A1 (en) Memory system
US20170109043A1 (en) Memory system
US20170109074A1 (en) Memory system
JP2023503026A (ja) ロードコマンドの存続時間
US20170109086A1 (en) Memory system
US20170109071A1 (en) Memory system
US20170109067A1 (en) Memory system
US20170109072A1 (en) Memory system
US20170109061A1 (en) Memory system
US9977605B2 (en) Memory system
US20170109069A1 (en) Memory system
US20170109068A1 (en) Memory system