TWI704457B - 用以存取異質記憶體組件的記憶體虛擬化 - Google Patents

用以存取異質記憶體組件的記憶體虛擬化 Download PDF

Info

Publication number
TWI704457B
TWI704457B TW108103542A TW108103542A TWI704457B TW I704457 B TWI704457 B TW I704457B TW 108103542 A TW108103542 A TW 108103542A TW 108103542 A TW108103542 A TW 108103542A TW I704457 B TWI704457 B TW I704457B
Authority
TW
Taiwan
Prior art keywords
memory
bus
address
data
processing device
Prior art date
Application number
TW108103542A
Other languages
English (en)
Other versions
TW201935250A (zh
Inventor
阿尼班 瑞
布拉格 Ｒ 瑪哈挪娜
葛皮特 阿納德
Original Assignee
美商美光科技公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商美光科技公司 filed Critical 美商美光科技公司
Publication of TW201935250A publication Critical patent/TW201935250A/zh
Application granted granted Critical
Publication of TWI704457B publication Critical patent/TWI704457B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/06—Addressing a physical block of locations, e.g. base addressing, module addressing, memory dedication
    • G06F12/0638—Combination of memories, e.g. ROM and RAM such as to permit replacement or supplementing of words in one module by words in another module
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0862—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with prefetch
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G06F12/0868—Data transfer between cache memory and other subsystems, e.g. storage devices or host systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G06F12/0873—Mapping of cache memory to specific storage devices or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/10—Address translation
    • G06F12/1027—Address translation using associative or pseudo-associative address translation means, e.g. translation look-aside buffer [TLB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G06F16/972—Access to data in other repository systems, e.g. legacy data or dynamic Web page generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45583—Memory management, e.g. access or allocation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/60—Details of cache memory
    • G06F2212/6026—Prefetching based on access pattern detection, e.g. stride based prefetch

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Memory System (AREA)

Abstract

本發明係關於一種計算系統，其具有：至少一個匯流排；複數個不同記憶體組件；及一處理裝置，其透過該至少一個匯流排與該複數個記憶體組件可操作地耦合。該等不同記憶體組件包含具有不同記憶體存取速度之第一記憶體及第二記憶體。該計算系統進一步包含一記憶體虛擬器，該記憶體虛擬器可操作地：儲存由該處理裝置用於存取記憶體之第一位址與用於存取該第一記憶體及該第二記憶體之第二位址之間的一位址映射；監控該第一記憶體及第二記憶體之使用；基於該等使用調整該位址映射以改良該處理裝置在涉及該第一記憶體及該第二記憶體之記憶體存取時之速度；及根據對該位址映射之調整交換該第一記憶體及該第二記憶體中之資料內容。

Description

用以存取異質記憶體組件的記憶體虛擬化
本文中揭示之至少一些實施例一般而言係關於記憶體系統，且更特定言之(但非限制地)係關於用以存取異質記憶體組件的記憶體虛擬化。
一記憶體子系統可為一記憶體模組，諸如一雙列直插記憶體模組(DIMM)、一小型DIMM(SO-DIMM)或一非揮發性雙列直插記憶體模組(NVDIMM)。一記憶體子系統可為一儲存系統，諸如一固態硬碟(SSD)或一硬碟機(HDD)。一記憶體子系統可包含儲存資料之一或多個記憶體組件。記憶體組件可為例如非揮發性記憶體組件及揮發性記憶體組件。記憶體組件之實例包含記憶體積體電路。一些記憶體積體電路係揮發性的且需要電力來維持經儲存資料。一些記憶體積體電路係非揮發性的且甚至在未被供電時仍可保留經儲存資料。非揮發性記憶體之實例包含快閃記憶體、唯讀記憶體(ROM)、可程式化唯讀記憶體(PROM)、可擦除可程式化唯讀記憶體(EPROM)及電可擦除可程式化唯讀記憶體(EEPROM)記憶體等。揮發性記憶體之實例包含動態隨機存取記憶體(DRAM)及靜態隨機存取記憶體(SRAM)。一般而言，一主機系統可利用一記憶體子系統來 將資料儲存於記憶體組件處及自記憶體組件擷取資料。
例如，一電腦可包含一主機系統及附接至主機系統之一或多個記憶體子系統。主機系統可具有與一或多個記憶體子系統通信以儲存及/或擷取資料及指令之一中央處理單元(CPU)。用於一電腦之指令可包含作業系統、裝置驅動程式及應用程式。一作業系統管理電腦中之資源且為應用程式提供常見服務，諸如記憶體分配及資源之分時。一裝置驅動程式操作或控制電腦中之一特定類型之裝置；且作業系統使用裝置驅動程式來提供由該類型之裝置提供之資源及/或服務。一電腦系統之一中央處理單元(CPU)可運行一作業系統及裝置驅動程式以將服務及/或資源提供至應用程式。中央處理單元(CPU)可運行使用服務及/或資源之一應用程式。例如，實施一類型之電腦系統應用程式之一應用程式可指示中央處理單元(CPU)將資料儲存於一記憶體子系統之記憶體組件中及自記憶體組件擷取資料。
一電腦系統之一作業系統可容許一應用程式使用虛擬記憶體位址來將資料儲存於電腦系統之一或多個記憶體子系統之記憶體組件中或自電腦系統之一或多個記憶體子系統之記憶體組件擷取資料。作業系統將連接至電腦系統之中央處理單元(CPU)之一或多個記憶體子系統的虛擬位址映射至實體位址。作業系統使用記憶體子系統之實體位址實施虛擬位址處指定之記憶體存取。
一虛擬位址空間可被劃分為頁。可將一虛擬記憶體頁映射至記憶體子系統中之一實體記憶體頁。作業系統可使用一分頁技術以經由一記憶體模組中之一記憶體頁存取一儲存裝置中之一記憶體頁。在不同時間例項，一記憶體模組中之相同記憶體頁可用作存取儲存裝置中之不同記 憶體頁或電腦系統中之另一儲存裝置的代理。
一電腦系統可包含用於建立或佈建虛擬機之一超管理器(或虛擬機監控器)。一虛擬機係使用電腦系統中可用之資源及服務虛擬地實施之一計算裝置。超管理器將虛擬機呈現給一作業系統，宛如虛擬機之組件係專用實體組件一樣。一客戶作業系統在虛擬機中運行以依與運行於電腦系統中之主機作業系統類似之一方式管理虛擬機中可用之資源及服務。超管理器容許多個虛擬機共用電腦系統之資源且容許虛擬機在電腦上實質上彼此獨立地操作。
在一個態樣中，根據一些實施例，一種計算系統包含至少一個匯流排、複數個記憶體組件及一處理裝置。該複數個記憶體組件包含第一記憶體及第二記憶體，其中該第一記憶體及該第二記憶體在經由該至少一個匯流排存取時具有不同速度。該處理裝置透過該至少一個匯流排與該複數個記憶體組件可操作地耦合。該計算系統進一步包括一記憶體虛擬器，該記憶體虛擬器可操作地：儲存由該處理裝置用於存取記憶體之第一位址與用於存取該第一記憶體及該第二記憶體之第二位址之間的一位址映射；監控該第一記憶體及第二記憶體之使用；基於該等使用調整該位址映射以改良該處理裝置在涉及該第一記憶體及該第二記憶體之記憶體存取時之速度；及根據對該位址映射之調整交換該第一記憶體及該第二記憶體中之資料內容。
在另一態樣中，根據一些實施例，一種方法包含：在耦合至一處理裝置之至少一個匯流排上提供複數個記憶體組件，該複數個記憶體組件包括第一記憶體及第二記憶體，其中該第一記憶體及該第二記憶體 在經由該至少一個匯流排存取時具有不同速度；儲存由該處理裝置用於存取記憶體之第一位址與用於存取該第一記憶體及該第二記憶體之第二位址之間的一位址映射；監控該第一記憶體及第二記憶體之使用；基於該等使用調整該位址映射以改良該處理裝置在涉及該第一記憶體及該第二記憶體之記憶體存取時之速度；及根據對該位址映射之調整交換該第一記憶體及該第二記憶體中之資料內容。
100:計算系統
109A至109N:記憶體組件
110:記憶體子系統
113:記憶體虛擬器
115:控制器
116:控制器
117:處理裝置
118:處理裝置
119:本地記憶體
120:主機系統
203:記憶體匯流排
205:記憶體模組
207:周邊互連
209:儲存裝置/記憶體子系統
211:快取記憶體
213:記憶體管理單元(MMU)
221:A型記憶體
223:B型記憶體
225:C型記憶體
227:控制器X/控制器
228:控制器
229:控制器Y/控制器
241:主機作業系統
243:客戶作業系統
245:超管理器
247:裝置驅動程式
249:虛擬機
251:應用程式
253:應用程式
260:資料
261:位址
263:位址
265:預測引擎
267:轉譯後備緩衝器(TLB)
269:預測模型
271:較快記憶體
273:較慢記憶體
301:方塊
303:方塊
305:方塊
307:方塊
309:方塊
600:電腦系統
602:處理裝置
604:主記憶體
608:網路介面裝置
618:資料儲存系統
620:網路
624:機器可讀儲存媒體
626:指令
630:匯流排
在隨附圖式之圖中藉由實例且非限制之方式繪示實施例，其中相似參考指示類似元件。
圖1繪示根據本發明之一些實施例之具有一記憶體子系統之一例示性計算系統。
圖2展示根據本文中揭示之至少一些實施例之具有不同類型之記憶體及用於虛擬化記憶體存取之運行指令的一計算系統。
圖3展示具有經組態以虛擬化經由一超管理器進行之記憶體存取之一裝置驅動程式的一系統。
圖4展示耦合至一裝置驅動程式以透過虛擬化改良記憶體存取之一預測引擎。
圖5展示用於虛擬化記憶體存取之方法。
圖6係其中可操作本發明之實施例之一例示性電腦系統之一方塊圖。
相關申請案
本申請案主張於2018年8月3日申請且標題為「Memory Virtualization for Accessing Heterogeneous Memory Components」之美國專利申請案序號16/054,719及於2018年2月5日申請且標題為「Memory Virtualization for Two Tier Memory Systems」之臨時美國專利申請案序號62/626,491之申請日期之權利，該等申請案之全部揭示內容特此以引用的方式併入本文中。
本申請案涉及於2018年7月11日申請且標題為「Predictive Paging to Accelerate Memory Access」之美國專利申請案序號16/032,331及於2018年7月13日申請且標題為「Isolated Performance Domains in a Memory System」之美國專利申請案序號16/035,469，該等申請案之全部揭示內容特此以引用的方式併入本文中。
本發明之至少一些態樣係關於一種可改良具有異質記憶體組件之一電腦系統中之記憶體存取效能的記憶體虛擬化技術。一記憶體子系統在下文中亦稱為一「記憶體裝置」。一記憶體子系統之一實例係經由一記憶體匯流排連接至一中央處理單元(CPU)之一記憶體模組。記憶體模組之實例包含一雙列直插記憶體模組(DIMM)、一小型DIMM(SO-DIMM)、一非揮發性雙列直插記憶體模組(NVDIMM)等。一記憶體子系統之另一實例係經由一周邊互連(例如，一輸入/輸出匯流排、一儲存區域網路)連接至中央處理單元(CPU)之一儲存裝置。儲存裝置之實例包含一固態硬碟(SSD)、一快閃隨身碟、一通用串列匯流排(USB)快閃隨身碟及一硬碟機(HDD)。在一些實施例中，記憶體子系統係提供記憶體功能及儲存功能兩者之一混合記憶體/儲存子系統。一般而言，一主機系統可利用包含一或多個記憶體組件之一記憶體子系統。主機系統可提供待儲存於記憶體子系統處之資料且可請求待自記憶體子系統擷取之資料。
一記憶體子系統可具有在不同態樣中提供不同優點之不同類型之記憶體組件。例如，一記憶體模組可具有用於快速存取之揮發性DRAM及用於持續性儲存之非揮發性記憶體。然而，應用程式程式化不同類型之記憶體組件之使用以充分利用由不同類型之記憶體組件提供的不同優點係一項挑戰。
本發明之至少一些態樣藉由虛擬化對不同類型之記憶體組件之記憶體存取使得從應用程式屏蔽記憶體組件之差異而解決上述及其他缺陷。透過一記憶體裝置驅動程式進行對不同類型之記憶體組件的記憶體存取。基於當前及/或過去之記憶體使用模式，裝置驅動調整將哪些資料儲存於哪些記憶體組件中以在一當前時段內改良整個記憶體子系統之效能。裝置驅動基於過去或當前之使用模式及/或預測使用模式自動管理不同類型之記憶體組件之使用，使得可充分利用不同類型之記憶體組件之不同優點。
圖1繪示根據本發明之一些實施例之具有一記憶體子系統110之一例示性計算系統100。記憶體子系統110可包含媒體，諸如記憶體組件109A至109N。記憶體組件109A至109N可為揮發性記憶體組件、非揮發性記憶體組件或此等組件之一組合。在一些實施例中，記憶體子系統110係一記憶體模組。一記憶體模組之實例包含一DIMM、NVDIMM及NVDIMM-P。在一些實施例中，記憶體子系統係一儲存系統。一儲存系統之一實例係一SSD。在一些實施例中，記憶體子系統110係一混合記憶體/儲存子系統。一般而言，計算環境可包含使用記憶體子系統110之一主機系統120。例如，主機系統120可將資料寫入至記憶體子系統110及自記憶體子系統110讀取資料。
主機系統120可為一計算裝置，諸如一桌上型電腦、膝上型電腦、網路伺服器、行動裝置或包含一記憶體及一處理裝置之此計算裝置。主機系統120可包含或耦合至記憶體子系統110，使得主機系統120可自記憶體子系統110讀取資料或將資料寫入至記憶體子系統110。主機系統120可經由一實體主機介面耦合至記憶體子系統110。如本文中所使用，「耦合至」一般指代組件之間之一連接，其可為一間接通信連接或直接通信連接(例如，不具有介入組件)，無論是有線還是無線，包含諸如電連接、光學連接、磁性連接等之連接。一實體主機介面之實例包含但不限於一串列進階技術附接(SATA)介面、一快速周邊組件互連(PCIe)介面、通用串列匯流排(USB)介面、光纖通道、串列附接SCSI(SAS)、一雙倍資料速率(DDR)記憶體匯流排等。實體主機介面可用於在主機系統120與記憶體子系統110之間傳輸資料。主機系統120可進一步利用一快速NVM(NVMe)介面以在記憶體子系統110藉由PCIe介面與主機系統120耦合時存取記憶體組件109A至109N。實體主機介面可提供用於在記憶體子系統110與主機系統120之間傳遞控制、位址、資料及其他信號之一介面。圖1繪示一記憶體子系統110作為一實例。一般而言，主機系統120可經由一相同通信連接、多個各別通信連接及/或一通信連接組合存取多個記憶體子系統。
主機系統120包含一處理裝置118及一控制器116。主機系統120之處理裝置118可為例如一微處理器、一中央處理單元(CPU)、一處理器之一處理核心、一執行單元等。在一些例項中，控制器116可被稱為一記憶體控制器、一記憶體管理單元及/或一起始器。在一項實例中，控制器116控制經由耦合於主機系統120與記憶體子系統110之間之一匯流排 進行的通信。
一般而言，控制器116可將命令或請求發送至記憶體子系統110以對記憶體組件109A至109N進行所要存取。控制器116可進一步包含用於與記憶體子系統110通信之介面電路。介面電路可將自記憶體子系統110接收之回應轉換成用於主機系統120之資訊。
主機系統120之控制器116可與記憶體子系統110之控制器115通信以執行諸如在記憶體組件109A至109N處讀取資料、寫入資料或擦除資料之操作及其他此等操作。在一些例項中，控制器116整合於處理裝置118之相同封裝內。在其他例項中，控制器116與處理裝置118之封裝分離。控制器116及/或處理裝置118可包含硬體，諸如一或多個積體電路及/或離散組件、一緩衝記憶體、一快取記憶體或其等之一組合。控制器116及/或處理裝置118可為一微控制器、專用邏輯電路(例如，一場可程式化閘陣列(FPGA)、一特定應用積體電路(ASIC)等)或另一適合處理器。
記憶體組件109A至109N可包含不同類型之非揮發性記憶體組件及/或揮發性記憶體組件之任何組合。非揮發性記憶體組件之一實例包含一反及(NAND)型快閃記憶體。記憶體組件109A至109N之各者可包含一或多個記憶體胞陣列，諸如單位階胞(SLC)或多位階胞(MLC)(例如，三位階胞(TLC)或四位階胞(QLC))。在一些實施例中，一特定記憶體組件可包含記憶體胞之一SLC部分及一MLC部分兩者。記憶體胞之各者可儲存由主機系統120使用之一或多個資料位元(例如，資料區塊)。儘管描述非揮發性記憶體組件(諸如NAND型快閃記憶體)，然記憶體組件109A至109N可基於任何其他類型之記憶體，諸如一揮發性記憶體。在一些實施例中，記憶體組件109A至109N可為但不限於隨機存取記憶體(RAM)、 唯讀記憶體(ROM)、動態隨機存取記憶體(DRAM)、同步動態隨機存取記憶體(SDRAM)、相變記憶體(PCM)、磁隨機存取記憶體(MRAM)、自旋轉移力矩(STT)-MRAM、鐵電隨機存取記憶體(FeTRAM)、鐵電RAM(FeRAM)、導電橋接RAM(CBRAM)、電阻式隨機存取記憶體(RRAM)、基於氧化物之RRAM(OxRAM)、反或(NOR)快閃記憶體、電可擦除可程式化唯讀記憶體(EEPROM)、基於奈米線之非揮發性記憶體、併有憶阻器技術之記憶體，及一交叉點非揮發性記憶體胞陣列。一交叉點非揮發性記憶體陣列可基於一體電阻變化、結合一可堆疊交叉網格資料存取陣列執行位元儲存。另外，與許多基於快閃之記憶體相反，交叉點非揮發性記憶體可執行一就地寫入操作，其中可在先前未擦除一非揮發性記憶體胞之情況下程式化該非揮發性記憶體胞。此外，記憶體組件109A至109N之記憶體胞可被分組為可指代用於儲存資料之記憶體組件之一單位的記憶體頁或資料區塊。
記憶體子系統110之控制器115可與記憶體組件109A至109N通信以執行諸如在記憶體組件109A至109N處讀取資料、寫入資料或擦除資料之操作及其他此等操作(例如，對由控制器116排程於一命令匯流排上之命令作出回應)。控制器115可包含硬體，諸如一或多個積體電路及/或離散組件、一緩衝記憶體或其等之一組合。控制器115可為一微控制器、專用邏輯電路(例如，一場可程式化閘陣列(FPGA)、一特定應用積體電路(ASIC)等)或另一適合處理器。控制器115可包含一處理裝置117(處理器)，處理裝置117經組態以執行儲存於本地記憶體119中之指令。在所繪示實例中，控制器115之本地記憶體119包含一嵌入式記憶體，該嵌入式記憶體經組態以儲存用於執行控制記憶體子系統110之操作(包含處置記 憶體子系統110與主機系統120之間之通信)之各種程序、操作、邏輯流程及常式的指令。在一些實施例中，本地記憶體119可包含儲存記憶體指針、經提取資料等之記憶體暫存器。本地記憶體119亦可包含用於儲存微程式碼之唯讀記憶體(ROM)。雖然圖1中之例示性記憶體子系統110已被繪示為包含控制器115，但在本發明之另一實施例中，一記憶體子系統110可不包含一控制器115，且可代替性地依賴於外部控制(例如，其由一外部主機、或由與記憶體子系統分離之一處理器或一控制器提供)。
一般而言，控制器115可自主機系統120接收命令或操作，且可將命令或操作轉換成用於達成對記憶體組件109A至109N之所要存取的指令或適當命令。控制器115可負責與記憶體組件109A至109N相關聯之其他操作，諸如損耗均衡操作、廢棄項目收集操作、錯誤偵測及錯誤校正碼(ECC)操作、加密操作、快取操作及一邏輯區塊位址與一實體區塊位址之間之位址轉譯。控制器115可進一步包含用於經由實體主機介面與主機系統120通信之主機介面電路。主機介面電路可將自主機系統接收之命令轉換成用於存取記憶體組件109A至109N之命令指令，以及將與記憶體組件109A至109N相關聯之回應轉換成用於主機系統120之資訊。
記憶體子系統110亦可包含未繪示之額外電路或組件。在一些實施例中，記憶體子系統110可包含一快取區或緩衝器(例如，DRAM)及可自控制器115接收一位址且解碼該位址以存取記憶體組件109A至109N的位址電路(例如，一列解碼器及一行解碼器)。
計算系統100包含主機系統120中之一記憶體虛擬器113，記憶體虛擬器113可藉由從運行於處理裝置118中之應用程式屏蔽記憶體組件109A至109N之差異而虛擬化對記憶體組件109A至109N之記憶體存 取。在一些實施例中，主機系統120中之控制器116及/或處理裝置118包含記憶體虛擬器113之至少一部分。例如，控制器116及/或處理裝置118可包含實施記憶體虛擬器113之邏輯電路。例如，主機系統120之處理裝置118(處理器)可經組態以執行儲存於記憶體中之指令而執行本文中描述之記憶體虛擬器113之操作。在一些實施例中，記憶體虛擬器113係主機系統120之一作業系統、一裝置驅動程式或一應用程式之部分。視情況，記憶體虛擬器113可部分或完全實施於記憶體子系統110之控制器115中。
記憶體虛擬器113提供使用一組虛擬化記憶體位址來存取記憶體組件109A至109N。一些虛擬化記憶體位址用於存取一種類型之記憶體組件(例如，較快但揮發性之記憶體109A)；且一些虛擬化記憶體位址用於存取另一類型之記憶體組件(例如，非揮發性但較慢之記憶體109N)。然而，虛擬化記憶體位址群組與不同類型之記憶體組件109A至109N之間不存在預定關聯。記憶體虛擬器113可動態地調整虛擬化記憶體位址與不同類型之記憶體組件109A至109N之間的映射，以充分利用由不同類型之記憶體組件提供之不同優點。例如，可訓練一預測模型以預測即將使用之虛擬記憶體之熱頁(hot page)及在一時段內將不使用之虛擬記憶體之冷頁(cold page)。基於預測，記憶體虛擬器113自動調整映射且指示記憶體子系統110之控制器115將熱頁交換至較快記憶體(例如，109A)且將冷頁交換至較慢記憶體(例如，109N)。可在不利用記憶體子系統110與主機系統120之間之連接上的通信頻寬之情況下藉由記憶體子系統110內之控制器115執行頁交換。在映射調整及頁交換之後，用於預測記憶體使用之記憶體子系統110之記憶體存取效能得以改良。記憶體虛擬器113從應用程式屏蔽記憶體之差異。因此，運行於處理裝置118中之應用程式可進行記憶 體存取請求，宛如記憶體組件109A至109N係具有相同特性之一統一虛擬記憶體集區一樣。記憶體虛擬器113動態地調整記憶體組件109A至109N中之資料分佈以利用由不同類型之記憶體組件109A至109N提供之優點。下文描述關於記憶體虛擬器113之操作之進一步細節。
在一項實例中，中央處理單元(CPU)可存取提供於連接至CPU之一或多個記憶體子系統中的兩組記憶體。例如，一組記憶體可比另一組記憶體慢；且中央處理單元(CPU)使用記憶體虛擬器113以使用一分頁技術來經由較快記憶體組存取較慢記憶體組。在一些例項中，一組記憶體無法由CPU直接定址且其耦合至可由CPU直接定址之另一組記憶體；且中央處理單元(CPU)使用記憶體虛擬器113來以類似於使用分頁技術之一方式存取無法經由可直接定址之記憶體組直接定址的一組記憶體。
例如，當正在存取之一虛擬記憶體頁當前在較慢記憶體組中但未在較快記憶體組中時，可自較快記憶體組分配一頁以服務較慢記憶體組中之該頁；且記憶體虛擬器113用於自較慢記憶體組提取該頁之資料、將經提取資料頁儲存於較快記憶體組中之經分配頁中，使得可在後續操作中經由存取較快記憶體組中之經分配頁而進行對虛擬記憶體之該頁之資料存取。在一些例項中，交換一頁比簡單地自較慢記憶體存取一經請求資料元件花費之時段長。因此，首先將經請求資料元件服務於請求者，同時執行頁交換以加速對熱頁中之資料元件的後續存取。使用此一方法，總體效能可比保持對資料元件之請求直至完成頁交換更佳。
此外，記憶體虛擬器113可接收與較慢記憶體組中之頁之使用相關之資訊，且基於此資訊訓練一自學習預測引擎以預測頁之使用。例如，可使用一監督式機器學習技術以使用資訊訓練一人工神經網路，以 藉由減小預測與頁之實際使用之間的誤差而預測較慢記憶體組中之頁之使用。在訓練人工神經網路之後，預測引擎可使用當前資訊來預測接下來的待使用頁。此外，可以一連續方式執行訓練、預測及來自預測後實際使用之用於進一步訓練的回饋，以將人工神經網路之預測模型調適至記憶體頁之最新使用模式。
回應於基於經訓練人工神經網路及當前資訊進行之即將使用較慢記憶體組中之一頁的記憶體使用預測，記憶體虛擬器113可指示控制器115主動將資料頁自較慢記憶體組交換至較快記憶體組，使得當需要處理時，資料頁已在較快記憶體組中，該配置改良資料頁之資料存取速度。
可針對後續實際頁使用量測預測之準確度；且預測及後續實際頁使用可用於進一步訓練或調整人工神經網路以追蹤記憶體頁之最新使用模式。
替代地或組合地，可用基於策略之預測規則取代或擴充基於機器學習之預測。例如，儲存駐留程式碼(例如，在較低位址中)之頁可在可能時維持在較快記憶體組中以減少頻繁使用頁之交換。例如，當正在存取作為一巨型頁之一部分的一頁時，可將該巨型頁載入至較快記憶體組中。例如，可至少部分使用啟發式規則來基於以下指示(諸如是循序地還是隨機地存取頁、資料存取是處於一穩態模式還是處於一叢發模式及/或頁之間之邏輯關係(及不同大小之頁))進行預測。
可在於2018年7月11日申請且標題為「Predictive Paging to Accelerate Memory Access」之美國專利申請案序號16/032,331中找到關於預測技術之一些細節及實例。
圖2展示根據本文中揭示之至少一些實施例之具有不同類型之記憶體及用於虛擬化記憶體存取之運行指令的一計算系統。
圖2之計算系統包含一主機系統120、經由一記憶體匯流排203連接至主機系統120之一記憶體模組205，及經由一周邊互連207連接至主機系統120之一儲存裝置209。儲存裝置209及記憶體模組205係圖1中繪示之記憶體子系統110之實例。
主機系統120具有一處理裝置118，處理裝置118可為一中央處理單元或具有一或多個處理核心之一微處理器。主機系統120可具有一記憶體管理單元213及快取記憶體211。記憶體管理單元213及/或快取記憶體211之至少一部分可視情況整合於處理裝置118之相同積體電路封裝內。
圖2中繪示之記憶體模組205具有多種類型之記憶體(例如，221及223)。例如，A型記憶體221比B型記憶體223快。
記憶體匯流排203通常依比周邊互連207快之一速度操作。例如，記憶體匯流排203可為一雙倍資料速率匯流排；且周邊互連207可為一快速周邊組件互連(PCIe)匯流排、一串列進階技術附接(SATA)匯流排、一通用串列匯流排(USB)匯流排及/或一儲存區域網路。可依比存取儲存裝置209中之B型記憶體223快之一速度存取記憶體模組205中之B型記憶體223。
圖2中繪示之儲存裝置209具有多種類型之記憶體(例如，223及225)。例如，B型記憶體223比C型記憶體225快。
一般而言，複數個記憶體模組(例如，205)可耦合至記憶體匯流排203；且複數個儲存裝置(例如，209)可耦合至周邊互連207。在一 些例項中，周邊互連207及儲存裝置(例如，209)係選用的且可不在計算系統中。在其他例項中，記憶體匯流排203及記憶體模組(例如，205)可為選用的且可不在計算系統中。
在複數個記憶體模組(例如，205)耦合至記憶體匯流排203之一可能組態中，記憶體模組(例如，205)之一者具有A型記憶體221；且記憶體模組之另一者具有B型記憶體223，B型記憶體223可依低於一各別記憶體模組(例如，205)中之A型記憶體221之一速度存取。
類似地，在複數個儲存裝置(例如，209)耦合至周邊互連207之一可能組態中，儲存裝置(例如，209)之一者具有B型記憶體223，且儲存裝置之另一者具有C型記憶體225，C型記憶體225可依低於一各別儲存裝置(例如，209)中之B型記憶體223之一速度存取。
處理裝置118及/或MMU 213經由指令(例如，一作業系統及/或一或多個裝置驅動程式)組態以使用一分頁技術及/或一記憶體映射介面經由電腦系統中之記憶體之一部分存取電腦系統中之記憶體之另一部分。
例如，記憶體模組205之B型記憶體223可經由記憶體模組205(或另一記憶體模組)之A型記憶體221存取。
例如，儲存裝置209之B型記憶體223可經由記憶體模組205之A型記憶體221及/或經由記憶體模組205之B型記憶體223存取。
例如，儲存裝置209之C型記憶體225可經由記憶體模組205之A型記憶體221、經由記憶體模組205之B型記憶體223及/或經由儲存裝置209(或另一儲存裝置)之B型記憶體223存取。
例如，在一些例項中，相同記憶體模組205(或不同記憶體 模組)中之A型記憶體221及B型記憶體223可藉由處理裝置118之記憶體管理單元213經由記憶體匯流排203直接地且各別地定址。然而，由於B型記憶體223比A型記憶體221慢，故期望經由A型記憶體221存取B型記憶體223。
在其他例項中，記憶體模組205之B型記憶體223僅可透過定址記憶體模組205之A型記憶體221而存取(例如，歸因於記憶體匯流排203之位址部分之大小限制)。
一控制器X 227可提供於記憶體模組205中以管理記憶體模組205內之A型記憶體221與B型記憶體223之間之資料傳送，特別是在記憶體模組205之B型記憶體223無法使用記憶體匯流排203直接定址時。
在一個變體中，記憶體模組205之記憶體(例如，221及223)可在記憶體模組205內個別地具有相同效能；然而，記憶體管理單元213及/或處理裝置118限制於經由記憶體223經由記憶體221存取(例如，歸因於記憶體匯流排203之位址部分之大小限制)。因此，記憶體223看似比記憶體221至處理裝置118更慢。
一般而言，記憶體子系統(例如，205及209)可包含諸如記憶體(例如，221、...、223、...、225)之媒體。記憶體(例如，221、...、223、...、225)可包含揮發性記憶體、非揮發性記憶體(NVM)及/或此等記憶體之一組合。在一些實施例中，電腦系統包含至少一個記憶體子系統，即一儲存裝置209。一儲存裝置209之一實例係一固態硬碟(SSD)。在一些實施例中，電腦系統包含至少一個記憶體子系統，即組態為一記憶體模組205之一混合記憶體/儲存系統。處理裝置118可將資料寫入至記憶體子系統(例如，205及209)之各者且直接地或間接地自記憶體子系統(例如，205 及209)讀取資料。
圖2之計算系統可用於實施一桌上型電腦、膝上型電腦、網路伺服器、行動裝置或包含一記憶體及一處理裝置之此計算裝置。處理裝置118可自記憶體子系統(例如，205及209)讀取資料或將資料寫入至記憶體子系統(例如，205及209)。
處理裝置118可經由一或多個實體介面(例如，203、207)耦合至一記憶體子系統(例如，209)。
如本文中所使用，「耦合至」一般指代組件之間之一連接，其可為一間接通信連接或直接通信連接(例如，不具有介入組件)，無論是有線還是無線，包含諸如電連接、光學連接、磁性連接等之連接。
一實體主機介面之實例包含但不限於一串列進階技術附接(SATA)介面、一快速周邊組件互連(PCIe)介面、通用串列匯流排(USB)介面、光纖通道、小型電腦系統介面(SCSI)、串列附接SCSI(SAS)等。
實體主機介面可用於在處理裝置118與記憶體子系統(例如，209)之間傳輸資料。當記憶體子系統209經由PCIe介面與周邊互連207耦合時，電腦系統可進一步利用一快速NVM(NVMe)介面來存取記憶體(例如，223、...、225)。實體主機介面可提供用於在記憶體子系統(例如，209)與處理裝置118之間傳遞控制、位址、資料及其他信號之一介面。
一般而言，一記憶體子系統(例如，205及209)包含連接提供記憶體(例如，221、...、223、...、225)之一組記憶體裝置(諸如記憶體積體電路)之一印刷電路板。記憶體子系統(例如，205及209)上之記憶體(例如，221、...、223、...、225)可包含不同類型之非揮發性記憶體裝置 及/或揮發性記憶體裝置之任何組合。
非揮發性記憶體裝置之一實例包含一反及(NAND)型快閃記憶體或一反或(NOR)型快閃記憶體。一記憶體積體電路可包含一或多個記憶體胞陣列，諸如單位階胞(SLC)、多位階胞(MLC)、三位階胞(TLC)、四位階胞(QLC)等。在一些實施方案中，一特定記憶體裝置可包含記憶體胞之一SLC部分及一MLC(或TLC或QLC)部分兩者。記憶體胞之各者可儲存由主機系統120使用之一或多個資料位元。儘管描述非揮發性記憶體裝置(諸如NAND型快閃記憶體)，然記憶體積體電路可基於任何其他類型之記憶體，諸如一揮發性記憶體。在一些實施方案中，記憶體(例如，221、...、223、...、225)可包含但不限於隨機存取記憶體(RAM)、唯讀記憶體(ROM)、動態隨機存取記憶體(DRAM)、靜態隨機存取記憶體(SRAM)、同步動態隨機存取記憶體(SDRAM)、相變記憶體(PCM)、磁隨機存取記憶體(MRAM)、反或(NOR)快閃記憶體、電可擦除可程式化唯讀記憶體(EEPROM)及/或一交叉點非揮發性記憶體胞陣列。一交叉點非揮發性記憶體陣列可基於一體電阻變化、結合一可堆疊交叉網格資料存取陣列執行位元儲存。另外，與許多基於快閃之記憶體相反，交叉點非揮發性記憶體可執行一就地寫入操作，其中可在先前未擦除一非揮發性記憶體胞之情況下程式化該非揮發性記憶體胞。此外，記憶體裝置之記憶體胞可被分組為可指代用於儲存資料之記憶體裝置之一單位的記憶體頁或資料區塊。
一記憶體子系統(例如，205或209)可具有一控制器(例如，227或229)，該控制器與記憶體(例如，221、...、223、...、225)通信以回應於來自處理裝置118及/或記憶體管理單元(MMU)213之請求、命令或指 令而執行諸如在記憶體(例如，221、...、223、...、225)中讀取資料、寫入資料或擦除資料之操作及其他此等操作。控制器(例如，227或229)可包含硬體，諸如一或多個積體電路及/或離散組件、一緩衝記憶體或其等之一組合。控制器(例如，227或229)可為一微控制器、專用邏輯電路(例如，一場可程式化閘陣列(FPGA)、一特定應用積體電路(ASIC)等)或另一適合處理器。控制器(例如，227或229)可包含經組態以執行儲存於本地記憶體中之指令之一或多個處理器(處理裝置)。
控制器(例如，227或229)之本地記憶體可包含一嵌入式記憶體，該嵌入式記憶體經組態以儲存用於執行控制記憶體子系統(例如，205或209)之操作(包含處置記憶體子系統(例如，205或209)與處理裝置118/MMU 213之間之通信及下文更詳細描述之其他功能)之各種程序、操作、邏輯流程及常式的指令。控制器(例如，227或229)之本地記憶體119可包含用於儲存微程式碼之唯讀記憶體(ROM)及/或儲存例如記憶體指針、經提取資料等之記憶體暫存器。
雖然圖2中之例示性記憶體子系統(例如，205及209)已被繪示為包含控制器(例如，227及229)，但在本發明之另一實施例中，一記憶體子系統(例如，205或209)可不包含一控制器(例如，227或229)，且可代替性地依賴於外部控制(例如，其由MMU 213、或由與記憶體子系統(例如，205或209)分離之一處理器或控制器提供)。
一般而言，控制器(例如，227或229)可根據用於通信通道(例如，203或207)之一標準通信協定自處理裝置118或MMU 213接收命令、請求或指令，且可遵循該標準協定將命令、請求或指令轉換成記憶體子系統(例如，205或209)內之詳細指令或適當命令，以達成對記憶體(例 如，221、...、223、...、225)之所要存取。例如，控制器(例如，227或229)可負責與記憶體(例如，221、...、223、...、225)相關聯之操作，諸如損耗均衡操作、廢棄項目收集操作、錯誤偵測及錯誤校正碼(ECC)操作、加密操作、快取操作及一邏輯區塊位址與一實體區塊位址之間之位址轉譯。控制器(例如，227或229)可進一步包含用於經由實體主機介面與處理裝置118通信之主機介面電路。主機介面電路可將自處理裝置118接收之命令轉換成用於存取記憶體裝置(例如，221、...、223、...、225)之命令指令以及將與記憶體裝置(例如，221、...、223、...、225)相關聯之回應轉換成用於處理裝置118之資訊。
記憶體子系統(例如，205或209)亦可包含未繪示之額外電路或組件。在一些實施方案中，記憶體子系統(例如，205或209)可包含一快取區或緩衝器(例如，DRAM)及可自控制器(例如，227或229)或MMU 213接收一位址且解碼該位址以存取記憶體(例如，221、...、223、...、225)的位址電路(例如，一列解碼器及一行解碼器)。
在一項實例中，周邊互連207或記憶體匯流排203具有用於對記憶體子系統(例如，209或205)提供電力及/或經由一預定協定與記憶體子系統(例如，209或205)通信之一或多個連接器；且記憶體子系統(例如，209或205)具有用於自處理裝置118接收電力、資料及命令之一或多個連接器。例如，周邊互連207上之連接器與一記憶體子系統(例如，209)上之連接器之間之連接可利用一PCIe匯流排或一SATA匯流排。
一般而言，處理裝置118可執行一或多個作業系統以提供服務，包含加速記憶體存取，其中使用一分頁技術及/或一記憶體映射介面經由電腦系統中之記憶體之一部分存取電腦系統中之記憶體之另一部 分，如下文進一步論述。
記憶體虛擬器113可實施於記憶體模組205之一裝置驅動程式中以虛擬化記憶體模組205中之記憶體221、...、223。或者，記憶體虛擬器113可實施於記憶體裝置209之一裝置驅動程式中以虛擬化儲存裝置209中之記憶體223、...、225。
在一些例項中，記憶體模組205之一裝置驅動程式不僅虛擬化記憶體模組205中之記憶體221、...、223，而且虛擬化耦合至記憶體匯流排203之類似記憶體模組。因此，由記憶體虛擬器113控制之頁交換可跨兩個記憶體模組(例如，205與另一記憶體模組)之間之記憶體匯流排203。
在一些例項中，儲存裝置209之一裝置驅動程式不僅虛擬化儲存裝置209中之記憶體223、...、225，而且虛擬化耦合至周邊互連207之類似儲存裝置。因此，由記憶體虛擬器113控制之頁交換可跨兩個儲存裝置(例如，209與另一儲存裝置)之間之周邊互連207。
在另一替代例中，記憶體虛擬器113可實施於記憶體模組205及儲存裝置209之一組合之一裝置驅動程式中以虛擬化記憶體模組205及儲存裝置209中之記憶體221、...、223、...、225。因此，由記憶體虛擬器113控制之頁交換可跨記憶體模組205與儲存裝置209之間之記憶體匯流排203及周邊互連207。
在一些例項中，記憶體虛擬器113可實施於主機系統120之作業系統及/或主機系統120之一超管理器中。
圖3展示具有經組態以虛擬化經由一超管理器245進行之記憶體存取之一裝置驅動程式247的一系統。例如，可在圖1或圖2之一電腦 系統中實施圖3之系統。
圖3之系統包含可在圖1或圖2之電腦系統之處理裝置118中運行的一主機作業系統241。主機作業系統241包含使用記憶體子系統(諸如記憶體模組205及/或儲存裝置209)之記憶體(例如，221、...、223、...、225)提供記憶體服務之一或多個裝置驅動(例如，247)。
主機作業系統241包含佈建一虛擬機249之一超管理器245。虛擬機249具有經由主機作業系統241使用圖1或圖2之計算系統之硬體提供之資源及服務實施的虛擬硬體。例如，超管理器245可使用記憶體子系統(諸如記憶體模組205及/或儲存裝置209)之記憶體(例如，221、...、223、...、225)之一部分佈建虛擬記憶體作為虛擬機249之部分。
虛擬機249容許一客戶作業系統243以如同作業系統243在具有與虛擬機中所佈建相同或類似之硬體組的一實體計算機器上運行之一方式將資源及/或服務提供至運行於客戶作業系統243上之應用程式(例如，251、...、253)。超管理器245管理虛擬機中所佈建之虛擬硬體與由主機作業系統241管理之計算系統中之硬體服務之間的映射。
圖3繪示其中藉由超管理器245佈建一虛擬機249之一例項。一般而言，超管理器245可佈建可運行相同客戶作業系統243或不同客戶作業系統(例如，243)之複數個虛擬機(例如，249)。可指派不同使用者及/或應用程式集以使用不同虛擬機。
在一些例項中，主機作業系統241專用於提供用於佈建虛擬機之服務且不運行其他應用程式。或者，主機作業系統241可提供額外服務以支援其他應用程式，諸如應用程式(例如，251、...、253)。
裝置驅動程式247可經組態以預測較慢記憶體之一頁之使用，且在實際請求該頁以供虛擬機249使用之前使用記憶體虛擬器113來將該頁換入至較快記憶體中。該預測藉由在使用頁之一請求之前將資料頁自較慢記憶體載入及/或傳送之較快記憶體而減少使用該頁之請求與該頁在較快記憶體中可用之間之時間，此加速頁之資料存取。
例如，較慢記憶體可為記憶體模組205中之記憶體223，且較快記憶體係相同記憶體模組205(或與記憶體模組205連接至相同記憶體匯流排203之另一記憶體模組)中之記憶體221。
例如，較慢記憶體可為儲存裝置209中之記憶體223；且較快記憶體可為記憶體模組205中之相同類型之記憶體223、或記憶體模組205中之記憶體221。
例如，較慢記憶體可為儲存裝置209中之記憶體225；且較快記憶體可為相同儲存裝置209或連接至周邊互連207之另一儲存裝置中之記憶體223、或記憶體模組205中之記憶體(例如，223或221)。
較佳地，在一相同記憶體子系統內(諸如在相同記憶體模組205或相同儲存裝置209內)執行預測資料交換，以避免或減少連接至處理裝置118之通信通道(諸如記憶體匯流排203及/或周邊互連207)中之擁塞。例如，可執行預測交換-提取以在記憶體模組205中之一控制器227之控制下，回應於來自裝置驅動程式247及/或記憶體管理單元(MMU)213之一或多個命令、請求或指令而將資料自記憶體模組205中之較慢記憶體223複製至記憶體模組205中之較快記憶體221。例如，可執行預提取以在儲存裝置209中之一控制器229之控制下，回應於來自裝置驅動程式247及/或記憶體管理單元(MMU)213之一或多個命令、請求或指令而將資料自儲存 裝置209中之較慢記憶體225複製至儲存裝置209中之較快記憶體223。
在一項實施例中，超管理器245不僅請求裝置驅動程式247存取一記憶體子系統(例如，記憶體模組205或儲存裝置209)中之一記憶體(例如，221、...、223、...或225)，而且對裝置驅動程式247提供資訊，該資訊可用於預測記憶體(例如，221、...、223、...或225)中之哪些頁可能在一後續時段中使用及記憶體(例如，221、...、223、...或225)中之哪些頁不太可能在後續時段中使用。由超管理器245提供且由裝置驅動程式247用於進行預測之資訊的實例包含：在一先前時段中使用之頁之序列、將頁自較慢記憶體載入至較快記憶體之請求之例項、頁之內容屬性、頁之所有權屬性、頁之使用者或應用程式之識別、是否在一虛擬機及/或一使用者帳戶中以一循序模式存取頁之一指示、頁存取是否處於一穩態之一指示、所使用之一頁是否與一巨型頁相關聯之一指示等。
例如，可能使用之一頁可被稱為一熱頁；且不太可能使用之一頁可被稱為一冷頁。在後續時段中使用一頁之可能性可稱為頁溫度。裝置驅動程式247使用由超管理器245提供之資訊來預測頁溫度、調整一或多個記憶體子系統中之頁之位置以最佳化記憶體(例如，221、...、223、...或225)中之頁之分佈且加速資料存取。
在一些例項中，裝置驅動程式247使用具有自學習能力之一硬體預測引擎來進行頁溫度之預測。
圖4展示耦合至一裝置驅動程式247以透過虛擬化改良記憶體存取之一預測引擎265。例如，圖4之預測引擎265可結合圖3之主機作業系統241及圖2之記憶體子系統(例如，205及209)使用。
圖4中之超管理器245耦合至一轉譯後備緩衝器(TLB) 267，轉譯後備緩衝器(TLB)267定義由超管理器245佈建至虛擬機(例如，249)之虛擬記憶體頁與記憶體(例如，271或273)中之頁之間的映射。
處理裝置118存取一位址261處之記憶體271之一頁可比存取一位址263處之記憶體273之一頁快。期望且在一些例項中要求經由較快記憶體271之一頁服務較慢記憶體273之一頁的資料260。
當一虛擬機249正在存取在較慢記憶體273中但未在較快記憶體271中之資料260時，超管理器245請求裝置驅動程式247將資料260自較慢記憶體273載入至較快記憶體271。裝置驅動程式247與一控制器228(例如，記憶體模組205之控制器227、儲存裝置209之控制器229及/或記憶體管理單元(MMU)213)通信以將資料260載入至較快記憶體271。一旦資料260在較快記憶體271中，超管理器245便可更新轉譯後備緩衝器(TLB)267以容許將頁之虛擬位址轉譯為較快記憶體271之位址261，使得可在較快記憶體271中讀取及/或修改資料260。
在不使用資料260時，記憶體虛擬器113可將資料260卸載回至較慢記憶體273，以保存在較快記憶體271中使用資料260時對資料260作出之改變。
超管理器245將資訊提供至裝置驅動程式247及/或自學習預測引擎265以在預測引擎265中訓練一預測模型269。此資訊可包含頁存取歷史、使用者之識別、使用頁之程式及/或虛擬機及頁之屬性，諸如位置、時間、所有權、使用模式、頁當中之邏輯關係(例如，一起用於表示一物件之頁之識別)、頁中所含之資料類型(例如，作業系統、應用程式、軟體工具、系統資料、使用者資料)及/或頁之其他元資料。
例如，可使用一人工神經網路或另一機器學習模型來構建 預測模型269。可使用一監督式機器學習技術來預測較慢記憶體273中之頁溫度且最小化頁之預測溫度及經量測溫度，如在超管理器245中觀察到之頁之實際使用中所指示。在一些例項中，一頁在一時間例項之溫度與待使用該頁之最近後續時間例項成反比。小於一臨限值之一使用時間間隙對應於一極熱溫度且因此表示將頁提取至較快記憶體271之一提升的需要或優先級。大於另一臨限值之一使用時間間隙對應於一極冷溫度且因此表示自較快記憶體271卸載頁且在較快記憶體271中為其他熱頁騰出空間之一機會。
此外，可基於關於頁使用之正在進行的資訊及實際使用頁之識別來持續訓練預測模型269。預測後之實際使用提供關於預測準確度之回饋；且可持續訓練預測模型269以基於最近使用時段最小化預測誤差。
當預測引擎265識別當前未在較快記憶體271中之一熱頁及當前在較快記憶體271中之一冷頁時，裝置驅動程式247將熱頁之資料260載入至較快記憶體271中以預期使用資料260，及/或將冷頁之資料260卸載至較慢記憶體273中以在較快記憶體271中為熱頁騰出空間。
視情況或組合地，預測引擎265使用啟發式規則來協助預測資料定位。啟發式規則可基於一應用程式或虛擬機是循序地還是隨機地存取資料頁、應用程式或虛擬機是以一穩態模式還是一叢發模式存取資料頁、應用程式或虛擬機是透過小頁還是巨型頁存取資料頁等。
在一些例項中，預測引擎265識別一後續時段之最頻繁使用頁；且作為回應，記憶體虛擬器113指示控制器228將預測最頻繁使用之頁交換至較快記憶體271，同時容許自較慢記憶體273存取預測不太頻 繁使用之剩餘頁。
圖4繪示透過由一超管理器245提供之資訊訓練自學習預測引擎265。一般而言，主機作業系統241中之軟體工具可用於提供關於頁使用歷史之資訊及/或頁資訊以在具有或不具有超管理器245之情況下訓練自學習預測引擎265。例如，可在運行複數個應用程式但不具有超管理器245且不提供虛擬機(例如，249)之一作業系統中使用預測資料提取技術。
較佳地，可使用與處理裝置118及/或控制器(例如，213、227、229、228)分離之一硬體電路實施預測引擎265。例如，一特定應用積體電路(ASIC)或場可程式化閘陣列(FPGA)可用於實施預測引擎265。
或者，預測引擎265可實施為處理裝置118或耦合至處理裝置118之一處理器的一部分。
在一些例項中，在一記憶體子系統之控制器228(諸如一記憶體模組205之控制器227或一儲存裝置209之控制器229)中實施預測引擎265。
圖5展示用於虛擬化記憶體存取之方法。圖5之方法可由處理邏輯執行，該處理邏輯可包含硬體(例如，處理裝置、電路、專用邏輯、可程式化邏輯、微程式碼、一裝置之硬體、積體電路等)、軟體(例如，運行或執行於一處理裝置上之指令)或其等之一組合。在一些實施例中，圖5之方法至少部分由圖1或圖2之記憶體虛擬器113執行。儘管以一特定序列或順序展示，然除非另有指定，否則可修改程序之順序。因此，所繪示實施例應僅被理解為實例，且所繪示程序可依一不同順序執行，且一些程序可並行執行。另外，在各項實施例中，可省略一或多個程序。因此，並非每項實施例皆需要全部程序。其他程序流程係可能的。
例如，可在圖1或圖2之一計算系統中運用圖3之一主機作業系統241及圖4之一自學習預測引擎265來實施圖5之方法。例如，記憶體虛擬器113可至少部分經由圖4之自學習預測引擎265及圖3之主機作業系統241來實施。
在方塊301，一計算系統(例如，如圖1或圖2中所繪示)提供具有不同記憶體存取速度之第一記憶體(例如，109A、221或271)及第二記憶體(例如，109N、223或273)。
例如，第一記憶體係較快但揮發性的(例如，其使用DRAM實施)；且第二記憶體係非揮發性但較慢的(例如，其使用快閃記憶體或交叉點非揮發性記憶體實施)。
在一些例項中，第一記憶體及第二記憶體可在計算系統中及/或在一匯流排(例如，記憶體匯流排203)上各別地存取。然而，管理第一記憶體及第二記憶體之差異以充分利用由第一記憶體及第二記憶體提供之不同優點對於個別應用程式(例如，圖3中之251...、253)及/或個別虛擬機(例如，圖3中之249)而言可為一項挑戰。因此，可在計算系統中提供一記憶體虛擬器113以虛擬化第一記憶體及第二記憶體且從應用程式(例如，圖3中之251...、253)及/或虛擬機(例如，圖3中之249)屏蔽第一記憶體及第二記憶體之不同特性。例如，記憶體虛擬器113可實施為具有第一記憶體(例如，221)及第二記憶體(例如，223)之一記憶體模組205之一裝置驅動程式，且因此針對應用程式(例如，圖3中之251...、253)及/或虛擬機(例如，圖3中之249)之當前使用模式自動最佳化第一記憶體(例如，221)及第二記憶體(例如，223)之使用。
在方塊303，記憶體虛擬器113儲存由處理裝置用於存取記 憶體之第一位址與用於存取第一記憶體及第二記憶體之第二位址之間的一位址映射。
例如，位址映射可儲存於主機系統120之快取記憶體211或第一記憶體之一專用/保留部分中。位址映射可儲存於轉譯後備緩衝器(TLB)(267)中。例如，位址映射定義由應用程式/虛擬機用於定址記憶體模組205中之記憶體位置的虛擬記憶體位址與在記憶體匯流排203上傳輸至記憶體模組205的邏輯記憶體位址之間之關係。或者，位址映射定義記憶體模組205之邏輯記憶體位址與記憶體模組205中之實體記憶體位址之間的關係。
在方塊305，記憶體虛擬器113監控第一記憶體及第二記憶體之使用。
例如，可在具有第一記憶體(例如，221)及第二記憶體(例如，223)之一記憶體模組(例如，205)之一裝置驅動程式247中實施記憶體虛擬器113。因此，經由記憶體虛擬器113進行第一記憶體及第二記憶體之使用。過去使用及/或當前使用可用於預測在一後續時段中之未來使用。記憶體虛擬器113可自動調整第一記憶體及第二記憶體內之資料分佈以充分利用由第一記憶體及第二記憶體提供之不同優點。
在方塊307，記憶體虛擬器113基於使用調整位址映射以改良涉及第一記憶體及第二記憶體之記憶體存取之速度。
在方塊309，記憶體虛擬器113根據對位址映射之調整交換第一記憶體及第二記憶體中之資料內容。
例如，第一記憶體(例如，109A、221或271)比第二記憶體(例如，109N、223或273)快。基於在一後續時段中將使用資料頁之頻繁 程度預測資料頁之溫度。較熱頁具有將在後續時段中比冷頁更頻繁使用之資料。記憶體虛擬器113指示記憶體模組205之控制器227交換、調整或改變儲存位置，使得將較熱資料頁儲存於較快記憶體(例如，109A、221或271)中，且將較冷資料頁儲存於較慢記憶體中(例如，109N、223或273)中。記憶體虛擬器113調整位址映射使得從應用程式及/或虛擬機屏蔽使用第一記憶體及第二記憶體之改變。
在一些實施方案中，處理裝置118可至少針對計算系統中所處理之記憶體存取請求之一部分經由一匯流排(例如，203)存取第二記憶體(例如，109N、223或273)而不存取第一記憶體(例如，109A、221或271)。例如，在第一記憶體(例如，109A、221或271)中進行對較熱頁之頻繁存取；且在第二記憶體(例如，109N、223或273)中進行對較冷頁之不頻繁存取。當考量資料交換之效能成本時，將較冷頁自較慢記憶體交換至較快記憶體僅伺服一些不頻繁的存取請求而可能無法改良總體效能。因此，記憶體虛擬器113可避免一較冷頁至一較快記憶體之此交換且直接由較慢記憶體服務對較冷頁之資料存取。在其他實施方案中，第一記憶體(例如，109A、221或271)可用作用於存取第二記憶體(例如，109N、223或273)之快取區或閘道器。
較佳地，第一記憶體及第二記憶體安置於一相同記憶體模組(例如，205)中且共用至匯流排(例如，203)之一共同實體主機介面。因此，可在不使用記憶體匯流排(例如，203)之通信頻寬之情況下在記憶體模組(例如，205)內執行對記憶體模組(例如，205)內之資料儲存位置之調整。較佳地，記憶體模組(例如，205)具有比用於內部資料交換之記憶體匯流排(例如，203)寬之一通信頻寬。
視情況，記憶體模組(例如，205)可實施為包含一控制器227之一雙列直插記憶體模組(DIMM)。控制器227可至少部分實施記憶體虛擬器113。例如，回應於來自主機系統120之一指令，控制器執行內部資料交換以在不同類型之記憶體(221、...、223)中重新定位資料。記憶體虛擬器113可包含記憶體模組(例如，205)之一裝置驅動程式247，其中裝置驅動程式247在主機系統120之處理裝置118中運行。或者，記憶體虛擬器113可運用硬體及/或韌體完全實施於控制器227中。
例如，記憶體虛擬器113可判定在一後續時段中對第一記憶體之部分中之資料內容的存取不如第二記憶體之部分頻繁。回應於存取當前在第二記憶體(例如，109N、223或273)中之一記憶體位置之一請求，記憶體虛擬器113指示控制器(例如，227或228)在第一記憶體(例如，109A、221或271)之一部分與第二記憶體(例如，109N、223或273)之一部分之間交換資料內容。因此，藉由存取第二記憶體中之記憶體位置之請求觸發交換。控制器(例如，227或228)可在起始在第一記憶體之部分與第二記憶體之部分之間交換資料內容之內部操作之前服務請求，使得主機系統120可在資料交換完成之前獲得對存取請求之一回應。
記憶體虛擬器113經組態以執行位址轉譯以虛擬化記憶體存取。例如，在接收到待由主機系統120之處理裝置118進行之一記憶體存取請求之一位址之後，記憶體虛擬器113基於位址映射將位址轉換為一經轉換位址(例如，使用轉譯後備緩衝器267)；記憶體虛擬器113根據經轉換位址在記憶體匯流排203上進行記憶體存取請求。
在一些實施方案中，第一記憶體(例如，109A、221或271)可用作用於在第二記憶體無法在記憶體匯流排(203)上直接定址時存取一 記憶體模組(205)中之第二記憶體(例如，109N、223或273)的快取區或閘道器。或者，第一記憶體及第二記憶體可在經由一相同記憶體匯流排203耦合至一中央處理單元之各別記憶體模組中。或者，第一記憶體及第二記憶體可在經由各別通信通道耦合至一中央處理單元之各別記憶體系統中。
在一些實施方案中，處理裝置118與一記憶體子系統之間之一通信通道包含一電腦網路，諸如一區域網路、一無線區域網路、一無線個人區域網路、一蜂巢式通信網路、一寬頻高速始終連接之無線通信連接(例如，一當前或下一代行動網路鏈路)；且處理裝置118及記憶體子系統可經組態以使用類似於NVMe協定中之資料儲存管理及使用命令的資料儲存管理及使用命令來彼此通信。
一記憶體子系統一般可具有非揮發性儲存媒體。非揮發性儲存媒體之實例包含形成於一積體電路中之記憶體胞及塗佈於硬磁碟上之磁性材料。非揮發性儲存媒體可在未消耗電力之情況下維持儲存於其中之資料/資訊。記憶體胞可使用各種記憶體/儲存技術實施，諸如NAND邏輯閘、NOR邏輯閘、相變記憶體(PCM)、磁性記憶體(MRAM)、電阻式隨機存取記憶體、交叉點儲存及記憶體裝置(例如，3D XPoint記憶體)。一交叉點記憶體裝置使用無電晶體之記憶體元件，該等記憶體元件之各者具有在一起堆疊為一行之一記憶體胞及一選擇器。記憶體元件行經由兩層垂直線敷設(lay of wires)連接，其中一層敷設在記憶體元件行上方且另一層敷設在記憶體元件行下方。可在兩個層之各者上之一條線的一交叉點處個別地選擇各記憶體元件。交叉點記憶體裝置係快速的且非揮發性的，且可用作用於處理及儲存之一統一記憶體集區。
一記憶體子系統(例如，205或209)之控制器(例如，228、 227或229)可運行韌體以回應於來自處理裝置118之通信而執行操作。韌體一般為提供對工程計算裝置之控制、監控及資料操縱的一類型之電腦程式。
涉及控制器228之操作之一些實施例可使用由控制器228執行之電腦指令(諸如控制器228)來實施。在一些例項中，硬體電路可用於實施至少一些功能。韌體最初可儲存於非揮發性儲存媒體或另一非揮發性裝置中，且載入至揮發性DRAM及/或處理器內快取記憶體中以由控制器228執行。
一非暫時性電腦儲存媒體可用於儲存一記憶體子系統(例如，209或205)之韌體之指令及/或一般而言作業系統(例如，241、243)以及特定言之裝置驅動程式247及超管理器245之指令。當藉由控制器228及/或處理裝置118執行指令時，指令引起控制器228及/或處理裝置118執行上文論述之一方法。
圖6繪示一電腦系統600之一例示性機器，可在電腦系統600內執行用於引起該機器執行本文中論述之方法論之任一或多者的一指令集。在一些實施例中，電腦系統600可對應於包含、耦合至或利用一記憶體子系統(例如，圖1之記憶體子系統110)之一主機系統(例如，圖1之主機系統120)，或其可用於執行一記憶體虛擬器113之操作(例如，以執行指令而執行對應於關於圖1至圖5描述之記憶體虛擬器113之操作)。在替代實施例中，機器可連接(例如，連網)至一LAN、一內部網路、一外部網路及/或網際網路中之其他機器。機器可在用戶端-伺服器網路環境中以一伺服器或一用戶端機器之身份操作，在一同級間(或分佈式)網路環境中作為一同級機器，或在一雲端計算基礎設施或環境中作為一伺服器或一用戶端機 器。
機器可為一個人電腦(PC)、一平板PC、一機上盒(STB)、一個人數位助理(PDA)、一蜂巢式電話、一網路設備、一伺服器、一網路路由器、一交換機或橋接器，或能夠執行指定待由該機器採取之動作之一指令集(循序地或以其他方式)的任何機器。此外，雖然繪示一單一機器，但術語「機器」亦應被視為包含個別地或聯合地執行一(或多個)指令集以執行本文中論述之方法論之任一或多者的任何機器集合。
例示性電腦系統600包含經由一匯流排630(其可包含多個匯流排)彼此通信之一處理裝置602、一主記憶體604(例如，唯讀記憶體(ROM)、快閃記憶體、動態隨機存取記憶體(DRAM)(諸如同步DRAM(SDRAM)或Rambus DRAM(RDRAM))、靜態隨機存取記憶體(SRAM)等)及一資料儲存系統618。
處理裝置602表示一或多個通用處理裝置，諸如一微處理器、一中央處理單元或類似者。更特定言之，處理裝置可為一複雜指令集計算(CISC)微處理器、精簡指令集計算(RISC)微處理器、極長指令字(VLIW)微處理器、或實施其他指令集之一處理器、或實施一指令集組合之處理器。處理裝置602亦可為一或多個專用處理裝置，諸如一特定應用積體電路(ASIC)、一場可程式化閘陣列(FPGA)、一數位信號處理器(DSP)、網路處理器或類似者。處理裝置602經組態以執行用於執行本文中論述之操作及步驟之指令626。電腦系統600可進一步包含一網路介面裝置608以經由網路620通信。
資料儲存系統618可包含一機器可讀儲存媒體624(亦被稱為一電腦可讀媒體)，一或多個指令626集或體現本文中描述之方法論或功 能之任一或多者的軟體儲存於機器可讀儲存媒體624上。指令626亦可在其藉由電腦系統600執行期間完全或至少部分駐留在主記憶體604及/或處理裝置602內，主記憶體604及處理裝置602亦構成機器可讀儲存媒體。機器可讀儲存媒體624、資料儲存系統618及/或主記憶體604可對應於圖1之記憶體子系統110。
在一項實施例中，指令626包含用於實施對應於一記憶體虛擬器113(例如，關於圖1至圖5描述之記憶體虛擬器113)之功能性的指令。雖然機器可讀儲存媒體624在一實例實施例中被展示為一單一媒體，但術語「機器可讀儲存媒體」應被視為包含儲存一或多個指令集之一單一媒體或多個媒體。術語「機器可讀儲存媒體」亦應被視為包含能夠儲存或編碼一指令集以由機器執行且引起機器執行本發明之方法論之任一或多者的任何媒體。因此，術語「機器可讀儲存媒體」應被視為包含但不限於固態記憶體、光學媒體及磁性媒體。
已依據對一電腦記憶體內之資料位元之操作的演算法及符號表示呈現前文[實施方式]之一些部分。此等演算法描述及表示係由熟習資料處理技術者使用以最有效地將其等工作實質傳達給其他熟習此項技術者之方式。在此且一般而言，一演算法被認為是導致一所要結果之一自我一致操作序列。操作係需要實體操縱實體量之操作。通常但非必要，此等量採取能夠被儲存、組合、比較及以其他方式操縱之電信號或磁信號之形式。主要出於常用之原因，已證實將此等信號稱為位元、值、元件、符號、字元、項、數字或類似者有時是方便的。
然而，應記住，全部此等及類似術語應與適當實體量相關聯且僅為應用於此等量之方便標籤。本發明可涉及一電腦系統或類似電子 計算裝置將表示為電腦系統之暫存器及記憶體內之實體(電子)量的資料操縱及變換成類似地表示為電腦系統記憶體或暫存器或其他此等資訊儲存系統內之實體量的其他資料之動作及程序。
本發明亦係關於一種用於執行本文中之操作之設備。此設備可專門建構用於所欲目的，或其可包含藉由儲存於電腦中之一電腦程式選擇性地啟動或重新組態之一通用電腦。此一電腦程式可儲存於一電腦可讀儲存媒體中，諸如但不限於任何類型之磁碟，包含軟碟、光碟、CD-ROM及磁光碟、唯讀記憶體(ROM)、隨機存取記憶體(RAM)、EPROM、EEPROM、磁卡或光卡、或適於儲存電子指令之任何類型之媒體，其等各自耦合至一電腦系統匯流排。
本文中呈現之演算法及顯示器並非固有地與任何特定電腦或其他設備相關。各種通用系統可搭配根據本文中之教示之程式使用，或可證實建構一更專業設備以執行方法係方便的。多種此等系統之結構將如下文描述中所闡述般出現。另外，未參考任何特定程式設計語言描述本發明。將明白，可使用多種程式設計語言來實施如本文中描述之本發明之教示。
本發明可被提供為一電腦程式產品或軟體，其可包含其上儲存有指令之一機器可讀媒體，該等指令可用於程式化一電腦系統(或其他電子裝置)以執行根據本發明之一程序。一機器可讀媒體包含用於以一機器(例如，一電腦)可讀之一形式儲存資訊之任何機構。在一些實施例中，一機器可讀(例如，電腦可讀)媒體包含一機器(例如，一電腦)可讀儲存媒體，諸如一唯讀記憶體(「ROM」)、隨機存取記憶體(「RAM」)、磁碟儲存媒體、光學儲存媒體、快閃記憶體組件等。
在本描述中，各種功能及操作被描述為由電腦指令執行或引起以簡化描述。然而，熟習此項技術者將認知，此等表達意謂功能因藉由一或多個控制器或處理器(諸如一微處理器)執行電腦指令而產生。替代地或組合地，可使用具有或不具有軟體指令之專用電路(諸如使用特定應用積體電路(ASIC)或場可程式化閘陣列(FPGA))來實施功能及操作。可使用不具有軟體指令之硬接線電路或結合軟體指令來實施實施例。因此，技術既不限於硬體電路及軟體之任何特定組合亦不限於藉由資料處理系統執行之指令之任何特定來源。
在前述說明書中，已參考本發明之特定實例實施例描述本發明之實施例。將顯而易見的是，可在不脫離如下文發明申請專利範圍中所闡述之本發明之實施例之更廣泛精神及範疇之情況下對本發明之實施例進行各種修改。因此，本說明書及圖式應被視為闡釋性意義而非限制性意義。
113‧‧‧記憶體虛擬器
118‧‧‧處理裝置
120‧‧‧主機系統
203‧‧‧記憶體匯流排
205‧‧‧記憶體模組
207‧‧‧周邊互連
209‧‧‧儲存裝置/記憶體子系統
211‧‧‧快取記憶體
213‧‧‧記憶體管理單元(MMU)
221‧‧‧A型記憶體
223‧‧‧B型記憶體
225‧‧‧C型記憶體
227‧‧‧控制器X/控制器
229‧‧‧控制器Y/控制器

Claims (15)

  1. 一種計算系統，其包括：至少一個匯流排；複數個記憶體組件，其等包括第一記憶體及第二記憶體，其中該第一記憶體及該第二記憶體在經由該至少一個匯流排存取時具有不同速度；一處理裝置，其透過該至少一個匯流排與該複數個記憶體組件可操作地耦合；其中該計算系統進一步包括一記憶體虛擬器，該記憶體虛擬器可操作地：儲存由該處理裝置用於存取記憶體之第一位址與用於存取該第一記憶體及該第二記憶體之第二位址之間的一位址映射(address map)；監控該第一記憶體及該第二記憶體之使用；基於該等使用調整該位址映射以改良該處理裝置在涉及該第一記憶體及該第二記憶體之記憶體存取時之速度；及根據對該位址映射之調整交換(swap)該第一記憶體及該第二記憶體中之資料內容。
  2. 如請求項1之計算系統，其中該第一記憶體比該第二記憶體快；且該處理裝置針對該計算系統中之記憶體存取請求之一部分經由該至少一個匯流排存取該第二記憶體而不存取該第一記憶體。
  3. 如請求項1之計算系統，其中該第一記憶體比該第二記憶體快；該第一記憶體及該第二記憶體共用至該匯流排之一共同實體主機介面；該第一記憶體及該第二記憶體安置於一相同記憶體模組中；該匯流排係一記憶體匯流排；且該記憶體模組係一雙列直插記憶體模組(dual in-line memory module，縮寫DIMM)。
  4. 如請求項3之計算系統，其中該記憶體模組包含至少部分實施該記憶體虛擬器之一控制器；且回應於存取當前在該第二記憶體中之一記憶體位置之一請求，該記憶體虛擬器回應於判定在該第一記憶體之一部分中之資料內容被存取地不如該第二記憶體之一部分頻繁而指示該控制器在該第一記憶體之該部分與該第二記憶體之該部分之間交換資料內容。
  5. 如請求項4之計算系統，其中在該記憶體模組內執行該資料內容在該第一記憶體之該部分與該第二記憶體之該部分之間的交換，而不經過該匯流排。
  6. 如請求項4之計算系統，其中在存取該第二記憶體中之該記憶體位置之後執行該資料內容在該第一記憶體之該部分與該第二記憶體之該部分之間的該交換。
  7. 如請求項3之計算系統，其中該記憶體虛擬器包括運行於該處理裝置中之該記憶體模組之一裝置驅動程式。
  8. 如請求項7之計算系統，其中該裝置驅動程式在該處理裝置中運行以：接收待由該處理裝置進行之一記憶體存取請求之一位址；基於該位址映射將該位址轉換為一經轉換位址；及根據該經轉換位址在該匯流排上進行該記憶體存取請求。
  9. 如請求項7之計算系統，其中該記憶體虛擬器基於在一時段內存取第一資料比第二資料更頻繁之一判定來調整該位址映射以將第一資料放置於該第一記憶體中且將該第二資料放置於該第二記憶體中。
  10. 如請求項1之計算系統，其中該第一記憶體及該第二記憶體在一相同記憶體模組中；且該第二記憶體之至少一部分無法在該至少一個匯流排上直接定址。
  11. 如請求項10之計算系統，其中該第一記憶體係揮發性動態隨機存取記憶體且該第二記憶體係非揮發性交叉點記憶體。
  12. 如請求項1之計算系統，其中該第一記憶體及該第二記憶體在經由一相同記憶體匯流排或經由各別(separate)通信通道耦合至一中央處理單元之各別記憶體模組中。
  13. 一種記憶體存取方法，其包括：在耦合至一處理裝置之至少一個匯流排上提供複數個記憶體組件， 該複數個記憶體組件包括第一記憶體及第二記憶體，其中該第一記憶體及該第二記憶體在經由該至少一個匯流排存取時具有不同速度；儲存由該處理裝置用於存取記憶體之第一位址與用於存取該第一記憶體及該第二記憶體之第二位址之間的一位址映射；監控該第一記憶體及該第二記憶體之使用；基於該等使用調整該位址映射以改良該處理裝置在涉及該第一記憶體及該第二記憶體之記憶體存取時之速度；及根據對該位址映射之調整交換該第一記憶體及該第二記憶體中之資料內容。
  14. 如請求項13之方法，其進一步包括藉由一超管理器(hypervisor)產生用於預測該第一記憶體及該第二記憶體之該等使用之資訊。
  15. 如請求項14之方法，其中該資訊包括以下之至少一者：在一時段中使用的頁之一序列；將頁自該第二記憶體載入至該第一記憶體之請求之例項(instances)；自該第二記憶體載入至該第一記憶體之該等頁之內容屬性；自該第二記憶體載入至該第一記憶體之該等頁之所有權屬性；自該第二記憶體載入至該第一記憶體之該等頁之使用者之識別；自該第二記憶體載入至該第一記憶體之識別應用程式；在一虛擬機中以一循序模式存取之頁之一識別；在一使用者帳戶中以一循序模式存取頁之頁之一識別；及處於一穩態之頁存取之一識別。
TW108103542A 2018-02-05 2019-01-30 用以存取異質記憶體組件的記憶體虛擬化 TWI704457B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862626491P 2018-02-05 2018-02-05
US62/626,491 2018-02-05
US16/054,719 US11416395B2 (en) 2018-02-05 2018-08-03 Memory virtualization for accessing heterogeneous memory components
US16/054,719 2018-08-03

Publications (2)

Publication Number Publication Date
TW201935250A TW201935250A (zh) 2019-09-01
TWI704457B true TWI704457B (zh) 2020-09-11

Family

ID=67475639

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108103542A TWI704457B (zh) 2018-02-05 2019-01-30 用以存取異質記憶體組件的記憶體虛擬化

Country Status (6)

Country Link
US (2) US11416395B2 (zh)
EP (1) EP3750055A4 (zh)
KR (1) KR20200108359A (zh)
CN (1) CN111684417B (zh)
TW (1) TWI704457B (zh)
WO (1) WO2019152224A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11099789B2 (en) 2018-02-05 2021-08-24 Micron Technology, Inc. Remote direct memory access in multi-tier memory systems
US10782908B2 (en) 2018-02-05 2020-09-22 Micron Technology, Inc. Predictive data orchestration in multi-tier memory systems
US10880401B2 (en) 2018-02-12 2020-12-29 Micron Technology, Inc. Optimization of data access and communication in memory systems
US10877892B2 (en) 2018-07-11 2020-12-29 Micron Technology, Inc. Predictive paging to accelerate memory access
US10852949B2 (en) 2019-04-15 2020-12-01 Micron Technology, Inc. Predictive data pre-fetching in a data storage device
US11176493B2 (en) * 2019-04-29 2021-11-16 Google Llc Virtualizing external memory as local to a machine learning accelerator
US11074182B2 (en) * 2019-08-22 2021-07-27 Micron Technology, Inc. Three tiered hierarchical memory systems
US10963396B1 (en) 2019-09-17 2021-03-30 Micron Technology, Inc. Memory system for binding data to a memory namespace
US11494311B2 (en) 2019-09-17 2022-11-08 Micron Technology, Inc. Page table hooks to memory types
US11650742B2 (en) * 2019-09-17 2023-05-16 Micron Technology, Inc. Accessing stored metadata to identify memory devices in which data is stored
US11269780B2 (en) 2019-09-17 2022-03-08 Micron Technology, Inc. Mapping non-typed memory access to typed memory access
CN111143243B (zh) * 2019-12-19 2023-06-27 上海交通大学 一种基于nvm混合内存的缓存预取方法及系统
US11442631B2 (en) 2019-12-26 2022-09-13 Micron Technology, Inc. Memory operations with consideration for wear leveling
US20230229498A1 (en) * 2022-01-18 2023-07-20 Microsoft Technology Licensing, Llc Systems and methods with integrated memory pooling and direct swap caching
KR20230151602A (ko) 2022-04-26 2023-11-02 에스케이하이닉스 주식회사 메모리 컨트롤러 및 그것을 포함하는 메모리 시스템
WO2024034751A1 (ko) * 2022-08-09 2024-02-15 엘지전자 주식회사 신호 처리 장치, 및 이를 구비하는 차량용 증강현실 장치
US20240134534A1 (en) * 2022-10-25 2024-04-25 Samsung Electronics Co., Ltd. High endurance persistent storage device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110238887A1 (en) * 2010-03-24 2011-09-29 Apple Inc. Hybrid-device storage based on environmental state
US20120047312A1 (en) * 2010-08-17 2012-02-23 Microsoft Corporation Virtual machine memory management in systems with asymmetric memory
US20130152086A1 (en) * 2011-12-09 2013-06-13 Jung-hyun Yoo Apparatus and method for managing virtual memory
US20140032818A1 (en) * 2012-07-30 2014-01-30 Jichuan Chang Providing a hybrid memory
US8930647B1 (en) * 2011-04-06 2015-01-06 P4tents1, LLC Multiple class memory systems
US20150278091A1 (en) * 2014-03-28 2015-10-01 Intel Corporation Method and apparatus for implementing a heterogeneous memory subsystem
US20160253263A1 (en) * 2014-03-04 2016-09-01 Hitachi, Ltd. Computer and memory control method

Family Cites Families (152)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04230508A (ja) * 1990-10-29 1992-08-19 Internatl Business Mach Corp <Ibm> 低電力消費メモリ装置
JP3889044B2 (ja) 1995-05-05 2007-03-07 シリコン、グラフィクス、インコーポレイテッド 不均一メモリ・アクセス（ｎｕｍａ）システムにおけるページ移動
US6148377A (en) 1996-11-22 2000-11-14 Mangosoft Corporation Shared memory computer networks
US5909540A (en) 1996-11-22 1999-06-01 Mangosoft Corporation System and method for providing highly available data storage using globally addressable memory
US6026475A (en) 1997-11-26 2000-02-15 Digital Equipment Corporation Method for dynamically remapping a virtual address to a physical address to maintain an even distribution of cache page addresses in a virtual address space
US6279138B1 (en) 1998-08-04 2001-08-21 International Business Machines Corporation System for changing the parity structure of a raid array
US6230260B1 (en) 1998-09-01 2001-05-08 International Business Machines Corporation Circuit arrangement and method of speculative instruction execution utilizing instruction history caching
US6247097B1 (en) 1999-01-22 2001-06-12 International Business Machines Corporation Aligned instruction cache handling of instruction fetches across multiple predicted branch instructions
US6473845B1 (en) 2000-09-28 2002-10-29 Hewlett-Packard Company System and method for dynamically updating memory address mappings
US6515917B2 (en) 2001-04-10 2003-02-04 International Business Machines Corporation Digital-to-analog converter (dac) for dynamic adjustment of off-chip driver pull-up and pull down impedance by providing a variable reference voltage to high frequency receiver and driver circuits for commercial memory
US6646912B2 (en) * 2001-06-05 2003-11-11 Hewlett-Packard Development Company, Lp. Non-volatile memory
US7437438B2 (en) 2001-12-27 2008-10-14 Hewlett-Packard Development Company, L.P. System and method for energy efficient data prefetching
WO2004017220A1 (en) 2002-08-19 2004-02-26 Broadcom Corporation One-shot rdma
US20040186960A1 (en) 2003-03-20 2004-09-23 Sun Microsystems, Inc. Computer processor data prefetch unit
JP4956922B2 (ja) 2004-10-27 2012-06-20 ソニー株式会社 記憶装置
US20060095679A1 (en) 2004-10-28 2006-05-04 Edirisooriya Samantha J Method and apparatus for pushing data into a processor cache
US7376681B1 (en) 2004-12-23 2008-05-20 Emc Corporation Methods and apparatus for accessing information in a hierarchical file system
US7334076B2 (en) * 2005-03-08 2008-02-19 Microsoft Corporation Method and system for a guest physical address virtualization in a virtual machine environment
US7571295B2 (en) * 2005-08-04 2009-08-04 Intel Corporation Memory manager for heterogeneous memory control
US7631245B2 (en) 2005-09-26 2009-12-08 Sandisk Il Ltd. NAND flash memory controller exporting a NAND interface
US8291295B2 (en) 2005-09-26 2012-10-16 Sandisk Il Ltd. NAND flash memory controller exporting a NAND interface
US7933923B2 (en) 2005-11-04 2011-04-26 International Business Machines Corporation Tracking and reconciling database commands
JP4863749B2 (ja) * 2006-03-29 2012-01-25 株式会社日立製作所 フラッシュメモリを用いた記憶装置、その消去回数平準化方法、及び消去回数平準化プログラム
US7496711B2 (en) 2006-07-13 2009-02-24 International Business Machines Corporation Multi-level memory architecture with data prioritization
US8352709B1 (en) 2006-09-19 2013-01-08 Nvidia Corporation Direct memory access techniques that include caching segmentation data
TWI463321B (zh) 2007-01-10 2014-12-01 Mobile Semiconductor Corp 用於改善外部計算裝置效能的調適性記憶體系統
US8996834B2 (en) 2007-05-21 2015-03-31 International Business Machines Corporation Memory class based heap partitioning
US8281303B2 (en) * 2007-10-31 2012-10-02 Hewlett-Packard Development Company, L.P. Dynamic ejection of virtual devices on ejection request from virtual device resource object within the virtual firmware to virtual resource driver executing in virtual machine
JP5238235B2 (ja) 2007-12-07 2013-07-17 株式会社日立製作所 管理装置及び管理方法
US8375190B2 (en) 2007-12-11 2013-02-12 Microsoft Corporation Dynamtic storage hierarachy management
US8082400B1 (en) * 2008-02-26 2011-12-20 Hewlett-Packard Development Company, L.P. Partitioning a memory pool among plural computing nodes
US8560761B2 (en) * 2008-03-31 2013-10-15 Spansion Llc Memory resource management for a flash aware kernel
US8316187B2 (en) 2008-07-08 2012-11-20 International Business Machines Corporation Cache memory including a predict buffer
US8131814B1 (en) 2008-07-11 2012-03-06 Hewlett-Packard Development Company, L.P. Dynamic pinning remote direct memory access
JP2010086049A (ja) 2008-09-29 2010-04-15 Hitachi Ltd 管理計算機及びその運用方法
US8429665B2 (en) 2010-03-19 2013-04-23 Vmware, Inc. Cache performance prediction, partitioning and scheduling based on cache pressure of threads
JP5221332B2 (ja) 2008-12-27 2013-06-26 株式会社東芝 メモリシステム
US8412880B2 (en) 2009-01-08 2013-04-02 Micron Technology, Inc. Memory system controller to manage wear leveling across a plurality of storage nodes
US8321645B2 (en) 2009-04-29 2012-11-27 Netapp, Inc. Mechanisms for moving data in a hybrid aggregate
US8117373B2 (en) 2009-04-30 2012-02-14 Kimon Berlin VM host responding to initiation of a page swap by transferring pages from host-but-non-guest-addressable RAM to host-and-guest-addressable RAM
JP4990322B2 (ja) 2009-05-13 2012-08-01 株式会社日立製作所 データ移動管理装置及び情報処理システム
US8595411B2 (en) 2009-12-30 2013-11-26 Sandisk Technologies Inc. Method and controller for performing a sequence of commands
US8965819B2 (en) 2010-08-16 2015-02-24 Oracle International Corporation System and method for effective caching using neural networks
CN101930404B (zh) 2010-08-27 2012-11-21 威盛电子股份有限公司 存储装置及其操作方法
US8533422B2 (en) 2010-09-30 2013-09-10 Intel Corporation Instruction prefetching using cache line history
US8799554B1 (en) 2010-10-27 2014-08-05 Amazon Technologies, Inc. Methods and system for swapping memory in a virtual machine environment
US8990538B2 (en) 2010-11-05 2015-03-24 Microsoft Corporation Managing memory with limited write cycles in heterogeneous memory systems
US8561065B2 (en) 2010-11-15 2013-10-15 International Business Machines Corporation Virtualization of vendor specific network interfaces of self-virtualizing input/output device virtual functions
KR20140041408A (ko) 2011-01-04 2014-04-04 콘두시브 테크놀로지스 코포레이션 저장 위치 속성 및 데이터 사용량 통계에 기초하여 데이터 저장을 위한 저장 위치 선택
US9141527B2 (en) 2011-02-25 2015-09-22 Intelligent Intellectual Property Holdings 2 Llc Managing cache pools
JP5664347B2 (ja) * 2011-03-04 2015-02-04 ソニー株式会社 仮想メモリシステム、仮想メモリの制御方法、およびプログラム
US8775731B2 (en) 2011-03-25 2014-07-08 Dell Products, L.P. Write spike performance enhancement in hybrid storage systems
US9176864B2 (en) 2011-05-17 2015-11-03 SanDisk Technologies, Inc. Non-volatile memory and method having block management with hot/cold data sorting
US20120297121A1 (en) 2011-05-17 2012-11-22 Sergey Anatolievich Gorobets Non-Volatile Memory and Method with Small Logical Groups Distributed Among Active SLC and MLC Memory Partitions
US9141528B2 (en) 2011-05-17 2015-09-22 Sandisk Technologies Inc. Tracking and handling of super-hot data in non-volatile memory systems
US9047017B1 (en) 2011-12-20 2015-06-02 Emc Corporation Techniques for automated evaluation and movement of data between storage tiers
US10380022B2 (en) 2011-07-28 2019-08-13 Netlist, Inc. Hybrid memory module and system and method of operating the same
WO2013048493A1 (en) 2011-09-30 2013-04-04 Intel Corporation Memory channel that supports near memory and far memory access
US20130145095A1 (en) 2011-12-06 2013-06-06 Lsi Corporation Melthod and system for integrating the functions of a cache system with a storage tiering system
KR20130064521A (ko) 2011-12-08 2013-06-18 삼성전자주식회사 데이터 저장 장치 및 그것의 데이터 관리 방법
US9817761B2 (en) 2012-01-06 2017-11-14 Sandisk Technologies Llc Methods, systems, and computer readable media for optimization of host sequential reads or writes based on volume of data transfer
EP2791774A1 (en) * 2012-02-08 2014-10-22 Hitachi, Ltd. Storage apparatus with a plurality of nonvolatile semiconductor storage units and control method thereof to place hot data in storage units with higher residual life and cold data in storage units with lower residual life
US8849731B2 (en) 2012-02-23 2014-09-30 Microsoft Corporation Content pre-fetching for computing devices
CN102662690B (zh) 2012-03-14 2014-06-11 腾讯科技（深圳）有限公司 应用程序启动方法和装置
US8838887B1 (en) 2012-03-30 2014-09-16 Emc Corporation Drive partitioning for automated storage tiering
US9043530B1 (en) 2012-04-09 2015-05-26 Netapp, Inc. Data storage within hybrid storage aggregate
US9996370B1 (en) 2012-04-18 2018-06-12 Open Invention Network Llc Page swapping in virtual machine environment
WO2014002213A1 (ja) 2012-06-27 2014-01-03 株式会社日立製作所 管理システム及び管理方法
US10303618B2 (en) * 2012-09-25 2019-05-28 International Business Machines Corporation Power savings via dynamic page type selection
US9817739B1 (en) 2012-10-31 2017-11-14 Veritas Technologies Llc Method to restore a virtual environment based on a state of applications/tiers
US9069658B2 (en) * 2012-12-10 2015-06-30 Google Inc. Using a virtual to physical map for direct user space communication with a data storage device
WO2014098839A1 (en) 2012-12-19 2014-06-26 Hewlett-Packard Development Company Nvram path selection
US9552288B2 (en) 2013-02-08 2017-01-24 Seagate Technology Llc Multi-tiered memory with different metadata levels
US9672230B1 (en) 2013-04-03 2017-06-06 Ca, Inc. Optimized placement of data
US9984089B2 (en) 2013-06-28 2018-05-29 Vmware, Inc. Techniques for implementing hybrid flash/HDD-based virtual disk files
US20150016046A1 (en) 2013-07-10 2015-01-15 Samsung Electronics Co., Ltd. Ina cabled memory appliance
US20150026509A1 (en) 2013-07-22 2015-01-22 Kabushiki Kaisha Toshiba Storage device having a data stream converter
US9619180B2 (en) 2013-07-29 2017-04-11 Silicon Graphics International Corp. System method for I/O acceleration in hybrid storage wherein copies of data segments are deleted if identified segments does not meet quality level threshold
GB2517493A (en) 2013-08-23 2015-02-25 Advanced Risc Mach Ltd Handling access attributes for data accesses
WO2015029102A1 (ja) * 2013-08-26 2015-03-05 株式会社日立製作所 ストレージ装置及び階層制御方法
US9037753B2 (en) 2013-08-29 2015-05-19 International Business Machines Corporation Automatic pinning and unpinning of virtual pages for remote direct memory access
US9122503B1 (en) 2013-09-05 2015-09-01 Symantec Corporation Systems and methods for adaptive throttling of input/output requests in a virtual environment
US9513692B2 (en) 2013-09-18 2016-12-06 Intel Corporation Heterogenous memory access
CN105579959B (zh) 2013-09-24 2019-06-07 渥太华大学 硬件加速器虚拟化
US10032246B2 (en) 2013-10-09 2018-07-24 Nvidia Corporation Approach to caching decoded texture data with variable dimensions
US9280456B2 (en) 2013-11-12 2016-03-08 Micron Technology, Inc. Mapping between program states and data patterns
US20150199276A1 (en) 2014-01-13 2015-07-16 Samsung Electronics Co., Ltd. Pre-fetch confirmation queue
KR20150089538A (ko) 2014-01-28 2015-08-05 한국전자통신연구원 인-메모리 데이터 관리 장치 및 인-메모리 데이터 관리 방법
US10445025B2 (en) 2014-03-18 2019-10-15 Micron Technology, Inc. Apparatuses and methods having memory tier structure and recursively searching between tiers for address in a translation table where information is only directly transferred between controllers
US10628245B2 (en) 2014-04-02 2020-04-21 Pure Storage, Inc. Monitoring of storage units in a dispersed storage network
US10838865B2 (en) 2014-05-08 2020-11-17 Micron Technology, Inc. Stacked memory device system interconnect directory-based cache coherence methodology
US20150356125A1 (en) 2014-06-06 2015-12-10 Plexistor Ltd. Method for data placement based on a file level operation
US10282100B2 (en) 2014-08-19 2019-05-07 Samsung Electronics Co., Ltd. Data management scheme in virtualized hyperscale environments
US10089364B2 (en) 2014-10-31 2018-10-02 Kabushiki Kaisha Toshiba Item recommendation device, item recommendation method, and computer program product
US10223371B2 (en) 2014-11-21 2019-03-05 Vmware, Inc. Host-based deduplication using array generated data tags
US9727427B2 (en) 2014-12-31 2017-08-08 International Business Machines Corporation Synchronizing storage of data copies in a dispersed storage network
US20160212214A1 (en) 2015-01-16 2016-07-21 Avago Technologies General Ip (Singapore) Pte. Ltd. Tunneled remote direct memory access (rdma) communication
WO2016134035A1 (en) 2015-02-17 2016-08-25 Coho Data, Inc. Virtualized application-layer space for data processing in data storage systems
KR20160116533A (ko) 2015-03-30 2016-10-10 삼성전자주식회사 리프레쉬 동작을 관리하는 메모리 콘트롤러, 메모리 시스템 및 그 동작방법
US10645013B2 (en) 2015-04-02 2020-05-05 Nicira, Inc Data flow identifiers
US9720846B2 (en) 2015-05-28 2017-08-01 Red Hat Israel, Ltd. Memory swap for direct memory access by a device assigned to a guest operating system
US10042782B2 (en) 2015-06-02 2018-08-07 ALTR Solutions, Inc. Immutable datastore for low-latency reading and writing of large data sets
US10114958B2 (en) * 2015-06-16 2018-10-30 Microsoft Technology Licensing, Llc Protected regions
US9639280B2 (en) 2015-06-18 2017-05-02 Advanced Micro Devices, Inc. Ordering memory commands in a computer system
US10019409B2 (en) 2015-08-03 2018-07-10 International Business Machines Corporation Extending remote direct memory access operations for storage class memory access
US11169925B2 (en) 2015-08-25 2021-11-09 Samsung Electronics Co., Ltd. Capturing temporal store streams into CPU caches by dynamically varying store streaming thresholds
US9535740B1 (en) 2015-08-26 2017-01-03 International Business Machines Corporation Implementing dynamic adjustment of resources allocated to SRIOV remote direct memory access adapter (RDMA) virtual functions based on usage patterns
US10430723B1 (en) 2015-09-29 2019-10-01 EMC IP Holding Company LLC Storage system with machine learning based skew prediction
US20170123796A1 (en) 2015-10-29 2017-05-04 Intel Corporation Instruction and logic to prefetch information from a persistent memory
US20170147427A1 (en) 2015-11-23 2017-05-25 Honeywell International, Inc. System and method for software simulation for testing a safety manager platform
US10394789B1 (en) 2015-12-07 2019-08-27 Amazon Technologies, Inc. Techniques and systems for scalable request handling in data processing systems
US10019372B2 (en) 2015-12-16 2018-07-10 Western Digital Technologies, Inc. Caching sensing device data in data storage device
US10719237B2 (en) 2016-01-11 2020-07-21 Micron Technology, Inc. Apparatuses and methods for concurrently accessing multiple partitions of a non-volatile memory
US10592114B2 (en) 2016-03-03 2020-03-17 Samsung Electronics Co., Ltd. Coordinated in-module RAS features for synchronous DDR compatible memory
US10216536B2 (en) * 2016-03-11 2019-02-26 Vmware, Inc. Swap file defragmentation in a hypervisor
US20170285967A1 (en) 2016-03-29 2017-10-05 Samsung Electronics Co., Ltd. Multi-ware smart ssd
US20170285992A1 (en) 2016-04-01 2017-10-05 Intel Corporation Memory subsystem with narrow bandwidth repeater channel
US10778762B2 (en) 2016-04-18 2020-09-15 Rancher Labs, Inc. Cloud computing service architecture
CN109073350B (zh) 2016-04-29 2021-07-02 思科技术公司 应用性能数据的预测性汇总和缓存
US10282261B2 (en) * 2016-06-20 2019-05-07 Vmware, Inc. Pooled memory heartbeat in shared memory architecture
JP2018005446A (ja) 2016-06-30 2018-01-11 富士通株式会社 情報処理装置、ストレージ制御プログラム、及びストレージ制御方法
US10176099B2 (en) 2016-07-11 2019-01-08 Intel Corporation Using data pattern to mark cache lines as invalid
US11138160B2 (en) * 2016-07-13 2021-10-05 International Business Machines Corporation Application performance using multidimensional predictive algorithm for automated tiering mechanisms
US10083123B2 (en) * 2016-08-10 2018-09-25 Vmware, Inc. Page-fault latency directed virtual machine performance monitoring
US10866897B2 (en) 2016-09-26 2020-12-15 Samsung Electronics Co., Ltd. Byte-addressable flash-based memory module with prefetch mode that is adjusted based on feedback from prefetch accuracy that is calculated by comparing first decoded address and second decoded address, where the first decoded address is sent to memory controller, and the second decoded address is sent to prefetch buffer
US10120797B1 (en) 2016-09-30 2018-11-06 EMC IP Holding Company LLC Managing mapping metadata in storage systems
CN108008911A (zh) 2016-11-01 2018-05-08 阿里巴巴集团控股有限公司 读写请求处理方法及装置
TWI596541B (zh) * 2016-11-30 2017-08-21 財團法人工業技術研究院 資料存取系統、資料存取裝置及資料存取方法
US10866912B2 (en) 2017-03-10 2020-12-15 Toshiba Memory Corporation Integrated heterogeneous solid state storage drive
US11392488B2 (en) 2017-04-07 2022-07-19 Keysight Technologies Singapore (Sales) Pte. Ltd. Optimizing storage of application data in memory
US9910618B1 (en) 2017-04-10 2018-03-06 Pure Storage, Inc. Migrating applications executing on a storage system
US10594759B2 (en) 2017-05-09 2020-03-17 EMC IP Holding Company LLC Efficiently executing concurrent operations that depend on each other in a streaming data environment
US20190004841A1 (en) 2017-06-30 2019-01-03 Microsoft Technology Licensing, Llc Memory Sharing For Virtual Machines
US10289566B1 (en) 2017-07-28 2019-05-14 EMC IP Holding Company LLC Handling data that has become inactive within stream aware data storage equipment
US10671303B2 (en) 2017-09-13 2020-06-02 International Business Machines Corporation Controlling a storage system
US10298496B1 (en) 2017-09-26 2019-05-21 Amazon Technologies, Inc. Packet processing cache
KR102414047B1 (ko) 2017-10-30 2022-06-29 에스케이하이닉스 주식회사 통합 메모리 디바이스 및 그의 동작 방법
US10394706B2 (en) 2017-11-02 2019-08-27 Western Digital Technologies, Inc. Non-volatile storage with adaptive command prediction
US10572389B2 (en) 2017-12-12 2020-02-25 Advanced Micro Devices, Inc. Cache control aware memory controller
US20190196996A1 (en) 2017-12-21 2019-06-27 Advanced Micro Devices, Inc. Dynamically determining memory access burst length
US10782908B2 (en) 2018-02-05 2020-09-22 Micron Technology, Inc. Predictive data orchestration in multi-tier memory systems
US11099789B2 (en) 2018-02-05 2021-08-24 Micron Technology, Inc. Remote direct memory access in multi-tier memory systems
US20190243771A1 (en) 2018-02-05 2019-08-08 Micron Technology, Inc. Accelerate Data Access in Memory Systems via Data Stream Segregation
US20190243787A1 (en) 2018-02-05 2019-08-08 Micron Technology, Inc. Memory Systems having Controllers Embedded in Packages of Integrated Circuit Memory
US10880401B2 (en) 2018-02-12 2020-12-29 Micron Technology, Inc. Optimization of data access and communication in memory systems
US10922221B2 (en) * 2018-03-28 2021-02-16 Micron Technology, Inc. Memory management
US10540100B2 (en) * 2018-04-10 2020-01-21 Western Digital Technologies, Inc. Mapping-based wear leveling for non-volatile memory
US20190370043A1 (en) * 2018-04-30 2019-12-05 Nutanix, Inc. Cooperative memory management
US10877892B2 (en) 2018-07-11 2020-12-29 Micron Technology, Inc. Predictive paging to accelerate memory access
US10915465B2 (en) 2018-08-30 2021-02-09 Micron Technology, Inc. Memory configured to store predefined set of domain registers for instructions being executed in computer processors
US11182507B2 (en) 2018-08-30 2021-11-23 Micron Technology, Inc. Domain crossing in executing instructions in computer processors
US10852949B2 (en) 2019-04-15 2020-12-01 Micron Technology, Inc. Predictive data pre-fetching in a data storage device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110238887A1 (en) * 2010-03-24 2011-09-29 Apple Inc. Hybrid-device storage based on environmental state
US20120047312A1 (en) * 2010-08-17 2012-02-23 Microsoft Corporation Virtual machine memory management in systems with asymmetric memory
US8930647B1 (en) * 2011-04-06 2015-01-06 P4tents1, LLC Multiple class memory systems
US20130152086A1 (en) * 2011-12-09 2013-06-13 Jung-hyun Yoo Apparatus and method for managing virtual memory
US20140032818A1 (en) * 2012-07-30 2014-01-30 Jichuan Chang Providing a hybrid memory
US20160253263A1 (en) * 2014-03-04 2016-09-01 Hitachi, Ltd. Computer and memory control method
US20150278091A1 (en) * 2014-03-28 2015-10-01 Intel Corporation Method and apparatus for implementing a heterogeneous memory subsystem

Also Published As

Publication number Publication date
US20220398194A1 (en) 2022-12-15
EP3750055A1 (en) 2020-12-16
CN111684417B (zh) 2023-11-24
US20190243756A1 (en) 2019-08-08
TW201935250A (zh) 2019-09-01
WO2019152224A1 (en) 2019-08-08
US11416395B2 (en) 2022-08-16
CN111684417A (zh) 2020-09-18
KR20200108359A (ko) 2020-09-17
EP3750055A4 (en) 2021-06-02

Similar Documents

Publication Publication Date Title
TWI704457B (zh) 用以存取異質記憶體組件的記憶體虛擬化
TWI711925B (zh) 多層記憶體系統之預測資料協作
TWI740097B (zh) 多層記憶體系統中之遠程直接記憶體存取
TWI727253B (zh) 計算系統及資料存取方法
TWI711930B (zh) 具有嵌入於積體電路記憶體封裝中之控制器之記憶體系統
US11573901B2 (en) Predictive paging to accelerate memory access
TWI710912B (zh) 記憶體系統及實施於記憶體系統中之方法，以及非暫時性電腦儲存媒體