TWI740097B - 多層記憶體系統中之遠程直接記憶體存取 - Google Patents

多層記憶體系統中之遠程直接記憶體存取 Download PDF

Info

Publication number
TWI740097B
TWI740097B TW108103274A TW108103274A TWI740097B TW I740097 B TWI740097 B TW I740097B TW 108103274 A TW108103274 A TW 108103274A TW 108103274 A TW108103274 A TW 108103274A TW I740097 B TWI740097 B TW I740097B
Authority
TW
Taiwan
Prior art keywords
memory
data
page
virtual
remote direct
Prior art date
Application number
TW108103274A
Other languages
English (en)
Other versions
TW201937373A (zh
Inventor
布拉格 Ｒ 瑪哈挪娜
阿尼班 瑞
葛皮特 阿納德
撒米爾 米托
Original Assignee
美商美光科技公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商美光科技公司 filed Critical 美商美光科技公司
Publication of TW201937373A publication Critical patent/TW201937373A/zh
Application granted granted Critical
Publication of TWI740097B publication Critical patent/TWI740097B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G06F12/0868—Data transfer between cache memory and other subsystems, e.g. storage devices or host systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/06—Addressing a physical block of locations, e.g. base addressing, module addressing, memory dedication
    • G06F12/0615—Address space extension
    • G06F12/0623—Address space extension for memory modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/06—Addressing a physical block of locations, e.g. base addressing, module addressing, memory dedication
    • G06F12/0646—Configuration or reconfiguration
    • G06F12/0669—Configuration or reconfiguration with decentralised address assignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/10—Address translation
    • G06F12/1081—Address translation for peripheral access to main memory, e.g. direct memory access [DMA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12—Replacement control
    • G06F12/121—Replacement control using replacement algorithms
    • G06F12/126—Replacement control using replacement algorithms with special data handling, e.g. priority of data or instructions, handling errors or pinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G06F13/28—Handling requests for interconnection or transfer for access to input/output bus using burst mode transfer, e.g. direct memory access DMA, cycle steal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G06F15/17306—Intercommunication techniques
    • G06F15/17331—Distributed shared memory [DSM], e.g. remote direct memory access [RDMA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C14/00—Digital stores characterised by arrangements of cells having volatile and non-volatile storage properties for back-up when the power is down
    • G11C14/0009—Digital stores characterised by arrangements of cells having volatile and non-volatile storage properties for back-up when the power is down in which the volatile element is a DRAM cell
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45583—Memory management, e.g. access or allocation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G06F2212/1024—Latency reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/15—Use in a specific computing environment
    • G06F2212/154—Networked environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/50—Control mechanisms for virtual memory, cache or TLB
    • G06F2212/502—Control mechanisms for virtual memory, cache or TLB using adaptive policy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/65—Details of virtual memory and virtual address translation
    • G06F2212/657—Virtual address space management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/72—Details relating to flash memory management
    • G06F2212/7201—Logical to physical mapping or translation of blocks or pages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本發明提供一種記憶體系統，其具有：記憶體組件；一遠程直接記憶體存取(RDMA)網路介面卡(RNIC)；及一主機系統，且其經組態以：為一應用程式分配一虛擬記憶體頁；將該虛擬記憶體頁映射至該等記憶體組件中之一實體記憶體頁；指示該RNIC執行一RDMA操作；在該RDMA操作期間，在該複數個記憶體組件中之該實體記憶體頁與經由一電腦網路連接至該遠程直接記憶體存取網路介面卡之一遠程裝置之間執行一資料傳送；及至少在該資料傳送之一持續時間內，鎖定該虛擬記憶體頁與該等記憶體組件中之該實體記憶體頁之間之一映射。

Description

多層記憶體系統中之遠程直接記憶體存取
本文中揭示之至少一些實施例一般而言係關於記憶體系統，且更特定言之(但非限制地)係關於多層記憶體系統中之遠程直接記憶體存取(RDMA)。
一記憶體子系統可為一記憶體模組，諸如一雙列直插記憶體模組(DIMM)、一小型DIMM(SO-DIMM)或一非揮發性雙列直插記憶體模組(NVDIMM)。一記憶體子系統可為一儲存系統，諸如一固態硬碟(SSD)或一硬碟機(HDD)。一記憶體子系統可包含儲存資料之一或多個記憶體組件。記憶體組件可為例如非揮發性記憶體組件及揮發性記憶體組件。記憶體組件之實例包含記憶體積體電路。一些記憶體積體電路係揮發性的且需要電力來維持經儲存資料。一些記憶體積體電路係非揮發性的且甚至在未被供電時仍可保留經儲存資料。非揮發性記憶體之實例包含快閃記憶體、唯讀記憶體(ROM)、可程式化唯讀記憶體(PROM)、可擦除可程式化唯讀記憶體(EPROM)及電可擦除可程式化唯讀記憶體(EEPROM)記憶體等。揮發性記憶體之實例包含動態隨機存取記憶體(DRAM)及靜態隨機存取記憶體(SRAM)。一般而言，一主機系統可利用一記憶體子系統來 將資料儲存於記憶體組件處及自記憶體組件擷取資料。
例如，一電腦可包含一主機系統及附接至主機系統之一或多個記憶體子系統。主機系統可具有與一或多個記憶體子系統通信以儲存及/或擷取資料及指令之一中央處理單元(CPU)。用於一電腦之指令可包含作業系統、裝置驅動程式及應用程式。一作業系統管理電腦中之資源且為應用程式提供常見服務，諸如記憶體分配及資源之分時。一裝置驅動程式操作或控制電腦中之一特定類型之裝置；且作業系統使用裝置驅動程式來提供由該類型之裝置提供之資源及/或服務。一電腦系統之一中央處理單元(CPU)可運行一作業系統及裝置驅動程式以將服務及/或資源提供至應用程式。中央處理單元(CPU)可運行使用服務及/或資源之一應用程式。例如，實施一類型之電腦系統應用程式之一應用程式可指示中央處理單元(CPU)將資料儲存於一記憶體子系統之記憶體組件中及自記憶體組件擷取資料。
一電腦系統之一作業系統可容許一應用程式使用虛擬記憶體位址來將資料儲存於電腦系統之一或多個記憶體子系統之記憶體組件中或自電腦系統之一或多個記憶體子系統之記憶體組件擷取資料。作業系統將連接至電腦系統之中央處理單元(CPU)之一或多個記憶體子系統的虛擬位址映射至實體位址。作業系統使用記憶體子系統之實體位址實施虛擬位址處指定之記憶體存取。
一虛擬位址空間可被劃分為頁。可將一虛擬記憶體頁映射至記憶體子系統中之一實體記憶體頁。作業系統可使用一分頁技術以經由一記憶體模組中之一記憶體頁存取一儲存裝置中之一記憶體頁。在不同時間例項，一記憶體模組中之相同記憶體頁可用作存取儲存裝置中之不同記 憶體頁或電腦系統中之另一儲存裝置的代理。
一電腦系統可包含用於建立或佈建虛擬機之一超管理器(或虛擬機監控器)。一虛擬機係使用電腦系統中可用之資源及服務虛擬地實施之一計算裝置。超管理器將虛擬機呈現給一作業系統，宛如虛擬機之組件係專用實體組件一樣。一客戶作業系統在虛擬機中運行以依與運行於電腦系統中之主機作業系統類似之一方式管理虛擬機中可用之資源及服務。超管理器容許多個虛擬機共用電腦系統之資源且容許虛擬機在電腦上實質上彼此獨立地操作。
遠程直接記憶體存取(RDMA)係用於在不涉及電腦之作業系統之情況下經由一電腦網路進行自一個電腦之記憶體至另一電腦之記憶體之一直接記憶體存取的技術。一網路配接器用於直接將資料傳送至應用程式或自應用程式傳送資料，而無需在電腦之作業系統中之應用程式記憶體與資料緩衝器之間複製資料。因此，RDMA操作可在不涉及電腦之中央處理單元(CPU)之情況下與其他系統操作並行執行。
本發明提供一種電腦系統，其包括：一主機系統，其可操作地耦合至複數個記憶體組件及一遠程直接記憶體存取網路介面卡以至少：為運行於該主機系統中之一應用程式分配一虛擬記憶體頁；將該虛擬記憶體頁映射至該複數個記憶體組件中之一實體記憶體頁；藉由該主機系統指示該遠程直接記憶體存取網路介面卡執行一遠程直接記憶體存取操作；其中在該遠程直接記憶體存取操作期間，該遠程直接記憶體存取網路介面卡在該複數個記憶體組件中之該實體記憶體頁與經由一電腦網路連接至該遠程直接記憶體存取網路介面卡之一遠程裝置之間執行一資料傳送； 及至少在該資料傳送之一持續時間內鎖定該虛擬記憶體頁與該複數個記憶體組件中之該實體記憶體頁之間的一映射。
本發明亦提供一種方法，其包括：為一應用程式分配一虛擬記憶體頁；將該虛擬記憶體頁映射至複數個記憶體組件中之一實體記憶體頁；藉由該應用程式指示一遠程直接記憶體存取網路介面卡執行一遠程直接記憶體存取操作，其中在該遠程直接記憶體存取操作期間，該遠程直接記憶體存取網路介面卡在該複數個記憶體組件中之該實體記憶體頁與經由一電腦網路連接至該遠程直接記憶體存取網路介面卡之一遠程裝置之間執行一資料傳送；及至少在該資料傳送之一持續時間內鎖定該虛擬記憶體頁與該複數個記憶體組件中之該實體記憶體頁之間的一映射。
100:計算系統
109A至109N:記憶體組件
110:記憶體子系統
113:資料協作器
114:遠程裝置/遠程儲存裝置
115:控制器
116:控制器
117:處理裝置
118:處理裝置
119:本地記憶體
120:主機系統
203:記憶體匯流排
205:記憶體模組
207:周邊互連
209:儲存裝置/記憶體子系統
211:快取記憶體
213:記憶體管理單元(MMU)
217:記憶體裝置驅動/記憶體裝置驅動程式
218:通知代理
219:電腦網路
221:A型記憶體
223:B型記憶體
225:C型記憶體
227:遠程直接記憶體存取(RDMA)網路介面卡(RNIC)/控制器X/控制器
229:控制器Y/控制器
241:主機作業系統
243:客戶作業系統
245:超管理器
246:實體功能
247:虛擬功能
249:虛擬機
251:應用程式
253:應用程式
261:資料使用資訊
263:工作負荷辨識器
265:預測模型/預測模組
267:區塊至物件映射
269:資料移動/第二資料移動
271:資料存取請求
273:快取控制器
275:快取命中率
277:資料移動
281:記憶體資源
282:記憶體資源
283:本地卷
284:遠程卷
285:虛擬記憶體頁/虛擬頁
286:遠程直接記憶體存取(RDMA)驅動/遠程直接記憶體存取(RDMA)驅動程式
287:遠程直接記憶體存取(RDMA)驅動/遠程直接記憶體存取(RDMA)驅動程式
289:頁
291:實體記憶體頁
293:實體記憶體頁
301:方塊
303:方塊
305:方塊
307:方塊
309:方塊
331:方塊
333:方塊
335:方塊
337:方塊
339:方塊
341:方塊
600:電腦系統
602:處理裝置
604:主記憶體
608:網路介面裝置
618:資料儲存系統
620:網路
624:機器可讀儲存媒體
626:指令
630:匯流排
在隨附圖式之圖中藉由實例且非限制之方式繪示實施例，其中相似參考指示類似元件。
圖1繪示根據本發明之一些實施例之具有一記憶體子系統之一例示性計算系統。
圖2展示根據本文中揭示之至少一些實施例之具有有利於遠程直接記憶體存取之資料協作器之一計算系統。
圖3展示根據一項實施例之用於執行遠程直接記憶體存取之一計算系統。
圖4繪示在運行於一虛擬機中之一應用程式中使用遠程直接記憶體存取之一實例。
圖5展示遠程直接記憶體存取之一方法。
圖6展示根據本文中揭示之至少一些實施例之具有不同記 憶體層及用於最佳化資料位置之一資料協作器的一計算系統。
圖7展示具有一資料協作器之一系統。
圖8繪示一資料協作器之一實施方案。
圖9展示預測資料協作之一方法。
圖10係其中可操作本發明之實施例之一例示性電腦系統之一方塊圖。
相關申請案
本申請案主張於2018年8月21日申請且標題為「Remote Direct Memory Access in Multi-Tier Memory Systems」之專利申請案序號16/107,624及於2018年2月5日申請且標題為「Remote Direct Memory Access(RDMA)in Two Tier Memory Systems」之臨時美國專利申請案序號62/626,523之申請日期之權利，該等申請案之全部揭示內容特此以引用的方式併入本文中。
本申請案涉及於2018年7月11日申請且標題為「Predictive Paging to Accelerate Memory Access」之美國專利申請案序號16/032,331、於2018年7月13日申請且標題為「Isolated Performance Domains in a Memory System」之美國專利申請案序號16/035,469、於2018年8月3日申請且標題為「Memory Virtualization for Accessing Heterogeneous Memory Components」之美國專利申請案序號16/054,719、於2018年8月3日申請且標題為「Predictive Data Orchestration in Multi-Tier Memory Systems」之美國專利申請案序號16/054,819及於2018年8月3日申請且標題為「Memory Access Communications through Message Passing Interface Implemented in Memory Systems」之美國專利申請案序號16/054,890，該等申請案之全部揭示內容特此以引用的方式併入本文中。
本發明之至少一些態樣係關於具有一智慧型資料協作器之一多層記憶體子系統中之遠程直接記憶體存取技術。一記憶體子系統在下文中亦稱為一「記憶體裝置」。一記憶體子系統之一實例係經由一記憶體匯流排連接至一中央處理單元(CPU)之一記憶體模組。記憶體模組之實例包含一雙列直插記憶體模組(DIMM)、一小型DIMM(SO-DIMM)、一非揮發性雙列直插記憶體模組(NVDIMM)等。一記憶體子系統之另一實例係經由一周邊互連(例如，一輸入/輸出匯流排、一儲存區域網路)連接至中央處理單元(CPU)之一儲存裝置。儲存裝置之實例包含一固態硬碟(SSD)、一快閃隨身碟、一通用串列匯流排(USB)快閃隨身碟及一硬碟機(HDD)。在一些實施例中，記憶體子系統係提供記憶體功能及儲存功能兩者之一混合記憶體/儲存子系統。一般而言，一主機系統可利用包含一或多個記憶體組件之一記憶體子系統。主機系統可提供待儲存於記憶體子系統處之資料且可請求待自記憶體子系統擷取之資料。
一習知系統可具有其中透過較快記憶體存取較慢記憶體之一快取結構。當一處理器存取當前在一較慢記憶體中之資料時，將資料載入至一較快記憶體中作為較慢記憶體中之資料之一代理。隨後，處理器操作較快記憶體中之資料之代理/快取區以改良效能。較快記憶體通常具有小於較慢記憶體之一容量。因此，可在較快記憶體中同時快取較慢記憶體中之資料之僅一部分。當由處理器存取之一項當前未在較快記憶體中時，發生一快取未中。當由處理器存取之一項當前在較快記憶體中時，發生一 快取命中。導致快取命中之存取的百分比係一快取命中率。改良快取命中率可改良計算系統之操作效能。然而，設計一快取策略以改良快取命中率係一項挑戰。
本發明之至少一些態樣藉由使用一機器學習技術執行跨不同記憶體層之預測資料移動而解決上述及其他缺陷。不同層之記憶體可具有不同資料存取速度。例如，為改良一計算系統之操作效能，可將頻繁使用之資料放置於一較快記憶體中；且可將不太頻繁使用之資料放置於一較慢記憶體中。視情況，較快記憶體可組態為較慢記憶體之一快取記憶體。在一些例項中，可直接存取較慢記憶體之至少一部分而不經過作為一快取區之較快記憶體。可在使用一機器學習技術訓練之一預測模型中應用資料使用資訊以預測工作負荷企圖及因此跨不同層之記憶體之資料移動。例如，資料使用資訊可包含資料存取之歷史及與資料存取相關之屬性，諸如使用資料之應用程式或程式、其中進行資料存取之使用者帳戶、存取資料之虛擬機、資料所屬之物件、如應用程式中組織之資料區塊至物件之間之映射、物件當中之關係等。可事先執行根據資料使用資訊預測之資料移動以改良計算系統之操作效能。最初可使用歷史資料使用資訊及由與資料使用資訊相關聯之資料存取引起之歷史資料移動離線地訓練預測模型。該訓練最小化歷史資料移動與藉由在預測模型中應用歷史資料使用資訊而產生之預測之間的差異。隨後，預測模型可用於使用即時資料使用資訊進行即時預測。執行預測資料移動可減少回應於資料存取請求而移動資料之需要。由即時資料存取請求引起之資料移動及/或預測資料移動是否減少跨層移動資料之需要的指示可用於識別所要之即時預測結果。所要結果可使用一加強機器學習技術進一步訓練預測模型以持續改良及調適預測模型。 預測模型可在計算系統之即時使用中動態地調適至當前工作負荷。
預測資料移動可能干擾遠程直接記憶體存取操作。例如，當在一記憶體頁上以獨立於作業系統之一方式執行一遠程直接記憶體存取操作時，涉及該記憶體頁之一預測資料移動可能引起錯誤結果。為避免錯誤結果，作業系統可經組態以與預測資料移動協調，使得在遠程直接記憶體存取操作期間，未在遠程直接記憶體存取操作中所涉及之記憶體頁上執行預測資料移動。例如，在遠程直接記憶體存取操作開始之前，涉及遠程直接記憶體存取操作之虛擬記憶體頁可固定至(be pinned to)實體記憶體或組態為按需分頁；且在遠程直接記憶體存取操作完成之後，虛擬記憶體頁可經重新組態以容許預測資料移動。
圖1繪示根據本發明之一些實施例之具有一記憶體子系統110之一例示性計算系統100。記憶體子系統110可包含媒體，諸如記憶體組件109A至109N。記憶體組件109A至109N可為揮發性記憶體組件、非揮發性記憶體組件或此等組件之一組合。在一些實施例中，記憶體子系統110係一記憶體模組。一記憶體模組之實例包含一DIMM、NVDIMM及NVDIMM-P。在一些實施例中，記憶體子系統係一儲存系統。一儲存系統之一實例係一SSD。在一些實施例中，記憶體子系統110係一混合記憶體/儲存子系統。一般而言，計算環境可包含使用記憶體子系統110之一主機系統120。例如，主機系統120可將資料寫入至記憶體子系統110及自記憶體子系統110讀取資料。
主機系統120可為一計算裝置，諸如一桌上型電腦、膝上型電腦、網路伺服器、行動裝置或包含一記憶體及一處理裝置之此計算裝置。主機系統120可包含或耦合至記憶體子系統110，使得主機系統120可 自記憶體子系統110讀取資料或將資料寫入至記憶體子系統110。主機系統120可經由一實體主機介面耦合至記憶體子系統110。如本文中所使用，「耦合至」一般指代組件之間之一連接，其可為一間接通信連接或直接通信連接(例如，不具有介入組件)，無論是有線還是無線，包含諸如電連接、光學連接、磁性連接等之連接。一實體主機介面之實例包含但不限於一串列進階技術附接(SATA)介面、一快速周邊組件互連(PCIe)介面、通用串列匯流排(USB)介面、光纖通道、串列附接SCSI(SAS)、一雙倍資料速率(DDR)記憶體匯流排等。實體主機介面可用於在主機系統120與記憶體子系統110之間傳輸資料。主機系統120可進一步利用一快速NVM(NVMe)介面以在記憶體子系統110藉由PCIe介面與主機系統120耦合時存取記憶體組件109A至109N。實體主機介面可提供用於在記憶體子系統110與主機系統120之間傳遞控制、位址、資料及其他信號之一介面。圖1繪示一記憶體子系統110作為一實例。一般而言，主機系統120可經由一相同通信連接、多個各別通信連接及/或一通信連接組合存取多個記憶體子系統。
主機系統120包含一處理裝置118及一控制器116。主機系統120之處理裝置118可為例如一微處理器、一中央處理單元(CPU)、一處理器之一處理核心、一執行單元等。在一些例項中，控制器116可被稱為一記憶體控制器、一記憶體管理單元及/或一起始器。在一項實例中，控制器116控制經由耦合於主機系統120與記憶體子系統110之間之一匯流排進行的通信。
一般而言，控制器116可將命令或請求發送至記憶體子系統110以對記憶體組件109A至109N進行所要存取。控制器116可進一步包 含用於與記憶體子系統110通信之介面電路。介面電路可將自記憶體子系統110接收之回應轉換成用於主機系統120之資訊。
主機系統120之控制器116可與記憶體子系統110之控制器115通信以執行諸如在記憶體組件109A至109N處讀取資料、寫入資料或擦除資料之操作及其他此等操作。在一些例項中，控制器116整合於處理裝置118之相同封裝內。在其他例項中，控制器116與處理裝置118之封裝分離。控制器116及/或處理裝置118可包含硬體，諸如一或多個積體電路及/或離散組件、一緩衝記憶體、一快取記憶體或其等之一組合。控制器116及/或處理裝置118可為一微控制器、專用邏輯電路(例如，一場可程式化閘陣列(FPGA)、一特定應用積體電路(ASIC)等)或另一適合處理器。
記憶體組件109A至109N可包含不同類型之非揮發性記憶體組件及/或揮發性記憶體組件之任何組合。非揮發性記憶體組件之一實例包含一反及(NAND)型快閃記憶體。記憶體組件109A至109N之各者可包含一或多個記憶體胞陣列，諸如單位階胞(SLC)或多位階胞(MLC)(例如，三位階胞(TLC)或四位階胞(QLC))。在一些實施例中，一特定記憶體組件可包含記憶體胞之一SLC部分及一MLC部分兩者。記憶體胞之各者可儲存由主機系統120使用之一或多個資料位元(例如，資料區塊)。儘管描述非揮發性記憶體組件(諸如NAND型快閃記憶體)，然記憶體組件109A至109N可基於任何其他類型之記憶體，諸如一揮發性記憶體。在一些實施例中，記憶體組件109A至109N可為但不限於隨機存取記憶體(RAM)、唯讀記憶體(ROM)、動態隨機存取記憶體(DRAM)、同步動態隨機存取記憶體(SDRAM)、相變記憶體(PCM)、磁隨機存取記憶體(MRAM)、自旋轉移力矩(STT)-MRAM、鐵電隨機存取記憶體(FeTRAM)、鐵電RAM (FeRAM)、導電橋接RAM(CBRAM)、電阻式隨機存取記憶體(RRAM)、基於氧化物之RRAM(OxRAM)、反或(NOR)快閃記憶體、電可擦除可程式化唯讀記憶體(EEPROM)、基於奈米線之非揮發性記憶體、併有憶阻器技術之記憶體，及一交叉點非揮發性記憶體胞陣列。一交叉點非揮發性記憶體陣列可基於一體電阻變化、結合一可堆疊交叉網格資料存取陣列執行位元儲存。另外，與許多基於快閃之記憶體相反，交叉點非揮發性記憶體可執行一就地寫入操作，其中可在先前未擦除一非揮發性記憶體胞之情況下程式化該非揮發性記憶體胞。此外，記憶體組件109A至109N之記憶體胞可被分組為可指代用於儲存資料之記憶體組件之一單位的記憶體頁或資料區塊。
記憶體子系統110之控制器115可與記憶體組件109A至109N通信以執行諸如在記憶體組件109A至109N處讀取資料、寫入資料或擦除資料之操作及其他此等操作(例如，對由控制器116排程於一命令匯流排上之命令作出回應)。控制器115可包含硬體，諸如一或多個積體電路及/或離散組件、一緩衝記憶體或其等之一組合。控制器115可為一微控制器、專用邏輯電路(例如，一場可程式化閘陣列(FPGA)、一特定應用積體電路(ASIC)等)或另一適合處理器。控制器115可包含一處理裝置117(處理器)，處理裝置117經組態以執行儲存於本地記憶體119中之指令。在所繪示實例中，控制器115之本地記憶體119包含一嵌入式記憶體，該嵌入式記憶體經組態以儲存用於執行控制記憶體子系統110之操作(包含處置記憶體子系統110與主機系統120之間之通信)之各種程序、操作、邏輯流程及常式的指令。在一些實施例中，本地記憶體119可包含儲存記憶體指針、經提取資料等之記憶體暫存器。本地記憶體119亦可包含用於儲存微 程式碼之唯讀記憶體(ROM)。雖然圖1中之例示性記憶體子系統110已被繪示為包含控制器115，但在本發明之另一實施例中，一記憶體子系統110可不包含一控制器115，且可代替性地依賴於外部控制(例如，其由一外部主機、或由與記憶體子系統分離之一處理器或一控制器提供)。
一般而言，控制器115可自主機系統120接收命令或操作，且可將命令或操作轉換成用於達成對記憶體組件109A至109N之所要存取的指令或適當命令。控制器115可負責與記憶體組件109A至109N相關聯之其他操作，諸如損耗均衡操作、廢棄項目收集操作、錯誤偵測及錯誤校正碼(ECC)操作、加密操作、快取操作及一邏輯區塊位址與一實體區塊位址之間之位址轉譯。控制器115可進一步包含用於經由實體主機介面與主機系統120通信之主機介面電路。主機介面電路可將自主機系統接收之命令轉換成用於存取記憶體組件109A至109N之命令指令，以及將與記憶體組件109A至109N相關聯之回應轉換成用於主機系統120之資訊。
記憶體子系統110亦可包含未繪示之額外電路或組件。在一些實施例中，記憶體子系統110可包含一快取區或緩衝器(例如，DRAM)及可自控制器115接收一位址且解碼該位址以存取記憶體組件109A至109N的位址電路(例如，一列解碼器及一行解碼器)。
計算系統100包含記憶體子系統110中之一資料協作器113，資料協作器113可在記憶體子系統110之較快記憶體(例如，109A)與較慢記憶體(例如，109N)之間執行預測資料移動。計算系統100進一步包含主機系統120中之一資料協作器113，資料協作器113與記憶體子系統110中之資料協作器113協調以至少有利於遠程直接記憶體存取操作。在一些實施例中，記憶體子系統110中之控制器115包含記憶體子系統110中 之資料協作器113之至少一部分。在其他實施例中或組合地，主機系統120中之控制器116及/或處理裝置118包含主機系統120中之資料協作器113之至少一部分。例如，控制器115、控制器116及/或處理裝置118可包含實施資料協作器113之邏輯電路。例如，控制器115或主機系統120之處理裝置118(處理器)可經組態以執行儲存於記憶體中之指令而執行本文中描述之主機系統120中之資料協作器113之操作。在一些實施例中，在安置於記憶體子系統110中之一積體電路晶片中實施記憶體子系統110中之資料協作器113。在其他實施例中，主機系統120中之資料協作器113係主機系統120之一作業系統、一裝置驅動程式或一應用程式之部分。
記憶體子系統110中之資料協作器113可預測計算系統100中之資料使用及資料移動，包含記憶體子系統110內之資料移動。在一遠程直接存取操作之持續時間內，主機系統120中之資料協作器113防止記憶體子系統110中之資料協作器113換出遠程直接存取操作中所使用之記憶體頁。在起始遠程直接存取操作之後，可在不涉及處理裝置118及/或不涉及主機系統120之情況下執行在遠程直接存取操作中進行之資料傳送；且資料協作器113之間之協調確保遠程直接記憶體存取之資料傳送不受藉由記憶體子系統110中之資料協作器113執行之同時預測資料移動及/或主機系統120中之操作影響。下文描述關於資料協作器113之操作之進一步細節。
圖2展示根據本文中揭示之至少一些實施例之具有有利於遠程直接記憶體存取之資料協作器113之一計算系統。
圖2之計算系統包含一主機系統120、經由一記憶體匯流排203連接至主機系統120之一記憶體模組205，及經由一電腦網路219連接 至一遠程直接記憶體存取(RDMA)網路介面卡(RNIC)227之一遠程裝置114。RNIC 227經由記憶體匯流排203連接至記憶體模組205且經由一周邊互連207連接至主機系統120。連接容許RNIC 227自主機系統120接收一遠程直接記憶體存取(RDMA)命令。回應於命令，RNIC 227可獨立於主機系統120執行遠程裝置114與記憶體模組205之間之資料傳送，使得在RDMA操作期間，主機系統120可並行執行其他操作。
記憶體模組205係圖1中繪示之記憶體子系統110之一實例。遠程裝置114可為類似於圖1中繪示之一電腦系統。遠程裝置114可將其RNIC連接至網路219、連接至一單獨主機系統(例如，類似於圖2中之主機系統120)，且連接至一單獨記憶體模組(例如，類似於圖2中之記憶體模組205)。
主機系統120具有一處理裝置118，處理裝置118可為一中央處理單元或具有一或多個處理核心之一微處理器。主機系統120可具有一記憶體管理單元213及快取記憶體211。記憶體管理單元213及/或快取記憶體211之至少一部分可視情況整合於處理裝置118之相同積體電路封裝內。
圖2中繪示之記憶體模組205具有多種類型之記憶體(例如，221及223)。例如，A型記憶體221比B型記憶體223快。
例如，記憶體匯流排203可為一雙倍資料速率匯流排；且周邊互連207可為一快速周邊組件互連(PCIe)匯流排、一串列進階技術附接(SATA)匯流排、一通用串列匯流排(USB)匯流排及/或一儲存區域網路。可依比存取儲存裝置209中之B型記憶體223快之一速度存取記憶體模組205中之B型記憶體223。
一般而言，多個記憶體模組(例如，205)可耦合至記憶體匯流排203；且多個儲存裝置(例如，圖6及圖7中繪示之209)可耦合至周邊互連207。在一些例項中，周邊互連207及儲存裝置(例如，209)係選用的且可不在計算系統中。在其他例項中，記憶體匯流排203及記憶體模組(例如，205)可為選用的且可不在計算系統中。
在多個記憶體模組(例如，205)耦合至記憶體匯流排203之一可能組態中，記憶體模組(例如，205)之一者具有A型記憶體221；且記憶體模組之另一者具有B型記憶體223,B型記憶體223可依低於一各別記憶體模組(例如，205)中之A型記憶體221之一速度存取。
處理裝置118及/或MMU 213經由指令(例如，一作業系統及/或一或多個裝置驅動程式)組態以使用一分頁技術及/或一記憶體映射介面經由電腦系統中之記憶體之一部分存取電腦系統中之記憶體之另一部分。
例如，記憶體模組205之B型記憶體223可經由記憶體模組205(或另一記憶體模組)之A型記憶體221存取。
例如，一儲存裝置(例如，209)中之記憶體可經由記憶體模組205之A型記憶體221及/或經由記憶體模組205之B型記憶體223存取。
例如，在一些例項中，相同記憶體模組205(或不同記憶體模組)中之A型記憶體221及B型記憶體223可藉由處理裝置118之記憶體管理單元213經由記憶體匯流排203直接地且各別地定址。然而，由於B型記憶體223比A型記憶體221慢，故期望經由A型記憶體221存取B型記憶體223。
在其他例項中，記憶體模組205之B型記憶體223僅可透過 定址記憶體模組205之A型記憶體221而存取(例如，歸因於記憶體匯流排203之位址部分之大小限制)。
資料協作器113可動態地調整跨不同記憶體(例如，221、...、223)之資料儲存位置以最佳化計算系統之操作效能。例如，可將頻繁存取之資料交換至一較快記憶體(例如，221)；且可將在一時段內未使用之資料交換至一較慢記憶體(例如，223)。例如，資料協作器113可使用一人工神經網路預測資料移動且實行跨記憶體層之資料移動，使得在一後續時段中頻繁存取之資料在存取(或頻繁存取)該資料之前已在較快記憶體(例如，221)中，如下文結合圖6至圖9論述。可在於2018年8月3日申請且標題為「Predictive Data Orchestration in Multi-Tier Memory Systems」之美國專利申請案序號16/054,819中找到預測資料移動之一些實例及細節。
在圖2中，記憶體模組205中之資料協作器113及主機系統120中之資料協作器113彼此協調以防止干擾RNIC 227之操作。例如，當為一遠程直接記憶體存取(RDMA)操作分配一虛擬記憶體頁時，資料協作器113可引起將該頁固定於較快記憶體221(或較慢記憶體223)中，直至RDMA操作完成。或者，當為一遠程直接記憶體存取(RDMA)操作分配一虛擬記憶體頁時，資料協作器113可組態對頁出(page out)較快記憶體221(或較慢記憶體223)之分頁以按需執行，直至RDMA操作完成。在RDMA操作完成之後，可調整虛擬記憶體頁之組態以容許預測資料移動，其中頁可基於使用一人工神經網路進行之工作負荷預測而自較快記憶體221移動至較慢記憶體223(或自較慢記憶體223移動至較快記憶體221)。
當一虛擬記憶體頁組態為固定時，不容許運行於主機系統 120中之作業系統及/或記憶體模組205中之資料協作器113改變記憶體模組205中對應於虛擬記憶體頁之一實體記憶體頁之分配。由於在頁組態為固定時無法改變固定虛擬記憶體頁與記憶體模組205中之對應頁之間的映射，故RNIC 227可在不涉及作業系統及/或主機系統120之情況下對記憶體模組205中之對應頁執行一RDMA操作。
類似地，當一虛擬記憶體頁組態為按需分頁時，不容許在不具有來自運行於主機系統120中之作業系統的一顯式請求之情況下改變記憶體模組205中之一實體記憶體頁之分配。因此，在頁組態為按需分頁時，無法在不具有來自作業系統之一顯式請求之情況下藉由資料協作器113改變虛擬記憶體之按需分頁的頁與記憶體模組205中之對應頁之間之映射。因此，若作業系統經程式化以避免在RDMA操作未決期間發出對頁之一分頁請求，則RNIC 227可在不涉及作業系統及/或主機系統120之情況下對記憶體模組205中之對應頁執行一RDMA操作。
資料協作器113可經組態以監控RDMA操作完成之指示。在RDMA操作完成時，資料協作器113可調整虛擬記憶體頁之設定以容許記憶體模組205中之資料協作器113對虛擬記憶體頁執行智慧分頁(例如，基於工作負荷預測)。
資料協作器113可指示記憶體模組205中之一控制器X 227針對主機系統120中分配之一虛擬記憶體頁在記憶體模組205內之A型記憶體221與B型記憶體223之間執行資料傳送/移動。在藉由RNIC 227執行一RDMA操作之操作期間，鎖定正操作之一頁以防止此等資料移動(例如，經由固定或要求按需分頁而鎖定)。在藉由RNIC 227執行一RDMA資料傳送之操作之後，解鎖已完成RDMA資料傳送之頁以容許A型記憶體221與B 型記憶體223之間之資料移動。
在一些例項中，RNIC 227可經由記憶體匯流排203存取A型記憶體221及B型記憶體223兩者；且資料協作器113經組態以鎖定虛擬記憶體頁至A型記憶體221或B型記憶體223中經選擇以匹配RDMA資料傳送之效能位準之一頁的映射。
例如，當較慢B型記憶體223之速度足以適應RDMA資料傳送時，資料協作器113可將正在操作RDMA資料傳送之虛擬記憶體頁鎖定至較慢B型記憶體223，而非將其鎖定至較快A型記憶體221。此外，在RDMA操作完成時，資料協作器113可解鎖虛擬記憶體頁之分頁且將其移動至較快A型記憶體221。
圖2之計算系統可用於實施一桌上型電腦、膝上型電腦、網路伺服器、行動裝置或包含一記憶體及一處理裝置之此計算裝置。處理裝置118可自記憶體子系統(例如，205)讀取資料或將資料寫入至記憶體子系統(例如，205)。
處理裝置118可經由一或多個實體介面(例如，203、207)耦合至一記憶體子系統(例如，205)。
如本文中所使用，「耦合至」一般指代組件之間之一連接，其可為一間接通信連接或直接通信連接(例如，不具有介入組件)，無論是有線還是無線，包含諸如電連接、光學連接、磁性連接等之連接。
一實體主機介面之實例包含但不限於一串列進階技術附接(SATA)介面、一快速周邊組件互連(PCIe)介面、通用串列匯流排(USB)介面、光纖通道、小型電腦系統介面(SCSI)、串列附接SCSI(SAS)等。
實體主機介面可用於在處理裝置118與記憶體子系統(例 如，209)之間傳輸資料。當記憶體子系統209經由PCIe介面與周邊互連207耦合時，電腦系統可進一步利用一快速NVM(NVMe)介面來存取記憶體(例如，223、...、225)。實體主機介面可提供用於在記憶體子系統(例如，209)與處理裝置118之間傳遞控制、位址、資料及其他信號之一介面。
一般而言，一記憶體子系統(例如，205)包含連接提供記憶體(例如，221、...、223)之一組記憶體裝置(諸如記憶體積體電路)之一印刷電路板。記憶體子系統(例如，205)上之記憶體(例如，221、...、223)可包含不同類型之非揮發性記憶體裝置及/或揮發性記憶體裝置之任何組合。
非揮發性記憶體裝置之一實例包含一反及(NAND)型快閃記憶體或一反或(NOR)型快閃記憶體。一記憶體積體電路可包含一或多個記憶體胞陣列，諸如單位階胞(SLC)、多位階胞(MLC)、三位階胞(TLC)、四位階胞(QLC)等。在一些實施方案中，一特定記憶體裝置可包含記憶體胞之一SLC部分及一MLC(或TLC或QLC)部分兩者。記憶體胞之各者可儲存由主機系統120使用之一或多個資料位元。儘管描述非揮發性記憶體裝置(諸如NAND型快閃記憶體)，然記憶體積體電路可基於任何其他類型之記憶體，諸如一揮發性記憶體。在一些實施方案中，記憶體(例如，221、...、223、...、225)可包含但不限於隨機存取記憶體(RAM)、唯讀記憶體(ROM)、動態隨機存取記憶體(DRAM)、靜態隨機存取記憶體(SRAM)、同步動態隨機存取記憶體(SDRAM)、相變記憶體(PCM)、磁隨機存取記憶體(MRAM)、反或(NOR)快閃記憶體、電可擦除可程式化唯讀記憶體(EEPROM)及/或一交叉點非揮發性記憶體胞陣列。 一交叉點非揮發性記憶體陣列可基於一體電阻變化、結合一可堆疊交叉網格資料存取陣列執行位元儲存。另外，與許多基於快閃之記憶體相反，交叉點非揮發性記憶體可執行一就地寫入操作，其中可在先前未擦除一非揮發性記憶體胞之情況下程式化該非揮發性記憶體胞。此外，記憶體裝置之記憶體胞可被分組為可指代用於儲存資料之記憶體裝置之一單位的記憶體頁或資料區塊。
一記憶體子系統(例如，205)可具有一控制器(例如，227)，該控制器與記憶體(例如，221、...、223)通信以回應於來自處理裝置118及/或記憶體管理單元(MMU)213之請求、命令或指令而執行諸如在記憶體(例如，221、...、223)中讀取資料、寫入資料或擦除資料之操作及其他此等操作。控制器(例如，227或229)可包含硬體，諸如一或多個積體電路及/或離散組件、一緩衝記憶體或其等之一組合。控制器(例如，227)可為一微控制器、專用邏輯電路(例如，一場可程式化閘陣列(FPGA)、一特定應用積體電路(ASIC)等)或另一適合處理器。控制器(例如，227)可包含經組態以執行儲存於本地記憶體中之指令之一或多個處理器(處理裝置)。
控制器(例如，227)之本地記憶體可包含一嵌入式記憶體，該嵌入式記憶體經組態以儲存用於執行控制記憶體子系統(例如，205或209)之操作(包含處置記憶體子系統(例如，205)與處理裝置118/MMU 213之間之通信及下文更詳細描述之其他功能)之各種程序、操作、邏輯流程及常式的指令。控制器(例如，227)之本地記憶體119可包含用於儲存微程式碼之唯讀記憶體(ROM)及/或儲存例如記憶體指針、經提取資料等之記憶體暫存器。
雖然圖2中之例示性記憶體子系統(例如，205)已被繪示為包含控制器(例如，227)，但在本發明之另一實施例中，一記憶體子系統(例如，205或209)可不包含一控制器(例如，227)，且可代替性地依賴於外部控制(例如，其由MMU 213、或由與記憶體子系統(例如，205或209)分離之一處理器或控制器提供)。
一般而言，控制器(例如，227)可根據用於通信通道(例如，203或207)之一標準通信協定自處理裝置118或MMU 213接收命令、請求或指令，且可遵循該標準協定將命令、請求或指令轉換成記憶體子系統(例如，205)內之詳細指令或適當命令，以達成對記憶體(例如，221、...、223)之所要存取。例如，控制器(例如，227)可負責與記憶體(例如，221、...、223)相關聯之操作，諸如損耗均衡操作、廢棄項目收集操作、錯誤偵測及錯誤校正碼(ECC)操作、加密操作、快取操作及一邏輯區塊位址與一實體區塊位址之間之位址轉譯。控制器(例如，227)可進一步包含用於經由實體主機介面與處理裝置118通信之主機介面電路。主機介面電路可將自處理裝置118接收之命令轉換成用於存取記憶體裝置(例如，221、...、223)之命令指令以及將與記憶體裝置(例如，221、...、223)相關聯之回應轉換成用於處理裝置118之資訊。
記憶體子系統(例如，205)亦可包含未繪示之額外電路或組件。在一些實施方案中，記憶體子系統(例如，205)可包含一快取區或緩衝器(例如，DRAM)及可自控制器(例如，227)或MMU 213接收一位址且解碼該位址以存取記憶體(例如，221、...、223)的位址電路(例如，一列解碼器及一行解碼器)。
在一項實例中，互連207或記憶體匯流排203具有用於對記 憶體子系統(例如，205)提供電力及/或經由一預定協定與記憶體子系統(例如，205)通信之一或多個連接器；且記憶體子系統(例如，205)具有用於自處理裝置118接收電力、資料及命令之一或多個連接器。例如，互連207上之連接器與一記憶體子系統(例如，205)上之連接器之間之連接可利用一PCIe匯流排或一SATA匯流排。
在一些例項中，周邊互連207可透過記憶體模組205及/或記憶體匯流排203連接至主機系統120(例如，如圖6中繪示)。在此一情境中，可在記憶體模組205上實施資料協作器113，如圖6中繪示。
一般而言，處理裝置118、控制器227及/或資料協作器113可執行一或多個作業系統以提供服務，包含加速記憶體存取，其中使用一分頁技術及/或一記憶體映射介面經由電腦系統中之記憶體之一部分存取電腦系統中之記憶體之另一部分，如下文進一步論述。
圖3展示根據一項實施例之用於執行遠程直接記憶體存取之一計算系統。例如，圖3之系統可使用圖1或圖2之計算系統實施。
在圖3中，RNIC 227可自主機作業系統241接收一命令以執行一遠程直接記憶體存取(RDMA)操作。RDMA操作經由網路219在記憶體模組205與遠程裝置114之間傳送一記憶體資料頁。例如，網路219可包含一交換網路光纖及/或另一類型之電腦網路。
運行於主機系統120中之主機作業系統241可包含一超管理器245，超管理器245提供記憶體資源及RNIC 227作為一虛擬機249之虛擬電腦組件。超管理器245可容許複數個虛擬機(例如，249)共用實體資源組，諸如記憶體模組205及RNIC 227。
例如，RNIC 227可支援單根輸入/輸出虛擬化。主機作業 系統241可實施用於RNIC 227之實體功能之一裝置驅動；且虛擬機249中之一裝置驅動可具有用於存取對應於RNIC 227之實體功能之RNIC 227之一虛擬功能的一裝置驅動。因此，可將RNIC 227之不同虛擬功能指派給不同虛擬機249，宛如RNIC 227之多個複本實際上存在於電腦系統中以支援虛擬機(例如，249)一樣。一應用程式251、...、253集可在虛擬機249之客戶作業系統243之上運行。
在圖3中，主機系統120中之一資料協作器113可包含記憶體裝置驅動及/或通知代理。當一應用程式251或253為一RDMA操作分配一虛擬記憶體頁時，通知代理218及/或記憶體裝置驅動程式217可鎖定頁之分頁操作。因此，在RDMA操作期間，虛擬記憶體頁與記憶體模組205中之記憶體221或223之一頁之間的映射不變。在偵測到記憶體模組205與遠程裝置114之間之RDMA資料傳送完成時，通知代理218及/或記憶體裝置驅動程式217可解鎖該頁之分頁操作，使得資料協作器113可基於工作負荷執行預測資料移動。
圖4繪示在運行於圖4中繪示之一虛擬機249中的一應用程式251中使用遠程直接記憶體存取之一實例。
虛擬機249具有藉由超管理器245自表示可用於主機系統120中之超管理器245之模組205之記憶體221、...、223的記憶體資源281分配之記憶體資源282。虛擬機249可安裝電腦系統之一本地儲存裝置作為一本地卷283且安裝一遠程儲存裝置114作為一遠程卷284。應用程式251可經程式化以請求虛擬機249之客戶作業系統243執行一遠程直接記憶體存取(RDMA)操作，其中存取遠程卷284之一部分作為一虛擬記憶體頁285。
回應於RDMA請求，客戶作業系統243中之RDMA驅動286可與超管理器245中之RDMA驅動287或主機作業系統241通信以將一命令發送至RNIC 227，RNIC 227自遠程裝置114將一頁289之資料複製至記憶體模組205中之一頁291(或293)或自記憶體模組205中之一頁291(或293)複製資料。
視情況，應用程式251顯式地請求將為RDMA操作分配之一虛擬頁285鎖定至記憶體模組205中之一頁291(或293)(例如，經由要求固定或按需分頁)。或者，一通知代理218連接至應用程式251及/或客戶作業系統243以偵測RDMA操作請求且據此回應而將虛擬頁285鎖定至記憶體模組205中之頁291(或293)。在一些例項中，記憶體模組205之記憶體裝置驅動程式217被通知RDMA操作請求且因此作為一回應而將虛擬頁285鎖定至記憶體模組205中之頁291(或293)。
視情況，在RDMA資料傳送操作完成之後，應用程式251及/或RDMA驅動程式(例如，286或287)可請求自記憶體模組205中之頁291(或293)解鎖虛擬記憶體頁285。例如，一通知代理218連接至應用程式251及/或客戶作業系統243以偵測RDMA操作請求之完成且據此回應而自記憶體模組205中之頁291(或293)解鎖虛擬頁285。在一些例項中，記憶體模組205之記憶體裝置驅動程式217被通知RDMA操作請求之完成且作為一回應而自記憶體模組205中之頁291(或293)解鎖虛擬頁285。
在一些例項中，應用程式251可經程式化以請求虛擬機249之客戶作業系統243執行一直接記憶體存取(DMA)操作，其中存取本地卷283之一部分作為一虛擬記憶體頁285。例如，一DMA控制器可連接至記憶體匯流排203及周邊互連207以在記憶體模組205中之一記憶體頁291(或 293)與耦合至周邊互連207之一儲存裝置之間傳送資料；且可如在RDMA操作中般在不涉及主機系統120之情況下執行資料傳送。在此一情境中，可以類似於針對RDMA操作鎖定/解鎖頁285之一方式鎖定/解鎖DMA操作中所涉及之虛擬記憶體頁285。
圖5展示遠程直接記憶體存取之一方法。圖5之方法可由處理邏輯執行，該處理邏輯可包含硬體(例如，處理裝置、電路、專用邏輯、可程式化邏輯、微程式碼、一裝置之硬體、積體電路等)、軟體(例如，運行或執行於一處理裝置上之指令)或其等之一組合。在一些實施例中，圖5之方法至少部分由圖1至圖4之資料協作器113執行。儘管以一特定序列或順序展示，然除非另有指定，否則可修改程序之順序。因此，所繪示實施例應僅被理解為實例，且所繪示程序可依一不同順序執行，且一些程序可並行執行。另外，在各項實施例中，可省略一或多個程序。因此，並非每項實施例皆需要全部程序。其他程序流程係可能的。
例如，可在圖1、圖2、圖3或圖4之一計算系統中使用圖1之一記憶體子系統110、圖2之一RNIC 227及一資料協作器113、圖3之一超管理器245及/或圖4之一虛擬機249結合智慧資料移動進行遠程直接記憶體存取而實施圖5之方法。例如，資料協作器113可至少部分經由一記憶體子系統110之控制器115實施，諸如圖2之一記憶體模組205之控制器227及圖1之主機系統120之處理裝置118及控制器116。視情況，資料協作器113可包含下文結合圖6至圖9進一步論述之預測資料移動技術。
在方塊301，一電腦系統為運行於電腦系統中之一應用程式251分配一虛擬記憶體頁285。
例如，應用程式251可在一虛擬機249中運行，虛擬機249 託管於電腦系統中且由一客戶作業系統243控制，如圖3及圖4中繪示。或者，在不具有一超管理器245或一虛擬機249之情況下，應用程式251可在作業系統241中運行。
在方塊303，電腦系統將虛擬記憶體頁285映射至一實體記憶體頁291(或293)。
例如，電腦系統具有一記憶體模組205。記憶體模組205具有具不同效能位準(例如，不同記憶體存取速度)之不同記憶體(例如，221、...、223)層。當電腦系統將虛擬記憶體頁285映射至一實體記憶體頁291(或293)時，對分配給應用程式251之虛擬記憶體頁285之存取導致對記憶體模組中之實體記憶體頁291(或293)之記憶體存取。
在方塊305，電腦系統指示一遠程直接記憶體存取網路介面卡227執行一遠程直接記憶體存取操作。RDMA網路介面卡(RNIC)227具有至主機系統120之一連接(例如，經由一周邊互連207)以在RDMA操作之前及之後與主機系統120通信。在RDMA操作期間，RNIC 227不與主機系統120通信以進行RDMA資料傳送。RNIC 227具有不經過主機系統120之至記憶體模組205之一連接(例如，經由一記憶體匯流排203)；且RNIC 227具有亦不經過主機系統120之至遠程裝置114之一網路連接。因此，一旦接收到RDMA操作之請求，RNIC 227便可獨立於主機系統120執行RDMA資料傳送。
例如，應用程式251可請求作業系統243及/或241經由分配給應用程式251之虛擬記憶體頁285存取一遠程卷284之一部分。可使用遠程直接記憶體存取(RDMA)驅動程式286及287來實行該請求。
在方塊307，遠程直接記憶體存取網路介面卡227在實體記 憶體頁291(或293)與經由一電腦網路219連接至網路介面卡227之一遠程裝置114之間執行一遠程直接記憶體存取資料傳送。可藉由RDMA網路介面卡227獨立於主機系統120及/或運行於主機系統120中之作業系統(241/243)之操作執行遠程直接記憶體存取資料傳送。主機系統120及/或運行於主機系統120中之作業系統(241/243)可與由RNIC 227控制之資料傳送並行地執行操作。例如，RNIC 227在不涉及主機系統120及/或作業系統(241/243)之情況下將遠程裝置114中之頁289之資料傳送至記憶體模組205之頁291(或293)。
在方塊309，電腦系統中之資料協作器113至少在RDMA資料傳送之持續時間內鎖定虛擬記憶體頁285與電腦系統之記憶體組件中之實體記憶體頁291(或293)之間的一映射。
映射之鎖定防止記憶體模組205中之其他應用程式、計算程序、作業系統及/或資料協作器113使用虛擬記憶體頁285之內容外部之實體記憶體頁291(或293)。例如，當鎖定映射時，無法自實體記憶體頁291(或293)換出虛擬記憶體頁285；且無法將另一虛擬記憶體頁換入實體記憶體頁291(或293)。
可藉由將虛擬記憶體頁285組態為固定至實體記憶體頁291(或293)或將虛擬記憶體頁285之交換限制為一按需基礎而實施鎖定。可回應於為應用程式251分配頁285、回應於在一RDMA操作中使用虛擬記憶體頁285、回應於至RNIC 227之開始RDMA資料傳送之一命令及/或回應於RDMA資料傳送開始之一指示而執行鎖定映射。
視情況，電腦系統之主機系統120中之資料協作器113可在遠程直接記憶體存取操作及/或RDMA資料傳送之後自動解鎖虛擬記憶體 頁與複數個記憶體組件之間的映射。解鎖可藉由移除虛擬記憶體頁285之固定屬性或按需分頁屬性而實施。
例如，主機系統120中之資料協作器113可包含用於記憶體模組205之一通知代理218及/或一記憶體裝置驅動程式217。主機系統中之資料協作器113可經由耦合至應用程式251之通知代理218及/或其中運行應用程式251之作業系統243/241偵測RDMA資料傳送之一完成。在一些例項中，資料協作器113與一遠程直接記憶體存取驅動程式(例如，286或287)通信以偵測RDMA資料傳送之完成。
在一些例項中，主機系統120中之資料協作器113經由託管其中運行應用程式251之虛擬機249的一超管理器245偵測資料傳送之一完成。例如，可結合與運行於超管理器245中之遠程直接記憶體存取驅動程式287及/或記憶體模組205之一裝置驅動程式217的一通信進行偵測。
視情況，遠程直接記憶體存取網路介面卡(RNIC)227可實施單根輸入/輸出虛擬化以提供一實體功能及複數個虛擬功能。虛擬機249中之一RDMA驅動程式286用於存取RNIC 227之虛擬功能；且超管理器245中之一RDMA驅動程式287控制對RNIC 227之實體功能之存取。超管理器245可包含一裝置驅動程式217，裝置驅動程式217在RDMA資料傳送期間鎖定虛擬記憶體頁285之映射。
記憶體模組205可具有不同記憶體層。例如，記憶體221可比記憶體223快；較快記憶體221可為揮發性動態隨機存取記憶體；且較慢記憶體223可為非揮發性交叉點記憶體。當較慢記憶體223足夠快以支援RDMA資料傳送時，計算系統可在RDMA資料傳送之持續時間內自動將虛擬記憶體頁285鎖定至較慢記憶體223中之頁293，而非將頁285鎖定 至較快記憶體221中之頁291。
例如，恰在RDMA資料傳送之前，資料協作器113可將虛擬記憶體頁285自較快記憶體221之頁291交換至較慢記憶體223之頁293；使用較慢記憶體223之頁293進行RDMA資料傳送；且在RDMA資料傳送之後，資料協作器113可將虛擬記憶體頁285自較慢記憶體223之頁293交換至較快記憶體221之頁291(例如，基於一工作負荷預測)。
視情況，記憶體模組205可具有經組態以執行跨不同記憶體221、...、223層之預測資料移動的一控制器。控制器可使用一場可程式化閘陣列(FPGA)或一特定應用積體電路(ASIC)實施資料協作器113以使用一人工神經網路預測資料移動，如下文進一步論述。
資料協作器113可預測跨不同記憶體層(較快記憶體(例如，109A)及較慢記憶體(例如，109N))之資料使用及移動。應用程式可循序地存取某些資料；且某些物件可一起使用。因此，在一使用者帳戶、一應用程式、一虛擬機中使用一資料項作為一物件之部分可指示隨後使用另一相關資料項。在存取相關資料項之前，資料協作器113可指示控制器115重新配置資料項在記憶體子系統110中之實體儲存位置，使得在主機系統120之處理裝置118存取相關資料項之時，資料項已在較快記憶體(例如，109A)中。因此，改良計算系統之操作效能。可經由一人工神經網路實施資料協作器113之預測模型，該人工神經網路最初可使用歷史資料存取記錄離線地訓練且接著在即時使用中使用即時資料存取記錄持續訓練。
在一項實例中，中央處理單元(CPU)可存取提供於連接至CPU之一或多個記憶體系統中之兩組記憶體。例如，一組記憶體可比另一組記憶體慢；且中央處理單元(CPU)可經組態以使用一分頁技術來經由較 快記憶體組存取較慢記憶體組。較快記憶體組可用作較慢記憶體組之快取記憶體。例如，一組記憶體無法藉由CPU直接定址，且其等耦合至可由CPU直接定址之另一組記憶體；且中央處理單元(CPU)可經組態以依類似於使用分頁技術之一方式存取無法經由可直接定址之記憶體組直接定址的一組記憶體。可直接存取之記憶體組可用作無法直接存取之記憶體組之快取記憶體。
當將一較快記憶體用作一較慢記憶體之一快取區時，儲存於較快記憶體中之資料在較慢記憶體中具有一對應複本。當較快記憶體變化時，較慢記憶體中之對應複本變得過時。較快記憶體中之變化內容將刷新至較慢記憶體以進行更新。
替代地，在一些例項中，可存取較慢記憶體中之內容而不經過較快記憶體；且較快記憶體中之內容可能在較慢記憶體中不具有一對應複本。可動態地改變較慢記憶體及較快記憶體中之內容分佈以最佳化當前工作負荷之操作效能。在此一情境中，可仍將較快記憶體視為一快取區以追蹤快取命中率。例如，若正在存取之一資料項係由較快記憶體服務，則計數一快取命中；且若正在存取之一資料項係由較慢記憶體服務，則計數一快取未中。
在一些例項中，一記憶體虛擬器可在一記憶體組件之一裝置驅動程式中實施以虛擬化對不同層之記憶體的記憶體存取，而從應用程式及/或虛擬機屏蔽記憶體組件109A至109N之差異。記憶體虛擬器自動調整跨不同層之記憶體的資料儲存位置，以最佳化計算系統之效能。可在於2018年8月3日申請且標題為「Memory Virtualization for Accessing Heterogeneous Memory Components」之美國專利申請案序號16/054,719 中找到記憶體虛擬器之一些細節及實例。
當正在存取之一資料項在較慢記憶體組中但未在較快記憶體組中時，可在較慢記憶體組中直接存取該資料項，或將該資料項交換至較快記憶體組以在較快記憶體組中存取或快取於較快記憶體組中。若藉由資料協作器113預測存取資料項之工作負荷，則資料協作器113指示控制器115在資料存取之前將資料項交換至較快記憶體組或將資料項快取於較快記憶體組中。在根據工作負荷預測執行資料移動之後，可在存取資料項時由較快記憶體組伺服資料存取。由於資料存取係由較快記憶體組服務，故完成資料存取之時間比由較慢記憶體組服務、或交換至較快記憶體組以服務、或將資料自較慢記憶體組載入至較快記憶體組以進行快取且接著服務之時間短。
例如，當正在存取之一虛擬記憶體頁當前在較慢記憶體組中但未在較快記憶體組中時，可自較快記憶體組分配一頁以服務較慢記憶體組中之該頁；且可自較慢記憶體組提取該頁之資料且將其儲存於較快記憶體組中之經分配頁中，使得可在後續操作中經由存取較快記憶體組中之經分配頁而進行對虛擬記憶體之該頁之資料存取。
在一些例項中，交換一頁比簡單地自較慢記憶體存取一經請求資料元件花費之時間長。因此，首先使經請求資料元件服務於請求者，同時執行頁交換以加速對熱頁(hot page)中之資料元件的後續存取。因此，總體效能比保持對資料元件之請求直至完成頁交換更佳。
此外，與較慢記憶體組中之頁之使用相關之資訊可用於在預測頁之使用時訓練一自學習預測引擎。例如，可使用一監督式機器學習技術以使用資訊訓練一人工神經網路，以藉由減小預測與頁之實際使用之 間的誤差而預測較慢記憶體組中之頁之使用。在訓練人工神經網路之後，預測引擎可使用當前資訊來預測接下來的待使用頁。此外，可以一連續方式執行訓練、預測及來自預測後實際使用之用於進一步訓練的回饋，以將人工神經網路之預測模型調適至記憶體頁之最新使用模式。
回應於即將使用較慢記憶體組中之一頁的記憶體使用預測，資料協作器113可指示控制器115主動將資料頁自較慢記憶體組交換或快取至較快記憶體組，使得當需要處理時，資料頁已在較快記憶體組中，該配置改良資料頁之資料存取速度。
可針對後續實際頁使用量測預測之準確度；且預測及後續實際頁使用可用於進一步訓練或調整人工神經網路以追蹤記憶體頁之最新使用模式。
替代地或組合地，可用基於策略之預測規則取代或擴充基於機器學習之預測。例如，儲存駐留程式碼(例如，在較低位址中)之頁可在可能時維持在較快記憶體組中以減少頻繁使用頁之交換。例如，當正在存取作為一巨型頁之一部分的一頁時，可將該巨型頁載入至較快記憶體組中。例如，可至少部分使用啟發式規則來基於以下指示(諸如是循序地還是隨機地存取頁、資料存取是處於一穩態模式還是處於一叢發模式及/或頁之間之邏輯關係(及不同大小之頁))進行預測。
可在於2018年7月11日申請且標題為「Predictive Paging to Accelerate Memory Access」之美國專利申請案序號16/032,331中找到關於預測技術之一些細節及實例。
圖6展示根據本文中揭示之至少一些實施例之具有不同記憶體層及用於最佳化資料位置之一資料協作器的一計算系統。
圖6之計算系統包含一主機系統120、經由一記憶體匯流排203連接至主機系統120之一記憶體模組205，及經由一互連207連接至記憶體模組205之一儲存裝置209。儲存裝置209及/或記憶體模組205係圖1中繪示之記憶體子系統110之實例。
主機系統120具有一處理裝置118，處理裝置118可為一中央處理單元或具有一或多個處理核心之一微處理器。主機系統120可具有一記憶體管理單元213及快取記憶體211。記憶體管理單元213及/或快取記憶體211之至少一部分可視情況整合於處理裝置118之相同積體電路封裝內。
圖6中繪示之記憶體模組205可具有多種類型之記憶體(例如，221及223)。例如，A型記憶體221比B型記憶體223快。
例如，記憶體匯流排203可為一雙倍資料速率匯流排；且互連207可為一快速周邊組件互連(PCIe)匯流排、一串列進階技術附接(SATA)匯流排、一通用串列匯流排(USB)匯流排及/或一儲存區域網路。可依比存取儲存裝置209中之B型記憶體223快之一速度存取記憶體模組205中之B型記憶體223。
圖6中繪示之儲存裝置209具有多種類型之記憶體(例如，223及225)。例如，B型記憶體223比C型記憶體225快。
一般而言，複數個記憶體模組(例如，205)可耦合至記憶體匯流排203；且複數個儲存裝置(例如，209)可耦合至周邊互連207。在一些例項中，周邊互連207及儲存裝置(例如，209)係選用的且可不在計算系統中。在其他例項中，記憶體匯流排203及記憶體模組(例如，205)可為選用的且可不在計算系統中。
在複數個記憶體模組(例如，205)耦合至記憶體匯流排203之一可能組態中，記憶體模組(例如，205)之一者具有A型記憶體221；且記憶體模組之另一者具有B型記憶體223，B型記憶體223可依低於一各別記憶體模組(例如，205)中之A型記憶體221之一速度存取。
類似地，在複數個儲存裝置(例如，209)耦合至互連207之一可能組態中，儲存裝置(例如，209)之一者具有B型記憶體223，且儲存裝置之另一者具有C型記憶體225，C型記憶體225可依低於一各別儲存裝置(例如，209)中之B型記憶體223之一速度存取。
處理裝置118及/或MMU 213經由指令(例如，一作業系統及/或一或多個裝置驅動程式)組態以使用一分頁技術及/或一記憶體映射介面經由電腦系統中之記憶體之一部分存取電腦系統中之記憶體之另一部分。
例如，記憶體模組205之B型記憶體223可經由記憶體模組205(或另一記憶體模組)之A型記憶體221存取。
例如，儲存裝置209之B型記憶體223可經由記憶體模組205之A型記憶體221及/或經由記憶體模組205之B型記憶體223存取。
例如，儲存裝置209之C型記憶體225可經由記憶體模組205之A型記憶體221、經由記憶體模組205之B型記憶體223及/或經由儲存裝置209(或另一儲存裝置)之B型記憶體223存取。
例如，在一些例項中，相同記憶體模組205(或不同記憶體模組)中之A型記憶體221及B型記憶體223可藉由處理裝置118之記憶體管理單元213經由記憶體匯流排203直接地且各別地定址。然而，由於B型記憶體223比A型記憶體221慢，故期望經由A型記憶體221存取B型記憶體 223。
在其他例項中，記憶體模組205之B型記憶體223僅可透過定址記憶體模組205之A型記憶體221而存取(例如，歸因於記憶體匯流排203之位址部分之大小限制)。
資料協作器113可指示記憶體模組205中之一控制器X 227在記憶體模組205內之A型記憶體221與B型記憶體223之間執行資料傳送/移動，特別是在記憶體模組205之B型記憶體223無法使用記憶體匯流排203直接定址時。
此外，資料協作器113可指示記憶體模組205中之一控制器X 227與儲存裝置209中之一控制器Y 229通信，以在儲存裝置209中之記憶體223至225之間及/或在儲存裝置209與記憶體模組205之間執行資料傳送/移動。
在一個變體中，記憶體模組205之記憶體(例如，221及223)可在記憶體模組205內個別地具有相同效能；然而，記憶體管理單元213及/或處理裝置118限制於經由記憶體223經由記憶體221存取(例如，歸因於記憶體匯流排203之位址部分之大小限制)。因此，記憶體223看似比記憶體221至處理裝置118更慢。
一般而言，記憶體子系統(例如，205及209)可包含諸如記憶體(例如，221、...、223、...、225)之媒體。記憶體(例如，221、...、223、...、225)可包含揮發性記憶體、非揮發性記憶體(NVM)及/或此等記憶體之一組合。在一些實施例中，電腦系統包含至少一個記憶體子系統，即一儲存裝置209。一儲存裝置209之一實例係一固態硬碟(SSD)。在一些實施例中，電腦系統包含至少一個記憶體子系統，即組態為一記憶體模組 205之一混合記憶體/儲存系統。處理裝置118可將資料寫入至記憶體子系統(例如，205及209)之各者且直接地或間接地自記憶體子系統(例如，205及209)讀取資料。
圖6之計算系統可用於實施一桌上型電腦、膝上型電腦、網路伺服器、行動裝置或包含一記憶體及一處理裝置之此計算裝置。處理裝置118可自記憶體子系統(例如，205及209)讀取資料或將資料寫入至記憶體子系統(例如，205及209)。
在一些例項中，互連207連接至主機系統120而未經過記憶體模組205及/或記憶體匯流排203。當儲存裝置209耦合至主機系統120而未經過記憶體模組205時(例如，如圖2中繪示)，可在儲存裝置209中以類似於記憶體模組205中之資料協作器113之一方式實施一資料協作器113。
在一些例項中，可至少部分在主機系統120中實施資料協作器113。
圖7展示具有一資料協作器113之一系統。例如，可在圖1、圖2、圖3、圖4或圖6之一電腦系統中實施圖7之系統。
圖7之系統包含可在圖1、圖2、圖3、圖4或圖6之電腦系統之處理裝置118中運行的一主機作業系統241。主機作業系統241包含使用記憶體子系統(諸如記憶體模組205及/或儲存裝置209)之記憶體(例如，221、...、223、...、225)提供記憶體服務之一或多個裝置驅動。
主機作業系統241包含佈建一虛擬機249之一超管理器245。虛擬機249具有經由主機作業系統241使用圖1、圖2、圖3、圖4或圖6之計算系統之硬體提供之資源及服務實施的虛擬硬體。例如，超管理器245可使用記憶體子系統(諸如記憶體模組205及/或儲存裝置209)之記憶體 (例如，221、...、223、...、225)之一部分佈建虛擬記憶體作為虛擬機249之部分。
虛擬機249容許一客戶作業系統243以如同作業系統243在具有與虛擬機中所佈建相同或類似之硬體組的一實體計算機器上運行之一方式將資源及/或服務提供至運行於客戶作業系統243上之應用程式(例如，251、...、253)。超管理器245管理虛擬機中所佈建之虛擬硬體與由主機作業系統241管理之計算系統中之硬體服務之間的映射。
圖7繪示其中藉由超管理器245佈建一虛擬機249之一例項。一般而言，超管理器245可佈建可運行相同客戶作業系統243或不同客戶作業系統(例如，243)之複數個虛擬機(例如，249)。可指派不同使用者及/或應用程式集以使用不同虛擬機。
在一些例項中，主機作業系統241專用於提供用於佈建虛擬機之服務且不運行其他應用程式。或者，主機作業系統241可提供額外服務以支援其他應用程式，諸如應用程式(例如，251、...、253)。
在圖7中，超管理器245經組態以使用單根I/O虛擬化來組織不同特性/屬性之資料串流。例如，記憶體模組205具有可實施複數個虛擬功能(例如，247)之一實體功能246。一虛擬功能247經由實體功能246提供記憶體模組205之服務。超管理器245分配且保留虛擬功能247以供一特定虛擬機249、一特定應用程式(例如，251或253)、一特定使用者帳戶等進行記憶體存取。因此，用於存取記憶體模組205之虛擬功能247之識別可用於推斷資料存取之資料使用資訊，諸如虛擬機249、應用程式251及/或相關聯於及/或負責使用虛擬功能247進行之資料存取之使用者帳戶的識別碼。在機器學習時，可在資料協作器113中使用此資訊來預測資料 工作負荷及/或移動且進行即時預測。
例如，可訓練資料協作器113以在實際請求一較慢記憶體中之一資料項以供虛擬機249、運行於虛擬機中之應用程式251及/或操作應用程式251之一使用者帳戶使用之前預測資料項之使用且將資料項載入至一較快記憶體中。該預測藉由在使用資料項之一請求到達記憶體模組205之前將該項載入、傳送及/或快取至較快記憶體中而減少請求使用該項與該項在較快記憶體中可用之間的時間，此加速頁之資料存取。
例如，較慢記憶體可為記憶體模組205中之記憶體223，且較快記憶體係相同記憶體模組205(或與記憶體模組205連接至相同記憶體匯流排203之另一記憶體模組)中之記憶體221。
例如，較慢記憶體可為儲存裝置209中之記憶體223；且較快記憶體可為記憶體模組205中之相同類型之記憶體223、或記憶體模組205中之記憶體221。
例如，較慢記憶體可為儲存裝置209中之記憶體225；且較快記憶體可為相同儲存裝置209或連接至互連207之另一儲存裝置中之記憶體223、或記憶體模組205中之記憶體(例如，223或221)。
較佳地，在一相同記憶體子系統內(諸如在相同記憶體模組205、相同儲存裝置209或記憶體模組205及儲存裝置209之相同組合內)執行預測資料移動，以避免或減少連接至處理裝置118之通信通道(諸如記憶體匯流排203及/或互連207)中之擁塞。例如，可執行預測資料移動以在記憶體模組205中之一控制器227之控制下，回應於來自資料協作器113之一或多個命令、請求或指令而將資料自記憶體模組205中之較慢記憶體223複製至記憶體模組205中之較快記憶體221。例如，可執行預測資料移動 以在儲存裝置209中之一控制器229之控制下，回應於來自資料協作器113之一或多個命令、請求或指令而將資料自儲存裝置209中之較慢記憶體225複製至儲存裝置209中之較快記憶體223。例如，可執行預測資料移動以在控制器227及儲存裝置209中之控制器229之控制下，回應於來自資料協作器113之一或多個命令、請求或指令而將資料自儲存裝置209複製至記憶體模組205。
在一項實施例中，超管理器245不僅請求裝置驅動程式存取一記憶體子系統(例如，記憶體模組205或儲存裝置209)中之一記憶體(例如，221、...、223、...或225)，而且對裝置驅動程式提供資訊，該資訊可用於預測記憶體(例如，221、...、223、...或225)中之哪些資料項可能在一後續時段中使用及記憶體(例如，221、...、223、...或225)中之哪些資料項不太可能在後續時段中使用。可至少部分經由使用與特定資料使用屬性(諸如虛擬機249、應用程式251、使用者帳戶等)預先關聯之虛擬功能(例如，247)提供資訊。
例如，可能使用之一頁可被稱為一熱頁；且不太可能使用之一頁可被稱為一冷頁(cold page)。在後續時段中使用一頁之可能性可稱為頁溫度。資料協作器113使用由超管理器245提供/識別之資訊來預測頁溫度、將冷頁自較快記憶體移動至較慢記憶體，且將熱頁自較慢記憶體移動至較快記憶體以最佳化記憶體(例如，221、...、223、...或225)中之頁之分佈且加速資料存取。
由超管理器245提供且由資料協作器113用來進行預測之資訊的實例包含：在一先前時段中使用之頁之序列、將頁自較慢記憶體載入至較快記憶體之請求之例項、頁之內容屬性、頁之所有權屬性、頁之使用 者或應用程式之識別、是否在一虛擬機及/或一使用者帳戶中以一循序模式存取頁之一指示、頁存取是否處於一穩態之一指示、所使用之一頁是否與一巨型頁相關聯之一指示、資料區塊與物件之間之映射等。
圖8繪示一資料協作器113之一實施方案。
在圖8中，資料協作器113包含一快取控制器273及一工作負荷辨識器263。工作負荷辨識器263包含可使用一人工神經網路實施之一預測模型265。
快取控制器273處理來自主機系統120之資料存取請求271。快取控制器273監控相對於一較低效能記憶體用作一快取區之一較高效能記憶體、分析快取區之使用、最佳化快取區之使用且管理快取區之使用。可在快取控制器273中實施習知快取技術。
回應於資料存取請求271，快取控制器273判定在請求271之時由請求271設為目標之資料是否在較高效能記憶體中。若如此，則快取控制器273將對應資料存取請求271計數為快取命中；且否則，快取控制器273將對應資料存取請求271計數為快取未中。因此，快取控制器273可在資料存取請求271之時產生用於資料分佈之快取命中率275之量測。
視情況，快取控制器273可直接由較低效能記憶體服務資料存取請求271之一部分，而未將對應資料快取/載入至較高效能記憶體中。
使用快取控制器273之快取策略可用於識別由快取控制器273實施之資料移動277。
在用於訓練預測模型265之計算系統之操作的一初始時段內收集對應於資料存取請求271之資料使用資訊261。例如，可使用一監 督式機器學習技術來訓練預測模型265之人工神經網路以最小化由快取控制器273回應於資料存取請求271而實施之資料移動277與使用預測模型265使用對應於資料存取請求271之資料使用資訊261預測的資料移動269之間之差異。可在另一計算裝置上離線地執行機器學習以建立初始預測模型265。
隨後，可在工作負荷辨識器263中使用預測模組265來基於即時資料使用資訊261及即時資料存取請求271即時預測資料移動269。工作負荷辨識器263指示快取控制器273執行預測資料量測，此可引起快取命中率275之變化。使用一混合加強機器學習技術即時調整及/或訓練預測模型265以持續提高快取命中率275。因此，預測模型265可自動調適至計算系統之當前工作負荷且實施預測資料移動269以達成高於單獨經由快取控制器273可達成之快取命中率的一快取命中率275。
較佳地，由工作負荷辨識器263進行之預測至少部分基於一區塊至物件映射267。針對資料使用資訊261之一統計分析，資料協作器113可識別資料區塊當中之潛在關係。例如，一些資料區塊表示一應用程式中之一相同資料物件之部分；在一起存取一資料物件之部分；一些資料物件具有以一特定順序存取之一模式；在於一虛擬機上運行一應用程式之一使用者帳戶中存取一個資料物件可具有導致存取另一資料物件之一高可能性。區塊至物件映射267識別改良工作負荷辨識器263之預測準確度之關係。
圖9展示預測資料協作之一方法。圖9之方法可由處理邏輯執行，該處理邏輯可包含硬體(例如，處理裝置、電路、專用邏輯、可程式化邏輯、微程式碼、一裝置之硬體、積體電路等)、軟體(例如，運行或 執行於一處理裝置上之指令)或其等之一組合。在一些實施例中，圖9之方法至少部分由圖1至圖8之資料協作器113執行。儘管以一特定序列或順序展示，然除非另有指定，否則可修改程序之順序。因此，所繪示實施例應僅被理解為實例，且所繪示程序可依一不同順序執行，且一些程序可並行執行。另外，在各項實施例中，可省略一或多個程序。因此，並非每項實施例皆需要全部程序。其他程序流程係可能的。
例如，可在圖1、圖2、圖3、圖4或圖6之一計算系統中運用圖7之一主機作業系統241及圖8之一預測模型265實施圖9之方法。例如，資料協作器113可至少部分經由圖8之快取控制器273及工作負荷辨識器263及/或圖7之虛擬功能247實施。
在方塊331，資料協作器113自一處理裝置118接收引起跨記憶體組件層之第一資料移動的第一資料存取請求。
例如，不同層之記憶體組件(例如，圖1中之109A至109N、圖7中之221至223及/或至225)可具有第一記憶體及第二記憶體，其中第一記憶體用作第二記憶體之快取區。例如，第一記憶體可為揮發性動態隨機存取記憶體；且第二記憶體可為非揮發性交叉點記憶體。在一些例項中，第一記憶體及第二記憶體容置於一相同記憶體子系統中，諸如一記憶體模組205或一儲存裝置209。在其他例項中，第一記憶體及第二記憶體可容置於可在不涉及主機系統120及/或記憶體匯流排203之情況下彼此通信之各別的相同記憶體子系統中。
當處理裝置118存取第二記憶體時，存取請求引起在第一記憶體中快取正在存取之第二記憶體之部分。在其他例項中，第一記憶體未用作第二記憶體之快取區；且回應於存取在第二記憶體中之一資料項之 一請求，資料協作器113基於一組策略或規則判定是否將資料項之儲存位置自第二記憶體改變為第一記憶體；且若如此，則資料協作器113可將資料項自第二記憶體交換至第一記憶體。
在方塊333，資料協作器113回應於第一資料存取請求而執行第一資料移動。
例如，可結合與第一資料存取請求相關聯之資料使用資訊來記錄回應於第一資料存取請求而執行/實施之第一資料移動。例如，資料使用資訊可識別在一時段內使用資料區塊之一序列、將資料區塊自第二記憶體載入至第一記憶體之請求之例項、自第二記憶體載入至第一記憶體之資料區塊之內容屬性、自第二記憶體載入至第一記憶體之資料區塊之所有權屬性、自第二記憶體載入至第一記憶體之資料區塊之使用者之識別、引起將資料區塊自第二記憶體載入至第一記憶體之應用程式之識別、在一虛擬機中以一循序模式存取之資料區塊之一識別、在一使用者帳戶中以一循序模式存取之資料區塊之一識別，及/或處於一穩態之資料存取之一識別。
第一資料移動可用作使用與第一資料存取請求相關聯之資料使用資訊進行預測之一預測模型265的所要預測結果。例如，預測模型265具有一人工神經網路，該人工神經網路可使用一監督式機器學習技術訓練以減少第一資料移動與使用相關聯於第一資料存取請求之資料使用資訊進行之預測之間的差異。視情況，可使用一單獨電腦及關於第一資料存取請求之經記錄資訊、由第一資料存取請求引起之第一資料移動及第一資料存取之前之資料使用資訊來離線地執行對人工神經網路之一初始訓練。例如，資料協作器113可將經記錄資訊儲存於由資料協作器113控制之記 憶體之一部分中；且另一處理裝置118可存取記憶體之部分以對資料協作器113執行初始訓練。或者，可在資料協作器113中執行對人工神經網路之初始訓練，直至預測模型265之預測準確度達到一臨限位準。
在方塊335，一記憶體子系統110(例如，記憶體模組205及/或儲存裝置209)在第一資料移動之後服務第一資料存取請求。可藉由在對應資料存取請求之前預測資料移動及執行預測資料移動而改良計算系統之效能。
在方塊337，資料協作器113自處理裝置118接收資料使用資訊261。
在方塊339，資料協作器113基於資料使用資訊261及經由機器學習訓練之預測模型265來預測跨記憶體組件中之層之第二資料移動269。
在方塊341，資料協作器113在接收到第二資料存取請求271之前執行第二資料移動269。第二資料移動269減少因第二資料存取請求引起之跨層資料移動。
資料協作器113可視情況基於在由處理裝置118服務第二資料存取請求時對複數個記憶體組件之一效能量測及/或因第二資料存取請求引起之資料移動來進一步訓練預測模型。
例如，效能量測可為藉由資料協作器113量測之第二資料存取請求之一快取命中率。例如，處理裝置118對第二記憶體中之資料之請求可引起經請求資料自第二記憶體至第一記憶體之移動；可將此等移動計數為快取未中；且可將未引起此等移動之資料存取請求計數為快取命中。資料協作器113可使用一混合加強學習技術來訓練預測模型265以提 高快取命中率、減少快取未中計數，及/或匹配預測與自資料存取請求識別之所要資料移動。
例如，資料協作器113可實施為以一場可程式化閘陣列(FPGA)或一特定應用積體電路(ASIC)之形式安置於一記憶體模組或一儲存裝置上之一積體電路晶片中的一控制器。資料協作器113至少部分基於其中使用資料存取請求之虛擬功能(例如，247)之識別來獲得資料使用資訊261。例如，不同虛擬功能(例如，247)可用於表示一時段內之資料使用資訊之不同組合，諸如虛擬機、應用程式、使用者帳戶、資料存取模式等。
視情況，資料協作器113進一步執行對資料存取請求271及資料使用資訊261之一統計分析，以識別複數個記憶體組件中之資料區塊與如運行於處理裝置中之應用程式中所組織之資料物件之間的一映射。使用與預測模型265之映射可改良資料協作器113之預測準確度。
較佳地，在不經過藉由資料協作器113使用以與主機系統120通信之匯流排(例如，203)之情況下執行預測資料移動269。
在一些實施方案中，處理裝置118與一記憶體子系統之間之一通信通道包含一電腦網路，諸如一區域網路、一無線區域網路、一無線個人區域網路、一蜂巢式通信網路、一寬頻高速始終連接之無線通信連接(例如，一當前或下一代行動網路鏈路)；且處理裝置118及記憶體子系統可經組態以使用類似於NVMe協定中之資料儲存管理及使用命令的資料儲存管理及使用命令來彼此通信。
一記憶體子系統一般可具有非揮發性儲存媒體。非揮發性儲存媒體之實例包含形成於一積體電路中之記憶體胞及塗佈於硬磁碟上之 磁性材料。非揮發性儲存媒體可在未消耗電力之情況下維持儲存於其中之資料/資訊。記憶體胞可使用各種記憶體/儲存技術實施，諸如NAND邏輯閘、NOR邏輯閘、相變記憶體(PCM)、磁性記憶體(MRAM)、電阻式隨機存取記憶體、交叉點儲存及記憶體裝置(例如，3D XPoint記憶體)。一交叉點記憶體裝置使用無電晶體之記憶體元件，該等記憶體元件之各者具有在一起堆疊為一行之一記憶體胞及一選擇器。記憶體元件行經由兩層垂直線敷設(lay of wires)連接，其中一層敷設在記憶體元件行上方且另一層敷設在記憶體元件行下方。可在兩個層之各者上之一條線的一交叉點處個別地選擇各記憶體元件。交叉點記憶體裝置係快速的且非揮發性的，且可用作用於處理及儲存之一統一記憶體集區。
一記憶體子系統(例如，205或209)之控制器(例如，227或229)可運行韌體以回應於來自處理裝置118之通信而執行操作。韌體一般為提供對工程計算裝置之控制、監控及資料操縱的一類型之電腦程式。
涉及控制器227之操作之一些實施例可使用由控制器227執行之電腦指令(諸如控制器227之韌體)來實施。在一些例項中，硬體電路可用於實施至少一些功能。韌體最初可儲存於非揮發性儲存媒體或另一非揮發性裝置中，且載入至揮發性DRAM及/或處理器內快取記憶體中以由控制器227執行。
一非暫時性電腦儲存媒體可用於儲存一記憶體子系統(例如，209或205)之韌體之指令及/或一般而言作業系統(例如，241、243)以及特定言之裝置驅動程式及超管理器245之指令。當藉由控制器227及/或處理裝置118執行指令時，指令引起控制器227及/或處理裝置118執行上文論述之一方法。
圖10繪示一電腦系統600之一例示性機器，可在電腦系統600內執行用於引起該機器執行本文中論述之方法論之任一或多者的一指令集。在一些實施例中，電腦系統600可對應於包含、耦合至或利用一記憶體子系統(例如，圖1之記憶體子系統110)之一主機系統(例如，圖1之主機系統120)，或其可用於執行一資料協作器113之操作(例如，以執行指令而執行對應於關於圖1至圖9描述之資料協作器113之操作)。在替代實施例中，機器可連接(例如，連網)至一LAN、一內部網路、一外部網路及/或網際網路中之其他機器。機器可在用戶端-伺服器網路環境中以一伺服器或一用戶端機器之身份操作，在一同級間(或分佈式)網路環境中作為一同級機器，或在一雲端計算基礎設施或環境中作為一伺服器或一用戶端機器。
機器可為一個人電腦(PC)、一平板PC、一機上盒(STB)、一個人數位助理(PDA)、一蜂巢式電話、一網路設備、一伺服器、一網路路由器、一交換機或橋接器，或能夠執行指定待由該機器採取之動作之一指令集(循序地或以其他方式)的任何機器。此外，雖然繪示一單一機器，但術語「機器」亦應被視為包含個別地或聯合地執行一(或多個)指令集以執行本文中論述之方法論之任一或多者的任何機器集合。
例示性電腦系統600包含經由一匯流排630(其可包含多個匯流排)彼此通信之一處理裝置602、一主記憶體604(例如，唯讀記憶體(ROM)、快閃記憶體、動態隨機存取記憶體(DRAM)(諸如同步DRAM(SDRAM)或Rambus DRAM(RDRAM))、靜態隨機存取記憶體(SRAM)等)及一資料儲存系統618。
處理裝置602表示一或多個通用處理裝置，諸如一微處理 器、一中央處理單元或類似者。更特定言之，處理裝置可為一複雜指令集計算(CISC)微處理器、精簡指令集計算(RISC)微處理器、極長指令字(VLIW)微處理器、或實施其他指令集之一處理器、或實施一指令集組合之處理器。處理裝置602亦可為一或多個專用處理裝置，諸如一特定應用積體電路(ASIC)、一場可程式化閘陣列(FPGA)、一數位信號處理器(DSP)、網路處理器或類似者。處理裝置602經組態以執行用於執行本文中論述之操作及步驟之指令626。電腦系統600可進一步包含一網路介面裝置608以經由網路620通信。
資料儲存系統618可包含一機器可讀儲存媒體624(亦被稱為一電腦可讀媒體)，一或多個指令626集或體現本文中描述之方法論或功能之任一或多者的軟體儲存於機器可讀儲存媒體624上。指令626亦可在其藉由電腦系統600執行期間完全或至少部分駐留在主記憶體604及/或處理裝置602內，主記憶體604及處理裝置602亦構成機器可讀儲存媒體。機器可讀儲存媒體624、資料儲存系統618及/或主記憶體604可對應於圖1之記憶體子系統110。
在一項實施例中，指令626包含用於實施對應於一資料協作器113(例如，關於圖1至圖9描述之資料協作器113)之功能性的指令。雖然機器可讀儲存媒體624在一實例實施例中被展示為一單一媒體，但術語「機器可讀儲存媒體」應被視為包含儲存一或多個指令集之一單一媒體或多個媒體。術語「機器可讀儲存媒體」亦應被視為包含能夠儲存或編碼一指令集以由機器執行且引起機器執行本發明之方法論之任一或多者的任何媒體。因此，術語「機器可讀儲存媒體」應被視為包含但不限於固態記憶體、光學媒體及磁性媒體。
已依據對一電腦記憶體內之資料位元之操作的演算法及符號表示呈現前文[實施方式]之一些部分。此等演算法描述及表示係由熟習資料處理技術者使用以最有效地將其等工作實質傳達給其他熟習此項技術者之方式。在此且一般而言，一演算法被認為是導致一所要結果之一自我一致操作序列。操作係需要實體操縱實體量之操作。通常但非必要，此等量採取能夠被儲存、組合、比較及以其他方式操縱之電信號或磁信號之形式。主要出於常用之原因，已證實將此等信號稱為位元、值、元件、符號、字元、項、數字或類似者有時是方便的。
然而，應記住，全部此等及類似術語應與適當實體量相關聯且僅為應用於此等量之方便標籤。本發明可涉及一電腦系統或類似電子計算裝置將表示為電腦系統之暫存器及記憶體內之實體(電子)量的資料操縱及變換成類似地表示為電腦系統記憶體或暫存器或其他此等資訊儲存系統內之實體量的其他資料之動作及程序。
本發明亦係關於一種用於執行本文中之操作之設備。此設備可專門建構用於所欲目的，或其可包含藉由儲存於電腦中之一電腦程式選擇性地啟動或重新組態之一通用電腦。此一電腦程式可儲存於一電腦可讀儲存媒體中，諸如但不限於任何類型之磁碟，包含軟碟、光碟、CD-ROM及磁光碟、唯讀記憶體(ROM)、隨機存取記憶體(RAM)、EPROM、EEPROM、磁卡或光卡、或適於儲存電子指令之任何類型之媒體，其等各自耦合至一電腦系統匯流排。
本文中呈現之演算法及顯示器並非固有地與任何特定電腦或其他設備相關。各種通用系統可搭配根據本文中之教示之程式使用，或可證實建構一更專業設備以執行方法係方便的。多種此等系統之結構將如 下文描述中所闡述般出現。另外，未參考任何特定程式設計語言描述本發明。將明白，可使用多種程式設計語言來實施如本文中描述之本發明之教示。
本發明可被提供為一電腦程式產品或軟體，其可包含其上儲存有指令之一機器可讀媒體，該等指令可用於程式化一電腦系統(或其他電子裝置)以執行根據本發明之一程序。一機器可讀媒體包含用於以一機器(例如，一電腦)可讀之一形式儲存資訊之任何機構。在一些實施例中，一機器可讀(例如，電腦可讀)媒體包含一機器(例如，一電腦)可讀儲存媒體，諸如一唯讀記憶體(「ROM」)、隨機存取記憶體(「RAM」)、磁碟儲存媒體、光學儲存媒體、快閃記憶體組件等。
在本描述中，各種功能及操作被描述為由電腦指令執行或引起以簡化描述。然而，熟習此項技術者將認知，此等表達意謂功能因藉由一或多個控制器或處理器(諸如一微處理器)執行電腦指令而產生。替代地或組合地，可使用具有或不具有軟體指令之專用電路(諸如使用特定應用積體電路(ASIC)或場可程式化閘陣列(FPGA))來實施功能及操作。可使用不具有軟體指令之硬接線電路或結合軟體指令來實施實施例。因此，技術既不限於硬體電路及軟體之任何特定組合亦不限於藉由資料處理系統執行之指令之任何特定來源。
在前述說明書中，已參考本發明之特定實例實施例描述本發明之實施例。將顯而易見的是，可在不脫離如下文發明申請專利範圍中所闡述之本發明之實施例之更廣泛精神及範疇之情況下對本發明之實施例進行各種修改。因此，本說明書及圖式應被視為闡釋性意義而非限制性意義。
100‧‧‧計算系統
109A至109N‧‧‧記憶體組件
110‧‧‧記憶體子系統
113‧‧‧資料協作器
115‧‧‧控制器
116‧‧‧控制器
117‧‧‧處理裝置
118‧‧‧處理裝置
119‧‧‧本地記憶體
120‧‧‧主機系統

Claims (14)

  1. 一種電腦系統，其包括：一主機系統，其可操作地耦合至複數個記憶體組件及一遠程直接記憶體存取網路介面卡以至少：為運行於該主機系統中之一應用程式分配一虛擬記憶體頁；將該虛擬記憶體頁映射至該複數個記憶體組件中之一實體記憶體頁；藉由該主機系統指示該遠程直接記憶體存取網路介面卡執行一遠程直接記憶體存取操作；其中在該遠程直接記憶體存取操作期間，該遠程直接記憶體存取網路介面卡在該複數個記憶體組件中之該實體記憶體頁與經由一電腦網路連接至該遠程直接記憶體存取網路介面卡之一遠程裝置之間執行一資料傳送；及至少在該資料傳送之一持續時間內鎖定該虛擬記憶體頁與該複數個記憶體組件中之該實體記憶體頁之間的一映射；一控制器，其經組態以在該複數個記憶體組件內執行預測資料移動。
  2. 如請求項1之電腦系統，其中該主機系統進一步經組態以在該遠程直接記憶體存取操作之後解鎖該虛擬記憶體頁與該複數個記憶體組件之間的該映射。
  3. 如請求項1之電腦系統，其中該主機系統進一步經組態以在該資料傳送之後解鎖該虛擬記憶體頁與該複數個記憶體組件之間的該映射。
  4. 如請求項3之電腦系統，其中該主機系統進一步經組態以經由以下一者偵測該資料傳送之一完成：耦合至該應用程式之一通知代理；耦合至其中運行該應用程式之一作業系統之一通知代理；及運行於該作業系統中之一遠程直接記憶體存取驅動程式，其中該遠程裝置作為一遠程卷安裝於該作業系統中。
  5. 如請求項3之電腦系統，其中該主機系統進一步經組態以經由一超管理器偵測該資料傳送之一完成。
  6. 如請求項5之電腦系統，其中該主機系統進一步經組態以經由運行於該超管理器中之一遠程直接記憶體存取驅動程式偵測該資料傳送之該完成。
  7. 如請求項6之電腦系統，其中該遠程直接記憶體存取網路介面卡實施單根輸入/輸出虛擬化，包含一實體功能及複數個虛擬功能；且運行於該超管理器中之該遠程直接記憶體存取驅動程式控制該遠程直接記憶體存取網路介面卡之該實體功能。
  8. 如請求項7之電腦系統，其中該超管理器具有在該資料傳送之該期間 內鎖定該映射之一記憶體裝置驅動程式；該等記憶體組件包含一第一記憶體及比該第一記憶體慢之一第二記憶體；且該實體記憶體之該頁在該第二記憶體中。
  9. 如請求項8之電腦系統，其中該第一記憶體係揮發性動態隨機存取記憶體且該第二記憶體係非揮發性交叉點記憶體。
  10. 如請求項8之電腦系統，其中該主機系統回應於該遠程直接記憶體存取操作而鎖定該虛擬記憶體頁與該第二記憶體之該頁之間的該映射。
  11. 如請求項10之電腦系統，其中該主機系統包含一中央處理單元(CPU)及一記憶體管理單元；且該CPU經由一快速周邊組件互連(PCIe)匯流排耦合至該遠程直接記憶體存取網路介面卡。
  12. 如請求項10之電腦系統，其中該控制器包括一資料協作器，該資料協作器使用一場可程式化閘陣列(FPGA)或一特定應用積體電路(ASIC)實施以實施一人工神經網路而使用該人工神經網路預測該等資料移動。
  13. 一種遠程直接記憶體存取方法，其包括：為一應用程式分配一虛擬記憶體頁；將該虛擬記憶體頁映射至複數個記憶體組件中之一實體記憶體頁；在該複數個記憶體組件內執行預測資料移動；藉由該應用程式指示一遠程直接記憶體存取網路介面卡執行一遠程 直接記憶體存取操作，其中在該遠程直接記憶體存取操作期間，該遠程直接記憶體存取網路介面卡在該複數個記憶體組件中之該實體記憶體頁與經由一電腦網路連接至該遠程直接記憶體存取網路介面卡之一遠程裝置之間執行一資料傳送；及至少在該資料傳送之一持續時間內鎖定該虛擬記憶體頁與該複數個記憶體組件中之該實體記憶體頁之間的一映射。
  14. 如請求項13之方法，其進一步包括在該資料傳送之後：解鎖該映射；及基於一工作負荷預測將該虛擬記憶體頁自該複數個記憶體組件中之一第一記憶體交換至該複數個記憶體組件中之一第二記憶體，該第二記憶體比該第一記憶體快。
TW108103274A 2018-02-05 2019-01-29 多層記憶體系統中之遠程直接記憶體存取 TWI740097B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862626523P 2018-02-05 2018-02-05
US62/626,523 2018-02-05
US16/107,624 2018-08-21
US16/107,624 US11099789B2 (en) 2018-02-05 2018-08-21 Remote direct memory access in multi-tier memory systems

Publications (2)

Publication Number Publication Date
TW201937373A TW201937373A (zh) 2019-09-16
TWI740097B true TWI740097B (zh) 2021-09-21

Family

ID=67475534

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108103274A TWI740097B (zh) 2018-02-05 2019-01-29 多層記憶體系統中之遠程直接記憶體存取

Country Status (6)

Country Link
US (2) US11099789B2 (zh)
EP (1) EP3750068A4 (zh)
KR (1) KR20200108364A (zh)
CN (1) CN111684424A (zh)
TW (1) TWI740097B (zh)
WO (1) WO2019152225A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10782908B2 (en) 2018-02-05 2020-09-22 Micron Technology, Inc. Predictive data orchestration in multi-tier memory systems
US11416395B2 (en) 2018-02-05 2022-08-16 Micron Technology, Inc. Memory virtualization for accessing heterogeneous memory components
US11099789B2 (en) 2018-02-05 2021-08-24 Micron Technology, Inc. Remote direct memory access in multi-tier memory systems
US10880401B2 (en) 2018-02-12 2020-12-29 Micron Technology, Inc. Optimization of data access and communication in memory systems
US10877892B2 (en) 2018-07-11 2020-12-29 Micron Technology, Inc. Predictive paging to accelerate memory access
US10810069B2 (en) * 2018-07-17 2020-10-20 Accenture Global Solutions Limited Data processing for component failure determination
US10831523B2 (en) * 2018-10-08 2020-11-10 Microsoft Technology Licensing, Llc RDMA with virtual address space
US10852949B2 (en) 2019-04-15 2020-12-01 Micron Technology, Inc. Predictive data pre-fetching in a data storage device
US10838870B2 (en) * 2019-04-17 2020-11-17 EMC IP Holding Company LLC Aggregated write and caching operations based on predicted patterns of data transfer operations
US11210248B2 (en) 2019-12-20 2021-12-28 Advanced Micro Devices, Inc. System direct memory access engine offload
US11868638B2 (en) * 2020-08-31 2024-01-09 Micron Technology, Inc. Inter-memory movement in a multi-memory system
CN112667354B (zh) 2020-12-30 2022-05-06 上海壁仞智能科技有限公司 计算机可读取存储介质、虚拟化寄存器装置及访问该装置的方法
US11733884B2 (en) * 2021-03-19 2023-08-22 Micron Technology, Inc. Managing storage reduction and reuse with failing multi-level memory cells
US11847063B2 (en) 2022-01-11 2023-12-19 International Business Machines Corporation Reinforcing high availability of distributed relational databases

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8131814B1 (en) * 2008-07-11 2012-03-06 Hewlett-Packard Development Company, L.P. Dynamic pinning remote direct memory access
US8700724B2 (en) * 2002-08-19 2014-04-15 Broadcom Corporation System and method for transferring data over a remote direct memory access (RDMA) network
US20150067087A1 (en) * 2013-08-29 2015-03-05 International Business Machines Corporation Automatic pinning and unpinning of virtual pages for remote direct memory access
US20160212214A1 (en) * 2015-01-16 2016-07-21 Avago Technologies General Ip (Singapore) Pte. Ltd. Tunneled remote direct memory access (rdma) communication
US20160350236A1 (en) * 2015-05-28 2016-12-01 Red Hat Israel, Ltd. Memory swap for direct memory access by a device assigned to a guest operating system

Family Cites Families (188)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04230508A (ja) 1990-10-29 1992-08-19 Internatl Business Mach Corp <Ibm> 低電力消費メモリ装置
WO1996035169A1 (en) 1995-05-05 1996-11-07 Silicon Graphics, Inc. Page migration in a non-uniform memory access (numa) system
US5909540A (en) 1996-11-22 1999-06-01 Mangosoft Corporation System and method for providing highly available data storage using globally addressable memory
US6148377A (en) 1996-11-22 2000-11-14 Mangosoft Corporation Shared memory computer networks
US6026475A (en) 1997-11-26 2000-02-15 Digital Equipment Corporation Method for dynamically remapping a virtual address to a physical address to maintain an even distribution of cache page addresses in a virtual address space
US6279138B1 (en) 1998-08-04 2001-08-21 International Business Machines Corporation System for changing the parity structure of a raid array
US6230260B1 (en) 1998-09-01 2001-05-08 International Business Machines Corporation Circuit arrangement and method of speculative instruction execution utilizing instruction history caching
US6247097B1 (en) 1999-01-22 2001-06-12 International Business Machines Corporation Aligned instruction cache handling of instruction fetches across multiple predicted branch instructions
US6473845B1 (en) 2000-09-28 2002-10-29 Hewlett-Packard Company System and method for dynamically updating memory address mappings
US6515917B2 (en) 2001-04-10 2003-02-04 International Business Machines Corporation Digital-to-analog converter (dac) for dynamic adjustment of off-chip driver pull-up and pull down impedance by providing a variable reference voltage to high frequency receiver and driver circuits for commercial memory
US6646912B2 (en) 2001-06-05 2003-11-11 Hewlett-Packard Development Company, Lp. Non-volatile memory
US7437438B2 (en) 2001-12-27 2008-10-14 Hewlett-Packard Development Company, L.P. System and method for energy efficient data prefetching
US20040186960A1 (en) 2003-03-20 2004-09-23 Sun Microsystems, Inc. Computer processor data prefetch unit
CN100465955C (zh) 2004-10-12 2009-03-04 国际商业机器公司 用于高速缓存万维网内容的方法和系统
JP4956922B2 (ja) 2004-10-27 2012-06-20 ソニー株式会社 記憶装置
US20060095679A1 (en) 2004-10-28 2006-05-04 Edirisooriya Samantha J Method and apparatus for pushing data into a processor cache
US7376681B1 (en) 2004-12-23 2008-05-20 Emc Corporation Methods and apparatus for accessing information in a hierarchical file system
US7334076B2 (en) 2005-03-08 2008-02-19 Microsoft Corporation Method and system for a guest physical address virtualization in a virtual machine environment
US7571295B2 (en) 2005-08-04 2009-08-04 Intel Corporation Memory manager for heterogeneous memory control
US7631245B2 (en) 2005-09-26 2009-12-08 Sandisk Il Ltd. NAND flash memory controller exporting a NAND interface
US8291295B2 (en) 2005-09-26 2012-10-16 Sandisk Il Ltd. NAND flash memory controller exporting a NAND interface
US7933923B2 (en) 2005-11-04 2011-04-26 International Business Machines Corporation Tracking and reconciling database commands
JP4863749B2 (ja) 2006-03-29 2012-01-25 株式会社日立製作所 フラッシュメモリを用いた記憶装置、その消去回数平準化方法、及び消去回数平準化プログラム
US7849302B2 (en) 2006-04-10 2010-12-07 Apple Inc. Direct boot arrangement using a NAND flash memory
US7496711B2 (en) 2006-07-13 2009-02-24 International Business Machines Corporation Multi-level memory architecture with data prioritization
US8352709B1 (en) 2006-09-19 2013-01-08 Nvidia Corporation Direct memory access techniques that include caching segmentation data
TWI530791B (zh) 2007-01-10 2016-04-21 木比爾半導體股份有限公司 用於改善外部計算裝置效能的調適性記憶體系統
US8001336B2 (en) 2007-03-02 2011-08-16 International Business Machines Corporation Deterministic memory management in a computing environment
US8996834B2 (en) 2007-05-21 2015-03-31 International Business Machines Corporation Memory class based heap partitioning
US8645974B2 (en) * 2007-08-02 2014-02-04 International Business Machines Corporation Multiple partition adjunct instances interfacing multiple logical partitions to a self-virtualizing input/output device
US8281303B2 (en) 2007-10-31 2012-10-02 Hewlett-Packard Development Company, L.P. Dynamic ejection of virtual devices on ejection request from virtual device resource object within the virtual firmware to virtual resource driver executing in virtual machine
JP5238235B2 (ja) 2007-12-07 2013-07-17 株式会社日立製作所 管理装置及び管理方法
US8375190B2 (en) 2007-12-11 2013-02-12 Microsoft Corporation Dynamtic storage hierarachy management
US8255631B2 (en) 2008-02-01 2012-08-28 International Business Machines Corporation Priority-based prefetch requests scheduling and throttling
US8082400B1 (en) 2008-02-26 2011-12-20 Hewlett-Packard Development Company, L.P. Partitioning a memory pool among plural computing nodes
US8560761B2 (en) 2008-03-31 2013-10-15 Spansion Llc Memory resource management for a flash aware kernel
US8289760B2 (en) 2008-07-02 2012-10-16 Micron Technology, Inc. Multi-mode memory device and method having stacked memory dice, a logic die and a command processing circuit and operating in direct and indirect modes
US8316187B2 (en) 2008-07-08 2012-11-20 International Business Machines Corporation Cache memory including a predict buffer
US20100017650A1 (en) 2008-07-19 2010-01-21 Nanostar Corporation, U.S.A Non-volatile memory data storage system with reliability management
JP2010086049A (ja) 2008-09-29 2010-04-15 Hitachi Ltd 管理計算機及びその運用方法
US8429665B2 (en) 2010-03-19 2013-04-23 Vmware, Inc. Cache performance prediction, partitioning and scheduling based on cache pressure of threads
JP5221332B2 (ja) 2008-12-27 2013-06-26 株式会社東芝 メモリシステム
US8412880B2 (en) 2009-01-08 2013-04-02 Micron Technology, Inc. Memory system controller to manage wear leveling across a plurality of storage nodes
US8725983B2 (en) 2009-01-23 2014-05-13 Cypress Semiconductor Corporation Memory devices and systems including multi-speed access of memory modules
US8321645B2 (en) 2009-04-29 2012-11-27 Netapp, Inc. Mechanisms for moving data in a hybrid aggregate
US8117373B2 (en) 2009-04-30 2012-02-14 Kimon Berlin VM host responding to initiation of a page swap by transferring pages from host-but-non-guest-addressable RAM to host-and-guest-addressable RAM
JP4990322B2 (ja) 2009-05-13 2012-08-01 株式会社日立製作所 データ移動管理装置及び情報処理システム
US8719547B2 (en) * 2009-09-18 2014-05-06 Intel Corporation Providing hardware support for shared virtual memory between local and remote physical memory
US8595411B2 (en) 2009-12-30 2013-11-26 Sandisk Technologies Inc. Method and controller for performing a sequence of commands
US8850151B2 (en) 2010-03-24 2014-09-30 Apple Inc. Hybrid-device storage based on environmental state
US8965819B2 (en) 2010-08-16 2015-02-24 Oracle International Corporation System and method for effective caching using neural networks
US9009384B2 (en) 2010-08-17 2015-04-14 Microsoft Technology Licensing, Llc Virtual machine memory management in systems with asymmetric memory
CN101930404B (zh) 2010-08-27 2012-11-21 威盛电子股份有限公司 存储装置及其操作方法
US8468365B2 (en) 2010-09-24 2013-06-18 Intel Corporation Tweakable encryption mode for memory encryption with protection against replay attacks
US8533422B2 (en) 2010-09-30 2013-09-10 Intel Corporation Instruction prefetching using cache line history
US8799554B1 (en) 2010-10-27 2014-08-05 Amazon Technologies, Inc. Methods and system for swapping memory in a virtual machine environment
US8990538B2 (en) 2010-11-05 2015-03-24 Microsoft Corporation Managing memory with limited write cycles in heterogeneous memory systems
US8561065B2 (en) * 2010-11-15 2013-10-15 International Business Machines Corporation Virtualization of vendor specific network interfaces of self-virtualizing input/output device virtual functions
KR20140041408A (ko) 2011-01-04 2014-04-04 콘두시브 테크놀로지스 코포레이션 저장 위치 속성 및 데이터 사용량 통계에 기초하여 데이터 저장을 위한 저장 위치 선택
US9141527B2 (en) 2011-02-25 2015-09-22 Intelligent Intellectual Property Holdings 2 Llc Managing cache pools
JP5664347B2 (ja) 2011-03-04 2015-02-04 ソニー株式会社 仮想メモリシステム、仮想メモリの制御方法、およびプログラム
US8775731B2 (en) 2011-03-25 2014-07-08 Dell Products, L.P. Write spike performance enhancement in hybrid storage systems
US8930647B1 (en) 2011-04-06 2015-01-06 P4tents1, LLC Multiple class memory systems
US9141528B2 (en) 2011-05-17 2015-09-22 Sandisk Technologies Inc. Tracking and handling of super-hot data in non-volatile memory systems
US9176864B2 (en) 2011-05-17 2015-11-03 SanDisk Technologies, Inc. Non-volatile memory and method having block management with hot/cold data sorting
US20120297121A1 (en) 2011-05-17 2012-11-22 Sergey Anatolievich Gorobets Non-Volatile Memory and Method with Small Logical Groups Distributed Among Active SLC and MLC Memory Partitions
US8983911B2 (en) 2011-06-20 2015-03-17 Microsoft Technology Licensing, Llc Storage media abstraction for uniform data storage
US9047017B1 (en) 2011-12-20 2015-06-02 Emc Corporation Techniques for automated evaluation and movement of data between storage tiers
US10380022B2 (en) 2011-07-28 2019-08-13 Netlist, Inc. Hybrid memory module and system and method of operating the same
US9342453B2 (en) 2011-09-30 2016-05-17 Intel Corporation Memory channel that supports near memory and far memory access
US20130145095A1 (en) 2011-12-06 2013-06-06 Lsi Corporation Melthod and system for integrating the functions of a cache system with a storage tiering system
KR20130064521A (ko) 2011-12-08 2013-06-18 삼성전자주식회사 데이터 저장 장치 및 그것의 데이터 관리 방법
KR101850318B1 (ko) 2011-12-09 2018-04-20 삼성전자주식회사 가상 메모리 관리 장치 및 방법
US9817761B2 (en) 2012-01-06 2017-11-14 Sandisk Technologies Llc Methods, systems, and computer readable media for optimization of host sequential reads or writes based on volume of data transfer
IN2014DN05977A (zh) 2012-02-08 2015-06-26 Hitachi Ltd
US8849731B2 (en) 2012-02-23 2014-09-30 Microsoft Corporation Content pre-fetching for computing devices
CN102662690B (zh) * 2012-03-14 2014-06-11 腾讯科技（深圳）有限公司 应用程序启动方法和装置
US8838887B1 (en) 2012-03-30 2014-09-16 Emc Corporation Drive partitioning for automated storage tiering
US9043530B1 (en) 2012-04-09 2015-05-26 Netapp, Inc. Data storage within hybrid storage aggregate
US9996370B1 (en) 2012-04-18 2018-06-12 Open Invention Network Llc Page swapping in virtual machine environment
US9201779B2 (en) 2012-06-27 2015-12-01 Hitachi, Ltd. Management system and management method
US10339056B2 (en) 2012-07-03 2019-07-02 Sandisk Technologies Llc Systems, methods and apparatus for cache transfers
US9128845B2 (en) 2012-07-30 2015-09-08 Hewlett-Packard Development Company, L.P. Dynamically partition a volatile memory for a cache and a memory partition
US10303618B2 (en) 2012-09-25 2019-05-28 International Business Machines Corporation Power savings via dynamic page type selection
US9817739B1 (en) 2012-10-31 2017-11-14 Veritas Technologies Llc Method to restore a virtual environment based on a state of applications/tiers
US9431064B2 (en) 2012-11-02 2016-08-30 Taiwan Semiconductor Manufacturing Company, Ltd. Memory circuit and cache circuit configuration
US9069658B2 (en) * 2012-12-10 2015-06-30 Google Inc. Using a virtual to physical map for direct user space communication with a data storage device
US9164888B2 (en) 2012-12-10 2015-10-20 Google Inc. Using a logical to physical map for direct user space communication with a data storage device
WO2014098839A1 (en) 2012-12-19 2014-06-26 Hewlett-Packard Development Company Nvram path selection
US9552288B2 (en) 2013-02-08 2017-01-24 Seagate Technology Llc Multi-tiered memory with different metadata levels
US9672230B1 (en) 2013-04-03 2017-06-06 Ca, Inc. Optimized placement of data
JP5577430B1 (ja) 2013-06-11 2014-08-20 株式会社ブリヂストン 空気入りタイヤ
US9984089B2 (en) 2013-06-28 2018-05-29 Vmware, Inc. Techniques for implementing hybrid flash/HDD-based virtual disk files
US20150016046A1 (en) 2013-07-10 2015-01-15 Samsung Electronics Co., Ltd. Ina cabled memory appliance
US20150026509A1 (en) 2013-07-22 2015-01-22 Kabushiki Kaisha Toshiba Storage device having a data stream converter
WO2015017147A1 (en) 2013-07-29 2015-02-05 Silicon Graphics International Corp. I/o acceleration in hybrid storage
GB2517493A (en) 2013-08-23 2015-02-25 Advanced Risc Mach Ltd Handling access attributes for data accesses
US9086807B2 (en) 2013-08-26 2015-07-21 Hitachi, Ltd. Storage apparatus and tier control method
US9122503B1 (en) 2013-09-05 2015-09-01 Symantec Corporation Systems and methods for adaptive throttling of input/output requests in a virtual environment
US9513692B2 (en) 2013-09-18 2016-12-06 Intel Corporation Heterogenous memory access
WO2015042684A1 (en) 2013-09-24 2015-04-02 University Of Ottawa Virtualization of hardware accelerator
US10032246B2 (en) 2013-10-09 2018-07-24 Nvidia Corporation Approach to caching decoded texture data with variable dimensions
US9280456B2 (en) 2013-11-12 2016-03-08 Micron Technology, Inc. Mapping between program states and data patterns
US9959072B2 (en) 2013-12-20 2018-05-01 Sandisk Technologies Llc Systems and methods of compressing data
US20150199276A1 (en) 2014-01-13 2015-07-16 Samsung Electronics Co., Ltd. Pre-fetch confirmation queue
KR20150089538A (ko) 2014-01-28 2015-08-05 한국전자통신연구원 인-메모리 데이터 관리 장치 및 인-메모리 데이터 관리 방법
US9588896B2 (en) 2014-03-04 2017-03-07 Hitachi, Ltd. Computer and memory control method
US10445025B2 (en) 2014-03-18 2019-10-15 Micron Technology, Inc. Apparatuses and methods having memory tier structure and recursively searching between tiers for address in a translation table where information is only directly transferred between controllers
US9472248B2 (en) 2014-03-28 2016-10-18 Intel Corporation Method and apparatus for implementing a heterogeneous memory subsystem
US10628245B2 (en) 2014-04-02 2020-04-21 Pure Storage, Inc. Monitoring of storage units in a dispersed storage network
WO2015168262A2 (en) 2014-05-01 2015-11-05 Coho Data, Inc. Systems, devices and methods for generating locality-indicative data representations of data streams, and compressions thereof
CN106462501B (zh) 2014-05-08 2019-07-09 美光科技公司 基于混合存储器立方体系统互连目录的高速缓冲存储器一致性方法
US20150356125A1 (en) 2014-06-06 2015-12-10 Plexistor Ltd. Method for data placement based on a file level operation
US9697130B2 (en) 2014-06-25 2017-07-04 Sandisk Technologies Llc Systems and methods for storage service automation
US9921971B2 (en) 2014-06-26 2018-03-20 SAP Portal Israel Ltd. Context based cache eviction
KR102265123B1 (ko) 2014-06-27 2021-06-14 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 콘텍스트-기반 데이터 보호용 시스템
US10282100B2 (en) 2014-08-19 2019-05-07 Samsung Electronics Co., Ltd. Data management scheme in virtualized hyperscale environments
US9390028B2 (en) * 2014-10-19 2016-07-12 Strato Scale Ltd. Coordination between memory-saving mechanisms in computers that run virtual machines
CN105574067B (zh) 2014-10-31 2020-01-21 株式会社东芝 项目推荐装置以及项目推荐方法
US10223371B2 (en) 2014-11-21 2019-03-05 Vmware, Inc. Host-based deduplication using array generated data tags
CN104391803B (zh) 2014-11-29 2017-08-25 中国航空工业集团公司第六三一研究所 一种分区操作系统的存储管理方法
US9727427B2 (en) 2014-12-31 2017-08-08 International Business Machines Corporation Synchronizing storage of data copies in a dispersed storage network
DE102015201232A1 (de) 2015-01-26 2016-07-28 Brose Fahrzeugteile Gmbh & Co. Kommanditgesellschaft, Coburg Fahrzeugsitz
WO2016134035A1 (en) 2015-02-17 2016-08-25 Coho Data, Inc. Virtualized application-layer space for data processing in data storage systems
KR20160116533A (ko) 2015-03-30 2016-10-10 삼성전자주식회사 리프레쉬 동작을 관리하는 메모리 콘트롤러, 메모리 시스템 및 그 동작방법
US10645013B2 (en) 2015-04-02 2020-05-05 Nicira, Inc Data flow identifiers
US10025747B2 (en) 2015-05-07 2018-07-17 Samsung Electronics Co., Ltd. I/O channel scrambling/ECC disassociated communication protocol
US9652395B2 (en) 2015-05-08 2017-05-16 Lenovo (Singapore) Pte. Ltd. Configuration of standby portion of memory based on context
US10042782B2 (en) 2015-06-02 2018-08-07 ALTR Solutions, Inc. Immutable datastore for low-latency reading and writing of large data sets
US10114958B2 (en) 2015-06-16 2018-10-30 Microsoft Technology Licensing, Llc Protected regions
US9639280B2 (en) 2015-06-18 2017-05-02 Advanced Micro Devices, Inc. Ordering memory commands in a computer system
US10019409B2 (en) 2015-08-03 2018-07-10 International Business Machines Corporation Extending remote direct memory access operations for storage class memory access
US11169925B2 (en) 2015-08-25 2021-11-09 Samsung Electronics Co., Ltd. Capturing temporal store streams into CPU caches by dynamically varying store streaming thresholds
US9535740B1 (en) 2015-08-26 2017-01-03 International Business Machines Corporation Implementing dynamic adjustment of resources allocated to SRIOV remote direct memory access adapter (RDMA) virtual functions based on usage patterns
US10430723B1 (en) 2015-09-29 2019-10-01 EMC IP Holding Company LLC Storage system with machine learning based skew prediction
US20170123796A1 (en) 2015-10-29 2017-05-04 Intel Corporation Instruction and logic to prefetch information from a persistent memory
US20170147427A1 (en) 2015-11-23 2017-05-25 Honeywell International, Inc. System and method for software simulation for testing a safety manager platform
US10394789B1 (en) 2015-12-07 2019-08-27 Amazon Technologies, Inc. Techniques and systems for scalable request handling in data processing systems
US10019372B2 (en) 2015-12-16 2018-07-10 Western Digital Technologies, Inc. Caching sensing device data in data storage device
US10019279B2 (en) 2015-12-17 2018-07-10 International Business Machines Corporation Transparent secure interception handling
US10437731B2 (en) 2015-12-24 2019-10-08 Intel Corporation Multi-level non-volatile cache with selective store
US10148570B2 (en) * 2015-12-29 2018-12-04 Amazon Technologies, Inc. Connectionless reliable transport
US10719237B2 (en) 2016-01-11 2020-07-21 Micron Technology, Inc. Apparatuses and methods for concurrently accessing multiple partitions of a non-volatile memory
US10592114B2 (en) 2016-03-03 2020-03-17 Samsung Electronics Co., Ltd. Coordinated in-module RAS features for synchronous DDR compatible memory
US10216536B2 (en) 2016-03-11 2019-02-26 Vmware, Inc. Swap file defragmentation in a hypervisor
US20170285967A1 (en) 2016-03-29 2017-10-05 Samsung Electronics Co., Ltd. Multi-ware smart ssd
US20170285992A1 (en) 2016-04-01 2017-10-05 Intel Corporation Memory subsystem with narrow bandwidth repeater channel
US10778762B2 (en) 2016-04-18 2020-09-15 Rancher Labs, Inc. Cloud computing service architecture
US10404822B2 (en) 2016-04-29 2019-09-03 Cisco Technology, Inc. Predictive rollup and caching for application performance data
US10282261B2 (en) 2016-06-20 2019-05-07 Vmware, Inc. Pooled memory heartbeat in shared memory architecture
JP2018005446A (ja) 2016-06-30 2018-01-11 富士通株式会社 情報処理装置、ストレージ制御プログラム、及びストレージ制御方法
US10176099B2 (en) 2016-07-11 2019-01-08 Intel Corporation Using data pattern to mark cache lines as invalid
US11138160B2 (en) * 2016-07-13 2021-10-05 International Business Machines Corporation Application performance using multidimensional predictive algorithm for automated tiering mechanisms
US10083123B2 (en) 2016-08-10 2018-09-25 Vmware, Inc. Page-fault latency directed virtual machine performance monitoring
US10866897B2 (en) 2016-09-26 2020-12-15 Samsung Electronics Co., Ltd. Byte-addressable flash-based memory module with prefetch mode that is adjusted based on feedback from prefetch accuracy that is calculated by comparing first decoded address and second decoded address, where the first decoded address is sent to memory controller, and the second decoded address is sent to prefetch buffer
US10120797B1 (en) 2016-09-30 2018-11-06 EMC IP Holding Company LLC Managing mapping metadata in storage systems
CN108008911A (zh) 2016-11-01 2018-05-08 阿里巴巴集团控股有限公司 读写请求处理方法及装置
CN106506275B (zh) 2016-11-09 2019-08-20 中国科学院计算技术研究所 一种预测交换节点目的端口传输时延的方法及装置
TWI596541B (zh) 2016-11-30 2017-08-21 財團法人工業技術研究院 資料存取系統、資料存取裝置及資料存取方法
US10394585B2 (en) 2017-03-07 2019-08-27 Microsoft Technology Licensing, Llc Managing guest partition access to physical devices
US10866912B2 (en) 2017-03-10 2020-12-15 Toshiba Memory Corporation Integrated heterogeneous solid state storage drive
US11392488B2 (en) 2017-04-07 2022-07-19 Keysight Technologies Singapore (Sales) Pte. Ltd. Optimizing storage of application data in memory
US9910618B1 (en) 2017-04-10 2018-03-06 Pure Storage, Inc. Migrating applications executing on a storage system
US11563789B2 (en) 2017-05-09 2023-01-24 EMC IP Holding Company LLC Executing streaming data writes without duplication or loss
US20190004841A1 (en) 2017-06-30 2019-01-03 Microsoft Technology Licensing, Llc Memory Sharing For Virtual Machines
US20190034284A1 (en) 2017-07-25 2019-01-31 Hewlett Packard Enterprise Development Lp Sequencing host i/o requests and i/o snapshots
US10289566B1 (en) 2017-07-28 2019-05-14 EMC IP Holding Company LLC Handling data that has become inactive within stream aware data storage equipment
US10671303B2 (en) 2017-09-13 2020-06-02 International Business Machines Corporation Controlling a storage system
US10298496B1 (en) 2017-09-26 2019-05-21 Amazon Technologies, Inc. Packet processing cache
KR102414047B1 (ko) 2017-10-30 2022-06-29 에스케이하이닉스 주식회사 통합 메모리 디바이스 및 그의 동작 방법
US10394706B2 (en) 2017-11-02 2019-08-27 Western Digital Technologies, Inc. Non-volatile storage with adaptive command prediction
US10572389B2 (en) 2017-12-12 2020-02-25 Advanced Micro Devices, Inc. Cache control aware memory controller
US20190196996A1 (en) 2017-12-21 2019-06-27 Advanced Micro Devices, Inc. Dynamically determining memory access burst length
US11416395B2 (en) 2018-02-05 2022-08-16 Micron Technology, Inc. Memory virtualization for accessing heterogeneous memory components
US20190243771A1 (en) 2018-02-05 2019-08-08 Micron Technology, Inc. Accelerate Data Access in Memory Systems via Data Stream Segregation
US20190243787A1 (en) 2018-02-05 2019-08-08 Micron Technology, Inc. Memory Systems having Controllers Embedded in Packages of Integrated Circuit Memory
US11099789B2 (en) 2018-02-05 2021-08-24 Micron Technology, Inc. Remote direct memory access in multi-tier memory systems
US10782908B2 (en) 2018-02-05 2020-09-22 Micron Technology, Inc. Predictive data orchestration in multi-tier memory systems
US10880401B2 (en) 2018-02-12 2020-12-29 Micron Technology, Inc. Optimization of data access and communication in memory systems
US10922221B2 (en) 2018-03-28 2021-02-16 Micron Technology, Inc. Memory management
US10540100B2 (en) 2018-04-10 2020-01-21 Western Digital Technologies, Inc. Mapping-based wear leveling for non-volatile memory
KR102568896B1 (ko) 2018-04-19 2023-08-21 에스케이하이닉스 주식회사 메모리 컨트롤러 및 이를 포함하는 메모리 시스템
US20190370043A1 (en) 2018-04-30 2019-12-05 Nutanix, Inc. Cooperative memory management
US10778552B2 (en) 2018-04-30 2020-09-15 Hewlett Packard Enterprise Development Lp Storage system latency evaluation based on I/O patterns
US10877892B2 (en) 2018-07-11 2020-12-29 Micron Technology, Inc. Predictive paging to accelerate memory access
US10915465B2 (en) 2018-08-30 2021-02-09 Micron Technology, Inc. Memory configured to store predefined set of domain registers for instructions being executed in computer processors
US11182507B2 (en) 2018-08-30 2021-11-23 Micron Technology, Inc. Domain crossing in executing instructions in computer processors
US10852949B2 (en) 2019-04-15 2020-12-01 Micron Technology, Inc. Predictive data pre-fetching in a data storage device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8700724B2 (en) * 2002-08-19 2014-04-15 Broadcom Corporation System and method for transferring data over a remote direct memory access (RDMA) network
US8131814B1 (en) * 2008-07-11 2012-03-06 Hewlett-Packard Development Company, L.P. Dynamic pinning remote direct memory access
US20150067087A1 (en) * 2013-08-29 2015-03-05 International Business Machines Corporation Automatic pinning and unpinning of virtual pages for remote direct memory access
US20160212214A1 (en) * 2015-01-16 2016-07-21 Avago Technologies General Ip (Singapore) Pte. Ltd. Tunneled remote direct memory access (rdma) communication
US20160350236A1 (en) * 2015-05-28 2016-12-01 Red Hat Israel, Ltd. Memory swap for direct memory access by a device assigned to a guest operating system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Oracle® Solaris Administration: Network Services (ORACLE，2015年網路存檔資料) 參考網址：https://web.archive.org/web/20150920225910/https://docs.oracle.com/cd/E23824_01/html/821-1454/rfsrefer-154.html# 說明書第168~169頁 *
Oracle® Solaris Administration: Network Services (ORACLE，2015年網路存檔資料) 參考網址：https://web.archive.org/web/20150920225910/https://docs.oracle.com/cd/E23824_01/html/821-1454/rfsrefer-154.html# 說明書第168~169頁。

Also Published As

Publication number Publication date
WO2019152225A1 (en) 2019-08-08
EP3750068A4 (en) 2021-06-16
US20210349638A1 (en) 2021-11-11
CN111684424A (zh) 2020-09-18
US11977787B2 (en) 2024-05-07
US20190243552A1 (en) 2019-08-08
KR20200108364A (ko) 2020-09-17
US11099789B2 (en) 2021-08-24
EP3750068A1 (en) 2020-12-16
TW201937373A (zh) 2019-09-16

Similar Documents

Publication Publication Date Title
TWI740097B (zh) 多層記憶體系統中之遠程直接記憶體存取
TWI711925B (zh) 多層記憶體系統之預測資料協作
TWI711930B (zh) 具有嵌入於積體電路記憶體封裝中之控制器之記憶體系統
TWI727253B (zh) 計算系統及資料存取方法
TWI704457B (zh) 用以存取異質記憶體組件的記憶體虛擬化
TWI710912B (zh) 記憶體系統及實施於記憶體系統中之方法，以及非暫時性電腦儲存媒體
CN111801659A (zh) 存储器系统中的数据存取及通信的优化
KR20210019576A (ko) 메모리 액세스 가속화를 위한 예측 페이징
EP3506116A1 (en) Shared memory controller in a data center