TW202147123A - 用於管理記憶體資源的系統以及用於在計算系統中執行遠端直接記憶體存取的方法 - Google Patents

用於管理記憶體資源的系統以及用於在計算系統中執行遠端直接記憶體存取的方法 Download PDF

Info

Publication number
TW202147123A
TW202147123A TW110108447A TW110108447A TW202147123A TW 202147123 A TW202147123 A TW 202147123A TW 110108447 A TW110108447 A TW 110108447A TW 110108447 A TW110108447 A TW 110108447A TW 202147123 A TW202147123 A TW 202147123A
Authority
TW
Taiwan
Prior art keywords
memory
server
memory module
controller
switch
Prior art date
Application number
TW110108447A
Other languages
English (en)
Inventor
克里希納 特佳 馬拉迪
安德魯 張
伊森 Ｍ 納賈法巴迪
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/026,071 external-priority patent/US20210311897A1/en
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW202147123A publication Critical patent/TW202147123A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G06F15/17306—Intercommunication techniques
    • G06F15/17331—Distributed shared memory [DSM], e.g. remote direct memory access [RDMA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0815—Cache consistency protocols
    • G06F12/0817—Cache consistency protocols using directory methods
    • G06F12/0828—Cache consistency protocols using directory methods with concurrent directory accessing, i.e. handling multiple concurrent coherency transactions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/9063—Intermediate storage in different physical parts of a node or terminal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/0284—Multiple user address space allocation, e.g. using different base addresses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/0292—User address space allocation, e.g. contiguous or non contiguous base addressing using tables or multilevel address translation means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0811—Multiuser, multiprocessor or multiprocessing cache systems with multilevel cache hierarchies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0813—Multiuser, multiprocessor or multiprocessing cache systems with a network or matrix configuration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0815—Cache consistency protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0815—Cache consistency protocols
    • G06F12/0831—Cache consistency protocols using a bus scheme, e.g. with bus monitoring or watching means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G06F12/0868—Data transfer between cache memory and other subsystems, e.g. storage devices or host systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1605—Handling requests for interconnection or transfer for access to memory bus based on arbitration
    • G06F13/1652—Handling requests for interconnection or transfer for access to memory bus based on arbitration in a multiprocessor architecture
    • G06F13/1663—Access to shared memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668—Details of memory controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G06F13/28—Handling requests for interconnection or transfer for access to input/output bus using burst mode transfer, e.g. direct memory access DMA, cycle steal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4004—Coupling between buses
    • G06F13/4022—Coupling between buses using switching circuits, e.g. switching matrix, connection or expansion network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4004—Coupling between buses
    • G06F13/4027—Coupling between buses using bus bridges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4204—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus
    • G06F13/4221—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus being an input/output bus, e.g. ISA bus, EISA bus, PCI bus, SCSI bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/10—Current supply arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/35—Switches specially adapted for specific applications
    • H04L49/351—Switches specially adapted for specific applications for local area network [LAN], e.g. Ethernet switches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/35—Switches specially adapted for specific applications
    • H04L49/356—Switches specially adapted for specific applications for storage area networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/04—Addressing variable-length words or parts of words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0804—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with main memory updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/10—Address translation
    • G06F12/1072—Decentralised address translation, e.g. in distributed shared memory systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5022—Workload threshold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/505—Clust
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1008—Correctness of operation, e.g. memory ordering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G06F2212/1024—Latency reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1028—Power efficiency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1032—Reliability improvement, data loss prevention, degraded operation etc
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1041—Resource optimization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1041—Resource optimization
    • G06F2212/1044—Space efficiency improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/15—Use in a specific computing environment
    • G06F2212/154—Networked environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/16—General purpose computing application
    • G06F2212/163—Server or database system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/20—Employing a main memory using a specific memory technology
    • G06F2212/205—Hybrid memory, e.g. using both volatile and non-volatile memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/30—Providing cache or TLB in specific location of a processing system
    • G06F2212/304—In main memory subsystem
    • G06F2212/3042—In main memory subsystem being part of a memory device, e.g. cache DRAM
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/40—Specific encoding of data in memory or cache
    • G06F2212/401—Compressed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/62—Details of cache specific to multiprocessor cache arrangements
    • G06F2212/621—Coherency control relating to peripheral accessing, e.g. from DMA or I/O device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/65—Details of virtual memory and virtual address translation
    • G06F2212/657—Virtual address space management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/72—Details relating to flash memory management
    • G06F2212/7201—Logical to physical mapping or translation of blocks or pages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/72—Details relating to flash memory management
    • G06F2212/7208—Multiple device management, e.g. distributing data over multiple flash devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0026—PCI express
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Multi Processors (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Memory System (AREA)
  • Bus Control (AREA)

Abstract

本發明提供一種用於管理記憶體資源的系統及方法。在一些實施例中，系統包含第一伺服器，所述第一伺服器包含儲存程式處理電路、第一網路介面電路以及第一記憶體模組。第一記憶體模組可包含第一記憶體晶粒及控制器。控制器可經由記憶體介面連接至第一記憶體晶粒，經由快取一致性介面連接至儲存程式處理電路，以及連接至第一網路介面電路。

Description

具有快取一致性互連之記憶體
根據本揭露內容的實施例的一或多個態樣是關於計算系統，且更特定言之，是關於一種用於管理包含一或多個伺服器的系統中的記憶體資源的系統及方法。 [相關申請案的交叉參考]
本申請案主張2020年5月28日申請的題為「具有新型快取一致連接的擴展記憶體存取（EXTENDING MEMORY ACCESSES WITH NOVEL CACHE COHERENCE CONNECTS）」的美國臨時申請案第63/031,508號的優先權及權益，及主張2020年5月28日申請的題為「集中伺服器記憶體資源以用於提高計算效率（POOLING SERVER MEMORY RESOURCES FOR COMPUTE EFFICIENCY）」的美國臨時申請案第63/031,509號的優先權及權益，及主張2020年8月20日申請的題為「具有快取一致性記憶體及伺服器鏈接交換器場的系統（SYSTEM WITH CACHE-COHERENT MEMORY AND SERVER-LINKING SWITCH FIELD）」的美國臨時申請案第63/068,054號的優先權及權益，以及主張2020年7月28日申請的題為「具有新型互連的分解式記憶體架構（DISAGGREGATED MEMORY ARCHITECTURE WITH NOVEL INTERCONNECTS）」的美國臨時申請案第63/057,746號的優先權及權益，所述申請案的全部內容以引用的方式併入本文中。
本背景章節僅意欲提供上下文，且此章節中的任何實施例或概念的揭露內容並不構成對所述實施例或概念為先前技術的承認。
一些伺服器系統可包含藉由網路協定連接的伺服器的集合。此系統中的伺服器中的每一者可包含處理資源（例如，處理器）及記憶體資源（例如，系統記憶體）。在一些情況下，一個伺服器的處理資源存取另一伺服器的記憶體資源可能是有利的，且在最小化任一伺服器的處理資源的同時進行此存取可能是有利的。
因此，需要一種用於管理包含一或多個伺服器的系統中的記憶體資源的改良的系統及方法。
在一些實施例中，伺服器包含一或多個處理電路、系統記憶體以及經由快取一致性介面連接至處理電路的一或多個記憶體模組。記憶體模組亦可連接至一或多個網路介面電路。每一記憶體模組可包含為其提供增強能力的控制器（例如，現場可程式邏輯閘陣列（field-programmable gate array；FPGA）或特殊應用積體電路（application specific integrated circuit；ASIC））。此等能力可包含使得伺服器能夠與另一伺服器的記憶體交互，而不必（例如，藉由執行遠端直接記憶體存取（remote direct memory access；RDMA））存取諸如中央處理單元（central processing unit；CPU）的處理器。
根據本發明的實施例，提供一種包含第一伺服器的系統，所述第一伺服器包含儲存程式處理電路、第一網路介面電路以及第一記憶體模組，其中第一記憶體模組包含第一記憶體晶粒及控制器，所述控制器經由記憶體介面連接至第一記憶體晶粒、經由快取一致性介面連接至儲存程式處理電路以及連接至第一網路介面電路。
在一些實施例中：第一記憶體模組更包含第二記憶體晶粒，第一記憶體晶粒包含揮發性記憶體，且第二記憶體晶粒包含持續記憶體。
在一些實施例中，持續記憶體包含NAND快閃。在一些實施例中，控制器經組態以為持續記憶體提供快閃轉譯層。
在一些實施例中，快取一致性介面包含計算快速鏈路（Compute Express Link；CXL）介面。
在一些實施例中，第一伺服器包含連接至第一伺服器的擴充插座的擴充插座轉接器，擴充插座轉接器包含第一記憶體模組及第一網路介面電路。
在一些實施例中，第一記憶體模組的控制器經由擴充插座連接至儲存程式處理電路。
在一些實施例中，擴充插座包含M.2插座。
在一些實施例中，第一記憶體模組的控制器藉由同級間周邊組件互連高速（Peripheral Component Interconnect Express；PCIe）連接而連接至第一網路介面電路。
在一些實施例中，系統更包含：第二伺服器及連接至第一伺服器及第二伺服器的網路交換器。
在一些實施例中，網路交換器包含架頂式（top of rack；ToR）以太網路交換器。
在一些實施例中，第一記憶體模組的控制器經組態以接收遠端直接記憶體存取（RDMA）請求且發送RDMA回應。
在一些實施例中，第一記憶體模組的控制器經組態以經由網路交換器及經由第一網路介面電路接收遠端直接記憶體存取（RDMA）請求，且經由網路交換器及經由第一網路介面電路發送RDMA回應。
在一些實施例中，第一記憶體模組的控制器經組態以進行以下操作：自第二伺服器接收資料；將資料儲存於第一記憶體模組中；以及將用於使快取線失效的命令發送至儲存程式處理電路。
在一些實施例中，第一記憶體模組的控制器包含現場可程式邏輯閘陣列（FPGA）或特殊應用積體電路（ASIC）。
根據本發明的實施例，提供一種用於在計算系統中執行遠端直接記憶體存取的方法，計算系統包含第一伺服器及第二伺服器，第一伺服器包含儲存程式處理電路、網路介面電路以及包含控制器的第一記憶體模組，所述方法包含：藉由第一記憶體模組的控制器接收遠端直接記憶體存取（RDMA）請求；以及藉由第一記憶體模組的控制器發送RDMA回應。
在一些實施例中：計算系統更包含連接至第一伺服器及第二伺服器的以太網路交換器，且接收RDMA請求包含經由以太網路交換器接收RDMA請求。
在一些實施例中，所述方法更包含：藉由第一記憶體模組的控制器自儲存程式處理電路接收針對第一記憶體位址的讀取命令；藉由第一記憶體模組的控制器將第一記憶體位址轉譯至第二記憶體位址；以及藉由第一記憶體模組的控制器在第二記憶體位址處自第一記憶體模組擷取資料。
在一些實施例中，所述方法更包含：藉由第一記憶體模組的控制器接收資料；藉由第一記憶體模組的控制器將資料儲存於第一記憶體模組中；以及藉由第一記憶體模組的控制器將用於使快取線失效的命令發送至儲存程式處理電路。
根據本發明的實施例，提供一種包含第一伺服器的系統，所述第一伺服器包含儲存程式處理電路、第一網路介面電路以及第一記憶體模組，其中第一記憶體模組包含第一記憶體晶粒及控制器構件，所述控制器構件經由記憶體介面連接至第一記憶體晶粒、經由快取一致性介面連接至儲存程式處理電路以及連接至第一網路介面電路。
下文結合隨附圖式闡述的詳細描述預期作為對根據本揭露內容提供的用於管理記憶體資源的系統及方法的例示性實施例的描述，且不意欲表示可建構或利用本揭露內容的唯一形式。描述結合所示出實施例來闡述本揭露內容的特徵。然而，應理解，可藉由亦意欲涵蓋於本揭露內容的範疇內的不同實施例來實現相同或等效功能及結構。如本文中在別處所表示，相同部件編號意欲指示相同部件或特徵。
周邊組件互連高速（PCIe）可以指可具有相對較高及可變延遲的電腦介面，所述延遲可限制所述電腦介面與記憶體進行連接的有用性。CXL為經由PCIe 5.0進行通信的開放工業標準，所述PCIe 5.0可提供固定的、相對較短的封包大小，且因此可能夠提供相對較高的頻寬及相對較低的固定延遲。因而，CXL可能夠支持快取一致性且CXL可較佳地適用於與記憶體進行連接。CXL可進一步用於提供主機與伺服器中的加速器、記憶體元件以及網路介面電路（或「網路介面控制器」或「網路介面卡」（network interface card；NIC））之間的連接性。
諸如CXL的快取一致性協定亦可用於例如標量、矢量以及緩衝記憶體系統中的異構處理。CXL可用於利用通道、重計時器、系統的PHY層、介面的邏輯態樣以及來自PCIe 5.0的協定來提供快取一致性介面。CXL事務層可包含三個多路複用子協定，所述三個多路複用子協定同時在單個鏈路上運行且可稱為CXL.io、CXL.cache以及CXL.memory。CXL.io可包含I/O語義，此可與PCIe類似。CXL.cache可包含快取語義，且CXL.memory可包含記憶體語義；快取語義及記憶體語義兩者均可為可選的。與PCIe類似，CXL可支持：（i）可分割的x16、x8以及x4的原始寬度；（ii）32千兆傳輸/秒的資料速率，可降級為8千兆傳輸/秒及16千兆傳輸/秒，128b/130b；（iii）300瓦（在x16連接器中為75瓦）；以及（iv）即插即用。為了支持即插即用，PCIe或CXL元件鏈路均可在第1代（Gen1）中的PCIe中開始培訓、協商CXL、完成第1代至第5代培訓且接著開始CXL事務。
在一些實施例中，在包含藉由網路連接在一起的多個伺服器的系統中，對記憶體的聚合或「集中」（例如，一定數量的記憶體，包含連接在一起的多個記憶體單元）使用CXL連接可提供各種優勢，如下文進一步詳細論述。舉例而言，具有除為CXL封包提供封包交換功能之外的其他能力的CXL交換器（在本文中稱為「增強能力的CXL交換器」）可用於將記憶體的聚合連接至一或多個中央處理單元（CPU）（或「中央處理電路」）及一或多個網路介面電路（其可具有增強能力）。此組態可（i）使得記憶體的聚合包含具有不同特性的各種類型的記憶體；（ii）使得增強能力的CXL交換器虛擬化記憶體的聚合，且將不同特性（例如，存取頻率）的資料儲存於適當類型的記憶體中；以及（iii）使得增強能力的CXL交換器支持遠端直接記憶體存取（RDMA）以使得可在伺服器的處理電路很少參與或不參與的情況下執行RDMA。如本文中所使用，「虛擬化」記憶體意謂在處理電路與記憶體之間執行記憶體位址轉譯。
CXL交換器可（i）經由單級交換支持記憶體及加速器分解，（ii）使得資源能夠在領域之間離線及下線，此可基於需求實現跨領域的時間多路複用，以及（iii）支持下游埠的虛擬化。CXL可用於實現聚合記憶體，此可實現一對多及多對一的交換（例如，其可能夠（i）將多個根埠連接至一個端點，（ii）將一個根埠連接至多個端點，或（iii）將多個根埠連接至多個端點），其中在一些實施例中，聚合元件被分割為各自具有相應LD-ID（邏輯元件識別符）的多個邏輯元件。在此實施例中，實體元件可分割為多個邏輯元件，每一邏輯元件對於相應啟動器是可見的。元件可具有一個實體功能（physical function；PF）及多個（例如，16個）隔離邏輯元件。在一些實施例中，可限制邏輯元件的數目（例如，分區的數目）（例如，至多16個），且亦可存在一個控制分區（其可具有用於控制元件的實體功能）。
在一些實施例中，構造管理器可用於（i）執行元件探索及虛擬CXL軟體創建，以及（ii）將虛擬埠綁定至實體埠。此構造管理器可經由SMBus旁頻帶上方的連接進行操作。構造管理器可實施於硬體、或軟體、或韌體或其組合中，且其可駐存於例如主機、記憶體模組135中的一者、或增強能力CXL交換器130中或網路中的別處。構造管理器可發出包含經由旁頻帶匯流排或經由PCIe樹發出的命令的命令。
參考圖1A，在一些實施例中，伺服器系統包含藉由架頂式（ToR）以太網路交換器110連接在一起的多個伺服器105。儘管將此交換器描述為使用以太網路協定，但仍可使用任何其他合適的網路協定。每一伺服器包含一或多個處理電路115，所述處理電路115各自連接至（i）系統記憶體120（例如，雙倍資料速率（第4版）（Double Data Rate 4；DDR4）記憶體或任何其他合適的記憶體）、（ii）一或多個網路介面電路125以及（iii）一或多個CXL記憶體模組135。處理電路115中的每一者可為儲存程式處理電路，例如中央處理單元（CPU（例如，x86 CPU）、圖形處理單元（graphics processing unit；GPU）或ARM處理器。在一些實施例中，網路介面電路125可嵌入於記憶體模組135中的一者中（例如，在與記憶體模組135中的一者相同的半導體晶片上，或在與記憶體模組135中的一者相同的模組中），或網路介面電路125可與記憶體模組135單獨地封裝。
如本文中所使用，「記憶體模組」為包含一或多個記憶體晶粒的封裝（例如，包含印刷電路板及連接至印刷電路板的組件的封裝，或包含印刷電路板的外殼），每一記憶體晶粒包含多個記憶體單元。每一記憶體晶粒或記憶體晶粒群組的集合中的每一者可位於焊接至記憶體模組的印刷電路板（或經由連接器連接至記憶體模組的印刷電路板）的封裝（例如，環氧模塑化合物（epoxy mold compound；EMC）封裝）中。記憶體模組135中的每一者可具有CXL介面且可包含控制器137（例如，FPGA、ASIC、處理器及/或類似者）以用於在CXL封包與記憶體晶粒的記憶體介面（例如，適用於記憶體模組135中的記憶體的記憶體技術的訊號）之間進行轉譯。如本文中所使用，記憶體晶粒的「記憶體介面」為記憶體晶粒技術固有的介面，例如，在DRAM的情況下，記憶體介面可為字元線及位元線。記憶體模組亦可包含可提供增強能力的控制器137，如下文更詳細地描述。每一記憶體模組135的控制器137可經由快取一致性介面（例如，經由CXL介面）連接至處理電路115。控制器137亦可繞過處理電路115而促進不同伺服器105之間的資料傳輸（例如，RDMA請求）。ToR以太網路交換器110及網路介面電路125可包含RDMA介面以促進不同伺服器上的CXL記憶體元件之間的RDMA請求（例如，ToR以太網路交換器110及網路介面電路125可提供經由聚合以太網路的RDMA（RDMA over Converged Ethernet；RoCE）、無線頻寬（Infiniband）以及iWARP封包的硬體卸載或硬體加速）。
系統中的CXL互連可遵守諸如CXL 1.1標準的快取一致性協定，或在一些實施例中，遵守CXL 2.0標準、CXL的未來版本或任何其他合適的協定（例如，快取一致性協定）。記憶體模組135可直接附接至如所繪示的處理電路115，且架頂式以太網路交換器110可用於將系統按比例縮放成更大大小（例如，具有更多數目的伺服器105）。
在一些實施例中，每一伺服器可裝有多個直接附接的CXL附接的記憶體模組135，如圖1A中所繪示。每一記憶體模組135可將基址暫存器（base address register；BAR）暴露至主機的基本輸入/輸出系統（Basic Input/Output System；BIOS）作為記憶體範圍。記憶體模組135中的一或多者可包含韌體以透明地管理其在主機OS映射之後的記憶體空間。記憶體模組135中的每一者可包含記憶體技術（包含例如但不限於動態隨機存取記憶體（Dynamic Random Access Memory；DRAM）、反及（not-AND；NAND）快閃、高頻寬記憶體（High Bandwidth Memory；HBM））以及低功率雙倍資料速率同步動態隨機存取記憶體（Low-Power Double Data Rate Synchronous Dynamic Random Access Memory；LPDDR SDRAM）技術）中的一者或組合，且亦可包含用於不同技術記憶體元件（用於組合不同技術的若干記憶體元件的記憶體模組135）的快取控制器或個別相應的分離控制器。每一記憶體模組135可包含不同的介面寬度（x4至x16），且可根據各種相關的外觀尺寸（例如，U.2、M.2、半高半長（half height, half length；HHHL）、全高半長（full height, half length；FHHL）、E1.S、E1.L、E3.S以及E3.H）中的任一者進行構築。
在一些實施例中，如上文所提及，增強能力CXL交換器130包含FPGA（或ASIC）控制器137且提供除CXL封包交換以外的額外特徵。增強能力CXL交換器130的控制器137亦可充當記憶體模組135的管理元件且有助於主機控制平面處理，且其可啟用豐富的控制語義及統計資料。控制器137可包含額外「後門」（例如，100十億位元以太網路（gigabit Ethernet；GbE））網路介面電路125。在一些實施例中，控制器137作為CXL類型2元件呈現給處理電路115，其使得能夠在接收遠端寫入請求之後向處理電路115發出快取失效指令。在一些實施例中，啟用DDIO技術，且首先將遠端資料拉取至處理電路的末級快取（last level cache；LLC）且稍後將遠端資料（自快取）寫入至記憶體模組135。如本文中所使用，「類型2」CXL元件為可啟動事務及實現可選的一致性快取及主機管理的元件記憶體，以及其中可適用事務類型包含所有CXL.cache及所有CXL.mem事務異動的元件。
如上文所提及，記憶體模組135中的一或多者可包含持續記憶體或「持續儲存器」（亦即，當外部電源斷開時其中的資料未丟失的儲存器）。若記憶體模組135呈現為持續元件，則記憶體模組135的控制器137可管理持續領域，例如其可在持續儲存器中儲存由處理電路115識別為需要持續儲存的資料（例如，作為應用程式對對應操作系統功能的調用的結果）。在此實施例中，軟體API可將快取及資料刷新至持續儲存器。
在一些實施例中，啟用自網路介面電路125至記憶體模組135的直接記憶體傳送。此類傳送可為至遠端記憶體的單向傳送以用於在分散式系統中進行快速通信。在此實施例中，記憶體模組135可將硬體細節暴露至系統中的網路介面電路125以實現更快的RDMA傳送。在此系統中，取決於是否啟用或禁用處理電路115的資料直接I/O（Data Direct I/O；DDIO），可能出現兩種情形。DDIO可實現以太網路控制器或以太網路轉接器與處理電路115的快取之間的直接通信。若啟用處理電路115的DDIO，則傳送的目標可為處理電路的末級快取，其中資料可隨後自所述末級快取自動地刷新至記憶體模組135。若禁用處理電路115的DDIO，則記憶體模組135可在元件偏置模式下操作以迫使存取由目的地記憶體模組135直接接收（無DDIO）。具有主機通道轉接器（host channel adapter；HCA）、緩衝區以及其他處理的能進行RDM的網路介面電路125可用於啟用此RDMA傳送，所述傳送可繞過可能存在於RDMA傳送的其他模式下的目標記憶體緩衝區傳送。舉例而言，在此實施例中，可避免反彈緩衝區（例如，當記憶體中的最終目的地處於不由RDMA協定支持的位址範圍內時，遠端伺服器中的緩衝區）的使用。在一些實施例中，RDMA使用除以太網路以外的另一實體媒體選項（例如，用於經組態以處理其他網路協定的交換器）。可啟用RDMA的伺服器間連接的實例包含但不限於無線頻寬、經由聚合以太網路的RDMA（RoCE）（其使用以太網路使用者資料報協定（User Datagram Protocol；UDP））以及iWARP（其使用傳輸控制協定/網際網路協定（transmission control protocol/Internet protocol；TCP/IP））。
圖1B繪示與圖1A的系統類似的系統，其中處理電路115經由記憶體模組135連接至網路介面電路125。記憶體模組135及網路介面電路125位於擴充插座轉接器140上。每一擴充插座轉接器140可插入至伺服器105的母板上的擴充插座145（例如，M.2連接器)中。因此，伺服器可為藉由在擴充插座145中安裝擴充插座轉接器140進行修改的任何合適的（例如，工業標準）伺服器。在此實施例中，（i）每一網路介面電路125可整合至記憶體模組135中的相應者中，或（ii）每一網路介面電路125可具有PCIe介面（網路介面電路125可為PCIe端點（亦即，PCIe從屬元件）），使得網路介面電路125所連接的處理電路115（其可充當PCIe主元件或「根埠」）可經由根埠至端點PCIe連接與所述網路介面電路125通信，且記憶體模組135的控制器137可經由同級間PCIe連接與網路介面電路125通信。
根據本發明的實施例，提供一種包含第一伺服器的系統，所述第一伺服器包含儲存程式處理電路、第一網路介面電路以及第一記憶體模組，其中第一記憶體模組包含第一記憶體晶粒及控制器，所述控制器經由記憶體介面連接至第一記憶體晶粒、經由快取一致性介面連接至儲存程式處理電路以及連接至第一網路介面電路。在一些實施例中：第一記憶體模組更包含第二記憶體晶粒，第一記憶體晶粒包含揮發性記憶體，且第二記憶體晶粒包含持續記憶體。在一些實施例中，持續記憶體包含NAND快閃。在一些實施例中，控制器經組態以為持續記憶體提供快閃轉譯層。在一些實施例中，快取一致性介面包含計算快速鏈路（CXL）介面。在一些實施例中，第一伺服器包含連接至第一伺服器的擴充插座的擴充插座轉接器，擴充插座轉接器包含第一記憶體模組及第一網路介面電路。在一些實施例中，第一記憶體模組的控制器經由擴充插座連接至儲存程式處理電路。在一些實施例中，擴充插座包含M.2插座。在一些實施例中，第一記憶體模組的控制器藉由同級間周邊組件互連高速（PCIe）連接而連接至第一網路介面電路。在一些實施例中，系統更包含：第二伺服器及連接至第一伺服器及第二伺服器的網路交換器。在一些實施例中，網路交換器包含架頂式（ToR）以太網路交換器。在一些實施例中，第一記憶體模組的控制器經組態以接收直接遠端直接記憶體存取（RDMA）請求且發送直接RDMA回應。在一些實施例中，第一記憶體模組的控制器經組態以經由網路交換器及經由第一網路介面電路接收直接遠端直接記憶體存取（RDMA）請求，且經由網路交換器及經由第一網路介面電路發送直接RDMA回應。在一些實施例中，第一記憶體模組的控制器經組態以進行以下操作：自第二伺服器接收資料；將資料儲存於第一記憶體模組中；以及將用於使快取線失效的命令發送至儲存程式處理電路。在一些實施例中，第一記憶體模組的控制器包含現場可程式邏輯閘陣列（FPGA）或特殊應用積體電路（ASIC）。根據本發明的實施例，提供一種用於在計算系統中執行遠端直接記憶體存取的方法，計算系統包含第一伺服器及第二伺服器，第一伺服器包含儲存程式處理電路、網路介面電路以及包含控制器的第一記憶體模組，所述方法包含：藉由第一記憶體模組的控制器接收直接遠端直接記憶體存取（RDMA）請求；以及藉由第一記憶體模組的控制器發送直接RDMA回應。在一些實施例中：計算系統更包含連接至第一伺服器及第二伺服器的以太網路交換器，且接收直接RDMA請求包含經由以太網路交換器接收直接RDMA請求。在一些實施例中，所述方法更包含：藉由第一記憶體模組的控制器自儲存程式處理電路接收針對第一記憶體位址的讀取命令；藉由第一記憶體模組的控制器將第一記憶體位址轉譯至第二記憶體位址；以及藉由第一記憶體模組的控制器在第二記憶體位址處自第一記憶體模組擷取資料。在一些實施例中，所述方法更包含：藉由第一記憶體模組的控制器接收資料；藉由第一記憶體模組的控制器將資料儲存於第一記憶體模組中；以及藉由第一記憶體模組的控制器將用於使快取線失效的命令發送至儲存程式處理電路。根據本發明的實施例，提供一種包含第一伺服器的系統，所述第一伺服器包含儲存程式處理電路、第一網路介面電路以及第一記憶體模組，其中第一記憶體模組包含第一記憶體晶粒及控制器構件，所述控制器構件經由記憶體介面連接至第一記憶體晶粒、經由快取一致性介面連接至儲存程式處理電路以及連接至第一網路介面電路。
參考圖1C，在一些實施例中，伺服器系統包含由架頂式（ToR）以太網路交換器110連接在一起的多個伺服器105。每一伺服器包含一或多個處理電路115，所述處理電路115各自連接至（i）系統記憶體120（例如，DDR4記憶體）、（ii）一或多個網路介面電路125以及（iii）增強能力CXL交換器130。增強能力CXL交換器130可連接至多個記憶體模組135。亦即，圖1C的系統包含第一伺服器105，所述第一伺服器105包含儲存程式處理電路115、網路介面電路125、快取一致性交換器130以及第一記憶體模組135。在圖1C的系統中，第一記憶體模組135連接至一致性交換器130，快取一致性交換器130連接至網路介面電路125，且儲存程式處理電路115連接至快取一致性交換器130。
記憶體模組135可按類型、外觀尺寸或技術類型（例如，DDR4、DRAM、LDPPR、高頻寬記憶體（HBM）或NAND快閃或其他持續儲存器（例如，結合NAND快閃的固態驅動器））進行分組。每一記憶體模組可具有CXL介面且包含介面電路以用於在CXL封包與適用於記憶體模組135中的記憶體的訊號之間進行轉譯。在一些實施例中，實情為，此等介面電路位於增強能力CXL交換器130中，且記憶體模組135中的每一者具有作為記憶體模組135中的記憶體的本地介面的介面。在一些實施例中，增強能力CXL交換器130整合至記憶體模組135中（例如，與記憶體模組135一起整合於M.2外觀尺寸封裝中，或與記憶體模組135的其他組件一起整合至單個積體電路中）。
ToR以太網路交換器110可包含介面硬體以促進不同伺服器上的聚合記憶體元件之間的RDMA請求。增強能力CXL交換器130可包含一或多個電路（例如，其可包含FPGA或ASIC）以（i）基於工作負載將資料路由至不同記憶體類型，（ii）將主機位址虛擬化為元件位址，及/或（iii）繞過處理電路115而促進不同伺服器之間的RDMA請求。
記憶體模組135可位於擴充盒中（例如，位於與容納外殼母板的外殼相同的機架中），所述擴充盒可包含預定數目（例如，超過20或超過100）的記憶體模組135，每一記憶體模組135均插入至合適的連接器中。模組可呈M.2外觀尺寸，且連接器可為M.2連接器。在一些實施例中，伺服器之間的連接是經由除以太網路外的不同網路進行的，例如所述連接可為諸如WiFi或5G連接的無線連接。每一處理電路可為x86處理器或另一處理器，例如ARM處理器或GPU。使CXL鏈路實例化的PCIe鏈路可為PCIe 5.0或另一版本（例如，較早版本或較晚（例如，未來）版本（例如，PCIe 6.0））。在一些實施例中，在系統中使用不同的快取一致性協定來替代CXL或作為CXL的補充，且可使用不同的快取一致性交換器來替代增強能力CXL交換器130或作為增強能力CXL交換器130的補充。此快取一致性協定可為另一標準協定或標準協定的快取一致性變體（以與CXL為PCIe 5.0的變體的方式類似的方式）。標準協定的實例包含但不限於非揮發性雙行記憶體模組（版本P）（dual in-line memory module (version P)；NVDIMM-P）、用於加速器的快取一致性互連（Cache Coherent Interconnect for Accelerator；CCIX）以及開放一致性加速器處理器介面（Open Coherent Accelerator Processor Interface；OpenCAPI）。
系統記憶體120可包含例如DDR4記憶體、DRAM、HBM或LDPPR記憶體。記憶體模組135可被分割或含有快取控制器以處理多種記憶體類型。記憶體模組135可呈不同外觀尺寸，所述外觀尺寸的實例包含但不限於HHHL、FHHL、M.2、U.2、夾層卡、子卡、E1.S、E1.L、E3.L以及E3.S。
在一些實施例中，系統實現了包含多個伺服器的聚合架構，其中每一伺服器聚合有多個CXL附接的記憶體模組135。記憶體模組135中的每一者可含有多個分區，所述分區可作為記憶體元件單獨地暴露至多個處理電路115。增強能力CXL交換器130的每一輸入埠可獨立地存取增強能力CXL交換器130的多個輸出埠以及連接至其上的記憶體模組135。如本文中所使用，增強能力CXL交換器130的「輸入埠」或「上游埠」為連接至（或適用於連接至）PCIe根埠的埠，而增強能力CXL交換器130的「輸出埠」或「下游埠」為連接至（或適用於連接至）PCIe端點的埠。如在圖1A的實施例的情況下，每一記憶體模組135可將基址暫存器（BAR）的集合暴露至主機BIOS作為記憶體範圍。記憶體模組135中的一或多者可包含韌體以透明地管理其在主機OS映射之後的記憶體空間。
在一些實施例中，如上文所提及，增強能力CXL交換器130包含FPGA（或ASIC）控制器137且提供除CXL封包交換以外的額外特徵。舉例而言，其可（如上文所提及）虛擬化記憶體模組135，亦即，充當轉譯層，所述轉譯層在處理電路側位址（或「處理器側」位址，亦即，包含於由處理電路115發出的記憶體讀取及寫入命令中的位址）與記憶體側位址（亦即，由增強能力CXL交換器130採用以定址記憶體模組135中的儲存器位置的位址）之間進行轉譯，由此遮蓋記憶體模組135的實體位址且呈現記憶體的虛擬聚合。增強能力CXL交換器130的控制器137亦可充當記憶體模組135的管理元件且有助於主機控制平面處理。控制器137可在沒有處理電路115參與的情況下透明地移動資料，且因此更新記憶體映射（或「位址轉譯表」）以使得後續存取預期地起作用。控制器137可含有交換器管理元件，所述交換器管理元件（i）可在運行時間期間按需要對上游及下游連接進行綁定及解除綁定，及（iii）可啟用與進出記憶體模組135的資料傳送相關聯的豐富的控制語義及統計資料。控制器137可包含用於連接至其他伺服器105或其他網路化裝置的額外「後門」100 GbE或其他網路介面電路125（除用於連接至主機的網路介面之外）。在一些實施例中，控制器137作為類型2元件呈現給處理電路115，其使得能夠在接收遠端寫入請求之後向處理電路115發出快取失效指令。在一些實施例中，啟用DDIO技術，且首先將遠端資料拉取至處理電路115的末級快取（LLC）且稍後將遠端資料（自快取）寫入至記憶體模組135。
如上文所提及，記憶體模組135中的一或多者可包含持續儲存器。若記憶體模組135呈現為持續元件，則增強能力CXL交換器130的控制器137可管理持續領域，（例如，其可在持續儲存器中儲存由處理電路115識別為需要持續儲存的資料（例如，藉由使用對應操作系統功能）。在此實施例中，軟體API可將快取及資料刷新至持續儲存器。
在一些實施例中，至記憶體模組135的直接記憶體傳送可以與上文所描述的圖1A及圖1B的實施例的方式類似的方式執行，其中藉由記憶體模組135的控制器執行的操作是藉由增強能力CXL交換器130的控制器137執行的。
如上文所提及，在一些實施例中，記憶體模組135組織成群組，例如組織成記憶體密集型的一個群組、HBM密集型的另一群組、具有有限密度及效能的另一群組以及具有密集容量的另一群組。此類群組可具有不同的外觀尺寸或基於不同技術。增強能力CXL交換器130的控制器137可基於例如工作負載、標記或服務品質（quality of service；QoS）智慧地路由資料及命令。對於讀取請求，可能不存在基於此類因素的路由。
增強能力CXL交換器130的控制器137亦可（如上文所提及）虛擬化處理電路側位址及記憶體側位址，從而使得增強能力CXL交換器130的控制器137能夠判定資料待儲存於何處。增強能力CXL交換器130的控制器137可基於可自處理電路115接收到的資訊或指令來進行此判定。舉例而言，操作系統可提供使得應用程式能夠指定低延遲儲存器或高頻寬儲存器或持續儲存器處於待分配的記憶體分配特徵，且在判定將記憶體分配至何處（例如，記憶體模組135的哪一者中）時，增強能力CXL交換器130的控制器137可接著考慮由所述應用程式發起的此請求。舉例而言，應用程式請求高頻寬的儲存器可分配於含有HBM的記憶體模組135中，應用程式請求資料持續性的儲存器可分配於含有NAND快閃的記憶體模組135中，且其他儲存器（應用程式未進行請求）可儲存於含有相對廉價DRAM的記憶體模組135上。在一些實施例中，增強能力CXL交換器130的控制器137可基於網路使用模式進行關於將某些資料儲存於何處的判定。舉例而言，增強能力CXL交換器130的控制器137可藉由監測使用模式來判定實體位址的某一範圍內的資料比其他資料存取地更頻繁，且增強能力CXL交換器130的控制器137可接著將此等資料複製至含有HBM的記憶體模組135內，並且修改其位址轉譯表以使得新位置中的資料儲存於虛擬位址的相同範圍內。在一些實施例中，記憶體模組135中的一或多者包含快閃記憶體（例如，NAND快閃），且增強能力CXL交換器130的控制器137實施此快閃記憶體的快閃轉譯層。快閃轉譯層可（藉由將資料移動至不同位置且將資料的先前位置標記為失效的）支持處理器側記憶體位置的覆寫，且其可執行廢料收集（例如，當區塊中的標記為無效的資料的部分超過臨界值時，在將區塊中的任何有效資料移動至另一區塊之後抹除所述區塊）。
在一些實施例中，增強能力CXL交換器130的控制器137可促進實體功能（PF）至PF傳送。舉例而言，若處理電路115中的一者需要將資料自一個實體位址移動至另一實體位址（其可具有相同虛擬位址；此事實無需影響處理電路115的操作），或若處理電路115需要在兩個虛擬位址（處理電路115將需要具有的兩個虛擬位址）之間移動資料，則增強能力CXL交換器130的控制器137可在沒有處理電路115參與的情況下監督傳送。舉例而言，處理電路115可發送CXL請求，且資料可自一個記憶體模組135傳輸至增強能力CXL交換器130後方的另一記憶體模組135（例如，資料可自一個記憶體模組135複製至另一記憶體模組135）而不傳入處理電路115。在此情況下，由於處理電路115發起了CXL請求，因此處理電路115可能需要刷新其快取以確保一致性。若實際上類型2記憶體元件（例如，記憶體模組135中的一者或亦可連接至CXL交換器的加速器）發起CXL請求且未虛擬化交換器，則類型2記憶體元件可向處理電路115發送訊息以使快取失效。
在一些實施例中，增強能力CXL交換器130的控制器137可促進伺服器之間的RDMA請求。遠端伺服器105可發起此RDMA請求，且所述請求可經由ToR以太網路交換器110發送，且可到達回應於RDMA請求（「區域伺服器）」的伺服器105中的增強能力CXL交換器130。增強能力CXL交換器130可經組態以接收此RDMA請求且其可將接收伺服器105（亦即，接收RDMA請求的伺服器）中的記憶體模組135的群組視為其自身的記憶體空間。在區域伺服器中，增強能力CXL交換器130可將RDMA請求接收為直接RDMA請求（亦即，未經由區域伺服器中的處理電路115路由的RDMA請求），且其可將直接回應發送至RDMA請求（亦即，其可在所述回應未經由區域伺服器中的處理電路115路由的情況下發送回應）。在遠端伺服器中，回應（例如，由區域伺服器發送的資料）可藉由遠端伺服器的增強能力CXL交換器130來接收，且儲存於遠端伺服器的記憶體模組135中，而無需經由遠端伺服器中的處理電路115路由。
圖1D繪示與圖1C的系統類似的系統，其中處理電路115經由增強能力CXL交換器130連接至網路介面電路125。增強能力CXL交換器130、記憶體模組135以及網路介面電路125位於擴充插座轉接器140上。擴充插座轉接器140可為插入至伺服器105的母板上的擴充插座（例如，PCIe連接器145）中的電路板或模組。因而，伺服器可為僅藉由在PCIe連接器145中安裝擴充插座轉接器140進行修改的任何合適的伺服器。記憶體模組135可安裝於擴充插座轉接器140上的連接器（例如，M.2連接器）中。在此實施例中，（i）網路介面電路125可整合至增強能力CXL交換器130中，或（ii）每一網路介面電路125可具有PCIe介面（網路介面電路125可為PCIe端點），使得所述網路介面電路125所連接的處理電路115可經由根埠至端點PCIe連接與網路介面電路125通信。增強能力CXL交換器130（其可具有連接至處理電路115及網路介面電路125的PCIe輸入埠）的控制器137可經由同級間PCIe連接與網路介面電路125通信。
根據本發明的實施例，提供一種包含第一伺服器的系統，所述第一伺服器包含儲存程式處理電路、網路介面電路、快取一致性交換器以及第一記憶體模組，其中第一記憶體模組連接至快取一致性交換器，快取一致性交換器連接至網路介面電路，且儲存程式處理電路連接至快取一致性交換器。在一些實施例中，系統更包含連接至快取一致性交換器的第二記憶體模組，其中第一記憶體模組包含揮發性記憶體且第二記憶體模組包含持續記憶體。在一些實施例中，快取一致性交換器經組態以虛擬化第一記憶體模組及第二記憶體模組。在一些實施例中，第一記憶體模組包含快閃記憶體，且快取一致性交換器經組態以為快閃記憶體提供快閃轉譯層。在一些實施例中，快取一致性交換器經組態以進行以下操作：監測第一記憶體模組中的第一記憶體位置的存取頻率；判定存取頻率超過第一臨界值；以及將第一記憶體位置的內容複製至第二記憶體位置中，第二記憶體位置位於第二記憶體模組中。在一些實施例中，第二記憶體模組包含高頻寬記憶體（HBM）。在一些實施例中，快取一致性交換器經組態以維持用於將處理器側位址映射至記憶體側位址的表。在一些實施例中，系統更包含：第二伺服器及連接至第一伺服器及第二伺服器的網路交換器。在一些實施例中，網路交換器包含架頂式（ToR）以太網路交換器。在一些實施例中，快取一致性交換器經組態以接收直接遠端直接記憶體存取（RDMA）請求且發送直接RDMA回應。在一些實施例中，快取一致性交換器經組態以經由ToR以太網路交換器及經由網路介面電路接收遠端直接記憶體存取（RDMA）請求，且經由ToR以太網路交換器及經由網路介面電路發送直接RDMA回應。在一些實施例中，快取一致性交換器經組態以支持計算快速鏈路（CXL）協定。在一些實施例中，第一伺服器包含連接至第一伺服器的擴充插座的擴充插座轉接器，擴充插座轉接器包含快取一致性交換器及記憶體模組插座，第一記憶體模組經由記憶體模組插座連接至快取一致性交換器。在一些實施例中，記憶體模組插座包含M.2插座。在一些實施例中，網路介面電路位於擴充插座轉接器上。根據本發明的實施例，提供一種用於在計算系統中執行遠端直接記憶體存取的方法，計算系統包含第一伺服器及第二伺服器，第一伺服器包含儲存程式處理電路、網路介面電路、快取一致性交換器以及第一記憶體模組，所述方法包含：藉由快取一致性交換器接收直接遠端直接記憶體存取（RDMA）請求；以及藉由快取一致性交換器發送直接RDMA回應。在一些實施例中：計算系統更包含以太網路交換器，且接收直接RDMA請求包含經由以太網路交換器接收直接RDMA請求。在一些實施例中，所述方法更包含：藉由快取一致性交換器自儲存程式處理電路接收針對第一記憶體位址的讀取命令；藉由快取一致性交換器將第一記憶體位址轉譯至第二記憶體位址；以及藉由快取一致性交換器在第二記憶體位址處自第一記憶體模組擷取資料。在一些實施例中，所述方法更包含：藉由快取一致性交換器接收資料；藉由快取一致性交換器將資料儲存於第一記憶體模組中；以及藉由快取一致性交換器將用於使快取線失效的命令發送至儲存程式處理電路。根據本發明的實施例，提供一種包含第一伺服器的系統，所述第一伺服器包含儲存程式處理電路、網路介面電路、快取一致性交換器以及第一記憶體模組，其中第一記憶體模組連接至快取一致性交換構件，快取一致性交換構件連接至網路介面電路，且儲存程式處理電路連接至快取一致性交換構件。
圖1E繪示多個伺服器105中的每一者連接至ToR伺服器鏈接交換器112的實施例，所述ToR伺服器鏈接交換器112可為具有PCIe能力的PCIe 5.0 CXL交換器，如所示出。伺服器鏈接交換器112可包含FPGA或ASIC，且可提供優於以太網路交換器的效能的效能（在生產量及延遲方面）。伺服器105中的每一者可包含多個記憶體模組135，所述記憶體模組135經由增強能力CXL交換器130及經由多個PCIe連接器連接至伺服器鏈接交換器112。伺服器105中的每一者亦可包含一或多個處理電路115及系統記憶體120，如所繪示。伺服器鏈接交換器112可充當主控元件，且增強能力CXL交換器130中的每一者可充當從屬元件，如下文進一步詳細論述。
在圖1E的實施例中，伺服器鏈接交換器112可對自不同伺服器105接收到的多個快取請求進行分組或分批，且其可對封包進行分組，從而減少控制開銷。增強能力CXL交換器130可包含從屬控制器（例如，從屬FPGA或從屬ASIC）以（i）基於工作負載將資料路由至不同記憶體類型，（ii）將處理器側位址虛擬化為記憶體側位址，以及（iii）繞過處理電路115而促進不同伺服器105之間的一致性請求。圖1E中所繪示的系統可為基於CXL 2.0的，其可包含機架內的分散式共用記憶體，且其可使用ToR伺服器鏈接交換器112而自然地與遠端節點連接。
ToR伺服器鏈接交換器112可具有額外網路連接（例如，如所示出，以太網路連接或另一種連接，例如諸如WiFi連接或5G連接的無線連接）以用於與其他伺服器或用戶端進行連接。伺服器鏈接交換器112及增強能力CXL交換器130可各自包含控制器，所述控制器可為或包含諸如ARM處理器的處理電路。PCIe介面可遵守PCIe 5.0標準或較早版本、或PCIe標準的未來版本，或可採用遵守不同標準（例如，NVDIMM-P、CCIX或OpenCAPI）的介面代替PCIe介面。記憶體模組135可包含各種記憶體類型，所述記憶體類型包含DDR4 DRAM、HBM、LDPPR、NAND快閃或固態驅動器（SSD）。記憶體模組135可被分割或含有快取控制器以處理多種記憶體類型，且其可呈不同外觀尺寸，諸如HHHL、FHHL、M.2、U.2、夾層卡、子卡、E1.S、E1.L、E3.L或E3.S。
在圖1E的實施例中，增強能力CXL交換器130可實現一對多及多對一的交換，且其可在微片（64位元組）級別處啟用精細粒度負載儲存介面。每一伺服器可具有聚合記憶體元件，每一元件被分割為各自具有相應LD-ID的多個邏輯元件。ToR交換器112（其可稱為「伺服器鏈接交換器」啟用一對多功能，且伺服器105中的增強能力CXL交換器130啟用多對一功能。伺服器鏈接交換器112可為PCIe交換器或CXL交換器，或兩者。在此系統中，請求器可為多個伺服器105的處理電路115，回應器可為多個聚合記憶體模組135。兩個交換器（如上文所提及，主交換器作為伺服器連結交換器112，且從屬交換器作為增強能力CXL交換器130）的層級實現任何通信。記憶體模組135中的每一者可具有一個實體功能（PF）及多達16個隔離邏輯元件。在一些實施例中，可限制邏輯元件的數目（例如，分區的數目）（例如，至多16個），且亦可存在一個控制分區（其可具有用於控制元件的實體功能）。記憶體模組135中的每一者可為具有cxl.cache、cxl.mem及cxl.io以及位址轉換服務（address translation service；ATS）實施的類型2元件，以處理處理電路115可保持的快取線複本。增強能力CXL交換器130及構造管理器可控制記憶體模組135的探索，且（i）執行元件探索及虛擬CXL軟體創建，以及（ii）將虛擬埠綁定至實體埠。如在圖1A至圖1D的實施例中，構造管理器可經由SMBus旁頻帶上方的連接進行操作。至記憶體模組135的介面（其可為智慧平台管理介面（Intelligent Platform Management Interface；IPMI）或遵守Redfish標準的介面（且亦可提供標準不需要的額外特徵））可實現可組態性。
如上文所提及，一些實施例實現了分級結構，其中主控制器（其可實施於FPGA或ASIC中）作為伺服器鏈接交換器112的一部分且從屬控制器作為增強能力CXL交換器130的一部分，以提供負載儲存介面（亦即，具有快取線（例如，64位元組）粒度且在沒有軟體驅動器參與的情況下在一致性領域內操作的介面）。此負載儲存介面可將一致性領域延伸至個別伺服器，或CPU或主機之外，且可涉及電子或光學的實體媒體（例如，與兩個末端處的電光收發器的光學連接）。在操作中，啟動（或「重啟」）（伺服器鏈接交換器112中的）主控制器且組態機架上的所有伺服器105。主控制器可對所有主機具有可見度，且其可（i）探索每一伺服器且探索伺服器叢集中存在多少伺服器105及記憶體模組135，（ii）獨立地組態伺服器105中的每一者，（iii）基於例如機架的組態啟用或禁用不同伺服器上的記憶體的一些區塊（例如，啟用或禁用記憶體模組135中的任一者），（iv）控制存取（例如，哪一伺服器可控制哪一另一伺服器），（v）實施流動控制（例如，由於所有主機及元件請求經過主控元件，因此其可將資料自一個伺服器傳輸至另一伺服器，且對資料執行流動控制），（vi）將請求或封包（例如，由主控元件自不同伺服器105接收的多個快取請求）進行分組或分批，以及（vii）接收遠端軟體更新、廣播通信以及類似者。在分批模式下，伺服器鏈接交換器112可接收去往同一伺服器（例如，去往第一伺服器）的多個封包，且將其一起發送（亦即，其間無暫停）至第一伺服器。舉例而言，伺服器鏈接交換器112可自第二伺服器接收第一封包及自第三伺服器接收第二封包，且將第一封包及第二封包一起傳輸至第一伺服器。伺服器105中的每一者可向主控制器暴露（i）IPMI網路介面、（ii）系統事件日誌（system event log；SEL）以及（iii）板管理控制器（board management controller；BMC），從而使得主控制器能夠量測效能、量測運作中的可靠性以及重新組態伺服器105。
在一些實施例中，使用促進高可用性負載儲存介面的軟體架構。此軟體架構可提供可靠性、複製、一致性、系統一致性、散列、快取以及持續性。軟體架構可藉由經由IPMI執行CXL元件組件的週期性硬體檢查來提供可靠性（在具有大量伺服器的系統中）。舉例而言，伺服器鏈接交換器112可經由記憶體伺服器150的IPMI介面查詢記憶體伺服器150的狀態，從而查詢例如功率狀態（記憶體伺服器150的電源是否正常工作）、網路狀態（至伺服器鏈接交換器112的介面是否正常工作）以及錯誤檢查狀態（錯誤條件是否存在於記憶體伺服器150的子系統中的任一者中）。軟體架構可提供複製，此是由於主控制器可複製儲存於記憶體模組135中的資料且維持複本之間的資料一致性。
軟體架構可提供一致性，此是由於主控制器可經組態具有不同的一致性級別，且伺服器鏈接交換器112可根據待維持的一致性級別來調整封包格式。舉例而言，若維持了最終的一致性，則伺服器鏈接交換器112可重新排序請求，同時為了維持嚴格的一致性，伺服器鏈接交換器112可在交換器處維持具有精確時戳的所有請求的記分板。軟體架構可提供系統一致性，此是由於多重處理電路115可自同一記憶體位址讀取或寫入至同一記憶體位址，且為了維護一致性，主控制器可負責達到位址的本籍節點（使用目錄查詢）或廣播公共匯流排上的請求。
軟體架構可提供散列，此是由於伺服器鏈接交換器112及增強能力CXL交換器可維持位址的虛擬映射，所述位址可使用具有多個散列函數的一致散列在啟動時將資料均勻地映射至所有節點上的所有CXL元件（或調整一個伺服器關閉或啟動的時間）。軟體架構可提供快取，此是由於主控制器可指明某些記憶體分區（例如，在包含HBM的記憶體模組135或具有類似能力的技術中）以充當快取（例如，採用直寫快取或回寫快取）。軟體架構可提供持續性，此是由於主控制器及從屬控制器可管理持續領域及刷新。
在一些實施例中，CXL交換器的能力整合至記憶體模組135的控制器中。在此實施例中，伺服器鏈接交換器112可仍然充當主控元件且具有如本文中別處所論述的增強特徵。伺服器鏈接交換器112亦可管理系統中的其他儲存元件，且其可具有用於例如連接至用戶端機器的以太網路連接（例如，100 GbE連接），所述用戶端機器並非為由伺服器鏈接交換器112形成的PCIe網路的部分。
在一些實施例中，伺服器鏈接交換器112具有增強能力且亦包含整合式CXL控制器。在其他實施例中，伺服器鏈接交換器112僅為實體路由元件，且每一伺服器105包含主CXL控制器。在此實施例中，跨不同伺服器的主控元件可協商主從架構。（i）增強能力CXL交換器130的智慧功能及（ii）伺服器連結交換器112的智慧功能可在一或多個FPGA、一或多個ASIC、一或多個ARM處理器或一或多個具有計算能力的SSD元件中實現。伺服器鏈接交換器112可（例如，藉由重新排序非相依請求）執行流動控制。在一些實施例中，由於介面為負載儲存的，因此RDMA為可選的，但可能存在使用PCIe實體媒體（而非100 GbE）的介入RDMA請求。在此實施例中，遠端主機可發起RDMA請求，所述RDMA請求可經由伺服器鏈接交換器112傳輸至增強能力CXL交換器130。伺服器鏈接交換器112及增強能力CXL交換器130可優先排序RDMA 4千位元組請求或CXL的微片（64位元組）請求。
如在圖1C及圖1D的實施例中，增強能力CXL交換器130可經組態以接收此RDMA請求且其可將接收伺服器105（亦即，接收RDMA請求的伺服器）中的記憶體模組135的群組視為其自身的記憶體空間。此外，增強能力CXL交換器130可跨處理電路115虛擬化且在遠端增強能力CXL交換器130上發起RDMA請求以將資料在伺服器105之間來回移動，而無需涉及處理電路115。
圖1F繪示與圖1E的系統類似的系統，其中處理電路115經由增強容量CXL交換器130連接至網路介面電路125。如在圖1D的實施例中，在圖1F中，增強能力CXL交換器130、記憶體模組135以及網路介面電路125位於擴充插座轉接器140上。擴充插座轉接器140可為插入至伺服器105的母板上的擴充插座（例如，PCIe連接器145）中的電路板或模組。因而，伺服器可為僅藉由在PCIe連接器145中安裝擴充插座轉接器140進行修改的任何合適的伺服器。記憶體模組135可安裝於擴充插座轉接器140上的連接器（例如，M.2連接器）中。在此實施例中，（i）網路介面電路125可整合至增強能力CXL交換器130中，或（ii）每一網路介面電路125可具有PCIe介面（網路介面電路125可為PCIe端點），使得所述網路介面電路125所連接的處理電路115可經由根埠至端點PCIe連接與網路介面電路125通信，且增強能力CXL交換器130（其可具有連接至處理電路115及網路介面電路125的PCIe輸入埠）的控制器137可經由同級間PCIe連接與網路介面電路125通信。
根據本發明的實施例，提供一種系統，包含：第一伺服器，包含儲存程式處理電路、快取一致性交換器以及第一記憶體模組；及第二伺服器；以及伺服器鏈接交換器，連接至第一伺服器及第二伺服器，其中第一記憶體模組連接至快取一致性交換器，快取一致性交換器連接至伺服器鏈接交換器，且儲存程式處理電路連接至快取一致性交換器。在一些實施例中，伺服器鏈接交換器包含周邊組件互連高速（PCIe）交換器。在一些實施例中，伺服器鏈接交換器包含計算快速鏈路（CXL）交換器。在一些實施例中，伺服器鏈接交換器包含架頂式（ToR）CXL交換器。在一些實施例中，伺服器鏈接交換器經組態以探索第一伺服器。在一些實施例中，伺服器鏈接交換器經組態以使得第一伺服器重啟。在一些實施例中，伺服器鏈接交換器經組態以使得快取一致性交換器禁用第一記憶體模組。在一些實施例中，伺服器鏈接交換器經組態以將資料自第二伺服器傳輸至第一伺服器，且對資料執行流動控制。在一些實施例中，系統更包含連接至伺服器鏈接交換器的第三伺服器，其中伺服器鏈接交換器經組態以進行以下操作：自第二伺服器接收第一封包；自第三伺服器接收第二封包；以及將第一封包及第二封包傳輸至第一伺服器。在一些實施例中，系統更包含連接至快取一致性交換器的第二記憶體模組，其中第一記憶體模組包含揮發性記憶體且第二記憶體模組包含持續記憶體。在一些實施例中，快取一致性交換器經組態以虛擬化第一記憶體模組及第二記憶體模組。在一些實施例中，第一記憶體模組包含快閃記憶體，且快取一致性交換器經組態以為快閃記憶體提供快閃轉譯層。在一些實施例中，第一伺服器包含連接至第一伺服器的擴充插座的擴充插座轉接器，擴充插座轉接器包含快取一致性交換器及記憶體模組插座，第一記憶體模組經由記憶體模組插座連接至快取一致性交換器。在一些實施例中，記憶體模組插座包含M.2插座。在一些實施例中：快取一致性交換器經由連接器連接至伺服器鏈接交換器，且連接器位於擴充插座轉接器上。根據本發明的實施例，提供一種用於在計算系統中執行遠端直接記憶體存取的方法，計算系統包含：第一伺服器，第二伺服器，第三伺服器，以及連接至第一伺服器、第二伺服器以及第三伺服器的伺服器鏈接交換器，第一伺服器包含儲存程式處理電路、快取一致性交換器以及第一記憶體模組，所述方法包含：藉由伺服器鏈接交換器自第二伺服器接收第一封包；藉由伺服器鏈接交換器自第三伺服器接收第二封包；以及將第一封包及第二封包傳輸至第一伺服器。在一些實施例中，所述方法更包含：藉由快取一致性交換器接收直接遠端直接記憶體存取（RDMA）請求；以及藉由快取一致性交換器發送直接RDMA回應。在一些實施例中，接收直接RDMA請求包含經由伺服器鏈接交換器接收直接RDMA請求。在一些實施例中，所述方法更包含：藉由快取一致性交換器自儲存程式處理電路接收針對第一記憶體位址的讀取命令；藉由快取一致性交換器將第一記憶體位址轉譯至第二記憶體位址；以及藉由快取一致性交換器在第二記憶體位址處自第一記憶體模組擷取資料。根據本發明的實施例，提供一種系統，包含：第一伺服器，包含儲存程式處理電路、快取一致性交換構件、第一記憶體模組；及第二伺服器；以及伺服器鏈接交換器，連接至第一伺服器及第二伺服器，其中第一記憶體模組連接至快取一致性交換構件，快取一致性交換構件連接至伺服器鏈接交換器，且儲存程式處理電路連接至快取一致性交換構件。
圖1G繪示多個記憶體伺服器150中的每一者連接至ToR伺服器鏈接交換器112的實施例，所述ToR伺服器鏈接交換器112可為PCIe 5.0 CXL交換器，如所示出。如在圖1E及圖1F的實施例中，伺服器鏈接交換器112可包含FPGA或ASIC，且可提供優於以太網路交換器的效能的效能（在生產量及延遲方面）。如在圖1E及圖1F的實施例中，記憶體伺服器150可包含多個記憶體模組135，所述記憶體模組135經由多個PCIe連接器連接至伺服器鏈接交換器112。在圖1G的實施例中，可能不存在處理電路115及系統記憶體120，且記憶體伺服器150的主要目的可能是提供記憶體以供具有計算資源的其他伺服器105使用。
在圖1G的實施例中，伺服器鏈接交換器112可對自不同伺服器150接收到的多個快取請求進行分組或分批，且其可對封包進行分組，從而減少控制開銷。增強能力CXL交換器130可包含可組合硬體構建區塊以（i）基於工作負載將資料路由至不同記憶體類型，且（ii）虛擬化處理器側位址（將此類位址轉譯至記憶體側位址）。圖1G中所示出的系統可為基於CXL 2.0的，其可包含機架內的可組合及分解式共用記憶體，且其可使用ToR伺服器鏈接交換器112來向遠端元件提供集中（亦即，聚合）記憶體。
ToR伺服器鏈接交換器112可具有額外網路連接（例如，如所示出，以太網路連接或另一種連接，例如諸如WiFi連接或5G連接的無線連接）以用於與其他伺服器或用戶端進行連接。伺服器鏈接交換器112及增強能力CXL交換器130可各自包含控制器，所述控制器可為或包含諸如ARM處理器的處理電路。PCIe介面可遵守PCIe 5.0標準或較早版本、或PCIe標準的未來版本，或可採用不同標準（例如，NVDIMM-P、CCIX或OpenCAPI）代替PCIe。記憶體模組135可包含各種記憶體類型，所述記憶體類型包含DDR4 DRAM、HBM、LDPPR、NAND快閃以及固態驅動器（SSD）。記憶體模組135可被分割或含有快取控制器以處理多種記憶體類型，且其可呈不同外觀尺寸，諸如HHHL、FHHL、M.2、U.2、夾層卡、子卡、E1.S、E1.L、E3.L或E3.S。
在圖1G的實施例中，增強能力CXL交換器130可實現一對多及多對一的交換，且其可在微片（64位元組）級別處啟用精細粒度負載儲存介面。每一伺服器150可具有聚合記憶體元件，每一元件被分割為各自具有相應LD-ID的多個邏輯元件。增強能力CXL交換器130可包含控制器137（例如，ASIC或FPGA）及用於元件探索、列舉、分割以及呈現實體位址範圍的電路（其可與此ASIC或FPGA分離或為此ASIC或FPGA的部分）。記憶體模組135中的每一者可具有一個實體功能（PF）及多達16個隔離邏輯元件。在一些實施例中，可限制邏輯元件的數目（例如，分區的數目）（例如，至多16個），且亦可存在一個控制分區（其可具有用於控制元件的實體功能）。記憶體模組135中的每一者可為具有cxl.cache、cxl.mem及cxl.io以及位址轉換服務（ATS）實施的類型2元件，以處理處理電路115可保持的快取線複本。
增強能力CXL交換器130及構造管理器可控制記憶體模組135的探索，且（i）執行元件探索及虛擬CXL軟體創建，以及（ii）將虛擬埠綁定至實體埠。如在圖1A至圖1D的實施例中，構造管理器可經由SMBus旁頻帶上方的連接進行操作。至記憶體模組135的介面（其可為智慧平台管理介面（IPMI）或遵守Redfish標準的介面（且亦可提供標準不需要的額外特徵））可實現可組態性。
對於圖1G的實施例，構建區塊可包含（如上文所提及）在FPGA或ASIC上實現的CXL控制器137，從而進行交換以使得（例如，記憶體模組135的）記憶體元件、SSD、加速器（GPU、NIC）、CXL及PCIe5連接器以及韌體能夠聚合，以將元件細節暴露至操作系統的先進組態與電力介面（advanced configuration and power interface；ACPI）表，諸如異構記憶體屬性表（heterogeneous memory attribute table；HMAT）或靜態資源親和性表SRAT。
在一些實施例中，系統提供可組合性。系統可基於軟體組態提供對線上及線下CXL元件及其他加速器的能力，且其可能夠對加速器、記憶體、儲存元件資源進行分組且將其分派至機架中的每一記憶體伺服器150。系統可隱藏實體位址空間且使用如HBM及SRAM的更快的元件來提供透明快取。
在圖1G的實施例中，增強能力CXL交換器130的控制器137可（i）管理記憶體模組135，（ii）整合及控制諸如NIC、SSD、GPU、DRAM的異構元件，以及（iii）藉由電源閘來實現對記憶體元件的儲存的動態重組態。舉例而言，ToR伺服器鏈接交換器112可（藉由指示增強型能力CXL交換器130禁止對記憶體模組135供電）禁止對記憶體模組135中的一者供電（亦即，關閉電源或減少電源）。增強能力CXL交換器130可接著在由伺服器鏈接交換器112指示禁止對記憶體模組供電之後禁止對記憶體模組135供電。此禁止可節省電力，且其可改良記憶體伺服器150中的其他記憶體模組135的效能（例如，生產量及延遲）。每一遠端伺服器105可基於協商看到記憶體模組135及其連接的不同邏輯視圖。增強能力CXL交換器130的控制器137可維持狀態以使得每一遠端伺服器維持所分派的資源及連接，且其可執行記憶體的壓縮或重複刪除以節省記憶體容量（使用可組態厚塊尺寸）。圖1G的分解式機架可具有其自身的BMC。其亦可將IPMI網路介面及系統事件日誌（SEL）暴露至遠端元件，從而使得主控元件（例如，使用由記憶體伺服器150提供的儲存器的遠端伺服器）能夠量測運作中的效能及可靠性，且重組態分解式機架。圖1G的分解式機架可以與本文中所描述的圖1E的實施例的方式類似的方式提供可靠性、複製、一致性、系統一致性、散列、快取以及持續性，其中例如一致性設置有自同一記憶體位址讀取或寫入至同一記憶體位址的多個遠端伺服器，且每一遠端伺服器經組態具有不同的一致性級別。在一些實施例中，伺服器鏈接交換器維持儲存於第一記憶體伺服器上的資料與儲存於第二記憶體伺服器上的資料之間的最終一致性。伺服器鏈接交換器112可為不同的伺服器對維持不同的一致性級別；例如，伺服器鏈接交換器亦可在儲存於第一記憶體伺服器上的資料與儲存於第三記憶體伺服器上的資料之間維持一致性級別，所述一致性級別為嚴格一致性、依序一致性、因果一致性或處理器一致性。系統可採用「局部帶」（伺服器鏈接交換器112）及「全局帶」（分解式伺服器）領域中的通信。寫入可刷新至「全局帶」，以對來自其他伺服器的新讀取可見。增強能力CXL交換器130的控制器137可管理持續領域且單獨地刷新每一遠端伺服器。舉例而言，快取一致性交換器可監測記憶體（操作為快取的揮發性記憶體）的第一區的豐滿度，且當豐滿度級別超過臨界值時，快取一致性交換器可將資料自記憶體的第一區移動至記憶體的第二區，記憶體的第二區位於持續記憶體中。可處理流動控制，此是由於可藉由增強能力CXL交換器130的控制器137在遠端伺服器之間建立優先權以呈現不同的感知延遲及頻寬。
根據本發明的實施例，提供一種系統，包含：第一記憶體伺服器，其包含快取一致性交換器及第一記憶體模組；及第二記憶體伺服器；以及伺服器鏈接交換器，連接至第一記憶體伺服器及第二記憶體伺服器，其中第一記憶體模組連接至快取一致性交換器，且快取一致性交換器連接至伺服器鏈接交換器。在一些實施例中，伺服器鏈接交換器經組態以禁止對第一記憶體模組供電。在一些實施例中：伺服器鏈接交換器經組態以藉由指示快取一致性交換器禁止對第一記憶體模組供電來禁止對第一記憶體模組供電，且快取一致性交換器經組態以在由伺服器鏈接交換器指示禁止對第一記憶體模組供電之後禁止對第一記憶體模組供電。在一些實施例中，快取一致性交換器經組態以在第一記憶體模組內執行重複刪除。在一些實施例中，快取一致性交換器經組態以壓縮資料且將所壓縮資料儲存於第一記憶體模組中。在一些實施例中，伺服器鏈接交換器經組態以查詢第一伺服器的狀態。在一些實施例中，伺服器鏈接交換器經組態以經由智慧平台管理介面（IPMI）查詢第一記憶體伺服器的狀態。在一些實施例中，狀態的查詢包含查詢選自以下所組成的群組的狀態：功率狀態、網路狀態以及錯誤檢查狀態。在一些實施例中，伺服器鏈接交換器經組態以對針對第一記憶體伺服器的快取請求進行分批。在一些實施例中，系統更包含連接至伺服器鏈接交換器的第三記憶體伺服器，其中伺服器鏈接交換器經組態以在儲存於第一記憶體伺服器上的資料與儲存於第三記憶體伺服器上的資料之間維持選自以下所組成的群組的一致性級別：嚴格一致性、依序一致性、因果一致性以及處理器一致性。在一些實施例中，快取一致性交換器經組態以進行以下操作：監測記憶體的第一區的豐滿度，且將資料自記憶體的第一區移動至記憶體的第二區，其中記憶體的第一區位於揮發性記憶體中，且記憶體的第二區位於持續記憶體中。在一些實施例中，伺服器鏈接交換器包含周邊組件互連高速（PCIe）交換器。在一些實施例中，伺服器鏈接交換器包含計算快速鏈路（CXL）交換器。在一些實施例中，伺服器鏈接交換器包含架頂式（ToR）CXL交換器。在一些實施例中，伺服器鏈接交換器經組態以將資料自第二伺服器傳輸至第一記憶體伺服器，且對資料執行流動控制。在一些實施例中，系統更包含連接至伺服器鏈接交換器的第三伺服器，其中伺服器鏈接交換器經組態以進行以下操作：自第二記憶體伺服器接收第一封包；自第三記憶體伺服器接收第二封包；以及將第一封包及第二封包傳輸至第一記憶體伺服器。根據本發明的實施例，提供一種用於在計算系統中執行遠端直接記憶體存取的方法，計算系統包含：第一記憶體伺服器；第一伺服器；第二伺服器；以及伺服器鏈接交換器，連接至第一記憶體伺服器、第一伺服器以及第二伺服器，第一記憶體伺服器包含快取一致性交換器及第一記憶體模組；第一伺服器包含儲存程式處理電路；第二伺服器包含儲存程式處理電路；所述方法包含：藉由伺服器鏈接交換器自第一伺服器接收第一封包，藉由伺服器鏈接交換器自第二伺服器接收第二封包，以及將第一封包及第二封包傳輸至第一記憶體伺服器。在一些實施例中，所述方法更包含藉由快取一致性交換器壓縮資料，且將資料儲存於第一記憶體模組中。在一些實施例中，所述方法更包含藉由伺服器鏈接交換器查詢第一記憶體伺服器的狀態。根據本發明的實施例，提供一種系統，包含：第一記憶體伺服器，包含快取一致性交換器及第一記憶體模組；及第二記憶體伺服器；以及伺服器鏈接交換構件，連接至第一記憶體伺服器及第二記憶體伺服器，其中第一記憶體模組連接至快取一致性交換器，且快取一致性交換器連接至伺服器鏈接交換構件。
圖2A至圖2D為各種實施例的流程圖。在此等流程圖的實施例中，處理電路115為CPU；在其他實施例中，其可為其他處理電路（例如，GPU）。參考圖2A，圖1A及圖1B的實施例的記憶體模組135的控制器137或圖1C至圖1G的實施例中的任一者的增強能力CXL交換器130可跨處理電路115虛擬化且在另一伺服器105中的增強能力CXL交換器130上發起RDMA請求以將資料在伺服器105之間來回移動，而不涉及任一伺服器中的處理電路115（其中虛擬化由增強能力CXL交換器130的控制器137處理）。舉例而言，在205處，記憶體模組135的控制器137或增強能力CXL交換器130產生針對額外遠端記憶體（例如，CXL記憶體或聚合記憶體）的RDMA請求；在210處，網路介面電路125繞過處理電路將所述請求傳輸至ToR以太網路交換器110（其可具有RDMA介面）；在215處，ToR以太網路交換器110繞過遠端處理電路115，經由對遠端聚合記憶體的RDMA存取而將RDMA請求路由至遠端伺服器105，以用於聚合藉由記憶體模組135的控制器137或藉由遠端增強能力CXL交換器130進行處理；在220處，ToR以太網路交換器110接收處理資料且經由RDMA繞過局部處理電路115將資料路由至局部記憶體模組135或局部增強能力CXL交換器130；以及在222處，圖1A及圖1B的實施例的記憶體模組135的控制器137或增強能力CXL交換器130直接接收RDMA回應（例如，在其不由處理電路115轉發的情況下）。
在此實施例中，遠端記憶體模組135的控制器137或遠端伺服器105的增強能力CXL交換器130經組態以接收直接遠端直接記憶體存取（RDMA）請求且發送直接RDMA回應。如本文中所使用，遠端記憶體模組135的控制器137接收「直接RDMA請求」（或「直接地」接收此類請求）或增強能力CXL交換器130接收「直接RDMA請求」意謂在所述請求不由遠端伺服器的處理電路115轉發或另外處理的情況下藉由遠端記憶體模組135的控制器137或藉由增強能力CXL交換器130接收此類請求，且藉由遠端記憶體模組135的控制器137或藉由增強能力CXL交換器130發送「直接RDMA回應」（或「直接地」發送此類請求）意謂在所述回應不由遠端伺服器的處理電路115轉發或另外處理的情況下發送此類回應。
參考圖2B，在另一實施例中，RDMA可與參與資料處理的遠端伺服器的處理電路一起執行。舉例而言，在225處，處理電路115可經由以太網路傳輸資料或工作負載請求；在230處，ToR以太網路交換器110可接收所述請求且將其路由至多個伺服器105的對應伺服器105；在235處，可在伺服器內經由網路介面電路125的埠（例如，啟用100 GbE的NIC）接收所述請求；在240處，處理電路115（例如，x86處理電路）可自網路介面電路125接收所述請求；以及在245處，處理電路115可經由CXL 2.0協定使用DDR及額外記憶體資源來（例如，一起）處理請求以共用記憶體（在圖1A及圖1B的實施例中，其可為聚合記憶體）。
參考圖2C，在圖1E的實施例中，RDMA可與參與資料處理的遠端伺服器的處理電路一起執行。舉例而言，在225處，處理電路115可經由以太網路或PCIe傳輸資料或工作負載請求；在230處，ToR以太網路交換器110可接收所述請求且將其路由至多個伺服器105的對應伺服器105；在235處，可在伺服器內經由PCIe連接器的埠接收所述請求；在240處，處理電路115（例如，x86處理電路）可自網路介面電路125接收所述請求；以及在245處，處理電路115可經由CXL 2.0協定使用DDR及額外記憶體資源來（例如，一起）處理請求以共用記憶體（在圖1A及圖1B的實施例中，其可為聚合記憶體）。在250處,處理電路115可識別存取來自不同伺服器的記憶體內容（例如，DDR或聚合記憶體內容）的需求，在252處，處理電路115可經由CXL協定（例如，CXL 1.1或CXL 2.0）發送針對來自不同伺服器的所述記憶體內容（例如，DDR或聚合記憶體內容）的請求；在254處，所述請求經由局部PCIe連接器傳播至伺服器鏈接交換器112，所述伺服器鏈接交換器112接著將所述請求傳輸至機架上的第二伺服器的第二PCIe連接器；在256處，第二處理電路115（例如，x86處理電路）自第二PCIe連接器接收所述請求；在258處，第二處理電路115可經由CXL 2.0協定使用第二DDR及第二額外記憶體資源來聚合一起處理所述請求（例如，記憶體內容的擷取）以共用聚合記憶體；以及在260處，第二處理電路（例如，x86處理電路）經由相應PCIe連接器及經由伺服器鏈接交換器112將所述請求的結果傳輸返回至原始處理電路。
參考圖2D，在圖1G的實施例中，RDMA可與參與資料處理的遠端伺服器的處理電路一起執行。舉例而言：在225處，處理電路115可經由以太網路傳輸資料或工作負載請求；在230處，ToR以太網路交換器110可接收所述請求且將其路由至多個伺服器105的對應伺服器105；在235處，可在伺服器內經由網路介面電路125的埠（例如，啟用100 GbE的NIC）接收所述請求。在262處，記憶體模組135自PCIe連接器接收所述請求；在264處，記憶體模組135的控制器使用局部記憶體處理所述請求；在250處，記憶體模組135的控制器識別存取來自不同伺服器的記憶體內容（例如，聚合記憶體內容）的需求；在252處，記憶體模組135的控制器經由CXL協定發送針對來自不同伺服器的所述記憶體內容（例如，聚合記憶體內容）的請求；在254處，所述請求經由局部PCIe連接器傳播至伺服器鏈接交換器112，所述伺服器鏈接交換器112接著將所述請求傳輸至機架上的第二伺服器的第二PCIe連接器；以及在266處，第二PCIe連接器經由CXL協定提供存取以共用聚合記憶體，以允許記憶體模組135的控制器擷取記憶體內容。
如本文中所使用，「伺服器」為計算系統，所述計算系統包含至少一個儲存程式處理電路（例如，處理電路115）、至少一個記憶體資源（例如，系統記憶體120）以及至少一個用於提供網路連接的電路（例如，網路介面電路125）。如本文中所使用，某物「的一部分」意謂事物「中的至少一些」，且因而可意謂少於所有事物或所有事物。因而，作為特殊情況，事物「的一部分」包含整個事物，亦即，整個事物為事物的一部分的實例。
僅包含本揭露內容章節的背景章節中所提供的背景以設定上下文，且不承認此章節的內容為先前技術。所描述的組件中的任一者或組件的任何組合（例如，在本文中所包含的任何系統圖式中）可用於執行本文中所包含的任何流程圖的操作中的一或多者。另外，（i）操作為實例操作，且可涉及未明確覆蓋的各種額外步驟，且（ii）可改變操作的時間次序。
術語「處理電路」或「控制器構件」在本文中用於意謂用於處理資料或數位訊號的硬體、韌體以及軟體的任何組合。處理電路硬體可包含例如特殊應用積體電路（ASIC）、通用或專用中央處理單元（central processing unit；CPU）、數位訊號處理器（digital signal processor；DSP）、圖形處理單元（GPU）以及諸如現場可程式邏輯閘陣列（FPGA）的可程式化邏輯元件。在處理電路中，如本文中所使用，藉由經組態（亦即，硬佈線）以執行函數的硬體或藉由經組態以執行儲存於非暫時性儲存媒體中的指令的更通用的硬體（諸如CPU）來執行每一函數。處理電路可製作於單個印刷電路板（printed circuit board；PCB）上或分佈於若干互連PCB上。處理電路可含有其他處理電路；例如處理電路可包含在PCB上互連的兩個處理電路，FPGA及CPU。
如本文中所使用，「控制器」包含電路，且控制器亦可稱為「控制電路」或「控制器電路」。類似地，「記憶體模組」亦可稱為「記憶體模組電路」或「記憶體電路」。如本文中所使用，術語「陣列」是指編號的有序集合與如何儲存無關（例如，儲存於連續記憶體位置中或儲存於鏈接清單中）。如本文中所使用，當第二數目在第一數目的「Y%內」時，其意謂第二數目為第一數目的至少（1-Y/100）倍且第二數目為第一數目的至多（1+Y/100）倍。如本文中所使用，術語「或」應解釋為「及/或」，使得例如「A或B」意謂「A」或「B」或「A及B」中的任一者。
如本文中所使用，當將方法（例如，調整）或第一數量（例如，第一變量）稱為「基於」第二數量（例如，第二變量）時，其意謂第二數量為方法的輸入或影響第一數量，例如，第二數量可為計算第一數量的函數的輸入（例如，唯一輸入，或若干輸入中的一者），或第一數量可等於第二數量，或第一數量可與第二數量相同（例如，儲存於記憶體中的一或多個相同位置處）。
應理解，儘管在本文中可使用術語「第一」、「第二」、「第三」等來描述各種部件、組件、區、層及/或區段，但此等部件、組件、區、層及/或區段不應受此等術語限制。此等術語僅用於區別一個部件、組件、區、層或區段與另一部件、組件、區、層或區段。因此，在不脫離本揭露內容的精神及範疇的情況下，本文中所論述的第一部件、組件、區、層或區段可稱為第二部件、組件、區、層或區段。
為易於描述，本文中可使用諸如「在……之下」、「在……下方」、「下部」、「在……下面」、「在……上方」、「上部」以及類似者的空間相對術語來描述如圖式中所示出的一個部件或特徵相對於另一部件或特徵的關係。應理解，此類空間相對術語意欲涵蓋除圖式中所描繪的定向之外的在使用中或在操作中的元件的不同定向。舉例而言，若翻轉圖式中的元件，則描述為「在」其他部件或特徵「下方」或「在」其他部件或特徵「之下」或「在」其他部件或特徵「下面」的部件將接著被定向為「在」其他部件或特徵「上方」。因此，實例術語「在……下方」及「在……下面」可涵蓋在……上方及在……下面的定向兩者。元件可另外定向（旋轉90度或處於其他定向）且本文中所使用的空間相對描述詞可同樣相應地進行解譯。此外，亦應理解，當層稱為「在」兩個層「之間」時，所述層可為兩個層之間的唯一層，或亦可能存在一或多個介入層。
本文中所使用的術語僅出於描述特定實施例的目的，且不意欲限制本發明概念。如本文中所使用，術語「實質上」、「約」以及類似術語用作表示近似的術語而不用作表示程度的術語，且意欲考慮將由所屬領域中具有通常知識者識別的量測值或計算值的固有偏差。如本文中所使用，除非上下文另外明確地指示，否則單數形式「一（a/an）」意欲亦包含複數形式。應進一步瞭解，術語「包括（comprises/comprising）」在用於本說明書中時指定存在所陳述特徵、整數、步驟、操作、部件及/或組件，但不排除存在或添加一或多個其他特徵、整數、步驟、操作、部件、組件及/或其群組。如本文中所使用，術語「及/或」包含相關聯的所列項目中的一或多者的任何及所有組合。當處於部件清單之前時，諸如「……中的至少一者」的表述修飾部件的整個清單，而並不修飾清單的個別部件。此外，當描述本發明概念的實施例時，使用「可」指「本揭露內容的一或多個實施例」。此外，術語「例示性」意欲指實例或說明。如本文中所使用，可認為術語「使用（use/using/used）」分別與術語「利用（utilize/utilizing/utilized）」同義。
應理解，當將部件或層稱為「在」另一部件或層「上」、「連接至」另一部件或層、「耦接至」另一部件或層或「與」另一元件或層「相鄰」時，所述部件或層可直接在所述另一部件或層上、連接至所述另一部件或層、耦接至所述另一部件或層或與所述另一部件或層相鄰，或可能存在一或多個介入部件或層。相比而言，當部件或層稱為「直接在」另一部件或層「上」、「直接連接至」另一部件或層、「直接耦接至」另一部件或層或「緊鄰於」另一部件或層時，則不存在介入部件或層。
本文中所列舉的任何數值範圍均意欲包含所列舉範圍內所包含的具有相同數值精確度的所有子範圍。舉例而言，「1.0至10.0」或「1.0與10.0之間」的範圍意欲包含所列舉的最小值1.0與所列舉的最大值10.0之間（且包含所列舉的最小值1.0及所列舉的最大值10.0）的所有子範圍，亦即，具有等於或大於1.0的最小值及等於或小於10.0的最大值，諸如2.4至7.6。本文中所列舉的任何最大數值限制意欲包含其中所包含的所有較低數值限制，且在本說明書中所列舉的任何最小數值限制意欲包含其中所包含的所有較高數值限制。
儘管本文中已具體地描述及示出用於管理記憶體資源的系統及方法的例示性實施例，但許多修改及變化對於所屬領域中具有通常知識者將是顯而易見的。因此，應理解，除如在本文中具體地描述之外，可體現根據本揭露內容的原理所建構的用於管理記憶體資源的系統及方法。本發明亦在以下申請專利範圍及其等效物中定義。
105:伺服器 110:架頂式以太網路交換器 112:伺服器鏈接交換器 115:處理電路 120:系統記憶體 125:網路介面電路 130:CXL交換器 135:記憶體模組 137:控制器 140:擴充插座轉接器 145:擴充插座/PCIe連接器 150:記憶體伺服器 205、210、215、220、222、225、230、235、240、245、250、252、254、256、258、260、262、264、266:步驟
本文中所提供的圖式僅出於示出某些實施例的目的；可能未明確示出的其他實施例亦不排除在本揭露內容的範疇之外。 將參考說明書、申請專利範圍以及隨附圖式來瞭解並理解本揭露內容的此等及其他特徵及優勢，在隨附圖式中： 圖1A為根據本揭露內容的實施例的用於使用快取一致性連接將記憶體資源附接至計算資源的系統的方塊圖。 圖1B為根據本揭露內容的實施例的用於使用快取一致性連接將記憶體資源附接至計算資源的採用擴充插座轉接器的系統的方塊圖。 圖1C為根據本揭露內容的實施例的用於採用以太網路ToR交換器來聚合記憶體的系統的方塊圖。 圖1D為根據本揭露內容的實施例的用於採用以太網路ToR交換器及擴充插座轉接器來聚合記憶體的系統的方塊圖。 圖1E為根據本揭露內容的實施例的用於聚合記憶體的系統的方塊圖。 圖1F為根據本揭露內容的實施例的用於採用擴充插座轉接器來聚合記憶體的系統的方塊圖。 圖1G為根據本揭露內容的實施例的用於分解伺服器的系統的方塊圖。 圖2A為根據本揭露內容的實施例的繞過圖1A至圖1G中所示出的實施例的處理電路來執行遠端直接記憶體存取（RDMA）傳送的實例方法的流程圖。 圖2B為根據本揭露內容的實施例的在圖1A至圖1D中所示出的實施例的處理電路參與的情況下執行RDMA傳送的實例方法的流程圖。 圖2C為根據本揭露內容的實施例的經由圖1E及圖1F中所示出的實施例的計算快速鏈路（CXL）交換器來執行RDMA傳送的實例方法的流程圖。 圖2D為根據本揭露內容的實施例的經由圖1G中所示出的實施例的CXL交換器來執行RDMA傳送的實例方法的流程圖。
105:伺服器
110:架頂式以太網路交換器
115:處理電路
120:系統記憶體
125:網路介面電路
135:記憶體模組
137:控制器

Claims (20)

  1. 一種系統，包括： 第一伺服器，包括： 儲存程式處理電路， 第一網路介面電路，以及 第一記憶體模組， 其中： 所述第一記憶體模組包括： 第一記憶體晶粒，以及 控制器， 所述控制器： 經由記憶體介面連接至所述第一記憶體晶粒， 經由快取一致性介面連接至所述儲存程式處理電路，以及 連接至所述第一網路介面電路。
  2. 如請求項1所述的系統，其中： 所述第一記憶體模組更包括第二記憶體晶粒， 所述第一記憶體晶粒包括揮發性記憶體，且 所述第二記憶體晶粒包括持續記憶體。
  3. 如請求項2所述的系統，其中所述持續記憶體包括反及閘（NAND）快閃。
  4. 如請求項3所述的系統，其中所述控制器經組態以為所述持續記憶體提供快閃轉譯層。
  5. 如請求項1所述的系統，其中所述快取一致性介面包括計算快速鏈路（CXL）介面。
  6. 如請求項1所述的系統，其中所述第一伺服器包括連接至所述第一伺服器的擴充插座的擴充插座轉接器，所述擴充插座轉接器包括： 所述第一記憶體模組；以及 所述第一網路介面電路。
  7. 如請求項6所述的系統，其中所述第一記憶體模組的所述控制器經由所述擴充插座連接至所述儲存程式處理電路。
  8. 如請求項6所述的系統，其中所述擴充插座包括M.2插座。
  9. 如請求項6所述的系統，其中所述第一記憶體模組的所述控制器藉由同級間周邊組件互連高速（PCIe）連接而連接至所述第一網路介面電路。
  10. 如請求項1所述的系統，更包括： 第二伺服器，以及 網路交換器，連接至所述第一伺服器及所述第二伺服器。
  11. 如請求項10所述的系統，其中所述網路交換器包括架頂式（ToR）以太網路交換器。
  12. 如請求項10所述的系統，其中所述第一記憶體模組的所述控制器經組態以接收遠端直接記憶體存取（RDMA）請求且發送RDMA回應。
  13. 如請求項10所述的系統，其中所述第一記憶體模組的所述控制器經組態以經由所述網路交換器及經由所述第一網路介面電路接收遠端直接記憶體存取（RDMA）請求，且經由所述網路交換器及經由所述第一網路介面電路發送RDMA回應。
  14. 如請求項13所述的系統，其中所述第一記憶體模組的所述控制器經組態以進行以下操作： 自所述第二伺服器接收資料； 將所述資料儲存於所述第一記憶體模組中；以及 將用於使快取線失效的命令發送至所述儲存程式處理電路。
  15. 如請求項1所述的系統，其中所述第一記憶體模組的所述控制器包括現場可程式邏輯閘陣列（FPGA）或特殊應用積體電路（ASIC）。
  16. 一種用於在計算系統中執行遠端直接記憶體存取的方法，所述計算系統包括： 第一伺服器及第二伺服器， 所述第一伺服器包括： 儲存程式處理電路， 網路介面電路，以及 第一記憶體模組，包括控制器， 所述方法包括： 藉由所述第一記憶體模組的所述控制器接收遠端直接記憶體存取（RDMA）請求；以及 藉由所述第一記憶體模組的所述控制器發送RDMA回應。
  17. 如請求項16所述的方法，其中： 所述計算系統更包括連接至所述第一伺服器及所述第二伺服器的以太網路交換器，且 接收所述RDMA請求包括經由所述以太網路交換器接收所述RDMA請求。
  18. 如請求項16所述的方法，更包括： 藉由所述第一記憶體模組的所述控制器自所述儲存程式處理電路接收第一記憶體位址的讀取命令， 藉由所述第一記憶體模組的所述控制器將所述第一記憶體位址轉譯至第二記憶體位址，以及 藉由所述第一記憶體模組的所述控制器在所述第二記憶體位址處自所述第一記憶體模組擷取資料。
  19. 如請求項16所述的方法，更包括： 藉由所述第一記憶體模組的所述控制器接收資料， 藉由所述第一記憶體模組的所述控制器將所述資料儲存於所述第一記憶體模組中，以及 藉由所述第一記憶體模組的所述控制器將用於使快取線失效的命令發送至所述儲存程式處理電路。
  20. 一種系統，包括： 第一伺服器，包括： 儲存程式處理電路， 第一網路介面電路，以及 第一記憶體模組， 其中： 所述第一記憶體模組包括： 第一記憶體晶粒，以及 控制器構件， 所述控制器構件： 經由記憶體介面連接至所述第一記憶體晶粒， 經由快取一致性介面連接至所述儲存程式處理電路，以及 連接至所述第一網路介面電路。
TW110108447A 2020-05-28 2021-03-10 用於管理記憶體資源的系統以及用於在計算系統中執行遠端直接記憶體存取的方法 TW202147123A (zh)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US202063031508P 2020-05-28 2020-05-28
US202063031509P 2020-05-28 2020-05-28
US63/031,509 2020-05-28
US63/031,508 2020-05-28
US202063057746P 2020-07-28 2020-07-28
US63/057,746 2020-07-28
US202063068054P 2020-08-20 2020-08-20
US63/068,054 2020-08-20
US17/026,071 2020-09-18
US17/026,071 US20210311897A1 (en) 2020-04-06 2020-09-18 Memory with cache-coherent interconnect

Publications (1)

Publication Number Publication Date
TW202147123A true TW202147123A (zh) 2021-12-16

Family

ID=74859383

Family Applications (4)

Application Number Title Priority Date Filing Date
TW110108447A TW202147123A (zh) 2020-05-28 2021-03-10 用於管理記憶體資源的系統以及用於在計算系統中執行遠端直接記憶體存取的方法
TW110108561A TW202145025A (zh) 2020-05-28 2021-03-10 用於管理記憶體資源的系統以及實行遠端直接記憶體存取的方法
TW110112837A TW202213105A (zh) 2020-05-28 2021-04-09 用於管理記憶體資源的系統以及用於在計算系統中執行遠端直接記憶體存取的方法
TW110114337A TW202213104A (zh) 2020-05-28 2021-04-21 管理記憶體資源的系統及實行遠端直接記憶體存取的方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
TW110108561A TW202145025A (zh) 2020-05-28 2021-03-10 用於管理記憶體資源的系統以及實行遠端直接記憶體存取的方法
TW110112837A TW202213105A (zh) 2020-05-28 2021-04-09 用於管理記憶體資源的系統以及用於在計算系統中執行遠端直接記憶體存取的方法
TW110114337A TW202213104A (zh) 2020-05-28 2021-04-21 管理記憶體資源的系統及實行遠端直接記憶體存取的方法

Country Status (6)

Country Link
US (1) US20210373951A1 (zh)
EP (4) EP3916563A1 (zh)
JP (3) JP2021190121A (zh)
KR (4) KR20210147865A (zh)
CN (4) CN113810312B (zh)
TW (4) TW202147123A (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11656967B2 (en) * 2020-02-13 2023-05-23 MemRay Corporation Method and apparatus for supporting persistence and computing device
US20210311897A1 (en) 2020-04-06 2021-10-07 Samsung Electronics Co., Ltd. Memory with cache-coherent interconnect
US20210373951A1 (en) * 2020-05-28 2021-12-02 Samsung Electronics Co., Ltd. Systems and methods for composable coherent devices
DE102021121105A1 (de) * 2020-09-28 2022-03-31 Samsung Electronics Co., Ltd. Intelligente ablagespeichervorrichtung
US11442858B1 (en) * 2021-03-10 2022-09-13 Micron Technology, Inc. Bias control for a memory device
US12020070B2 (en) * 2021-04-02 2024-06-25 Red Hat, Inc. Managing computer workloads across distributed computing clusters
US11755251B2 (en) * 2021-06-02 2023-09-12 Samsung Electronics Co., Ltd. Virtual computational storage devices
US11995017B2 (en) * 2021-06-09 2024-05-28 Enfabrica Corporation Multi-plane, multi-protocol memory switch fabric with configurable transport
US11782832B2 (en) * 2021-08-25 2023-10-10 Vmware, Inc. Low latency host processor to coherent device interaction
US11632337B1 (en) * 2021-10-11 2023-04-18 Cisco Technology, Inc. Compute express link over ethernet in composable data centers
CA3238860A1 (en) 2021-11-24 2023-06-01 Norihisa MIKAMI Pharmaceutical composition for treating or preventing t cell-related disorders
TWI818385B (zh) * 2021-12-16 2023-10-11 神雲科技股份有限公司 儲存設備
US20230205705A1 (en) * 2021-12-23 2023-06-29 Advanced Micro Devices, Inc. Approach for providing indirect addressing in memory modules
US20230222068A1 (en) * 2022-01-11 2023-07-13 Flipkart Internet Private Limited System and method for optimizing cached memory comprising varying degrees of sla and crg
US11966590B2 (en) 2022-02-25 2024-04-23 Samsung Electronics Co., Ltd. Persistent memory with cache coherent interconnect interface
US20230281128A1 (en) * 2022-03-03 2023-09-07 Samsung Electronics Co., Ltd. Cache-coherent interconnect based near-data-processing accelerator
CN114896223A (zh) * 2022-04-07 2022-08-12 支付宝(杭州)信息技术有限公司 数据库实现装置、方法、系统、介质以及计算机程序产品
WO2024117572A1 (ko) * 2022-11-29 2024-06-06 한국전자통신연구원 대용량 온칩 메모리를 갖는 인공지능 프로세서를 위한 가상주소 기반의 캐시 코헤런시 지원 방법 및 이를 위한 장치
CN115982078A (zh) * 2023-01-19 2023-04-18 北京超弦存储器研究院 一种cxl内存模组及内存存储系统
CN116466879B (zh) * 2023-03-17 2023-12-29 北京超弦存储器研究院 一种cxl内存模组、内存数据的置换方法及计算机系统
CN116886751B (zh) * 2023-09-04 2024-01-19 浪潮(北京)电子信息产业有限公司 一种异构设备的高速通信方法、装置和异构通信系统

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7079535B2 (en) * 2000-07-28 2006-07-18 The Regents Of The Universtiy Of California Method and apparatus for real-time fault-tolerant multicasts in computer networks
US8725946B2 (en) * 2009-03-23 2014-05-13 Ocz Storage Solutions, Inc. Mass storage system and method of using hard disk, solid-state media, PCIe edge connector, and raid controller
US10877695B2 (en) * 2009-10-30 2020-12-29 Iii Holdings 2, Llc Memcached server functionality in a cluster of data processing nodes
US9645866B2 (en) * 2010-09-20 2017-05-09 Qualcomm Incorporated Inter-processor communication techniques in a multiple-processor computing platform
US9009406B2 (en) * 2010-12-10 2015-04-14 International Business Machines Corporation Determining server write activity levels to use to adjust write cache size
EP2748705A4 (en) * 2011-08-25 2015-05-20 Virtustream Inc SYSTEMS AND METHODS FOR HOST-RELATED RESOURCE MANAGEMENT WITH CLUSTER-BASED RESOURCE POOLS
US20130318308A1 (en) * 2012-05-24 2013-11-28 Sonics, Inc. Scalable cache coherence for a network on a chip
US10025626B2 (en) * 2012-09-28 2018-07-17 Cycle Computing, Llc Routing job submissions between disparate compute environments
US20140195672A1 (en) * 2013-01-09 2014-07-10 Microsoft Corporation Automated failure handling through isolation
KR102430561B1 (ko) * 2015-09-11 2022-08-09 삼성전자주식회사 듀얼 포트 디램을 포함하는 메모리 모듈
US10944842B2 (en) * 2016-05-27 2021-03-09 Home Box Office, Inc. Cached data repurposing
US20180024964A1 (en) * 2016-07-19 2018-01-25 Pure Storage, Inc. Disaggregated compute resources and storage resources in a storage system
US10503655B2 (en) * 2016-07-21 2019-12-10 Advanced Micro Devices, Inc. Data block sizing for channels in a multi-channel high-bandwidth memory
US10225344B2 (en) * 2016-08-12 2019-03-05 International Business Machines Corporation High-performance key-value store using a coherent attached bus
US10831404B2 (en) * 2018-02-08 2020-11-10 Alibaba Group Holding Limited Method and system for facilitating high-capacity shared memory using DIMM from retired servers
US10599548B2 (en) * 2018-06-28 2020-03-24 Intel Corporation Cache monitoring
EP3796615B1 (en) * 2018-06-28 2023-06-07 Huawei Technologies Co., Ltd. Fault tolerance processing method, device, and server
US10956230B2 (en) * 2018-10-01 2021-03-23 Vmware, Inc. Workload placement with forecast
US11100040B2 (en) * 2018-10-17 2021-08-24 Cisco Technology, Inc. Modular remote direct memory access interfaces
US11023179B2 (en) * 2018-11-18 2021-06-01 Pure Storage, Inc. Cloud-based storage system storage management
US11036658B2 (en) * 2019-01-16 2021-06-15 Advanced Micro Devices, Inc. Light-weight memory expansion in a coherent memory system
US11169854B2 (en) * 2019-01-31 2021-11-09 Hewlett Packard Enterprise Development Lp Node eligibility determinations
US11025544B2 (en) * 2019-06-07 2021-06-01 Intel Corporation Network interface for data transport in heterogeneous computing environments
US11573900B2 (en) * 2019-09-11 2023-02-07 Intel Corporation Proactive data prefetch with applied quality of service
US20200104275A1 (en) * 2019-12-02 2020-04-02 Intel Corporation Shared memory space among devices
US20210373951A1 (en) * 2020-05-28 2021-12-02 Samsung Electronics Co., Ltd. Systems and methods for composable coherent devices

Also Published As

Publication number Publication date
EP3916564B1 (en) 2024-06-05
TW202213105A (zh) 2022-04-01
JP2021190123A (ja) 2021-12-13
CN113742259A (zh) 2021-12-03
US20210373951A1 (en) 2021-12-02
EP3916565A1 (en) 2021-12-01
KR20210147867A (ko) 2021-12-07
CN113742257A (zh) 2021-12-03
EP3916566B1 (en) 2024-05-08
KR20210147871A (ko) 2021-12-07
CN113746762A (zh) 2021-12-03
TW202145025A (zh) 2021-12-01
JP2021190125A (ja) 2021-12-13
KR20210147911A (ko) 2021-12-07
EP3916563A1 (en) 2021-12-01
CN113810312A (zh) 2021-12-17
JP2021190121A (ja) 2021-12-13
EP3916566A1 (en) 2021-12-01
EP3916564A1 (en) 2021-12-01
TW202213104A (zh) 2022-04-01
CN113810312B (zh) 2023-12-19
KR20210147865A (ko) 2021-12-07

Similar Documents

Publication Publication Date Title
US11416431B2 (en) System with cache-coherent memory and server-linking switch
EP3916564B1 (en) System with cache-coherent memory and server-linking switch
US11526304B2 (en) Memcached server functionality in a cluster of data processing nodes
US10140245B2 (en) Memcached server functionality in a cluster of data processing nodes
US10135731B2 (en) Remote memory access functionality in a cluster of data processing nodes
EP3920034B1 (en) Systems and methods for scalable and coherent memory devices
US9648102B1 (en) Memcached server functionality in a cluster of data processing nodes
US11720290B2 (en) Memcached server functionality in a cluster of data processing nodes
TWI795491B (zh) 驅動器至驅動器儲存系統、儲存驅動器和儲存資料的方法