KR102541302B1 - 플래쉬 집적 고 대역폭 메모리 장치 - Google Patents

플래쉬 집적 고 대역폭 메모리 장치 Download PDF

Info

Publication number
KR102541302B1
KR102541302B1 KR1020230018236A KR20230018236A KR102541302B1 KR 102541302 B1 KR102541302 B1 KR 102541302B1 KR 1020230018236 A KR1020230018236 A KR 1020230018236A KR 20230018236 A KR20230018236 A KR 20230018236A KR 102541302 B1 KR102541302 B1 KR 102541302B1
Authority
KR
South Korea
Prior art keywords
hbm
nvm
dies
stack
host
Prior art date
Application number
KR1020230018236A
Other languages
English (en)
Other versions
KR20230026370A (ko
Inventor
크리슈나 티. 말라디
홍종 정
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20230026370A publication Critical patent/KR20230026370A/ko
Application granted granted Critical
Publication of KR102541302B1 publication Critical patent/KR102541302B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0893—Caches characterised by their organisation or structure
    • G06F12/0897—Caches characterised by their organisation or structure with two or more cache hierarchy levels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0893—Caches characterised by their organisation or structure
    • G06F12/0895—Caches characterised by their organisation or structure of parts of caches, e.g. directory or tag array
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L24/00—Arrangements for connecting or disconnecting semiconductor or solid-state bodies; Methods or apparatus related thereto
    • H01L24/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L24/10—Bump connectors ; Manufacturing methods related thereto
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
    • H01L25/03—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes
    • H01L25/04—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes the devices not having separate containers
    • H01L25/065—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes the devices not having separate containers the devices being of a type provided for in group H01L27/00
    • H01L25/0652—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes the devices not having separate containers the devices being of a type provided for in group H01L27/00 the devices being arranged next and on each other, i.e. mixed assemblies
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
    • H01L25/03—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes
    • H01L25/10—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes the devices having separate containers
    • H01L25/105—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes the devices having separate containers the devices being of a type provided for in group H01L27/00
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
    • H01L25/18—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different subgroups of the same main group of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B69/00—Erasable-and-programmable ROM [EPROM] devices not provided for in groups H10B41/00 - H10B63/00, e.g. ultraviolet erasable-and-programmable ROM [UVEPROM] devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G06F12/0868—Data transfer between cache memory and other subsystems, e.g. storage devices or host systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12—Replacement control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1041—Resource optimization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1041—Resource optimization
    • G06F2212/1044—Space efficiency improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/22—Employing cache memory using specific memory technology
    • G06F2212/225—Hybrid cache memory, e.g. having both volatile and non-volatile portions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/28—Using a specific disk cache architecture
    • G06F2212/283—Plural cache memories
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/10—Bump connectors; Manufacturing methods related thereto
    • H01L2224/15—Structure, shape, material or disposition of the bump connectors after the connecting process
    • H01L2224/16—Structure, shape, material or disposition of the bump connectors after the connecting process of an individual bump connector
    • H01L2224/161—Disposition
    • H01L2224/16135—Disposition the bump connector connecting between different semiconductor or solid-state bodies, i.e. chip-to-chip
    • H01L2224/16145—Disposition the bump connector connecting between different semiconductor or solid-state bodies, i.e. chip-to-chip the bodies being stacked
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/10—Bump connectors; Manufacturing methods related thereto
    • H01L2224/15—Structure, shape, material or disposition of the bump connectors after the connecting process
    • H01L2224/16—Structure, shape, material or disposition of the bump connectors after the connecting process of an individual bump connector
    • H01L2224/161—Disposition
    • H01L2224/16151—Disposition the bump connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive
    • H01L2224/16221—Disposition the bump connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked
    • H01L2224/16225—Disposition the bump connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked the item being non-metallic, e.g. insulating substrate with or without metallisation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2225/00—Details relating to assemblies covered by the group H01L25/00 but not provided for in its subgroups
    • H01L2225/03—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00
    • H01L2225/04—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00 the devices not having separate containers
    • H01L2225/065—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00 the devices not having separate containers the devices being of a type provided for in group H01L27/00
    • H01L2225/06503—Stacked arrangements of devices
    • H01L2225/0651—Wire or wire-like electrical connections from device to substrate
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2225/00—Details relating to assemblies covered by the group H01L25/00 but not provided for in its subgroups
    • H01L2225/03—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00
    • H01L2225/04—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00 the devices not having separate containers
    • H01L2225/065—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00 the devices not having separate containers the devices being of a type provided for in group H01L27/00
    • H01L2225/06503—Stacked arrangements of devices
    • H01L2225/06513—Bump or bump-like direct electrical connections between devices, e.g. flip-chip connection, solder bumps
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2225/00—Details relating to assemblies covered by the group H01L25/00 but not provided for in its subgroups
    • H01L2225/03—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00
    • H01L2225/04—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00 the devices not having separate containers
    • H01L2225/065—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00 the devices not having separate containers the devices being of a type provided for in group H01L27/00
    • H01L2225/06503—Stacked arrangements of devices
    • H01L2225/06517—Bump or bump-like direct electrical connections from device to substrate
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/15—Details of package parts other than the semiconductor or other solid state devices to be connected
    • H01L2924/181—Encapsulation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

본 발명의 몇몇 실시 예에 따르면, 호스트 프로세서를 갖는 처리 장치를 위한 하이브리드 캐시 메모리가 제공되고, 하이브리드 캐시 메모리는: 호스트 데이터를 저장하도록 구성되는 고 대역폭 메모리(HBM); HBM과 동일한 패키지에 물리적으로 집적되고, HBM에 호스트 데이터의 복사본을 저장하도록 구성되는 비휘발성 메모리(NVM); 및 호스트 프로세서와 양 방향의 통신을 하고, HBM 및 NVM 사이에서 데이터 전송을 관리하도록 구성되고, 호스트 프로세서로부터 수신되는 명령에 응답하여, 하이브리드 캐시 메모리 및 호스트 프로세서 사이의 데이터 전송을 관리하도록 구성되는 캐시 제어기를 포함한다.

Description

플래쉬 집적 고 대역폭 메모리 장치{FLASH-INTEGRATED HIGH BANDWIDTH MEMORY APPLIANCE}
본 발명의 측면들은 데이터 처리 및 보존 시스템들의 분야에 관련된다.
심층 신경망과 같은 최근 응용 프로그램들은 다양한 데이터 세트들에서 훈련하고 높은 정확도로 학습하기 위해 많은 양의 고 대역폭 메모리가 필요하다. 신경망은 점점 더 복잡하고 깊어져, 페이지 메모리에 저장되어야 하는 중간 데이터 세트들의 엄청난 증가를 낳고 있다. 최근 접근법들은 수십 개의 레이어들 및 수백만 또는 심지어 수십억 개의 연결들의 네트워크를 훈련시키기 위한 수백 내지 수천 개의 장비들을 사용하는 것을 제안한다. 이러한 최근 응용 프로그램들에 포함된 계산들은 종종 기존의 CPU(Central Processing Unit) 코어들에서 보다 GPU(Graphical Processing Unit)코어들에서 더 효율적으로 수행될 수 있다. 하지만, 호스트는 전용 로컬 메모리(dedicated local memory)를 포함한 FPGA(Field Programmable Gate Array) 또는 ASIC(Application-Specific integrated Circuit)일 수도 있다. 이러한 네트워크를 하나의 GPU 상에서 훈련시키는 것은 매우 느리고(예로서, 수 주 또는 수 개월이 걸릴 수 있다.), 분산된 GPU들의 세트 상에서 훈련은 데이터 이동 오버 헤드(data movement overhead)들, 데이터로드 / 오프로드를 위한 지연된(stalled) 계산, 제한된 버스 대역폭, TSV(Through Silicon Via) 패키징 제약 때문에 제한된 GPU 메모리 때문에 비효율적일 수 있다.
배경 기술 항목에 개시된 상술된 정보는 현재 본 발명의 배경 기술의 이해의 향상을 위한 것일 뿐이며, 따라서 해당 기술 분야의 통상의 기술자에게 이미 알려진 선행 기술을 형성하지 않는 정보를 포함할 수 있다.
본 발명의 실시 예들의 측면들은, 고 대역폭 및 고 용량 모두를 달성하기 위한 고 용량 비휘발성 메모리 다이들(예로서, 플래시 다이들)과 함께 고 대역폭 메모리(HBM)를 집적한, 하이브리드 캐시 메모리를 갖는 처리 장치의 아키텍쳐를 지향한다.
본 발명의 몇몇 실시 예에 따르면, 호스트 프로세서를 갖는 처리 장치를 위한 하이브리드 캐시 메모리가 제공되고, 하이브리드 캐시 메모리는: 호스트 데이터를 저장하도록 구성되는 고 대역폭 메모리(HBM); HBM과 동일한 패키지에 물리적으로 집적되고, HBM에 호스트 데이터의 복사본을 저장하도록 구성되는 비휘발성 메모리(NVM); 및 호스트 프로세서와 양 방향의 통신을 하고, HBM 및 NVM 사이에서 데이터 전송을 관리하도록 구성되고, 호스트 프로세서로부터 수신되는 명령에 응답하여, 하이브리드 캐시 메모리 및 호스트 프로세서 사이의 데이터 전송을 관리하도록 구성되는 캐시 제어기를 포함한다.
몇몇 실시 예들에 따르면, 호스트 프로세서로부터 쓰기 명령을 수신하는 것에 응답하여, 캐시 제어기는: 입력되는 호스트 데이터를 저장하기 위해, HBM 내에 충분한 공간이 있는지 결정하고; 상기 결정에 응답하여, 입력되는 호스트 데이터를 HBM에 저장하고; NVM에 저장된 호스트 데이터를 복사하도록 구성된다.
몇몇 실시 예들에 따르면, 호스트 프로세서로부터 쓰기 명령을 수신하는 것에 응답하여, 캐시 제어기는: 입력되는 호스트 데이터를 저장하기 위해, HBM 내에 공간이 불충분한지 결정하고; 결정에 응답하여, HBM에 저장된 가장 먼저 접근된 데이터를 삭제하여, 입력되는 호스트 데이터의 저장을 수용하기 위해, HBM 내에 충분한 공간을 만들도록 하고; 입력되는 호스트 데이터를 상기 HBM에 저장하고; 저장된 호스트 데이터를 NVM에 복사하도록 구성된다.
몇몇 실시 예들에 따르면, 캐시 제어기는 호스트 명령을 서비스하는 것에 관여되지 않을 때, 저장된 호스트 데이터를 복사하도록 구성된다.
몇몇 실시 예들에 따르면, 캐시 제어기는, HBM에 입력되는 호스트 데이터를 저장함과 동시에 NVM에 저장된 호스트 데이터를 복사하도록 구성된다.
몇몇 실시 예들에 따르면, 캐시 제어기는 HBM 및 NVM과 동일한 패키지 내에 집적된다.
몇몇 실시 예들에 따르면, 호스트 프로세서는 패키지 외부에 있다.
몇몇 실시 예들에 따르면, HBM은 하나 이상의 HBM 다이들의 스택들을 포함하고, 하나 이상의 스택들 각각의 HBM 다이들은 복수의 TSVs(Through Silicon Vias)를 통해 전기적으로 함께 결합된다.
몇몇 실시 예들에 따르면, NVM은 와이어 본딩된 연결을 통해 캐시 제어기와 결합되는 하나 이상의 NVM 다이들을 포함한다.
몇몇 실시 예들에 따르면, 캐시 제어기 및 NVM 사이에 위치한 메모리 기판을 더 포함하고, 캐시 제어기 및 NVM 사이의 전기적 신호들을 라우팅하도록 구성되되, 메모리 기판은 본딩 와이어들을 통해 NVM과 전기적으로 결합되고, 핀들, 비아들, 또는 솔더 볼들을 통해 캐시 제어기와 전기적으로 결합된다.
몇몇 실시 예들에 따르면, HBM은 NVM 보다 높은 데이터 접근을 나타내고, NVM은 HBM 보다 큰 데이터 저장 용량을 나타낸다.
본 발명의 몇몇 실시 예들에 따르면, 호스트 프로세서; 및 호스트 프로세서와 통신하는 하이브리드 캐시 메모리를 포함하되, 하이브리드 캐시 메모리는: 호스트 데이터를 저장하도록 구성되는 고 대역폭 메모리(HBM); HBM과 동일한 패키지에 물리적으로 집적되고, HBM에 호스트 데이터의 복사본을 저장하도록 구성되는 비휘발성 메모리(NVM); 및 호스트 프로세서와 양방향 통신을 하고, HBM 및 NVM 사이에서 데이터 전송을 관리하고, 호스트 프로세서로부터 수신되는 명령에 응답하여, 하이브리드 캐시 메모리 및 호스트 프로세서 사이의 데이터 전송을 관리하도록 구성되는 캐시 제어기를 포함하는 처리 장치가 제공된다.
몇몇 실시 예들에 따르면, 캐시 제어기는 HBM 및 NVM과 동일한 패키지 내에 집적된다.
몇몇 실시 예들에 따르면, 호스트 프로세서는 패키지 외부에 있다.
몇몇 실시 예들에 따르면, 처리 장치는 호스트 프로세서 및 하이브리드 캐시 메모리를 물리적으로 지지하고, 호스트 프로세서를 하이브리드 캐시 메모리에 전기적으로 연결하도록 구성되는 인터포져를 더 포함한다.
몇몇 실시 예들에 따르면, 처리 장치는 인터포져에 전기적으로 결합되고, 복수의 패키지 핀들을 통해, 호스트 프로세서 및 처리 장치의 외부에 있는 요소들 사이의 전기적 통신을 가능하게 하도록 구성되는 패키지 기판을 더 포함한다.
본 발명의 몇몇 실시 예들에 따르면, 호스트 프로세서 및 처리 장치의 하이브리드 캐시 메모리 사이에서 데이터 전송을 관리하는 방법이 제공된다. 방법은: 호스트 프로세서로부터 쓰기 명령을 수신하는 것에 응답하여, 입력되는 호스트 데이터를 저장하기 위한, 하이브리드 캐시 메모리의 고 대역폭 메모리(HBM) 내의 공간이 불충분한지 결정하는 단계; 결정에 응답하여, HBM에 저장된 가장 먼저 접근된 데이터를 지워서, 입력되는 호스트 데이터의 저장을 수용하기 위한, HBM 내에 충분한 공간을 만드는 단계; 입력되는 호스트 데이터를 HBM에 저장하고; 하이브리드 캐시 메모리의 비휘발성 메모리(NVM)에 저장된 호스트 데이터를 복사하는 단계를 포함하되, NVM은 HBM과 같은 패키지에 물리적으로 집적된다.
몇몇 실시 예들에 따르면, 저장된 호스트 데이터를 복사하는 단계는 하이브리드 캐시 메모리가 호스트 명령을 서비스 하는 것에 관여하지 않을 때, NVM에 저장된 데이터를 복사하는 단계를 포함한다.
몇몇 실시 예들에 따르면, NVM에 저장된 호스트 데이터를 복사하는 단계는 HBM에 입력되는 호스트 데이터를 저장하는 단계와 동시에 수행된다.
몇몇 실시 예들에 따르면, 호스트 프로세서는 패키지 외부에 있다.
몇몇 실시 예들에 따르면, 방법은, HBM에 의해, 호스트 프로세서 및 하이브리드 캐시 메모리의 제어기로부터 데이터 영역들의 충돌하는 접근 요청들에 응답하여, 데이터 영역들의 접근을 제어하는 단계를 더 포함한다.
처리 장치는 데이터 이주를 효율적으로 수행하기 위해 HBM의 로직 다이 상에 또는 하이브리드 캐시 메모리 내에 있는 캐시 제어기를 사용한다.
도 1은 본 발명의 몇몇 실시 예들에 따른 계산 시스템의 블록도 이다.
도 2는 본 발명의 몇몇 실시 예들에 따른 처리 장치의 아키텍쳐의 개략도 이다.
도 3은, 본 발명의 몇몇 실시 예들에 따라, 처리 장치의 호스트 및 하이브리드 캐시 메모리 사이에서 데이터 전송을 관리하기 위한 프로세스를 도시하는 순서도 이다.
이하 상세한 설명에서, 본 발명의 특정한 예시적인 실시 예들만이 도면을 통해 보여지고 설명된다. 당업자들이 인식할 것과 같이, 본 발명은 많은 상이한 형태들로 구현 될 수 있고, 본 명세서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 안 된다. 각각의 실시 예에 내의 특징들 또는 측면들에 대한 설명들은 일반적으로 다른 실시 예들의 다른 유사한 특징들 또는 측면들에 대해 이용 가능한 것으로 고려되어야 한다. 명세서 전체에 걸쳐 동일한 참조 번호들은 동일한 구성 요소들을 지칭한다.
본 발명의 실시 예들의 측면들은 오늘날의 더욱더 복잡한 알고리즘들의 메모리 용량 병목들을 감소시키거나 제거할 수 있는 처리 장치에서의 사용을 위한 하이브리드 캐쉬 메모리를 지향한다. 매우 메모리 집약적 과정인 심층 신경망(Deep Neural Network; DNN) 훈련과 같은 빅 데이터 응용 프로그램들에서, 페이지 메모리는 캐싱에 적합한, 예측할 수 있는 임시 동작을 가질 수 있다. 본 발명의 몇몇 실시 예들에 따르면, 하이브리드 캐쉬 메모리는, 고 대역폭 메모리(HBM)를 고 용량의 불휘발성 메모리(예컨대, 플래시 다이(flash die)들)에 집적시켜, 멀티 GPU/CPU 솔루션의 오버헤드들 없이 고 대역폭 및 고 용량 둘 모두를 최고의 수준으로 달성할 수 있다. 몇몇의 실시 예들에서, HBM의 로직 다이 상의 또는 전체 시스템 아키텍쳐 프레임 워크를 포함하는 모듈 내의 캐쉬 제어기는 효과적인 데이터 이주를 수행한다.
도 1은 본 발명의 몇몇 실시 예들에 따른 계산 시스템(10)의 블록도 이다.
도 1을 참조하면, 계산 시스템(예컨대, 컴퓨터)(10)는, 휘발성 메모리(예컨대, 다이나믹 랜덤 액서스 메모리(Dynamic Random Access Memory) 또는 DRAM)(102), 로컬 저장 매체(104), 및 네트워크 인터페이스 제어기(Network Interface Controller; NIC)(106)와 데이터 버스(108)를 통해 통신 가능하게 결합된 처리장치(100)를 포함할 수 있다. 데이터 버스(108)는 계산 시스템(10)의 다양한 주변 장치(peripheral component)들 사이에서 통신을 가능하게 하고, PCIe(Peripheral Component Interconnect express) 표준 또는 임의의 다른 적합한 버스 표준과 호환 가능하다. NIC(106)는 계산 시스템(10)(및 그것의 구성 요소들)이 로컬 영역 네트워크 또는 인터넷과 같은 외부 네트워크(예컨대, 유선 및/또는 무선 네트워크)에 접근하는 것을 허용하거나, 외부 네트워크에 의해 접근되는 것을 허용할 수 있다.
몇몇의 실시 예들에서, 처리 장치(100)는 호스트(본 명세서에서 “호스트 프로세서”로도 지칭됨)(200) 및 전용 하이브리드 캐시 메모리(202)를 포함한다. 호스트(200)는 하나 이상의 GPU(Graphic Processing Unit) 코어들(201)을 포함할 수 있다. 하지만, 본 발명의 실시 예들은 이에 한정되지 않고, 호스트(200)는 하나 이상의 일반적인 CPU(Central Processing Unit) 코어들, FPGA(Field Programmable Gate Array), 및 ASIC(Application-Specific Integrated Circuit) 등을 포함할 수 있다.
처리 장치(100)뿐만 아니라, 데이터 버스(108)는, 복수의 CPU 코어들 등과 같은, 하나 이상의 다른 처리 장치들(110)과 연결될 수 있다. 처리 장치(들)(100 및 110)는 연속적으로 휘발성 시스템 메모리(102)에 저장된 명령들을 읽고, 필요에 따라 실행할 수 있다. 활발하게 동작하는 임의의 데이터는 휘발성 시스템 메모리(102)에 저장될 수도 있다. 하드 디스크 드라이브(Hard Disk Drive; HDD) 및/또는 솔리드 스테이트 드라이브(Solid-State Drive; SSD)를 포함할 수 있는 로컬 저장 매체(104)는 탄력적인(resilient) 또는 영구적인 데이터를 저장할 수 있다.
처리 장치(들)(100 및 110)의 외부에 있고 처리 장치(들)(100 및 110)에 집적되지 않은 휘발성 시스템 메모리(102)와 달리, 하이브리드 캐시 메모리(202)는 처리 장치(100)에 집적되어 있고(예컨대, 내부에 있거나 내부에 패키징 되어 있음), 호스트(200)의 초고속 레지스터들 및 훨씬 더 느린 휘발성 시스템 메모리(102) 사이에서 중간 단계로서 역할을 한다. 호스트(200)와의 근접성 및 호스트(200)와의 훨씬 높은 데이터 전송 대역폭으로 인해, 하이브리드 캐시 메모리(202)는 휘발성 시스템 메모리(102)보다 상당히 빠르고, 호스트(200)에 의해 동작되는 중간 데이터를 저장 및/또는 휘발성 시스템 메모리(102)에서 가장 활발하게 사용되는 정보를 저장(예컨대, 중복 형태로 저장)하는데 사용될 수 있다.
본 발명의 몇몇 실시 예들에 따르면, 처리 장치(100)의 하이브리드 캐시 메모리(202)는 고 대역폭 메모리(HBM)를 고 용량 불휘발성 메모리 다이들(예컨대, 플래시 다이들)에 집적시키고, 따라서 심층 신경망(DNN) 훈련 등과 같은 응용 프로그램들에서 특히 바람직한, 고 대역폭 및 고 용량 저장 장치를 동시에 나타낼 수 있다.
도 2는 본 발명의 몇몇 실시 예들에 따른 처리 장치(100)의 아키텍쳐의 개략도 이다.
도 2를 참조하면, 처리 장치(100)의 호스트(200) 및 하이브리드 캐시 메모리(202)는 인터포져(interposer; 210)에 의해 전기적으로 연결된 비아(via)들(204 및 206)의 제 1 및 제 2 세트를 통해 서로 통신 가능하게 결합될 수 있다. 인터포져(210)는 호스트(200) 및 하이브리드 캐시 메모리(202)를 물리적으로 지지하고, 그들이 비아들(204 및 206)의 제 1 및 제 2 세트를 통해 서로 전기적으로 접속하고, 제 3 비아들(208)의 세트, 패키지 기판(212), 및 패키지 핀들(214)을 통해 처리 장치(100)의 외부에 있는(예컨대, 패키지 외부의) 주변 장치들에 전기적으로 접속할 수 있도록 할 수 있다.
몇몇 실시 예들에 따르면, 하이브리드 캐시 메모리(202)는 캐시 제어기(220), 복수의 비아들(예로서, TSVs(Through Silicon Vias))(224) 또는 마이크로범프(microbump)들을 사용하여 함께 연결될 수 있는 하나 이상의 고 대역폭 메모리(HBM) 다이들(222)의 스택(stack)들, 및 하나 이상의 비 휘발성 메모리 다이들(예컨대, NAND 플래시 다이들)(226)을 포함한다. 몇몇의 실시 예들에서, 하나 이상의 비뷔발성 메모리 다이들(226)은, 캐시 제어기(220) 또한 포함하는 동일 패키지 내에 하나 이상의 HBM 다이들(222)의 스택들과 물리적으로 및 전기적으로 통합된다. 도시된 바와 같이, 예로서 도 2에서, 몇몇의 실시 예들에 따르면, HBM 다이들(222)은 하이브리드 캐시 메모리(202)에 대해 내부적으로 스택되고, 비휘발성 메모리 다이들(226)은 멀티칩 스택킹(multi-chip stacking)(또는, 스트링 스택킹(string stacking))을 갖는 3 차원 NAND 플래시 메모리일 수 있다. 또한, 도 2에 추가적으로 도시된 바와 같이, 몇몇 실시 예들에 따르면, 로직 다이 및 NAND 제어기, 또는 캐시 제어기(220)는 외부의 또는 분리된, 요소 또는 장치로 구현되기 보다는, 하이브리드 캐시 메모리(202)에 대해 내부적으로 구현될 수 있다. 따라서, 본 도면에 도시된 바와 같이, 본 발명의 실시 예들은 제어기와의 독립적인 연결들과는 대조적으로 HBM 다이들(222) 및 비휘발성 메모리 다이들(226) 사이의 지점들 간 연결들을 포함할 수 있다. 호스트(200)는 하이브리드 캐시 메모리(202)를 캡슐화하는 패키지의 외부(즉, 외부에 위치함)에 있을 수 있고, 열 특성들, 시험 가능성을 향상시키고, 용량 확장을 향상시킬 수 있다.
몇몇의 예시들(도 2에서 보여지는)에서, 하나 이상의 비휘발성 메모리 다이들(226) 각각은 엣지 본딩(edge bonding)으로, 또는 비휘발성 메모리 다이들(226)의 직접(direct) TSV 스택킹으로 구성될 수 있다. 이러한 예시들에서, 하나 이상의 비휘발성 메모리 다이들(226)은, 캐시 제어기(220) 및 하나 이상의 비휘발성 메모리 다이들(226) 사이에 위치할 수 있는 메모리 기판(230)을 통해 캐시 제어기(220)와 통신 가능하게 결합될 수 있다. 하나 이상의 비휘발성 메모리 다이들(226)은 복수의 본딩 와이어들(228)을 사용하여 메모리 기판(230)에 연결될 수 있다. 메모리 기판(230)은 많은 수의 비아들/솔더 볼들(232)을 이용하여, 이러한 연결들을 캐시 제어기(220)에 전송할 수 있다. 본딩 와이어들(228), 메모리 기판(230)과 비아들/솔더 볼들(232)의 조합은, 상기 구성요소들의 연결 유형들에서의 불일치가 있을 때, 캐시 제어기(220)와 하나 이상의 비휘발성 메모리 다이들(226) 사이의 전력, 제어 신호들, 및 데이터 신호들의 흐름을 허용한다. 하지만, 본 발명의 실시 예들은 이에 제한되지 않고, 하나 이상의 비휘발성 메모리 다이들(226)은 임의의 적절한 수단들을 통해 캐시 제어기(220)와 전기적으로 결합될 수 있다. 예로서, 하나 이상의 비휘발성 메모리 다이들(226)은, 메모리 기판(230)의 도움 없이 캐시 제어기(220)에 직접 결합될 수 있다.
통상의 기술자에 의해 이해될 것과 같이, 비아들(204, 206, 208, 224, 및/또는 232)은, 솔더 범프(solder bump)들 등과 같은, 임의의 적정한 연결 수단들로 대체될 수 있다.
몇몇의 실시 예들에서, 캐시 제어기(220)는 하나 이상의 HBM 다이들(222)의 스택들 (예컨대, 2, 4, 8 또는 임의의 적절한 수의 HBM 다이들의 1, 2, 또는 4개의 스택들일 수 있음)뿐만 아니라 하나 이상의 비휘발성 메모리 다이들(226)을 제어하는(예컨대, 쓰거나 읽는) 것을 허용하는 펌웨어 로직을 포함한다. 캐시 제어기(220)는, 저장된 데이터 각각이 위치한 하나 이상의 HBM 다이들(222)의 스택들 및/또는 하나 이상의 비휘발성 메모리 다이들(226)의 물리적 위치를 추적하는 하이브리드 논리적-물리적 주소 테이블 맵(hybrid LtoP table)을 유지할 수 있다. 캐시 제어기(220)는 호스트(200)와 하이브리드 캐시 메모리(202) 내의 메모리 블록들 사이에서 인터페이스 블록으로서 역할을 할 수 있고, 몇몇의 실시 예들에서, 하나 이상의 비 휘발성 메모리 다이들(226)에 의해 제공되는 이점들을 이용하면서, 호스트(200)가 하나 이상의 비 휘발성 메모리 다이들(226)의 존재를 보지 않도록(예컨대, 인식 하지 못하도록) 할 수 있다.
몇몇의 예시들에서, 캐시 제어기220)는 포괄적인 하드웨어 캐싱을 수행하고, 이에 따라 하나 이상의 비휘발성 메모리 다이들(226)이 HBM 다이들(222)의 하나 이상의 스택들에 저장된 모든 데이터의 복사본들(예컨대, 백업 복사본들)을 저장하는데 사용된다. 예로서, 캐시 제어기(220)가 하나 이상의 HBM 다이들(222)의 스택들에 쓰거나 하나 이상의 HBM 다이들(222)의 스택들로부터 읽는 중에 있지 않을 때, 이것은 백그라운드 프로세스로서 수행될 수 있다. HBM 다이들이 비휘발성 메모리 보다 더 큰 대역폭(쓰기/읽기 속도)을 보여줌에 따라, 호스트(200)로부터 입력되는 데이터는 HBM 다이들(222)의 하나 이상의 스택들에 먼저 저장되고, 이후 하나 이상의 비휘발성 메모리 다이들(226)에 백업될 수 있다. 이러한 실시 예들에서, 캐시 제어기(220)가 호스트(200)로부터 쓰기 명령을 수신할 때, 하나 이상의 HBM 다이들(222)의 스택들 내에 공간이 불충분할 경우, 예로서, 캐시 제어기(220)는 HBM 다이들(222)에 저장된 오래된 데이터나 가장 적게 사용된 데이터를 지워서, 입력되는 호스트 데이터를 수용하기 위한 충분한 공간을 할당하도록 할 수 있다. 하나 이상의 비휘발성 메모리 다이들(226)이 HBM 다이들(222)에 쓰인 모든 데이터의 백업을 유지함으로써(하나 이상의 비휘발성 메모리 다이들(226)의 용량이 초과되지 않을 정도로), 어떤 데이터도 이러한 프로세스에서 손실되지 않을 수 있다. 이러한 실시 예들에서, 호스트(200)는 하이브리드 캐시 메모리(202)에서 하나 이상의 HBM 다이들(222)의 스택들의 존재만을 인지할 수 있다(따라서, 하나 이상의 비휘발성 메모리 다이들(226)의 존재는 인지하지 못할 수 있다.). 캐시 제어기(220)가 호스트(200)로부터의 하나 이상의 비휘발성 메모리 다이들(226)의 추가에 의해 도입된 임의의 복잡성을 숨길때, 호스트(200)는 종래의 캐시 메모리와 통신하는 것과 동일한 또는 실질적으로 동일한 방식으로 하이브리드 캐시 메모리(202)와 통신할 수 있다. 또한, 몇몇의 예시들에서, 하이브리드 캐시 메모리(202)의 핀 아웃는 캐시 메모리 관련 기술과 동일하거나 실질적으로 동일할 수 있다. 따라서, 몇몇의 실시 예들에서, 하이브리드 캐시 메모리(202)는 표준 캐시 메모리로 대체 가능할 수 있다(예로서, 하드웨어 및 소프트웨어 둘 모두에 있어서). 이것은 하이브리드 캐시 메모리가 호스트 또는 전체 계산 시스템(10)에 대한 어떠한 변경들도 요구하지 않고 기존의 시스템 설계에 '적용(dropped in)' 할 수 있다.
몇몇의 예시들에서, 캐시 제어기(220)는 입력되는 호스트 데이터가 배타적인 캐싱을 수행할 수 있고, 이에 따라 입력되는 호스트 데이터는 하나 이상의 HBM 다이들(222)의 스택들 또는 하나 이상의 비휘발성 메모리 다이들(226) 중 하나에만 저장 될 수 있으나, 둘 다에 저장 될 수는 없다. 이러한 실시 예들에서, 캐시 제어기(220)는 캐시 히트 시에 관련된 메모리 라인을 HBM(222)과 비 휘발성 메모리(226) 사이에서 알고리즘적으로 선택된 다른 라인과 교환함으로써 배타성을 유지할 수 있다. HBM(222)에서 캐시 미스 시에, 캐시 제어기는 데이터 라인을 획득하기 위해 비휘발성 메모리 다이(226)에 접근할 수 있다. 그러므로, 본 발명의 실시 예들은, 예로서, 포괄적 캐싱을 더 쉽게 구현할 수 있는 멀티 코어 캐시들의 캐시 무효화(cache-invalidation)에 기초한 버스 스누핑(bus snooping) 없이 단일 코어 계층으로 인해, 유효한 메모리 용량을 증가시킬 수 있다.
몇몇 실시 예들에 따르면, 캐시 제어기(220)는 GPU 어시스트 (또는) GPU-HBM 비동기 인터페이스를 이용하여 하나 이상의 HBM(222)의 스택들 및 하나 이상의 비 휘발성 메모리 다이들(226) 사이의 데이터 이주를 스케줄링 한다. 포괄적 캐싱의 경우, 데이터 복사는 HBM과 비휘발성 (예를 들어, 플래시) 메모리 영역들 사이에서 발생한다. 배타적 캐싱의 경우, 데이터 교환이 메모리 영역들 사이에서 발생한다. 두 경우 모두에서, HBM 로직 다이 제어기(220)는, HBM 또는 비 휘발성 메모리의 동일한 메모리 주소/뱅크에 대한 호스트(예컨대, GPU, FPGA, 및 ASIC)의 스케줄 된 접근과의 충돌을 피하면서 데이터 이동을 스케줄링 한다. 예로서, 호스트 제어기가 데이터 이주를 완전히 제어하도록 함으로써, 충돌들이 회피될 수 있다. 충돌을 피하기 위한 또 다른 메커니즘은 비동기 호스트 메모리 인터페이스를 이용하는 것이다. 비동기 호스트 메모리 인터페이스를 이용하는 경우, 프로토콜이 트랜잭션 기반이고 고정된 타이밍을 가지지 않기 때문에, 동일한 메모리 영역들에 대한 충돌들이 (호스트 및 캐시 제어기에 의해) HBM 로직 다이에 의해 조정되고, 두 작업을 모두 수행 한 후에, HBM 로직 다이는 호스트에 대한 적절한 응답을 신호로 보낼 수 있다.
도 3은, 본 발명의 몇몇 실시 예들에 따라, 처리 장치(100)의 호스트(200) 및 하이브리드 캐시 메모리(202) 사이에서 데이터 전송을 관리하기 위한 프로세스(300)를 도시하는 순서도 이다.
도 3을 참조하면, S302 동작에서, 캐시 제어기(220)는 호스트(200)로부터 쓰기 명령을 수신한다.
S304 동작에서, 캐시 제어시(220)는 하나 이상의 HBM(222)의 스택들 내에 쓰기 명령과 관련된 입력되는 호스트 데이터를 저장하기 위한 충분한 용량이 있는지 여부를 판별할 수 있다.
공간이 불충분한 경우, 동작 S306에서 캐시 제어기(220)는 하나 이상의 HBM(222)의 스택들에 저장된, 가장 먼저(또는 가장 적게) 접근된 데이터를 삭제하여, 입력되는 호스트 데이터의 저장을 수용하기 위해 하나 이상의 HBM(222)의 스택들 내에 충분한 공간을 만든다. 이후, 캐시 제어기(220)는, 캐시 제어기(220)가 하나 이상의 HBM(222)의 스택들에 입력되는 호스트 데이터를 저장하는, S308 동작을 수행한다. 동작 S304에서, 하나 이상의 HBM(222)의 스택들 내에 충분한 공간이 있는 것으로 판별된 경우, 캐시 제어기(220)는 S306 동작을 건너뛰고, S308 동작을 수행할 수 있다.
이후 S310 동작에서, 캐시 제어기(220)는, 저장된 호스트 데이터를 동일한 패키지에 HBM과 물리적으로 집적된, 하나 이상의 비휘발성 메모리 다이들(226)에 백업한다. 따라서, 몇몇 예시들에서, 하나 이상의 비휘발성 메모리 다이들(226)은 하나 이상의 HBM(222)의 스택들에 저장된 모든 데이터, 심지어 입력되는 호스트 데이터를 위한 충분한 공간을 만들기 위해 캐시 제어기(220)에 의해 하나 이상의 HBM(222)의 스택들로부터 이전에 삭제된 몇몇의 더 오래된 데이터의 복사본을 저장한다.
몇몇의 실시 예들에서, 캐시 제어기(220)가 호스트 읽기 또는 쓰기 명령과 같은 호스트 명령을 서비스하는 것에 관여하지 않을 때(예컨대, 하이브리드 캐시 메모리(202)가 유휴 모드에 있을 때), 캐시 제어기(220)는 하나 이상의 HBM(222)의 스택들의 데이터 내용을 하나 이상의 메모리 다이들(226)에 백업한다. 몇몇의 예시들에서, 백업은 하나 이상의 HBM(222)의 스택들에 입력되는 호스트 데이터의 쓰기와 동시에(예컨대, 시간적으로 동시에) 발생할 수 있다.
S306, S308, 및 S310 동작 중 어느 하나를 수행하는데 있어, 캐시 제어기(220)는 동작되고(예컨대, 저장되고, 움직이고, 또는 삭제되고) 있는 데이터의 물리적 위치를 연속적으로 추적하기 위해 하이브리드 논리적-물리적 주소 테이블 맵을 업데이트 할 수 있다.
HBM 다이들(222)이 호스트(200)에 높은 처리율의 메모리 액세스를 제공하는 동안, 더 많은 HBM 다이들을 스태킹하거나 더 많은 스택들을 추가하여 메모리를 증가시키는 능력은 처리 장치(100)의 공간 및 전력 제약들로 인해 실질적으로 제한됩니다. 비휘발성 메모리(예컨대, 플래시 메모리)는 HBM 보다 느릴 수 있지만, 단위 면적 당 HBM보다 상당히 더 많은 용량(e.g., orders of magnitude more capacity)을 제공하고, 더 적은 전력을 소비한다. 그러므로, 불휘발성 메모리를 HBM과 함께 하나의 패키지 내에 집적시킴으로써, 본 발명의 실시 예들에 따라, 하이브리드 캐시 메모리(202)는 관련 기술의 캐시 메모리에 비해 낮은 전력에서 상당히 더 큰(예컨대, 1000배 더 큰) 용량을 달성함으로써 두 타입들(종류들)의 메모리의 이점들을 얻을 수 있다. 이것은 차례로 GPU/CPU 및 HBM 사이 및/또는 GPU들/CPU들 사이의, 불필요한 데이터 이동을 줄이거나 없애고, 메모리 용량 병목 현상들을 완화시키고, DNN 응용 프로그램에서 훈련 시간을 감소시키고, 더 큰 배치(batch)들, 및 더 큰 알고리즘들 및 데이터 세트들을 가능하게 하는, DNN 훈련과 같은 메모리/프로세싱 집약적인 응용 프로그램을 실행하기 위해, 다중 GPU들/CPU들을 사용하거나 풀링된 가상화 호스트 DRAM 또는 HBM을 사용할 필요성을 완화시킨다.
“제 1”, “제 2”, “제 3” 등의 용어들이 본 명세서에서 다양한 구성요소들, 성분들, 영역들, 레이어들 및/또는 섹션들을 설명하기 위해 사용되지만, 이러한 구성요소들, 성분들, 영역들, 레이어들 및/또는 섹션들은 이러한 용어들에 의해 제한되어서는 안됨이 이해될 것이다. 이러한 용어들은 다른 요소, 성분, 영역, 층, 또는 섹션으로부터 하나의 요소, 구성, 영역, 층 또는 섹션을 구별하기 위해 사용된다. 따라서, 후술하는 제 1 구성 요소, 성분, 영역, 층, 또는 섹션은 본 발명의 사상 및 범위를 벗어나지 않고, 제 2 구성 요소, 성분, 영역, 층, 또는 섹션을 지칭 할 수 있다.
또한, 요소 또는 층이 두 개의 요소들 또는 층들 “사이”로 언급되는 때, 그것은 단지 요소 또는 층이 두 요소들 또는 층들 사이에 있을 수 있거나, 또는 하나 또는 그 이상의 사이의 요소들 또는 층들이 또한 존재할 수 있다.
본 명세서에서 사용된 용어들은 단지 특정한 실시 예들을 설명하기 위한 것이고, 본 발명을 제한하려는 것으로 의도되지 않았다. 본 명세서에서 사용된 바와 같이, 문맥상 명백하게 다르게 뜻하지 않는 한, 단수 형태 “하나”는 복수의 형태도 포함하는 것으로 의도된다. “구성되는”, “구성되고 있는”, “포함하는”, 그리고 “포함하고 있는” 용어들이 본 명세서에서 사용될 때, 이러한 용어들은 정해진 특징들, 정수들, 단계들, 동작들, 요소들, 그리고/또는 성분들이 존재를 명시하나, 하나 또는 그 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 성분들, 그리고/또는 그것들의 그룹들의 추가 또는 존재를 불가능하게 하지 않는다. 본 명세서에서 사용된 바와 같이, “그리고/또는” 용어는 하나 또는 그 이상의 열거된 항목들과 연관된 임의의 그리고 모든 조합들 포함한다. “적어도 하나”와 같은 표현들은 요소들 전체 리스트를 수정하고 그리고 리스트의 개별 요소들을 수정하지 않는다. 또한, 본 발명의 실시 예들을 기술할 때 "할 수 있다"의 사용은 "본 발명의 하나 이상의 실시 예들"을 의미한다. 또한, "예시" 용어는 예 또는 그림을 의미한다.
구성 요소 또는 층이 다른 구성 요소 또는 층 “에”, “에 연결된”, “에 결합된” 것으로 언급되는 때, 그것은 다른 구성 요소 또는 층 “에 직접적으로”, “에 직접적으로 연결된”, “에 직접적으로 결합된”일 수 있거나, 하나 또는 그 이상의 사이의 구성 요소들 또는 층들이 존재할 수 있다. 구성 요소 또는 층이 다은 구성 요소 또는 층“에 직접적으로”, “에 직접적으로 연결된”, 또는 “에 직접적으로 근접한”으로 지칭될 때, 사이에 존재하는 구성 요소들 또는 층들이 없다.
본 명세서에서 사용된 바와 같이, “대체로”, “약” 용어 그리고 이와 유사한 용어들은 근사치의 용어들로서 사용되고, 정도의 용어들로서 사용되지 않고. 본 발명의 당업자에 의해 식별되는 측정된 또는 계산된 값들의 고유한 변동을 고려하기 위한 것이다.
본 명세서에서 사용된 바와 같이, “사용”, “사용되는”, 그리고 “사용된” 용어들은 “이용”, “이용되는”, 그리고 “이용된” 용어들의 동의어로 각각 간주 될 수 있다.
본 발명의 실시 예에 따른, 본 명세서에서의 하이브리드 캐시 메모리 또는 처리 장치와 같은 계산 시스템 및/또는 다른 관련 장치들 또는 요소들은, 적절한 하드웨어, 펌웨어(예를 들면, ASIC), 소프트웨어, 또는 소프트웨어, 펌웨어, 그리고 하드웨어의 조합을 사용하여 구현될 수 있다. 예를 들면, 이들 장치의 다양한 구성들은 하나의 집적 회로(IC) 칩상에 또는 분리된 집적 회로 칩들에 형성될 수 있다. 또한, 이들 장치의 다양한 구성들은 연성 인쇄 회로 필름 상에, 테이프 캐리어 패키지(TCP), 인쇄 회로 기판(PCB), 또는 동일한 기판상에 형성될 수 있다. 또한, 이러한 장치들의 다양한 요소들은 컴퓨터 프로그램 명령들을 실행하고 본 명세서에서 설명된 다양한 기능들을 수행하기 위한 다른 시스템 요소들과 상호 작용하는 하나 이상의 컴퓨팅 장치들에서 또는 하나 이상의 프로세서들에서 수행되는 프로세스 또는 스레드(Thread)일 수 있다.
본 발명이 그의 예시적인 실시 예들에 대한 특정 참조들로 상세하게 설명되었지만, 본 명세서에 설명된 실시 예들은 본 발명의 범위를 개시된 정확한 형태로 제한하거나 완전하게 나타내려는 것은 아니다. 본 발명이 속하는 기술 및 기술 분야의 당업자는, 설명된 구조들 및 조립 및 동작의 방법들의 대체 및 변경은 다음의 청구항들 및 그 균등물들에 기재된 바와 같이, 본 발명의 원리들, 사상 및 권리범위로부터 의미있게 벗어나지 않고 실시 될 수 있다는 것을 인식할 것이다.

Claims (10)

  1. 호스트 프로세서를 갖는 처리 장치를 위한 하이브리드 캐시 메모리에 있어서, 상기 하이브리드 캐시 메모리는:
    고 대역폭 메모리(HBM) 다이들의 스택을 포함하고, 호스트 데이터를 저장하도록 구성된 HBM;
    상기 HBM 다이들의 상기 스택과 동일한 패키지에 물리적으로 집적되는 비휘발성 메모리(NVM) 다이들의 스택을 포함하고, 상기 HBM에 상기 호스트 데이터의 복사본을 저장하도록 구성되며, 상기 HBM은 상기 NVM보다 높은 데이터 액세스 대역폭을 나타내고 상기 NVM은 상기 HBM보다 큰 데이터 저장 용량을 나타내는, NVM; 및
    상기 호스트 프로세서와 양방향 통신하고, 상기 HBM과 상기 NVM 사이의 데이터 전송을 관리하고, 상기 호스트 프로세서로부터 수신된 명령에 응답하여 상기 하이브리드 캐시 메모리와 상기 호스트 프로세서 사이의 데이터 전송을 관리하도록 구성된 캐시 제어기를 포함하고,
    상기 HBM 다이들의 상기 스택 및 상기 NVM 다이들의 상기 스택은 수직으로 적층되고, 상기 캐시 제어기에 의해 물리적으로 지지되고 서로에 대해 측면으로 배열되며, 상기 HBM 다이들의 상기 스택은 복수의 제1 비아들 또는 솔더볼들에 의해 상기 캐시 제어기에 전기적으로 연결되고, 상기 NVM 다이들의 상기 스택은 복수의 제2 비아들 또는 솔더볼들에 의해 상기 캐시 제어기에 전기적으로 연결되고, 상기 HBM 다이들의 상기 스택, 상기 NVM 다이들의 상기 스택 및 상기 캐시 제어기는 상기 패키지 내에 캡슐화되고 집적되고,
    상기 호스트 프로세서와 상기 하이브리드 캐시 메모리는 상기 패키지 외부의 인터포져에 의해 물리적으로 지지되고 전기적으로 서로 연결되는 하이브리드 캐시 메모리.
  2. 제1 항에 있어서, 상기 호스트 프로세서로부터 쓰기 명령을 수신한 것에 응답하여, 상기 캐시 제어기는:
    입력되는 호스트 데이터를 저장하기 위해 상기 HBM 내의 공간이 충분한지 판별하고,
    상기 판별에 응답하여, 상기 HBM에 입력되는 호스트 데이터를 저장하고,
    상기 저장된 호스트 데이터를 상기 NVM에 복사하는 하이브리드 캐시 메모리.
  3. 제1 항에 있어서, 상기 호스트 프로세서로부터 쓰기 명령을 수신한 것에 응답하여, 상기 캐시 제어기는:
    입력되는 호스트 데이터를 저장하기 위해 상기 HBM 내의 공간이 불충분한지 판별하고,
    상기 판별에 응답하여, 입력되는 호스트 데이터의 저장을 수용하도록 상기 HBM 내에 충분한 공간을 생성하기 위해 상기 HBM에 저장되고 가장 먼저 액세스되는 데이터를 삭제하고,
    상기 HBM에 상기 입력되는 호스트 데이터를 저장하고,
    상기 NVM에 상기 저장된 호스트 데이터를 복사하는 하이브리드 캐시 메모리.
  4. 제1 항에 있어서, 상기 캐시 제어기는,
    호스트 명령을 서비스하는 것에 관여하지 않는 경우 상기 저장된 호스트 데이터를 복사하는 하이브리드 캐시 메모리.
  5. 제3 항에 있어서, 상기 캐시 제어기는,
    상기 HBM에 입력되는 호스트 데이터를 저장함과 동시에 상기 저장된 호스트 데이터를 상기 NVM에 복사하도록 구성되는 하이브리드 캐시 메모리.
  6. 제1 항에 있어서, 상기 HBM 다이들의 상기 스택은 복수의 관통 실리콘 비아(TSV)들을 통해 전기적으로 함께 연결되는 하이브리드 캐시 메모리.
  7. 제1 항에 있어서, 상기 NVM 다이들의 상기 스택은 와이어 본딩 연결을 통해 상기 캐시 제어기에 전기적으로 더 연결되는 하이브리드 캐시 메모리.
  8. 제1 항에 있어서,
    상기 캐시 제어기와 상기 NVM 사이에 위치하고, 상기 캐시 제어기와 상기 NVM 사이에서 전기적 신호들을 라우팅하도록 구성되는 메모리 기판을 더 포함하고,
    상기 메모리 기판은 본딩 와이어들을 통해 상기 NVM에 전기적으로 연결되고, 상기 캐시 제어기에 전기적으로 연결되는 하이브리드 캐시 메모리.
  9. 호스트 프로세서; 및
    상기 호스트 프로세서와 통신하는 하이브리드 캐시 메모리를 포함하고,
    상기 하이브리드 캐시 메모리는,
    고 대역폭 메모리(HBM) 다이들의 스택을 포함하고, 호스트 데이터를 저장하도록 구성되는 HBM;
    동일한 패키지에 상기 HBM 다이들의 상기 스택과 물리적으로 집적되는 비휘발성 메모리(NVM) 다이들의 스택을 포함하고, 상기 HBM에 상기 호스트 데이터의 복사본을 저장하도록 구성되며,
    상기 HBM은 상기 NVM보다 높은 데이터 액세스 대역폭을 나타내고 상기 NVM은 상기 HBM보다 큰 데이터 저장 용량을 나타내는, NVM;
    상기 호스트 프로세서와 양방향 통신하고, 상기 HBM과 상기 NVM 사이의 데이터 전송을 관리하고, 상기 호스트 프로세서로부터 수신된 명령에 응답하여 상기 하이브리드 캐시 메모리와 상기 호스트 프로세서 사이의 데이터 전송을 관리하도록 구성되는 캐시 제어기; 및
    상기 패키지 외부에 위치하고, 상기 호스트 프로세서와 상기 하이브리드 캐시 메모리를 물리적으로 지지하도록 구성되고, 상기 호스트 프로세서를 상기 하이브리드 캐시 메모리에 전기적으로 연결하는 인터포져를 포함하며,
    상기 HBM 다이들의 상기 스택 및 상기 NVM 다이들의 상기 스택은 수직으로 적층되고, 상기 캐시 제어기에 의해 물리적으로 지지되고 서로에 대해 측면으로 배열되며, 상기 HBM 다이들의 상기 스택은 복수의 제1 비아들 또는 솔더볼들에 의해 상기 캐시 제어기에 전기적으로 연결되고, 상기 NVM 다이들의 상기 스택은 복수의 제2 비아들 또는 솔더볼들에 의해 상기 캐시 제어기에 전기적으로 연결되고, 상기 HBM 다이들의 상기 스택, 상기 NVM 다이들의 상기 스택 및 상기 캐시 제어기는 상기 패키지 내에 캡슐화되고 집적되는 처리 장치.
  10. 처리 장치의 호스트 프로세서와 하이브리드 캐시 메모리 사이의 데이터 전송을 상기 하이브리드 캐시 메모리의 캐시 제어기에 의해 관리하는 방법에 있어서,
    상기 호스트 프로세서로부터 쓰기 명령을 수신하는 것에 응답하여, 입력되는 호스트 데이터를 저장하기 위해 상기 하이브리드 캐시 메모리의 고 대역폭 메모리(HBM) 내에 공간이 불충분한지를 판별하는 단계;
    상기 판별에 응답하여, 상기 입력되는 호스트 데이터의 저장을 수용하도록 상기 HBM 내에 충분한 공간을 생성하기 위해 상기 HBM에 저장되고 가장 먼저 액세스되는 데이터를 삭제하는 단계;
    상기 입력되는 호스트 데이터를 상기 HBM에 저장하는 단계; 및
    상기 저장된 호스트 데이터를 상기 하이브리드 캐시 메모리의 비휘발성 메모리(NVM)에 복사하는 단계를 포함하고,
    상기 HBM은 HBM 다이들의 스택을 포함하고, 상기 NVM은 NVM 다이들의 스택을 포함하고, 상기 NVM 다이들의 상기 스택은 동일한 패키지에 상기 HBM 다이들의 상기 스택과 물리적으로 집적되고, 상기 HBM은 상기 NVM보다 높은 데이터 액세스 대역폭을 나타내고, 상기 NVM은 상기 HBM보다 큰 데이터 저장 용량을 나타내고,
    상기 HBM 다이들의 상기 스택 및 상기 NVM 다이들의 상기 스택은 수직으로 적층되고, 상기 캐시 제어기에 의해 물리적으로 지지되고 서로에 대해 측면으로 배열되며, 상기 HBM 다이들의 상기 스택은 복수의 제1 비아들 또는 솔더볼들에 의해 상기 캐시 제어기에 전기적으로 연결되고, 상기 NVM 다이들의 상기 스택은 복수의 제2 비아들 또는 솔더볼들에 의해 전기적으로 연결되고, 상기 HBM 다이들의 상기 스택, 상기 NVM 다이들의 상기 스택 및 상기 캐시 제어기는 상기 패키지 내에 캡슐화되고 집적되고,
    상기 처리 장치는 상기 패키지 외부에 위치하고, 상기 호스트 프로세서와 상기 하이브리드 캐시 메모리를 물리적으로 지지하도록 구성되고, 상기 호스트 프로세서를 상기 하이브리드 캐시 메모리에 전기적으로 연결하는 인터포져를 포함하는 데이터 전송 관리 방법.
KR1020230018236A 2017-01-25 2023-02-10 플래쉬 집적 고 대역폭 메모리 장치 KR102541302B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762450507P 2017-01-25 2017-01-25
US62/450,507 2017-01-25
US15/481,147 US11397687B2 (en) 2017-01-25 2017-04-06 Flash-integrated high bandwidth memory appliance
US15/481,147 2017-04-06
KR1020170164428A KR102500802B1 (ko) 2017-01-25 2017-12-01 플래쉬 집적 고 대역폭 메모리 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020170164428A Division KR102500802B1 (ko) 2017-01-25 2017-12-01 플래쉬 집적 고 대역폭 메모리 장치

Publications (2)

Publication Number Publication Date
KR20230026370A KR20230026370A (ko) 2023-02-24
KR102541302B1 true KR102541302B1 (ko) 2023-06-13

Family

ID=62906245

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020170164428A KR102500802B1 (ko) 2017-01-25 2017-12-01 플래쉬 집적 고 대역폭 메모리 장치
KR1020230018236A KR102541302B1 (ko) 2017-01-25 2023-02-10 플래쉬 집적 고 대역폭 메모리 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020170164428A KR102500802B1 (ko) 2017-01-25 2017-12-01 플래쉬 집적 고 대역폭 메모리 장치

Country Status (3)

Country Link
US (2) US11397687B2 (ko)
KR (2) KR102500802B1 (ko)
CN (1) CN108459974B (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10714179B2 (en) * 2016-10-07 2020-07-14 Hewlett-Packard Development Company, L.P. Hybrid memory devices
WO2019025864A2 (en) * 2017-07-30 2019-02-07 Sity Elad ARCHITECTURE OF DISTRIBUTED PROCESSORS BASED ON MEMORIES
US10545860B2 (en) * 2017-08-10 2020-01-28 Samsung Electronics Co., Ltd. Intelligent high bandwidth memory appliance
US11301776B2 (en) * 2018-04-14 2022-04-12 International Business Machines Corporation Memory-based data selection scheme for machine learning training on limited memory resources
US11367707B2 (en) * 2018-09-26 2022-06-21 Intel Corporation Semiconductor package or structure with dual-sided interposers and memory
KR102136792B1 (ko) * 2018-10-18 2020-07-22 인하대학교 산학협력단 Hbm 도입으로 인한 메모리 보틀넥 문제 해결 방법 및 장치
EP3891815A4 (en) * 2018-12-03 2022-09-07 Aayuna Inc. HIGH DENSITY OPTICAL CONNECTOR ARRANGEMENT
US11954062B2 (en) 2019-03-15 2024-04-09 Intel Corporation Dynamic memory reconfiguration
KR20200114481A (ko) * 2019-03-28 2020-10-07 에스케이하이닉스 주식회사 메모리 시스템, 메모리 컨트롤러 및 그 동작 방법
CN110731012B (zh) 2019-04-15 2021-01-29 长江存储科技有限责任公司 具有处理器和异构存储器的一体化半导体器件及其形成方法
CN110770898A (zh) 2019-04-15 2020-02-07 长江存储科技有限责任公司 具有处理器和动态随机存取存储器的键合半导体器件及其形成方法
WO2020211272A1 (en) 2019-04-15 2020-10-22 Yangtze Memory Technologies Co., Ltd. Unified semiconductor devices having processor and heterogeneous memories and methods for forming the same
KR102639431B1 (ko) 2019-04-15 2024-02-22 양쯔 메모리 테크놀로지스 씨오., 엘티디. 프로세서 및 이종 메모리를 갖는 통합 반도체 디바이스 및 이를 형성하는 방법
KR20210114016A (ko) 2019-04-30 2021-09-17 양쯔 메모리 테크놀로지스 씨오., 엘티디. 프로세서 및 낸드 플래시 메모리를 갖는 접합된 반도체 소자 및 이를 형성하는 방법
CN110942138B (zh) * 2019-11-13 2022-02-15 华中科技大学 一种混合内存环境下深度神经网络的训练方法和系统
US11599299B2 (en) * 2019-11-19 2023-03-07 Invensas Llc 3D memory circuit
CN111158790B (zh) * 2019-12-31 2021-04-13 清华大学 面向云端深度学习推理的fpga虚拟化方法
KR20220040846A (ko) * 2020-09-24 2022-03-31 삼성전자주식회사 집적회로 소자 및 이를 포함하는 전자 시스템
US20230068802A1 (en) * 2021-08-24 2023-03-02 International Business Machines Corporation Hybrid high bandwidth memories
CN113760796B (zh) * 2021-09-01 2023-12-22 山东华芯半导体有限公司 一种基于hbm缓存的ssd固态盘
CN114067879A (zh) * 2021-10-14 2022-02-18 西安紫光国芯半导体有限公司 3d非易失性存储装置及其读数据方法、写数据方法
CN114063914B (zh) * 2021-11-05 2024-04-09 武汉理工大学 一种面向dram-hbm混合内存的数据管理方法
EP4376002A1 (en) * 2022-11-24 2024-05-29 Samsung Electronics Co., Ltd. Memory device and system device including the same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140181387A1 (en) 2012-12-21 2014-06-26 Advanced Micro Devices, Inc. Hybrid cache

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8397013B1 (en) 2006-10-05 2013-03-12 Google Inc. Hybrid memory module
US8335894B1 (en) 2008-07-25 2012-12-18 Google Inc. Configurable memory system with interface circuit
US7411292B2 (en) * 2005-09-27 2008-08-12 Kingston Technology Corporation Flash memory card
US7911834B2 (en) 2006-05-15 2011-03-22 Apple Inc. Analog interface for a flash memory die
US8874831B2 (en) 2007-06-01 2014-10-28 Netlist, Inc. Flash-DRAM hybrid memory module
WO2008149453A1 (ja) * 2007-06-08 2008-12-11 Fujitsu Limited 記憶装置、記憶制御装置及び制御方法
US7777330B2 (en) 2008-02-05 2010-08-17 Freescale Semiconductor, Inc. High bandwidth cache-to-processing unit communication in a multiple processor/cache system
US8331123B2 (en) * 2009-09-21 2012-12-11 Ocz Technology Group, Inc. High performance solid-state drives and methods therefor
US8914568B2 (en) 2009-12-23 2014-12-16 Intel Corporation Hybrid memory architectures
US8437163B2 (en) * 2010-02-11 2013-05-07 Micron Technology, Inc. Memory dies, stacked memories, memory devices and methods
US20140013129A1 (en) * 2012-07-09 2014-01-09 L. Pierre de Rochemont Hybrid computing module
US8421245B2 (en) * 2010-12-22 2013-04-16 Intel Corporation Substrate with embedded stacked through-silicon via die
US9432298B1 (en) * 2011-12-09 2016-08-30 P4tents1, LLC System, method, and computer program product for improving memory systems
WO2013028849A1 (en) * 2011-08-24 2013-02-28 Rambus Inc. Methods and systems for mapping a peripheral function onto a legacy memory interface
TWI472920B (zh) * 2011-09-01 2015-02-11 A system and method for improving the read and write speed of a hybrid storage unit
US8780600B2 (en) * 2011-12-07 2014-07-15 Apple Inc. Systems and methods for stacked semiconductor memory devices
CN104126181A (zh) 2011-12-30 2014-10-29 英特尔公司 作为随机存取存储器的非易失性半导体存储装置的系统存取的薄变换
US9218204B2 (en) * 2012-12-21 2015-12-22 Advanced Micro Devices, Inc. Processing engine for complex atomic operations
US9170948B2 (en) * 2012-12-23 2015-10-27 Advanced Micro Devices, Inc. Cache coherency using die-stacked memory device with logic die
US9652376B2 (en) 2013-01-28 2017-05-16 Radian Memory Systems, Inc. Cooperative flash memory control
US9087846B2 (en) * 2013-03-13 2015-07-21 Apple Inc. Systems and methods for high-speed, low-profile memory packages and pinout designs
US9679615B2 (en) * 2013-03-15 2017-06-13 Micron Technology, Inc. Flexible memory system with a controller and a stack of memory
US9535831B2 (en) * 2014-01-10 2017-01-03 Advanced Micro Devices, Inc. Page migration in a 3D stacked hybrid memory
JP2015135603A (ja) * 2014-01-17 2015-07-27 株式会社東芝 ストレージ装置及びデータを書き込む記憶領域を選択する方法
KR102248915B1 (ko) 2014-03-26 2021-05-07 삼성전자주식회사 하이브리드 메모리 장치, 그것을 포함하는 메모리 시스템 및 그것의 데이터 처리 방법
US9269700B2 (en) * 2014-03-31 2016-02-23 Micron Technology, Inc. Stacked semiconductor die assemblies with improved thermal performance and associated systems and methods
US20150279431A1 (en) * 2014-04-01 2015-10-01 Micron Technology, Inc. Stacked semiconductor die assemblies with partitioned logic and associated systems and methods
JP6637906B2 (ja) * 2014-05-08 2020-01-29 マイクロン テクノロジー，インク． ハイブリッドメモリキューブシステム相互接続ディレクトリベースキャッシュコヒーレンス方法
US9558143B2 (en) 2014-05-09 2017-01-31 Micron Technology, Inc. Interconnect systems and methods using hybrid memory cube links to send packetized data over different endpoints of a data handling device
US20160093377A1 (en) 2014-09-26 2016-03-31 Intel Corporation Nonvolatile memory module
US9613719B1 (en) * 2015-02-17 2017-04-04 Darryl G. Walker Multi-chip non-volatile semiconductor memory package including heater and sensor elements
JP6402647B2 (ja) * 2015-02-20 2018-10-10 富士通株式会社 データ配置プログラム、データ配置装置およびデータ配置方法
US10169242B2 (en) * 2015-10-16 2019-01-01 SK Hynix Inc. Heterogeneous package in DIMM
KR102449022B1 (ko) * 2015-11-05 2022-09-29 에스케이하이닉스 주식회사 적층형 반도체 메모리 및 이를 포함하는 반도체 시스템
US10255190B2 (en) * 2015-12-17 2019-04-09 Advanced Micro Devices, Inc. Hybrid cache
US9940980B2 (en) * 2016-06-30 2018-04-10 Futurewei Technologies, Inc. Hybrid LPDDR4-DRAM with cached NVM and flash-nand in multi-chip packages for mobile devices
US10042762B2 (en) * 2016-09-14 2018-08-07 Advanced Micro Devices, Inc. Light-weight cache coherence for data processors with limited data sharing
US10095421B2 (en) * 2016-10-21 2018-10-09 Advanced Micro Devices, Inc. Hybrid memory module bridge network and buffers
CN107994011B (zh) * 2016-10-26 2020-06-02 晟碟信息科技（上海）有限公司 半导体封装体和制造半导体封装体的方法
US10282294B2 (en) * 2017-02-15 2019-05-07 Samsung Electronics Co., Ltd. Mitigating DRAM cache metadata access overhead with SRAM metadata cache and bloom filter
US10496561B2 (en) * 2017-04-18 2019-12-03 Advanced Micro Devices, Inc. Resilient vertical stacked chip network for routing memory requests to a plurality of memory dies
WO2020210390A1 (en) * 2019-04-09 2020-10-15 Sunrise Memory Corporation Quasi-volatile memory device with a back-channel usage

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140181387A1 (en) 2012-12-21 2014-06-26 Advanced Micro Devices, Inc. Hybrid cache

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Qiaosha Zou 외, "Heterogeneous Architecture Design with Emerging 3D and Non-Volatile Memory Technologies"(2015)

Also Published As

Publication number Publication date
CN108459974A (zh) 2018-08-28
US11921638B2 (en) 2024-03-05
KR102500802B1 (ko) 2023-02-17
KR20230026370A (ko) 2023-02-24
US11397687B2 (en) 2022-07-26
US20220300426A1 (en) 2022-09-22
US20180210830A1 (en) 2018-07-26
CN108459974B (zh) 2023-07-07
KR20180087831A (ko) 2018-08-02

Similar Documents

Publication Publication Date Title
KR102541302B1 (ko) 플래쉬 집적 고 대역폭 메모리 장치
CN111279322B (zh) 一种处理系统和在3d堆栈存储器中混写的方法
JP6373559B2 (ja) メモリ装置及びメモリ装置の動作方法
US20170147516A1 (en) Direct interface between graphics processing unit and data storage unit
US11507527B2 (en) Active bridge chiplet with integrated cache
CN107621959B (zh) 电子装置及其软件训练方法、计算系统
US20130080693A1 (en) Hybrid memory device, computer system including the same, and method of reading and writing data in the hybrid memory device
EP4283472A1 (en) Method for caching data, a host device for caching data, and a storage system for caching data
CN113223572A (zh) 堆叠式存储器件及其操作方法
JP2018152112A (ja) メモリ装置及びメモリ装置の動作方法
US10416886B2 (en) Data storage device that reassigns commands assigned to scale-out storage devices and data processing system having the same
US8788748B2 (en) Implementing memory interface with configurable bandwidth
US8612687B2 (en) Latency-tolerant 3D on-chip memory organization
US20240045594A1 (en) Memory controller for a high capacity memory circuit using virtual bank addressing
US20170031633A1 (en) Method of operating object-oriented data storage device and method of operating system including the same
US12019910B2 (en) SSD managed host write atomicity with arbitrary transfer length
TWI766497B (zh) 資料存取方法及系統
US12014080B2 (en) Memory system using host memory buffer and operation method thereof
US11054993B2 (en) Mass storage system having peer-to-peer data movements between a cache and a backend store
US20200363997A1 (en) Ssd managed host write atomicity with arbitrary transfer length
US20230315334A1 (en) Providing fine grain access to package memory
US20230376427A1 (en) Memory system and computing system including the same
US20230142174A1 (en) Memory system using host memory buffer and operation method thereof
JP2005135182A (ja) マルチチップパッケージ型メモリシステム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right