TW202305599A - 多維快取記憶體架構 - Google Patents

多維快取記憶體架構 Download PDF

Info

Publication number
TW202305599A
TW202305599A TW111127124A TW111127124A TW202305599A TW 202305599 A TW202305599 A TW 202305599A TW 111127124 A TW111127124 A TW 111127124A TW 111127124 A TW111127124 A TW 111127124A TW 202305599 A TW202305599 A TW 202305599A
Authority
TW
Taiwan
Prior art keywords
cache
logic
layer
cache memory
interconnect
Prior art date
Application number
TW111127124A
Other languages
English (en)
Inventor
蘇拉布派加斯庫馬 辛哈
喬舒亞 蘭德爾
詹謝得 賈拉爾
亞歷杭德羅里科 卡羅
鮮于丹
Original Assignee
英商Ａｒｍ股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英商Ａｒｍ股份有限公司 filed Critical 英商Ａｒｍ股份有限公司
Publication of TW202305599A publication Critical patent/TW202305599A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0811—Multiuser, multiprocessor or multiprocessing cache systems with multilevel cache hierarchies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0813—Multiuser, multiprocessor or multiprocessing cache systems with a network or matrix configuration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/084—Multiuser, multiprocessor or multiprocessing cache systems with a shared cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0893—Caches characterised by their organisation or structure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0893—Caches characterised by their organisation or structure
    • G06F12/0895—Caches characterised by their organisation or structure of parts of caches, e.g. directory or tag array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/42—Centralised routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/10—Packet switching elements characterised by the switching fabric construction
    • H04L49/109—Integrated on microchip, e.g. switch-on-chip

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Internal Circuitry In Semiconductor Integrated Circuit Devices (AREA)
  • Design And Manufacture Of Integrated Circuits (AREA)

Abstract

本文描述的各種實施方案係關於一種具有一多層化邏輯結構的裝置，該多層化邏輯結構具有以一堆疊組態垂直地配置之包括一第一層及一第二層的多個層。該裝置可具有設置在該第一層中之具有第一互連邏輯的一第一快取記憶體。該裝置可具有設置在該第二層中之具有第二互連邏輯的一第二快取記憶體，其中該第二層中的該第二互連邏輯鏈接至該第一層中的該第一互連邏輯。

Description

多維快取記憶體架構
本發明係關於參考三維(3D)實體電路設計用於支援3D互連邏輯相關應用的多維快取記憶體方案及技術。
此節用於提供與瞭解本文描述之各種技術相關的資訊。如此節之標題所意指的，此係相關技術的討論，該相關技術不應以任何方式意指其係先前技術。通常，可或可不將相關技術視為係先前技術。因此應瞭解此節中的任何陳述應以此觀點解讀，而不應解讀為任何對先前技術的承認。
在一些現代電路設計中，晶片製造技術正到達促成緊密整合的3D系統設計的成熟度的水準。一些已知的技術已尋求量化與3D網路晶片(NoC)架構相關的利益。然而，習知NoC設計不使用實際的全系統設計而使用合成流量產生測量效能。此等習知NoC設計簡單地採用具有堆疊處理元件的系統而不顧此一方法的熱限制。
再者，路由器邏輯複雜性對在習知NoC設計中採用3D NoC解決方案增加另一障礙。將Z尺寸加至網狀網路一般會增加路由器埠的數目並增加路由延遲。雖然3D NoC拓撲的利益可減輕此額外延遲的影響，避免此額外路由複雜性的系統係較佳的。因此，存在改善在合併3D NoC架構設計的同時降低流量延遲之電路設計的需要。
本文描述一種具有一多層化邏輯結構之裝置的各種實施方案，該多層化邏輯結構具有以一堆疊組態垂直地配置之包括一第一層及一第二層的多個層。該裝置可具有設置在該第一層中之具有第一互連邏輯的一第一快取記憶體。該裝置可具有設置在該第二層中之具有第二互連邏輯的一第二快取記憶體，且該第二層中的該第二互連邏輯鏈接至該第一層中的該第一互連邏輯。
本文描述一種具有一多層化邏輯結構之裝置的各種實施方案，該多層化邏輯結構具有以一堆疊組態垂直地配置的多個層。該裝置可具有設置在該多個層的一第一層中的核心處理邏輯。該裝置可具有經拆分成使用一層間資料鏈路鏈接在一起的多個部分的一快取記憶體。額外地，一第一快取記憶體部分可設置在該多個層的一第二層中，且一第二快取記憶體部分可設置在該多個層的一第三層中。
本文描述一種具有一多層化邏輯結構之裝置的各種實施方案，該多層化邏輯結構具有以一堆疊組態垂直地配置之包括一第一層及一第二層的多個層。該裝置可具有一層間資料路由網路，該層間資料路由網路具有在該多個層之各層中的互連邏輯，該互連邏輯包括在該第一層中的第一互連邏輯及在該第二層中之鏈接至該第一互連邏輯的第二互連邏輯。該層間資料路由網路可包括將各層中的該互連邏輯垂直地耦接在一起（包括將該第一層中的該第一互連邏輯耦接至該第二層中的該第二互連邏輯）的層間資料路徑。
本文描述的各種實施方案係關於參考三維(3D)實體電路設計用於支援3D互連邏輯相關應用的多維快取記憶體方案及技術。多維快取記憶體架構可提供使用經組態用於各種3D快取記憶體應用的多層化邏輯結構實施之具有3D互連邏輯的3D快取記憶體電路系統。
本文描述的各種實施方案提供將垂直Z方向加至同調網狀網路(coherent mesh network, CMN)且使用3D路由器邏輯以用於資料流量分布的3D網路晶片(NoC)架構。3D NoC架構提供具有處理元件及與NoC的多個層介接的家庭節點的3D系統佈局設計策略。本文描述的各種方案及技術利用多個2D網狀網路以在沒有3D路由之複雜性的狀況下增加3D NoC的利益。
本文描述的各種實施方案提供使流量注入固有地遍布3D NoC分布且在無需習知3D路由技術的狀況下運作的NoC系統架構設計。本文提供的3D NoC設計在將快取記憶體堆疊在該等處理元件上方以分布回應裝置的同時將來自各處理元件的請求分布至多個層。本文描述的各種實施方案提供其操作以使L2組交錯並使層之間的NoC介面關聯的3D L2快取記憶體實施方案，其尋求實現請求的有效分布。再者，本文描述的各種實施方案提供藉由交錯位址空間（其簡化路由器邏輯設計及用於3D互連邏輯的協定）而具有可分開的獨立2D網狀拓撲的3D NoC拓撲。
本文描述的各種實施方案涉及具有L2快取記憶體之處理核心的使用，該等快取記憶體具有實體地橫跨3D NoC系統架構中的多個層分布的經拆分組。各種實施方案利用具有面對面接合技術之具有L2快取記憶體之經拆分組的各半部駐留在多個層之各層上的2層系統設計。此經拆分L2快取記憶體可使用位址空間的單一索引位元邏輯地區分，使得經拆分L2組的所有資料路徑皆在相同層上。再者，經拆分L2快取記憶體組的各半部可經由3D網狀互連鏈路而具有對其自身介面的存取，其可在各層中提供實體分開的佇列及NoC注入點。再者，此3D L2快取記憶體設計可提供3D NoC技術的固有利益，其可允許具有較少流量延遲的容量增加。
將參照圖1A至圖8於本文描述提供具有多級快取記憶體電路系統的各種多維快取記憶體架構的各種實施方案。
圖1A至圖1C繪示根據本文描述之各種實施方案的多維快取記憶體架構的各種圖。具體而言，圖1A顯示具有多層化結構的多維快取記憶體架構104A的圖100A、圖1B顯示具有另一多層化結構的多維快取記憶體架構104B的圖100B、且圖1C顯示具有另一多層化結構的多維快取記憶體架構104C的圖100C。
在各種實施方案中，多維(3D)快取記憶體架構可實施為具有各種積體電路(IC)組件的系統或裝置，該等積體電路組件經配置及耦接在一起以作為提供實體電路設計及相關結構之部件的總成或組合。在一些情況下，將多維快取記憶體架構設計、提供、製造、及/或製作成整合系統或裝置的方法可涉及本文描述之各種IC電路組件的使用，以實施與其關聯的各種相關製造方案及技術。再者，多維快取記憶體架構可與計算電路系統及組件整合在單一晶片上，且多維快取記憶體架構可實施在用於包括遠端感測器節點之汽車、電子、行動、伺服器、且亦用於物聯網(IoT)應用的各種嵌入式系統中。
如圖1A所示，多維快取記憶體架構104A可指具有以堆疊組態垂直地配置之包括第一層106A及第二層106B之多個層的多層化邏輯結構。多層化邏輯結構可具有第一快取記憶體114A，該第一快取記憶體具有第一互連邏輯124A，且該多層化邏輯結構可具有第二快取記憶體114B，該第二快取記憶體具有使用3D資料鏈路134 (3DDL)鏈接至第一層106A中的第一互連邏輯124A的第二互連邏輯124B。第一快取記憶體114A可指第一L2快取記憶體，且第二快取記憶體114B可指第二L2快取記憶體。再者，在一些情況下，多個快取記憶體114A、114B可指L2快取記憶體的經拆分部分，使得第一L2快取記憶體114A係指L2快取記憶體的第一部分且第二L2快取記憶體114B係指L2快取記憶體的第二部分。進一步地，第一互連邏輯124A可指第一3D互連邏輯(3DIL)，且第二互連邏輯124B可指第二3D互連邏輯(3DIL)。
在各種實施方案中，3D資料鏈路134 (3DDL)可稱為層間資料鏈路，該層間資料鏈路將多個層106A、106B垂直地耦接在一起，包括將第一L2快取記憶體114A耦接至第二L2快取記憶體114B。再者，可經由在多層化邏輯結構中將第一L2快取記憶體114A垂直地耦接至第二L2快取記憶體114B的層間資料鏈路134將第一互連邏輯(3DIL) 124A鏈接至第二互連邏輯(3DIL) 124B。
在一些實施方案中，快取記憶體架構104A可具有設置在多個層中之至少一者中（諸如，例如，設置在第一層106A中）的核心處理邏輯（核心）108。再者，在一些情況下，核心處理邏輯（核心）108可經組態以與包括第一L2快取記憶體114A及第二L2快取記憶體114B的多個快取記憶體114A、114B介接。再者，在一些情況下，核心處理邏輯（核心）108可具有L1快取記憶體112，該快取記憶體經組態以與核心處理邏輯（核心）108及包括第一L2快取記憶體114A及第二L2快取記憶體114B的多個快取記憶體介接。
在一些實施方案中，快取記憶體架構104A可包括設置在多個層中之至少一者中（諸如，例如，設置在第二層106B中）的共用快取記憶體118。再者，在一些情況下，共用快取記憶體118經組態以與核心處理邏輯108及包括第一L2快取記憶體114A及第二L2快取記憶體114B的多個快取記憶體介接。
在各種實施方案中，第一L2快取記憶體114A及第二L2快取記憶體114B可在沒有直接鏈接的3D互連邏輯(3DIL) 124A的狀況下鏈接。因此，多個層106A、106B可不直接鏈接，且各層106A、106B可具有在各層106A、106B上的分開的邏輯系統。
參照圖1A，在一些實施方案中，快取記憶體架構104A的3D L2設計可包括在各層106A、106B中至3D NoC的介面。可將L2快取記憶體的半部標記成奇數/偶數以將其等表示成基於位址空間中的至少位元交錯，其中可將此計算元件設計提供為用於在多層化系統設計中橫跨多個層分布請求流量的構建塊。各種3D接合技術在層之間提供低延遲連接，且低延遲連接允許3D L2快取記憶體實施方案勝過2D。再者，晶片設計者可在此等實施方案中調整容量增加或較低延遲的優先順序，並延伸3D L2實施方案以使用分開的NoC介面，額外的3D利益亦可藉由在3D中擴縮NoC注入及對分頻寬而達成。進一步地，此技術可藉由將處理核心邏輯提供在一個層中而將共用快取記憶體(SLC, HNF)提供在處理核心上方而整合至全系統設計中。
例如，在一些實施方案中，圖1A連同圖1B至圖1C顯示具有此類型之組織的3D邏輯結構可如何出現。可將共用快取記憶體118（或SLC/HNF切片）實施在處理核心邏輯108上方/下方，使得計算邏輯與快取記憶體堆疊，其可避免計算重疊(compute-on-compute) 3D堆疊的固有熱問題。在一些情況下，共用快取記憶體118可具有至NoC（可能至與其層中之L2快取記憶體相同的NoC路由器）的分開的通訊介面。使用此構建塊，申請者可橫跨多個層分布在此3D系統中，但家庭節點元件可經設置在單一層中。再者，在一些情況下，回應元件可橫跨多個層分布以利用3D NoC。進一步地，在一些情況下，共用快取記憶體可分布在具有交替塊的3D結構中，使得SLC/HNF切片的一半在一個層中且SLC/HNF切片的一半在另一層中。
圖1B顯示具有多層化結構之多維快取記憶體架構104B的圖100B，其中類似元件與圖1A中的多維快取記憶體架構104A共用類似的行為、特徵、及特性。
如圖1B所示，快取記憶體架構104B可提供替代的多層化結構，其中第一層106A包括第一L2快取記憶體114A及共用快取記憶體118，且其中第二層106B包括第二L2快取記憶體114B及具有L1快取記憶體112的核心處理邏輯（核心）108。再者，在一些情況下，3D資料鏈路134 (3DDL)可提供層間資料鏈路，該層間資料鏈路將多個層106A、106B垂直地耦接在一起，包括將第一L2快取記憶體114A耦接至第二L2快取記憶體114B。因此，可經由在顯示於圖1B中的多層化邏輯結構中將第一L2快取記憶體114A垂直地耦接至第二L2快取記憶體114B的層間資料鏈路134將第一互連邏輯(3DIL) 124A鏈接至第二互連邏輯(3DIL) 124B。
圖1C顯示具有多層化結構之多維快取記憶體架構104C的圖100C，其中類似元件與圖1A至圖1B中的快取記憶體架構104A、104B共用類似的行為、特徵、及特性。
如圖1C所示，快取記憶體架構104C可提供替代的多層化結構，其中第一層106A具有第二L2快取記憶體114B及共用快取記憶體118，且其中第二層106B具有第一L2快取記憶體114A及具有L1快取記憶體112的核心處理邏輯（核心）108。再者，在一些情況下，3D資料鏈路134 (3DDL)可提供層間資料鏈路，該層間資料鏈路將多個層106A、106B垂直地耦接在一起，包括將第一L2快取記憶體114A耦接至第二L2快取記憶體114B。因此，可經由在顯示於圖1C中的多層化邏輯結構中將第一L2快取記憶體114A垂直地耦接至第二L2快取記憶體114B的層間資料鏈路134將第一互連邏輯(3DIL) 124A鏈接至第二互連邏輯(3DIL) 124B。
圖2繪示根據本文描述之實施方案之具有多級快取記憶體電路系統之多維快取記憶體架構204的圖200。在各種實施方案中，快取記憶體架構204與圖1A至圖1C中的快取記憶體架構104A至104C共用具有類似行為、特徵、及特性的類似元件。
如圖2所示，快取記憶體架構204可提供替代的多層化結構，其中第一層106A具有其具有第一3D路由器邏輯(3DRL) 128A的第一L2快取記憶體114A，且其中第二層106B包括具有第二3D路由器邏輯(3DRL) 128B的第二L2快取記憶體114B。再者，第一層106A包括核心處理邏輯（核心）108及L1快取記憶體112，且第二層106B具有第二L2快取記憶體114B及共用快取記憶體118。再者，在一些情況下，3D資料鏈路134 (3DDL)可提供層間資料鏈路，該層間資料鏈路將多個層106A、106B垂直地耦接在一起，包括將第一L2快取記憶體114A耦接至第二L2快取記憶體114B。因此，可經由在顯示於圖1C中的多層化邏輯結構中將第一L2快取記憶體114A垂直地耦接至第二L2快取記憶體114B的層間資料鏈路134將第一互連邏輯(3DIL) 124A鏈接至第二互連邏輯(3DIL) 124B。
再者，在一些實施方案中，快取記憶體架構204可提供具有設置在多個層106A、106B之各層中的多個路由器(3DRL) 128A、128B的多維資料路由網路。例如，第一3D路由器邏輯(3DRL) 128A可設置在第一層106A中，且經由3D路由器鏈路(3DRL) 138鏈接至第一3D路由器邏輯(3DRL) 128A的第二3D路由器邏輯(3DRL) 128B可設置在第二層106B中。因此，多維資料路由網路可具有將多個路由器128A、128B垂直地耦接在一起的至少一條3D資料路徑，包括將第一3D路由器邏輯128A耦接至第二3D路由器邏輯128B。
圖3繪示根據本文描述之實施方案之具有多級快取記憶體電路系統之多維快取記憶體架構304的圖300。在各種實施方案中，快取記憶體架構304與顯示於圖2中的快取記憶體架構204共用具有類似行為、特徵、及特性的類似元件。
如圖3所示，多維快取記憶體架構304可指具有以堆疊組態垂直地配置之多個層106A、106B、106C的多層化邏輯結構。多層化邏輯結構可包括設置在多個層之第一層106A中的核心處理邏輯108，且多層化邏輯結構可包括拆分成使用層間資料鏈路(3DDL) 134B鏈接在一起的多個部分114A、114B的快取記憶體。在一些情況下，核心處理邏輯108可經由第一層間資料鏈路(3DDL) 134A耦接至L2快取記憶體的第一部分114A，且L2快取記憶體的多個部分114A、114B可使用第二層間資料鏈路(3DDL) 134B鏈接在一起。L2快取記憶體的第一部分114可設置在第二層106B中，且L2快取記憶體的第二部分114B可設置在多個層的第三層106C中。
在一些實施方案中，第一層106A亦可包括經組態以與核心處理邏輯108介接的多個L1快取記憶體，諸如，例如，第一L1快取記憶體(L1I) 112A及第二L1快取記憶體(L1D) 112B。再者，在一些情況下，第一層106A可包括可耦接至第二3D互連邏輯(3DIL) 124B的第一3D互連邏輯(3DIL) 124A。再者，第一3DIL 124A可經由第二3DIL 124B與第三3DIL 124C通訊。
因此，在各種實施方案中，多個層106A、106B、106C可經由其等的對應3DIL 124A、124B、124C垂直地整合在一起。例如，L2快取記憶體的第一部分114A使用經由第一3DIL 124A鏈接至設置在第一層106A中的處理核心邏輯108的第二3DIL 124B，亦且，L2快取記憶體的第二部分114B使用經由第二層106B中的第二3DIL 124B鏈接至第一層106A中的第一3DIL 124A的第三3DIL 124C。因此，多個層間資料鏈路(3DDL) 134A、134B可用以將多個層106A、106B、106B垂直地耦接在一起，包括將核心處理邏輯108耦接至L2快取記憶體的第一部分114A及L2快取記憶體的第二部分114B。再者，可經由在多層化邏輯結構中將核心處理邏輯108及L1快取記憶體112A、112B垂直地耦接至L2快取記憶體的第一部分114A的第一層間資料鏈路(3DDL) 134A將第一3DIL 124A鏈接至第二3DIL 124B。再者，在一些情況下，可經由在多層化邏輯結構中用以將L2快取記憶體的第一部分114A垂直地耦接至L2快取記憶體的第二部分114B的第二層間資料鏈路(3DDL) 134B將第二3DIL 124B鏈接至第三3DIL 124C。
在一些實施方案中，核心處理邏輯108經組態以經由層間資料鏈路(3DDL) 134A、134B與L2快取記憶體之包括L2快取記憶體的第一部分114A及L2快取記憶體的第二部分114B的多個部分114A、114B介接。再者，在一些情況下，快取記憶體架構304可具有設置在多個層的一或多者中的一或多個共用快取記憶體118A、118B，諸如，例如，設置在第二層106B中的第一共用快取記憶體118A及設置在第三層106C中的第二共用快取記憶體118B。再者，一或多個共用快取記憶體118A、118B可經組態以與第一層106A中的核心處理邏輯108及包括在第二層106B中的L2快取記憶體中的第一部分114A及在第三層106C中的L2快取記憶體的第二部分114B的L2快取記憶體114A、114B的各部分介接。
在一些實施方案中，各共用快取記憶體118A、118B直接與其自身層中的L2快取記憶體的對應部分114A、114B介接。與處理邏輯108及L1快取記憶體112A、112B的其他部分的任何相互作用可傳遞通過耦接至經拆分L2快取記憶體114A、114B的各部分的層間資料鏈路(3DDL) 134A、134B。因此，共用快取記憶體118A、118B僅直接耦接至其等在相同層中的L2快取記憶體的對應部分114A、114B。在一些情況下，共用快取記憶體114A、114B可通過網路鏈路(3DDL) 134A、134B耦接至私有或本地L2快取記憶體114A、114B的各部分114A、114B。因此，共用快取記憶體118A、118B可直接與其等在相同層中的L2快取記憶體的對應部分114A、114B構成網路。
在參照圖3的一些實施方案中，3D結構組織可提供包括用於各處理核心之L2快取記憶體之系統塊的雙層實施方案，其中將L2快取記憶體拆分在多個層之間以擴展L2快取記憶體容量及NoC頻寬。在一些情況下，同質快取記憶體層可以一般化方式設計及製造，使得僅一個晶粒可對任何快取記憶體層操作。此可提供可擴展性利益，其中快取記憶體容量及NoC頻寬可在組裝時經組態以支援標定特定成本及/或效能的多個不同系統組態。
圖4A至圖4B繪示根據本文描述的各種實施方案之具有多級快取記憶體電路系統及資料網路之多維快取記憶體架構的各種圖。具體而言，圖4A顯示具有多級快取記憶體電路系統及資料網路之多維快取記憶體架構404A的圖400A，且圖4B顯示具有多級快取記憶體電路系統及資料網路之多維快取記憶體架構404B的圖400B。在各種實施方案中，快取記憶體架構404A、404B與顯示在圖2至圖3中的快取記憶體架構204、304共用類似的元件及組件以及類似的行為、特徵、及特性。
如圖4A所示，多維快取記憶體架構404A可指具有以多級堆疊組態垂直地配置之多個層106A、106B、106C、106D、106E的多層化邏輯結構。在各種情況下，多層化邏輯結構可包括設置在多個層之第一層106A中的核心處理邏輯108，且多層化邏輯結構可包括拆分成使用多個層間資料鏈路(3DDL) 134A、134B、134C、134D鏈接在一起的多個部分114A、114B、114C、114D的快取記憶體。在一些情況下，核心處理邏輯108可經由第一層間資料鏈路(3DDL) 134A耦接至L2快取記憶體的第一部分114A，且L2快取記憶體的多個部分114A、114B、114C、114D可使用其等的對應層間資料鏈路(3DDL) 134B、134C、134D鏈接在一起。再者，L2快取記憶體的第一部分114可設置在第二層106B中，且L2快取記憶體的額外部分114B、114C、114D可設置在多個層的對應層106C、106D、106E中。
在一些實施方案中，第一層106A亦可包括經組態以與核心處理邏輯108介接的多個L1快取記憶體，諸如，例如，第一L1快取記憶體(L1I) 112A及第二L1快取記憶體(L1D) 112B。再者，在一些情況下，第一層106A可包括可耦接至第二3DIL 124B的第一3DIL 124A。再者，在一些情況下，第一3DIL 124A可進一步經由第二3DIL 124B與額外的3DIL 124C、124D、124E通訊。
因此，在各種實施方案中，多個層106A、106B、106C、106D、106E可經由其等的對應3DIL 124A、124B、124C、124D、124E垂直地整合在一起。例如，L2快取記憶體的第一部分114A使用經由第一3DIL 124A鏈接至設置在第一層106A中的處理核心邏輯108的第二3DIL 124B，亦且，L2快取記憶體的第二部分114B使用經由第二層106B中的第二3DIL 124B鏈接至第一層106A中的第一3DIL 124A的第三3DIL 124C。再者，L2快取記憶體的第三部分114C使用經由第一至第三3DIL 124A至124C鏈接至設置在第一層106A中的處理核心邏輯108的第四3DIL 124D，亦且，L2快取記憶體的第四部分114D使用經由對應層106A至106D中的第一至第四3DIL 124A至124D鏈接至第一層106A中的第一3DIL 124A的第五3DIL 124E。
因此，多個層間資料鏈路(3DDL) 134A至134D可用以將多個層106A至106E垂直地耦接在一起，包括將核心處理邏輯108耦接至L2快取記憶體的第一至第四部分114A至114D。進一步地，可經由在多層化邏輯結構中將核心處理邏輯108及L1快取記憶體112A、112B垂直地耦接至L2快取記憶體的第一部分114A的第一層間資料鏈路(3DDL) 134A將第一3DIL 124A鏈接至第二3DIL 124B。再者，在一些情況下，可經由在多層化邏輯結構中用以垂直地耦接L2快取記憶體的第一至第四部分114A至114D至L2的第二至第四層間資料鏈路(3DDL) 134B至134D將第二至第五3DIL 124B至124E鏈接在一起。
在一些實施方案中，多個層106B至106E可具有對應的共用快取記憶體118A至118D。例如，第二層106B可具有第一共用快取記憶體118A，且第三層106C可具有第二共用快取記憶體118B。再者，在一些情況下，第四層106D可具有第三共用快取記憶體118C，且第五層106E可具有第四共用快取記憶體118D。
在參照圖4A的一些實施方案中，3D結構組織可提供具有任意數目的快取記憶體層（諸如，四個快取記憶體層106B至106E）的可擴展設計。在此情況下，位址空間可基於二個位元拆分，以促成對應於四個快取記憶體層的四個分開的位址空間。再者，分開位址空間可允許3D互連邏輯在各層中具有多個2D網目，其中3D介面僅發生在各快取記憶體層的L1快取記憶體與L2節點之間。再者，各層上的SLC/HNF節點可對應於該層中的位址空間，且可擴展L2設計可包括增加追蹤容量。因此，在此情況下，晶片可經設計以支援任意數目的快取記憶體層，同時利用3D設計以僅使用2D網目互連邏輯同時擴展快取記憶體容量及互連頻寬。面對背接合互連的延遲可增加L2存取延遲；然而，來自此延遲的任何效能損失可由於快取記憶體層倍增而藉由在L2快取記憶體容量上的連續倍增而至少部分地補償。由於製造技術成熟且晶粒變得更薄，此等3D類型介面互連可經歷較低的延遲，且進一步地，L2存取延遲可減少以改善效能。
如圖4B所示，多維快取記憶體架構404B可指具有以多級堆疊組態垂直地配置之多個層106A至106E的多層化邏輯結構。在各種情況下，多層化邏輯結構可包括設置在多個層之第一層106A中的核心處理邏輯108，且多層化邏輯結構可包括拆分成使用多個層間資料鏈路(3DDL) 134A至134D鏈接在一起的多個部分114A至114D的快取記憶體。在一些情況下，核心處理邏輯108可經由第一層間資料鏈路(3DDL) 134A耦接至L2快取記憶體的第一部分114A，且L2快取記憶體的多個部分114A至114D可使用其等的對應層間資料鏈路(3DDL) 134B至134D鏈接在一起。進一步地，L2快取記憶體的第一部分114可設置在第二層106B中，且L2快取記憶體的額外部分114B至114D可設置在多個層的對應層106C至106E中。
在一些實施方案中，多維快取記憶體架構404B包括具有設置在多個層106A至106E之各層中的多個路由器的多維資料路由網路(3DRL)。例如，第一層106A可包括第一路由器(3DRL)，且第二層106B可包括鏈接至第一路由器(3DRL)的第二路由器(3DRL)。第三層106C可具有鏈接至第一及第二路由器(3DRL)的第三路由器(3DRL)，且第四層106D可包括鏈接至第一至第三路由器(3DRL)的第四路由器(3DRL)。第五層106E可具有鏈接至第一至第四路由器(3DRL)的第五路由器(3DRL)。再者，在一些情況下，多維資料路由網路可包括將包括第一至第五路由器(3DRL)的多個路由器(3DRL)垂直地耦接在一起的網路資料路徑。
在一些實施方案中，多維快取記憶體架構404B包括設置在層106B至106C中的L2快取記憶體的部分114A至114B以及設置在多個層的一或多個額外層106D至106E中的L2快取記憶體的一或多個額外部分114C至114D。再者，L2快取記憶體的一或多個額外部分114C至114D可經由層間資料鏈路(3DDL) 134B至134D鏈接至快取記憶體的第一至第二部分114A至114B。在一些情況下，多維快取記憶體架構404B可包括可用以在多層化邏輯結構中將處理核心邏輯108互連至共用快取記憶體118A至118D的共用多維3DIL (S_3DIL)。
圖5至圖8繪示根據本文描述之實施方案之具有多級快取記憶體電路系統以及同調網狀網路之多維快取記憶體架構的圖。具體而言，圖5顯示多維快取記憶體架構504的圖500、圖6顯示多維快取記憶體架構604的圖600、圖7顯示多維快取記憶體架構704的圖700、且圖8顯示多維快取記憶體架構804的圖800。在各種情況下，快取記憶體架構可與圖1A至圖4B中的快取記憶體架構104A至400B共用類似元件以及類似的行為、特徵、及特性。
如圖5所示，多維快取記憶體架構504可提供具有以堆疊組態垂直地配置之包括第一層506A及第二層506B之多個層的多層化邏輯結構。快取記憶體架構504可包括層間資料路由網路，該層間資料路由網路具有在多個層之各層中之包括在第一層506A中的第一3D互連邏輯(3DIL)及在第二層506B中之鏈接至第一3D互連邏輯(3DIL)的第二3D互連邏輯(3DIL)的3D互連邏輯(3DIL) 534。在一些情況下，如圖5A所示，所有的L2快取記憶體可使用3DIL及/或設置在多個層之間（包括第一層506A及第二層506B之間）的3D資料鏈路(3DDL) 534鏈接在一起。
在一些實施方案中，第一層506A具有多個組件群組，其中各邏輯區塊可具有處理核心邏輯（核心）、共用快取記憶體邏輯(SLC)、及經拆分L2快取記憶體(L2)。因此，第一邏輯區塊可設置在第一層506A中，其中各第一邏輯區塊包括第一3DIL以及第一核心處理邏輯、第一L2快取記憶體、及第一共用快取記憶體。類似地，在一些情況下，第二層506B具有多個組件群組，其中各邏輯區塊可包括處理核心邏輯（核心）、共用快取記憶體邏輯(SLC)、及經拆分L2快取記憶體(L2)。因此，第二邏輯區塊可設置在第二層506B中，其中各第二邏輯區塊包括第二3DIL以及第二核心處理邏輯、第二L2快取記憶體、及第二共用快取記憶體。
在各種實施方案中，在多個層之各層506A、506B中的3D互連邏輯(3DIL)係指具有將多個層垂直地耦接在一起（包括將第一層506A中的第一3D互連邏輯(3DIL)耦接至第二層506B中的第二3D互連邏輯(3DIL)）的層間資料鏈路的L2快取記憶體。進一步地，在一些情況下，可藉由將多層化邏輯結構之第一層506A中的第一L2快取記憶體垂直地耦接至第二層506B中的第二L2快取記憶體的3D層間資料路徑將第一3DIL鏈接至第二3DIL。
在參照圖5的一些實施方案中，3D結構組織可提供具有在多個層之間分開位址空間的系統。在一些情況下，一個層上的L2快取記憶體儲存器及SLC/HNF切片可對應於該層的位址空間，其中此可將不重要的限制施加在可有效率地雜湊橫跨SLC/HNF切片之總數目的一半的各位址空間的SLC/HNF切片分布的彈性上。再者，多個層之間的互連可發生在核心的介面中以拆分L2實施方案，且進一步地，此類型之系統結構中的記憶體控制器介面可具有在二個層中的連接。再者，在一些情況下，此類型的系統組織可操作以將流量分布在多個層之間，因此將2D網目的注入及對分頻寬倍增至3D網目中而不需要3D互連邏輯。此外，此3D技術可由希望利用3D製造技術的晶片設計者使用。
如圖6所示，多維快取記憶體架構604可提供具有以堆疊組態垂直地配置之包括第一層606A及第二層606B之多個層的多層化邏輯結構。在一些實施方案中，第一層606A具有多個組件群組，其中各第一邏輯區塊具有處理核心邏輯（核心）、共用快取記憶體邏輯(SLC)、及經拆分L2快取記憶體(L2)。類似地，在一些情況下，第二層606B具有多個組件群組，其中各第二邏輯區塊具有處理核心邏輯（核心）、共用快取記憶體邏輯(SLC)、及經拆分L2快取記憶體(L2)。進一步地，在一些情況下，如圖6所示，邏輯區塊之間的介接可在L2快取記憶體內處理。在一些情況下，如參照圖5A於上文所描述的，所有的L2快取記憶體可使用3DIL及/或設置在多個層之間（包括在第一層606A及第二層606B之間）的3D資料鏈路(3DDL)鏈接在一起。多維快取記憶體架構604可具有提供在設置在多個層之各層中的節點之間的輔助網路資料路徑（諸如，例如，3D網路資料路徑鏈路(3D-NDPL) 644）（包括在設置在第一層中的第一節點與設置在第二層中的第二節點之間的輔助網路資料路徑）的輔助資料網路。
在參照圖6的一些實施方案中，3D結構組織可提供在多個層之間拆分且在Y方向上對應於相鄰核心的L2實施方案。使處理核心及SLC/HNF切片在棋盤式圖案中交替可促成平衡流量的回應元件在3D網狀互連中的分布。在一些情況下，元件的此棋盤式分布可在使用維度優先路由(DOR)時促成均勻流量，且3D堆疊快取記憶體在處理核心邏輯上的此棋盤式組織可產生比具有分開的計算及快取記憶體層的系統更佳的熱特性，因為計算塊在X-Y維度上彼此不相鄰。再者，在一些情況下，可增強此實施方案以避免在Z方向上的流量，其中本文描述的L2實施方案可用以以各層拆分位址空間，使得在避免3D互連空間中的Z方向的同時可將此3D NoC組織成各處理不同位址空間的二個分開的2D網目。
如圖7所示，多維快取記憶體架構704可提供具有以堆疊組態垂直地配置之包括第一層706A及第二層706B之多個層的多層化邏輯結構。在一些實施方案中，第一層706A具有多個組件群組，其中各第一邏輯區塊具有處理核心邏輯（核心）及經拆分L2快取記憶體(L2)。類似地，在一些情況下，第二層706B具有多個組件群組，其中各第二邏輯區塊具有共用快取記憶體邏輯(SLC)及經拆分L2快取記憶體(L2)。快取記憶體架構704可包括在多個層之各層中的至少一個L2快取記憶體中具有3D互連邏輯的層間資料路由網路，其中第一層706A中的第一3DIL經由3D資料鏈路(3DDL) 734與第二層706B中的第二3DIL鏈接。在一些情況下，如圖7所示，所有的L2快取記憶體可使用3DIL及/或設置在多個層之間（包括在第一層706A及第二層706B之間）的3D資料鏈路(3DDL) 734鏈接在一起。再者，在一些情況下，第一層706A可具有設置在一起的多個第一邏輯區塊，其中第一邏輯區塊的一或多者具有第一3DIL以及第一核心處理邏輯（核心）及第一L2快取記憶體(L2)。再者，在一些情況下，第二層706B可具有設置在一起的多個第二邏輯區塊，其中第二邏輯區塊的一或多者具有第二3DIL以及共用快取記憶體(SLC)及第二L2快取記憶體(L2)。
在參照圖7的一些實施方案中，3D結構組織可提供分開的核心/快取記憶體層，其中於上文中描述的棋盤式方法展示SLC/HNF埠可分配在多個層中。再者，在一些情況下，可使用提供與上文描述的網路注入點類似的網路注入點，但具有專用核心實施層及SLC/HNF SRAM實施層的另一3D結構組織。圖7顯示此類型的系統設計可如何用以在藉由僅在一個層上具有核心以簡化電力分布而具有專用於處理核心邏輯及SLC/HNF實施方案之層的同時利用交錯的2D NoC。在此情況下，SLC/HNF邏輯區塊可使用核心層上的NoC交替地與SRAM層上的NoC介接。進一步地，在此情況下，核心層上的一些區域可能需要使用為一半的SLC/HNF切片的介面及佇列。參考可擴展3D結構設計，可延伸本文描述的各種態樣以使一些設計可擴展至使用面對背接合技術的任意數目的層。此實施例在將二個晶粒用於設計及產生的同時，將快取記憶體容量及互連頻寬利益延伸至任意數目的層。為避免計算重疊的熱限制，系統可具有與快取記憶體層分開的計算層。
如圖8所示，多維快取記憶體架構804可提供具有以堆疊組態垂直地配置之包括第一層806A及第二層806B之多個層的多層化邏輯結構。在一些實施方案中，第一層806A具有多個組件群組，其中各第一邏輯區塊具有處理核心邏輯（核心）、共用快取記憶體邏輯(SLC)、及經拆分L2快取記憶體(L2)。類似地，在一些情況下，第二層806B具有多個組件群組，其中各第二邏輯區塊具有處理核心邏輯（核心）、共用快取記憶體邏輯(SLC)、及經拆分L2快取記憶體(L2)。在一些情況下，如參照圖7於上文所描述的，所有的L2快取記憶體可使用3DIL及/或設置在多個層之間（包括在第一層806A及第二層806B之間）的3D資料鏈路(3DDL)鏈接在一起。額外地，多維快取記憶體架構804可具有提供在設置在多個層之各層中的節點之間的輔助網路資料路徑（諸如，例如，3D網路資料路徑鏈路(3D-NDPL) 844）（包括在設置在第一層中的第一節點與設置在第二層中的第二節點之間的輔助網路資料路徑）的輔助資料網路。進一步地，在一些情況下，如圖8所示，邏輯區塊之間的介接可使用3D-NDPL 844處理。
在各種實施方案中，叢集快取記憶體亦可使用為基礎請求元件，其中橫跨多個層分布的快取元件可指叢集快取記憶體或動態共用單元(DSU)。L2快取記憶體可仍以2D實施，而叢集邏輯可以3D實施。此可允許將2D核心設計使用在利用3D的系統中以用於叢集快取記憶體容量及互連頻寬。
再者，在各種實施方案中，基於雜湊的位址空間交錯可在3D結構組織中使用。例如，位址空間交錯可使用簡單的雜湊函數而非直接位址交錯而在層之間發生，且此對於可擴展實施例可係更有用的，其中此一技術可提供雙倍利益。首先，此雜湊可減輕由軟體對位址空間的任何不平均使用的影響，其中資料對準可導致一些層中的快取記憶體及NoC資源使用得比其他層更多，其可導致次佳的資源分配。使用雜湊函數以分布位址空間的另一利益係此可在可擴展設計中促成非2之冪次個快取記憶體層。此可對其中系統快取記憶體容量係針對最佳效能調整至特定記憶體佔用區域而沒有捨入至次一2的冪次個層之負擔的一些架構有用。
應企圖使申請專利範圍的標的不限於本文提供的各種實施方案及/或圖解，但應包括該等實施方案之包括實施方案的部分的任何經修改形式及根據申請專利範圍之參照不同實施方案之各種要件的組合。亦應理解在任何此類實施方案的開發中，如在任何工程或設計專案中，應作出許多實施方案特定決定以達成開發者的特定目的，諸如例如，符合可隨實施方案而變動的系統相關限制及/或商業相關的限制。此外，應理解此類開發努力可能係複雜且耗時的，但對受益於本揭露之所屬技術領域中具有通常知識者而言仍然係設計、生產、及製造的例行公事。
已對各種實施方案提供詳細的參考，其實例繪示在隨附圖式及圖式中。在以下的實施方式中，提出許多具體細節以提供對本文提供之揭露的徹底瞭解。然而，本文所提供的揭露可在無此等特定細節的情況下實行。在各種實施方案中，未曾詳細地描述已為人所熟知的方法、程序、組件、電路、及網路，以免不必要地混淆實施例的細節。
亦應瞭解，雖然各種用語「第一(first)」、「第二(second)」等可使用在本文中以描述各種元件，此等元件不應受限於此等用語。此等用語僅用以在元件之間區分。例如，第一元件可稱為第二元件，且類似地，第二元件可稱為第一元件。此外，第一元件及第二元件二者分別均係元件，但其等不被視為係相同元件。
使用在本文提供之本揭露之描述中的用語係用於描述具體實施方案的目的，且未企圖限制本文提供的本揭露。當使用在本文提供之本揭露的描述及隨附的申請專利範圍中時，除非上下文另行明確地指示，單數形式「一(a/an)」及「該(the)」也企圖包括複數形式。如本文中所使用的，用語「及/或(and/or)」係指且涵蓋關聯列舉項目的一或多者的任一者及所有可能組合。當使用在本說明書中時，用語「包括(include)」、「包括(including)」、及/或「包含(comprising)」指定所敘述之特徵、整數、步驟、操作、元件、及/或組件的存在，但不排除存在或加入一或多個其他特徵、整數、步驟、操作、元件、組件、及/或其群組。
如本文中所使用的，用語「若(if)」可取決於上文下而解讀成意指「當…時(when)」或「在…時(upon)」或「回應於判定…而…(in response to determining)」或「回應於偵測到…而…(in response to detecting)」。類似地，片語「若判定(if it is determine)」或「若偵測到『所敘述的情況或事件』(if [a stated condition or event] is detected)」可取決於上下文而解讀成意指「在判定…時(upon determining)」、或「回應於判定…而…(in response to determining)」或「在偵測到『所敘述的情況或事件』時(upon detecting [the stated condition or event])」或「回應於偵測到『所敘述的情況或事件』而…(in response to detecting [the stated condition or event])」。用語「上(up)」及「下(down)」；「上方(upper)」及「下方(lower)」；「向上(upwardly)」及「向下(downwardly)」；「之下(below)」及「之上(above)」；及指示在給定點或元件之上或之下的相對位置的各種其他類似用語可關聯於本文描述之各種技術的各種實施方案使用。
雖然上文係關於本文描述之各種技術的實施方案，但其他及進一步實施方案可根據本揭露擬定，其可藉由下文的申請專利範圍判定。雖然申請標的已經以結構特徵及/或方法動作的特定語言描述，應瞭解定義在隨附的申請專利範圍中的申請標的不必然受限於上文描述的特定特徵或動作。更確切地說，將上文描述的特定特徵及/或動作揭示成實施申請專利範圍的實例形式。
100A:圖 100B:圖 100C:圖 104A:多維快取記憶體架構；快取記憶體架構 104B:多維快取記憶體架構；快取記憶體架構 104C:多維快取記憶體架構；快取記憶體架構 106A:第一層；層 106B:第二層；層；快取記憶體層 106C:第三層；層；快取記憶體層 106D:第四層；層；快取記憶體層 106E:第五層；層；快取記憶體層 108:核心處理邏輯（核心）；核心處理邏輯；處理邏輯；處理核心邏輯 112:L1快取記憶體 112A:第一L1快取記憶體(L1I)；L1快取記憶體 112B:第二L1快取記憶體(L1D)；L1快取記憶體 114A:第一快取記憶體；快取記憶體；部分；第一部分；第一L2快取記憶體 114B:第二快取記憶體；快取記憶體；部分；第二部分；第二L2快取記憶體 114C:部分 114D:部分 118:共用快取記憶體 118A:共用快取記憶體；第一共用快取記憶體 118B:共用快取記憶體；第二共用快取記憶體 118C:共用快取記憶體 118D:共用快取記憶體 124A:第一互連邏輯；第一3D互連邏輯(3DIL)；第一互連邏輯(3DIL)；3D互連邏輯(3DIL)；第一3DIL；3DIL 124B:第二互連邏輯；第二3D互連邏輯(3DIL)；第二互連邏輯(3DIL)；第二3DIL；3DIL 124C:第三3DIL；3DIL 124D:3DIL 124E:3DIL 128A:第一3D路由器邏輯(3DRL)；路由器；路由器(3DRL)；第一3D路由器邏輯 128B:第二3D路由器邏輯(3DRL)；路由器；路由器(3DRL)；第二3D路由器邏輯 134:3D資料鏈路；層間資料鏈路 134A:第一層間資料鏈路(3DDL)；多層資料鏈路(3DDL)；層間資料鏈路(3DDL)；網路鏈路(3DDL) 134B:層間資料鏈路(3DDL)；第二層間資料鏈路(3DDL)；多層資料鏈路(3DDL)；網路鏈路(3DDL) 134C:層間資料鏈路(3DDL) 134D:層間資料鏈路(3DDL) 138:3D路由器鏈路(3DRL) 200:圖 204:快取記憶體架構 300:圖 304:快取記憶體架構 400A:圖 400B:圖 404A:多維快取記憶體架構；快取記憶體架構 404B:多維快取記憶體架構；快取記憶體架構 500:圖 504:多維快取記憶體架構；快取記憶體架構 506A:第一層；層 506B:第二層；層 534:3D互連邏輯(3DIL)；3D資料鏈路(3DDL) 600:圖 604:多維快取記憶體架構 606A:第一層 606B:第二層 644:3D網路資料路徑鏈路(3D-NDPL) 700:圖 704:多維快取記憶體架構；快取記憶體架構 706A:第一層 706B:第二層 734:3D資料鏈路(3DDL) 800:圖 804:多維快取記憶體架構 806A:第一層 806B:第二層 844:3D網路資料路徑鏈路(3D-NDPL)；3D-NDPL
本文參照附圖描述各種記憶體佈局方案及技術的實施方案。然而，應瞭解附圖僅繪示本文描述的各種實施方案，且未意圖限制本文描述之各種技術的實施例。 〔圖1A〕至〔圖1C〕繪示根據本文描述之實施方案之具有多級快取記憶體電路系統之多維快取記憶體架構的各種圖。 〔圖2〕至〔圖3〕繪示根據本文描述之實施方案之具有多級快取記憶體電路系統之多維快取記憶體架構的圖。 〔圖4A〕至〔圖4B〕繪示根據本文描述之實施方案之具有多級快取記憶體電路系統之多維快取記憶體架構的各種圖。 〔圖5〕至〔圖8〕繪示根據本文描述之實施方案之具有多級快取記憶體電路系統之多維快取記憶體架構的圖。
100A:圖
104A:多維快取記憶體架構；快取記憶體架構
106A:第一層；層
106B:第二層；層；快取記憶體層
108:核心處理邏輯(核心)；核心處理邏輯；處理邏輯；處理核心邏輯
112:L1快取記憶體
114A:第一快取記憶體；快取記憶體；部分；第一部分；第一L2快取記憶體
114B:第二快取記憶體；快取記憶體；部分；第二部分；第二L2快取記憶體
118:共用快取記憶體
124A:第一互連邏輯；第一3D互連邏輯(3DIL)；第一互連邏輯(3DIL)；3D互連 邏輯(3DIL)；第一3DIL；3DIL
124B:第二互連邏輯；第二3D互連邏輯(3DIL)；第二互連邏輯(3DIL)；第二3DIL；3DIL
134:3D資料鏈路；層間資料鏈路

Claims (20)

  1. 一種裝置，其包含： 一多層化邏輯結構，其具有以一堆疊組態垂直地配置之包括一第一層及一第二層的多個層； 具有第一互連邏輯的一第一快取記憶體，其經設置在該第一層中；及 具有第二互連邏輯的一第二快取記憶體，其經設置在該第二層中，其中該第二層中的該第二互連邏輯鏈接至該第一層中的該第一互連邏輯。
  2. 如請求項1之裝置，其進一步包含： 一層間資料鏈路，其將該多個層垂直地耦接在一起，包括將該第一快取記憶體垂直地耦接至該第二快取記憶體， 其中經由在該多層化邏輯結構中將該第一快取記憶體垂直地耦接至該第二快取記憶體的該層間資料鏈路將該第一互連邏輯鏈接至該第二互連邏輯。
  3. 如請求項1之裝置，其進一步包含： 核心處理邏輯，其經設置在該多個層中之至少一者中， 其中該核心處理邏輯經組態以與包括該第一快取記憶體及該第二快取記憶體的多個快取記憶體介接。
  4. 如請求項3之裝置，其進一步包含： 共用快取記憶體，其經設置在該多個層中之至少一者中， 其中該共用快取記憶體經組態以與該核心處理邏輯及包括該第一快取記憶體及該第二快取記憶體的該多個快取記憶體介接。
  5. 如請求項1之裝置，其中該第一快取記憶體及該第二快取記憶體係指L2快取記憶體的經拆分部分，使得該第一快取記憶體係指該L2快取記憶體的一第一部分且該第二快取記憶體係指該L2快取記憶體的一第二部分。
  6. 如請求項1之裝置，其進一步包含： 一多維資料路由網路，其具有設置在該多個層之各層中的多個路由器，該多個路由器包括設置在該第一層中的一第一路由器及設置在該第二層中之鏈接至該第一路由器的一第二路由器， 其中該多維資料路由網路包括將該多個路由器垂直地耦接在一起的網路資料路徑，包括將該第一路由器垂直地耦接至該第二路由器。
  7. 一種裝置，其包含： 一多層化邏輯結構，其具有以一堆疊組態垂直地配置的多個層； 核心處理邏輯，其經設置在該多個層的一第一層中；及 一快取記憶體，其經拆分成使用一層間資料鏈路鏈接在一起的多個部分，其中一第一快取記憶體部分經設置在該多個層的一第二層中，且其中一第二快取記憶體部分經設置在該多個層的一第三層中。
  8. 如請求項7之裝置，其中： 該第一快取記憶體部分具有鏈接至該第一層中的該處理核心邏輯的第一互連邏輯，且 該第二快取記憶體部分具有鏈接至該第二層中的該第一互連邏輯的第二互連邏輯。
  9. 如請求項8之裝置，其中： 該層間資料鏈路將該多個層垂直地耦接在一起，包括將該第一快取記憶體部分垂直地耦接至該第二快取記憶體部分，且 經由在該多層化邏輯結構中將該第一快取記憶體部分垂直地耦接至該第二快取記憶體部分的該層間資料鏈路將該第一互連邏輯鏈接至該第二互連邏輯。
  10. 如請求項7之裝置，其中： 該核心處理邏輯經組態以經由該層間資料鏈路與包括該第一快取記憶體部分及該第二快取記憶體部分的該多個快取記憶體部分介接。
  11. 如請求項7之裝置，其進一步包含： 一或多個共用快取記憶體，其經設置在該多個層的一或多者中， 其中該一或多個共用快取記憶體經組態以與該核心處理邏輯及該快取記憶體之包括該第一快取記憶體部分及該第二快取記憶體部分的各部分介接。
  12. 如請求項7之裝置，其進一步包含： 一多維資料路由網路，其具有設置在該多個層之各層中的多個路由器，該多個路由器包括設置在該第一層中的一第一路由器及設置在該第二層中之鏈接至該第一路由器的一第二路由器， 其中該多維資料路由網路包括將該多個路由器垂直地耦接在一起的網路資料路徑，包括將該第一路由器垂直地耦接至該第二路由器。
  13. 如請求項7之裝置，其進一步包含： 一或多個額外快取記憶體部分，其經設置在該多個層的一或多個額外層中；及 一多維資料路由網路，其具有設置在該多個層之各層中的多個路由器， 其中該一或多個額外快取記憶體部分經由該層間資料鏈路鏈接至該第一快取記憶體部分及該第二快取記憶體部分，且 其中該多維資料路由網路包括將該多個路由器垂直地耦接在一起的網路資料路徑。
  14. 一種裝置，其包含： 一多層化邏輯結構，其具有以一堆疊組態垂直地配置之包括一第一層及一第二層的多個層；及 一層間資料路由網路，其具有在該多個層之各層中的互連邏輯，該互連邏輯包括在該第一層中的第一互連邏輯及在該第二層中之鏈接至該第一互連邏輯的第二互連邏輯， 其中該層間資料路由網路包括將各層中的該互連邏輯垂直地耦接在一起的層間資料路徑，包括將該第一層中的該第一互連邏輯耦接至該第二層中的該第二互連邏輯。
  15. 如請求項14之裝置，其進一步包含： 一輔助資料網路，其在設置在該多個層之各層中的節點之間提供輔助網路資料路徑，該等輔助網路資料路徑包括在設置在該第一層中的第一節點與設置在該第二層中的第二節點之間的輔助網路資料路徑。
  16. 如請求項14之裝置，其中： 在該多個層之各層中的該互連邏輯係指具有將該多個層垂直地耦接在一起的層間資料鏈路的L2快取記憶體，包括將該第一層中的該第一互連邏輯耦接至該第二層中的該第二互連邏輯，且 經由將該多層化邏輯結構之該第一層中的一第一L2快取記憶體垂直地耦接至該第二層中的一第二L2快取記憶體的該等層間資料鏈路將該第一互連邏輯鏈接至該第二互連邏輯。
  17. 如請求項14之裝置，其進一步包含： 一第一邏輯區塊，其經設置在該第一層中，其中該第一邏輯區塊包括該第一互連邏輯以及第一核心處理邏輯、第一L2快取記憶體、及第一共用快取記憶體；及 一第二邏輯區塊，其經設置在該第二層中，其中該第二邏輯區塊包括該第二互連邏輯以及第二核心處理邏輯、第二L2快取記憶體、及第二共用快取記憶體。
  18. 如請求項17之裝置，其中： 該第一邏輯區塊係指在該第一層中設置在一起的多個第一邏輯區塊，其中各第一邏輯區塊包括該第一互連邏輯以及該第一核心處理邏輯、該第一L2快取記憶體、及該第一共用快取記憶體；且 該第二邏輯區塊係指在該第二層中設置在一起的多個第二邏輯區塊，其中各第二邏輯區塊包括該第二互連邏輯以及該第二核心處理邏輯、該第二L2快取記憶體、及該第二共用快取記憶體。
  19. 如請求項14之裝置，其進一步包含： 一第一邏輯區塊，其經設置在該第一層中，其中該第一邏輯區塊包括該第一互連邏輯以及核心處理邏輯及第一L2快取記憶體；及 一第二邏輯區塊，其經設置在該第二層中，其中該第二邏輯區塊包括該第二互連邏輯以及共用快取記憶體及第二L2快取記憶體。
  20. 如請求項19之裝置，其中： 該第一邏輯區塊係指在該第一層中設置在一起的多個第一邏輯區塊，其中各第一邏輯區塊包括該第一互連邏輯以及該核心處理邏輯及該第一L2快取記憶體；且 該第二邏輯區塊係指在該第二層中設置在一起的多個第二邏輯區塊，其中各第二邏輯區塊包括該第二互連邏輯以及該共用快取記憶體及該第二L2快取記憶體。
TW111127124A 2021-07-29 2022-07-20 多維快取記憶體架構 TW202305599A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/388,927 US11899583B2 (en) 2021-07-29 2021-07-29 Multi-dimensional cache architecture
US17/388,927 2021-07-29

Publications (1)

Publication Number Publication Date
TW202305599A true TW202305599A (zh) 2023-02-01

Family

ID=85039232

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111127124A TW202305599A (zh) 2021-07-29 2022-07-20 多維快取記憶體架構

Country Status (2)

Country Link
US (1) US11899583B2 (zh)
TW (1) TW202305599A (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9443561B1 (en) * 2015-05-21 2016-09-13 Advanced Micro Devices, Inc. Ring networks for intra- and inter-memory I/O including 3D-stacked memories
KR20190013049A (ko) * 2017-07-31 2019-02-11 고려대학교 산학협력단 모놀리식 3차원 집적 기술 기반 캐시 메모리 및 이의 제어 방법

Also Published As

Publication number Publication date
US11899583B2 (en) 2024-02-13
US20230029860A1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
JP5331427B2 (ja) 半導体装置
US7587545B2 (en) Shared memory device
US8549092B2 (en) Memory network methods, apparatus, and systems
Rahmani et al. Research and practices on 3D networks-on-chip architectures
CN102882783B (zh) 基于tsv的三维集成电路的片上网络的拓扑架构、路由方法
US8916910B2 (en) Reconfigurable RF/digital hybrid 3D interconnect
US7243181B2 (en) Signal bus arrangement
US9400762B2 (en) Integrated device with memory systems accessible via basic and bypass routes
CN113674772B (zh) 三维集成芯片及其构建方法、数据处理方法、电子设备
TW202305599A (zh) 多維快取記憶體架構
Cavalcante et al. MemPool-3D: Boosting performance and efficiency of shared-L1 memory many-core clusters with 3D integration
Tyagi et al. Exploring 3d network-on-chip architectures and challenges
Rezaei et al. A three-dimensional networks-on-chip architecture with dynamic buffer sharing
Rezaei et al. Fault-tolerant 3-D network-on-chip design using dynamic link sharing
CN108595748B (zh) 一种反熔丝fpga可编程逻辑阵列的三维拓扑结构
Daneshtalab et al. CMIT—A novel cluster-based topology for 3D stacked architectures
CN105930300A (zh) 基于三维片内缓存的处理器结构及其制备方法
Da Silva et al. Reflect3d: An Adaptive and Fault-Tolerant Routing Algorithm for Vertically-Partially-Connected 3D-NoC
TWI819572B (zh) 三維積體電路
Daneshtalab et al. Cluster-based topologies for 3D stacked architectures
Zou et al. Designing vertical bandwidth reconfigurable 3D NoCs for many core systems
KR102246889B1 (ko) 3차원 네트워크 온 칩과 그의 tsv 배치방법
Eachempati et al. Three-dimensional On-chip Interconnect Architectures
Rahman et al. Reconfiguration and yield of a hierarchical torus network
CN116028424A (zh) 众核芯片及应用该众核芯片的路由方法