TW202209323A - 藉由單體式封裝光學i/o實施的遠端記憶體架構 - Google Patents

藉由單體式封裝光學i/o實施的遠端記憶體架構 Download PDF

Info

Publication number
TW202209323A
TW202209323A TW110105081A TW110105081A TW202209323A TW 202209323 A TW202209323 A TW 202209323A TW 110105081 A TW110105081 A TW 110105081A TW 110105081 A TW110105081 A TW 110105081A TW 202209323 A TW202209323 A TW 202209323A
Authority
TW
Taiwan
Prior art keywords
optical
chip
data signals
electro
electrical
Prior art date
Application number
TW110105081A
Other languages
English (en)
Inventor
羅伊 愛德華 米德
夫拉地米爾 斯托亞諾維奇
晨 孫
馬克 韋德
雨果 薩利赫
查爾斯 威爾斯帕德
Original Assignee
美商爾雅實驗室公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商爾雅實驗室公司 filed Critical 美商爾雅實驗室公司
Publication of TW202209323A publication Critical patent/TW202209323A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1051—Data output circuits, e.g. read-out amplifiers, data output buffers, data output registers, data output level conversion circuits
    • G11C7/1054—Optical output buffers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/80—Optical aspects relating to the use of optical transmission for specific applications, not provided for in groups H04B10/03 - H04B10/70, e.g. optical power feeding or optical transmission through water
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24—Coupling light guides
    • G02B6/42—Coupling light guides with opto-electronic elements
    • G02B6/4201—Packages, e.g. shape, construction, internal or external details
    • G02B6/4249—Packages, e.g. shape, construction, internal or external details comprising arrays of active devices and fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24—Coupling light guides
    • G02B6/42—Coupling light guides with opto-electronic elements
    • G02B6/4201—Packages, e.g. shape, construction, internal or external details
    • G02B6/4274—Electrical aspects
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/21—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements
    • G11C11/34—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices
    • G11C11/40—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors
    • G11C11/401—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors forming cells needing refreshing or charge regeneration, i.e. dynamic cells
    • G11C11/4063—Auxiliary circuits, e.g. for addressing, decoding, driving, writing, sensing or timing
    • G11C11/407—Auxiliary circuits, e.g. for addressing, decoding, driving, writing, sensing or timing for memory cells of the field-effect type
    • G11C11/409—Read-write [R-W] circuits 
    • G11C11/4096—Input/output [I/O] data management or control circuits, e.g. reading or writing circuits, I/O drivers or bit-line switches 
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/21—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements
    • G11C11/42—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using opto-electronic devices, i.e. light-emitting and photoelectric devices electrically- or optically- coupled or feedback-coupled
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C5/00—Details of stores covered by group G11C11/00
    • G11C5/02—Disposition of storage elements, e.g. in the form of a matrix array
    • G11C5/04—Supports for storage elements, e.g. memory modules; Mounting or fixing of storage elements on such supports
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C5/00—Details of stores covered by group G11C11/00
    • G11C5/06—Arrangements for interconnecting storage elements electrically, e.g. by wiring
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C5/00—Details of stores covered by group G11C11/00
    • G11C5/14—Power supply arrangements, e.g. power down, chip selection or deselection, layout of wirings or power grids, or multiple supply levels
    • G11C5/141—Battery and back-up supplies
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1078—Data input circuits, e.g. write amplifiers, data input buffers, data input registers, data input level conversion circuits
    • G11C7/1081—Optical input buffers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/501—Structural aspects
    • H04B10/506—Multiwavelength transmitters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/516—Details of coding or modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/80—Optical aspects relating to the use of optical transmission for specific applications, not provided for in groups H04B10/03 - H04B10/70, e.g. optical power feeding or optical transmission through water
    • H04B10/801—Optical aspects relating to the use of optical transmission for specific applications, not provided for in groups H04B10/03 - H04B10/70, e.g. optical power feeding or optical transmission through water using optical interconnects, e.g. light coupled isolators, circuit board interconnections
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

遠端記憶體系統包括多晶片封裝之基板、連接至該基板之積體電路晶片、以及連接至該基板之電光晶片。積體電路晶片包括高頻寬記憶體介面。電光晶片之電介面電連接至高頻寬記憶體介面。電光晶片之光子介面配置成與光鏈結光連接。電光晶片包括至少一光學巨集，其將透過電介面從高頻寬介面接收之輸出資料訊號轉換成輸出光資料訊號。光學巨集透過光子介面將輸出光資料訊號傳送至光鏈結。光學巨集亦將透過光子介面接收之輸入光資料訊號轉換成輸入電資料訊號。光學巨集透過電介面將輸入電資料訊號傳送至高頻寬記憶體介面。

Description

藉由單體式封裝光學I/O實施的遠端記憶體架構
本發明關於遠端記憶體架構，且尤其關於藉由單體式封裝光學I/O實施的遠端記憶體架構。
機器學習、視覺運算及圖形分析應用程式遽增所帶來之新工作負仔已推動運算系統朝向硬體專業化。近年來已設計許多加速器系統單晶片(accelerator systems on chip)，從圖形處理單元(GPU)的發展到甚至更明確專用系統單晶片(Systems-on-chip，SoC)。此些專用晶片對於目標應用實現高傳輸量 (throughput)運算，並對記憶體要求高頻寬、低延遲存取 (latency access)。同一封裝中之高頻寬記憶體(HBM)整合已滿足此需求，但處於有限之記憶體堆疊容量。現今，最先進的SoC具有高達四個HBM介面，其用盡晶片濱線(shoreline)及封裝佔面積(real estate)以容納額外HBM堆疊及介面，總封裝內記憶體被限制至不到100 十億位元組(GB)。隨著運算法及應用程式迅速朝更大數據足跡(data footprints)擴充，此些節點之性能擴充受到存取更大記憶體池之需求的嚴重影響。現今，連接將通過週邊元件高速互連(Peripheral Component Interconnect Express，PCIe)匯流排或切換到主機中央處理單元(CPU)之本地動態隨機存取記憶體(DRAM)。需要一項新技術，以使SoC能夠以封裝內互連之頻寬密度、延遲及能源成本來存取封裝外記憶體池。將於本文中提出本發明。
在示例性實施例中，揭示遠端記憶體系統。遠端記憶體系統包括多晶片封裝之基板。遠端記憶體系統亦包括連接至基板之積體電路晶片。積體電路晶片包括高頻寬記憶體介面。遠端記憶體系統亦包括連接至基板之電光晶片。電光晶片具有電連接至積體電路晶片之高頻寬記憶體介面之電介面。該電光晶片包括配置成與光鏈路光連接之光子介面。電光晶片包括至少一光學巨集。該至少一光學巨集中之每一者配置成將透過電介面從高頻寬記憶體介面接收之輸出電資料訊號轉換成輸出光資料訊號。該至少一光學巨集中之每一者配置成透過光子介面將輸出光資料訊號傳送至光鏈結。該至少一光學巨集中之每一者配置成將透過光子介面從光鏈結接收的輸入光資料訊號轉換成輸入電資料訊號。該至少一光學巨集中之每一者配置成透過電介面將輸入電資料訊號傳送至高頻寬記憶體介面。
在示例性實施例中，揭示操作遠端記憶體系統的方法。該方法包括產生第一組電資料訊號，該第一組電資料訊號傳輸用於記憶體存取操作的指令。該方法亦包括基於第一組電資料訊號來產生光資料訊號。光資料訊號傳輸用於記憶體存取操作的指令。該方法亦包括經由光鏈結將光資料訊號傳送至遠端記憶體裝置。該方法亦包括在遠端記憶體裝置處從光資料訊號產生第二組電資料訊號，該第二組電資料訊號傳輸用於記憶體存取操作的指令。該方法亦包括使用第二組電資料訊號以在遠端記憶體裝置處執行記憶體存取操作。
在示例性實施例中，揭示配置遠端記憶體系統的方法。該方法包括使積體電路晶片電連接至第一多晶片封裝上之第一電光晶片。該方法亦包括將第一電光晶片光連接至光鏈結之第一端。該方法亦包括將第二電光晶片光連接至光鏈結之第二端。第二電光晶片電連接至與第一多晶片封裝實體分開之第二多晶片封裝上的記憶體裝置。
在示例性實施例中，揭示電腦記憶體系統。該電腦記憶體系統包括電光晶片，其包括電介面及光子介面。光子介面配置成與光鏈結光連接。電光晶片亦包括至少一光學巨集。該至少一光學巨集中之每一者配置成將透過電介面接收之輸出電資料訊號轉換成輸出光資料訊號。該至少一光學巨集中之每一者配置成透過光子介面將輸出光資料訊號傳送至光鏈結。該至少一光學巨集中之每一者配置成將透過光子介面從光鏈結接收之輸入光資料訊號轉換成輸入電資料訊號。該至少一光學巨集中之每一者配置成透過電介面傳送輸入電資料訊號。該電腦記憶體系統亦包括電扇出晶片，其電連接至電光晶片之電介面。該電腦記憶體系統亦包括電連接至電扇出晶片之至少一雙列直插式記憶體模組(DIMM)插槽。該至少一DIMM插槽中之每一者配置成接收對應動態隨機存取記憶體(DRAM) DIMM。電扇出晶片配置成引導電光晶片與對應於至少一雙列直插式記憶體模組插槽之每一DRAM DIMM之間的雙向電資料通信。
在示例性實施例中，揭示操作電腦記憶體系統的方法。該方法包括透過光鏈結接收第一組光資料訊號。第一組光資料訊號傳輸用於記憶體存取操作的指令。該方法亦包括基於第一組光資料訊號來產生第一組電資料訊號。第一組電資料訊號傳輸用於記憶體存取操作的指令。該方法亦包括將第一組電資料訊號傳送到連接至記憶體裝置之電扇出晶片。該方法亦包括操作電扇出晶片，以在記憶體裝置上根據第一組電資料訊號執行記憶體存取操作。記憶體存取操作的執行產生傳輸記憶體存取操作之結果的第二組電資料訊號。該方法亦包括從第二組電資料訊號產生第二組光資料訊號。第二組光資料訊號傳輸記憶體存取操作之結果。該方法亦包括透過光鏈結傳送第二組光資料訊號。
從結合附圖以示例方式說明本發明之以下詳細描述，本發明之其他態樣及優點將變得更加顯而易知。
在以下描述中，闡述許多具體細節以提供對本發明的理解。然而，對本領域技術人員而言顯而易見的是，可在沒有一些或所有此些具體細節下實行本發明。在其他實例中，不再詳細描述眾所周知之製程操作，以免不必要地模糊本發明。
本文揭示運算系統之實施例，其包括一或更多半導體晶片/晶粒，其以符合或超過半導體晶片/晶粒與記憶體裝置間封裝內電互連之現有要求的頻寬密度、延遲及能源成本，光資料通信地連接至外部封裝外記憶體池。在諸多實施例中，實施單體式封裝光學輸入及輸出(MIPO I/O)小晶片，以在一或更多半導體晶片/晶粒與外部封裝外記憶體池之間建立光資料通信。MIPO I/O小晶片可提供使資料通信從電域轉變/轉換成光域，反之亦然。以此方式，MIPO I/O小晶片提供使在一或更多半導體晶片/晶粒之電域內所產生的記憶體存取訊號轉變/轉換成對應的光訊號，以在光域內傳送。使用多個MIPO I/O小晶片以經由光鏈結傳送並接收光訊號亦提供使光域內之記憶體存取訊號傳送至外部封裝外記憶體池。又，MPIP I/O小晶片提供使光域內之記憶體存取訊號轉變/轉換回外部封裝外記憶體池之電域，從而能夠於外部封裝外記憶體池處執行由電域之記憶體存取訊號所傳輸的記憶體存取操作。MIPO I/O小晶片亦提供從外部封裝外記憶體池回到一或更多半導體晶片/晶粒之方向的資料通信， MIPO I/O小晶片在外部封裝外記憶體池處提供使資料通信訊號從電域轉變/轉換成光域，以及MIPO I/O小晶片在一或更多半導體晶片/晶粒處提供使資料通信訊號從光域轉變/轉換成電域。在一些實施例中，使用HBM堆疊來實施外部封裝外記憶體池。在一些實施例中，使用DRAM模組來實施外部封裝外記憶體池。使用MIPO I/O小晶片使一或更多半導體晶片/晶粒能夠以相同或更佳頻寬密度、延遲及能源成本比(相較於一起實施於同一封裝中之半導體晶片/晶粒及HBM堆疊及/或DRAM模組所能達到/可能的)存取更多HMB容量及/或DRAM模組容量。
在諸多實施例中，本文所指之MIPO I /O小晶片包括電裝置、光學裝置、電-光裝置及/或熱-光裝置，以及對應之電與光學電路。本文所指之MIPO I/O小晶片對應於配有光子之晶片/晶粒，一或更多光纖連接至該配有光子之晶片/晶粒，以提供光傳進及/或傳出半導體晶片/晶粒。光纖耦合至半導體晶片/晶粒稱為光纖至晶片耦合。在一些實施例中，本文所指之MIPO I/O小晶片包括整合光纖對準結構(例如除了別的以外之v槽及/或通道)，其配置成促進光纖附接至MIPO I/O小晶片。在MIPO I/O小晶片封裝於其中之一些半導體晶粒封裝實施例中，封裝內光學互連依賴於2.5D或2.1 D中介層式封裝技術。又，在MIPO I/O小晶片封裝於其中之一些半導體晶粒封裝實施例中，採用3D封裝方法(例如晶粒堆疊)或線接合方法。
如本文所用之術語「光」係指光資料通信系統可用之電磁波譜之一部分內的電磁輻射。如本文所用之術語「波長」係指電磁輻射的波長。在一些實施例中，電磁波譜之該部分包括波長在從約1100奈米延伸至約1565奈米範圍內的光(涵蓋電磁波譜之(包含)O波段至C波段)。然而，應當理解，本文所指之電磁波譜的該部分可包括波長小於1100奈米或大於1565奈米的光，只要光可用於光資料通信系統中以透過光之調製/解調而對數位資料進行編碼、傳送及解碼即可。在一些實施例中，光資料通信系統中所使用之光具有在電磁波譜之近紅外部分中的波長。
圖1示出根據一些實施例之示例性MIPO I/O實施的HBM擴充器系統100。在示例性HBM擴充器系統100中，SoC多晶片封裝(MCP)101容納MIPO I/O小晶片103A、103B、103C及103D。應當理解，四個MIPO I/O小晶片103A-103D係以示例方式提供。在諸多實施例中，SoC MCP 101容納少於四個MIPO I/O小晶片或多於四個MIPO I/O小晶片。在一些實施例中，每一MIPO I/O小晶片103A、103B、103C、103D為Ayar Labs公司所提供之TeraPHY MIPO I/O小晶片。MIPO I/O小晶片103A、103B、103C、103D分別附接至SoC MCP 101上SoC 105之HBM介面107A、107B、107C、107D。在一些實施例中，SoC MCP 101包括多個SoC 105，每一SoC 105具有連接至對應MIPO I/O小晶片之一或更多HBM介面。SoC 105之HBM介面107A、107B、107C、107D透過對應之MIPO I/O小晶片103A-103D對專屬HBM卡109傳送並接收封裝外資料。
SoC MCP 101及HBM卡109透過光域相互連接以雙向資料通信。在一些實施例中，使用光纖在光域中連接SoC MCP 101與HBM卡109以雙向資料通信。例如，在一些實施例中，光纖陣列115A、115B、115C用於將SoC MCP 101之MIPO I/O小晶片103A光連接至HBM卡109之光學扇出小晶片111。在一些實施例中，光波電路(例如，除了別的以外之實施於中介層基板內之平面光波電路(PLC)或光波導)用於在光域中連接SoC MCP 101與HBM卡109以雙向資料通信。應當理解，MIPO I/O小晶片103A-103D與光學扇出小晶片111中之每一者顯露相應的光學介面，且MIPO I/O小晶片103A-103D與光學扇出小晶片111中給定者之顯露的光學介面係相互光連接，以實現給定MIPO I/O小晶片103A-103D與光學扇出小晶片111之間的雙向資料通信。
以此方式，MIPO I/O小晶片103A-103D提供SoC MCP 101之光學介面。MIPO I/O小晶片103A-103D將透過對應HBM介面107A-107D在電域中接收到的數位資料轉換成光資料流(轉換成傳輸數位資料之調製光流)，並經由光纖陣列115A、115B、115C所提供之光連接將光資料流傳送至對應HBM卡109之光學扇出小晶片111。又，在反向資料通信方向上， MIPO I/O小晶片103A-103D透過光纖陣列115A、115B、115C從對應HBM卡109之光學扇出小晶片111接收光域中的數位資料(為調製光流)。MIPO I/O小晶片103A-103D透過對從對應HBM卡109之光學扇出小晶片111接收的調製光流進行解調，以將從HBM卡109接收到之光域中的數位資料轉換成電域。MIPO I/O小晶片103A-103D透過對應HBM介面107A-107B，將傳輸數位資料(從HBM卡109以光學形式接收)之電訊號引導至SoC 105。
在一些實施例中，HBM卡109為MCP，其包括光學扇出小晶片111及若干HBM堆疊113。在一些實施例中，光學扇出小晶片111為Ayar Labs公司之TeraPHY扇出小晶片。光學扇出小晶片111提供HBM卡109之光學介面。光學扇出小晶片111將以光學形式從SoC MCP 101接收之數位資料(例如，為調製光流)轉換成對應的電訊號。光學扇出小晶片111接著適當地將傳輸數位資料(以光學形式接收)之電訊號引導至一或更多HBM堆疊113。以此方式，光學扇出小晶片111作用為提供HBM卡109之光學介面，並透過電域將HBM卡109之光學介面扇出至該若干HBM堆疊113中之每一者。又，在反向資料通信方向上，光學扇出小晶片111將從HBM堆疊113獲得(讀取)之數位資料轉換成光資料流(轉換成傳輸所獲得/讀取數位資料之調製光流)，並將光資料流傳送至SoC MCP 101上對應之MIPO I/O小晶片103A-103D。
為了說明具有圖1之MIPO I/O實施之HBM擴充器系統100的優點，考慮一相反示例，該相反示例中未實施MIPO I/O實施之HBM擴充器系統100，且SoC MCP 101之每一HBM介面107A、107B、107C、107D與SoC MCP 101板上之相應24 GB HBM堆疊電性相接。在此相反示例中，SoC MCP 101具有96 GB之封裝內記憶體用量(memory footprint)。相比之下，作為示例，圖1之示例性MIPO I/O實施之HBM擴充器系統100的實施方式提供SoC MCP 101之四個HBM介面107A、107B、107C、107D中的每一者，以與四個HBM卡109中之對應者相接，其中每一HBM卡109具有八個HBM堆疊113，每一HBM堆疊113為24 GB，因而對SoC MCP 101提供768 GB之記憶體用量(4個HBM卡*每一HBM卡有8個HBM堆疊*每一HBM堆疊有24 GB)，每秒1.6 兆位元组(TB/s)之總記憶體頻寬。因此，在一些實施例中，MIPO I/O實施之HBM擴充器系統100將SoC MCP 101之記憶體用量從96 GB擴充至1.6 TB /s傳輸量(throughput)之768 GB高頻寬記憶體。應當理解，上述SoC MCP 101示例為許多可能之SoC MCP 101記憶體用量配置中的一者。在其他實施例中，SoC MCP 101上之HBM介面(例如107A-107D)的數量可大於或小於四個，且/或每一HBM卡109之HBM堆疊113的數量可大於或小於八個，且/或每一HBM堆疊113之儲存容量可大於或小於24 GB，以對SoC MCP 101提供小於或大於768 GB之記憶體用量。又，在諸多實施例中，SoC MCP 101之資料傳輸速率可小於或大於1.6 TB/s。然而，應該理解，圖1之MIPO I/O實施之HBM擴充器系統100的實施方式將SoC MCP 101之記憶體用量從SoC MCP 101之板上物理限制中釋出，並利用SoC MCP 101與HBM卡109間光學介面所提供之高資料通信頻寬及速度來滿足或超過SoC MCP 101板上直接HBM堆疊113實施方式所能達到之資料傳輸速率。
在諸多實施例中，可實施不同比例之HBM堆疊113與SoC MCP 101的不同比率。圖2A、2B、2C及2D示出不同比例之HBM堆疊113與SoC MCP 101的一些示例性實施方式。圖2A示出根據一些實施例之MIPO I/O實施的HBM擴充器系統200A。MIPO I/O實施之HBM擴充器系統200A包括SoC MCP 201A，其透過光纖陣列115A、115B、115C光連接至HBM卡205。SoC MCP 201A包括電連接至GPU 203之HBM介面107A的MIPO I/O小晶片103A。MIPO I/O小晶片103A與關於圖1所述的相同。MIPO I/O小晶片103A具有光學介面，其光連接至HBM卡205之光學扇出小晶片207的光學介面，以擴充SoC MCP 201A的記憶體。光學扇出小晶片207類似於關於圖1所述之光學扇出小晶片111，除了光學扇出小晶片207係配置成與HBM卡205板上之兩個HBM堆疊113電相接之外。SoC MCP 201A亦具有GPU 203之各個HBM介面107B、107C及107D，其連接至SoC MCP 201A板上之相應HBM堆疊113。應當理解，在其他實施例中，GPU 203基本上可被安裝在SoC MCP 201A上之任何類型的電腦晶片所取代。在圖2A之示例中，HBM卡205包括兩個HBM堆疊113，光學扇出小晶片207連接至HBM堆疊。
在一些實施例中，HBM卡205符合JEDEC(聯合電子裝置工程理事會)的HBM2e標準。在此些實施例中，HBM卡205包括兩個HBM堆疊113，其中每一HBM堆疊為具有4或6個晶粒之半堆疊，以適合現有之HBM2e標準。應當理解，在諸多實施例中，HBM卡205配置成基本上符合一或更多HBM產業標準中之任一者。又，在一些實施例中，GPU 203(或替代的電腦晶片)上之記憶體控制器被改成處理HBM卡205所提供之遠端HBM堆疊扇出的額外記憶體位址位元，因而對SoC MCP 201A進行記憶體容量擴充。
圖2B示出根據一些實施例之MIPO I/O實施的HBM擴充器系統200B。MIPO I/O實施之HBM擴充器系統200B包括SoC MCP 201B，其光連接至兩個HBM卡205A及205B，以擴充SoC MCP 201B之記憶體。SoC MCP 201B透過光纖陣列115A、115B、115C光連接至HBM卡205A。SoC MCP 201B透過光纖陣列115D、115E、115F光連接至HBM卡205B。SoC MCP 201B包括分別連接至GPU 203之兩個HBM介面107A及107B的兩個MIPO I/O小晶片103A及103B。MIPO I/O小晶片103A及103B與關於圖1所述的相同。MIPO I/O小晶片103A具有光學介面，其透過光纖陣列115A、115B、115C光連接至HBM卡205A之光學扇出小晶片207A的光學介面，該HBM卡205A包括兩個HBM堆疊113，以擴充SoC MCP 201B之記憶體。MIPO I/O小晶片103B具有光學介面，其透過光纖陣列115D、115E、115F光連接至包括兩個HBM堆疊113之HBM卡205B的光學扇出小晶片207B的光學介面，以擴充SoC MCP 201B之記憶體。每一光學扇出小晶片207A及207B類似於關於圖1所述的光學扇出小晶片111，除了每一光學扇出小晶片207A及207B係配置成分別與HBM卡205A及205B板上之兩個HBM堆疊113電相接之外。SoC MCP 201B亦具有GPU 203之各個HBM介面107C及107D，其連接至SoC MCP 201B板上之相應HBM堆疊113。應當理解，在其他實施例中，GPU 203基本上可用安裝在SoC MCP 201B上之任何類型的電腦晶片來代替。
在一些實施例中，每一HBM卡205A及205B符合HBM2e標準。在此些實施例中，每一HBM卡205A及205B包括兩個HBM堆疊113，其中每一HBM堆疊為具有4個或6個晶粒之半堆疊，以適合現有的HBM2e標準。應當理解，在諸多實施例中，每一HBM卡205A及205B配置成基本上符合一或更多HBM產業標準中之任一者。又，在一些實施例中，GPU 203(或替代的電腦晶片)上之記憶體控制器被改為處理兩個HBM卡205A及205B所提供之遠端HBM堆疊扇出的額外記憶體位址位元，因而對SoC MCP 201B進行記憶體容量擴充。
圖2C示出根據一些實施例之MIPO I/O實施的HBM擴充器系統200C。MIPO I/O實施之HBM擴充器系統200C包括SoC MCP 201C，其光連接至三個HBM卡205A、205B、205C，以擴充SoC MCP 201C之記憶體。SoC MCP 201C包括透過光纖陣列115A、115B、115C光連接至HBM卡205A之MIPO I/O小晶片103A。SoC MCP 201C亦包括透過光纖陣列115D、115E、115F光連接至HBM卡205B之MIPO I/O小晶片103B。MIPO I/O小晶片103A和103B以及HBM卡205和205B與關於圖2B所述的相同。在SoC MCP 201C中，MIPO I/O小晶片103A連接至GPU 203之HBM介面107A。又，MIPO I/O小晶片103B連接至GPU 203之HBM介面107B。MIPO I/O小晶片103A之光學介面光連接至HBM卡205A之光學扇出小晶片207A的光學介面。又，MIPO I/O小晶片103B之光學介面光連接至HBM卡205B之光學扇出小晶片207B的光學介面。HBM卡205A包括兩個HBM堆疊113，光學扇出小晶片207A連接至兩個HBM堆疊113。HBM卡205B包括兩個HBM堆疊113，光學扇出小晶片207B連接至兩個HBM堆疊113。
SoC MCP 201C亦包括電連接至GPU 203之HBM介面107C的MIPO I/O小晶片103C。MIPO I/O小晶片103C之光學介面透過光纖陣列115G、115H、115I光連接至包括兩個HBM堆疊113之HBM卡205C之光學扇出小晶片207C的光學介面，以擴充SoC MCP 201C之記憶體。MIPO I/O小晶片103A、103B及103C與關於圖1所述的相同。每一光學扇出小晶片207A、207B及207C類似於關於圖1所述之光學扇出小晶片111，除了每一光學扇出小晶片207A、207B及207C係配置成分別與HBM卡205A、205B及205C板上之兩個HBM堆疊113電相接之外。SoC MCP 201C亦具有GPU 203之HBM介面107D，其連接至SoC MCP 201C板上之HBM堆疊113。應當理解，在其他實施例中，GPU 203基本上可用安裝在SoC MCP 201C上之任何類型的電腦晶片來代替。
在一些實施例中，每一HBM卡205A、205B及205C符合HBM2e標準。在此些實施例中，每一HBM卡205A、205B及205C包括兩個HBM堆疊113，其中每一HBM堆疊113為具有4或6個晶粒之半堆疊，以適合現有的HBM2e標準。應當理解，在諸多實施例中，每一HBM卡205A、205B及205C配置成基本上符合一或更多HBM產業標準中之任一者。又，在一些實施例中，GPU 203(或替代的電腦晶片)上之記憶體控制器被改為處理三個HBM卡205A、205B及205C所提供之遠端HBM堆疊扇出的額外記憶體位址位元，因而對SoC MCP 201C進行記憶體容量擴充。
圖2D示出根據一些實施例之MIPO I/O實施的HBM擴充器系統200D。MIPO I/O實施之HBM擴充器系統200D包括SoC MCP 201D，其光連接至四個HBM卡205A、205B、205C及205D，以擴充SoC MCP 201D之記憶體。SoC MCP 201D包括透過光纖陣列115A、115B、115C光連接至HBM卡205A之MIPO I/O小晶片103A。SoC MCP 201D亦包括透過光纖陣列115D、115E、115F光連接至HBM卡205B之MIPO I/O小晶片103B。SoC MCP 201D亦包括透過光纖陣列115G、115H、115I光連接至HBM卡205C之 MIPO I/O小晶片103C。MIPO I/O小晶片103A、103B及103C，以及HBM卡205A、205B及205C與關於圖2C所述的相同。在SoC MCP 201D中，MIPO I/O小晶片103A連接至GPU 203之HBM介面107A。又，MIPO I/O小晶片103B連接至GPU 203之HBM介面107B。又，MIPO I/O小晶片103C連接至GPU 203之HBM介面107C。MIPO I/O小晶片103A之光學介面光連接至HBM卡205A之光學扇出小晶片207A的光學介面。又，MIPO I/O小晶片103B之光學介面光連接至HBM卡205B之光學扇出小晶片207B的光學介面。又，MIPO I/O小晶片103C之光學介面光連接至HBM卡205C之光學扇出小晶片207C的光學介面。HBM卡205A包括兩個HBM堆疊113，光學扇出小晶片207A連接至兩個HBM堆疊113。HBM卡205B包括兩個HBM堆疊113，光學扇出小晶片207B連接至兩個HBM堆疊113。HBM卡205C包括兩個HBM堆疊113，光學扇出小晶片207C連接至兩個HBM堆疊113。
SoC MCP 201D亦包括電連接GPU 203之HBM介面107D的MIPO I/O小晶片103D。MIPO I/O小晶片103D之光學介面透過光纖陣列115J、115K、115L光連接至包括兩個HBM堆疊113之HBM卡205D之光學扇出小晶片207D的光學介面，以擴充SoC MCP 201D之記憶體。MIPO I/O小晶片103A、103B、103C及103D與關於圖1所述的相同。每一光學扇出小晶片207A、207B、207C及207D類似於關於圖1所述之光學扇出小晶片111，除了每一光學扇出小晶片207A、207B、207C及207D係配置成與HBM卡205A、205B、205C及205D板上之兩個HBM堆疊113電相接之外。應當理解，在其他實施例中，GPU 203基本上可用安裝在SoC MCP 201D上之任何類型的電腦晶片來代替。
在一些實施例中，每一HBM卡205A、205B、205C及205D符合HBM2e標準。在此些實施例中，每一HBM卡205A、205B、205C及205D包括兩個HBM堆疊113，其中每一HBM堆疊113為具有4或6個晶粒之半堆疊，以適合現有的HBM2e標準。應當理解，在諸多實施例中，每一HBM卡205A、205B、205C及205D配置成基本上符合一或更多HBM產業標準中之任一者。又，在一些實施例中，GPU 203(或替代的電腦晶片)上之記憶體控制器被改成處理四個HBM卡205A、205B、205C及205D所提供之遠端HBM堆疊扇出的額外記憶體位址位元，因而對SoC MCP 201D進行記憶體容量擴充。
圖3示出根據一些實施例之諸多電及電光半導體晶片技術的互連指標(metrics)相對於距離權衡，包括本文所討論之TeraPHY小晶片，例如TeraPHY MIPO I/O小晶片103A-103D及TeraPHY光學扇出小晶片111、207A、207B、207C及207D。更具體地，圖3示出實施波長分波多工(wavelength division multiplexing，WDM)技術之本文所討論的TeraPHY小晶片在能源效率與頻寬密度之乘積相對於最大互連跨度(或資料通信距離)之圖中的所在位置。能源效率與頻寬密度的乘積以十億位元/秒/毫米除以皮焦耳(picojoule)/位元[(Gbps/mm)/(pJ/位元)]之單位繪製。最大互連跨度以米(m)為單位繪製。圖3示出TeraPHY小晶片WDM技術能夠以封裝內互連之頻寬密度與能源成本在幾公里(km)的距離上提供通信。圖3亦示出諸多技術指標以及TeraPHY小晶片WDM技術與現有電及光技術之比較。以此方式，圖3示出TeraPHY小晶片WDM技術能力特別相關之示例。圖3亦示出 TeraPHY小晶片WDM技術以類似於封裝內電互連之功率、頻寬及延遲特性實現超過2 km之封裝外資料通信距離。TeraPHY小晶片整合數千萬個電晶體及數百個光學裝置，以在單個CMOS小晶片外提供多個Tbps之I/O頻寬。電晶體與光學裝置(例如微環共振器)之單體式整合可將TeraPHY小晶片無縫插入CMOS多晶片封裝生態系統(例如關於圖1及2A-2D之SoC MCP 101、201A-201D及HBM卡109、205、205A-205D所討論)，並同時實現對於主機SoC的靈活電介面。
圖4A示出根據一些實施例實施TeraPHY小晶片之系統300的示例性方塊級架構。在諸多示例性實施例中，系統300代表如關於圖1及2A-2D所述之SoC MCP 101、201A-201D及HBM卡109、205、205A-205D中之任一者或其一部分。系統300亦提供本文所指之任何類型MCP的一般表示，其實施成包括TeraPHY小晶片。系統300包括附接至基板303之TeraPHY小晶片301。TeraPHY小晶片301包括光連接至光鏈結302之光學介面，透過該光鏈結以與另一電光裝置(例如另一TeraPHY小晶片301)進行雙向光資料通信。例如，參考圖1， MIPO I/O小晶片103A及光學扇出小晶片111係實施為相應TeraPHY小晶片301，其透過光纖陣列115A、115B、115C所定義之光鏈結302相互光連接以進行雙向光資料通信。
系統300亦包括附接至基板303之一或更多半導體晶片305。在諸多實施例中，該一或更多半導體晶片305包括中央處理單元(CPU)、圖形處理單元(GPU)、視覺處理單元(VPU)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、記憶體晶片、HBM堆疊、SoC、微處理器、微控制器、數位訊號處理器(DSP)、加速器晶片及/或基本上任何其他類型之半導體晶片中的一或更多者。在諸多實施例中，基板303為有機封裝及/或中介層。在一些實施例中，基板303包括TeraPHY小晶片301與該一或更多半導體晶片305之間的電連接/路由307。在一些實施例中，電連接/路由307係形成在基板303內所形成之重佈層(RDL)結構內。在諸多實施例中，RDL結構基本上根據半導體封裝產業中可用之任何RDL結構拓樸(topology)及技術來實施。基板303內之一些電連接/路由307係配置並用以對TeraPHY小晶片301及對一或更多半導體晶片305中之每一者提供電功率及參考接地電位。又，基板303內之一些電連接/路由307係配置成並用以傳送電訊號，其提供TeraPHY小晶片301與一或更多半導體晶片305之間的雙向數位資料通信。在諸多實施例中，透過TeraPHY小晶片301與一或更多半導體晶片305間之電連接/路由307進行數位資料通信是根據數位資料互連標準來實施，例如除了基本上任何其他數位資料互連標準以外之週邊元件高速互連(PCIe)標準、運算快速連結(Compute Express Link，CXL)標準、Gen-Z標準、開放協調加速器處理器介面(Open Coherent Accelerator Processor Interface, OpenCAPI)及/或開放記憶體介面(Open Memory Interface, OMI)。
系統300亦包括光連接以向TeraPHY小晶片301供應具一或更多受控波長之連續波雷射光的光功率供應源309。在一些實施例中，光功率供應源309為Ayar Labs公司所提供之SuperNova多波長多埠光供應源。光功率供應源309供應連續波(CW)光，其對TeraPHY小晶片301光學供電。在一些實施例中，光功率供應源309配置為光子積體電路(PIC)，其產生多波長CW光、將多波長CW光多工傳送至公共光纖或光波導上，並將多工傳送之光功率拆分並放大至光功率供應源309之多個輸出埠，以傳送至TeraPHY小晶片301之多個對應CW光學輸入埠。
在諸多實施例中，光功率供應源309透過一或更多光波導311光連接至TeraPHY小晶片301。在諸多實施例中，該一或更多光波導311包括一或更多光纖及/或形成在基板303內之一或更多光波導結構。在一些實施例中，光功率供應源309附接至基板303。在一些實施例中，光功率供應源309透過形成在基板303內之電連接/路由接收電功率及電控制訊號。在一些實施例中，光功率供應源309係實施為與基板303實體分開的裝置。在此些實施例之一些者中，光功率供應源309透過一或更多光纖光連接至TeraPHY小晶片301。在此些實施例之一些者中，光功率供應源09透過光連接至基板303之一或更多光纖以及透過形成在基板303內之一或更多光波導光連接至TeraPHY小晶片301。
圖4B示出根據一些實施例之TeraPHY MIPO I/O小晶片301之並行介面側313與並行電介面凸塊間距圖案315(用於將TeraPHY MIPO I/O小晶片301電連接至基板303中之電連接/路由307)之示例性視圖。在諸多實施例中，TeraPHY MIPO I/O小晶片301利用低功率、短距離封裝內電互連技術電連接至晶片305。圖4B亦示出TeraPHY MIPO I/O小晶片301之並行介面側上部分凸塊的掃描電子顯微鏡(SEM)影像317。在一些實施例中，TeraPHY MIPO I/O小晶片301之並行介面側上的凸塊係根據約55微米之凸塊間距(凸塊中心至凸塊中心距離)來佈設。然而，應當理解，在諸多實施例中，TeraPHY MIPO I/O小晶片301之並行介面側上的凸塊係根據小於或大於約55微米之間距來佈設。
在一些實施例中，基板303包括電跡線之路由，其配置成帶有用於TeraPHY MIPO I/O小晶片301及晶片305之電功率、電接地、電資料輸入訊號及電資料輸出訊號。在一些實施例中，晶片305透過形成在基板303內之電連接/路由307電連接至TeraPHY MIPO I/O小晶片301。在一些實施例中，電連接/路由307在基板303內實施為一或更多RDL結構。圖4C示出根據一些實施例之圖1A之基板303的垂直剖面圖。在一些實施例中，RDL結構之電連接/路由307形成在基板303之多個層中。在一些實施例中，電連接/路由307包括形成以在電跡線(形成於基板303之不同層中)之間提供電連接的導電貫孔結構， 如圖4C中不同層之電連接/路由307之間的垂直線所示。應當理解，在諸多實施例中，電連接/路由307基本上係以所需之任何方式配置，以在晶片105與TeraPHY MIPO I/O小晶片301之間提供所需之電連接，並提供電功率至每一晶片105及TeraPHY MIPO I/O小晶片301，且提供參考接地電位連接至每一晶片105及TeraPHY MIPO I/O小晶片301。
圖5示出根據一些實施例之本文所提之TeraPHY小晶片的示例性組織圖。TeraPHY小晶片在圖5中以參考數字1200表示。然而，應理解，本文提供之TeraPHY小晶片1200的描述適用於本文所提之每一TeraPHY小晶片，例如TeraPHY小晶片103A、103B、103C、103D、111、207A、207B、207C、207D、401、503、503-1、503-2、503A、503B及503C。組織圖具有與光子介面1203分離(分開)之電介面1201。光子介面1203配置成與對應光纖陣列單元(FAU)1601光耦合(參見圖9)。在圖5之示例中，電介面1201在TeraPHY小晶片1200之左側上，而光子介面1203(用於FAU 1601)在TeraPHY小晶片1200之右側上。若干(1至N)個光學巨集(macros)1205-1至1205-N位於光子介面1203與電介面1201之間。電介面1201透過膠連邏輯1207連接至光學巨集1205-1至1205-N。TeraPHY小晶片1200之電介面1201適用於TeraPHY小晶片1200所連接到之積體電路晶片的邏輯。在圖5之示例中，從電子學到光學的資料流是從左到右。相反地，在圖5之示例中，從光學到電子學的資料流是從右到左。
電介面1201為配置成處理往返TeraPHY小晶片1200所連接之積體電路晶片之所有電輸入/輸出(I/O)的電路方塊，例如乙太交換機(Ethernet switch)晶片/晶粒或其他類型的積體電路晶片。光學巨集1205-1至1205-N負責光域與電域間之資料訊號的轉換。具體地，每一光學巨集1205-1至1205-N配置成將透過電介面1201接收之電資料訊號轉換成用於透過光子介面1203傳送之光資料訊號。又，每一光學巨集1205-1至1205-N配置成將透過光子介面1203接收之光資料訊號轉換成用於透過電介面1201傳送之電資料訊號。光子介面1203負責將光訊號耦合進出光學巨集1205-1至1205-N。膠連邏輯1207使電介面1201能夠靈活地(動態或靜態)對映至光學巨集1205-1至1205-N以及相關聯之光波長。以此方式，膠連邏輯1207(亦稱為交錯式電路)在光學巨集1205-1至1205-N與電介面1201之間提供電訊號之動態路由。膠連邏輯1207亦在物理層級(phy-level)提供時序重排(retiming)、再緩衝(rebuffering)及微片重組(flit reorganization)功能。又，在一些實施例中，膠連邏輯1207實施諸多糾錯及資料層級連結協議，以從TeraPHY小晶片1200所連接之積體電路晶片卸載一些處理。
圖6示出根據一些實施例之TeraPHY小晶片1200的示例性佈局。TeraPHY小晶片1200之光學及電構件的佈局係設計成將區域效率、能源效率、效能及實際考慮因素(例如避免光波導交叉)最佳化。在一些實施例中，電介面1201係沿著一晶片邊緣(圖6中之左側邊緣)佈設，而用以與FAU 1601光耦合之光子介面1203則沿著相對的晶片邊緣(圖6中之右側邊緣)佈設。在一些實施例中，光子介面1203包括用於FAU 1601中之每一光纖的光柵耦合器。在諸多實施例中， 光子介面1203包括垂直光柵耦合器、邊緣光耦合器或基本上任何其他類型之光耦合裝置、或其組合，以使FAU 1601能與光學巨集1205-1至1205-N光耦合。在一些實施例中，光子介面1203配置成與FAU 1601內之24條光纖相接。在一些實施例中，光子介面1203配置成與FAU 1601內之16條光纖相接。膠連邏輯1207在電介面1201與光學巨集1205-1至1205-N之間輸送(route)資料。膠連邏輯1207包括交錯式開關及所需之其他電路，以將電介面1201連接與光學巨集1205-1至1205-N相接。在一些實施例中，光學巨集1205-1至1205-N之光發送器(Tx)及光接收器(Rx)組合成對，其每一Tx/Rx對形成光收發器。膠連邏輯1207使電通道 (lanes/channels)動態對映至光通道(lanes/channels)。光學巨集1205-1至1205-N(用於資料發送(Tx)及資料接收(Rx))佈設於膠連邏輯1207與光子介面1203(其與FAU 1601耦合)之間。光學巨集1205-1至1205-N包括負責將電訊號轉換成光訊號並將光訊號轉換成電訊號之光學及電子電路。
在一些實施例中，電介面1201配置成實施先進介面匯流排(AIB)協議，以實現TeraPHY小晶片1200與一或更多其他積體電路晶片之間的電介面。然而，應該理解，在其他實施例中，電介面1201可配置成實施除AIB以外之基本上任何電資料通信介面。例如，在一些實施例中，電介面1201包括高頻寬記憶體(HBM)及用於資料之序列化/反序列化的Kandou匯流排。
在一些實施例中，TeraPHY小晶片1200具有長度dl及寬度d2，其中dl約8.9毫米(mm)，而d2約5.5毫米。應當理解，如本文所用，術語「約」意指給定值的+/- 10%。在一些實施例中，長度d1小於約8.9 mm。在一些實施例中，長度d1大於約8.9 mm。在一些實施例中，寬度d2小於約5.5 mm。在一些實施例中，寬度d2大於約5.5 mm。在一些實施例中，電介面1201具有約1.3 mm之寬度d3。在一些實施例中，寬度d3小於約1.3 mm。在一些實施例中，寬度d3大於約1.3 mm。在一些實施例中，用於光纖陣列之光子介面1203具有約5.2 mm的長度d4及約2.3 mm的寬度d5。在一些實施例中，長度d4小於約5.2 mm。在一些實施例中，長度d4大於約5.2 mm。在一些實施例中，光學巨集1205-1至1205-N具有約1.8 mm的寬度d6。在一些實施例中，寬度d6小於約1.8 mm。在一些實施例中，寬度d6大於約1.8 mm。在一些實施例中，每一發送器Tx及接收器Rx光學巨集1205-1至1205-N對具有約0.75 mm的長度d7。在一些實施例中，長度d7小於約0.75 mm。在一些實施例中，長度d7大於約0.75 mm。在一些實施例中，發送器Tx及接收器Rx光學巨集1205-1至1205-N設置成對準光子介面1203內之光纖間距。在一些實施例中，每一光學巨集1205-1至1205-N(一對發送器(Tx)與接收器(Rx)光學巨集)之長度d7與標準光纖帶中之光纖間距匹配。例如，若光纖間距為250微米，且光纖帶中之三條光纖對應至一個光學巨集1205-1至1205-N(一條光纖將連續波光從雷射帶到發送器(Tx)光學巨集，一條光纖將資料(為調製光)傳送出發送器(Tx)光學巨集，且一條光纖將攜有編碼資料之調製光帶至接收器(Rx)光學巨集)，則光巨集長度d7為750微米。
在一些實施例中，光學巨集1205-1至1205-N的數量N為8。在一些實施例中，光學巨集1205-1至1205-N的數量N小於8。在一些實施例中，光學巨集1205-1至1205-N的數量N大於8。又，光學巨集1205-1至1205-M中之每一者代表一光學埠。在一些實施例中，光學巨集1205-1至1205-N內之每一發送器Tx/接收器Rx對共用雙鎖相迴路(PLL)電路。在一些實施例中，雙PLL包括涵蓋24吉赫茲(GHz)至32 GHz之頻率範圍的PLLU，以及涵蓋15 GHz至24 GHz之頻率範圍的PLLD。
TeraPHY小晶片1200亦包括管理電路1301及通用輸入/輸出(GPIO)構件1303，用於將電資料訊號傳進並傳出TeraPHY小晶片1200。在諸多實施例中，GPIO構件1303包括序列週邊介面(SPI)構件及/或另一類型的構件，以實現晶片外資料通信。又，在一些實施例中，TeraPHY小晶片1200包括許多其他電路，例如記憶體(例如，SRAM)、CPU、類比電路及/或可在CMOS中實施之任何其他電路。
圖7示出根據一些實施例之TeraPHY小晶片1200的光子結構示例性佈局。圖7示出TeraPHY小晶片1200之光學佈局的一些光波導1403及相關光柵結構1401，但未示出光學佈局的某些部分，例如光微環共振器及相關電子件，以避免模糊光學佈局。TeraPHY小晶片1200之平面圖具有進入TeraPHY小晶片1200右側之光纖。光從光纖耦合至TeraPHY小晶片1200上之光纖光柵耦合器1401中。耦合至光柵耦合器1401的光被光波導1403引導至光學巨集1205-1至1205-N之輸入。每一光學巨集1205-1至1205-N具有三條光纖連接，包括用於將連續波雷射光輸入至光發送器(Tx輸入)之一條光纖連接、用於從光發送器輸出光(Tx輸出)之一條光纖連接、以及用於將調製光輸入至光接收器(Rx輸入)之一條光纖連接。
在一些實施例中，圖7所示之光學佈局使用單偏振光柵耦合器1401作為從光纖到TeraPHY小晶片1200之光耦合結構。在一些實施例中，當TeraPHY小晶片1200使用雙偏振輸入時，光學佈局包括偏振分束光柵耦合器1401，其隨後為光組合器結構。在一些實施例中，當TeraPHY小晶片1200使用雙偏振輸入且光柵耦合器1401支持兩個TE/TM偏振狀態時，光學佈局包括偏振分束器-旋轉器，其隨後為光組合器結構，使得往光學巨集1205-1至1205-N之光波導介面(Tx輸入、Tx輸出、Rx輸入)具有單偏振。在諸多實施例中，圖7之光學佈局為鏡像式、旋轉式、或為鏡像式與旋轉式兩者。又，在一些實施例中，TeraPHY小晶片1200之光纖耦合器陣列1203組織包括基於模式轉換器、V槽及/或其他光纖耦合機構之光學邊緣耦合器。
圖8示出根據一些實施例之光學巨集1205-1至1205-N(稱為光學巨集1250-x)中給定者的示例性佈局。光學巨集1205-x包括M個發送(Tx)切片1501-1至1501-M及M個接收(Rx)切片1503-1至1503-M。光學巨集1205-x之光學切片係指光發送器切片1501-1至1501-M中之單一者、或光接收器切片1503-1至1503 M中之單一者、或光發送器切片1501-1至1501-M中之單一者與光接收器切片1503-1至1503M中之對應單一者的組合，其中光發送器切片1501-1至1501-M中之單一者與光接收器切片1503-1至1503-M中之單一者使用單一波長光進行操作。圖8之示例性佈局示出光波導1505之路由及光微環共振器1507-1至1507-M在光學巨集1205-x之發送(Tx)部分內的設置。微環共振器1507-1至1507-M用作調製器。圖8之示例性佈局亦示出光波導1509之路由以及光微環共振器1511-1至1511-M在光學巨集1205-x之接收(Rx)部分內的設置。微環共振器1511-1至1511-M用作光偵測器。在一些實施例中，微環共振器1507-1至1507-M與1511-1至1511-M中之一或更多者被控制成用作光多工器及/或光解多工器。
發送(Tx)切片1501-1至1501-M與接收(Rx)切片1503-1至1503-M之每一對應對形成光學巨集1205-x之一切片。例如，Tx切片1 1501-1及Rx 切片1 1503-1一起形成光學巨集1205-x之切片1。發送(Tx)切片1501-1至1501-M 包括用以引導位元流形式之電資料轉換成調製光流之電子電路，其透過操作微環共振器1507-1至1507-M，以將透過光波導1505進入之給定波長的連續波雷射光調製成給定波長之調製光流。接收(Rx)切片1503-1至1503-M包括透過操作微環共振器1511-1至1511-M來偵測調製光流(透過光波導1509進入)中之給定波長光的電子電路。接收(Rx)切片1503-1至1503-M中之電子電路將微環共振器1511-1至1511-M所偵測到之對應波長的光轉變成電域中的位元流。
光波導1505將連續波雷射光從光學輸入1513輸送至發送(Tx)切片1501-1至1501-M內之每一微環共振器1507-1至1507-M。光波導1505亦將調製光從發送(Tx)切片1501-1至1501-M內之微環共振器1507-1至1507-M輸送至光學輸出1515。在一些實施例中，發送(Tx)切片1501-1至1501-M內之每一微環共振器1507-1至1507-M為可調式，以在指定光波長下操作。又，在一些實施例中，調諧給定微環共振器1507-x以進行操作之指定光波長不同於調諧其他微環共振器1507-1至1507-M(排除1507-x)以進行操作之特定波長。在一些實施例中，對應加熱裝置位於每一微環共振器1507-1至1507-M附近，以對微環共振器之共振波長提供熱調諧。在一些實施例中，每一微環共振器1507-1至1507-M連接至對應電調諧電路，該電調諧電路被操作成電調諧微環共振器之共振波長。
光波導1509將輸入的調製光從光學輸入1517輸送至接收(Rx)切片1503-1至1503-M內之微環共振器1511-1至1511-M。在一些實施例中，接收(Rx)切片1503-1至1503-M內之每一微環共振器1511-1至1511-M為可調式，以在指定光波長下操作。又，在一些實施例中，調諧給定微環共振器1511-x以進行操作之指定光波長不同於調諧其他微環共振器1511-1至1511-M(排除1511-x)以進行操作之指定波長。在一些實施例中，對應加熱裝置位於每一微環共振器1511-1至1511-M附近，以對微環共振器之共振波長提供熱調諧。在一些實施例中，每一微環共振器1511-1至1511-M連接至對應電調諧電路，該電調諧電路被操作成電調諧微環共振器之共振波長。
在一些實施例中，透過在光學巨集1205-x內之諸多位置處包括不同數量的PLL，可改變光學巨集1205-x之架構及平面圖。例如，在一些實施例中，集中式PLL位於時脈主幹(clock spine)內，並扇出至光學巨集1205-x之兩側處的切片。在諸多實施例中，PLL被複製為橫跨光學巨集1205-x之多個PLL實例，其中每一PLL實例專屬於給定發送(Tx)/接收(Rx)切片，或與發送(Tx)/接收(Rx)切片之子組合共享。在諸多實施例中，光學巨集1205-x之其他平面圖配置包括具有直通光子列之多行光學巨集，以增加邊緣頻寬密度，及/或錯開之並排發送(Tx)與接收(Rx)光巨集以增加邊緣頻寬密度。
光學巨集1205-x包括光子及電子構件兩者。佈設光學巨集1205-x中之光波導1505及1509，以避免光波導交叉，並使光波導長度最小化，其將光損耗降至最低，並對應改善系統之能源效率。以此方式佈設光學巨集1205-x，使電子構件與光學構件之間的距離最小化，以將電跡線長度縮至最小，其改善光學巨集1205-x的能源效率，實現更快的訊號傳送，並減小晶片尺寸。
TeraPHY小晶片1200包括(N個)光學巨集1205-1至1205-N之組合。每一光學巨集1205-x包括(M)個光學發送器切片1501-1至1501-M與光學接收器切片1503-1至1503-M之組合，其在邏輯上分組在一起以發送或接收相應光波導1505、1509上(W)個不同光波長上之位元。在諸多實施例中，(M)個光發送器切片1501-1至1501-M與光接收器切片1503-1至1503-M以及(W)個不同光波長可依需求來定義，其考慮到任何數量的光發送器切片1501-1至1501-M及/或光接收器切片1503-1至1503-M可調諧至(W)個光波長之一給定者。然而，若資料位元正由調諧至相同光波長之光微環共振器1507-1至1507-M中的多個，或由光微環共振器1511-1至1511M中的多個發送或接收，則管理通道/波道競爭。光學巨集1205-x之平面圖及組織表示可調之自由度，用於控制以下指標：• 光波導1505、1509長度(與光損耗直接相關)• 光學巨集1205-x區域(其與製造成本相關)• 每位元之能源消耗 (能源效率)• 電訊號完整性(與效能相關)• 電封裝逸出(escape)(給定組之晶片尺寸及電凸塊之給定間隔/間距物理上有效之電資料輸入及輸出量)• 光封裝逸出(escape) (給定組之晶片尺寸及光纖之給定間隔/間距物理上有效之光資料輸入及輸出量)。
圖9示出根據一些實施例用於連接至TeraPHY小晶片1200之示例性FAU 1601。在一些實施例中，FAU 1601將多條光纖連接至TeraPHY小晶片1200。在一些實施例中，FAU 1601代表本文所述之光纖陣列115A、115C、115D、115F、115I、115G、115L、115J、509、709、711、807、809、907中之任一或更多者。在一些實施例中，FAU 1601包括光纖尾纖1603，其包括連接至TeraPHY小晶片1200之光纖耦合器陣列1203的多條光纖。在一些實施例中，光纖尾纖1603內之一些光纖為極化保持單模光纖(polarization maintaining single mode optical fiber, PMF)，例如用於將連續波雷射光從外部雷射裝置送到TeraPHY小晶片1200。又，在一些實施例中，光纖尾纖1603內之一些光纖為非極化保持單模光纖(SMF)，用於將調製光訊號送至/或送出TeraPHY小晶片1200。在一些實施例中，FAU 1601包括機械轉換(MT)套圈1605，例如MTP®連接器。在一些實施例中，FAU 1601配置成將多達24條光纖連接至TeraPHY小晶片1200。例如，在一些實施例中，MT套圈1605配置為2x12 MTP®連接器套圈。
在一些實施例中，TeraPHY小晶片1200具有粗波長分波多工4通道(CWDM4)配置，其中每一光學巨集1205-1至1205-M包括四個序列化/反序列化(SerDes)切片(FR- 4)或八個SerDes切片(FR-8)。在一些實施例中，光學巨集1205-1至1205-M被分成波長發送(Tx)/接收(Rx)切片，每一Tx/Rx切片包括完全整合之類比Tx/Rx前端、序列化/反序列化、時脈資料恢復迴路及微環共振器熱調諧數位控制。在一些實施例中，整合在每一Tx/Rx切片/光學巨集1205-x光學埠中之光子構件係基於微環共振器(例如，調製器、濾波器等)。在一些實施例中，TeraPHY小晶片1200透過具有嵌入式模式轉換器之邊緣耦合V槽結構光耦合至FAU 1601。
TeraPHY MIPO I/O小晶片具有小的佔用(footprint)，因為晶片上之智慧財產(IP) 建構模塊很密集。此些IP建構模塊包括光微環共振器，其用於在很小的晶片面積內(例如，每一微環的直徑為10微米)將光的多個波長多工及解多工到單個波導上，以及調製光並作為光偵測器。晶片上之IP建構模塊亦很密集，因為控制光學裝置之電子電路與其控制之光學裝置緊密地整合在同一晶片上，從而可將空間效率最佳化。小的TeraPHY MIPO I/O小晶片佔用(footprint)對SoC實現較高比率之總記憶體與記憶體頻寬。
在一些實施例中，每一光學扇出小晶片111、207、207A、207B、207C、207D(如圖1至2D所示)包括一起整合於單個晶片中之Ayar Labs公司的TeraPHY小晶片及電扇出小晶片。在此些實施例中，TeraPHY小晶片提供從光域轉變成電域，反之亦然。並且，電扇出小晶片在HBM堆疊113與TeraPHY小晶片之間提供電連接。
在一些實施例中，每一光學扇出小晶片111、207、207A、207B、207C、207D(如圖1至圖2D所示)被TeraPHY小晶片與電扇出晶片的組合代替，其中TeraPHY小晶片與電扇出小晶片實施為包含HBM堆疊113之多晶片封裝中的分開晶片。例如，根據一些實施例，圖10示出HBM卡400之頂部圖，其實施為包括TeraPHY小晶片401及電扇出小晶片403之組合的多晶片封裝。TeraPHY小晶片401與電扇出小晶片403與若干HBM堆疊113一起實施為多晶片封裝中之分開晶片。在諸多實施例中，可使用HBM卡400代替TeraPHY-HBM MCP 109、205、205A、205B、205C、205D中之任一者，如圖1至2D所示。在一些實施例中，TeraPHY小晶片40與電扇出小晶片403透過TeraPHYHBM MCP 400之重佈層(RDL)電連接。在一些實施例中，TeraPHY小晶片401與電扇出小晶片403透過形成在TeraPHY-HBM MCP 400內之電貫孔結構電連接。在一些實施例中，TeraPHY小晶片401與電扇出小晶片403透過球柵陣列(BGA)或其他類似技術電連接。
圖11A示出根據一些實施例透過光鏈結302光連接至遠端記憶體系統300B之電腦系統300A的圖。在諸多實施例中，電腦系統300A對應於本文提及之任何MCP。然而，應該理解，在諸多實施例中，電腦系統300A基本上代表半導體晶片之任何封裝組，其包括電連接到至少一TeraPHY MIPO I/O小晶片301A之至少一電腦晶片305A，如電連接/路由307A所示。在一些實施例中，該至少一電腦晶片305A與該至少一TeraPHY MIPO I/O小晶片301A係封裝在共同基板303A上。該至少一TeraPHY MIPO I/O小晶片301A係連接成透過一或更多光波導311A從光功率供應源309A接收光功率。在諸多實施例中，該至少一TeraPHY MIPO I/O小晶片301A對應於本文所提之任一TeraPHY小晶片。光功率供應源309A與關於圖4A所述之光功率供應源309相同。在諸多實施例中，遠端記憶體系統300B對應於本文所提之任一HBM卡。然而，應理解，在諸多實施例中，遠端記憶體系統300B基本上表示電連接到至少一TeraPHY MIPO I/O小晶片301B之任一或更多記憶體裝置305B，如電連接/路由307B所示。在一些實施例中，該一或更多記憶體裝置305B與該至少一TeraPHY MIPO I/O小晶片301B係封裝在共同基板303B上。該至少一TeraPHY MIPO I/O小晶片301B係連接成透過一或更多光波導311B從光功率供應源309B接收光功率。在諸多實施例中，該至少一TeraPHY MIPO I/O小晶片301B對應於本文所提之任一TeraPHY小晶片。光功率供應源309B與關於圖4A所述之光功率供應源309相同。又，在一些實施例中，光功率供應源309A與309B為相同光功率供應源。電腦系統300A之TeraPHY MIPO I/O小晶片301A透過光鏈結302光連接至遠端記憶體系統300B之TeraPHY MIPO I/O小晶片301B。在一些實施例中，光鏈結302為光纖陣列。
圖11B示出根據一些實施例之電腦系統300A之TeraPHY MIPO I/O小晶片301A與遠端記憶體系統300B之TeraPHY MIPO I/O小晶片301B之間更詳細的光連接視圖。在一些實施例中，每一TeraPHY MIPO I/O小晶片301A及301B係以與本文所述之TeraPHY小晶片1200相同方式來配置。TeraPHY MIPO I/O小晶片301A包括至少一光學巨集1205A。TeraPHY MIPO I/O小晶片301B包括至少一光學巨集1205B。每一光學巨集係以與本文所述之光學巨集1205-x相同方式來配置。
光學巨集1205A之光學輸入1513透過一或更多光波導311A(例如，光纖)光連接至光功率供應源309A。光學巨集1205A之光學輸出1515光連接至光學巨集1205B之光學輸入1517。以此方式，光學巨集1205A之發送器切片1501-1至1501-M所產生的調製光訊號被傳送至光學巨集1205B之接收器切片1503-1至1503-M。在一些實施例中，發送器切片1501-1至1501-M所產生之調製光訊號傳輸用於記憶體存取操作(被光學巨集1205B從晶片305A以電訊號形式接收)之指令。傳輸用於記憶體存取操作之指令的調製光訊號光耦合至光學巨集1205B之光微環共振器1511-1至1511-M中，且被光學巨集1205B之接收器切片1503-1至1503-M解調成透過電連接/路由307B傳送至記憶體裝置305B之電訊號。
光學巨集1205B之光學輸入1513透過一或更多光波導311B(例如，光纖)光連接至光功率供應源309B。光學巨集1205B之光學輸出1515光連接至光學巨集1205A之光學輸入1517。以此方式，光學巨集1205B之發送器切片1501-1至1501-M所產生的調製光訊號被傳送至光學巨集1205A之接收器切片1503-1至1503-M。在一些實施例中，光學巨集1205B之發送器切片1501-1至1501-M所產生的調製光訊號傳輸記憶體裝置305B透過電連接/路由307B而提供至光學巨集1205B之數位資料，其中數位資料係由記憶體裝置305B根據光學巨集1205B從晶片305A所接收到之光訊號形式的指令來執行記憶體存取操作而產生。傳輸記憶體裝置305B所提供之數位資料的調製光訊號係光耦合至光學巨集1205A之光微環共振器1511-1至1511-M中，並被光學巨集1205A之接收器切片1503-1至1503-M解調成透過電連接/路由307A傳送至晶片305A之電訊號。
本文揭示用於遠端記憶體系統之諸多實施例，其包括多晶片封裝的基板、連接至該基板之積體電路晶片、以及連接至該基板之電光晶片。在諸多實施例中，基板為中介層與有機基板中之一或更多者。在諸多實施例中，基板包括導電路由及光波導。在諸多實施例中，基板包括重佈層結構，每一積體電路晶片及電光晶片覆晶連接至重佈層結構。積體電路晶片包括高頻寬記憶體介面。電光晶片具有電連接至積體電路晶片之高頻寬記憶體介面的電介面。電光晶片包括配置成與光鏈結光連接之光子介面。電光晶片亦包括至少一光學巨集。電光晶片之至少一光學巨集中的每一者配置成將透過電介面從高頻寬介面接收之輸出電資料訊號轉換成輸出光資料訊號。電光晶片之至少一光學巨集中的每一者配置成透過電光晶片之光子介面將輸出光資料訊號傳送至光鏈結。電光晶片之至少一光學巨集中的每一者亦配置成將透過電光晶片之光子介面從光鏈結接收的輸入光資料訊號轉換成輸入電資料訊號。電光晶片之至少一光學巨集中的每一者配置成透過電光晶片之電介面將輸入電資料訊號傳送至高頻寬記憶體介面。
遠端記憶體裝置包括電光扇出晶片，其具有光連接至光鏈結之光子介面。遠端記憶體裝置包括電連接至電光扇出晶片之電介面的高頻寬記憶體堆疊。在一些實施例中，光鏈結包括光纖陣列，其將多晶片封裝之電光晶片的光子介面光連接至遠端記憶體裝置之電光扇出晶片的光子介面。在一些實施例中，遠端記憶體裝置包括電連接至電光扇出晶片之電介面的複數高頻寬記憶體堆疊。在一些實施例中，遠端記憶體裝置包括一基板，其包含電路由，其中電光扇出晶片電連接至基板中的一些電路由，且每一該複數高頻寬記憶體堆疊電連接至基板中的一些電路由。在一些實施例中，遠端記憶體裝置之基板中的電路由形成重佈層結構之一部分，其中電光扇出晶片覆晶連接至重佈層結構，且每一該複數高頻寬記憶體堆疊覆晶連接至重佈層結構。在一些實施例中，多晶片封裝之電光晶片與遠端記憶體裝置之電光扇出晶片中的每一者配置成透過光鏈結實施光訊號之波長分波多工。
在一些實施例中，電光晶片之至少一光學巨集中的每一者包括複數發送器切片及複數接收器切片。複數發送器切片中之每一發送器切片包括對應之光微環共振器，其配置成調製連續波光，以將輸出電資料訊號轉換成輸出光資料訊號。複數接收器切片中之每一接收器切片包括配置成光耦合輸入光資料訊號之對應光微環共振器。在一些實施例中，發射器切片之光微環共振器配置成在指定光波長下操作以調製具有指定光波長之連續波光，以將輸出電資料訊號轉換成具有指定光波長之輸出光資料訊號。又，接收器切片之光微環共振器配置成在指定光波長下操作以光耦合具有指定光波長之輸入光資料訊號。
在一些實施例中，至少一額外電光晶片連接至多晶片封裝之基板。該至少一額外電光晶片中的每一者具有連接至多晶片封裝之積體電路晶片的對應電介面。又，該至少一額外電光晶片中的每一者具有光連接至對應光鏈結之第一端的對應光子介面。在一些實施例中，每一光鏈結具有連接至分開遠端記憶體裝置之分開電光扇出晶片的第二端。在一些實施例中，每一遠端記憶體裝置包括至少一高頻寬記憶體堆疊，其電連接至遠端記憶體裝置之電光扇出晶片。
圖12示出根據一些實施例操作遠端記憶體系統之方法的流程圖。該方法包括用於產生第一組電資料訊號之操作1251，該第一組電資料訊號傳輸用於記憶體存取操作的指令。在一些實施例中，記憶體存取操作為高頻寬記憶體存取操作。該方法亦包括用於基於第一組電資料訊號來產生光資料訊號之操作1253。光資料訊號傳輸用於記憶體存取操作的指令。該方法亦包括用於經由光鏈結將光資料訊號傳送至遠端記憶體裝置之操作1255。遠端記憶體裝置與在其上產生該第一組電資料訊號的運算裝置實體分開。該方法亦包括用於在遠端記憶體裝置處從光資料訊號產生第二組電資料訊號之操作1257。第二組電資料訊號傳輸用於記憶體存取操作的指令。該方法亦包括使用第二組電資料訊號在遠端記憶體裝置處執行記憶體存取操作之操作1259。
在一些實施例中，該方法包括透過高頻寬記憶體介面將第一組電資料訊號傳送至第一電光晶片的電介面。該方法亦包括操作第一電光晶片以基於第一組電資料訊號來產生光資料訊號。該方法亦包括操作第一電光晶片以經由光鏈結來傳送光資料訊號。在一些實施例中，操作第一電光晶片以產生光資料訊號包括操作第一電光晶片上複數光微環共振器中之至少一光微環共振器，以調製具有指定光波長之連續波光，以將第一組電資料訊號轉換成具有指定光波長之光資料訊號。
在一些實施例中，該方法包括透過遠端記憶體裝置上第二電光晶片之光子介面從光鏈結接收光資料訊號。該方法亦包括操作第二電光晶片以從接收到之光資料訊號產生第二組電資料訊號。在一些實施例中，該方法包括操作第二電光晶片以透過第二電光晶片之電介面將第二組電資料訊號傳送至遠端記憶體裝置上之高頻寬記憶體堆疊。該方法亦包括操作高頻寬記憶體堆疊以使用第二組電資料訊號而在高頻寬記憶體堆疊內執行記憶體存取操作。在一些實施例中，操作第二電光學晶片以產生第二組電資料訊號包括操作第二電光晶片上複數光微環共振器中之至少一光微環共振器，以光耦合透過第二電光晶片之光子介面接收的光資料訊號。光耦合之光資料訊號被傳輸到電連接至第二電光晶片上解調電路之光偵測器裝置。解調電路操作成基於傳輸到光偵測器裝置之光資料訊號來產生第二組電資料訊號。
圖13示出根據一些實施例配置遠端記憶體系統之方法的流程圖。該方法包括用於使積體電路晶片電連接至第一多晶片封裝上之第一電光晶片的操作1351。該方法亦包括用於將第一電光晶片光連接至光鏈結之第一端的操作1353。在一些實施例中，光鏈結形成為光纖陣列。該方法亦包括用於將第二電光晶片光連接至光鏈結之第二端的操作1355。第二電光晶片電連接至第二多晶片封裝上之記憶體裝置，該第二多晶片封裝與第一多晶片封裝實體分開。在一些實施例中，記憶體裝置為高頻寬記憶體堆疊。
在一些實施例中，該方法亦包括將積體電路晶片覆晶連接至第一多晶片封裝之基板內的重佈層結構。又，在一些實施例中，該方法包括將第一電光晶片覆晶連接至第一多晶片封裝之基板內的重佈層結構。在一些實施例中，該方法包括將第二電光晶片覆晶連接至第二多晶片封裝之基板內的重佈層結構。又，在一些實施例中，該方法包括將記憶體裝置覆晶連接至第二多晶片封裝之基板內的重佈層結構。
在一些實施例中，第一電光晶片包括至少一光學巨集。第一電光學晶片之至少一光學巨集中的每一者配置成將從積體電路晶片接收之輸出電資料訊號轉換成輸出光資料訊號，並透過光鏈結傳送輸出光資料訊號。第一電光晶片之至少一光巨集中的每一者配置成將透過光鏈結接收之輸入光資料訊號轉換成輸入電資料訊號，並將輸入電資料訊號傳送至積體電路晶片。在一些實施例中，第二電光晶片包括至少一光學巨集。第二電光晶片之至少一光巨集中的每一者配置成將透過光鏈結接收之輸入光資料訊號轉換成輸入電資料訊號，並將輸入電資料訊號傳送至記憶體裝置。第二電光晶片之至少一光巨集中的每一者配置成將從記憶體裝置接收之輸出電資料訊號轉換成輸出光資料訊號，並透過光鏈結傳送輸出光資料訊號。
圖14示出根據一些實施例之連接有運算快速連結(CXL)的DRAM模組500，其使用MCP 505上TeraPHY小晶片503及CXL集線器/FO(扇出)晶片501來實施。TeraPHY小晶片503為如本文所述之電光學晶片。CXL集線器/FO(扇出)晶片501為電扇出晶片。CXL協議為用於處理器與裝置/記憶體之間高速資料通信之開放標準互連協議。CXL協議建立在PCIe實體與電介面上，並提供關於輸入/輸出(I/O)、記憶體及快取統一之協議。TeraPHY小晶片503透過光纖陣列509光連接至光纖網路，資料經由該光纖網路光傳送至TeraPHY小晶片503中並從TeraPHY小晶片503光傳送出。光功率供應源502透過一或更多光波導504(例如光纖)光連接至TeraPHY小晶片503。光功率供應源502配置成產生連續波光(具一或更多受控/指定波長之雷射光)，並將連續波光供應至TeraPHY小晶片503內至少一光學巨集1205-x之複數發送器切片1501-1至1501-M。TeraPHY小晶片503電連接至CXL集線器/FO 501，如箭頭521所示，以實現TeraPHY小晶片503與CXL集線器/FO 501之間的雙向資料通信。
在一些實施例中，MCP 505係使用有機基板及/或2.5D封裝技術來實施。在一些實施例中，TeraPHY小晶片503與CXL集線器/FO 501係置於彼此旁邊或至少部分地在彼此上。在一些實施例中，TeraPHY小晶片503與CXL集線器/FO 501係實施為分開晶片，如圖14所示。然而，在一些實施例中，TeraPHY小晶片503與CXL集線器/FO 501一起整合在設置於MCP 505內之單個晶片中。MCP 505設置在模組板506上，例如印刷電路板(PCB)。在一些實施例中，光功率供應源502與模組板506實體分開。在一些實施例中，光功率供應源502設置在模組板506上。模組板506包括若干雙列直插式記憶體模組(DIMM)插槽(在圖14之示例中為5個)，其中分別安裝有DRAM DIMM 507-1至507-5。在諸多實施例中，DRAM模組500可包括任意數量(N)之DRAM DIMM 507-1至507-N。在一些實施例中，例如圖14所示，DRAM模組500包括五個DRAM DIMM 507-1至507-5。在另一實施例中，DRAM模組500包括十個DRAM DIMM 507-1至507-5。
CXL集線器/ FO晶片501電連接至每一DIMM插槽，以實現與每一DRAM DIMM 507-1至507-5的雙向資料通信， 分別如箭頭511-1至511-5所示。以此方式，將要寫入記憶體之資料透過CXL集線器/FO 501從TeraPHY小晶片503電通信至DRAM DIMM 507-1至507-5中的任一者或更多者。並且，將要從記憶體讀取之資料透過CXL集線器/FO 501從DRAM DIMM 507-1至507-5中之任一者或更多者電通信至TeraPHY小晶片503。TeraPHY小晶片503作用為在(CXL集線器/FO 501、MCP 505、模組板506及DRAM DIMM 507-1至507-5之)電域與光網路之光域之間提供資料介面 ，其中資料經由光網路傳至連接有CXL之DRAM模組500及/或從其傳出。
CXL集線器/FO晶片501配置成調處從CXL通道對DRAM通道的存取。每一具有x8 CXL通道之光鏈結可透過光纖陣列509連接在不同源與TeraPHY小晶片503之間。在一些實施例中，TeraPHY小晶片503為每秒2.048兆位元(Tbps)的晶片。例如，在一些實施例中，TeraPHY小晶片503配置成支援32 Gbps(每秒十億位元)之八個x8 CXL通道，其對應於支援2.048 Tbps之TeraPHY小晶片503，即(8)(8 CXL通道)(32 Gbps)= 2.048 Tbps。在一些實施例中，DRAM模組500包括五個DDR5 DIMM通道，其相接TeraPHY小晶片503以支援五個DDR5 DIMM通道。在一些實施例中，每一DDR5 DIMM通道為每通道64位元，並以每秒6.4十億傳輸(GT/s)操作。因此，在此等實施例中，每一DDR5 DIMM通道以409.6 Gbps之資料速率操作，即(6.4 GT/s)(64位元/通道/傳輸)= 409.6 Gbps/通道。因此，在此等實施例中，五個DDR5 DIMM通道共同以2.048 Tbps之總合資料速率操作，即(5個通道)(409.6 Gbps/通道)= 2.048 Tbps。
圖15示出根據一些實施例支援十個DIMM通道之連接有CXL的DRAM模組600。DRAM模組600為圖14之DRAM模組500的變化態樣。DRAM模組600包括其上設有MCP 505之模組板606，例如PCB，其中MCP 505包括TeraPHY小晶片503及CXL集線器/FO晶片501。模組板606包括十個DIMM插槽，其中安裝有相應的DRAM DIMM 601-1至601-10。CXL集線器/FO晶片501電連接至每一DIMM插槽，以實現與每一DRAM DIMM 601-1至601-10的電資料通信，分別如箭頭603-1至603-10所示。
在一些實施例中，對應於十個DRAM DIMM 601-1至601-10之每一DIMM通道為以3.2 GT/s操作之64位元DDR4 DIMM通道。因此，在此等實施例中，每一DDR4 DIMM通道以204.8 Gbps之資料速率操作，即(3.2 GT/s)(64位元/通道/傳輸)= 204.8 Gbps/通道。因此，在此等實施例中，十個DDR4 DIMM通道共同以2.048 Tbps之總合資料速率操作，即(10通道)(204.8 Gbps/通道)= 2.048 Tbps。舉例來說，利用如上所述配置成以支援十個DDR4 DIMM通道之DRAM模組600，連接有CXL之DRAM模組600可用於對AMD第二代EPYC處理器系列(其具有八個DDR4記憶體通道)之「Rome」多晶片模組上的I/O集線器(控制器晶粒)提供光學上CXL I /O支援。應理解，圖14及15之連接有CXL的DRAM模組500及600分別係以示例方式提供。在其他實施例中，MCP 505(包括TeraPHY小晶片503及CXL集線器/FO晶片501)可實施於DRAM模組配置中，DRAM模組配置支援任何數量的DIMM通道，以對處理器及/或運算裝置提供光學上遠端池式DRAM記憶體。
圖16示出根據一些實施例支援十個DIMM通道之另一連接有CXL的DRAM模組700。DRAM模組700為圖15之DRAM模組600的變化態樣。DRAM模組700包括其上設有MCP 703之模組板706，例如PCB。MCP 703包括第一TeraPHY小晶片503-1，其與CXL集線器/FO 701進行雙向電資料通信，如箭頭705所示。第一TeraPHY小晶片503-1透過光纖陣列709連接至光網路。MCP 703亦包括第二TeraPHY小晶片503-2，其與CXL集線器/FO 701進行雙向電資料通信，如箭頭707所示。第一TeraPHY小晶片503-1與第二TeraPHY小晶片503-2中之每一者透過一或更多光波導504(例如，光纖)光連接至光功率供應源502。第二TeraPHY小晶片503-2透過光纖陣列711連接至光網路。模組板706包括十個DIMM插槽，其中分別安裝有DRAM DIMM 713-1至713-10。CXL集線器/FO晶片701電連接至每一DIMM插槽，以實現與每一DRAM DIMM 713-1至713-10電資料通信，分別如箭頭715-1到715-10所示。CXL集線器/FO晶片701配置成使每一TeraPHY小晶片503-1及503-2能夠存取十個DRAM DIMM 713-1至713-10中的每一者。
在一些實施例中，MCP 70係使用有機基板及/或2.5D封裝技術來實施。在一些實施例中，第一TeraPHY小晶片503-1與CXL集線器/FO 701置於彼此旁邊或至少部分地在彼此上。在一些實施例中，第二TeraPHY小晶片503-2與CXL集線器/FO 701係置於彼此旁邊或至少部分地在彼此上。在一些實施例中，第一及第二TeraPHY小晶片503-1及503-2係實施為分開晶片，如圖16所示。在一些實施例中，第一TeraPHY小晶片503-1與第二TeraPHY小晶片503-2一起整合在設置於MCP 703內之單個晶片中。在一些實施例中，第一及第二TeraPHY小晶片503-1及503-2與CXL集線器/FO晶片701係實施為分開晶片，如圖16所示。在一些實施例中，第一及第二TeraPHY小晶片503-1及503-2與CXL集線器/FO晶片701一起整合在設置於MCP 703內之單個晶片中。
在一些實施例中，圖16之DRAM模組700配置能夠提供圖14之DRAM模組500配置的兩倍資料速率。在一些實施例中，每一TeraPHY小晶片503-1及503-2配置成支援32 Gbps之八個x8 CXL通道，其對應於每一TeraPHY小晶片503-1及503-2支援2.048 Tbps，即(8 )(8個CXL通道)(32 Gbps)= 2.048 Tbps。因此，在一些實施例中，每一TeraPHY小晶片503-1及503-2為2.048 Tbps的晶片，其使得DRAM模組700能夠支援高達4.096 Tbps之總資料速率。在一些實施例中，每一DRAM DIMM 713-1至713-10提供以6.4GT/s操作之64位元DDR5 DIMM通道。因此，在此等實施例中，每一DDR5 DIMM通道以409.6Gbps的資料速率操作，即(6.4 GT/s)(64位元/通道/傳輸)＝ 409.6Gbps/通道。因此，在此等實施例中，十個DDR5 DIMM通道共同以高達4.096 Tbps之總合資料速率操作，即(10通道)(409.6 Gbps/通道)= 4.096 Tbps。
圖17示出根據一些實施例之運算裝置800的示例，其配置成分別與關於圖14、15及16所述之示例性連接有CXL之DRAM模組500、600與700中的任一者相接。該運算裝置800包括MCP 801，其中設置(N個)處理器803-1至803-N。第一TeraPHY小晶片503A及第二TeraPHY小晶片503B亦設置在MCP 801內。第一TeraPHY小晶片503A與第二TeraPHY小晶片503B中的每一者透過一或更多光波導504A(例如光纖)光連接至光功率供應源502A。光功率供應源502A配置成產生連續波光(具一或更多受控/指定波長之雷射光)，並將連續波光供應至每一第一TeraPHY小晶片503A與第二TeraPHY小晶片503B中之至少一光學巨集1205-x的複數發送器切片1501-1至1501-M。在一些實施例中，每一TeraPHY小晶片503A及503B帶有x64 PCIe通道(Gen5之Gen4)。I/O集線器晶片805亦設置於MCP 801內。在一些實施例中，I/O集線器晶片805為配置成實施CXL協議之I/O控制器晶片。在一些實施例中，MCP 801係使用2.5D封裝技術來實施。在一些實施例中，MCP 801包括用於將處理器803-1至803-N電連接至I/O集線器805並用於將TeraPHY小晶片503A及503B連接至I/O集線器805之RDL。在一些實施例中，處理器803-1至803-N中之一或更多者透過BGA或其他類似連接技術電連接至I/O集線器805。在一些實施例中，TeraPHY小晶片503A與503B中之一或兩者透過BGA或其他類似連接技術電連接至I/O集線器805。在一些實施例中，MCP 801包括單個TeraPHY小晶片。在一些實施例中，MCP 801包括多於兩個TeraPHY小晶片。在一些實施例中，處理器803-1至803-N與TeraPHY小晶片503A,503B中之一或更多者設置於MCP 801內之I/O集線器805旁邊。在一些實施例中，處理器803-1至803-N與TeraPHY小晶片503A,503B中之一或更多者設置成與MCP 801內之I/O集線器805至少部分重疊。
I/O集線器配置成在每一處理器803-1至803-N與每一TeraPHY小晶片503A及503B之間提供雙向資料通信，使得處理器803-1至803-N中之任一者能夠透過TeraPHY小晶片503A與503B中之任一者傳送資料。TeraPHY小晶片503A透過光纖陣列807光連接至光纖網路，資料經由光纖網路光傳送至TeraPHY小晶片503A並從其傳送出。TeraPHY小晶片503B透過光纖陣列809光連接至光纖網路，資料經由光纖網路光傳送至TeraPHY小晶片503B並從其傳送出。每一TeraPHY小晶片503A及503B作用為在運算裝置800之電域與光網路之光域之間提供資料介面，資料透過光網路傳至運算裝置800並從其傳出。應理解，運算裝置800係以示例方式提供。在其他實施例中，運算裝置800可以其他方式配置，只要運算裝置800包括用於在電域與光域之間提供資料介面之至少一TeraPHY小晶片即可。
圖18示出根據一些實施例之運算裝置900的另一示例，配置成與分別如關於圖14、15及16所述之示例性連接有CXL之DRAM模組500、600及700中的任一者相接。運算裝置900包括其中設有處理單元905之MCP 901。在一些實施例中，處理單元905為圖形處理單元(GPU)。在一些實施例中，處理單元905為張量處理單元(TPU)。然而，應當理解，在諸多實施例中，處理單元905可為任何類型之電腦處理單元。(N)個HBM堆疊903-1至903-N亦設置於MCP 901內。TeraPHY小晶片503C亦設置於MCP 901內。TeraPHY小晶片503C透過一或更多光波導504B(例如，光纖)光連接至光功率供應源502B。光功率供應源502B配置成產生連續波光(具一或更多受控/指定波長之雷射光)，並將連續波光供應至TeraPHY小晶片503C內至少一光學巨集1205-x之複數發送器切片1501-1至1501-M。在一些實施例中，TeraPHY小晶片503C帶有x64 PCIe通道(Gen5之Gen4)。在一些實施例中，處理單元905配置成實施CXL協議。在一些實施例中，MCP 901係使用2.5D封裝技術來實施。在一些實施例中，MCP 901包括用於將HBM堆疊903-1至903-N電連接至處理單元905並用於將TeraPHY小晶片503C連接至處理單元905RDL之RDL。在一些實施例中，一或更多HBM堆疊903-1至903-N透過BGA或其他類似連接技術電連接至處理單元905。在一些實施例中，TeraPHY小晶片503C透過BGA或其他類似連接技術電連接到處理單元905。在一些實施例中，MCP 901包括多於一個TeraPHY小晶片。在一些實施例中，HBM堆疊903-1至903-N與TeraPHY小晶片503C中之一或更多者設置於MCP 901內之處理單元905旁邊。在一些實施例中，HBM堆疊903-1至903-N與TeraPHY小晶片503C中之一或更多者設置成與MCP 901內之處理單元905至少部分重疊。
處理單元905以雙向資料通信方式與每一HBM堆疊903-1至903-N以及與TeraPHY小晶片503C連接。TeraPHY小晶片503C透過光纖陣列907光連接至光纖網路，資料經由光纖網路光傳送至TeraPHY小晶片503C並從其傳出。TeraPHY小晶片503C作用為在運算裝置900之電域與光網路之光域之間提供資料介面，資料經由光網路傳至運算裝置900及/或從其傳出。應理解，運算裝置900係以示例方式提供。在其他實施例中，運算裝置900可以其他方式配置，只要運算裝置900包括接於電域與光域之間的至少一TeraPHY小晶片即可。
圖19示出根據一些實施例之示例性光資料通信系統1000，其中圖17之運算模組800及圖18之運算模組900以光學上資料通信方式與圖16之遠端DRAM模組700連接。運算模組800之光纖陣列807連接至光網路1001內之光纖鏈結1003的第一端。光纖鏈結1003的第二端連接至DRAM模組700之光纖陣列709。運算模組900之光纖陣列907連接至光網路1001內之光纖鏈結1005的第一端。光纖鏈結1005的第二端連接至DRAM模組700之光纖陣列711。在諸多實施例中，每一光鏈結1003及1005可包括光纖、光纖陣列、光波導、光波電路以及任何數量及類型之主動及/或被動光學裝置，例如除了別的以外的分光器、光組合器、光放大器。I/O集線器805、處理單元905及CXL集線器/FO 701中的每一者配置成實施CXL協議。因此，圖19之配置示出光資料通信系統的示例，其在DRAM模組700內之遠端池式DRAM系統與多個不同類型之運算裝置800及900之間使用CXL協議。應當理解，圖19之光資料通信系統1000係以示例方式提供，並代表基本上任何數量及類型之光資料通信系統配置中的一者，其中利用TeraPHY小晶片技術以使用先進資料通信協議(例如CXL協議)而在遠端記憶體系統與一或更多處理裝置之間提供光學上資料通信。
圖20示出根據一些實施例之示例性光資料通信系統1100，其中圖17之運算模組800的多個實例800-1至800-4以光學上資料通信方式與圖16之遠端DRAM模組700的多個實例700-1及700-2連接。第一運算模組實例800-1之光纖陣列807的第一部分連接至光網路1101內光纖鏈結1103的第一端。在一些實施例中，第一運算模組實例800-1之光纖陣列807的第一部分為光纖陣列807內光纖的三分之一。在一些實施例中，光網路1101係實施為光纖混排(shuffle)或光纖交織圖案(loom)。光纖鏈結1103的第二端連接至第一DRAM模組實例700-1之光纖陣列709的第一部分。在一些實施例中，第一DRAM模組實例700-1之光纖陣列709的第一部分為光纖陣列709內光纖的三分之一。第一運算模組實例800-1之光纖陣列807的第二部分連接至光網路1101內光纖鏈結1105的第一端。在一些實施例中，第一運算模組實例800-1之光纖陣列807的第二部分為光纖陣列807內光纖的三分之一。光纖鏈結1105的第二端連接至第二DRAM模組實例700-2之光纖陣列709的第一部分。在一些實施例中，第二DRAM模組實例700-2之光纖陣列709的第一部分為光纖陣列709內光纖的三分之一。
第二運算模組實例800-2之光纖陣列807的第一部分連接至光網路1101內光纖鏈結1107的第一端。在一些實施例中，第二運算模組實例800-2之光纖陣列807的第一部分為光纖陣列807內光纖的三分之一。光纖鏈結1107的第二端連接至第一DRAM模組實例700-1之光纖陣列709的第二部分。在一些實施例中，第一DRAM模組實例700-1之光纖陣列709的第二部分為光纖陣列709內光纖的三分之一。第二運算模組實例800-2之光纖陣列807的第二部分連接至光網路1101內光纖鏈結1109的第一端。在一些實施例中，第二運算模組實例800-2之光纖陣列807的第二部分為光纖陣列807內光纖的三分之一。光纖鏈結1109的第二端連接至第二DRAM模組實例700-2之光纖陣列709的第二部分。在一些實施例中，第二DRAM模組實例700-2之光纖陣列709的第二部分為光纖陣列709內光纖的三分之一。
第三運算模組實例800-3之光纖陣列807的第一部分連接至光網路1101內光纖鏈結1111的第一端。在一些實施例中，第三運算模組實例800-3之光纖陣列807的第一部分為光纖陣列807內光纖的三分之一。光纖鏈結1111的第二端連接至第一DRAM模組實例700-1之光纖陣列711的第一部分。在一些實施例中，第一DRAM模組實例700-1之光纖陣列711的第一部分為光纖陣列711內光纖的三分之一。第三運算模組實例800-3之光纖陣列807的第二部分連接至光網路1101內光纖鏈結1113的第一端。在一些實施例中，第三運算模組實例800-3之光纖陣列807的第二部分為光纖陣列807內光纖的三分之一。光纖鏈結1113的第二端連接至第二DRAM模組實例700-2之光纖陣列711的第一部分。在一些實施例中，第二DRAM模組實例700-2之光纖陣列711的第一部分為光纖陣列711內光纖的三分之一。
第四運算模組實例800-4之光纖陣列807的第一部分連接至光網路1101內光纖鏈結1115的第一端。在一些實施例中，第四運算模組實例800-4之光纖陣列807的第一部分為光纖陣列807內光纖的三分之一。光纖鏈結1115的第二端連接至第一DRAM模組實例700-1之光纖陣列711的第二部分。在一些實施例中，第一DRAM模組實例700-1之光纖陣列711的第二部分為光纖陣列711內光纖的三分之一。第四運算模組實例800-4之光纖陣列807的第二部分連接至光網路1101內光纖鏈結1117的第一端。在一些實施例中，第四運算模組實例800-4之光纖陣列807的第二部分為光纖陣列807內光纖的三分之一。光纖鏈結1117的第二端連接至第二DRAM模組實例700-2之光纖陣列711的第二部分。在一些實施例中，第二DRAM模組實例700-2之光纖陣列711的第二部分為光纖陣列711內光纖的三分之一。
運算裝置800-1至800-4之四個實例與DRAM模組700-1及700-2之兩個實例之間的光連通性使運算裝置800-1至800-4之任一四個實例中任一處理器803-1至803-N能夠與DRAM模組700-1及700-2之任一兩個實例中任一DRAM DIMM 713-1至713-10執行光學上輸入/輸出操作。並且，在一些實施例中，上述光學上輸入/輸出操作係使用CXL協議來執行。以此方式，四個運算裝置實例800-1至800-4上之TeraPHY小晶片503A與兩個DRAM模組實例700-1及700-2中之每一者上的TeraPHY小晶片503-1及503-2對運算裝置800-1至800-4之四個實例的任一處理器803-1至803-N提供有對大型池式DRAM系統(其於多個DRAM模組700-1及700-2內共同實施)之光學上I/O存取。在一些實施例中，利用如關於圖16所述之提供高達4.096 Tbps資料速率的每一DRAM模組700-1及700-2，光資料通信系統1100對運算裝置800-1至800-4之四個實例的每一處理器803-1至803-N提供有使用CXL協議且高達4.096 Tbps之光學上I/O存取資料速率。又，光資料通信系統1100實現對應於將由四個實例運算裝置800-1至800-4四個實例之處理器803-1至803-N之每一者使用CXL協議光學式存取的DRAM模組實例700-1及700-2兩者中十個DRAM DIMM 713-1至713-10之組合的總記憶體容量。
在諸多實施例中，每一光鏈結1103、1105、1107、1109、1111、1113、1115及1117可包括光纖、光纖陣列、光波導、光波電路以及任何數量與類型之光纖主動及/或被動光學裝置，例如除了別的以外之分光器、光組合器、光放大器。在一些實施例中，運算裝置800-1至800-4之四個實例的每一I/O集線器805與DRAM模組700-1及700-2之兩個實例的每一CXL集線器/FO 701配置成實施CXL協議。因此，示例性光資料通信系統1100在跨多個DRAM模組實例700-1、700-2之遠端池式DRAM系統與多個運算裝置實例800-1至800-4之間使用CXL協議。又，光資料通信系統1100為可擴充 (scalable)。在一些實施例中，光資料通信系統1100擴充成比僅有兩個DRAM模組實例700-1及700-2包含有更多的DRAM模組及/或比僅有四個運算裝置實例800-1至800-4包含有更多的運算裝置。又，在一些實施例中，光資料通信系統1100包括多種類型之DRAM模組。例如，在一些實施例中，光資料通信系統1100包括分別如關於圖14、15及16所述之示例性DRAM模組500、600及700的組合。類似地，在一些實施例中，光資料通信系統1100包括多種類型之運算裝置。例如，在一些實施例中，光資料通信系統1100包括分別如關於圖17及18所述之示例性運算裝置800及900的組合。因此，應理解，圖20之光資料通信系統1100係以示例方式來提供，並代表基本上任何數量與類型之光資料通信系統配置中的一者，其中利用TeraPHY小晶片技術以使用先進資料通信協議(例如CXL協議)而在遠端記憶體系統(例如池式DRAM系統)與多個處理裝置之間提供雙向光學上I/O資料通信。
本文揭示電腦記憶體系統之諸多實施例，其包括電光晶片(例如，TeraPHY小晶片503、503-1、503-2等)、電扇出晶片(例如，CXL集線器/FO(扇出)晶片501、701等)、以及電連接至電扇出晶片之至少一DIMM插槽。該至少一DIMM插槽中的每一者配置成接收對應的DRAM DIMM。電光晶片包括電介面及光子介面。光子介面配置成與光鏈結光連接。在一些實施例中，光鏈結為光纖陣列。電扇出晶片電連接至電光晶片的電介面。電扇出晶片配置成引導電光晶片與對應於至少一DIMM插槽之每一DRAM DIMM之間的雙向電資料通信。電光晶片包括至少一光巨集。該至少一光學巨集中之每一者配置成將透過電光晶片之電介面接收的輸出電資料訊號轉換成輸出光資料訊號。該至少一光學巨集中之每一者配置成透過電光晶片之光子介面將輸出光資料訊號傳送至光鏈結。該至少一光學巨集中之每一者配置成將透過電光晶片之光子介面從光鏈結接收的輸入光資料訊號轉換成輸入電資料訊號。該至少一光學巨集之每一者配置成透過電光晶片之電介面傳送輸入電資料訊號。
在一些實施例中，電光晶片及電扇出晶片覆晶連接至包括導電路由之基板，使得電光晶片及電扇出晶片透過基板內之一些導電路徑相互電連接。在一些實施例中，基板及至少一DIMM插槽附接至同一模組板上。在一些實施例中，基板內之導電路由包含在基板內所形成之重佈層結構內。在一些實施例中，電腦記憶體系統包括複數DIMM插槽，電扇出晶片電連接至該複數DIMM插槽中的每一者。在一些實施例中，電扇出晶片配置成實施用於電腦處理器與每一DRAM DIMM(安裝在電腦記憶體系統之至少一DIMM插槽中)之間資料通信的CXL互連協議。
在一些實施例中，電光晶片之至少一光學巨集中的每一者包括複數發送器切片及複數接收器切片。該複數發送器切片中之每一發送器切片包括 第一對應光微環共振器，其配置成調製連續波光，以將透過電光晶片之電介面從電扇出晶片接收的輸出電資料訊號轉換成輸出光資料訊號。複數接收器切片中之每一接收器切片包括第二對應光微環共振器，其配置成光耦合透過電光學晶片之光子介面從光鏈結接收的輸入光資料訊號。在一些實施例中，第一對應光微環共振器配置成在指定光波長下操作以調製具有指定光波長的連續波光，以將輸出電資料訊號轉換成具有指定光波長的輸出光資料訊號，而第二對應光微環共振器配置成在指定光波長下操作，以光耦合具有指定光波長的輸入光資料訊號。光功率供應源(例如光功率供應源502)光連接至電光晶片。光功率供應源配置成產生連續波光並將連續波光供應至電光晶片內至少一光學巨集之複數發送器切片。
在一些實施例中，電腦記憶體系統包括複數電光晶片，其中該複數電光晶片中之每一電光晶片包括相應電介面及相應光子介面。該複數電光晶片之每一相應光子介面配置成與相應光鏈結光連接。該複數電光學晶片中之每一電光學晶片包括至少一相應光學巨集。該至少一相應光學巨集中之每一者配置成將透過相應電光晶片之電介面從電扇出晶片接收的輸出電資料訊號轉換成輸出光資料訊號。該至少一相應光學巨集中之每一者亦配置成透過相應電光晶片之光子介面將輸出光資料訊號傳送至相應光學鏈結。該至少一相應光學巨集中之每一者亦配置成將透過相應電光晶片之光子介面從相應光學鏈結接收的輸入光資料訊號轉換成輸入電資料訊號。該至少一相應光學巨集中之每一者亦配置成透過相應電光學晶片之電介面將輸入電資料訊號傳送至電扇出晶片。在一些實施例中，該複數電光晶片及電扇出晶片附接至同一模組板上。在一些實施例中，光功率供應源光連接至該複數電光晶片中之每一者， 其中光功率供應源配置成產生連續波光並將連續波光供應至該複數電光學晶片中之每一電光學晶片內的每一光學巨集。
在一些實施例中，光鏈結的第一端光連接至電腦記憶體系統之電光晶片，而光鏈結的第二端光連接至第二電光晶片(例如TeraPHY小晶片503A、503B、503C等)。第二電光晶片包括電連接至積體電路晶片之對應電介面(例如，透過I/O集線器805之CPU 803-1至803-N、GPU/TPU 905等)。第二電光晶片亦包括光連接至光學鏈結之第二端的對應光子介面。第二電光晶片包括至少一光學巨集。第二電光晶片之至少一光學巨集中的每一者配置成將透過第二電光晶片之對應電介面從積體電路晶片接收的輸出電資料訊號轉換成輸出光資料訊號。第二電光晶片之至少一光學巨集中的每一者亦配置成透過第二電光晶片之對應光子介面將輸出光資料訊號傳送至光鏈結。第二電光晶片之至少一光學巨集中的每一者亦配置成將透過第二電光學晶片之對應光子介面從光鏈結接收的輸入光資料訊號轉換成輸入電資料訊號。第二電光晶片之至少一光學巨集中的每一者亦配置成透過第二電光晶片之對應電介面將輸入電資料訊號傳送至積體電路晶片。
圖21示出根據一些實施例操作電腦記憶體系統之方法的流程圖。該方法包括用於透過光鏈結接收第一組光資料訊號之操作2101，其中第一組光資料訊號傳輸用於記憶體存取操作的指令。該方法亦包括用於基於第一組光資料訊號來產生第一組電資料訊號之操作2103。第一組電資料訊號傳輸用於記憶體存取操作的指令。該方法亦包括用於將第一組電資料訊號傳送到連接至記憶體裝置之電扇出晶片的操作2105。在一些實施例中，該記憶體裝置為DRAM DIMM。該方法亦包括用於操作電扇出晶片以根據第一組電資料訊號在記憶體裝置上執行記憶體存取操作之操作2107，其中記憶體存取操作之執行產生傳輸記憶體存取操作之結果的第二組電資料訊號。在一些實施例中，電扇出晶片按用於電腦處理器與記憶體裝置之DRAM DIMM之間資料通信的CXL互連協議操作。該方法亦包括用於從第二組電資料訊號產生第二組光資料訊號之操作2109，其中第二組光資料訊號傳輸記憶體存取操作的結果。該方法亦包括用於透過光鏈結傳送第二組光資料訊號之操作2111。
在一些實施例中，操作2101、2103、2105、2109及2111係透過電光晶片(例如，TeraPHY小晶片503、503-1、503-2等)來執行。在一些實施例中，在操作2103中產生第一組電資料訊號包括操作電光晶片上複數光微環共振器中之至少一光微環共振器，以光耦合在操作2101中透過光鏈結接收之第一組光資料訊號，並將第一組光耦合光資料訊號傳輸到連接至電光晶片上解調電路之光偵測器裝置。該方法亦包括操作解調電路，以基於傳輸至光偵測器裝置之第一組光資料訊號來產生第一組電資料訊號。在一些實施例中，在操作2109中產生第二組光資料訊號包括操作電光晶片上複數光微環共振器中之至少一光微環共振器，以調製具有指定光波長之連續波光，以將第二組電資料訊號轉換成具有指定光波長之第二組光資料訊號。
為了說明及描述目的，已提供實施例之前文描述。其並非旨在窮舉或限制本發明。特定實施例之各個元件或特徵一般不限於該特定實施例，而是在適用的情況下可互換，且即使未具體示出或描述亦可用於選定實施例中。其亦可以許多方式變化。此等變化不視為悖離本發明，且所有此等修改意在包含於本發明之範圍內。
儘管為了清楚理解目的已詳細描述前述發明，但將顯而易見的是，可在本發明之範圍內實行某些改變及修改。據此，本實施例被視為說明性而非限制性，且本發明不限於本文所給出的細節，而是可在所述之實施例的範圍及均等內進行修改。
100:HBM擴充器系統 101:SoC多晶片封裝、SoC MCP 103A:MIPO I/O小晶片 103B:MIPO I/O小晶片 103C:MIPO I/O小晶片 103D:MIPO I/O小晶片 105:SoC 107A:HBM介面 107B:HBM介面 107C:HBM介面 107D:HBM介面 109:HBM卡 111:光學扇出小晶片 113:HBM堆疊 115A:光纖陣列 115B:光纖陣列 115C:光纖陣列 115D:光纖陣列 115E:光纖陣列 115F:光纖陣列 115G:光纖陣列 115H:光纖陣列 115I:光纖陣列 115J:光纖陣列 115K:光纖陣列 115L:光纖陣列 200A:HBM擴充器系統 200B:HBM擴充器系統 200C:HBM擴充器系統 200D:HBM擴充器系統 201A:SoC MCP 201B:SoC MCP 201C:SoC MCP 201D:SoC MCP 203:圖形處理單元 205:HBM卡 205A:HBM卡 205B:HBM卡 205C:HBM卡 205D:HBM卡 207:光學扇出小晶片 207A:光學扇出小晶片 207B:光學扇出小晶片 207C:光學扇出小晶片 207D:光學扇出小晶片 300:系統 300A:電腦系統 300B:遠端記憶體系統 301:TeraPHY小晶片 301A:TeraPHY MIPO I/O小晶片 301B:TeraPHY MIPO I/O小晶片 302:光鏈結 303:基板 303A:基板 303B:基板 305:半導體晶片 305A:電腦晶片 305B:記憶體裝置 307:電連接/路由 307A:電連接/路由 307B:電連接/路由 309:光功率供應源 309A:光功率供應源 309B:光功率供應源 311:光波導 311A:光波導 311B:光波導 313:並行介面側 315:並行電介面凸塊間距圖案 317:掃描電子顯微鏡影像 400:HBM卡 401:TeraPHY小晶片 403:電扇出小晶片 500:DRAM模組 501:CXL集線器/扇出晶片 502:光功率供應源 502A:光功率供應源 502B:光功率供應源 503:TeraPHY小晶片 503-1:TeraPHY小晶片 503-2:TeraPHY小晶片 503A:TeraPHY小晶片 503B:TeraPHY小晶片 503C:TeraPHY小晶片 504:光波導 504A:光波導 504B:光波導 505:MCP 506:模組板 507-1~507-N:DRAM DIMM 509:光纖陣列 511-1~511-5:箭頭 521:箭頭 600:DRAM模組 601-1~601-10:DRAM DIMM 603-1~603-10:箭頭 606:模組板 700:DRAM模組 700-1:第一DRAM模組實例 700-2:第二DRAM模組實例 701:CXL集線器/扇出 703:MCP 705:箭頭 706:模組板 707:箭頭 709:光纖陣列 711:光纖陣列 713-1~713-10:DRAM DIMM 715-1~715-10:箭頭 800:運算裝置 800-1:第一運算模組實例 800-2:第二運算模組實例 800-3:第三運算模組實例 800-4:第四運算模組實例 801:MCP 803-1:處理器 803-x:處理器 803-(x+1):處理器 803-N:處理器 805:I/O集線器晶片、I/O集線器 807:光纖陣列 809:光纖陣列 900:運算裝置 901:MCP 903-1~903-N:HBM堆疊 905:處理單元 907:光纖陣列 1000:光資料通信系統 1001:光網路 1003:光纖鏈結 1005:光纖鏈結 1100:光資料通信系統 1101:光網路 1103:光纖鏈結 1105:光纖鏈結 1107:光纖鏈結 1109:光纖鏈結 1111:光纖鏈結 1113:光纖鏈結 1115:光纖鏈結 1117:光纖鏈結 1200:TeraPHY小晶片 1201:電介面 1203:光子介面 1205-1:光學巨集 1205-2:光學巨集 1205-3:光學巨集 1205-4:光學巨集 1205-5:光學巨集 1205-6:光學巨集 1205A:光學巨集 1205-N:光學巨集 1205-X:光學巨集 1207:膠連邏輯 1251:操作 1253:操作 1255:操作 1257:操作 1259:操作 1301:管理電路 1303:通用輸入/輸出構件 1351:操作 1353:操作 1355:操作 1401:光柵結構、光纖光柵耦合器 1403:光波導 1501-1~1501-M:發送(Tx)切片、光發送器切片 1503-1~1503-M:接收(Rx)切片、光接收器(Rx)切片 1505:光波導 1507-1~1507-M:微環共振器 1509:光波導 1511-1~1511-M:微環共振器 1513:光學輸入 1515:光學輸出 1517:光學輸入 1601:光纖陣列單元 1603:光纖尾纖 1605:機械轉換套圈 2101:操作 2103:操作 2105:操作 2107:操作 2109:操作 2111:操作 d1:長度 d2:寬度 d3:寬度 d4:長度 d5:寬度 d6:寬度 d7:長度
圖1示出根據一些實施例之示例性MIPO I/O實施的HBM擴充器系統。
圖2A示出根據一些實施例之MIPO I/O實施的HBM擴充器系統。
圖2B示出根據一些實施例之MIPO I/O實施的HBM擴充器系統。
圖2C示出根據一些實施例之MIPO I/O實施的HBM擴充器系統。
圖2D示出根據一些實施例之MIPO I/O實施的HBM擴充器系統。
圖3示出根據一些實施例之諸多電及電光半導體晶片技術(包括本文所討論之TeraPHY小晶片)的互連指標相對於距離權衡。
圖4A示出根據一些實施例實施TeraPHY小晶片之系統的示例性方塊級架構。
圖4B示出根據一些實施例之TeraPHY MIPO I/O小晶片的並行介面側及並行電介面凸塊間距圖案(用於將TeraPHY MIPO I/O小晶片電連接至基板中之電連接/路由)之示例性視圖。
圖4C示出根據一些實施例之圖1A之基板的垂直剖面圖。
圖5示出根據一些實施例之本文所提之TeraPHY小晶片的示例性組織圖。
圖6示出根據一些實施例之TeraPHY小晶片的示例性佈局。
圖7示出根據一些實施例之TeraPHY小晶片之光子結構的示例性佈局。
圖8示出根據一些實施例之TeraPHY小晶片之光學巨集之給定者的示例性佈局。
圖9示出根據一些實施例之用於連接至TeraPHY小晶片的示例性FAU。
圖10示出根據一些實施例實施為多晶片封裝之HBM卡的頂視圖，其包括TeraPHY小晶片及電扇出小晶片之組合。
圖11A示出根據一些實施例透過光鏈結光連接至遠端記憶體系統之電腦系統的圖。
圖11B示出根據一些實施例之電腦系統TeraPHY MIPO I/O小晶片與遠端記憶體系統TeraPHY MIPO I/O小晶片間之光連接的更詳細視圖。
圖12示出根據一些實施例操作遠端記憶體系統之方法的流程圖。
圖13示出根據一些實施例配置遠端記憶體系統之方法的流程圖。
圖14示出根據一些實施例使用MCP上之TeraPHY小晶片與CXL 集線器/FO(扇出)晶片來實施之連接有CXL的DRAM模組圖。
圖15示出根據一些實施例之支援十個DIMM通道之連接有CXL的DRAM模組。
圖16示出根據一些實施例之支援十個DIMM通道之另一連接有CXL的DRAM模組。
圖17示出根據一些實施例之運算裝置的示例，其配置成與分別如關於圖14、15及16所述之示例性連接有CXL之DRAM模組中的任一者相接。
圖18示出根據一些實施例之運算裝置的另一示例，其配置成與分別如關於圖14、15及16所述之示例性連接有CXL之DRAM模組中的任一者相接。
圖19示出根據一些實施例之示例性光資料通信系統，其中圖17之運算模組及圖18之運算模組以光學上(over-optical)資料通信方式與圖16之遠端DRAM模組連接。
圖20示出根據一些實施例之示例性光資料通信系統，其中圖17之運算模組的多個實例以光學上資料通信方式與圖16之遠端DRAM模組的多個實例連接。
圖21示出根據一些實施例操作電腦記憶體系統之方法的流程圖。
100:HBM擴充器系統
101:SoC多晶片封裝、SoC MCP
103A:MIPO I/O小晶片
103B:MIPO I/O小晶片
103C:MIPO I/O小晶片
103D:MIPO I/O小晶片
105:SoC
107A:HBM介面
107B:HBM介面
107C:HBM介面
107D:HBM介面
109:HBM卡
111:光學扇出小晶片
113:HBM堆疊
115A:光纖陣列
115B:光纖陣列
115C:光纖陣列

Claims (50)

  1. 一種遠端記憶體系統，包括： 一多晶片封裝之一基板； 一積體電路晶片，連接至該基板，該積體電路晶片包括一高頻寬記憶體介面；以及 一電光晶片，連接至該基板，該電光晶片具有電連接至該積體電路晶片之該高頻寬記憶體介面的一電介面，該電光晶片包括配置成與一光鏈結光連接之一光子介面，該電光晶片包括包括至少一光學巨集，該至少一光學巨集之每一者配置成將透過該電介面從該高頻寬記憶體介面接收的輸出電資料訊號轉換成輸出光資料訊號，該至少一光學巨集之每一者配置成透過該光子介面將該等輸出光資料訊號傳送至該光鏈結，該至少一光學巨集之每一者配置成將透過該光子介面從該光鏈結接收的輸入光資料訊號轉換成輸入電資料訊號，該至少一光學巨集之每一者配置成透過該電介面將該等輸入電資料訊號傳送至該高頻寬記憶體介面。
  2. 如請求項1所述之遠端記憶體系統，其中該基板為一中介層及一有機基板的其中一或更多者。
  3. 如請求項1所述之遠端記憶體系統，其中該基板包括導電路由與光波導兩者。
  4. 如請求項1所述之遠端記憶體系統，其中該基板包括一重佈層結構，該積體電路晶片覆晶連接至該重佈層結構，該電光晶片覆晶連接至該重佈層結構。
  5. 如請求項1所述之遠端記憶體系統，進一步包括： 一遠端記憶體裝置，包括具有光連接至該光鏈結之一光子介面的一電光扇出晶片，該遠端記憶體裝置包括電連接至該電光扇出晶片之一電介面的一高頻寬記憶體堆疊。
  6. 如請求項5所述之遠端記憶體系統，其中該光鏈結包括一光纖陣列，該光纖陣列將該多晶片封裝之該電光晶片的該光子介面光連接至該遠端記憶體裝置之該電光扇出晶片的該光子介面。
  7. 如請求項5所述之遠端記憶體系統，其中該遠端記憶體裝置包括電連接至該電光扇出晶片之該電介面的複數高頻寬記憶體堆疊。
  8. 如請求項7所述之遠端記憶體系統，其中該多晶片封裝之該基板為一第一基板，該遠端記憶體裝置包括一第二基板，該第二基板包括電路由，該電光扇出晶片電連接至該第二基板中之該等電路由其中一些者，該複數高頻寬記憶體堆疊之每一者電連接至該第二基板中之該等電路由其中一些者。
  9. 如請求項8所述之遠端記憶體系統，其中該第二基板中之該等電路由形成該第二基板內之一重佈層結構的一部份，該電光扇出晶片覆晶連接至該重佈層結構，該複數高頻寬記憶體堆疊中之每一者覆晶連接至該重佈層結構。
  10. 如請求項5所述之遠端記憶體系統，其中該多晶片封裝之該電光晶片與該遠端記憶體裝置之該電光扇出晶片中的每一者配置成透過光鏈結實施光訊號之波長分波多工。
  11. 如請求項1所述之遠端記憶體系統，其中該至少一光學巨集中之每一者包括複數發送器切片及複數接收器切片，該複數發送器切片中之每一發送器切片包括一第一對應光微環共振器，其配置成調製連續波光以將該等輸出電資料訊號轉換成該等輸出光資料訊號，該複數接收器切片中之每一接收器切片包括一第二對應光微環共振器，其配置成光耦合該等輸入光資料訊號。
  12. 如請求項11所述之遠端記憶體系統，其中該第一對應光微環共振器配置成在一指定光波長下操作以調製具有該特定光波長之連續波光，以將該等輸出電資料訊號轉換成具有該指定光波長之該等輸出光資料訊號，該第二對應光微環共振器配置成在該指定光波長下操作以光耦合具有該指定光波長之該等輸入光資料訊號。
  13. 如請求項1所述之遠端記憶體系統，進一步包括： 至少一額外電光晶片，連接至該多晶片封裝之該基板，該至少一額外電光晶片中之每一者具有電連接至該多晶片封裝之該積體電路晶片的一對應電介面，該至少一額外電光晶片中之每一者具有光連接至一對應光鏈結之一第一端的一對應光子介面。
  14. 如請求項13所述之遠端記憶體系統，其中每一光鏈結具有光連接至一獨立遠端記憶體裝置之一獨立電光扇出晶片的一第二端。
  15. 如請求項14所述之遠端記憶體系統，其中每一遠端記憶體裝置包括電連接至該遠端記憶體裝置之該電光扇出晶片的至少一高頻寬記憶體堆疊。
  16. 一種操作遠端記憶體系統之方法，包括： 產生第一組電資料訊號，其傳輸用於一記憶體存取操作之指令； 基於該第一組電資料訊號來產生光資料訊號，該等光資料訊號傳輸用於該記憶體存取操作之該等指令； 經由一光鏈結將該等光資料訊號傳送至一遠端記憶體裝置； 在該遠端記憶體裝置處從該等光資料訊號產生第二組電資料訊號，該第二組電資料訊號傳輸用於該記憶體存取操作之該等指令；以及 使用該第二組電資料訊號以在該遠端記憶體裝置處執行該記憶體存取操作。
  17. 如請求項16所述之操作遠端記憶體系統之方法，其中該遠端記憶體裝置與在其上產生該第一組電資料訊號之一運算裝置實體分開。
  18. 如請求項16所述之操作遠端記憶體系統之方法，其中該記憶體存取操作為高頻寬記憶體存取操作。
  19. 如請求項16所述之操作遠端記憶體系統之方法，進一步包括： 透過一高頻寬記憶體介面，將該第一組電資料訊號傳送至一第一光電晶片之一電介面；以及 操作該第一電光晶片以基於該第一組電資料訊號產生該等光資料訊號並經由該光鏈結傳送該等光資料訊號。
  20. 如請求項19所述之操作遠端記憶體系統之方法，其中操作該第一電光晶片以產生該等光資料訊號包括操作該第一電光晶片上複數光微環共振器之至少一光微環共振器，以調製具有一指定光波長之連續波光，以將該第一組電資料訊號轉換成具有該指定光波長之該等光資料訊號。
  21. 如請求項19所述之操作遠端記憶體系統之方法，進一步包括： 透過該遠端記憶體裝置上一第二電光晶片之一光子介面從該光鏈結接收該等光資料訊號；以及 操作該第二電光晶片以從該等光資料訊號產生該第二組電資料訊號。
  22. 如請求項21所述之操作遠端記憶體系統之方法，進一步包括： 操作該第二電光晶片以透過該第二電光晶片之一電介面將該第二組電資料訊號傳送至該遠端記憶體裝置上之一高頻寬記憶體堆疊；以及 操作該高頻寬記憶體堆疊以使用該第二組電資料訊號而在該高頻寬記憶體堆疊內執行該記憶體存取操作。
  23. 如請求項21所述之操作遠端記憶體系統之方法，其中操作該第二電光晶片以產生該第二組電資料訊號包括操作該第二電光晶片上複數光微環共振器之至少一光微環共振器，以光耦合透過該第二電光晶片之該光子介面接收的該等光資料訊號，並將該等光耦合光資料訊號傳輸至電連接至該第二電光晶片上解調電路之一光偵測器裝置，該解調電路操作成基於傳輸至該光偵測器裝置之該等光資料訊號來產生該第二組電資料訊號。
  24. 一種配置遠端記憶體系統之方法，包括： 使一積體電路基板電連接至一第一多晶片封裝上之一第一電光晶片； 將該第一電光晶片光連接至一光鏈結之一第一端；以及 將一第二電光晶片光連接至該光鏈結之一第二端，該第二電光晶片電連接至與該第一多晶片封裝實體分開之一第二多晶片封裝上的一記憶體裝置。
  25. 如請求項24所述之配置遠端記憶體系統之方法，進一步包括： 將該積體電路晶片覆晶連接至該第一多晶片封裝之一基板內的一重佈層結構；以及 將該第一電光晶片覆晶連接至該第一多晶片封裝之該基板內的該重佈層結構。
  26. 如請求項24所述之配置遠端記憶體系統之方法，其中該光鏈結係形成為一光纖陣列。
  27. 如請求項24所述之配置遠端記憶體系統之方法，進一步包括： 將該第二電光晶片覆晶連接至該第二多晶片封裝之一基板內的一重佈層結構；以及 將該記憶體裝置覆晶連接至該第二多晶片封裝之該基板內的該重佈層結構。
  28. 如請求項24所述之配置遠端記憶體系統之方法，其中該記憶體裝置為一高頻寬記憶體堆疊。
  29. 如請求項24所述之配置遠端記憶體系統之方法，其中該第一電光晶片包括至少一光學巨集，該至少一光學巨集中之每一者配置成將從該積體電路晶片接收之輸出電資料訊號轉換成輸出光資料訊號，並透過該光鏈結傳送該等輸出光資料訊號，該至少一光學巨集中之每一者配置成將透過該光鏈結接收之輸入光資料訊號轉換成輸入電資料訊號，並將該等輸入電資料訊號傳送至該積體電路晶片。
  30. 如如請求項24所述之配置遠端記憶體系統之方法，其中該第二電光晶片包括至少一光學巨集，該至少一光學巨集中之每一者配置成將透過該光鏈結接收之輸入光資料訊號轉換成輸入電資料訊號，並將該等輸入電資料訊號傳送至該記憶體裝置，該至少一光學巨集中之每一者配置成將從該記憶體裝置接收之輸出電資料訊號轉換成輸出光資料訊號，並透過該光鏈結傳送該等輸出光資料訊號。
  31. 一種電腦記憶體系統，包括： 一電光晶片，包括一電介面及一光子介面，該光子介面配置成與一光鏈結光連接，該電光晶片包括至少一光學巨集，該至少一光巨集中之每一者配置成將透過該電介面接收之輸出電資料訊號轉換成輸出光資料訊號，該至少一光巨集中之每一者配置成透過該光子介面將該等輸出光資料訊號傳送至該光鏈結，該至少一光巨集中之每一者配置成將透過該光子介面從該光鏈結接收之輸入光資料訊號轉換成輸入電資料訊號，該至少一光巨集中之每一者配置成透過該電介面傳送該等輸入電資料訊號； 一電扇出晶片，電連接至該電光晶片之該電介面；以及 至少一雙列直插式記憶體模組(DIMM)插槽，電連接至該電扇出晶片，該至少一雙列直插式記憶體模組插槽中之每一者配置成接收一對應動態隨機存取記憶體(DRAM) DIMM，該電扇出晶片配置成引導該電光晶片與對應於該至少一雙列直插式記憶體模組插槽之每一DRAM DIMM之間的雙向電資料通信。
  32. 如請求項31所述之電腦記憶體系統，進一步包括： 一基板，包括導電路由，該電光晶片與該電扇出晶片中之每一者覆晶連接至該基板，使得該電光晶片與該電扇出晶片透過該基板內之該等導電路由其中一些者相互電連接。
  33. 如請求項32所述之電腦記憶體系統，其中該基板及該至少一DIMM插槽附接至同一模組板。
  34. 如請求項32所述之電腦記憶體系統，其中該等導電路由包含於該基板內所形成之一重佈層結構內。
  35. 如請求項31所述之電腦記憶體系統，進一步包括： 複數DIMM插槽，該至少一DIMM插槽為該複數DIMM插槽中之一者，該電扇出晶片電連接至該複數DIMM插槽中之每一者。
  36. 如請求項31所述之電腦記憶體系統，其中該光鏈結為一光纖陣列。
  37. 如請求項31所述之電腦記憶體系統，其中該至少一光學巨集中之每一者包括複數發送器切片及複數接收器切片，該複數發送器切片中之每一發送器切片包括一第一對應光微環共振器，其配置成調製連續波光以將透過該電光晶片之該電介面從該電扇出晶片接收的該等輸出電資料訊號轉換成該等輸出光資料訊號，該複數接收器切片中之每一接收器切片包括一第二對應光微環共振器，其配置成光耦合透過該電光晶片之該光子介面從該光鏈結接收的該等輸入光資料訊號。
  38. 如請求項37所述之電腦記憶體系統，其中該第一對應光微環共振器配置成在一指定光波長下操作以調製具有該特定光波長之連續波光，以將該等輸出電資料訊號轉換成具有該指定光波長之該等輸出光資料訊號，該第二對應光微環共振器配置成在該指定光波長下操作以光耦合具有該指定光波長之該等輸入光資料訊號。
  39. 如請求項37所述之電腦記憶體系統，進一步包括： 一光功率供應源，光連接至該電光晶片，該光功率供應源配置成產生連續波光，並供應該連續波光至該電光晶片內該至少一光學巨集之該複數發送器切片。
  40. 如請求項31所述之電腦記憶體系統，其中該電扇出晶片配置成實施用於一電腦處理器與安裝於該至少一DIMM插槽中之每一DRAM DIMM之間資料通信的運算快速連結(CXL)互連協議。
  41. 如請求項31所述之電腦記憶體系統，進一步包括： 複數電光晶片，所述電光晶片為該複數電光晶片中之一者，該複數電光晶片中之每一電光晶片包括一相應電介面及一相應光子介面，每一相應光子介面配置成與一相應光鏈結光連接，該複數電光晶片中之每一電光晶片包括至少一相應光學巨集，該至少一相應光學巨集中之每一者配置成將透過該相應電光晶片之該電介面從該電扇出晶片接受的輸出電資料訊號轉換成輸出光資料訊號，該至少一相應光學巨集中之每一者配置成將透過該相應電光晶片之該光子介面從該相應光鏈結接收的輸入光資料訊號轉換成輸入電資料訊號，該至少一相應光學巨集中之每一者配置成透過該相應電光晶片之該電介面將該等輸入電資料訊號傳送至該電扇出晶片。
  42. 如請求項41所述之電腦記憶體系統，其中該複數電光晶片及該電扇出晶片附接至同一模組板。
  43. 如請求項41所述之電腦記憶體系統，進一步包括： 一光功率供應源，光連接至該複數電光晶片中之每一者，該光功率供應源配置成產生連續波光，並供應該連續波光至每一該複數電光晶片內之每一光學巨集。
  44. 如請求項31所述之電腦記憶體系統，其中所述電光晶片為一第一電光晶片，該光鏈結具有光連接至該第一電光晶片之一第一端及光連接至一第二電光晶片之一第二端，該第二電光晶片包括電連接至一積體電路晶片之一對應電介面，該第二電光晶片包括光連接至該光鏈結之該第二端的一對應光子介面，該第二電光晶片包括至少一光學巨集，該第二電光晶片之該至少一光學巨集中的每一者配置成將透過該第二電光晶片之該對應電介面從該積體電路晶片接收的輸出電資料訊號轉換成輸出光資料訊號，該第二電光晶片之該至少一光學巨集中的每一者配置成透過該第二電光晶片之該對應光子介面將該等輸出光資料訊號傳送至該光鏈結，該第二電光晶片之該至少一光學巨集中的每一者配置成將透過該第二電光晶片之該對應光子介面從該光鏈結接收的輸入光資料訊號轉換成輸入電資料訊號，該第二電光晶片之該至少一光學巨集中的每一者配置成透過該第二電光晶片之該對應電介面將該等輸入電資料訊號傳送至該積體電路晶片。
  45. 一種操作電腦記憶體系統之方法，包括： 透過一光鏈結接收一第一組光資料訊號，該第一組光資料訊號傳輸用於一記憶體存取操作之指令； 基於該第一組光資料訊號來產生一第一組電資料訊號，該第一組電資料訊號傳輸用於該記憶體存取操作之該等指令； 將該第一組電資料訊號傳送到連接至一記憶體裝置之一電扇出晶片； 操作該電扇出晶片以在該記憶體裝置上根據該第一組電資料訊號執行該記憶體存取操作，其中該記憶體存取操作之執行產生傳輸該記憶體存取操作之結果的一第二組電資料訊號； 從該第二組電資料訊號產生一第二組光資料訊號，該第二組光資料訊號傳輸該記憶體存取操作之該等結果；以及 透過該光鏈結傳送該第二組光資料訊號。
  46. 如請求項45所述之操作電腦記憶體系統之方法，其中該記憶體裝置為一動態隨機存取記憶體(DRAM) 雙列直插式記憶體模組(DIMM)。
  47. 如請求項46所述之操作電腦記憶體系統之方法，其中該電扇出晶片操作成實施用於一電腦處理器與該DRAM DIMM之間資料通信的運算快速連結(CXL)互連協議。
  48. 如請求項45所述之操作電腦記憶體系統之方法，其中接收該第一組光資料訊號、產生該第一組電資料訊號、傳送該第一組電資料訊號、產生該第二組光資料訊號、及傳送該第二組光資料訊號係由一電光晶片所進行。
  49. 如請求項48所述之操作電腦記憶體系統之方法，其中產生該第一組電資料訊號包括操作該電光晶片上複數光微環共振器之至少一光微環共振器，以光耦合透過該光鏈結接收之該第一組光資料訊號，並將該第一組光耦合光資料訊號傳輸到電連接至該電光晶片上解調電路之一光偵測器裝置，該解調電路操作成基於傳輸至該光偵測器裝置之該第一組光資料訊號來產生該第一組電資料訊號。
  50. 如請求項48所述之操作電腦記憶體系統之方法，其中產生該第二組光資料訊號包括操作該電光晶片上複數光微環共振器之至少一光微環共振器，以調製具有指定光波長之連續波光，以將該第二組電資料訊號轉換成具有該指定光波長之該第二組光資料訊號。
TW110105081A 2020-02-14 2021-02-09 藉由單體式封裝光學i/o實施的遠端記憶體架構 TW202209323A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202062977047P 2020-02-14 2020-02-14
US62/977,047 2020-02-14
US202063127116P 2020-12-17 2020-12-17
US63/127,116 2020-12-17

Publications (1)

Publication Number Publication Date
TW202209323A true TW202209323A (zh) 2022-03-01

Family

ID=77271888

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110105081A TW202209323A (zh) 2020-02-14 2021-02-09 藉由單體式封裝光學i/o實施的遠端記憶體架構

Country Status (7)

Country Link
US (4) US11233580B2 (zh)
EP (1) EP4103989A4 (zh)
JP (1) JP2023513224A (zh)
KR (1) KR20220148836A (zh)
CN (1) CN115769118A (zh)
TW (1) TW202209323A (zh)
WO (1) WO2021163653A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202209323A (zh) * 2020-02-14 2022-03-01 美商爾雅實驗室公司 藉由單體式封裝光學i/o實施的遠端記憶體架構
US11817903B2 (en) 2020-08-06 2023-11-14 Celestial Ai Inc. Coherent photonic computing architectures
US11855043B1 (en) 2021-05-06 2023-12-26 Eliyan Corporation Complex system-in-package architectures leveraging high-bandwidth long-reach die-to-die connectivity over package substrates
US11842986B1 (en) 2021-11-25 2023-12-12 Eliyan Corporation Multi-chip module (MCM) with interface adapter circuitry
US11841815B1 (en) * 2021-12-31 2023-12-12 Eliyan Corporation Chiplet gearbox for low-cost multi-chip module applications
TW202401060A (zh) * 2022-02-28 2024-01-01 美商爾雅實驗室公司 具有簡化遠端光功率供應器的光通訊系統
US20230343768A1 (en) * 2022-04-25 2023-10-26 Google Llc Optical Communication for Memory Disaggregation in High Performance Computing
CN117010305A (zh) * 2022-04-29 2023-11-07 上海曦智科技有限公司 半导体装置、数据传输方法
US20240045464A1 (en) * 2022-08-04 2024-02-08 Lightmatter, Inc. Optical computing system with disaggregated memory
WO2024059299A1 (en) * 2022-09-16 2024-03-21 Nubis Communications, Inc. Photonic chiplet packaging

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100418074C (zh) * 2004-03-05 2008-09-10 菲尼萨公司 光学收发机中的分级和字节可配置存储器
US7970990B2 (en) * 2006-09-22 2011-06-28 Oracle America, Inc. Memory module with optical interconnect that enables scalable high-bandwidth memory access
CN102204124B (zh) * 2008-10-31 2015-07-01 惠普开发有限公司 具有共享光学接口的光学广播总线
CN102414670A (zh) * 2009-04-29 2012-04-11 惠普开发有限公司 光存储器扩展
US20120203957A1 (en) * 2011-02-08 2012-08-09 Ocz Technology Group Inc. Solid state memory-based mass storage device using optical input/output links
KR20140008745A (ko) * 2012-07-11 2014-01-22 삼성전자주식회사 자기 메모리 장치
KR20140113215A (ko) * 2013-03-15 2014-09-24 삼성전자주식회사 동시에 리드 및 라이트 가능한 광학 인터페이스를 포함한 메모리 모듈, pcb 및 상기 메모리 모듈과 상기 pcb를 포함하는 데이터 처리 시스템
US9391708B2 (en) * 2014-05-21 2016-07-12 Stmicroelectronics S.R.L. Multi-substrate electro-optical interconnection system
US9417395B2 (en) * 2014-12-29 2016-08-16 Verizon Patent And Licensing Inc. Optical interface with traffic protection using multi-optical path photonic switch
EP3513515A1 (en) * 2016-09-13 2019-07-24 Telefonaktiebolaget LM Ericsson (publ) Optical transceiver and method of controlling optical powers of optical channels
CN109103167B (zh) * 2017-06-20 2020-11-03 晟碟半导体（上海）有限公司 用于存储器装置的异构性扇出结构
US10989887B2 (en) * 2017-09-06 2021-04-27 Agency For Science, Technology And Research Photonic integrated circuit package and method of forming the same
US10598860B2 (en) * 2018-03-14 2020-03-24 Globalfoundries Inc. Photonic die fan out package with edge fiber coupling interface and related methods
US11043478B2 (en) * 2018-04-24 2021-06-22 Cisco Technology, Inc. Integrated circuit bridge for photonics and electrical chip integration
US10284291B1 (en) * 2018-04-25 2019-05-07 Western Digital Technologies, Inc. Node configuration in optical network
EP3811219A4 (en) * 2018-05-17 2022-03-16 Lightmatter, Inc. OPTICAL INTERFACE STACKED MEMORY AND RELATED METHODS AND SYSTEMS
EP3935763A4 (en) * 2019-03-06 2022-12-07 Lightmatter, Inc. PHOTONIC COMMUNICATION PLATFORM
US20200409438A1 (en) * 2019-06-26 2020-12-31 Micron Technology, Inc. Apparatus, methods and systems for thermally isolated signal and power transmission
TW202209323A (zh) * 2020-02-14 2022-03-01 美商爾雅實驗室公司 藉由單體式封裝光學i/o實施的遠端記憶體架構

Also Published As

Publication number Publication date
US20210257021A1 (en) 2021-08-19
US11233580B2 (en) 2022-01-25
US20210258078A1 (en) 2021-08-19
US11705972B2 (en) 2023-07-18
US20230370170A1 (en) 2023-11-16
WO2021163653A1 (en) 2021-08-19
JP2023513224A (ja) 2023-03-30
US11916602B2 (en) 2024-02-27
EP4103989A1 (en) 2022-12-21
CN115769118A (zh) 2023-03-07
US20220148627A1 (en) 2022-05-12
EP4103989A4 (en) 2024-03-20
KR20220148836A (ko) 2022-11-07

Similar Documents

Publication Publication Date Title
TW202209323A (zh) 藉由單體式封裝光學i/o實施的遠端記憶體架構
US11424837B2 (en) Method and system for large silicon photonic interposers by stitching
US11860413B2 (en) Photonic communication platform
US9316784B2 (en) Single- layer full-mesh, point-to-point network
US11579361B2 (en) TeraPHY chiplet optical input/output system
TW202208968A (zh) 使用光頻梳產生器的積體cmos光電wdm通訊系統
US20240077781A1 (en) Computer architecture with disaggregated memory and high-bandwidth communication interconnects
US20230273371A1 (en) Optical Communication System with a Simplified Remote Optical Power Supply
KR20230112667A (ko) 이더넷 스위치들을 위한 저전력 광학 입력/출력 칩렛 (teraphye)
Terzenidis et al. Optics for Disaggregating Data Centers and Disintegrating Computing
CN114660724A (zh) 多个光信号转换成和转换自具有多个偏振的单个波长以增加光学带宽
Hibbs-Brenner et al. Packaging of VCSEL arrays for cost-effective interconnects at< 10 meters