TW202036389A

TW202036389A - 用於執行反互斥或運算的計算胞元、神經網路及用於執行數位反互斥或運算的方法

Info

Publication number: TW202036389A
Application number: TW108107498A
Authority: TW
Inventors: 玻那喬斯哦拉都比; 提塔許瑞許特; 喬治亞德里安凱特爾; 萊恩麥可海雀
Original assignee: 南韓商三星電子股份有限公司
Priority date: 2018-03-08
Filing date: 2019-03-06
Publication date: 2020-10-01
Also published as: CN110245749A; TWI793278B

Abstract

本發明闡述一種用於對輸入訊號與權重執行數位反互斥或的計算胞元及方法。所述計算胞元包括至少一對鐵電場效電晶體及多個選擇電晶體。所述一（多）對鐵電場效電晶體與多個輸入線耦合並儲存所述權重。所述至少一對鐵電場效電晶體中的每一對鐵電場效電晶體包括：第一鐵電場效電晶體，接收所述輸入訊號並儲存第一權重；以及第二鐵電場效電晶體，接收所述輸入訊號的補數並儲存第二權重。所述選擇電晶體與所述一對鐵電場效電晶體耦合。

Description

用於執行反互斥或運算的計算胞元、神經網路及用於執行數位反互斥或運算的方法

本發明大體而言是有關於神經網路，且更具體而言，是有關於一種可在神經形態計算中使用的基於鐵電場效電晶體的反互斥或胞元。

涉及深度學習神經網路（Neural Network，NN）或神經形態計算（neuromorphic computing）的應用（例如影像辨識、自然語言處理及更一般而言各種型樣匹配或分類任務）正迅速變得像通用計算一樣重要。NN的基本計算元素或神經元（neuron）將一組輸入訊號與一組權重相乘並對各乘積進行求和。因此，神經元執行向量-矩陣乘積（vector-matrix product）或乘法-累加（multiply-accumulate，MAC）運算。NN通常包括大量經互連的神經元，所述神經元中的每一者執行MAC運算。因此，NN的運算是計算密集型的。

可藉由改良MAC運算的效率來改良NN的效能。將期望在本地端儲存權重，以降低動態隨機存取記憶體（dynamic random access memory，DRAM）存取的功率及頻率。亦可期望以數位方式執行MAC運算，以幫助降低雜訊及過程變異性（process variability）。二值化神經元可能夠滿足該些目標。因此，已開發出一種二值化加權反互斥或網路（XNORNet）。

在二值化反互斥或（XNOR）胞元中，權重w在數學上是1及-1，但以數位方式被表示為1及0。同樣地，訊號x在數學上是1及-1，但由1及0以數位方式表示。乘法運算p_i =w_i x_i 的結果只有當x及w均為1且在數學上均為-1（在布林表示法（Boolean representation）中均為0）時才是正的。此正是互斥或運算的邏輯非（反互斥或）。因此，單獨的權重與訊號的乘積可被表達為p_i =XNOR (w_i ,x_i )。給定神經元的完整MAC運算被表達為

，或以布林法被表達為sum =2Count(XNOR(w,x))-n 。計數運算對反互斥或表達式的非零結果的數目進行計數，其中n是神經元的輸入的總數。然後，對照偏差（bias）對結果進行定限（threshold），進而得到神經元的高態輸出或低態輸出。整個過程是數位的。因此，不會招致與類比處理相關聯的資訊丟失。

然而，對權重二值化表示法的使用可成為資訊丟失的來源。二值化網路通常使用較類比（或多位元數位）網路實質上更多的神經元來獲得相同水準的總體準確度。若權重為三值化而非二值化的，則可達成顯著改良。三值化權重採取數學值-1、0及1。對於輸入的任一組合，權重0均產生輸出-1（邏輯0）。因此，三值化反互斥或閘（亦被稱為「閘式反互斥或（Gated XNOR）」）的輸出由以下給出：

當以上述方程式來執行反互斥或運算時，非零權重及所有訊號自{-1, 1}域被映射至{0, 1}布林域。所述映射是在基於權重的數學值進行分支（branching）之後執行。

當使用相同數目的神經元時，三值化網路可相對於二值化網路提供改良的準確度。作為另外一種選擇，三值化網路可達成與二值化網路相同水準的準確度，但是以數目更小的神經元來達成。此得到面積、功率及推論通量（throughput）及時延的節省。因此，二值化數位反互斥或網路及三值化數位反互斥或網路均可用於例如NN等應用中。需要一種改良的反互斥或邏輯胞元，以增強數位二值化NN運算及/或數位三值化NN運算或者其他邏輯運算。

根據一些實施例，一種用於對輸入訊號與權重執行反互斥或運算的計算胞元包括：至少一對鐵電場效電晶體（ferroelectric field-effect transistor，FE-FET），與多個輸入線耦合並儲存所述權重，所述至少一對FE-FET中的每一對FE-FET包括第一FE-FET及第二FE-FET，所述第一FE-FET接收所述輸入訊號並儲存第一權重，所述第二FE-FET接收所述輸入訊號的補數並儲存第二權重；以及多個選擇電晶體，與所述一對FE-FET耦合。

各示例性實施例是有關於執行反互斥或運算且可用於多種領域中的數位計算胞元，所述領域包括但不限於機器學習、人工智慧、神經形態計算及神經網路。所述方法及系統可延伸至其中使用邏輯裝置的其他應用。呈現以下說明是為了使此項技術中具有通常知識者能夠製作及使用本發明，且以下說明是在專利申請案及其要求的上下文中提供。將易於明瞭對本文所述的示例性實施例以及一般原理及特徵的各種潤飾。各示例性實施例主要是依照在特定實施方案中所提供的特定方法及系統來加以闡述。然而，在其他實施方案中，所述方法及系統將有效地運行。

例如「示例性實施例」、「一個實施例」及「另一實施例」等片語可指代同一實施例或不同的實施例以及多個實施例。將參照具有某些組件的系統及/或裝置來闡述各實施例。然而，所述系統及/或裝置可包括比所示者更多或更少的組件，且在不背離本發明的範圍的條件下，可對組件的配置及類型作出變化。亦將在具有某些步驟的特定方法的上下文中闡述各示例性實施例。然而，對於具有不同及/或附加步驟以及呈與示例性實施例並不相悖的不同次序的步驟的其他方法，所述方法及系統有效地運行。因此，本發明並非旨在僅限於所示的實施例，而是應被賦予與本文所述的原理及特徵相一致的最寬廣範圍。

除非本文中另有指示或明顯地與上下文相矛盾，否則在對本發明進行闡述的上下文中（尤其在以下申請專利範圍的上下文中）所使用的用語「一個（a及an）」以及「所述（the）」以及相似指代語應被解釋為涵蓋單數形式及複數形式。除非另有說明，否則用語「包括（comprising、including）」、「具有（having）」及「包含（containing）」應被解釋為開放式用語（即，意指「包括但不限於）。

除非另有定義，否則本文中所使用的所有技術用語及科學用語均具有與本發明所屬的技術中具有通常知識者通常所理解的含義相同的含義。應注意，除非另有規定，否則對本文所提供的任何及所有實例或示例性用語的使用僅旨在更好地闡明本發明，而非對本發明的範圍進行限制。此外，除非另有定義，否則在通用的詞典中所定義的所有用語不應被過度解讀。

本發明闡述一種用於對輸入訊號與權重執行數位反互斥或的計算胞元及方法。所述計算胞元包括至少一對FE-FET及多個選擇電晶體。所述一（多）對FE-FET與多個輸入線耦合並儲存所述權重。所述至少一對FE-FET中的每一對FE-FET包括：第一FE-FET，接收所述輸入訊號並儲存第一權重；以及第二FE-FET，接收所述輸入訊號的補數並儲存第二權重。所述選擇電晶體與所述一對FE-FET耦合。

圖1是繪示數位反互斥或計算胞元100的示例性實施例的方塊圖。為簡單起見，僅示出反互斥或胞元100的一部分。計算胞元100以數位方式對輸入訊號與權重執行反互斥或運算。因此，計算胞元100可被視為神經形態計算胞元。此外，計算胞元100可執行二值化反互斥或運算或者三值化反互斥或運算。

計算胞元100包括至少兩個鐵電場效電晶體（FE-FET）110及120、選擇電晶體130以及可選的重設電晶體140。圖中亦示出輸入線102及104以及輸出線106及選擇線108。輸入線102及104分別接收輸入訊號及其補數以用於推論運算。輸出線106提供反互斥或運算的結果。例如，若計算胞元100是神經網路（NN）的一部分，則選擇線108可用於選擇計算胞元100來進行運算。

計算胞元100包括至少兩個FE-FET 110及120。在其他實施例中，可使用多於兩個FE-FET，但是以胞元密度為代價。在其他實施例中，每一計算胞元僅包括兩個FE-FET 110及120。FE-FET 110及120中的每一者包括鐵電層（圖1中未明確示出）及電晶體（例如，FET），所述鐵電層通常駐存於兩個金屬層之間，進而形成鐵電電容器。在替代實施例中，鐵電層可替換閘極氧化物。鐵電層藉由鐵電層的極化狀態來儲存權重。舉例而言，鐵電層可包含鋯鈦酸鉛（PbZrTi）、氧化鋯鉿（HfZrO）、鈦酸鋇（BaTiO₃ ）、鈦酸鉍（B₁₂ TiO₂₀ ）、碲化鍺（GeTe）及Ba_x Eu_1-x TiO₃ 中的至少一者，其中x大於0且不大於1。在其他實施例中，可使用另一種及/或附加鐵電材料。

在運算中，可使用重設-評估邏輯（reset-evaluate logic）。因此，可在推論運算（即，使用先前所程式化權重的反互斥或運算）開始時重設儲存節點150。為執行推論運算，分別經由輸入線102及104將輸入x及其補數x_bar提供至FE-FET 110及120。FE-FET 110及120內的鐵電層的極化基於被程式化至FE-FET 110及120中的權重而變化。在推論運算期間，對動態儲存節點150執行選擇性上拉。然後，可經由輸出線106輸出動態儲存節點電壓，以評估或提供反互斥或運算的結果。因此，FE-FET 110及120被連接以使得輸出線106提供輸入訊號x與由FE-FET 110及120儲存的權重w的反互斥或。選擇電晶體130選擇反互斥或胞元100來進行運算。可選的重設電晶體140可用於顯式地重設計算胞元100以例如進行三值化運算。在其他實施例中，可以另一種方式來執行重設操作。因此，可以二值化模式或三值化模式來使用計算胞元100。

計算胞元100可高效地實施反互斥或運算，且可以相對緊湊的方式來實作。由於運算是數位的，因此可減少或消除關於類比反互斥或運算的問題。舉例而言，數位權重的使用為FE-FET 110及120得到程式化穩健性。數位運算亦可為輸出106引起較少雜訊。可避免使用類比至數位轉換器（analog to digital converter，ADC），且亦可節省功率及面積。權重亦在本地端儲存於用作非揮發性記憶體的FE-FET 110及120中。可使得推論運算更高效且更快速。如下所述，計算胞元100可提供二值化或三值化反互斥或。因此，計算胞元100可以數位方式高效且可靠地執行反互斥或運算。

圖2是繪示數位神經網路的一部分180的示例性實施例的方塊圖。部分180可被視為神經元。神經元180執行乘法-累加（MAC）運算。神經元180說明計算胞元100的可能用途且並非旨在進行限制。

神經元180包括多個計算胞元100-1、100-2、100-3及100-4（統稱為計算胞元100）、以及位元計數與正負號區塊（bit count and sign block）190。在此實施例中，期望將四個輸入x1/x1_bar、x2/x2_bar、x3/x3_bar及x4/x4_bar與四個權重組合。因此，使用四個計算胞元100來執行四個反互斥或運算。在替代實施例中，可使用另一數目的計算胞元100。圖2所示計算胞元100-1、100-2、100-3及100-4中的每一者以與圖1所示計算胞元100類似的方式運行。位元計數與正負號區塊190對來自所述四個反互斥或胞元100的非零結果的數目進行計數並減去4（即神經元180的輸入訊號的數目）。然後，對照偏差對結果進行定限，進而得到神經元180的高態輸出或低態輸出。

因此，使用計算胞元100的神經元180可執行MAC運算。由於神經元180使用以硬體實作的胞元，因此神經元180高效地運行。MAC運算可以數位方式來執行，此避免關於類比反互斥或運算的問題。如參照圖1所述，由計算胞元100執行的反互斥或運算亦可為緊湊、高效的且以二值化模式或三值化模式運行。因此，神經元180的效能可得以改良。

圖3繪示用於執行數位反互斥或運算的計算胞元100A的示例性實施例的示意圖。計算胞元100A類似於反互斥或胞元100，且可用於神經元180或其他應用中。因此，計算胞元100A的與反互斥或胞元100中的組件類似的部分被相似地標示。因此，反互斥或胞元100A包括分別與輸入線102及104、FE-FET 110及120、選擇電晶體130、輸出線106及選擇線108類似的輸入線102及104、FE-FET 110A及120A、選擇電晶體132及134、輸出線106及選擇線108。圖中亦示出動態輸出節點150以及程式化線152及154。在所示的實施例中，選擇電晶體132及134為n-FET。FE-FET 110A及120A被示出為分別包括FET 112及122且分別包括具有鐵電層的鐵電電容器114及124。舉例而言，圖4繪示可在執行數位反互斥或運算的計算胞元中使用的FE-FET 110A/120A的一部分的示例性實施例。FE-FET 110A/120A包括FET 112/122及電容器114/124。介電層116/126可包含PbZrTi、HfZrO、BaTiO₃ 、B₁₂ TiO₂₀ 、GeTe及Ba_x Eu_1-x TiO₃ 中的一或多者，其中x大於0且不大於1。在一些實施例中，鐵電層116/126被併入至第一金屬（M1）層中。在其他實施例中，鐵電層116/126可被併入至其他層中。

輸入線102及104分別載運輸入訊號x及其補數x_bar。輸入線102及104分別連接至FE-FET 110A及120A的源極。FE-FET 110A及120A的閘極分別經由選擇電晶體132及134分別連接至程式化線152及154。程式化線152及154分別提供程式化訊號P及其補數P_bar。各FE-FET的汲極耦合於一起且形成動態輸出節點150。選擇電晶體132及134的源極分別連接至FE-FET 110A及120A，選擇電晶體132及134的汲極分別連接至程式化線152及154，且選擇電晶體132及134的閘極連接至選擇線108。

如上所述，儲存於FE-FET 110A及120A中的權重由鐵電層114及124的極化決定。該些權重可在晶片外被訓練。舉例而言，若計算胞元100A的預期應用僅為推論（晶片外訓練），則抹除操作及程式化操作是不頻繁地執行。因此，FE-FET 110A及120A可僅在期望改變權重時被程式化。在一些實施例中，例如，為考量到晶片外訓練的改良，此程式化可每年僅發生幾次。在替代實施例中，FE-FET 110A及120A可更頻繁或更不頻繁地被程式化。

程式化至FE-FET 110A及120A中的權重取決於是期望計算胞元100A以二值化模式還是以三值化模式使用。兩個FE-FET 110A及120A中所儲存的狀態對於非零權重可互為補數或者對於零權重可為相等的（例如，為其兩者設定高Vt狀態）。對於三值化運算或零權重，可發生零權重的使用。

為程式化權重，首先將計算胞元100A抹除且然後進行程式化。若以陣列的形式存在，則可首先將整個陣列中的所有計算胞元100全域地抹除，且然後可程式化單獨的非零位元。為將胞元100A（及陣列中的所有胞元）抹除，將程式化線152及154上的訊號P及P_bar設定成低態（例如，設定成地），且將輸入線102及104上的輸入x及x_bar設定成高態。計算胞元100A的輸出線106被容許浮置。結果是：在胞元100A及陣列中，跨每一FE-FET 110A中的鐵電電容器114及每一FE-FET 120A中的鐵電電容器124存在負電壓。在抹除結束時，每一FE-FET 110A及120A在FE-FET 110A及120A中的基本FET 112及122的閘極的節點上具有小電壓、零電壓或略負電壓。此將所有FE-FET 110A及120A置於低導通性狀態。

圖5是繪示對執行數位反互斥或運算的計算胞元的示例性實施例的程式化的時序圖200。在圖5所示的實施例中，程式化線152及154被施加脈衝而達到適度高的電壓，例如2.5伏（V）至3伏。參照圖3及圖5，實線202表示施加至程式化線152及154的電壓，點線204表示輸入線102及104上的輸入電壓x或x_bar。短劃線206是在抹除過程中FE-FET 110A及120A的FET 112及122的閘極處的電壓。在垂直線209左側的所施加電壓表示可將FE-FET 110A及120A抹除的所施加電壓。抹除在線209處完成。因此，剛到達線209的右側，FE-FET 110A及120A的閘極的節點處的電壓便為小的。因此，FE-FET 110A及120A均已被抹除至低的閘極電壓。

在抹除完成之後，可將FE-FET 110A及120A程式化。程式化事件設定表示由FE-FET 110A及120A儲存的數學權重的單獨的位元。若期望進行三值化運算，則僅程式化非零權重。程式化是藉由將訊號輸入線102及104接地（x、x_bar為低態）並將高電壓施加至程式化線152（P為高態）或程式化線152（P_bar為高態）來達成。為被程式化的每一計算胞元100A接通選擇線108。程式化線152或154上的高電壓分別使得跨每一FE-FET 110A中的鐵電電容器114或每一FE-FET 120A中的鐵電電容器124存在正電壓。因此，引起極化狀態的改變。每一FE-FET的閘極節點現在被程式化至高的正電壓，進而將基本FET設定成導通狀態。在圖5中，FE-FET 110A（其可儲存權重）的最終經程式化狀態的閘極電壓由短劃線207示出，而FE-FET 120A（其可儲存權重補數）的最終經程式化狀態的閘極電壓由短劃線208示出。因此，FE-FET 110A及120A中的一或兩者可被程式化。在圖5中，閘極電壓207與208不同。在一些實施例中，接通狀態FET與關斷狀態FET之間的最終電壓差是大致500毫伏（mV）。此可對應於一般的7奈米（nm）節點FET。可藉由改良鐵電電容器114及124的鐵電極化對非鐵電極化的比率而顯著增大所述電壓差。舉例而言，可使用具有較強鐵電極化的較厚鐵電電容器/較厚鐵電層116/126。因此，可使用抹除-程式化將權重程式化至FE-FET 110A及120A中。

為執行推論運算，分別在輸入線102及104上提供輸入x及其補數x_bar。將選擇線108驅動成低態。因此，FE-FET 110A及120A的閘極被容許浮置。FE-FET 110A及120A的閘極被容許可浮置，以容許閘極電壓在推論運算期間超過供電電壓且提供全輸出擺幅（full output swing）。期望將鐵電電壓的差最小化或減小，以抑制讀取干擾（read disturbance）。可在儲存節點150上產生計算胞元100A的輸出（輸入x與權重的反互斥或）。因此，推論運算可被執行。用於執行推論運算的時間亦可保持為小的。舉例而言，圖6是繪示執行數位反互斥或運算的計算胞元的示例性實施例的推論運算的時序的圖210。短劃線212指示輸入線102上的輸入x自低態轉變成高態。短劃線214及點線216指示在推論運算期間於FE-FET 110A及120A的閘極（即，電晶體112的閘極及電晶體122的閘極）上產生的電壓。如在圖6中可看出，趨穩至最終電壓可在少於0.1奈秒（ns）內發生。

因此，計算胞元100A可具有改良的效能。計算胞元100A可利用僅兩個FE-FET 110A及120A與兩個選擇n型FET（nFET） 132及134的組合。因此，計算胞元100A可為緊湊的。由於FE-FET 110A及120A可以數位方式被程式化，因此程式化可為穩健的。權重是藉由鐵電層116/126的極化而在本地端儲存。由於不需要自晶片外DRAM存取權重，因此時間及功率得以節省。由於計算胞元100A可以數位方式執行反互斥或（推論）運算，因此與類比實施方案相較，在儲存節點150上產生的輸出可展現出降低的雜訊。此外，推論運算是迅速且高效地執行。計算胞元100A對於讀取干擾可為穩健的。各FE-FET的閘極節點（鐵電電容器114及124的頂部節點）在推論期間浮置。因此，推論事件跨鐵電電容器114/124自身而確立（assert）極小的電壓。此外，此小的電壓增量是在較標準鐵電材料的鐵電極化回應小得多的時間標度上發生。如上參照圖6所述，推論時間可合理地被保持於0.1奈秒之下。此時間標度可較標準鐵電材料的鐵電回應的時間小得多。此乃因期望在推論運算期間鐵電極化不發生改變。此回應時間較PbZrTi回應快大約兩個數量級，且較HfZrO回應快至少幾個數量級。因此，預期鐵電層116/126的極化不發生改變。因此，反覆的推論事件可對FE-FET 110A及120A中的閘極節點電壓幾乎沒有影響。此表明鐵電層116/126的極化狀態一直未發生改變。因此，推論運算/讀取操作可不干擾FE-FET 110A及120A的經程式化狀態。

亦可在三值化運算中使用計算胞元100A。對於三值化運算，使用完整權重集合{1, 0, -1}。對於零權重，在以上所述的抹除之後不將計算胞元100A程式化。換言之，抹除-程式化操作是簡單地藉由將計算胞元100A抹除而完成。然而，存在因反覆推論而在儲存節點150處發生電荷累積的可能性。此發生可能是由於當FE-FET 110A及120A均關斷（對於零權重而言，即為此種情形）時動態儲存節點150的自然放電率與推論率相較為低的。為防止發生此種電荷累積，在三值化運算的每次推論之前執行顯式重設。在反互斥或網路情形中，輸入線102及104的x及x_bar的最初接地狀態足以藉由FeFET 110A及/或120A將儲存節點150放電。

在一個實施例中，可在無任何附加電晶體或互連線的情況下使用計算胞元100A。在此種實施例中，儲存節點150藉由FE-FET 110A及120A被放電。然而，藉由在選擇電晶體132及134接通的同時分別對程式化線152及154施加高電壓來提高FE-FET 110A及120A的導通性。FE-FET 110A及120A上閘極電壓的增添使得常關型FE-FET 110A及120A臨時更具導通性。FE-FET 110A及120A的此種較高導通性使得儲存節點150能夠被快速放電。雖然此種方法起作用，然而在每次推論時，均會對程式化線152及154施加高電壓脈衝。此在原本極不頻繁地受到應力的選擇電晶體132及134上造成增大的電源與電壓應力。作為另外一種選擇，可使用計算胞元的不同實施例。

圖7繪示用於藉由顯式重設操作來執行數位反互斥或運算的計算胞元100B的另一示例性實施例。計算胞元100B類似於反互斥或胞元100及計算胞元100A。因此，計算胞元100B可用於神經元180或其他應用中。因此，計算胞元100B的與胞元100/100A中的組件類似的部分被相似地標示。因此，計算胞元100B包括分別與輸入線102及104、FE-FET 110/110A及120/120A、選擇電晶體130/132及134、輸出線106以及選擇線108類似的輸入線102及104、FE-FET 110B及120B、選擇電晶體132及134、輸出線106以及選擇線108。圖中亦示出與圖3所示者類似的動態輸出節點150以及程式化線152及154。選擇電晶體132及134是n-FET。FE-FET 110B及120B分別包括FET 112及122且分別包括具有鐵電層的鐵電電容器114及124。FET 112及122以及鐵電電容器114及124類似於圖3所示者。介電層（圖7中未標示）可包含PbZrTi、HfZrO、BaTiO₃ 、B₁₂ TiO₂₀ 、GeTe及Ba_x Eu_1-x TiO₃ 中的一或多者，其中x大於0且不大於1。組件102、104、106、108、110B、112、114、120B、122、124、132、134、150、152及154的結構及功能類似於圖2至圖4中編號相同的組件。

計算胞元100B亦包括重設電晶體140（其可為n-FET）以及重設線142。重設電晶體140的閘極耦合至重設線142，而源極耦合至地。為將FE-FET 110B及120B抹除，將重設線142設定成低態，對程式化線152及154低態地施加脈衝，且將輸入線102及104設定成高態。對於推論/反互斥或運算，在分別於輸入線102及104上施加輸入x及x_bar之前，藉由將重設線142通電來接通重設FET 140。因此，重設電晶體140的使用將儲存節點150放電。然後，可施加輸入x及x_bar，且可執行推論運算。因此，在以三值化模式使用計算胞元100B時，可避免出現以上所述的高電壓。在以下兩種情形之間所作的選擇取決於目標及技術約束：利用較小計算胞元100A而對程式化線152及154施加高電壓、與利用具有重設FET 140的較大計算胞元100B但不採用高電壓。

圖8是繪示用於使用硬體胞元的示例性實施例來執行反互斥或運算的方法的示例性實施例的流程圖。為簡單起見，一些步驟可被省略、以另一次序來執行及/或加以組合。方法300亦係在反互斥或胞元100/100A/100B的上下文中加以闡述。然而，方法300可結合另一反互斥或計算胞元而使用。

藉由步驟302，將權重程式化至FE-FET 110/110A/110B及120/120A/120B中。因此，可如上所述來執行步驟302。舉例而言，步驟302可包括將計算胞元100/100A/100B抹除，隨後進行程式化步驟。雖然被示出為流程300的一部分，然而步驟302可在方法300的其餘步驟很久之前實施且可與所述其餘步驟脫離。

藉由步驟304，視需要將重設線142驅動成高態、然後驅動成低態，以為重設電晶體140賦能。步驟304是針對計算胞元100B而執行。作為另外一種選擇，可藉由所施加電壓來重設FE-FET 110A及120A。藉由步驟306，接收訊號及其補數。步驟306可包括分別在輸入線102及104中接收x_value及x_value_bar。如上所述來執行推論運算。然後，藉由步驟308，可轉發反互斥或運算的結果。

因此，使用方法300，可使用反互斥或胞元100、100A、100B及/或類似的裝置。因此，可達成反互斥或胞元100、100A、100B及/或類似的裝置中的一或多者的優點。已闡述了一種用於以二值化模式或三值化模式使用緊湊FE-FET計算胞元100/100A/100B來執行數位反互斥或運算的方法及系統。已根據所示的示例性實施例闡述了所述方法及系統，且此項技術中具有通常知識者將容易認識到，可對各實施例作出變化，且任何變化將處於所述方法及系統的精神及範圍內。因此，在不背離隨附申請專利範圍的精神及範圍的條件下，此項技術中具有通常知識者可作出諸多潤飾。

100:數位反互斥或計算胞元/反互斥或胞元/計算胞元 100-1、100-2、100-3、100-4:計算胞元 100A:計算胞元/反互斥或胞元/胞元/緊湊FE-FET計算胞元 100B:計算胞元/反互斥或胞元/緊湊FE-FET計算胞元 102、104:輸入線/訊號輸入線/組件 106:輸出線/輸出/組件 108:選擇線/組件 110、110A、120、120A:FE-FET 110B、120B:FE-FET/組件 112、122:FET/電晶體/組件 114、124:鐵電電容器/電容器/鐵電層/組件 116、126:介電層/鐵電層 130:選擇電晶體 132、134:選擇電晶體/選擇nFET/組件 140:重設電晶體/重設FET 142:重設線 150:儲存節點/動態儲存節點/動態輸出節點/組件 152、154:程式化線/組件 180:數位神經網路的一部分/神經元 190:位元計數與正負號區塊 200、210:時序圖 202:實線 204、216:點線 206、207、208、212、214:短劃線 209:垂直線 300:方法/流程 302、304、306、308:步驟 P:程式化訊號/訊號 P_bar:程式化訊號的補數/訊號 x:輸入/輸入電壓 x1、x1_bar、x2、x2_bar、x3、x3_bar、x4、x4_bar:輸入 x_bar:輸入的補數/輸入電壓/輸入

圖1是繪示數位反互斥或計算胞元的示例性實施例的方塊圖。圖2是繪示神經網路的一部分的示例性實施例的方塊圖，所述神經網路包括多個反互斥或計算胞元且執行乘法-累加運算。圖3繪示用於執行數位反互斥或運算的計算胞元的示例性實施例。圖4繪示可在執行數位反互斥或運算的計算胞元中使用的FE-FET的一部分的示例性實施例。圖5是繪示對執行數位反互斥或運算的計算胞元的示例性實施例的程式化的時序圖。圖6是繪示執行數位反互斥或運算的計算胞元的示例性實施例的推論運算的時序的圖。圖7繪示用於執行數位反互斥或運算的計算胞元的另一示例性實施例。圖8是繪示用於使用計算胞元的示例性實施例來執行反互斥或運算的方法的示例性實施例的流程圖。

100:數位反互斥或計算胞元/反互斥或胞元/計算胞元

102、104:輸入線/訊號輸入線/組件

106:輸出線/輸出/組件

108:選擇線/組件

110、120:FE-FET

130:選擇電晶體

140:重設電晶體/重設FET

150:儲存節點/動態儲存節點/動態輸出節點/組件

x:輸入/輸入電壓

x_bar:輸入的補數/輸入電壓/輸入

Claims

一種用於對輸入訊號與權重執行反互斥或運算的計算胞元，包括：至少一對鐵電場效電晶體，與多個輸入線耦合並儲存所述權重，每一對鐵電場效電晶體包括第一鐵電場效電晶體及第二鐵電場效電晶體，所述第一鐵電場效電晶體接收所述輸入訊號並儲存第一權重，所述第二鐵電場效電晶體接收所述輸入訊號的補數並儲存第二權重；多個選擇電晶體，與所述至少一對鐵電場效電晶體耦合。
如申請專利範圍第1項所述的計算胞元，其中所述多個選擇電晶體包括第一選擇電晶體及第二選擇電晶體，所述選擇電晶體中的每一者包括閘極、源極及汲極，所述第一選擇電晶體的所述源極連接至所述第一鐵電場效電晶體的第一閘極，所述第二選擇電晶體的所述源極連接至所述第二鐵電場效電晶體的第二閘極，所述第一選擇電晶體的所述閘極及所述第二選擇電晶體的所述閘極耦合至選擇線。
如申請專利範圍第2項所述的計算胞元，其中所述第一選擇電晶體的所述汲極與程式化線耦合，且所述第二選擇電晶體的所述汲極與程式化補數線耦合。
如申請專利範圍第1項所述的計算胞元，其中所述第一鐵電場效電晶體包括第一汲極及第一源極，所述第一源極與所述多個輸入線中的第一輸入線耦合，且其中所述第二鐵電場效電晶體包括第二源極及第二汲極，所述第二源極與所述多個輸入線中的第二輸入線耦合，所述第二汲極與所述第一汲極耦合以提供動態儲存節點。
如申請專利範圍第4項所述的計算胞元，更包括：重設電晶體，具有重設電晶體源極、重設電晶體閘極及重設電晶體汲極，所述重設電晶體源極連接至所述動態儲存節點，所述重設電晶體閘極與重設線耦合。
如申請專利範圍第1項所述的計算胞元，其中所述第一鐵電場效電晶體包含第一鐵電材料，所述第二鐵電場效電晶體包含第二鐵電材料，所述第一鐵電材料及所述第二鐵電材料包括PbZrTi、HfZrO、BaTiO₃ 、B₁₂ TiO₂₀ 、GeTe及Ba_x Eu_1-x TiO₃ 中的至少一者，其中x大於0且不大於1。
如申請專利範圍第1項所述的計算胞元，其中所述第一權重與所述第二權重在所述權重為非零時互為補數且在所述權重為零時相等。
如申請專利範圍第1項所述的計算胞元，其中所述至少一對鐵電場效電晶體由所述第一鐵電場效電晶體及所述第二鐵電場效電晶體組成，且所述多個選擇電晶體由第一選擇電晶體及第二選擇電晶體組成。
一種神經網路，包括：多個輸入線；多個反互斥或胞元，所述多個反互斥或胞元中的每一者用於對輸入訊號與權重執行數位反互斥或運算，所述多個反互斥或胞元中的每一者包括至少一對鐵電場效電晶體及多個選擇電晶體，所述多個選擇電晶體與所述至少一對鐵電場效電晶體耦合，所述至少一對鐵電場效電晶體與所述多個輸入線的一部分耦合並儲存所述權重，每一對鐵電場效電晶體包括第一鐵電場效電晶體及第二鐵電場效電晶體，所述第一鐵電場效電晶體接收所述輸入訊號並儲存第一權重，所述第二鐵電場效電晶體接收所述輸入訊號的補數並儲存第二權重。
如申請專利範圍第9項所述的神經網路，其中所述多個選擇電晶體包括第一選擇電晶體及第二選擇電晶體，所述選擇電晶體中的每一者包括閘極、源極及汲極，所述第一選擇電晶體的所述源極連接至所述第一鐵電場效電晶體的第一閘極，所述第二選擇電晶體的所述源極連接至所述第二鐵電場效電晶體的第二閘極，所述第一選擇電晶體的所述閘極及所述第二選擇電晶體的所述閘極耦合至選擇線，所述第一選擇電晶體的所述汲極與程式化線耦合，且所述第二選擇電晶體的所述汲極與程式化補數線耦合，並且其中所述至少一對鐵電場效電晶體由所述第一鐵電場效電晶體及所述第二鐵電場效電晶體組成。
如申請專利範圍第10項所述的神經網路，其中所述第一鐵電場效電晶體包括第一汲極及第一源極，所述第一源極與所述多個輸入線中的第一輸入線耦合，且其中所述第二鐵電場效電晶體包括第二汲極及第二源極，所述第二源極與所述多個輸入線中的第二輸入線耦合，所述第一汲極與所述第二汲極耦合以形成動態儲存節點。
如申請專利範圍第11項所述的神經網路，其中所述多個反互斥或胞元中的每一者更包括：重設電晶體，具有重設電晶體源極、重設電晶體閘極及重設電晶體汲極，所述重設電晶體源極連接至所述動態儲存節點，且其中所述神經網路更包括：多個重設線，所述多個重設線中的每一者與所述多個反互斥或胞元中的至少一者的所述重設電晶體閘極耦合。
如申請專利範圍第9項所述的神經網路，其中所述第一鐵電場效電晶體包含第一鐵電材料，所述第二鐵電場效電晶體包含第二鐵電材料，所述第一鐵電材料及所述第二鐵電材料包括PbZrTi、HfZrO、BaTiO₃ 、B₁₂ TiO₂₀ 、GeTe及Ba_x Eu_1-x TiO₃ 中的至少一者，其中x大於零且不大於1，並且其中所述第一鐵電材料與所述第二鐵電材料整合於所述神經網路的第一金屬層或更高層處。
一種用於執行數位反互斥或運算的方法，包括：將輸入訊號及所述輸入訊號的補數提供至用於對所述輸入訊號與權重執行數位反互斥或運算的反互斥或胞元，所述反互斥或胞元包括至少一對鐵電場效電晶體及多個選擇電晶體，所述多個選擇電晶體與所述至少一對鐵電場效電晶體耦合，所述至少一對鐵電場效電晶體與多個輸入線耦合並儲存所述權重，每一對鐵電場效電晶體包括第一鐵電場效電晶體及第二鐵電場效電晶體，所述第一鐵電場效電晶體接收所述輸入訊號並儲存第一權重，所述第二鐵電場效電晶體接收所述輸入訊號的補數並儲存第二權重。
如申請專利範圍第14項所述的方法，其中所述多個選擇電晶體包括第一選擇電晶體及第二選擇電晶體，所述至少一對鐵電場效電晶體由所述第一鐵電場效電晶體及所述第二鐵電場效電晶體組成，所述選擇電晶體中的每一者包括閘極、源極及汲極，所述第一選擇電晶體的所述源極連接至所述第一鐵電場效電晶體的第一閘極，所述第二選擇電晶體的所述源極連接至所述第二鐵電場效電晶體的第二閘極，所述第一選擇電晶體的所述汲極與程式化線耦合，所述第二選擇電晶體的所述汲極與程式化補數線耦合，所述第一選擇電晶體的所述閘極及所述第二選擇電晶體的所述閘極耦合至選擇線，所述方法更包括：將所述第一權重及所述第二權重程式化至所述第一鐵電場效電晶體及所述第二鐵電場效電晶體中，程式化所述第一權重及所述第二權重的步驟更包括：藉由將所述程式化線設定成地、將所述程式化補數線設定成所述地、將所述選擇線設定成高狀態、將所述多個輸入線中的輸入線及輸入補數線設定成所述高狀態來將所述第一鐵電場效電晶體及所述第二鐵電場效電晶體抹除；以及在所述抹除步驟之後，藉由將所述輸入線設定成所述地、將所述輸入補數線設定成所述地、將所述選擇線設定成所述高狀態並進行以下操作中的一者來對所述第一鐵電場效電晶體及所述第二鐵電場效電晶體進行寫入：對所述程式化線施加脈衝、對所述程式化補數線施加脈衝、以及不對所述程式化線及所述程式化補數線中的任一者施加脈衝。
如申請專利範圍第15項所述的方法，其中所述程式化步驟使用非負電壓。
如申請專利範圍第15項所述的方法，其中所述提供所述輸入訊號的步驟更包括：實作重設步驟及評估步驟。
如申請專利範圍第17項所述的方法，其中所述第一鐵電場效電晶體包括第一汲極及第一源極，所述第一源極與所述多個輸入線中的第一輸入線耦合，其中所述第二鐵電場效電晶體包括第二源極及第二汲極，所述第二源極與所述多個輸入線中的第二輸入線耦合，所述第二汲極與所述第一汲極耦合以提供動態儲存節點，且其中所述反互斥或胞元更包括重設電晶體，所述重設電晶體具有重設電晶體源極、重設電晶體閘極及重設電晶體汲極，所述重設電晶體源極連接至所述動態儲存節點，所述重設電晶體耦合至重設線，所述方法更包括：在所述評估步驟之前，對所述重設線施加脈衝。
如申請專利範圍第17項所述的方法，更包括：在所述評估步驟之前，對所述程式化線、所述程式化補數線及所述選擇線高態地施加脈衝。
如申請專利範圍第15項所述的方法，其中所述提供所述輸入訊號的步驟更包括：將所述選擇線設定成低狀態；在所述選擇線處於低狀態的同時，在所述輸入線上提供所述輸入訊號並在所述輸入補數線上提供所述輸入訊號的補數。