TWI715068B - 運算裝置、積和運算裝置、積和運算電路及積和運算系統 - Google Patents

Abstract

本發明之一形態之運算裝置具備複數條輸入線及積和運算裝置。上述複數條輸入線被輸入電氣信號。上述積和運算裝置具有：一對輸出線；複數個乘算部，其等具有：負載部，其基於向上述複數條輸入線輸入之上述電氣信號，產生與將由上述電氣信號表示之信號值乘以負載值而得之乘算值對應之電荷；保持部，其保持2值狀態；及開關部，其基於上述保持之2值狀態，將藉由上述負載部產生之電荷向上述一對輸出線之任一者輸出；儲存部，其儲存藉由上述複數個乘算部向上述一對輸出線輸出之電荷；及輸出部，其基於上述儲存之電荷，輸出表示上述乘算值之和的積和信號。

Description

運算裝置、積和運算裝置、積和運算電路及積和運算系統

本發明係關於一種能應用於採用類比方式之積和運算之運算裝置、積和運算裝置、積和運算電路及積和運算系統。

先前，開發有進行積和運算之技術。積和運算係複數個輸入值各者乘以負載，再將各乘算結果相加之運算，例如用於藉由神經網路等識別圖像或語音等之處理。

例如，於專利文獻1中，就藉由類比方式進行積和運算之處理之類比電路有所記載。於該類比電路中，設定與複數個電氣信號各者對應之負載。又，分別輸出與對應之電氣信號及負載相應之電荷，並將所輸出之電荷適當儲存於電容器中。而且，基於儲存有電荷之電容器之電壓算出表示積和結果之計算對象值。藉此，與例如數位方式之處理相比，能抑制積和運算所需之耗電(專利文獻1之說明書段落[0003]、[0049]-[0053]、[0062]、圖3等)。 [先前技術文獻] [專利文獻]

[專利文獻1]國際公開第2018/034163號

[發明所欲解決之問題]

期望藉由使用此種類比方式之電路，達成神經網路等之低耗電化，尋求能容易地將進行積和運算之類比方式之電路集成之技術。

鑒於如上狀況，本發明之目的在於，提供一種能容易地將進行積和運算之類比方式之電路集成之運算裝置、積和運算裝置、積和運算電路及積和運算系統。 [解決問題之技術手段]

為達成上述目的，本發明之一形態之運算裝置具備複數條輸入線及積和運算裝置。 上述複數條輸入線被輸入電氣信號。 上述積和運算裝置具有：一對輸出線；複數個乘算部，其等具有：負載部，其基於向上述複數條輸入線輸入之上述電氣信號，產生與將由上述電氣信號表示之信號值乘以負載值而得之乘算值對應之電荷；保持部，其保持2值狀態；及開關部，其基於上述保持之2值狀態，將藉由上述負載部產生之電荷向上述一對輸出線之任一者輸出；儲存部，其儲存藉由上述複數個乘算部向上述一對輸出線輸出之電荷；及輸出部，其基於上述儲存之電荷，輸出表示上述乘算值之和的積和信號。

於該運算裝置中，向複數條輸入線輸入電氣信號。於積和運算裝置之複數個乘算部中，產生與電氣信號之信號值和負載值之乘算值對應之電荷。所產生之電荷基於保持2值狀態之保持部之狀態，向一對輸出線之任一者輸出。儲存自各乘算部輸出之電荷，基於儲存之電荷而輸出積和信號。此種乘算部之構成可利用集成電路之製造技術等而集成，從而能容易地集成進行積和運算之類比方式之電路。

上述負載部亦可包含MOS(Metal Oxide Semiconductor，金屬氧化物半導體)電晶體，該MOS電晶體具有輸入端子、輸出端子、及用以控制上述輸入端子與上述輸出端子之間之導通之閘極端子。 藉此，能利用MOS電晶體之製造技術等容易地構成負載部，從而能容易地集成進行積和運算之類比方式之電路。

上述負載值亦可根據上述輸入端子與上述輸出端子之間之電阻而設定。 藉此，例如藉由適當設定負載值，能妥當地控制與乘算值對應之電荷量。其結果，能妥當地執行積和運算。

上述保持部亦可具有第1端子及第2端子，該等第1端子及第2端子基於上述保持之2值狀態，以彼此之電壓不同之方式切換兩種電壓而輸出 藉此，能妥當地執行與例如2值狀態相應之開關控制等，從而能妥當地執行積和運算。

上述閘極端子亦可連接於上述輸入線。於該情形時，上述輸入端子亦可連接於上述第1端子、上述第2端子及特定之定電壓源中之任一者。 藉此，能使例如輸入端子之電位穩定，從而能提高處理之穩定性。

上述輸入端子亦可連接於上述輸入線。於該情形時，上述閘極端子亦可連接於上述第1端子、上述第2端子及特定之閘極電壓源中之任一者。 藉此，能將例如控制閘極端子之線與傳輸電氣信號或電荷之線分離，從而能抑制GND(ground，地面)雜訊之影響等。

上述負載部亦可具有彼此連接於相同之上述輸入線之第1 MOS電晶體與第2 MOS電晶體。於該情形時，上述開關部亦可包含上述第1及上述第2 MOS電晶體。 藉此，能抑制必要之MOS電晶體之數量等。其結果，能縮小元件面積，或增加元件密度。

上述一對輸出線亦可包含第1輸出線與第2輸出線。於該情形時，上述開關部亦可具有將上述輸出端子與上述第1輸出線連接之第1開關元件、及將上述輸出端子與上述第2輸出線連接之第2開關元件。 藉此，能妥當地切換輸出端子之連接口，從而能妥當地執行積和運算。

上述保持部亦可連接於上述輸入端子。於該情形時，上述負載部亦可自上述輸入端子輸出控制上述保持部之2值狀態之控制信號。 藉此，能抑制必要之MOS電晶體之數量等。其結果，能縮小元件面積，或增加元件密度。

上述負載部亦可產生與將上述信號值乘以上述負載值之絕對值而得之乘算值對應之電荷。於該情形時，上述保持部亦可保持與上述負載值之符號對應之2值狀態。 藉此，能容易地實現與例如正負之負載值之乘算處理，從而能以簡單之電路構成進行乘算處理。

上述負載值亦可於上述複數個乘算部中，設定為絕對值互為相等但符號不同之第1值及第2值之任一者。 藉此，能安裝經過例如根據2值狀態設定正負之二值化所得之負載值。藉此，能進行二值化連接方式之積和運算。

上述複數條輸入線亦可包含以第1輸入線及第2輸入線為一對之複數個上述輸入線對。於該情形時，上述乘算部亦可具有連接於上述輸入線對中之上述第1輸入線之第1負載部、及連接於上述第2輸入線之第2負載部。 藉此，能進行例如有關於包含正之信號與負之信號的2輸入之電氣信號之負載處理。藉此，能執行各種方式之積和運算。

上述乘算部亦可具有：第1開關部，其基於上述保持之2值狀態，將藉由上述第1負載部產生之電荷向上述一對輸出線之一者輸出；及第2開關部，其將藉由上述第2負載部產生之電荷向上述一對輸出線之另一者輸出。 藉此，能進行例如有關於包含正之信號與負之信號的2輸入之電氣信號之負載處理。藉此，能執行各種方式之積和運算。

上述負載部亦可包含控制與上述乘算值對應之電荷量之高電阻元件。 藉此，能控制例如儲存部中儲存之電荷量，從而能以所期望之精度算出積和結果。

上述負載部亦可包含於次臨界區域動作之MOS電晶體。 藉此，能控制例如儲存部中儲存之電荷量，並且能充分抑制積和運算所需之耗電等。

上述運算裝置亦可進而具備並聯連接於上述複數條輸入線各者之複數個上述積和運算裝置。 藉此，能同時執行例如複數個積和運算，從而能發揮優異之運算性能。

上述複數條輸入線亦可係以與複數個上述積和運算裝置所具有之複數對上述輸出線交叉之方式配線。

藉此，可使用輸入線與輸出線交叉之縱橫式(Crossbar)構造，從而能容易地集成進行積和運算之類比方式之電路。

上述電氣信號亦可係藉由輸入期間內之時序或脈衝寬度表示上述信號值之信號。於該情形時，上述積和運算裝置亦可具有充電部，該充電部於上述輸入期間之後之輸出期間，以固定之充電速度對上述儲存部充電。又，上述輸出部亦可藉由在上述輸出期間對上述儲存部之電位進行閾值判定，而輸出上述積和信號。 藉此，能精度良好且容易地檢測出儲存部中儲存之電荷。其結果，能容易地產生高精度之積和信號。

上述充電部亦可於上述輸入期間將上述儲存部連接於上述一對輸出線，於上述輸出期間將上述儲存部連接於供給與上述固定之充電速度相應之電流之電流源。 藉此，能妥當地執行輸入期間之電荷之儲存、及輸出期間之電荷之讀出，從而能妥當地執行積和運算。

上述充電部亦可於上述輸入期間之前將上述儲存部連接至GND。 藉此，能使例如儲存部中儲存之電荷等為0，而將儲存狀況初始化，從而能反覆執行妥當之運算處理。

本發明之一形態之積和運算裝置具備一對輸出線、複數個乘算部、儲存部及輸出部。 上述乘算部具有：負載部，其基於向上述複數條輸入線輸入之上述電氣信號，產生與將由上述電氣信號表示之信號值乘以負載值而得之乘算值對應之電荷；保持部，其保持2值狀態；及開關部，其基於上述所保持之2值狀態，將藉由上述負載部產生之電荷向上述一對輸出線之任一者輸出。 上述儲存部儲存藉由上述複數個乘算部向上述一對輸出線輸出之電荷。 上述輸出部基於上述儲存之電荷，輸出表示上述乘算值之和的積和信號。

本發明之一形態之積和運算電路具備一對輸出線、複數個乘算部、儲存部及輸出部。 上述乘算部具有：負載部，其基於向上述複數條輸入線輸入之上述電氣信號，產生與將由上述電氣信號表示之信號值乘以負載值而得之乘算值對應之電荷；保持部，其保持2值狀態；及開關部，其基於上述保持之2值狀態，將藉由上述負載部產生之電荷向上述一對輸出線之任一者輸出。 上述儲存部儲存藉由上述複數個乘算部向上述一對輸出線輸出之電荷。 上述輸出部基於上述儲存之電荷，輸出表示上述乘算值之和的積和信號。

本發明之一形態之積和運算系統具備複數條輸入線、複數個類比電路、及網路電路。 上述複數條輸入線被輸入電氣信號。 上述複數個類比電路具有：一對輸出線；複數個乘算部，其等具有：負載部，其基於向上述複數條輸入線輸入之上述電氣信號，產生與將由上述電氣信號表示之信號值乘以負載值而得之乘算值對應之電荷；保持部，其保持2值狀態；及開關部，其基於上述保持之2值狀態，將藉由上述負載部產生之電荷向上述一對輸出線之任一者輸出；儲存部，其儲存藉由上述複數個乘算部向上述一對輸出線輸出之電荷；及輸出部，其基於上述儲存之電荷，輸出表示上述乘算值之和的積和信號。 上述網路電路係將上述複數個類比電路連接而構成。 [發明之效果]

如上所述，根據本發明，能容易地集成進行積和運算之類比方式之電路。再者，未必限定於此處記載之效果，亦可為本發明中記載之任一種效果。

＜第1實施形態＞ [運算裝置之構成] 圖1係表示本發明之第1實施形態之運算裝置之構成例的模式圖。運算裝置100係執行包括積和運算在內之特定之運算處理的類比方式之運算裝置。藉由使用運算裝置100，能執行例如遵循神經網路等數量學模型之運算處理。

運算裝置100具有複數條信號線1、複數個輸入部2、複數個類比電路3。各信號線1係傳輸特定方式之電氣信號之線。作為電氣信號，例如使用藉由脈衝之時序或寬度等類比量表示信號值之類比信號。關於電氣信號之方式，下文將詳細地進行說明。於圖1中，使用箭頭模式性地圖示出了傳輸電氣信號之方向。於本實施形態中，類比電路3相當於積和運算裝置。

例如，於1個類比電路3，連接有複數條信號線1。向類比電路3傳輸電氣信號之信號線1對於與該信號線1連接之類比電路3而言，成為輸入電氣信號之輸入信號線。又，傳輸自類比電路3輸出之電氣信號之信號線1對於與該信號線1連接之類比電路3而言，成為輸出電氣信號之輸出信號線。於本實施形態中，輸入信號線相當於輸入線。

複數個輸入部2分別產生與輸入資料4相應之複數個電氣信號。輸入資料4係作為例如藉由運算裝置100利用所安裝之神經網路等加以處理之對象之資料。因此，與輸入資料4相應之複數個電氣信號之各信號值亦可說成是相對於運算裝置100之輸入值。

作為輸入資料4，例如使用作為運算裝置100之處理對象之圖像資料、語音資料、統計資料等任意資料。例如，於使用圖像資料作為輸入資料4之情形時等，產生以圖像資料之各像素之像素值(RGB值或亮度值等)作為信號值之電氣信號。此外，可根據輸入資料4之種類或運算裝置100所進行之處理之內容，適當產生與輸入資料4相應之電氣信號。

類比電路3係基於所輸入之電氣信號，進行積和運算之類比方式之電路。積和運算係將例如複數個輸入值分別乘以與各輸入值對應之負載值所得之複數個乘算值相加之運算。因此，積和運算亦可說成是算出各乘算值之和(以下記作積和結果)之處理。

如圖1所示，於1個類比電路3，連接有複數條輸入信號線，而對其賦予複數個電氣信號。由該等複數條輸入信號線與類比電路構成本實施形態之積和運算電路。又，藉由自各輸入信號線輸入複數個電氣信號，而利用積和運算電路(類比電路3)，執行本實施形態之積和運算方法。

以下，將向1個類比電路3輸入之電氣信號之總數設為N。再者，向各類比電路3輸入之電氣信號之個數N例如係根據運算處理之模型或精度等針對各電路分別適當設定。

於類比電路3中，算出藉由自例如第i條輸入信號線輸入之電氣信號所表示之信號值x_i 、及與信號值x_i 對應之負載值w_i 兩者之乘算值即w_i ・x_i 。此處，i為N以下之自然數(i＝1、2、…、N)。乘算值之運算係針對各電氣信號(輸入信號線)分別執行，而算出N個乘算值。將該N個乘算值分別相加所得之值被作為積和結果(N個乘算值之和)而算出。因此，於1個類比電路3中算出之積和結果係藉由以下之式而表示。

[數1]

負載值w_i 設定於例如-α≦w_i ≦+α之範圍內。此處，α為任意實數值。因此，負載值w_i 中包含正之負載值w_i 、負之負載值w_i 或零之負載值w_i 等。如此，藉由將負載值w_i 設定於特定範圍內，能避免積和結果發散之事態。

又，例如，亦可將負載值w_i 之設定範圍標準化。於該情形時，負載值w_i 設定於-1≦w_i ≦1之範圍內。藉此，能調整例如積和結果之最大值或最小值等，從而能以所期望之精度執行積和運算。

於神經網路等中，可使用將負載值w_i 設定為+α及-α中任一者之被稱作二值化連接之方法。二值化連接例如用於使用深層神經網路(多層神經網路)之圖像識別等各種領域。藉由使用二值化連接，能不使識別精度等劣化地將負載值w_i 之設定簡化。

如上所述，於二值化連接中，負載值w_i 被二值化成雙值(±α)。因此，例如，藉由切換負載值w_i 之正負，能容易地設定所期望之負載值w_i 。又，亦可將經二值化之負載值w_i 標準化，將負載值w_i 設定為±1。此外，負載值w_i 之設定範圍或值等並不限定，只要適當設定，以便能實現例如所期望之處理精度即可。

信號值x_i 例如係自輸入部2輸出之電氣信號、或自類比電路3輸出之積和結果。如此，輸入部2及類比電路3亦可說成是作為輸出信號值x_i 之信號源而發揮功能。

於圖1所示之例中，自1個信號源(輸入部2、類比電路3)輸出單個電氣信號(單個信號值x_i )。因此，向連接於1個信號源之輸出側之複數條信號線1，分別輸入相同之電氣信號。又，1個信號源與被輸入自該信號源輸出之電氣信號之類比電路3藉由單條輸入信號線而連接。

因此，例如，在圖1所示之運算裝置100中，於與M個信號源連接之類比電路3連接有M條輸入信號線。於該情形時，向類比電路3輸入之電氣信號之總數N為N＝M。再者，亦有可能存在自1個信號源輸出與正負之對應之一對電氣信號(一對信號值x_i ⁺ 、x_i ^- )之構成(參照圖12等)。

如圖1所示，運算裝置100具有於複數層各者設置有複數個類比電路3之層構造。藉由構成類比電路3之層構造，而構建例如多層感知機(perceptron)型之神經網路等。各層所設置之類比電路之數量、或層數等要適當設計，以便能執行例如所期望之處理。以下，有時將第j層所設置之類比電路3之數量記作N_j 。

例如，向第1層(最下位層)所設置之各類比電路3，分別輸入藉由N個輸入部2所產生之N個電氣信號。藉由第1層之各類比電路3，分別算出與輸入資料之信號值x_i 相關之積和結果，並於非線形轉換處理後將其向下一層(第2層)所設置之類比電路3輸出。

向第2層(上位層)所設置之各類比電路3，分別輸入表示於第1層算出之各積和結果之N₁ 個電氣信號。因此，自第2層之各類比電路3之角度而言，於第1層算出之各積和結果之非線形轉換處理結果成為電氣信號之信號值x_i 。藉由第2層之各類比電路3，算出自第1層輸出之與信號值x_i 相關之積和結果，進而將其向上位層之類比電路3輸出。

如此，於運算裝置100中，基於利用下位層之類比電路3算出之積和結果，算出上位層之類比電路3之積和結果。執行複數次此種處理，自最上位層(於圖1中，為第3層)中包含之類比電路3輸出處理結果。藉此，能進行例如根據拍攝貓所得之圖像資料(輸入資料4)判定出被攝體為貓之圖像識別等處理。

如此，藉由將複數個類比電路3適當連接，能構成所期望之網路電路。網路電路例如作為藉由使信號通過而進行運算處理之資料流型之處理系統而發揮功能。於網路電路中，例如藉由適當設定負載值(突觸結合)，能實現各種處理功能。藉由該網路電路，而構建本實施形態之積和運算系統。

再者，將各類比電路3連接之方法等並不限定，亦可將複數個類比電路3適當連接，以便能進行例如所期望之處理。例如，即便各類比電路3以構成與層構造不同之其他構造之方式連接之情形時，亦可應用本發明。

於上文中，對將於下位層算出之積和結果直接向上位層輸入之構成進行了說明。但並不限定於此，例如亦可執行有關於積和結果之轉換處理等。例如，於神經網路模型中，執行使用活化函數對各類比電路3之積和結果進行非線形轉換，並將其轉換結果向上位層輸入之處理。

於運算裝置100中，例如使用對電氣信號利用活化函數進行非線形轉換之函數電路5等。函數電路5例如為設置於下位層與上位層之間，將所輸入之電氣信號之信號值適當轉換，而輸出與轉換結果相應之電氣信號的電路。函數電路5例如係針對各信號線1分別設置。函數電路5之數量或配置等例如可根據安裝於運算裝置100之數學模型等適當設定。

作為活化函數，例如使用ReLU函數(斜坡函數)等。ReLU函數例如於信號值x_i 為0以上之情形時，直接輸出信號值x_i ，於除此以外之情形時，輸出0。安裝有例如ReLU函數之函數電路5適當連接於各信號線1。藉此，能實現運算裝置100之處理。

圖2係表示向類比電路3輸入之電氣信號之一例之模式圖。於圖2中，模式性地圖示出了表示向1個類比電路3輸入之複數個電氣信號之波形之曲線圖。曲線圖之橫軸為時間軸，縱軸為電氣信號之電壓。再者，各曲線圖之時間軸共通。

於本實施形態中，使用脈衝寬度調變(PWM：Pulse Width Modulation)方式之電氣信號。PWM方式係使用例如脈衝波形之脈衝寬度τ_i 表示信號值x_i 之方式。即，於PWM方式中，電氣信號之脈衝寬度τ_i 成為與信號值x_i 相應之長度。典型而言，脈衝寬度τ_i 越長，表示值越大之信號值x_i 。

又，電氣信號於特定之輸入期間T之間，向類比電路3輸入。更詳細而言，以電氣信號之脈衝波形收攏於輸入期間T之方式，向類比電路3輸入各電氣信號。因此，電氣信號之脈衝寬度之最大值與輸入期間T相同。再者，只要為收攏於輸入期間T之範圍即可，輸入各脈衝波形(電氣信號)之時序等並不限定。

於PWM方式中，例如利用脈衝寬度τ_i 與輸入期間T之工作比R_i (＝τ_i /T)，能將信號值x_i 標準化。即，經標準化之信號值x_i 被表示為信號值x_i ＝R_i 。再者，將脈衝寬度τ_i 與信號值x_i 建立對應關係之方法等並不限定，只要適當設定表示信號值x_i 之脈衝寬度τ_i ，以便能以例如所期望之精度進行運算處理等即可。以下，設定藉由各電氣信號所表示之信號值xi為0以上1以下之變數進行說明。

圖3係表示運算裝置100之具體構成例之模式圖。圖3係實現例如圖1所示之運算裝置100之電路之配置例，模式性地圖示出了設置於運算裝置100中之1層之複數個類比電路3。

類比電路3具有一對輸出線7、複數個突觸電路8、神經元電路9。如圖3所示，1個類比電路3構成為沿著特定方向(圖中之縱向)延伸。藉由使該沿著縱向延伸之類比電路3於橫向上排列有複數個地配置，而構成1層。以下，將圖中配置於最左側之類比電路3設為第1個類比電路3。又，有時將類比電路3延伸之方向記作延伸方向。

一對輸出線7沿著延伸方向相互隔開而配置。一對輸出線7具有正之輸出線7a、負之輸出線7b。各輸出線7a及7b經由複數個突觸電路8連接於神經元電路9。於本實施形態中，正之輸出線7a相當於第1輸出線，負之輸出線7b相當於第2輸出線。

突觸電路8算出藉由電氣信號所表示之信號值x_i 與負載值w_i 之乘算值(w_i ・x_i )。具體而言，將與乘算值對應之電荷(電流)向輸出線7a及7b中任一者輸出。

如下所述，對突觸電路8設定正之負載值w_i ⁺ 及負之負載值w_i ^- 中任一者。例如與和正之負載值w_i ⁺ 之乘算值對應之電荷向正之輸出線7a輸出。又，與和負之負載值w_i ^- 之乘算值對應之電荷向負之輸出線7a輸出。再者，於突觸電路8中，作為與乘算值對應之電荷，不拘於負載值w_i 之正負，均輸出同一符號之電荷(例如正之電荷)。

如此，突觸電路8構成為將乘算結果(電荷)按照負載值w_i 之符號分別向另一輸出線7輸出。關於突觸電路8之具體構成，下文將詳細地進行說明。於本實施形態中，突觸電路8相當於乘算部。

本實施形態中，相對於1個突觸電路8，連接有單條輸入信號線6與一對輸出線7。即，1個突觸電路8被輸入單個電氣信號，與基於所輸入之電氣信號而算出之乘算值對應之電荷向一輸出線7輸出。如此，突觸電路8成為與單條輸入信號線6以及一對輸出線7a及7b連接之1輸入2輸出之電路。

於1個類比電路3中，複數個突觸電路8沿著一對輸出線7配置。各突觸電路8相對於輸出線7a(輸出線7b)分別並聯連接。以下，將配置於輸出線7之最下游側(連接於神經元電路9之側)之突觸電路8設為第1個突觸電路8。

如圖3所示，複數條輸入信號線6係以與複數個類比電路3所具有之複數對輸出線7交叉之方式配線。典型而言，輸入信號線6係以與各輸出線7正交之方式設置。即，運算裝置100具有輸入信號線6與輸出線7交叉之縱橫式構成。藉由使用縱橫式構成，能將例如類比電路3等高密度地集成化。

又，於運算裝置100中，各類比電路3中包含之第j個突觸電路8相對於第j個輸入信號線6分別並聯連接。因此，向連接於同一輸入信號線6之突觸電路8，輸入彼此相同之電氣信號。藉此，能安裝下位層中包含之1個信號源連接於上位層中包含之複數個類比電路3之構成(參照圖1)。

再者，於圖3所示之例中，作為向各輸入信號線6輸入電氣信號之信號源，模式性地圖示出了下位層中包含之類比電路3(前神經元)。但並不限定於此，例如，於使用輸入部2作為信號源之情形時，亦可使用縱橫式構成。

如此，於運算裝置100中，複數個類比電路3並聯連接於複數條輸入信號線6各者。藉此，例如，能向各類比電路3(各突觸電路8)並聯輸入電氣信號，從而能謀求運算處理之高速化。其結果，能發揮優異之運算性能。

神經元電路9基於藉由各突觸電路8算出之乘算值，算出(數1)所示之積和結果。具體而言，基於經由一對輸出線7而輸入之電荷，輸出表示積和結果之電氣信號(積和信號)。

圖4係表示神經元電路9之構成例之模式圖。神經元電路9具有儲存部11及輸出部12。於圖4中，示出了與一對輸出線7及單條輸出信號線10連接之2輸入1輸出之神經元電路9。再者，亦有可能存在使用2輸入2輸出之電路等作為神經元電路9之情形(參照圖15)。

儲存部11儲存藉由複數個突觸電路8輸出至一對輸出線7之電荷。儲存部11具有2個電容器13a及13b。電容器13a連接於正之輸出線7a與GND之間。又，電容器13b連接於負之輸出線7b與GND之間。因此，各電容器13a及13b中儲存自各輸出線7a及7b流入之電荷。

當經過了例如電氣信號之輸入期間T時，電容器13a中儲存之電荷成為與和正之負載值w_i ⁺ 之乘算值對應之電荷之總和σ⁺ 。又，同樣地，電容器13b中儲存之電荷成為與和負之負載值w_i ^- 之乘算值對應之電荷之總和σ^- 。

例如若電容器13a中儲存電荷，則以GND為基準之正之輸出線7a之電位上升。因此，正之輸出線7a之電位成為與電荷之總和σ⁺ 相應之值，其中該電荷之總和σ⁺ 與和正之負載值w_i ⁺ 之乘算值對應。同樣地，負之輸出線7b之電位與電荷之總和σ^- 相應之值，其中該電荷之總和σ^- 與和負之負載值w_i ^- 之乘算值對應。

輸出部12基於儲存部11中儲存之電荷，輸出表示乘算值(w_i ・x_i )之和之積和信號。積和信號係表示例如正負合計之所有負載值w_i 與信號值x_i 之乘算值之和即整體之積和結果之信號。例如，以(數1)表示之積和結果可按以下所示表達。

[數2]

此處，N⁺ 及N^- 分別為正之負載值w_i ⁺ 之總數及負之負載值w_i ^- 之總數。如(數2)所示，整體之積和結果可作為與正之負載值w_i ⁺ 之乘算值(w_i ⁺ ・x_i )之總和即正之積和結果、及與負之負載值w_i ^- 之乘算值(｜w_i ^- ｜・x_i )之總和即負之積和結果兩者之差量而表示。

於圖4所示之例中，輸出部12產生表示例如整體之積和結果之1個信號作為積和信號。具體而言，適當參照儲存部11(電容器13a及13b)中儲存之電荷，算出正之積和結果及負之積和結果，並根據其等之差量算出整體之積和結果。又，例如，亦可產生表示正負各自之積和結果之正之積和信號及負之積和信號該等2個信號作為積和信號。

參照儲存部11中儲存之電荷之方法並不限定。作為一例，對檢測1個電容器13中儲存之電荷之方法進行說明。於使用PWM方式之電氣信號之情形時，與乘算值對應之電荷在輸入期間T之間儲存於電容器13中。即，於輸入期間T之前後，不會發生與乘算值對應之電荷之儲存。

於例如輸入期間T之後，以固定之充電速度對電容器13充電。此時，使用比較器(comparator等)，檢測與電容器13連接之輸出線7之電位達到特定之閾值電位之時序。例如充電開始時之電荷越多，達到閾值電位之時序越早。基於該時序，能表示在輸入期間T之間儲存之電荷(積和結果)。

如此，藉由於輸入期間T之後對儲存部11(電容器13a及13b)充電，能檢測出表示積和結果之時序。基於該檢測結果，適當產生正之積和信號或負之積和信號、或者整體之積和信號。此外，亦可於例如輸入期間T之後，直接讀出電容器13之電位，而算出各積和結果。

圖5係表示突觸電路8之構成例之電路圖。以下，於圖3所示之縱橫式構成中，使用神經科學之用語，將被自前段電路施加電氣信號之輸入信號線6藉由相同之符號記作Axon線6，將向後段電路輸出電荷之輸出線7藉由相同之符號記作Dendrite線7。再者，將正之輸出線7a記作+Dendrite線7a，將負之輸出線7b記作-Dendrite線7b。

突觸電路8具有第1 MOS電晶體20a、第2 MOS電晶體20b、正反器電路30。又，於突觸電路8，連接有Axon線6、+Dendrite線7a、-Dendrite線7b。

第1 MOS電晶體20a係P型之MOS(Metal Oxide Semiconductor，金屬氧化物半導體)電晶體，具有輸入端子21a、輸出端子22a、閘極端子23a。輸入端子21a連接於下述正反器電路30之第1端子32a。輸出端子22a連接於+Dendrite線7a。閘極端子23a連接於Axon線6。

閘極端子23a係用以控制輸入端子21a與輸出端子22a之間之導通之端子。藉由控制對例如閘極端子23a施加之電壓，能控制輸入端子21a與輸出端子22a之間之導通之有無(連接、非連接等)或電阻值。

第2 MOS電晶體20b係P型之MOS電晶體，具有輸入端子21b、輸出端子22b、閘極端子23b。輸入端子21b連接於下述正反器電路30之第2端子32b。輸出端子22b連接於-Dendrite線7b。閘極端子23b連接於Axon線6。

作為第1 MOS電晶體20a及第2 MOS電晶體20b，例如可使用基於相同之設計參數(閘極寬度或閘極長度等)製成之相同之pMOS電晶體。於本實施形態中，第1 MOS電晶體20a及第2 MOS電晶體20b相當於負載部。

於本實施形態中，第1 MOS電晶體20a及第2 MOS電晶體20b係於次臨界區域動作之pMOS電晶體。即，各MOS電晶體20a及20b係於將閾值電壓Vth以下之閘極電壓施加至閘極端子之狀態下使用。藉由使閘極電壓為閾值電壓Vth以下，例如，能將輸入端子與輸出端子之間之電阻R設定地充分高。又，亦能實現MOS電晶體之整流功能。藉此，能將例如自輸入端子向輸出端子流通之電流限制得較小，從而能大幅地降低耗電。

正反器電路30係保持2值狀態之電路。此處所謂之2值狀態，例如，係指以互不相同之2個值表示之狀態。典型而言，保持0之狀態或1之狀態中某一種狀態。又，所保持之狀態可按自0變成1，或自1變成0之方式改寫。於本實施形態中，正反器電路30相當於保持部。

正反器電路30具有第1變流器31a、第2變流器31b、第1端子32a、第2端子32b。

1個變流器31係使用例如pMOS及nMOS而構成之電路，且為將輸入反轉而輸出之元件。如圖5所示，第1變流器31a之輸出向第2變流器31b輸入。又，第2變流器31b之輸出向第1變流器31a輸入。於各變流器31，連接有施加電源電壓Vdd(例如1.0 V)之電源電壓線與GND(均省略圖示)。再者，電源電壓線係對各變流器31分別設置。

第1端子32a係連接於第1變流器31a之輸入側(第2變流器31b之輸出側)之端子。第2端子32b係連接於第1變流器31a之輸出側(第2變流器31b之輸入側)之端子。

於正反器電路30中，保持例如第1端子32a之電壓P成為Vdd，第2端子32b之電壓N成為0之狀態(1之狀態)。又，保持第1端子32a之電壓P成為0，第2端子32b之電壓N成為Vdd之狀態(0之狀態)。即，於1之狀態下，(P、N)＝(Vdd、0)，於0之狀態下，(P、N)＝(0、Vdd)。

如此，第1端子32a及第2端子32b基於正反器電路30中保持之2值狀態，切換兩種電壓使彼此之電壓不同，然後進行輸出。第1端子32a之電壓施加至第1 MOS電晶體20a之輸入端子21a，第2端子32b之電壓施加至第2 MOS電晶體20b之輸入端子21b。

圖5所示之突觸電路8係使用包括pMOS與nMOS在內之6個MOS電晶體而構成。又，於突觸電路8，連接有5條配線(Axon線6、±Dendrite線7a及7b、2條電源電壓線)。藉由設定為此種電路構成，能充分縮小Axon線6或±Dendrite線7a及7b之寄生電容等。其結果，能抑制1次運算中被充放電之電容，從而能大幅地抑制耗電。

再者，於圖5所示之電路圖中，關於Axon線6以及±Dendrite線7a及7b，示出了負載設定時(於圖中，記作設定)對各線施加之電壓之一例、及積和運算時(於圖中，記作運算)對各線施加之電壓之一例。但並不限定於此，對各線施加之電壓可根據電路之構成適當設定，以便能妥當地執行負載設定或積和運算。

圖6係表示突觸電路8之動作之一例之時序圖。圖6A係設定正之負載值w_i ⁺ 之情形時之時序圖。圖6B係設定負之負載值w_i ^- 之情形時之時序圖。於圖6A及圖6B中，自上而下依序模式性地圖示出了對Axon線6、+Dendrite線7a及-Dendrite線7b施加之信號之波形。

於本實施形態中，對1個突觸電路8，設定+α或-α中任一者作為負載值w_i 。此處，α係正之實數。又，關於其他突觸電路8，亦同樣地設定負載值w_i 。即，於複數個突觸電路8中，負載值w_i 設定為彼此絕對值相等但符號不同之第1值(+α)及第2值(-α)中任一者。

再者，於1層中包含之複數個類比電路3中，對各突觸電路8設定負載值±α。於該情形時，各類比電路3能輸出以共通之標度表示積和結果之信號(積和信號)。此處所謂之信號之標度，係指例如表示信號值時之脈衝寬度等比率。藉此，能容易地實現資料(積和結果)向下一層等之傳遞。

如此，藉由將負載值w_i 二值化地設定為±α，能實現二值化連接方式之積和運算。藉此，能將電路構成等簡化，從而能容易地將運算裝置100集成化。

又，於本實施形態中，藉由正反器電路30，保持與負載值w_i 之符號對應之2值狀態。即，正反器電路30之2值狀態(1之狀態及0之狀態)表示負載值w_i 之正負。於本實施形態中，1之狀態(P成為Vdd之狀態)與正之負載值w_i 對應，0之狀態(P成為Vdd之狀態)與負之負載值w_i 對應。

因此，於對1個突觸電路8設定+α之情形時，正反器電路30設定為1之狀態。又，於設定-α之情形時，正反器電路30設定為0之狀態。對類比電路3(各突觸電路8)，於進行例如積和運算之前，預先設定負載值±α。

對各突觸電路8設定之負載值例如係藉由模擬安裝於運算裝置100之處理而算出。例如虛擬地構建包含運算裝置100中使用之節點(類比電路3)或突觸(突觸電路8)之二值化連接方式之神經網路模型。按照該虛擬模型，算出對各突觸電路8設定之負載值。此外，計算負載值之方法並不限定。

如圖6A所示，於設定為正之負載值w_i ⁺ ＝+α之情形時，對+Dendrite線7a施加具有與電源電壓Vdd相同程度之電壓之信號(高位信號15)。此時，對-Dendrite線7b施加電壓為0之信號(低位信號16)。高位信號15及低位信號16係控制2值狀態之控制信號。

又，對Axon線6輸入接通信號17。接通信號17係產生使第1及第2 MOS電晶體20a及20b成為接通狀態之閘極電壓之信號。於接通狀態下，輸入端子與輸出端子之間成為導通狀態，從而能使信號向各端子間流通。再者，第1及第2 MOS電晶體20a及20b由於為pMOS電晶體，因此於閘極電壓為0之情形時接通，於閘極電壓為特定之正電壓(於圖6A中，為Vdd)之情形時斷開。

若輸入接通信號17，則+Dendrite線7a與正反器電路30之第1端子32a導通，而對第1端子32a施加高位信號15。又，-Dendrite線7b與正反器電路30之第2端子32b導通，而對第2端子32b施加低位信號16。

其結果，於輸入接通信號17之期間，第1及第2端子32a及32b之電壓成為(P，N)＝(Vdd，0)。接通信號17之輸入結束後，各Dendrite線7與正反器電路30之導通被阻斷。於正反器電路30中，即便被阻斷後，亦保持(P，N)＝(Vdd，0)之狀態即1之狀態。藉此，對突觸電路8設定正之負載值+α。

又，如圖6B所示，於設定為負之負載值w_i ^- ＝-α之情形時，對-Dendrite線7b施加高位信號15，對+Dendrite線7a施加低位信號16。又，對Axon線6輸入接通信號17。其結果，於輸入接通信號17之期間，第1及第2端子32a及32b之電壓成為(P，N)＝(0，Vdd)，正反器電路30成為0之狀態。藉此，對突觸電路8設定負之負載值-α。

如此，第1及第2 MOS電晶體20a及20b自輸入端子21a及21b輸出控制正反器電路30之2值狀態之控制信號。於另一觀點中，亦可說成是，第1及第2 MOS電晶體20a及20b作為控制用以設定2值狀態之電壓施加之閘極元件而發揮功能。

設定負載值+α/-α後，執行積和運算。於圖6A及圖6B中，示出了輸入用於積和運算之電氣信號18之輸入期間T內之時序圖。於輸入期間T，向Axon線6輸入電氣信號。又，±Dendrite線7a及7b係以成為充分低於例如Vdd之電壓(例如0.0～0.3 V)之方式構成。

電氣信號18例如係藉由以第1及第2 MOS電晶體20a及20b於次臨界區域動作之方式設定之動作電壓Vw而表示。再者，於pMOS電晶體中，設定高於例如閾值電壓Vth(例如0 V)且低於使電晶體斷開之正電壓(Vdd)之電壓作為動作電壓Vw。因此，於圖6A及圖6B所示之例中，電壓降至低於Vdd之Vw之範圍與電氣信號18(脈衝)對應。

如圖5所示，第1及第2 MOS電晶體20a及20b彼此連接於同一條Axon線6，各閘極端子23a及23b由單個電氣信號18控制。若輸入例如電氣信號18，則第1 MOS電晶體20a之輸入端子21a及輸出端子22a之間成為導通狀態。同樣地，第2 MOS電晶體20b之輸入端子21b及輸出端子22b之間成為導通狀態。

再者，已成為導通狀態之輸入端子21a與輸出端子22a(輸入端子21b與輸出端子22b)之間之電阻R成為與動作電壓Vw之值相應之電阻值。又，由於動作電壓Vw為於次臨界區域設定之閘極電壓，因此電阻R成為高電阻，第1及第2 MOS電晶體20a及20b作為高電阻元件而發揮功能。以下，將電阻R記作導通電阻R。

藉由使第1及第2 MOS電晶體20a及20b成為導通狀態，能使電流流通。於圖6A及圖6B中，示出了藉由1個突觸電路8中流通之電流所達到的±Dendrite線7a及7b之電位之狀態。

例如，於設定了正之負載值+α之情形時，第1 MOS電晶體20a中，輸入端子21a之電壓高於輸出端子22a之電壓。其結果，電流(正電荷)自輸入端子21a(源極)向輸出端子22a(汲極)流通，並輸出至+Dendrite線7a。此時，電流量與例如導通電阻R之倒數成正比。

如圖6A所示，於設定了正之負載值+α之突觸電路8中，輸出至+Dendrite線7a之電荷儲存於儲存部11之電容器13a中，+Dendrite線7a之電位上升。該電位之上升持續了施加動作電壓Vw(電氣信號)之時長。即，於與脈衝寬度(信號值x_i )相同之整個期間，對電容器13a充電。

又，於設定了正之負載值+α之情形時，第2 MOS電晶體20b中，輸入端子21b之電壓與輸出端子22b之電壓大致相同，從而幾乎不流通電流。因此，如圖6A所示，-Dendrite線7b之電位幾乎不變化。

另一方面，於設定了負之負載值-α之情形時，第2 MOS電晶體20b中，輸入端子21b之電壓高於輸出端子22b之電壓。其結果，電流(正電荷)自輸入端子21b(源極)向輸出端子22b(汲極)流通，並輸出至-Dendrite線7a。其結果，如圖6B所示，於設定了負之負載值-α之突觸電路8中，在與脈衝寬度相同之整個期間，-Dendrite線7b之電位上升。於該情形時，+Dendrite線7a之電位幾乎不變化。

如此，於突觸電路8中，經由各MOS電晶體20a及20b之導通電阻R，於與信號值x_i 對應之期間，以固定之比率輸出電荷。此處所謂之輸出電荷之比率，係指表示例如自輸出端子22a及22b輸出之電流量、或±Dendrite線7a及7b之電位上升之斜率等之參數。輸出電荷之比率可根據導通電阻R設定。

例如若將輸出電荷之比率設為負載值w_i ，則藉由基於電氣信號所輸出之電荷之總量，表示信號值x_i 與負載值w_i 之乘算值w_i ・x_i 。因此，於突觸電路8中，根據導通電阻R所設定之負載值w_i 與藉由電氣信號18所表示之信號值x_i 之乘算結果作為電荷而輸出。

如此，於本實施形態中，藉由第1 MOS電晶體20a及第2 MOS電晶體20b，基於向複數條Axon線6(輸入信號線6)輸入之電氣信號18，產生與藉由電氣信號18所表示之信號值x_i 乘以負載值w_i 所得之乘算值w_i ・x_i 對應之電荷。

如上所述，各MOS電晶體20a及20b無論負載值w_i (±α)之符號為何，均產生相同符號之電荷(於圖5所示之突觸電路中為正之電荷)。因此，亦可說是，各MOS電晶體20a及20b產生與將信號值x_i 乘以負載值w_i 之絕對值而得之乘算值｜w_i ｜・x_i 對應之電荷。藉此，可將例如配置於後段、計算正之積和結果或負之積和結果等之電路設為彼此相同之構成，從而能容易地構成類比電路3。

例如，於設定了正之負載值+α之情形時，藉由第1 MOS電晶體20a，向+Dendrite線7a輸出電荷。又，於設定了負之負載值-α之情形時，藉由第2 MOS電晶體20b，向-Dendrite線7b輸出電荷。即，於突觸電路8中，計算與正之負載值+α之乘算值，即相當於向+Dendrite線7a輸出與負載值+α之絕對值α對應之電荷。又，計算與負之負載值-α之乘算值，即相當於向-Dendrite線7b輸出與負載值-α之絕對值α對應之電荷。

如此，於本實施形態中，藉由第1 MOS電晶體20a及第2 MOS電晶體20b，基於正反器電路30中保持之2值狀態，向±Dendrite線7a及7b之任一者輸出所產生之電荷。即，亦可說成是，藉由各MOS電晶體20a及20b，實現與2值狀態相應之輸出之切換處理。於本實施形態中，由第1 MOS電晶體20a及第2 MOS電晶體20b構成開關部。

圖7係表示向Axon線6輸入電氣信號之輸入電路之一例之電路圖。輸入電路40作為用以對Axon線6充電而妥當地輸出電氣信號之充放電電路發揮功能。例如，如圖3所示，輸入電路40係與複數條Axon線6(輸入信號線6)各者對應而設置於下位層與上位層之間。

輸入電路40具有信號輸入端子41、模式輸入端子42、第1～第6開關43a～43f、第1及第2變流器44a及44b、第1及第2 pMOS45a及45b、及緩衝電路46。由該等元件構成輸入信號電路47及負載設定電路48。

pMOS45分別具有包括閘極端子在內之3個端子。以下，有時將pMOS45之與閘極端子不同之另外2個端子記作一端子及另一端子。又，開關43具有包括控制端子在內之3個端子。以下，有時將開關43之與控制端子不同之另外2個端子簡記作一側及另一側。

信號輸入端子41經由第1開關43a與第1 pMOS45a之閘極端子、及連接於第2 pMOS45b之閘極端子之第2變流器44b連接。第2開關43b之一側連接於GND，另一側連接於第1開關43a之與信號輸入端子41相反之側。

第1 pMOS45a之一端子連接於電源電壓線(Vdd)，另一端子連接於第3開關43c。第2 pMOS45b之一端子連接於動作電壓線(Vw)，另一端子連接於第3開關43c之與第1 pMOS45a相同之側。第3開關43c之與連接各pMOS之側相反之側連接於Axon線6。包含該第1及第2 pMOS45a及45b之電路(圖7之上側之電路)作為輸入信號電路47而發揮功能。

又，信號輸入端子41經由第4開關43d及第2變流器44連接於緩衝電路46之輸入側。第5開關43e之一側連接於GND，另一側連接於第4開關43與第2變流器44之間。緩衝電路46之輸出側經由第6開關43f連接於Axon線6。包含該緩衝電路46之電路(圖7之下側之電路)作為負載設定電路48而發揮功能。

模式輸入端子42連接於第1～第6開關43a～43f之控制端子。向模式輸入端子42，輸入與積和運算模式及負載設定模式對應之各邏輯信號。如圖7所示，於積和運算模式下，第1開關43a、第3開關43c及第5開關43e成為接通狀態，第2開關43b、第4開關43d及第6開關43f成為斷開狀態。於選擇了負載設定模式之情形時，該等開關之接通狀態與斷開狀態被切換。

圖8係表示輸入電路40之動作之一例之時序圖。以下，將對第1 pMOS45a及第2 pMOS45b之閘極端子施加之電壓(閘極電壓)記作Sa及Sw。

於負載設定模式下，藉由例如緩衝電路46輸出Vdd，而將Axon線6之電壓設定為Vdd。此時，向信號輸入端子41輸入正電壓之控制脈衝，向緩衝電路46輸入藉由第2變流器44b所產生之控制脈衝之反轉輸出。藉由緩衝電路46，產生具有與控制脈衝相同之脈衝寬度之接通信號17，並將其輸入至Axon線6。

藉此，能使例如圖5所示之第1及第2 MOS電晶體20a及20b成為接通狀態即導通狀態。再者，於負載設定模式下，閘極電壓Sa為低位(0)，第1 pMOS45a成為接通狀態。閘極電壓Sw為高位(例如Vdd)，第2 pMOS45a成為斷開狀態。其結果，對第3開關43施加Vdd，但由於第3開關43c為斷開狀態，因此輸入信號電路47之輸出(Vdd)並不向Axon線6輸出。

於積和運算模式下，第1、第3及第5開關43a、43c及43e成為接通狀態，藉由第1 pMOS45a所輸出之電壓Vdd施加至Axon線6。即，Axon線6之電壓位準成為高位。於該情形時，圖5所示之第1及第2 MOS電晶體20a及20b成為斷開狀態。

於該狀態下，向信號輸入端子41，輸入正電壓之信號脈衝(表示前段之電路中產生之信號值x_i 之電氣信號)。於輸入信號脈衝之期間，閘極電壓Sa成為高位，第1 pMOS45a成為斷開狀態。另一方面，閘極電壓Sw成為低位，第2 pMOS45b成為接通狀態。其結果，藉由第2 pMOS45b所輸出之電壓Vw施加至Axon線6。

電壓Vw係使第1及第2 MOS電晶體20a及20b於臨界區域動作之電壓。其結果，於與信號脈衝之脈衝寬度相同之期間，第1及第2 MOS電晶體20a及20b成為接通狀態，從而參照圖6所說明之乘算處理等得以執行。如此，藉由重新產生下位層中輸出之電氣信號(信號脈衝)，能抑制對下位層施加之負荷，從而能穩定地執行積和運算或負載設定。

圖9係表示安裝有ReLU函數之函數電路5之一例之電路圖。圖10係表示函數電路5之動作之一例之時序圖。於圖9A及圖9B中，示出了用以實現與PWM方式之電氣信號對應之ReLu函數之函數電路5a及5b之電路圖。函數電路5a及5b均按照圖10所示之時序圖而動作。

如圖9A及圖9B所示，函數電路5a及5b係2輸入1輸出之電路。作為2個輸入，可使用表示正之積和結果之積和信號S_n ⁺ (t)、及表示負之積和結果之積和信號S_n ^- (t)。再者，各積和信號係藉由特定之輸出期間T內之脈衝上升之時序表示信號值(各積和結果)之信號。

如參照例如圖4所說明般，正負之積和結果係藉由對電容器13a及13b充電，檢測電容器13a及13b之電壓超過特定之閾值之時序而算出。例如，於超過閾值之時序之後，輸出高位電壓直至輸出期間T結束為止，藉此能產生藉由上升之時序表示信號值之積和信號。於例如圖10中，與S_n ^- (t)相比，S_n ⁺ (t)之脈衝更早上升。於該情形時，正之積和結果成為大於負之積和結果之值。

如圖9A所示，函數電路5a具有變流器51及NOR電路52。NOR電路52係邏輯或非之邏輯閘，具有輸入端子53a及53b、輸出端子54。NOR電路針對向輸入端子53a及53b輸入之邏輯值A及B，將OR之否定向輸出端子54輸出。因此，例如，於(A，B)＝(0，0)之情形時，輸出1，於除此以外之情形時，輸出0。

於函數電路5a中，正之積和信號S_n ⁺ (t)經由變流器51向NOR電路52之輸入端子53a輸入。又，負之積和信號S_n ^- (t)直接向NOR電路52之輸入端子53b輸入。以下，將函數電路5a(ReLU函數)之輸出記作S_n (t)。

如圖9B所示，函數電路5b具有3個變流器51、及NOR電路52。於函數電路5b中，正之積和信號S_n ⁺ (t)經由1個變流器51向NOR電路52之輸入端子53a輸入。又，負之積和信號S_n ^- (t)經由2個變流器51向NOR電路52之輸入端子53b輸入。函數電路5b係進行與函數電路5a大致相同之動作之電路。

例如，如函數電路5b般，藉由經由2個變流器51(追加變流器)輸入負之積和信號S_n ^- (t)，能調整S_n ^- (t)之輸入時序之延遲時間。其結果，能避免重設電路時(例如圖10中之t＝t_{n ＋ 1} 之時序)，產生故障雜訊(glitch noise)等。以下，將函數電路5a及5b簡記作函數電路5進行說明。

例如，如圖10所示，於輸入期間T內之時間t_a ，(S_n ⁺ (t_a )，S_n ^- (t_a ))＝(0，0)，NOR電路之輸入(A，B)＝(1，0)。其結果，NOR電路之輸出S_n (t_a )成為0。

又，例如，於正之積和信號為1，負之積和信號為0之時間t_b ，(S_n ⁺ (t_b )，S_n ^- (t_b ))＝(1，0)，NOR電路之輸入(A，B)＝(0，0)。其結果，S_n (t_b )成為1。又，於正負之積和信號均為1之時間t_c ，(S_n ⁺ (t_c )，S_n ^- (t_c ))＝(1，1)，NOR電路之輸入(A，B)＝(0，1)。其結果，S_n (t_c )成為0。

如此，自函數電路5輸出正之積和信號S_n ⁺ (t)之脈衝寬度τ_n ⁺ 減去負之積和信號S_n ^- (t)之脈衝寬度τ_n ^- 所得之脈衝寬度τ_n 之信號。該脈衝寬度τ_n 係(數2)所示之正負之積和結果之差量，表示整體之積和結果。即，S_n (t)成為以整體之積和結果為信號值之PWM方式之電氣信號。如此，函數電路5係於正之積和結果大於負之積和結果之情形時，算出整體之積和結果之電路。

又，於正之積和結果小於負之積和結果之情形時，在S_n ^- (t)之後S_n ⁺ (t)之脈衝上升。該情形時，於輸出時間T內不會發生S_n ⁺ (t)＝1且S_n ^- (t)＝0之狀況。因此，於正之積和結果小於負之積和結果之情形時，S_n (t)成為0。此相當於，(數2)所示之正負之積和結果之差量成為負，即整體之積和結果成為負之情形。如此，於安裝有ReLU函數之函數電路5a中，在整體之積和結果成為負之情形時，輸出0。

函數電路5亦可構成為例如圖4所示之輸出部12。或者，亦可構成輸出正負之積和信號正S_n ⁺ (t)及S_n ^- (t)之輸出部12，並於其後段設置函數電路5。又，函數電路5可對所有類比電路3均設置，亦可僅設置於部分類比電路3。

圖11係表示突觸電路之另一構成例之電路圖。突觸電路108具有MOS電晶體120、第1閘極140a、第2閘極140b、正反器電路130。又，於突觸電路108，連接有Axon線6、+Dendrite線7a、-Dendrite線7b、動作電壓線60(於圖中，記作VW)、控制線61(於圖中，記作FF)。

MOS電晶體120係於次臨界區域動作之P型之MOS電晶體，具有輸入端子121、輸出端子122、閘極端子123。輸入端子121連接於Axon線6。輸出端子122連接於下述第1閘極140a與第2閘極140b之連接點141。閘極端子123連接於動作電壓線60。於本實施形態中，動作電壓線60相當於特定之閘極電壓源。

第1閘極140a及第2閘極140b係n型之MOS電晶體(nMOS)，分別具有輸入端子、輸出端子及閘極端子。各閘極140a及140b各自之輸入端子經由連接點141而連接。於其連接點，連接有MOS電晶體120之輸出端子122。

第1閘極140a之輸出端子連接於+Dendrite線7a，閘極端子連接於正反器電路130之第1端子132a。第2閘極140b之輸出端子連接於-Dendrite線7b，閘極端子連接於正反器電路130之第2端子132b。

於突觸電路108中，藉由第1閘極140a，MOS電晶體120之輸出端子122與+Dendrite線7a連接。又，藉由第2閘極140b，MOS電晶體120之輸出端子122與-Dendrite線7b連接。於突觸電路108中，第1閘極140a相當於第1開關元件，第2閘極140b相當於第2開關元件。

正反器電路130具有第1變流器131a、第2變流器132b、第1端子132a、第2端子132b。又，正反器電路130具有設定用閘極133、設定用變流器134、輸入用閘極135。

第1變流器131a之輸出向第2變流器131b輸入。又，第2變流器131b之輸出經由設定用閘極133之信號線向第1變流器131a輸入。第1端子132a係連接於第1變流器131a之輸入側之端子。第2端子132b係連接於第1變流器131a之輸出側之端子。

設定用閘極133係使用nMOS與pMOS而構成之傳輸閘極(雙向開關)。於設定用閘極133中，各MOS並聯連接，以使輸入端子及輸出端子共通。以下，將輸入端子至輸出端子之線記作信號線。再者，於信號線中，將連接於第2變流器131之輸出側之端子設為輸入端子。

設定用變流器134之輸入側連接於控制線61，輸出側連接於設定用閘極133之pMOS之閘極端子。又，設定用變流器134之nMOS之閘極端子連接於控制線。

輸入用閘極135係pMOS，具有輸入端子、輸出端子、閘極端子。於輸入用閘極135中，輸入端子連接於動作電壓線60，輸出端子連接於第1端子(第1變流器131a之輸入側)。又，閘極端子連接於控制線61。設定用閘極133、設定用變流器134及輸入用閘極135係用以設定藉由第1變流器131a及第2變流器131b所保持之2值狀態之電路。

於積和運算模式下，對動作電壓線60施加動作電壓Vw，從而MOS電晶體120成為接通狀態，於次臨界區域動作。輸入至Axon線6之電氣信號向MOS電晶體120之輸入端子121輸入。於MOS電晶體120中，產生與藉由電氣信號所表示之信號值x_i 乘以負載值w_i 所得之乘算值對應之電荷，並將其自輸出端子122輸出。

又，對突觸電路108設定正負之負載值±α，藉由正反器電路130，保持與正之負載值+α對應之狀態、及與負之負載值-α對應之狀態。於設定了正之負載值+α之情形時，第1及第2端子132a及132b之電壓P及N成為(P，N)＝(Vdd，0)。又，於設定了負之負載值+α之情形時，其等成為(P，N)＝(0，Vdd)。

例如，於設定了正之負載值+α之情形時，對作為nMOS之第1閘極140a施加P＝Vdd作為閘極電壓，使之成為接通狀態。又，對作為nMOS之第2閘極140b施加0作為閘極電壓，使之成為斷開狀態。於該情形時，藉由MOS電晶體120所產生之電荷經由第1閘極140a向+Dendrite線7a輸出。同樣地，於設定了負之負載值-α之情形時，第2閘極140b成為接通狀態，第1閘極140a成為斷開狀態。於該情形時，藉由MOS電晶體120所產生之電荷經由第2閘極140b向-Dendrite線7b輸出。

如此，於突觸電路108中，藉由第1及第2閘極140a及140b，基於正反器電路130中保持之2值狀態，藉由MOS電晶體120所產生之電荷向±Dendrite線7a及7b中任一者輸出。於突觸電路108中，MOS電晶體120作為負載部而發揮功能，第1及第2閘極140a及140b作為開關部而發揮功能。

於負載設定模式下，對控制線61施加與電源電壓Vdd(例如1.0 V)相同之電壓。藉此，連接於控制線61之設定用閘極133與輸入用閘極135成為接通狀態。於該狀態下，輸入用以對動作電壓線60設定2值狀態之控制信號(接通信號及斷開信號)。

於設定例如正之負載值+α之情形時，對動作電壓線60施加與電源電壓Vdd相同之電壓。藉此，(P，N)＝(Vdd，0)，而實現與正之負載值+α對應之狀態。又，於設定負之負載值-α之情形時，對動作電壓線60施加0之電壓。藉此，(P，N)＝(0，Vdd)，而實現與負之負載值-α對應之狀態。

若設定負載值±α，則控制線61之電壓設定為0。其結果，設定用閘極133與輸入用閘極135成為斷開狀態。再者，藉由第1及第2變流器131a及131b，維持與負載值±α對應之狀態。

圖11所示之突觸電路108係使用12個MOS電晶體而構成。又，於突觸電路108，連接有7條配線(Axon線6、±Dendrite線7a及7b、2條電源電壓線、控制線61及動作電壓線60)。於該構成中，利用例如動作電壓線60，設定正反器電路130中保持之2值狀態。藉此，能減少配線數，從而能提高電路之集成率等。例如亦可採用此種構成。

以上，於本實施形態之運算裝置100中，向複數條輸入信號線6(Axon線6)輸入電氣信號。於類比電路3之複數個突觸電路中，產生與電氣信號之信號值x_i 和負載值w_i 之乘算值w_i ・x_i 對應之電荷。所產生之電荷基於保持2值狀態之正反器電路之狀態，向一對輸出線7a及7b(±Dendrite線7a及7b)中任一者輸出。自各突觸電路輸出之電荷得以儲存，基於所儲存之電荷輸出積和信號。此種突觸電路之構成可利用集成電路之製造技術等而集成，從而能容易地集成進行積和運算之類比方式之電路。

於使用類比電路構成神經網路等之情形時，需要多個進行例如負載值與信號值之乘算處理、即與突觸結合對應之處理之電路。於類比電路中，要求能將此種電路妥當地連接，且以較高之集成效率進行集成。

於本實施形態中，構成類比電路3之各部(突觸電路8及108、神經元電路9、輸入電路40及函數電路5等)可使用pMOS及nMOS電晶體而構成。即，類比電路3能利用CMOS(Complementary Metal Oxide Semiconductor，互補金屬氧化物半導體)集成電路之製造技術等容易地集成化。藉此，能大規模地集成例如可靠性較高之類比方式之電路。

又，如使用圖3等所說明般，於本實施形態中，使用縱橫式構成，能實現各層中包含之類比電路3。藉此，例如即便是層數較多之深層神經網路等，亦能容易地進行安裝。

如參照圖5及圖11所說明般，於突觸電路8及108中，利用正反器電路30及130中記憶之狀態，執行與正負之負載值±α之乘算處理。此種構成藉由利用例如SRAM(Static Random Access Memory，靜態隨機存取記憶體)等之製造技術能容易地實現。藉此，能將多個突觸電路8及108高密度地集成，從而能提供特化成例如圖像識別或語音識別等之小型之集成電路等。

例如若欲使其低耗能地動作，較理想為包括後段電路之輸入電容在內，±Dendrite線7a及7b之電容均為低電容。即，限制向各Dendrite線7輸入之電荷，藉此能抑制耗電。

如上所述，於突觸電路8及108中，在次臨界區域動作之MOS電晶體連接於±Dendrite線7a及7b。藉此，能於與後段電路之間配置較高之導通電阻R，而限制向±Dendrite線7a及7b流入之電荷。其結果，能獲得充足之處理時間，從而提高運算精度。

又，藉由限制電荷，能縮小電荷之儲存所需之電容器13之電容等，從而可使用尺寸適於集成化之電容器13等。或者，亦可根據電容器13之電容等限制電荷。藉此，能充分確保電荷之充電所需之時間等，從而能以較高之分解能檢測積和結果。如此，藉由使用於次臨界區域動作之MOS電晶體，可實現例如一面低耗電且小型，一面能進行高精度之運算處理之運算裝置100等。

＜第2實施形態＞ 對本發明之第2實施形態之運算裝置進行說明。於此後之說明中，省略或簡化關於與上述實施形態中所說明之運算裝置100中之構成及作用相同之部分之說明。

圖12係表示第2實施形態之運算裝置之構成例之模式圖。於圖12所示之運算裝置200中，自1個類比電路203(信號源)輸出一對電氣信號。因此，例如，於與M個類比電路203連接之上位層之類比電路203，連接有2×M條輸入信號線6(信號線1)。於該情形時，向上位層之類比電路203輸入之電氣信號之總數N成為N＝2×M。

一對電氣信號包含表示例如正之信號值x_i ⁺ 之正之電氣信號、及表示負之信號值x_i ^- 之負之電氣信號。例如，正之信號值x_i ⁺ 及負之信號值x_i ⁺ 均為0以上之實數，正之信號值x_i ⁺ 減去負之信號值x_i ^- 所得之差量值(x_i ⁺ －x_i ^- )成為信號值x_i 。

例如，於1個信號源之輸出側，分別連接有傳輸正之電氣信號之複數個正之信號線1a、及傳輸負之電氣信號之複數個負之信號線1b。向複數個正之信號線1a輸入同為正之電氣信號。又，向複數個負之信號線1b輸入同為負之電氣信號。於圖12中，正之信號線1a(正之輸入信號線6a)連接於類比電路203之白圈之連接點。又，負之信號線1b(負之輸入信號線6b)連接於類比電路203之黑圈之連接點。

如此，於本實施形態中，複數條輸入信號線6作為正之輸入信號線6a與負之輸入信號線6b成為一對之複數個輸入信號線6對而構成。於本實施形態中，正之輸入信號線6a相當於第1輸入線，負之輸入信號線6b相當於第2輸入線。

例如，類比電路203輸出表示正之乘算值之總和即正之積和結果之電氣信號(正之積和信號S_n ⁺ (t))作為正之電氣信號，輸出表示負之乘算值之總和即負之積和結果之電氣信號(負之積和信號S_n ^- (t))作為負之電氣信號。

再者，亦可使用自各輸入部2(信號源)輸出一對電氣信號之構成。例如輸入部2輸出表示與輸入資料4相應之信號值之電氣信號作為正之電氣信號，輸出信號值為零之電氣信號作為負之電氣信號。例如可如此構成輸入部2。

如圖12所示，運算裝置200具有於複數層各者設置有複數個類比電路203之層構造。例如，向第1層所設置之各類比電路203，分別輸入藉由N個輸入部2所產生之N個電氣信號對。又，向第2層所設置之各類比電路203，分別輸入於第1層算出之N₁ 個電氣信號對。

如此，於運算裝置200中，藉由各類比電路203，基於複數個電氣信號對，產生一對電氣信號(正負之積和結果)，並將其輸出至上位層之類比電路203。執行複數次此種處理，自最上位層(於圖12中，為第3層)中包含之類比電路203輸出處理結果。

又，能使活化函數對電氣信號對發揮作用。於圖12所示之例中，例如2輸入2輸出之函數電路205適當配置於下位層與上位層之間。於安裝有例如ReLU函數之函數電路205中，根據所輸入之一對電氣信號(正負之積和結果)，判定整體之積和結果即信號值x_i ＝(x_i ⁺ －x_i ^- )之正負。

例如，於信號值x_i 為0以上之情形時，直接輸出自2個輸出輸入之一對電氣信號，於除此以外之情形時，自2個輸出輸出表示0之電氣信號。如此，即便於使用電氣信號對之情形時，亦能實現導入有ReLU函數等活化函數之運算裝置200。

圖13係表示向類比電路203輸入之電氣信號之一例之模式圖。於圖13A及圖13B中，模式性地圖示出了表示一對電氣信號之波形之曲線圖。曲線圖之橫軸為時間軸，縱軸為電氣信號之電壓。再者，各曲線圖之時間軸共通。再者，於圖13A及圖13B中，電氣信號之方式不同。

圖13A係表示PWM方式之電氣信號之波形之一例的曲線圖。於PWM方式中，如參照圖2所說明般，藉由脈衝寬度表示信號值x_i 。此種脈衝波形之信號向正負之輸入信號線6a及6b輸入。

圖13B係表示尖峰時序方式(以下，記作TACT方式)之電氣信號之波形之一例的曲線圖。TACT方式係使用輸入脈衝之時序表示信號值x_i 之方式。例如以特定之時序作為基準，輸入脈衝之時序越早，藉由該脈衝所表示之信號值x_i 越大。

該脈衝係於例如特定之輸入期間T之間輸入。藉由該輸入期間T之脈衝之輸入時序，表示信號值x_i 。因此，表示例如與輸入期間T之開始同時輸入之脈衝最大之信號值x_i 。

再者，於圖13B中，作為電氣信號，圖示出了具有特定之脈衝寬度之矩形脈衝。但並不限定於此，作為電氣信號，例如亦可使用於某時序上升，且維持接通位準直至獲得積和結果為止之持續脈衝等。此可說成是，與參照例如圖10所說明之正負之積和信號S_n ⁺ (t)及S_n ^- (t)相同之脈衝。

圖14係表示運算裝置200之具體構成例之模式圖。圖14係實現例如圖12所示之運算裝置200之電路之配置例，模式性地圖示出了設置於運算裝置200中之1層之複數個類比電路203。

類比電路203具有一對輸出線7、複數個突觸電路208、神經元電路209。如圖14所示，運算裝置200係具有輸入信號線6與各輸出線7正交而配置之縱橫式構成(參照圖3)之電路。又，於運算裝置200中，相對於各突觸電路208，連接有正之輸入信號線6a、及負之輸入信號線6b。

突觸電路208算出藉由電氣信號所表示之信號值x_i 與負載值w_i 之乘算值(w_i ・x_i )。具體而言，基於負載值w_i 之符號，將與自正之輸入信號線6a輸入之信號值x_i ⁺ 和負載值w_i 之乘算值對應之電荷向正負之輸出線7a及7b中任一者輸出。又，將與自負之輸入信號線6b輸入之信號值x_i ^- 和負載值w_i 之乘算值對應之電荷向輸出線7a及7b中和輸出與和信號值x_i ⁺ 之乘算值對應之電荷的輸出線7不同之輸出線7輸出。

因此，突觸電路208可說成是作為切換一對輸入信號線6a及6b與一對輸出線7a及7b之連接之電路而發揮功能。又，自一對輸入信號線6a及6b輸入之信號值x_i ⁺ 及信號值x_i ^- 乘以相同之信號值w_i 。如此，突觸電路208成為與一對輸入信號線6a及6b以及一對輸出線7a及7b連接之2輸入2輸出之電路。關於突觸電路208之具體構成，下文將詳細地進行說明。於本實施形態中，突觸電路208相當於乘算部。

圖15係表示神經元電路209之構成例之模式圖。神經元電路209具有儲存部211、輸出部212。於圖15中，示出了與一對輸出線7及一對輸出信號線10連接之2輸入2輸出之神經元電路209。

儲存部211係與參照例如圖4所說明之儲存部11同樣地構成。於儲存部211，設置有自正負之輸出線7a及7b輸入之電容器213a及213b。於該等電容器213a及213b，適當連接有用以釋放所儲存之電荷之開關、或追加之用以進行充電之充電電路等。

輸出部212基於儲存部211中儲存之電荷，輸出表示乘算值(w_i ・x_i )之和之積和信號。具體而言，適當參照各電容器213a及213b中儲存之電荷，分別輸出正負之積和信號S_n ⁺ (t)及S_n ^- (t)。

例如，於使用PWM方式之電氣信號之情形時，如參照圖4所說明般，在輸入期間T之間與乘算值對應之電荷儲存於電容器213。該情形時，於輸入期間T之後對電容器213充電並檢測該電位之閾值，藉此檢測表示積和結果之時序。使用該時序，產生例如如圖10所示之正負之積和信號S_n ⁺ (t)及S_n ^- (t)。

又，例如，於使用TACT方式之電氣信號之情形時，自脈衝之輸入時序，以固定之比率持續地儲存電荷。於TACT方式中，信號值x_i 由輸入時序決定，因此脈衝寬度或脈衝下降之時序等無需檢測。因此，結束電荷之儲存之時序可任意設定。因此，例如，即便於輸入期間T之後仍持續地儲存電荷，亦能妥當地算出最終之積和結果。

例如，可使用持續地儲存電荷直至儲存電荷之電容器之電位超過特定之閾值為止之構成。於該情形時，藉由檢測超過特定之閾值之時序，而產生正負之積和信號S_n ⁺ (t)及S_n ^- (t)。因此，無需例如PWM方式中使用之重新對電容器充電之電路等，從而能將裝置構成簡化。

如此，於TACT方式中，以與各個負載值w_i 相應之比率(斜率)輸出電荷，對電容器充電直至超過閾值為止。於該情形時，整體之積和結果例如如專利文獻1所示，可使用以下之式算出。

[數3]

此處，θ⁺ 及θ^- 係用以檢測電容器213a及213b之電位之閾值。又，β係對各突觸電路208設定之負載值w_i 之總和。β⁺ 及β^- 分別為正之負載值w_i ⁺ 之總和、及負之負載值｜w_i ^- ｜之總和，β＝β⁺ －β^- 。又，T_in 係輸入期間T，t_ν ⁺ 及t_ν ^- 分別為電容器213a及213b之電位超過各閾值之時序。

一般而言，正之負載值w_i ⁺ 之總和即β⁺ 與負之負載值｜w_i ^- ｜之總和即β^- 成為各不相同之值。然而，如圖12及圖14所示，設為設置正負之一對輸入信號線6a及6b，各信號值x_i ⁺ 及信號值x_i ^- 乘以共通之負載值w_i 之構成，藉此能實現β⁺ ＝β^- ＝β₀ 。於該情形時，整體之負載值w_i 之總和β成為β＝β⁺ －β^- ＝0。

例如，為了使所輸出之積和結果之標度相等，而將相對於各電容器213a及213b之閾值θ⁺ 及θ^- 設定為相同之值。其結果，藉由類比電路203所算出之積和結果即(數3)按照以下所示變形。

[數4]

如(數4)所示，整體之積和結果能作為電容器213b之電位超過閾值之時序t_ν ^- 減去電容器213b之電位超過閾值之時序t_ν ⁺ 所得的差量而算出。此種運算例如可基於表示時序t_ν ⁺ 之正之積和信號S_n ⁺ (t)、及表示時序t_ν ^- 之正之積和信號S_n ^- (t)，使用邏輯電路等容易地執行。

如此，於使用TACT方式之電氣信號之情形時，藉由設置正負之輸入信號線6a及6b，而構成2輸入2輸出之突觸電路208，能容易地執行積和結果之計算。藉此，能將例如輸出部212之構成簡化，從而例如能縮小元件尺寸。又，例如，即便於變更負載值w_i 之情形時，亦無需改變輸出部212之構成等，便可執行妥當之積和運算處理。其結果，能實現通用性較高之運算裝置200。

再者，於PWM方式中，如上所述，電容器213a及213b於輸入期間T之後被適當充電。該追加之充電起著補償例如(數3)中之β⁺ 及β^- 之差量之作用。因此，PWM方式之電氣信號能容易地應用於使用1輸入2輸出之突觸電路之情形(參照圖1及圖3等)、及使用2輸入2輸出之突觸電路之情形兩者。

圖16係表示突觸電路208之構成例之電路圖。以下，將正之輸入信號線6a記作+Axon線6a，將負之輸入信號線6b記作-Axon線6b。又，將正之輸出線7a記作+Dendrite線7a，將負之輸出線7b記作-Dendrite線7b。

突觸電路208具有第1 MOS電晶體220a、第2 MOS電晶體220b、第1～第4閘極240a～240d、正反器電路230。又，於突觸電路208，連接有±Axon線6a及6b、±Dendrite線7a及7b、動作電壓線60、控制線61。

第1 MOS電晶體220a及第2 MOS電晶體220b係於次臨界區域動作之pMOS。作為各MOS電晶體220a及220b，例如可使用基於相同之設計參數(閘極寬度或閘極長度等)製成之相同之pMOS電晶體。

第1 MOS電晶體220a具有輸入端子221a、輸出端子222a、閘極端子223a。輸入端子221a連接於+Axon線6a。輸出端子222a連接於下述第1閘極240a與第2閘極240b之連接點241a。閘極端子223b連接於動作電壓線60。於本實施形態中，第1 MOS電晶體220a相當於與輸入線對中第1輸入線連接之第1負載部。

第2 MOS電晶體220b具有輸入端子221b、輸出端子222b、閘極端子223b。輸入端子221b連接於Axon線6。輸出端子222b連接於下述第3閘極240c與第4閘極240d之連接點241b。閘極端子223b連接於動作電壓線60。於本實施形態中，第2 MOS電晶體220b相當於與輸入線對中第2輸入線連接之第2負載部。

第1～第4閘極240a～240d係nMOS，分別具有輸入端子、輸出端子及閘極端子。作為nMOS之各閘極240a～240d若被施加例如正之閘極電壓，則成為接通狀態，於閘極電壓為0之情形時，成為斷開狀態。

第1及第2閘極240a及240b各自之輸入端子經由連接點241a而連接。於該連接點241a，連接有第1 MOS電晶體220a之輸出端子222a。第1閘極240a之輸出端子連接於+Dendrite線7a，閘極端子連接於正反器電路230之第2端子232b。第2閘極240b之輸出端子連接於-Dendrite線7b，閘極端子連接於正反器電路230之第1端子232a。

第3及第4閘極240c及240d各自之輸入端子經由連接點241b而連接。於該連接點241b，連接有第2 MOS電晶體220b之輸出端子222b。第3閘極240c之輸出端子連接於+Dendrite線7a，閘極端子連接於正反器電路230之第1端子232a。第4閘極240d之輸出端子連接於-Dendrite線7b，閘極端子連接於正反器電路230之第2端子232b。

正反器電路230具有第1變流器231a、第2變流器231b、第1端子232a、第2端子232b。又，正反器電路230具有設定用閘極233、設定用變流器234、輸入用閘極235。正反器電路230例如與參照圖11所說明之正反器電路230大致同樣地構成。

再者，於圖16所示之例中，作為輸入用閘極235，可使用以nMOS與pMOS之使用代替pMOS之使用而構成之傳輸閘極。於構成輸入用閘極235之pMOS之閘極端子，連接有設定用變流器234之輸出，於nMOS之閘極端子，連接有控制線61。又，經由輸入用閘極235之信號線，第1端子232a(第1變流器231a之輸入側)與動作電壓線60連接。

圖16所示之突觸電路208係使用16個MOS電晶體而構成。又，於突觸電路208，連接有8條配線(±Axon線6a及6b、±Dendrite線7a及7b、2條電源電壓線、動作電壓線60及控制線61)。於該構成中，使用獨立之動作電壓線60及控制線61。藉此，能穩定地實現負載設定或積和運算等處理，從而能實現可靠性較高之運算裝置200。

圖17係表示突觸電路208之動作之一例之時序圖。圖17A係設定正之負載值wi⁺ 之情形時之時序圖。圖17B係設定負之負載值wi^- 之情形時之時序圖。於圖17A及圖17B，自上而下依序模式性地圖示出了+Axon線6a、-Axon線6b、+Dendrite線7a及-Dendrite線7b上出現之信號之波形。

於圖17中，模式性地表示出了使用PWM方式之電氣信號之情形時之時序圖。於使用例如TACT方式之電氣信號之情形時，亦可適用以下所說明之內容。

於本實施形態中，對1個突觸電路208，設定+α或-α中任一者作為負載值w_i 。即，對正反器電路230設定與±α對應之狀態，並保持該狀態。對正反器電路230設定與±α對應之狀態之方法例如與參照圖11所說明之方法相同。即，於對控制線61施加了與電源電壓Vdd相同程度之電壓之狀態下，對動作電壓線60施加作為第1端子232a之電壓P而設定之狀態(0/Vdd)。

於圖16所示之突觸電路208中，例如作為與正之負載值+α對應之狀態，第1端子232a之電壓P及第2端子232a之電壓N設定為(P，N)＝(0，Vdd)。又，作為與負之負載值-α對應之狀態，設定為(P，N)＝(Vdd，0)。

例如，於設定了正之負載值+α之情形時，第1閘極240a及第4閘極240d成為接通狀態，第2閘極240b及第3閘極240c成為斷開狀態。又，例如，於設定了負之負載值-α之情形時，第2閘極240b及第3閘極240c成為接通狀態，第1閘極240a及第4閘極240d成為斷開狀態。

進行積和運算時，對動作電壓線60施加用以使第1及第2 MOS電晶體220a及240b於次臨界區域動作之閘極電壓Vw。又，±Dendrite線7a及7b係以成為充分低於例如電源電壓Vth之電壓狀態之方式構成。

如圖17A所示，於設定了正之負載值+α突觸電路208中，向+Axon線6a輸入脈衝寬度τ_in ⁺ 之電氣信號18a。電氣信號18a向第1 MOS電晶體220a輸入，藉由第1 MOS電晶體220a產生與負載值α相應之電荷(電流)。所產生之電荷向連接點241a輸入，並自已成為接通狀態之第1閘極240a，向+Dendrite線7a輸出。其結果，於與脈衝寬度τ_in ⁺ 相同之整個期間，+Dendrite線7a之電位上升。

又，向-Axon線6b輸入脈衝寬度τ_in ^- 之電氣信號18b。電氣信號18b向第2 MOS電晶體220b輸入，藉由第2 MOS電晶體220b產生與負載值α相應之電荷(電流)。所產生之電荷向連接點241b輸入，並自已成為接通狀態之第4閘極240b向-Dendrite線7b輸出。其結果，於與脈衝寬度τ_in ^- 相同之整個期間，-Dendrite線7b之電位上升。

另一方面，於設定了負之負載值-α之情形時，自第1 MOS電晶體220a輸入至連接點241a之電荷自已成為接通狀態之第2閘極240b向-Dendrite線7b輸出。同樣地，自第2 MOS電晶體220b輸入至連接點241b之電荷自已成為接通狀態之第3閘極240c向+Dendrite線7b輸出。

其結果，如圖17B所示，於設定了負之負載值-α之突觸電路208中，在與脈衝寬度τ_in ⁺ 相同之整個期間，-Dendrite線7b之電位上升，在與脈衝寬度τ_in ^- 相同之整個期間，+Dendrite線7a之電位上升。

因此，於突觸電路208中，根據負載值±α之符號，切換±Axon線6a及6b之連接口。即，於設定了正之負載值+α之情形時，+Axon線6a與+Dendrite線7a連接，-Axon線6a與-Dendrite線7a連接。又，於設定了負之負載值-α之情形時，+Axon線6a與-Dendrite線7b連接，-Axon線6a與+Dendrite線7a連接。

如此，第1及第2閘極240a及240b基於2值狀態，將藉由第1 MOS電晶體220a所產生之電荷向±Dendrite線7a及7b中一者輸出。又，第2及第3閘極240a及240b基於2值狀態，將藉由第2 MOS電晶體220b所產生之電荷向±Dendrite線7a及7b中另一者輸出。於突觸電路208中，第1及第2閘極240a及240b相當於第1開關部，第3及第4閘極240c及240d相當於第2開關部。

圖18係表示向±Axon線6a及6b輸入電氣信號之輸入電路之一例之電路圖。輸入電路270具有正之輸入信號端子271a、負之輸入信號端子271b、正之輸入信號電路272a、負之輸入信號電路272b、類型輸入端子273、重設端子274。

向正負之輸入信號端子271a及271b，分別輸入自前段之電路輸出的表示正之信號值x_i ⁺ 之正之輸入信號iXp及表示負之信號值x_i ^- 之負之輸入信號iXn。如下所述，於輸入電路270中，作為輸入信號(電氣信號)之方式，可使用TACT方式及PWM方式中任一者(參照圖19)。

正之輸入信號電路272a具有第1 pMOS275a、第1～第4 nMOS276a～276d、變流器277。第1 pMOS275a之閘極端子連接於正之輸入信號端子271a。又，第1 pMOS275a之一端子連接於電源電壓，另一端子連接於+Axon線6a。

第1 nMOS276a之閘極端子連接於類型輸入端子273，一端子連接於+Axon線6a，另一端子連接於第2 nMOS276b之一端子。第2 nMOS276b之閘極端子連接於正之輸入信號端子271a，另一端子連接於GND。因此，第1及第2 nMOS276a及276b依序串聯連接於+Axon線6a與GND之間。

第3 nMOS276c之閘極端子連接於變流器277之輸出側，一端子連接於+Axon線6a，另一端子連接於第4 nMOS276d之一端子。又，於變流器277之輸入側，連接有類型輸入端子273。第4 nMOS276b之閘極端子連接於重設端子274，另一端子連接於GND。因此，第3及第4 nMOS276c及276d依序串聯連接於+Axon線6a與GND之間。

負之輸入信號電路272b具有第2 pMOS275b、第5 nMOS276e。第2 pMOS275b之閘極端子連接於負之輸入信號端子271b。又，第2 pMOS275b之一端子連接於電源電壓，另一端子連接於-Axon線6b。第5 nMOS276e之閘極端子連接於重設端子274，一端子連接於-Axon線6b，另一端子連接於GND。

圖19係表示輸入電路270之動作之一例之時序圖。於圖19A及圖19B中，分別示出了使用TACT方式及PWM方式之電氣信號之情形時之時序圖。又，於圖19所示之例中，關於正負之輸入信號iXp及iXn，藉由低電壓(例如0電壓)之期間表示信號值x_i 。即，各輸入信號被以低電壓脈衝之形式輸入。

如圖19A所示，於TACT方式中，類型輸入端子273之電壓設定為0(Type＝0)。於該情形時，正之輸入信號電路272a之第3 nMOS276c維持接通狀態。再者，於未向正之輸入信號電路272a輸入低電壓脈衝之情形時，即，於正之輸入信號端子271a為高電壓之情形時，第2 nMOS276b成為接通狀態。

若向正之輸入信號端子271a輸入低電壓脈衝，則第1 pMOS275a成為接通狀態，+Axon線6a成為與電源電壓Vdd相應之正電壓。此時，被充電第1 pMOS275a之輸入電容或+Axon線6a之寄生電容等。再者，於輸入了低電壓脈衝之狀態下，第1、第2及第4 nMOS276a、276b及276d為斷開狀態，因此+Axon線6a並不連接於GND。

又，若向負之輸入信號端子271b輸入低電壓脈衝，則第2 pMOS275b成為接通狀態，-Axon線6a成為與電源電壓Vdd相應之正電壓。此時，被充電第2 pMOS275b之輸入電容或-Axon線6b之寄生電容等。再者，第5 nMOS276e成為斷開狀態，-Axon線6b並不連接於GND。

如此，於設定為Type＝0之情形時，若輸入低電壓脈衝，則被充電第1及第2 pMOS275a及275b之輸入電容等。因此，即便各輸入信號端子271a及271b成為正電壓後，亦會對±Axon線6a及6b施加與電源電壓Vdd相應之正電壓。藉此，於輸入低電壓脈衝之時序以後，能產生持續地維持高電壓狀態之TACT方式之電氣信號。

若向重設端子274輸入特定之正電壓脈衝(重設信號)，則第4 nMOS276d、第5 nMOS276e成為接通狀態。該情形時，例如，於正之輸入信號電路272a中，將第3 nMOS276c與第4 nMOS276d相連之路徑導通，+Axon線6a連接於GND。其結果，被放電第1 pMOS275a之輸入電容或+Axon線6a之寄生電容等，+Axon線6a之電壓成為0。

同樣地，於負之輸入信號電路272b中，-Axon線6a經由第5 nMOS276e連接於GND。其結果，被放電第2 pMOS275b之輸入電容或-Axon線6b之寄生電容等，-Axon線6b之電壓成為0。

重設信號例如係於輸入下一個輸入信號之時序之前輸入。輸入重設信號之時序等並不限定，例如可根據1次積和運算處理結束之時序、或下一次積和運算處理開始之時序等適當輸入。

如圖19B所示，於PWM方式中，類型輸入端子273之電壓設定為1(正電壓)(Type＝1)。再者，於圖19B所示之例中，不使用正之輸入信號端子271b(正之輸入信號iXn)、-Axon線6b及重設端子274。

若設定為Type＝1，則正之輸入信號電路272a之第1 nMOS276a維持為接通狀態。又，於未輸入低電壓脈衝之情形時，第2 nMOS276b成為接通狀態。於該情形時，+Axon線6a成為連接於GND之狀態。

若向正之輸入信號端子271a輸入低電壓脈衝，則第1 pMOS275a成為接通狀態，第2 nMOS276b成為斷開狀態。因此，+Axon線6a與GND分離，成為與電源電壓Vdd相應之正電壓。+Axon線6a之正電壓之狀態持續了與低電壓脈衝之脈衝寬度相同之時長。

若低電壓脈衝之輸入結束，正之輸入信號端子271a之電壓上升，則第1 pMOS275a成為斷開狀態，第2 nMOS276b成為接通狀態。其結果，+Axon線6a再次成為連接於GND之狀態，其電壓成為0。如此，藉由設定為Type＝1，能產生具有與低電壓脈衝相同之脈衝寬度之PWM方式之電氣信號。

如此，輸入電路270能於TACT方式之電氣信號與PWM方式之電氣信號之間切換而產生電氣信號。再者，作為輸入電路270，例如可使用產生TACT方式及PWM方式其中某一種方式之電路等。此外，輸入電路270之具體構成並不限定，例如可根據所使用之電氣信號之方式等適當構成，以便能輸出所期望之電氣信號。

圖20係表示安裝有ReLU函數之函數電路205之一例之電路圖。於圖20中，示出了用以實現與TACT方式之電氣信號對應之ReLU函數的2輸入2輸出之函數電路205。函數電路205例如應用於圖12或圖14所示之運算裝置200。

函數電路205具有ReLU電路250、開關控制電路251、第1～第4開關252a～252d、重設端子253、零輸入端子254。又，函數電路205具有正負之輸入端子255a及255b、正負之輸出端子256a及256b。

ReLU電路250例如與圖9A及圖9B所示之函數電路5a及5b同樣地構成，連接於正負之輸入端子255a及255b。自正負之輸入端子255a及255b向ReLU電路250輸入正之積和信號S_in ⁺ (t)及負之積和信號S_in ^- (t)。於ReLU電路250中，例如S_in ⁺ (t)在較S_in ^- (t)早之時序輸入之情形時(整體之積和結果大於0之情形時)，輸出正電壓(參照圖10)。

開關控制電路251包含充電開關260、放電開關261、電容元件262、變流器263。充電開關260之一側連接於電源電壓線，另一側連接於放電開關261之一側，控制端子連接於ReLU電路250之輸出側。放電開關261之另一側連接於GND，控制端子連接於重設端子253。

又，充電開關260與放電開關261之連接點連接於變流器263之輸入側。電容元件262例如係作為數位記憶體而動作之電容器，連接於變流器263之輸入側與GND之間。

第1開關252a連接於正之輸入端子255a與正之輸出端子256a之間。第2開關252b連接於負之輸入端子255b與負之輸出端子256b之間。又，第1及第2開關252a及252b之各控制端子連接於變流器263之輸入側。

第3開關252c連接於零輸入端子254與正之輸出端子256a之間。第4開關252d連接於零輸入端子254與負之輸出端子256b之間。又，第3及第4開關252c及252d之各控制端子連接於變流器263之輸出側。

若輸入正之積和信號S_in ⁺ (t)及負之積和信號S_in ^- (t)，則藉由ReLU電路250，輸出與整體之積和結果之符號相應之信號。例如，於整體之積和結果大於0之情形時，自ReLU電路250輸出正電壓。其結果，充電開關260成為接通狀態，於電容元件262中儲存特定之電荷。

因於電容元件262中儲存電荷，從而變流器263之輸入側之電位上升。藉此，第1及第2開關252a及252b成為接通狀態。如此，於整體之積和結果為0以上之情形時，正負之輸入端子255a及255b與正負之輸出端子256a及256b分別連接。再者，連接於變流器263之輸出側之第3及第4開關252c及252d成為斷開狀態。

於電容元件262中儲存有電荷之期間，變流器263之輸入側維持為高電位。因此，例如，即便ReLU電路250之輸出變成0，第1及第2開關252a及252b依然維持為接通狀態。其結果，自正負之輸出端子256a及256b直接輸出正之積和信號S_out ⁺ (t)＝S_in ⁺ (t)及負之積和信號S_out ^- (t)＝S_in ^- (t)。

再者，電容元件262每次運算時均會被重設為低位位準。例如，根據輸入至重設端子253之重設信號，放電開關261切換為接通狀態。藉此，能將電容元件262中儲存之電荷向GND釋放。輸入重設信號之時序等並不限定，以能妥當地執行例如積和運算之方式適當輸入即可。

又，於整體之積和結果為0以下之情形時，ReLU電路250之輸出成為0。於該情形時，不對電容元件262進行充電等，變流器263之輸入側成為低電位。因此，第1及第2開關252a及252b維持為斷開狀態。另一方面，變流器263之輸出側成為高電位，第3及第4開關252c及252d成為接通狀態。

其結果，正負之輸出端子256a及256b連接於零輸入端子254。自零輸入端子254輸出表示例如零之時序之信號S₀ 。其結果，自正負之輸出端子256a及256b輸出正之積和信號S_out ⁺ (t)＝S₀ 及負之積和信號S_out ^- (t)＝S₀ 。

如此，函數電路205成為安裝有針對2個輸入之ReLU函數的電路。再者，函數電路205之具體構成並不限定。例如可使用能作為相對於正負之積和信號S_in ⁺ (t)及S_in ^- (t)之ReLU函數而動作之任意電路。又，例如亦可使用安裝有ReLU函數以外之活化函數之電路。

圖21係表示突觸電路之另一構成例之電路圖。突觸電路308具有第1 MOS電晶體320a、第2 MOS電晶體320b、第1～第4閘極340a～340d、正反器電路330。正反器電路330例如與參照圖11所說明之正反器電路130同樣地構成。

突觸電路308與參照圖16所說明之突觸電路208相比，用作第1及第2 MOS電晶體320a及320b之MOS之種類與用作第1～第4閘極340a～340d之MOS之種類不同。具體而言，於圖21所示之突觸電路308中，使用於次臨界區域動作之nMOS作為第1及第2 MOS電晶體320a及320b。又，使用pMOS作為第1～第4閘極340a～340d。

於突觸電路308中，例如作為與正之負載值+α對應之狀態，第1端子332a之電壓P及第2端子332b之電壓N設定為(P，N)＝(Vdd，0)。又，作為與負之負載值-α對應之狀態，設定為(P，N)＝(0，Vdd)。再者，於圖21所示之例中，設定為電源電壓Vdd＝1.0 V。

例如，於設定了正之負載值+α之情形時，對第1閘極340a及第4閘極340d施加閘極電壓＝0，各閘極成為接通狀態。此時，對第2閘極340b及第3閘極340c施加閘極電壓＝Vdd，各閘極成為斷開狀態。又，例如，於設定了負之負載值-α之情形時，第2閘極340b及第3閘極340c成為接通狀態，第1閘極340a及第4閘極340d成為斷開狀態。

進行積和運算時，對動作電壓線60施加用以使第1及第2 MOS電晶體320a及320b於次臨界區域動作之動作電壓Vw(0.0～1.0 V)。又，±Dendrite線7a及7b構成為以例如電源電壓Vth為上限之較高之電壓狀態(例如0.7～1.0 V)。又，向±Axon線6a及6b輸入以0.0 V或1.0 V之電壓表示之電氣信號。

於設定了正負之負載值±α中任一者之狀態下，例如成為第1 MOS電晶體320a之輸出端子322a連接於±Dendrite線7a及7b中任一者之狀態。因此，輸出端子322a(汲極)之電壓與輸入端子321b(源極)相比較高。例如，於輸入端子321a之電壓為0 V之情形時，閘極端子323a與輸入端子321a之間之電壓即閘極電壓V_gs 成為Vw，成為次臨界區域內之接通狀態。又，例如，於輸入端子321a之電壓為Vw之情形時，閘極電壓V_gs 成為0 V，第1 MOS電晶體320a成為斷開狀態。

於第1 MOS電晶體320a已成為接通狀態之情形時，電流自輸出端子322a(汲極)向輸入端子321b(源極)流通。即，作為nMOS之載子之電子(負電荷)自輸入端子321a(源極)向輸出端子322b(汲極)輸出。再者，所輸出之負電荷之量可使用導通電阻R而設定。藉此，例如，能產生與所設定之負載值+α相應之電荷(負電荷)。於第2 MOS電晶體320b中，亦同樣如此。以下，有時將自第1及第2 MOS電晶體320a及320b輸出之負電荷簡記作電荷。

因此，於突觸電路308中，可使用以電壓為0之狀態表示信號值x_i 之電氣信號。即，向±Axon線6a及6b輸入低電壓脈衝(參照圖19)。低電壓脈衝例如可藉由適當構成輸入電路270而產生。

例如，於設定了正之負載值+α之情形時，自第1 MOS電晶體320a輸入至連接點341a之電荷自已成為接通狀態之第1閘極340a向+Dendrite線7a輸出。同樣地，自第2 MOS電晶體320b輸入至連接點341b之電荷自已成為接通狀態之第4閘極340d向-Dendrite線7b輸出。

又，例如，於設定了負之負載值-α之情形時，自第1 MOS電晶體320a輸入至連接點341a之電荷自已成為接通狀態之第2閘極340b向-Dendrite線7b輸出。同樣地，自第2 MOS電晶體320b輸入至連接點341b之電荷自已成為接通狀態之第3閘極340c向+Dendrite線7b輸出。

例如，藉由各突觸電路308，輸出至±Dendrite線7之電荷(負電荷)被儲存於電容器等，且其儲存量受到檢測。再者，檢測負電荷之儲存量之方法並不限定。基於所檢測出之儲存量，能算出例如正負之積和結果、或整體之積和結果等。如此，即便於使用nMOS作為第1及第2 MOS電晶體320a及320b之情形時，亦能妥當地執行積和運算。

圖21所示之突觸電路308係使用15個MOS電晶體而構成。又，於突觸電路308，連接有8條配線(±Axon線6a及6b、±Dendrite線7a及7b、2條電源電壓線、動作電壓線60及控制線61)。藉由使用獨立之動作電壓線60及控制線61，即便於使用nMOS作為負載之情形時，亦能穩定地實現負載設定或積和運算等處理。

圖22係表示突觸電路之另一構成例之電路圖。突觸電路408具有第1 MOS電晶體420a、第2 MOS電晶體420b、第1～第4閘極440a～440d、正反器電路430。又，於突觸電路408，連接有±Axon線6a及6b、±Dendrite線7a及7b、第1控制線61a及第2控制線61b。

第1～第4閘極440a～440d例如與參照圖21所說明之突觸電路308同樣地構成。又，正反器電路430例如與參照圖11所說明之正反器電路130同樣地構成。再者，正反器電路430之輸入用閘極435連接於第2控制線61b。對於負載值±α等之設定，使用第1及第2控制線61a及61b。

第1 MOS電晶體420係於次臨界區域動作之nMOS，具有輸入端子421a、輸出端子422a、閘極端子423a。輸入端子421a連接於GND。輸出端子422a連接於第1閘極440a與第2閘極440b之連接點441a。閘極端子423a連接於+Axon線6a。於本實施形態中，第1 MOS電晶體420a相當於第1負載部。

第2 MOS電晶體420係於次臨界區域動作之nMOS，具有輸入端子421b、輸出端子422b、閘極端子423b。輸入端子421b連接於GND。輸出端子422b連接於第3閘極440c與第4閘極440d之連接點422b。閘極端子423b連接於-Axon線6b。於本實施形態中，第2 MOS電晶體420b相當於第2負載部。

如此，第1及第2 MOS電晶體420a及420b之輸入端子421a及421b連接於GND。又，輸出端子422a及422b經由各閘極連接於±Dendrite線7a及7b中任一者。因此，輸入端子421a及421b成為電壓較低之源極側，輸出端子422a及422b成為汲極側。

再者，並不限定於輸入端子421a及421b連接於GND之情形。例如，輸入端子421a及421b亦可連接於設定了能妥當地執行乘算處理之電壓之定電壓源等。於本實施形態中，GND相當於特定之定電壓源。

於突觸電路408中，例如作為與正之負載值+α對應之狀態，第1端子432a之電壓P及第2端子432b之電壓N設定為(P，N)＝(Vdd，0)。又，作為與負之負載值-α對應之狀態，設定為(P，N)＝(0，Vdd)。再者，於圖22所示之例中，設定為電源電壓Vdd＝1.0 V。

進行積和運算時，±Dendrite線7a及7b設定為以例如電源電壓Vdd為上限之較高之電壓狀態。藉此，連接點441a及441b之電壓上升，第1及第2 MOS電晶體420a及420b成為被施加了汲極電壓(輸出端子與輸入端子之間之電壓)之狀態。

於該狀態下，第1及第2 MOS電晶體420a及420b之閘極端子423a及423b之電壓由±Axon線6a及6b中流通之電氣信號控制。例如，於+Axon線6a之電壓為0之情形時，閘極電壓V_gs 成為0，第1 MOS電晶體420a成為斷開狀態。又，例如，於+Axon線6a之電壓為Vw之情形時，閘極電壓V_gs 成為Vw，第1 MOS電晶體420a成為次臨界區域內之接通狀態。於第2 MOS電晶體420b中，亦同樣如此。

因此，於突觸電路408中，可使用以電壓為Vw之狀態表示信號值x_i 之電氣信號。藉此，第1及第2 MOS電晶體420a及420b能基於電氣信號產生與信號值x_i 和負載值α之乘算值對應之電荷。

例如，於設定了正之負載值+α之情形時，藉由第1 MOS電晶體420a所產生之電荷自第1閘極440a向+Dendrite線7a輸出。同樣地，藉由第2 MOS電晶體420b所產生之電荷自第4閘極440d向-Dendrite線7b輸出。

又，例如，於設定了負之負載值-α之情形時，藉由第1 MOS電晶體420a所產生之電荷自第2閘極440b向-Dendrite線7b輸出。同樣地，藉由第2 MOS電晶體420b所產生之電荷自第3閘極440c向+Dendrite線7a輸出。

圖22所示之突觸電路408係使用15個MOS電晶體而構成。又，於突觸電路408，連接有8條配線(±Axon線6a及6b，±Dendrite線7a及7b、2條電源電壓線、第1及第2控制線61a及61b)。於該構成中，各MOS電晶體420a及420b之源極側佈線於GND，能將源極側之配線構成得較粗，能抑制配線電阻等。又，源極與基板(GND側)局部連接，藉此能使源極側之電位穩定，從而能穩定地執行例如積和運算。

圖23係表示突觸電路之另一構成例之電路圖。突觸電路508具有第1～第4 MOS電晶體520a～520d、及正反器電路530。又，於突觸電路508，連接有±Axon線6a及6b、±Dendrite線7a及7b。

第1～第4 MOS電晶體520a～520d係於次臨界區域動作之nMOS，彼此同樣地構成。第1～第4 MOS電晶體520a～520d分別具有輸入端子521a～521d、輸出端子522a～522d、及閘極端子523a～523d。

第1 MOS電晶體520a之輸入端子521a連接於+Axon線6a。輸出端子522a連接於+Dendrite線7a。閘極端子523a連接於正反器電路530之第1端子532a。第2 MOS電晶體520b之輸入端子521b連接於+Axon線6a。輸出端子522b連接於-Dendrite線7b。閘極端子523b連接於正反器電路530之第2端子532b。於突觸電路508中，第1及第2 MOS電晶體520a及520b作為第1負載部及第1開關部而發揮功能。

第3 MOS電晶體520c之輸入端子521c連接於-Axon線6b。輸出端子522c連接於+Dendrite線7a。閘極端子523c連接於正反器電路530之第2端子532b。第4 MOS電晶體520d之輸入端子521d連接於-Axon線6b。輸出端子522d連接於-Dendrite線7b。閘極端子523d連接於正反器電路530之第1端子532a。於突觸電路508中，第3及第4 MOS電晶體520c及520d作為第2負載部及第2開關部而發揮功能。

正反器電路530具有第1及第2變流器531a及531b、第1及第2端子532a及532b、第1及第2輸入用閘極533a及533b。第1變流器531a之輸出向第2變流器531b輸入。又，第2變流器531b之輸出向第1變流器531a輸入。

第1端子532a係連接於第1變流器531a之輸入側(第2變流器531b之輸出側)之端子。第2端子532b係連接於第1變流器531a之輸出側(第2變流器531b之輸入側)之端子。

第1及第2輸入用閘極533a及533b係pMOS。第1輸入用閘極533a之閘極端子連接於+Dendrite線7a，一端子連接於+Axon線6a，另一端子連接於第1端子532a。第2輸入用閘極533b之閘極端子連接於-Dendrite線7a，一端子連接於-Axon線6b，另一端子連接於第2端子532b。

於突觸電路508中，使用±Axon線6a及6b、±Dendrite線7a及7b，對正反器電路530設定2值狀態(正負之負載值±α)。再者，第1及第2變流器531a及531b被以電源電壓Vdd＝Vw驅動。電源電壓Vdd例如設定為0.5V以下。

設定負載時，例如Dendrite線7a及7b設定為0 V。藉此，第1及第2變流器531a及531b成為接通狀態。於該狀態下，±Axon線6a及6b中一者之一電壓設定為Vw，另一者之電壓設定為0。藉此，能設定第1及第2端子532a及532b之電壓P及電壓N。

於突觸電路508中，例如作為與正之負載值+α對應之狀態，設定為(P，N)＝(Vw，0)。又，作為與負之負載值-α對應之狀態，設定為(P，N)＝(0，Vw)。

進行積和運算時，±Dendrite線7a及7b設定為高於例如正反器電路530之電源電壓Vdd之電壓狀態。藉此，第1及第2 MOS電晶體520a及520b成為被施加了汲極電壓(輸出端子與輸入端子之間之電壓)之狀態。

例如，於設定了正之負載值+α之狀態下，+Axon線6a之電壓成為0。於該情形時，輸入端子521a及521b之電壓為0。例如，關於第1 MOS電晶體520a，閘極端子523a被施加了電壓P＝Vw，因此閘極電壓V_gs ＝Vw，而成為接通狀態。另一方面，關於第2 MOS電晶體520b，閘極端子523b被施加了電壓N＝0，因此閘極電壓V_gs ＝0，而成為斷開狀態。

又，例如，於設定了正之負載值+α之狀態下，+Axon線6a之電壓成為1.0 V。於該情形時，輸入端子521a及521b之電壓為1.0 V。例如，關於第1 MOS電晶體520a，閘極端子523a被施加了電壓P＝Vw，因此閘極電壓V_gs ＜0，而成為斷開狀態。又，關於第2 MOS電晶體520b，閘極端子523b被施加了電壓N＝0，因此閘極電壓V_gs ＜0，而成為斷開狀態。

如此，於+Axon線6a為0，且閘極端子523a及523b之電壓為Vw之情形時，第1及第2 MOS電晶體520a及520b成為接通狀態。關於第3及第4 MOS電晶體520c及520d，亦同樣如此。

因此，於突觸電路508中，可使用以電壓為0之狀態表示信號值x_i 之電氣信號(低電壓脈衝)。藉此，第1～第4 MOS電晶體520a～520d能基於電氣信號產生與信號值x_i 和負載值α之乘算值對應之電荷。

例如，於設定了正之負載值+α之情形時，藉由第1 MOS電晶體520a所產生之電荷向+Dendrite線7a輸出。同樣地，藉由第4 MOS電晶體520d所產生之電荷向-Dendrite線7b輸出。

又，例如，於設定了負之負載值-α之情形時，藉由第2 MOS電晶體520b所產生之電荷向-Dendrite線7b輸出。同樣地，藉由第3 MOS電晶體520c所產生之電荷向+Dendrite線7a輸出。

圖23所示之突觸電路508係使用10個MOS電晶體而構成。又，於突觸電路508，連接有6條配線(±Axon線6a及6b、±Dendrite線7a及7b、2條電源電壓線)。於該構成中，能減少必要之MOS電晶體及配線之數量，縮小元件面積等。藉此，能實現集成電路之小型化或大規模化等。

圖24係表示突觸電路之另一構成例之電路圖。突觸電路608具有第1～第4 MOS電晶體620a～620d、及正反器電路630。又，於突觸電路608，連接有±Axon線6a及6b、±Dendrite線7a及7b。再者，正反器電路630例如與參照圖23所說明之正反器電路530同樣地構成。

第1～第4 MOS電晶體620a～620d係於次臨界區域動作之nMOS，彼此同樣地構成。第1～第4 MOS電晶體620a～620d分別具有輸入端子621a～621d、輸出端子622a～622d、及閘極端子623a～623d。

第1 MOS電晶體620a之輸入端子621a連接於正反器電路630之第2端子632b。輸出端子622a連接於+Dendrite線7a。閘極端子623a連接於+Axon線6a。第2 MOS電晶體620b之輸入端子621b連接於正反器電路630之第1端子632a。輸出端子622b連接於-Dendrite線7b。閘極端子623b連接於+Axon線6a。於突觸電路608中，第1及第2 MOS電晶體620a及620b作為第1負載部及第1開關部而發揮功能。

第3 MOS電晶體620c之輸入端子621c連接於正反器電路630之第1端子632a。輸出端子622c連接於+Dendrite線7a。閘極端子623c連接於-Axon線6b。第4 MOS電晶體620d之輸入端子621d連接於正反器電路630之第2端子632b。輸出端子622d連接於-Dendrite線7b。閘極端子623d連接於-Axon線6b。於突觸電路608中，第3及第4 MOS電晶體620c及620d作為第1負載部及第1開關部而發揮功能。

於突觸電路608中，例如作為與正之負載值+α對應之狀態，設定為(P，N)＝(Vdd，0)。又，作為與負之負載值-α對應之狀態，設定為(P，N)＝(0，Vdd)。再者，電源電壓Vdd例如設定為1.0 V左右。

進行積和運算時，±Dendrite線7a及7b設定為以例如正反器電路630之電源電壓Vdd為上限之高電壓狀態。藉此，第1及第2 MOS電晶體620a及620b成為被施加了汲極電壓(輸出端子與輸入端子之間之電壓)之狀態。

例如，於設定了正之負載值+α之狀態下，+Axon線6a之電壓成為0。於該情形時，第1及第2 MOS電晶體620a及620b之閘極端子623a及623b之電壓成為0。例如，關於第1 MOS電晶體620a，輸入端子621a被施加了電壓N＝0，因此閘極電壓V_gs ＝0，而成為斷開狀態。又，關於第2 MOS電晶體620b，輸入端子621b被施加了電壓P＝Vdd，因此閘極電壓V_gs ＝-Vdd，而成為斷開狀態。

又，例如，於設定了正之負載值+α之狀態下，+Axon線6a之電壓成為Vw。於該情形時，第1及第2 MOS電晶體620a及620b之閘極端子623a及623b之電壓成為Vw。例如，關於第1 MOS電晶體620a，輸入端子621a被施加了電壓N＝0，因此閘極電壓V_gs ＝Vw，而成為接通狀態。另一方面，關於第2 MOS電晶體620b，輸入端子621b被施加了電壓P＝Vdd，因此閘極電壓V_gs ＝Vw－Vdd。即，閘極電壓V_gs 成為低於Vw之值，因此第2 MOS電晶體620b成為斷開狀態。

如此，於+Axon線6a(閘極端子623a及623b)為Vw，且輸入端子621a及621b之電壓為0之情形時，第1及第2 MOS電晶體620a及620b成為接通狀態。關於第3及第4 MOS電晶體620c及620d，亦同樣如此。

因此，於突觸電路608中，可使用以電壓為Vw之狀態表示信號值x_i 之電氣信號。藉此，第1及第2 MOS電晶體620a及620b能基於電氣信號產生與信號值x_i 和負載值α之乘算值對應之電荷。

例如，於設定了正之負載值+α之情形時，藉由第1 MOS電晶體620a所產生之電荷向+Dendrite線7a輸出。同樣地，藉由第4 MOS電晶體620d所產生之電荷向-Dendrite線7b輸出。

又，例如，於設定了負之負載值-α之情形時，藉由第2 MOS電晶體620b所產生之電荷向-Dendrite線7b輸出。同樣地，藉由第3 MOS電晶體620c所產生之電荷向+Dendrite線7a輸出。

圖24所示之突觸電路608係使用10個MOS電晶體而構成。又，於突觸電路608，連接有6條配線(±Axon線6a及6b、±Dendrite線7a及7b、2條電源電壓線)。於該構成中，能減少必要之MOS電晶體及配線之數量，縮小元件面積等。

又，各MOS電晶體620a～620d之源極連接於正反器電路630，因此能使源極之配線較粗，從而能抑制配線電阻。又，各源極經由正反器電路630局部連接於基板(GND)。藉此，能使源極側之電位穩定，從而能穩定地執行例如積和運算。

圖25係表示突觸電路之另一構成例之電路圖。突觸電路708具有第1～第4 MOS電晶體720a～720d、及正反器電路730。又，於突觸電路708，連接有±Axon線6a及6b、±Dendrite線7a及7b。

第1～第4 MOS電晶體720a～720d例如與參照圖24所說明之第1～第4 MOS電晶體620a～620d同樣地構成。又，正反器電路730例如與參照圖5所說明之正反器電路30同樣地構成。即，突觸電路708為自圖24所示之突觸電路608去掉第1及第2輸入用閘極633a及633b後之構成。

於突觸電路708中，使用-Axon線6b、±Dendrite線7a及7b，對正反器電路730設定2值狀態(正負之負載值±α)。再者，第1及第2變流器731a及731b之電源電壓Vdd例如設定為2.5 V。

設定負載時，例如+Axon線6a之電壓設定為0，-Axon線6b之電壓設定為Vdd。藉此，第3及第4 MOS電晶體720c及720d成為接通狀態。於該狀態下，±Dendrite線7a及7b中一者之電壓設定為Vdd，另一者之電壓設定為0。藉此，能設定第1及第2端子732a及732b之電壓P及電壓N。

於突觸電路708中，例如作為與正之負載值+α對應之狀態，設定為(P，N)＝(Vdd，0)。又，作為與負之負載值-α對應之狀態，設定為(P，N)＝(0，Vdd)。又，於突觸電路708中，使用以電壓為Vw之狀態表示信號值x_i 之電氣信號。於設定了各負載值±α之狀態下輸入電氣信號之情形時之動作與參照圖24所說明之動作相同。

圖25所示之突觸電路708係使用8個MOS電晶體而構成。又，於突觸電路708，連接有6條配線(±Axon線6a及6b、±Dendrite線7a及7b、2條電源電壓線)。於該構成中，MOS電晶體之數量較少，能充分縮小元件面積等。藉此，能大幅地提高元件之集成密度等。又，連接於各輸入輸出線等之MOS電晶體之數量亦較少，能充分縮小各線之寄生電容等。其結果，能充分抑制裝置之耗電。

＜其他實施形態＞ 本發明並不限定於以上所說明之實施形態，亦可實現其他各種實施形態。

上述實施形態中，藉由使用於次臨界區域動作之MOS電晶體，向±Dendrite線輸入之電荷之量得到控制。因此，MOS電晶體作為藉由較高之導通電阻R控制與乘算值(w_i ・x_i )對應之電荷之電荷量的高電阻元件而發揮功能。但並不限定於此，亦可使用其他高電阻元件控制與乘算值對應之電荷量。

例如，亦可使用構成為以高於閾值電壓Vth之閘極電壓動作之MOS電晶體。於該情形時，藉由在電流源(±Axon線或正反器電路等)與±Dendrite線之間設置任意高電阻成分，能容易地限制向±Dendrite線輸出之電荷量。藉此，能大幅地抑制運算時被消耗之電力，從而能實現低耗電之裝置。

於第1實施形態中，對處理PWM方式之電氣信號之1輸入2輸出之突觸電路進行了說明。例如亦可對1輸入2輸出之突觸電路輸入TACT方式之電氣信號。於該情形時，藉由利用神經元電路適當執行運算處理，能進行使用了TACT方式之電氣信號之積和運算處理。

例如，如參照(數3)及(數4)所說明般，於使用了TACT方式之電氣信號之積和運算中，正之負載值之總和β⁺ 與負之負載值之總和β^- 相等之情形時，整體之積和結果由(數4)表示。因此，於β⁺ 及β^- 不同之情形時，藉由使用補償該差量之虛擬負載，能創造出β⁺ 與β^- 相等之狀態。

此即相當於，例如產生與虛擬負載對應之電荷，對圖4所示之電容器充電。如此，藉由設置根據β⁺ 及β^- 之差量而追加地對電容器充電之電路，可使用1輸入2輸出之突觸電路，處理TACT方式之電氣信號。例如亦可採用此種構成。

圖26係表示圖4所示之神經元電路9之具體構成例之電路圖。圖26所示之神經元電路9係於輸入期間T之後以固定之充電速度對電容器13充電之電路。又，神經元電路9與圖4同樣地，將來自一對輸出線7之正負之輸出對作為輸入，並自單個輸出信號線10輸出1個積和結果。於圖26中，對向神經元電路9輸入藉由PWM信號所產生之電荷之情形進行說明。

以下，有時將輸入期間T記作T_in ，將輸入期間T_in 之後之產生積和信號之輸出期間記作T_out 而進行說明。再者，典型而言，輸入期間T_in 與輸出期間T_out 係彼此連續之設定為相同長度T之期間(T_in ＝T_out ＝T)。

神經元電路9除圖4所示之儲存部11及輸出部12，進而具有充電部80。充電部80於輸入期間T_in 之後之輸出期間T_out ，以固定之充電速度對電容器13充電。如上所述，PWM信號係藉由輸入期間T_in 內之脈衝寬度表示信號值之信號，於輸入期間T_in 之後，所有PWM信號均成為0(參照圖2)。因此，於輸出期間T_out ，向各輸出線7輸出之電荷大致成為0。圖4所示之充電部80於該輸出期間T_out 動作，以將電容器13連接至特定之電流線In，而對電容器13充電。

充電部80具有變更電容器13a之連接口之第1切換開關81a、第2切換開關82a及第3切換開關83a、以及變更電容器13b之連接口之第1切換開關81b、第2切換開關82b及第3切換開關83b。又，於充電部80，連接有第1控制線SW1、第2控制線SW2、電流線In。再者，圖26所示之各切換開關之連接狀態(接通或斷開)表示輸入期間T_in 內之連接狀態。

第1切換開關81a連接於較電容器13a更靠上游且正之輸出線7a與GND之間。第2切換開關82a連接於電流線In與電容器13a之輸出節點84a之間。此處，輸出節點84a係與電容器13a之連接於GND之側為相反側之節點(端子)。第3切換開關83a設置於輸出節點84a(電容器13a)與正之輸出線7a之間。又，輸出節點84a連接於後段之輸出部12。

第1切換開關81b連接於較電容器13b更靠上游且負之輸出線7b與GND之間。第2切換開關82b連接於電流線In與電容器13b之輸出節點84b之間。第3切換開關83b設置於輸出節點84b(電容器13b)與負之輸出線7b之間。又，輸出節點84b連接於後段之輸出部12。

第1控制線SW1控制第1切換開關81a及81b。第2控制線SW2控制第2切換開關82a及82b與第3切換開關83a及83b。再者，第2切換開關82a(82b)與第3切換開關83a(83b)構成為接通、斷開之狀態彼此相反，於其中一者接通之情形時，另一者斷開。各切換開關之具體構成並不限定，例如可採用使用了CMOS電路等之類比開關等。又，向各控制線適當輸入用以使切換開關動作之控制信號。

輸出部12藉由於輸出期間T_out 對電容器13之電位進行閾值判定，而輸出積和信號。此處，所謂電容器13之電位，係指各電容器13a及13b之輸出節點84a及84b之電位。具體而言，執行各輸出節點84a及84b之電位與GND電位之電位差(電壓)之閾值判定。以下，有時將以GND為基準之各輸出節點84a及84b之電位簡記作電壓。

輸出部12具有正負之比較器85a及85b、以及ReLU功能電路86。又，輸出部12連接於供給特定之閾值電壓之閾值電壓線Vth。正之比較器85a(負之比較器85b)連接於輸出節點84a(輸出節點84b)及閾值電壓線Vth，於輸出節點84a(輸出節點85b)之電壓超過閾值電壓之情形時，將輸出位準自低位切換至高位。各比較器85a及85b之具體構成並不限定。

再者，對閾值電壓線Vth設定之閾值電壓之值結合下述電容器13之充電速度而設定，以能於例如輸出期間T_out 之間，妥當地檢測出正負之積和結果。或者，亦可根據電容器13之電容等設定閾值電壓。此外，設定閾值電壓之方法等並不限定。

ReLU功能電路86係實現參照圖1所說明之ReLU函數之電路。ReLU功能電路86例如可如下述圖9所示之電路般，使用邏輯電路而構成。又，ReLU功能電路86作為圖1等所示之函數電路5而發揮功能。即，圖26所示之神經元電路9亦可說成是包含函數電路5而構成。

圖27係表示圖26所示之神經元電路9之動作例之時序圖。圖27A及圖27B係表示有關於正之負載值及負之負載值之積和運算之時序圖。又，圖27C係表示ReLU功能電路86之動作之時序圖。以下，參照圖26及圖27，對神經元電路9之動作例進行說明。

首先，輸入期間T_in 開始之前，藉由第1控制線SW1，將第1切換開關81a及81b設定為接通狀態，並使各輸出線7a及7b接地於GND。此時，第2切換開關82a及82b為斷開狀態。又，第3切換開關83a及83b為接通狀態，電容器13a及13b為連接於正負之輸出線7a及7b之狀態。即，充電部80於輸入期間T_in 之前將電容器13連接至GND。

藉此，作為執行積和運算之前之初始狀態，可將輸出線7a及7b初始化而重設為GND位準(設置位準)。藉此，電容器13中儲存之電荷及輸出線7之寄生電容等中儲存之電荷向GND釋放。其結果，前次之運算中儲存之電荷等得到重設，從而能反覆執行妥當之運算處理。

再者，電荷之重設結束後，藉由第1控制線SW1，將第1切換開關81a及81b設定為斷開狀態。又，第2切換開關82a及82b維持為斷開狀態，第3切換開關83a及83b維持為接通狀態。於該狀態下，開始輸入期間T_in 。如此，充電部80於輸入期間T_in 將電容器13連接至一對輸出線7a及7b。

於輸入期間T_in ，自複數條輸入信號線6(Axon線)輸入PWM信號，對各電容器13a及13b充電。例如，於輸入期間T_in 內，向輸出線之7a及7b各者經由各突觸電路8(負載)輸入複數個PWM信號(輸入信號)。以下，將向正負之輸出線7a及7b輸入之信號記作±Axon(n)。

例如，如圖27A所示，向正之輸出線7a輸入+Axon(1)～+Axon(n)之PWM信號。其結果，正側之電容器13a根據各PWM信號之脈衝寬度(信號值)被充電，電容器13a之電壓(+Dendrite)隨著相對於正之輸出線7a之各PWM信號之輸入而增加。同樣地，如圖27B所示，向負之輸出線7b輸入-Axon(1)～-Axon(n')之PWM信號。其結果，負側之電容器13a之電壓(-Dendrite)隨著相對於負之輸出線7a之各PWM信號之輸入而增加。再者，於輸入期間T_in 結束前，所有PWM信號之輸入完成。

輸入期間T_in 結束後，連續地進入輸出期間T_out 。於開始輸出期間T_out 之時序，藉由第2控制線SW2，第3切換開關83a及83b設定為斷開狀態。其結果，輸出線7a及7b與神經元電路9之後段(儲存部11及輸出部12)分離。

又，大致同時地，第2切換開關82a及82b設定為接通狀態，電流線In連接於電容器13a及13b。其結果，電容器13a及13b藉由電流線In而被充電。具體而言，如圖27A及圖27B所示，藉由連接於電流線In，In⁺ 及In^- 向電容器13a及13b流入。

於本實施形態中，電流線In作為定電流源而發揮功能。因此，流入各電容器13a及13b之電流(In⁺ 及In^- )成為彼此相等之值。藉由該等電流，電容器13a及13b被以彼此固定之充電速度充電。如此，充電部80於輸出期間T_out 將電容器13連接至供給與固定之充電速度相應之電流之電流線In。藉此，能藉由閾值判定精度良好且容易地檢測出於輸入期間T_in 儲存之電荷。於圖26所示之例中，電流線In相當於電流源。

例如，如圖27A及圖27B所示，藉由連接於電流線In，與輸出期間T_out 之開始(輸入期間T_in 之結束)同時地，電容器13a及13b之電壓即±Dendrite以固定之比率增加。該增加之斜率於各電容器13a及13b中相等。其結果，例如±Dendrite超過閾值電壓之時序表示各電容器13a及13b之輸入期間T_in 結束時序下之電壓。藉此，能妥當地表示於輸入期間T_in 儲存之電荷即正負之各積和結果。

電流線In供給電流直至±Dendrite達到閾值電壓Vth為止。而且，當±Dendrite達到閾值電壓Vth，自各比較器85a及85b產生輸出信號Sn⁺ (t)及Sn^- (t)。Sn⁺ (t)及Sn^- (t)分別成為表示正之積和結果及負之積和結果之積和信號。

於圖27所示之例中，輸入期間T_in 之結束時序下之電容器13a之電壓較電容器13b高，因此Sn⁺ (t)於較Sn^- (t)早之階段產生。如此，自比較器輸出之信號成為上升之時序越早則積和結果越大之信號。

表示正負之積和結果之信號(Sn⁺ (t)及Sn^- (t))向ReLU功能電路86輸入，其差量作為PWM信號Sn(t)而輸出。如圖27C所示，Sn(t)係於Sn⁺ (t)為高位，Sn^- (t)為低位之情形時，成為高位之信號。Sn(t)之脈衝寬度表示正負之積和結果之差量，即自一個類比電路3輸出之最終之積和運算之結果。再者，與Sn(t)僅於Sn⁺ (t)＞Sn^- (t)之情形時(正負之積和結果之差量為0以上之情形時)產生(參照圖9等)。

如此，於圖26所示之神經元電路9中，能輸出藉由ReLU函數加以處理後的積和結果。再者，圖26所示之電路並不限定於此，可將能讀出電容器13中儲存之電荷等之任意電路用作神經元電路9。

圖28係表示圖15所示之神經元電路209之具體構成例之電路圖。圖28所示之神經元電路209係於輸入期間T_in 之後，以固定之充電速度對電容器213充電之電路。又，神經元電路209與圖15同樣地，將來自一對輸出線7之正負之輸出對作為輸入，自一對輸出信號線10a及10b輸出正負之積和結果。於圖28中，對向神經元電路209輸入藉由TACT方式之信號(步進信號)所產生之電荷之情形進行說明。

神經元電路209除儲存部211及輸出部212以外，進而具有充電部280。儲存部211及充電部280具有例如與參照圖26所說明之充電部80相同之構成。再者，於圖28所示之神經元電路209中，自輸出部212之比較器285a及285b，直接輸出表示正負之積和結果之一對積和信號Sn⁺ (t)及Sn^- (t)。即，輸出部212亦可說成是自圖26所示之輸出部12去除ReLU功能電路86後之構成。

充電部280於輸入期間T_in 之後之輸出期間T_out ，以固定之充電速度對電容器213充電。如上所述，步進信號係藉由輸入期間T_in 內之時序表示信號值之信號。此處，於輸入期間T_in 內，使用藉由自低位向高位上升之時序表示信號值之信號。再者，上升之步進信號其後亦持續地維持高位位準(參照圖13等)。

圖29係表示圖28所示之神經元電路209之動作例之時序圖。圖29A及圖29B係表示有關於正之負載值及負之負載值之積和運算之時序圖。

於圖29中，輸入期間T_in 結束後(於輸出期間T_out )步進信號亦維持為高位位準，藉由該等步進信號，於輸出期間T_out 對電容器13充電。即，於輸出期間T_out ，藉由複數條輸入信號線6(Axon線)及輸出線7構成電流源，而對電容器13充電。

因此，於圖29中，各Axon線及正負之輸出線7a及7b作為充電部280之一部分而發揮功能。於該情形時，例如，以去掉圖28所示之第2切換開關282a及282b與電流線In，且使第3切換開關283a及283b短路之構成，能使神經元電路209動作。藉此，能將用以對電容器13充電之電路構成簡化。

首先，開始輸入期間T_in 之前，以正負之輸出線7a及7b與電容器213a及213b連接之狀態(第3切換開關283a及283b短路之狀態)，藉由第1控制線SW1將第1切換開關281a及281b設定為接通狀態。藉此，進行積和運算之前，能將輸出線7a及7b等初始化而重設為GND位準(設置位準)。

於輸入期間T_in ，向複數條Axon線分別輸入以與信號值相應之時序上升之步進信號。於TACT方式中，繼輸入期間T_in 之後，自所有Axon線輸入維持高位位準之信號。即，於輸入期間T_in ，輸入步進信號之時序上存在差異，但於輸出期間T_in ，所有Axon線成為高位位準，而被持續地供給固定之電荷。藉此，能以固定之充電速度對電容器213a及213b充電。

電容器213a及213b之輸出節點284a及284b之電壓分別以固定之比率增加。而且，當各輸出節點284a及284b之電壓(±Dendrite)達到比較器285a及285b之閾值電壓，產生正負之積和信號Sn⁺ (t)及Sn^- (t)。所產生之Sn⁺ (t)及Sn^- (t)作為一對積和信號向後段輸出。如此，藉由使用TACT方式之步進信號，能以簡單之構成產生表示積和結果之積和信號。

圖30係表示圖28所示之神經元電路209之另一動作例之時序圖。圖30A及圖30B係表示有關於正之負載值及負之負載值之積和運算之時序圖。於圖30中，輸入期間T_in 結束後正負之輸出線7a及7b分離。而且，於輸出期間T_out ，藉由電流線In對電容器13充電。

各輸出線7a及7b等被重設為初始狀態後，開始輸入期間T_in ，而輸入複數個步進信號。此時，第2切換開關282a及282b設定為斷開狀態，第3切換開關283a及283b設定為接通狀態。藉此，自正負之輸出線7a及7b向電容器213a及213b儲存與步進信號之信號值相應之電荷。

在圖30中，於輸入期間T_in 結束之時序，藉由第2控制線SW2將第3切換開關283a及283b設定為斷開狀態，輸出線7a及7b自神經元電路209之後段(儲存部211及輸出部212)分離。其結果，如圖30A及圖30B所示，於輸出期間T_out ，來自各Axon線之輸入被切斷。

又，與輸出線7a及7b分離之時序大致同時地，將第2切換開關282a及282b設定為接通狀態。藉此，各電容器213a及213b連接於電流線In，而分別被供給固定之電流In⁺ 及In^- 。其結果，電容器213a及213b被以相互固定之充電速度充電。又，當各輸出節點284a及284b之電壓(±Dendrite)達到比較器285a及285b之閾值電壓，產生正負之積和信號Sn⁺ (t)及Sn^- (t)。

如此，既便於使用TACT方式之情形時，亦能利用電流線In產生表示積和結果之積和信號。藉此，能採用例如PWM方式中使用之神經元電路9(參照圖26)之設計，從而容易地構成TACT方式用之神經元電路209。

參照各圖式所說明之運算裝置、類比電路、突觸電路、神經元電路等之各構成、積和信號之產生方法等終歸僅為一實施形態，於不脫離本發明主旨之範圍內，可任意變形。即，可採用用以實施本發明之其他任意構成或方法等。

於本發明中，「相同」、「相等」、「正交」等為包括「實質上相同」、「實質上相等」、「實質上正交」等在內之概念。例如亦包括包含於以「完全相同」、「完全相等」、「完全正交」等為基準之特定範圍(例如±10%之範圍)內之狀態。

亦可將以上所說明之本發明之特徵部分中至少2個特徵部分組合。即，各實施形態中所說明之各種特徵部分無各實施形態之區別，可任意組合。又，上文所記載之各種效果終歸僅為例示，而非有所限定者，又，亦可發揮其他效果。

再者，本發明亦可採用如下所述之構成。 (1)一種運算裝置，其具備： 被輸入電氣信號之複數條輸入線，及 積和運算裝置，其具有： 一對輸出線； 複數個乘算部，其等具有：負載部，其基於向上述複數條輸入線輸入之上述電氣信號，產生與將由上述電氣信號表示之信號值乘以負載值而得之乘算值對應之電荷；保持部，其保持2值狀態；及開關部，其基於上述保持之2值狀態，將藉由上述負載部產生之電荷向上述一對輸出線之任一者輸出； 儲存部，其儲存藉由上述複數個乘算部向上述一對輸出線輸出之電荷；及 輸出部，其基於上述儲存之電荷，輸出表示上述乘算值之和的積和信號。 (2)如(1)所記載之運算裝置，其中上述負載部包含MOS電晶體，該MOS電晶體具有輸入端子、輸出端子、及用以控制上述輸入端子與上述輸出端子之間之導通的閘極端子。 (3)如(2)所記載之運算裝置，其中上述負載值根據上述輸入端子與上述輸出端子之間之電阻而設定。 (4)如(2)或(3)所記載之運算裝置，其中上述保持部具有第1端子及第2端子，該等第1端子及第2端子基於上述所保持之2值狀態，以彼此之電壓不同之方式切換兩種電壓而輸出。 (5)如(4)所記載之運算裝置，其中上述閘極端子連接於上述輸入線，且 上述輸入端子連接於上述第1端子、上述第2端子及特定之定電壓源中之任一者。 (6)如(4)所記載之運算裝置，其中上述輸入端子連接於上述輸入線，且 上述閘極端子連接於上述第1端子、上述第2端子及特定之閘極電壓源中之任一者。 (7)如(2)～(6)中任一項所記載之運算裝置，其中上述負載部具有彼此連接於相同之上述輸入線之第1 MOS電晶體與第2 MOS電晶體，且 上述開關部包含上述第1及上述第2 MOS電晶體。 (8)如(2)～(6)中任一項所記載之運算裝置，其中上述一對輸出線包含第1輸出線與第2輸出線，且 上述開關部具有將上述輸出端子與上述第1輸出線連接之第1開關元件、及將上述輸出端子與上述第2輸出線連接之第2開關元件。 (9)如(2)～(5)或(7)中任一項所記載之運算裝置，其中上述保持部連接於上述輸入端子，且 上述負載部自上述輸入端子輸出控制上述保持部之2值狀態之控制信號。 (10)如(1)～(9)中任一項所記載之運算裝置，其中上述負載部產生與將上述信號值乘以上述負載值之絕對值而得之乘算值對應之電荷，且 上述保持部保持與上述負載值之符號對應之2值狀態。 (11)如(1)～(10)中任一項所記載之運算裝置，其中上述負載值於上述複數個乘算部中，設定為絕對值互為相等但符號不同之第1值及第2值之任一者。 (12)如(1)～(11)中任一項所記載之運算裝置，其中上述複數條輸入線包含以第1輸入線及第2輸入線為一對之複數個上述輸入線對，且 上述乘算部具有連接於上述輸入線對中之上述第1輸入線之第1負載部、及連接於上述第2輸入線之第2負載部。 (13)如(12)所記載之運算裝置，其中上述乘算部具有：第1開關部，其基於上述保持之2值狀態，將藉由上述第1負載部產生之電荷向上述一對輸出線之一者輸出；及第2開關部，其將藉由上述第2負載部產生之電荷向上述一對輸出線之另一者輸出。 (14)如(1)～(13)中任一項所記載之運算裝置，其中上述負載部包含控制與上述乘算值對應之電荷量之高電阻元件。 (15)如(1)～(14)中任一項所記載之運算裝置，其中上述負載部包含於次臨界區域動作之MOS電晶體。 (16)如(1)～(15)中任一項所記載之運算裝置，其進而具備並聯連接於上述複數條輸入線各者之複數個上述積和運算裝置。 (17)如(16)所記載之運算裝置，其中上述複數條輸入線係以與複數個上述積和運算裝置所具有之複數對上述輸出線交叉之方式配線。 (18)如(1)～(17)中任一項所記載之運算裝置，其中上述電氣信號係藉由輸入期間內之時序或脈衝寬度表示上述信號值之信號，且 上述積和運算裝置具有充電部，該充電部於上述輸入期間之後之輸出期間，以固定之充電速度對上述儲存部充電， 上述輸出部藉由在上述輸出期間對上述儲存部之電位進行閾值判定，而輸出上述積和信號。 (19)如(18)所記載之運算裝置，其中上述充電部於上述輸入期間將上述儲存部連接於上述一對輸出線，於上述輸出期間將上述儲存部連接於供給與上述固定之充電速度相應之電流之電流源。 (20)如(18)或(19)所記載之運算裝置，其中上述充電部於上述輸入期間之前將上述儲存部連接至GND。 (21)一種積和運算裝置，其具備： 一對輸出線； 複數個乘算部，其等具有：負載部，其基於向複數條輸入線輸入之上述電氣信號，產生與將由上述電氣信號表示之信號值乘以負載值而得之乘算值對應之電荷；保持部，其保持2值狀態；及開關部，其基於上述保持之2值狀態，將藉由上述負載部產生之電荷向上述一對輸出線之任一者輸出； 儲存部，其儲存藉由上述複數個乘算部向上述一對輸出線輸出之電荷；及 輸出部，其基於上述所儲存之電荷，輸出表示上述乘算值之和的積和信號。 (22)一種積和運算電路，其具備： 一對輸出線； 複數個乘算部，其等具有：負載部，其基於向複數條輸入線輸入之上述電氣信號，產生與將由上述電氣信號表示之信號值乘以負載值而得之乘算值對應之電荷；保持部，其保持2值狀態；及開關部，其基於上述保持之2值狀態，將藉由上述負載部產生之電荷向上述一對輸出線之任一者輸出； 儲存部，其儲存藉由上述複數個乘算部向上述一對輸出線輸出之電荷；及 輸出部，其基於上述儲存之電荷，輸出表示上述乘算值之和的積和信號。 (23)一種積和運算系統，其具備被輸入電氣信號之複數條輸入線、複數個類比電路、及將上述複數個類比電路連接而構成之網路電路， 該等類比電路具有： 一對輸出線； 複數個乘算部，其等具有：負載部，其基於向上述複數條輸入線輸入之上述電氣信號，產生與將由上述電氣信號表示之信號值乘以負載值而得之乘算值對應之電荷；保持部，其保持2值狀態；及開關部，其基於上述保持之2值狀態，將藉由上述負載部產生之電荷向上述一對輸出線之任一者輸出； 儲存部，其儲存藉由上述複數個乘算部向上述一對輸出線輸出之電荷；及 輸出部，其基於上述儲存之電荷，輸出表示上述乘算值之和的積和信號。 (24)如(23)所記載之積和運算系統，其中上述複數個類比電路並聯連接於上述複數條輸入線各者。 (25)如(24)所記載之積和運算系統，其中上述複數條輸入線係以與上述複數個類比電路所具有之複數對上述輸出線交叉之方式配線。 (26)一種積和運算方法，其係向複數條輸入線輸入電氣信號， 基於向上述複數條輸入線輸入之上述電氣信號，產生與將由上述電氣信號表示之信號值乘以負載值而得之乘算值對應之電荷， 保持2值狀態， 基於上述所保持之2值狀態，將上述所產生之電荷向一對輸出線之任一者輸出， 儲存輸出至上述一對輸出線之電荷， 基於上述儲存之電荷，輸出表示上述乘算值之和的積和信號。

3‧‧‧類比電路 6‧‧‧輸入信號線(Axon線) 6a‧‧‧Axon線 6b‧‧‧Axon線 7‧‧‧輸出線 7a‧‧‧Dendrite線 7b‧‧‧Dendrite線 8‧‧‧突觸電路 9‧‧‧神經元電路 11‧‧‧儲存部 12‧‧‧輸出部 18‧‧‧電氣信號 18a‧‧‧電氣信號 18b‧‧‧電氣信號 20a‧‧‧第1MOS電晶體 20b‧‧‧第2MOS電晶體 21a‧‧‧輸入端子 21b‧‧‧輸入端子 22a‧‧‧輸出端子 22b‧‧‧輸出端子 23a‧‧‧閘極端子 23b‧‧‧閘極端子 30‧‧‧正反器電路 31‧‧‧變流器 31a‧‧‧第1變流器 31b‧‧‧第2變流器 32a‧‧‧第1端子 32b‧‧‧第2端子 60‧‧‧動作電壓線 61‧‧‧控制線 61a‧‧‧控制線 61b‧‧‧控制線 80‧‧‧充電部 100‧‧‧運算裝置 108‧‧‧突觸電路 120‧‧‧MOS電晶體 130‧‧‧正反器電路 132a‧‧‧第1端子 132b‧‧‧第2端子 200‧‧‧運算裝置 208‧‧‧突觸電路 209‧‧‧神經元電路 211‧‧‧儲存部 212‧‧‧輸出部 220a‧‧‧第1MOS電晶體 220b‧‧‧第2MOS電晶體 230‧‧‧正反器電路 232a‧‧‧第1端子 232b‧‧‧第2端子 280‧‧‧充電部 308‧‧‧突觸電路 320a‧‧‧第1MOS電晶體 320b‧‧‧第2MOS電晶體 330‧‧‧正反器電路 332a‧‧‧第1端子 332b‧‧‧第2端子 408‧‧‧突觸電路 420a‧‧‧第1MOS電晶體 420b‧‧‧第2MOS電晶體 430‧‧‧正反器電路 432a‧‧‧第1端子 432b‧‧‧第2端子 508‧‧‧突觸電路 520a‧‧‧第1MOS電晶體 520b‧‧‧第2MOS電晶體 520c‧‧‧第3MOS電晶體 520d‧‧‧第4MOS電晶體 530‧‧‧正反器電路 532a‧‧‧第1端子 532b‧‧‧第2端子 608‧‧‧突觸電路 620a‧‧‧第1MOS電晶體 620b‧‧‧第2MOS電晶體 620c‧‧‧第3MOS電晶體 620d‧‧‧第4MOS電晶體 630‧‧‧正反器電路 632a‧‧‧第1端子 632b‧‧‧第2端子 708‧‧‧突觸電路 720a‧‧‧第1MOS電晶體 720b‧‧‧第2MOS電晶體 720c‧‧‧第3MOS電晶體 720d‧‧‧第4MOS電晶體 730‧‧‧正反器電路 732a‧‧‧第1端子 732b‧‧‧第2端子

圖1係表示本發明之第1實施形態之運算裝置之構成例的模式圖。 圖2係表示向類比電路輸入之電氣信號之一例之模式圖。 圖3係表示運算裝置之具體構成例之模式圖。 圖4係表示神經元電路之構成例之模式圖。 圖5係表示突觸電路之構成例之電路圖。 圖6A、B係表示突觸電路之動作之一例之時序圖。 圖7係表示向Axon線輸入電氣信號之輸入電路之一例之電路圖。 圖8係表示輸入電路之動作之一例之時序圖。 圖9A、B係表示安裝有ReLU函數之函數電路之一例之電路圖。 圖10係表示函數電路之動作之一例之時序圖。 圖11係表示突觸電路之另一構成例之電路圖。 圖12係表示第2實施形態之運算裝置之構成例之模式圖。 圖13A、B係表示向類比電路輸入之電氣信號之一例之模式圖。 圖14係表示運算裝置之具體構成例之模式圖。 圖15係表示神經元電路之構成例之模式圖。 圖16係表示突觸電路之構成例之電路圖。 圖17A、B係表示突觸電路之動作之一例之時序圖。 圖18係表示向±Axon線輸入電氣信號之輸入電路之一例之電路圖。 圖19A、B係表示輸入電路之動作之一例之時序圖。 圖20係表示安裝有ReLU函數之函數電路之一例之電路圖。 圖21係表示突觸電路之另一構成例之電路圖。 圖22係表示突觸電路之另一構成例之電路圖。 圖23係表示突觸電路之另一構成例之電路圖。 圖24係表示突觸電路之另一構成例之電路圖。 圖25係表示突觸電路之另一構成例之電路圖。 圖26係表示圖4所示之神經元電路之具體構成例之電路圖。 圖27A～C係表示圖26所示之神經元電路之動作例之時序圖。 圖28係表示圖15所示之神經元電路之具體構成例之電路圖。 圖29A、B係表示圖28所示之神經元電路之動作例之時序圖。 圖30A、B係表示圖28所示之神經元電路之另一動作例之時序圖。

6‧‧‧輸入信號線(Axon線)

7a‧‧‧Dendrite線

7b‧‧‧Dendrite線

8‧‧‧突觸電路

20a‧‧‧第1 MOS電晶體

20b‧‧‧第2 MOS電晶體

21a‧‧‧輸入端子

21b‧‧‧輸入端子

22a‧‧‧輸出端子

22b‧‧‧輸出端子

23a‧‧‧閘極端子

23b‧‧‧閘極端子

30‧‧‧正反器電路

31‧‧‧變流器

31a‧‧‧第1變流器

31b‧‧‧第2變流器

32a‧‧‧第1端子

32b‧‧‧第2端子

Claims (23)

1. 一種運算裝置，其具備：被輸入電氣信號之複數條輸入線，及積和運算裝置，其具有：一對輸出線；複數個乘算部，其等具有：負載部，其基於向上述複數條輸入線輸入之上述電氣信號，產生與將由上述電氣信號表示之信號值乘以負載值而得之乘算值對應之電荷；保持部，其保持2值狀態；及開關部，其基於上述保持之2值狀態，將藉由上述負載部產生之電荷向上述一對輸出線之任一者輸出；儲存部，其儲存藉由上述複數個乘算部向上述一對輸出線輸出之電荷；及輸出部，其基於上述儲存之電荷，輸出表示上述乘算值之和的積和信號。
2. 如請求項1之運算裝置，其中上述負載部包含MOS電晶體，該MOS電晶體具有輸入端子、輸出端子、及用以控制上述輸入端子與上述輸出端子之間之導通的閘極端子。
3. 如請求項2之運算裝置，其中上述負載值根據上述輸入端子與上述輸出端子之間之電阻而設定。
4. 如請求項2之運算裝置，其中上述保持部具有第1端子及第2端子，該等第1端子及第2端子基於上述保持之2值狀態，以彼此之電壓不同之方式切換兩種電壓而輸出。
5. 如請求項4之運算裝置，其中上述閘極端子連接於上述輸入線，且上述輸入端子連接於上述第1端子、上述第2端子及定電壓源中之任一者。
6. 如請求項4之運算裝置，其中上述輸入端子連接於上述輸入線，且上述閘極端子連接於上述第1端子、上述第2端子及閘極電壓源中之任一者。
7. 如請求項2之運算裝置，其中上述負載部具有彼此連接於相同之上述輸入線之第1 MOS電晶體與第2 MOS電晶體，且上述開關部包含上述第1及上述第2 MOS電晶體。
8. 如請求項2之運算裝置，其中上述一對輸出線包含第1輸出線與第2輸出線，且上述開關部具有將上述輸出端子與上述第1輸出線連接之第1開關元件、及將上述輸出端子與上述第2輸出線連接之第2開關元件。
9. 如請求項2之運算裝置，其中上述保持部連接於上述輸入端子，且上述負載部自上述輸入端子輸出控制上述保持部之2值狀態之控制信 號。
10. 如請求項1之運算裝置，其中上述負載部產生與將上述信號值乘以上述負載值之絕對值而得之乘算值對應之電荷，且上述保持部保持與上述負載值之符號對應之2值狀態。
11. 如請求項1之運算裝置，其中上述負載值於上述複數個乘算部中，設定為絕對值互為相等但符號不同之第1值及第2值之任一者。
12. 如請求項1之運算裝置，其中上述複數條輸入線包含以第1輸入線及第2輸入線為一對之複數個上述輸入線對，且上述乘算部具有連接於上述輸入線對中之上述第1輸入線之第1負載部、及連接於上述第2輸入線之第2負載部。
13. 如請求項12之運算裝置，其中上述乘算部具有：第1開關部，其基於上述保持之2值狀態，將藉由上述第1負載部產生之電荷向上述一對輸出線之一者輸出；及第2開關部，其將藉由上述第2負載部產生之電荷向上述一對輸出線之另一者輸出。
14. 如請求項1之運算裝置，其中上述負載部包含控制與上述乘算值對應之電荷量之高電阻元件。
15. 如請求項1之運算裝置，其中上述負載部包含於次臨界區域動作之 MOS電晶體。
16. 如請求項1之運算裝置，其進而具備並聯連接於上述複數條輸入線各者之複數個上述積和運算裝置。
17. 如請求項16之運算裝置，其中上述複數條輸入線係以與複數個上述積和運算裝置所具有之複數對上述輸出線交叉之方式配線。
18. 如請求項1之運算裝置，其中上述電氣信號係藉由輸入期間內之時序或脈衝寬度表示上述信號值之信號，且上述積和運算裝置具有充電部，該充電部於上述輸入期間之後之輸出期間，以固定之充電速度對上述儲存部充電，上述輸出部藉由在上述輸出期間對上述儲存部之電位進行閾值判定，而輸出上述積和信號。
19. 如請求項18之運算裝置，其中上述充電部於上述輸入期間將上述儲存部連接於上述一對輸出線，於上述輸出期間將上述儲存部連接於供給與上述固定之充電速度相應之電流之電流源。
20. 如請求項18之運算裝置，其中上述充電部於上述輸入期間之前將上述儲存部連接至GND。
21. 一種積和運算裝置，其具備： 一對輸出線；複數個乘算部，其等具有：負載部，其基於向複數條輸入線輸入之上述電氣信號，產生與將由上述電氣信號表示之信號值乘以負載值而得之乘算值對應之電荷；保持部，其保持2值狀態；及開關部，其基於上述保持之2值狀態，將藉由上述負載部產生之電荷向上述一對輸出線之任一者輸出；儲存部，其儲存藉由上述複數個乘算部向上述一對輸出線輸出之電荷；及輸出部，其基於上述儲存之電荷，輸出表示上述乘算值之和的積和信號。
22. 一種積和運算電路，其具備：一對輸出線；複數個乘算部，其等具有：負載部，其基於向複數條輸入線輸入之上述電氣信號，產生與將由上述電氣信號表示之信號值乘以負載值而得之乘算值對應之電荷；保持部，其保持2值狀態；及開關部，其基於上述保持之2值狀態，將藉由上述負載部產生之電荷向上述一對輸出線之任一者輸出；儲存部，其儲存藉由上述複數個乘算部向上述一對輸出線輸出之電荷；及輸出部，其基於上述儲存之電荷，輸出表示上述乘算值之和的積和信號。
23. 一種積和運算系統，其具備被輸入電氣信號之複數條輸入線、複數個類比電路、及將上述複數個類比電路連接而構成之網路電路，該等類比電路具有：一對輸出線；複數個乘算部，其等具有：負載部，其基於向上述複數條輸入線輸入之上述電氣信號，產生與將由上述電氣信號表示之信號值乘以負載值而得之乘算值對應之電荷；保持部，其保持2值狀態；及開關部，其基於上述保持之2值狀態，將藉由上述負載部產生之電荷向上述一對輸出線之任一者輸出；儲存部，其儲存藉由上述複數個乘算部向上述一對輸出線輸出之電荷；及輸出部，其基於上述儲存之電荷，輸出表示上述乘算值之和的積和信號。

Images