TW200409123A - Analog neurons and neurosynaptic networks - Google Patents

Description

五、發明說明（！） 一、發明所屬之技術領域 入Λ!·明與❹相變材料做為神經計算的媒體及包括結 口目欠材料之蟥點的神經網路有關。 二、先前技術 … 毫無疑問，電腦是人類文明中最偉大的發明之一，在 2〇世紀料世紀中，電腦對人類有極大的助益。在資訊儲 存、貢料處理、自動化、計算、以及其它應用方面，電腦 10 λ幅簡化現有的工作，然而，它也同時擴展到人類 可凡成的工作範圍。經由使用電腦，很多繁複或勞重的工 作可以自動化，可以更有效㈣且更迅速地完成。 見7電月自的特徵具有兩種基本屬性。第一，電腦是以 二進㈣輯操作° f料的儲存與操作是先轉換到二進位字 15 串，並按照特定的計算目的做二進位字串的變換。二進位 處里疋石夕之又恶特性的結果，石夕乃作為現今電腦的可用物 貝在石夕中可以很容易建立及操作二進位峨丄的狀態以執 行計算。 第二，現今的電腦是以順序的方式操作。計算功能是 按固有之步驟逐步處理完成。電腦程式是簡單的逐行指 令，概述電腦所要實施的步驟順序。這些步驟根據前一步 的、、Ό果逐執行，典型上是前進傳送到稍後的步驟以進 行計算。 儘官過去的電腦非常的成功，但仍有某些計算或功能 是現代化電腦所無法解決或實施的。這類計算或功能例如 20 200409123 A7 _ B7 五、發明說明（2) 包括圖案分類、圖案結合、聯想的記憶功能、語言、以及 文字辨識。事實上，有很多由人類或其它生物執行起來既 容易又直覺的工作，以傳統的電腦實施是既困難又笨拙。 例如，在人群中辨識熟悉的面孔，這是很小的小孩都能執 5 行的工作，然而對傳統電腦而言，這仍是項困難的工作。 瞭解到以傳統電腦實施人類某些日常工作的種種困 難’促使在更瞭解人類思維處理，以及發展有能力模擬、 模飯，或至少近似生物之資訊儲存及處理的計算設計及裝 置等方面，做了非常多的努力。這些努力產生了神經網路 10的領域，且加強了對人類思維之獨特、大量非順序特性的 吕忍識。 神經網路的原型首次出現於50年前，Warren

McCulloch 與 Walter Pitts，以及Donald Hebb是先驅工作 經濟部智慧財產局員工消費合作社印製 者。在1950及I960年代，他們的簡單模型被擴展及改進， 15 致出現諸如Perceptron、AD ALINE、MAD ALINE等神經網 路。1970年代是神經網路的沈靜期，研究人員開始瞭解， 實現神經網路比預期困難。不過，大約從198〇年開始，神 經網路有突破性的進展，諸如更複雜的網路、更佳的模型 设计、以及更強的計算法陸續被發展出來。諸如倒傳遞 20法、自適性共振理論、自我組織、競爭學習法模型、多層 結構及neocogmtron等的進步，大大改進了神經網路，並 提供了後續重大動作的原動力。 研究神經網路的目標之一是發展功能如同人腦的系 統。在人腦中，神經元是基本的學習單元。本文的圖1是 -4- 本紙張尺度適用中國國豕標準(CNS)A4規格（21〇X 297公爱） 200409123 A7 經濟部智慧財產局員工消費合作社印製 五、發明說明（3 ) ----- 神經元的概圖。神經元經由從它的樹狀突接收經過加權的 輸入信號，並根據信號的位準做出反應而作用。如果輸入 信號低於神經元的某臨限特性，則神經元不會對信號做出 反應。如果輸入信號超過臨限，則神經元的反應是沿著它 5的軸突將動作電位（action potential)信號傳送到軸突的尾 端。一般言之，神經元具有大量的樹狀突輸入及大量的轴 突。 人月自疋由數十億個神經元以複雜互連的排列組合而 成。一個神經元在它的軸突尾端將動作電位輸入給下一個 ίο接縯的神經元。由動作電位所決定的信號在突觸（synapse) 從一個神經元傳送給另一個神經元。突觸是一個神經元的 軸突尾端或突觸前端與另一個神經元之樹狀突或突觸後端 的連接處，如本文的圖2所示。動作電位引發前突觸端釋 放神經傳遞質，橫過突觸溝到達接收之樹狀突的後突觸 15端。神經傳遞質進入後突觸端與其内的蛋白質反應，在後 突觸端的膜上產生電位或電荷。此電荷量的大小是由進入 之信號的強度（例如神經傳遞質的數量或種類）以及突觸的 加權因數特徵決定，亦即它的功能及歷史。加權後的電位 構成樹狀突的輸入#號。經過加權的信號在每一個樹狀突 20可能被激勵或被被抑制。神經元偵測在某一時間間隔内從 其所有樹狀突輸入之經過加權的總淨值，如果此輸入的總 合超過神經元的臨限，它即發射（firing)，將動作電位傳 送到它的軸突尾知’用以傳入下一層神經元的樹狀突輸 入，並重複上述處理。 本紙張尺度適用中國國家標準(CNS)A4規格（21〇X297公爱）

200409123 A7

5 在人腦中，每一個神經元與大約丨000個其它神經元利 用突觸而連接，且每當一神經元發射時，它向與其連接的 某些或全部神經元送出動作電位。這些神經元每一個再連 接到另外大約1000個神經元，且攀級加權臨限活化設計橫 跨於許多神經元層發生。其結果是，人腦巾的神經元被高 度地互連，構成一處理信號的龐大平行網路。人類及其它 生物之較高層次的推理技巧，包括學習及適應的能力，應 疋由於具有高度平行及互連的神經元所致。 神經網路系統包括複數個互連的節點，每—個節點妙 合數個生物神經元的基本態樣。首先，神經網路節點: 包括接收多個輸人信號的能力。其次，神經網路節點一般 包括決定節點是否發射(即，向一或多個後續節點傳送信 號）之具發射的臨限控制的活化臨限觀念。如果節點累積 接收的信號符合或超過臨限，節點即發射。如果否，節點 即不發射，且沒有信號被傳送。這些在發射時產生的信號 可稱為活化信號。有時此活化信號是節點的輸出信號，並 直接提供給後續的節點，但活化信號經常是根據活化或變 2功能被修改以提供節點的輪出信號。節點的輪出信號成 為後續互連節點的輸入信號。箓_ 乜祝第二，神經網路節點通常包 括對信號的加權。節點從前方節點所接收到的信號是前方 即點所產生之輸出信號的加權版本。得到加權最常用的方 法是將前方節點所提供的輸出信號乘以-加權因數。來自 刖方所有互連節點經過加權的信號被結合並與臨限比較， 以決定信號是否進一步傳送到後方節點。 本紙張尺度翻家標準(CNS)A4雜

200409123 經濟部智慧財產局員工消費合作社印製 A7 五、發明說明（5 ) - —--- 、為能儘量獲致生物系統的學習及適應能力，吾人希望 神經網路中的節點能與生物神經元的功能及行為儘量接 近生物神經凡的固有特性是它們有能力累積來自大量輸 的仏就’且在到達臨限條件後立即引發發射。目前，神 5 、、二、、周路疋以傳統以矽做為計算媒體的二進位電腦實施之。 例如，為了測試是否達到活化臨限，必須執行一連串傳統 的加法與比較運算，且如果為求保證，需產生一輸出信 號使用矽做為计异媒體無法確保神經網路節點内在地或 固有地反應其接收的複數個輸入信號。反之，需要完成一 10連串離線的計算，至多只能近似或模擬生物神經元的反 應此外，從不同來源的輸入典型上是由相互獨立的記憶 體或是處理單元處理，而非如同生物神經元是集中於單一 的單几。傳統運算的順序特性需要將資訊分開及串列處 理因此限制了神經網路的傳真性。吾人需要更能模倣生 15物神、、查元固有行為的計算媒體以增進神經網路的功能性。 三、發明内容 本發明提供一種用於神經網路的計算媒體以及包含該 媒體的神經網路。本發明的神經計算媒體可以結合，做為 20神經網路中一或多個節點的可用物質（w〇rking substance)。本人造神經元或神經網路節點包含本神經計 算媒體，並以高度平行的方式互連，藉以模擬生物神經網 路之節點架構與功能性。本神經元包括連同臨限發射及/ 或活化的信號加權。因此，本人造神經元提供類似生物神 -7- 本纸張尺度適用中國國家標準(CNS)A4規格（21〇χ297公爱） 一 —

200409123 A7 B7 經濟部智慧財產局員工消費合作社印製 五、發明說明（6) 經元的真實功能，且做為能夠解決傳統電腦很難或無法解 決之問題之複雜神經網路結構的基本構建方塊。 本發明的神經元包括加權單元、積聚單元及/或活化單 元，這些單元以串聯的方式連接。積聚單元是本神經元的 5 中心，包括神經計算媒體，具有當自一或多個輸入信號之 能量積聚到達臨限量時發射的能力。加權單元位在積聚單 元前方，經由其電阻的改變以修改進入的信號。加權單元 可包括本神經計算媒體或其它可變電阻手段。活化單元接 收來自積聚單元的信號並按照一數學的目的進一步處理， 10 以產生一神經元的輸出信號，此信號可單獨使用，或導引 到網路中的其它節點。活化單元可包括本神經計算媒體或 其它的計算手段。 本神經計算媒體包含的相變材料能夠對多個輸入信號 做累積的反應。本神經元只有在此累積的信號超過本神經 15 計算媒體的臨限特徵時才發射。適用的相變材料一般包括 chalcogen元素，且能從具有高電阻的重置狀態可逆變換 到具有低電阻的設定狀態，以及有接受電阻在設定與重置 狀態間中間之灰階狀態的材料。重置狀態是本神經計算媒 體之複數個積聚狀態其中之一，積聚狀態具有大致相同的 20 電阻。經由一或多個輸入信號將能量加諸於本神經元的重 置狀態藉以引發本神經計算媒體變換到複數個高電阻積聚 狀態中的另一個狀態。在積聚了足夠量的能量之後，本神 經元即發射，其發射對應於本神經計算媒體從其中一個高 電阻積聚狀態到低電阻設定狀態的變換。電阻降低的結果 本紙張尺度適用中國國家標準(CNS)A4規格（210 X 297公釐）

200409123 A7 B7 五、發明說明（7 ) 導致本神經元内的導電率大幅增加，藉以有利於該神經元 將信號傳送給其它神經元的能力。 10 對進入包括在本神經元之積聚單元内之本神經計算媒 體之輸入信號的加權，可以經由修改電阻達成。可以使用 傳統的電阻或可變電阻手段以影響進入之電氣信號的強 度。對輸入信號的加權也可經由具有中間電阻之本神經計 异媒體的灰階狀態達成。本神經計算媒體傳送信號的能 力’也可經由控制它的電阻加以調整。高加權的突觸連接 可以經由降低電阻達成，低加權的突觸連接可經由增加電 阻達成。因此，本神經計算媒體可被架構成當需要它的發 射特性時，它在積聚模式中操作，或是當需要它具有加權 或修改電氣信號的能力肖，它在加權模式中操作。經由適 當地架構材料，在本神經計算媒體的某組合實施例中可同 時獲得積聚功能與加權功能。 15 經濟部智慧財產局員工消費合作社印製 20 本人造神經元的實施例之一包括一與積聚單元争聯的 加權單元。在本人造神經元的另一實施例中，加權單元、 積聚單元與活化單元相互串聯。在又一實施例中提供一反 應各類型(例如電氣、光、電磁、熱等)同步及不同步輸入 信號的積聚單元。本神經元及組成單元也可以互連以構成 能崎各種功能的神經網路，所能執行的功能視互連設計 的...田即而疋。可架構二層或多層網路。因此可進—步提供 本神經元、組成單元及神經網路之可再架構性’俾便個別 早疋之功能可動態地變化以提供新架構及新功能。本人造 神經疋與包含該神經元之網路所提供的整體功能性提供的 -9- 本纸張尺度i財關家標準(C^4規格（2^^^ 200409123 A7 B7 五、發明說明（8) 複合功能，能夠真實適當地模擬生物的神經網路。 四、實施方式 本發明提供一種能真實模擬生物神經元之功能的人造 5 神經元。本神經元可單獨使用，或是做為神經網路中互連 節點的組合之一。本神經元包括生物神經元的數個固有特 性。第一，本神經元具有同時接收及反應複數個輸入的能 力。第二，本神經元具有積聚來自複數個輸入之信號的能 力，且只有當輸入的總能量超過臨限值時才發射。第三， 10 進入到本神經元的輸入可被加權。第四，本神經網路的輸 出可按照活化功能變換。第五，複數個本神經元可以連接 成一網路。 本神經元的工作物質是一以相變材料為基的全新神經 計算媒體。本神經計算媒體及本人造神經元之相變材料的 15 基本特性與化學成分描述於美國專利3,271，591、 3,530,441 、 5,166,758 、 5,296,716 、 5,534,711 、 5,536,947 、 5,596,522 、 5,825,046 、 5,687，112 、 經濟部智慧財產局員工消費合作社印製 5,912,839、以及6，141，241，上述各揭示併入本文參考。 以下將概述有關於本神經計算媒體、本神經元及本神經網 20 路的某些特性及成分。 本神經計算媒體是由相變材料構成，具有至少複數個 高電阻積聚狀態，一個可偵測到之不同的低電阻狀態，以 及具有中間電阻的灰階狀態。本神經計算媒體以包括複數 個灰階狀態較佳。如本文中所用，高及低電阻狀態是分別 -10- 本紙張尺度適用中國國家標準(CNS)A4規格（210x297公釐） 200409123 A7 五、發明說明（ 5 10 15 經濟部智慧財產局員工消費合作社印製 20 具有高及低電阻特徵的物 古@ ^中狀心、其中，咼與低電阻狀態 的電阻是相對的，且可福：丨 貞則到其間的不同。灰階狀態具有 ，丨於高與低電阻狀態間的中間電阻值。 圖3揭示典型相變材料之電阻相對能量或功率之函數 的曲線圖。®3巾所財的㈣枝地對絲本神經計算 媒體對能4或功率的較佳響應。圖3中顯示的符號代表可 為本神經計算媒體採用的狀態例。對相變材料施加能量可 使其在不同的狀態間相互變換，如下文所述。可將電阻曲 線圖概括地分類成積聚區與灰階區’此兩區被幾乎不連續 的電阻改變分隔開。積聚區對應於高電阻平頂區，顯示於 圖3的左侧，灰階區對應於電阻響應的其餘部分，顯示於 圖3的右側。在後文中也可能將灰階區稱為加權區，其理 由於後文中描述。 積聚區包括複數個高電阻狀態，每一個狀態的電阻實 貝上相同。積聚區中的狀態在後文中稱為積聚狀態。如果 相變材料初始是在它的高電阻狀態，則施加小量的能量即 能使材料停留在它的高電阻狀態。此行為顯示於圖3左側 的高電阻平頂區。不過，如果施加足夠量的能量，相變材 料會從它的高電阻狀態變換到它的低電阻狀態。此變換描 緣於圖3之高電阻平頂區向右立刻陡降的電阻。相變材料 從咼電阻狀態到低電阻狀態的變換在後文中稱為“設定，，相 變材料。經設定後產生的低電阻狀態在後文中稱為相變材 料的“設定狀態’’。足以設定相變材料的能量在後文中稱為 “設定能量’’。須注意，沿著高電阻平頂區之每一個位置或 -11- 本紙張尺度適用中國國家標準(CNS)A4規格（210x297公釐） 200409123 A7 B7 五、發明說明（10) 狀態的設定能量都不同。重置狀態可視為具有最高設定能 量的積聚狀態。 圖3的右側對應於當相變材料已被設定時的行為。一 旦被設定，相變材料在它的低電阻狀態，且是按圖3右側 5 所示之後設定區（post-setting region)受施加之功率的影 響。在上述併入本文參考的數篇美國專利中將此部分的電 阻響應曲線稱為曲線的類比或灰階多位元部分。在相變材 料的灰階區施加能量可使其電阻改變。電阻的改變是由施 加能量的量以及在該處施加能量的速率（rate)決定。在該 10 處提供能量的速率在後文中稱為功率，且是相變材料在後 設定之灰階區中之行為的重要因素。 經濟部智慧財產局員工消費合作社印製 雖不希望受理論的束缚，但本發明人等相信，在設定 變換期間低電阻狀態的建立，是在整個相變材料中形成連 續結晶路徑的結果。在前設定的積聚區，相信相變材料中 15 包括非晶相的成分以及可能的結晶相成分。結晶相是否出 現或量的多少，視在成形相變材料時的準備及處理條件而 定。例如，包括鎔化後迅速冷卻之處理即可抑制結晶，然 而，鎔化後缓慢冷卻即可促成結晶。如果是出現在前設定 的積聚區’則結晶相是散布於非晶相中’且在相變材料中 20 無法提供一連續的路徑。由於非晶相的電阻高於結晶相， 連續的結晶網路之不存在導致在前設定之積聚區的相變材 料具有高電阻。 本發明人等相信，在電阻曲線之高電阻平頂的積聚區 内施加能量會使相對的相變材料内的結晶相增多。如果連 -12- 本紙張尺度適用中國國家標準(CNS)A4規格（210x297公釐） 200409123 A7 B7 五、發明說明（11 ) 績的結晶網路未形成’增多的結晶對相變材料的電阻沒有 實質影響。本發明人等相信，在設定變換期間，連續的結 晶網路形成，而伴隨著設定變換的電阻降低，相信是有通 過連續結晶相之導電路徑的結果。由於結晶相的電阻比非 5 晶相低，連續結晶網路的存在致使使用相變材料之神經計 算媒體在設定後的電阻降低。 經濟部智慧財產局員工消費合作社印製 在後設定的灰階區，能量是被施加到低電阻的設定狀 態，且會影響結晶網路。添加的能量可能導致加熱，並使 相變材料内的溫度增加。如果施加於相變材料的能量夠 10 多，連續的結晶網路可能在設定時被鎔化，或產生高移率 狀態，或因熱中斷。如果發生鎔化或誘發適合高移率的狀 態，後續的冷卻極有可能導致相變材料中之結晶相成分的 量或連接性改變。鎔化、高移率狀態之誘發、或結晶網路 因熱中斷，都可能毀壞整個低電阻結晶相的導電路徑，且 15 因此使得在後設定之灰階區内之相變材料的電阻增加。結 晶網路之鎔化、高移率狀態之誘發、或因熱中斷需要有足 夠的能量停留在加熱的位置或附近，才能造成鎔化、高移 率狀態之誘發、或因熱中斷。由於熱傳導、熱容、熱散失 於環境中等所致使的熱消散過程使得能量被移除，並因此 20 抑制了結晶網路之鎔化、高移率狀態之誘發、或因熱中 斷，因此，添加能量的速率必須夠高藉以補償熱消散過 程，以允許鎔化、高移率狀態之誘發、或熱中斷。因此， 在電阻曲線的後設定灰階區中，施加能量的速率或功率是 一重要考量。 -13- 本紙張尺度適用中國國家標準(CNS)A4規格（210 X 297公釐） 200409123 A7 五、發明說明 5 10 15 經濟部智慧財產局員工消費合作社印製 20 視在圖3之灰階區令功率及相變材料的狀態而定，電 阻可以增加或降低。此外，在灰階區中的行為是可逆的。 此可逆性如圖3之灰階區内的兩個箭頭所示，本發明人等 相信，此反映出改變相變材料中結晶網路特性的可逆能 力在灰^區内母一個點都有與其相關的功率與電阻。如 果施加的功率超過與在灰階區内描述相變材料之點相關的 功率，則相變材料的電阻增加。反之，如果施加的功率小 於與在灰卩0區内描述相變材料之點相關的功率，則電阻降 低。本發明人等相信，灰階區電阻增加乃是反映相變材料 之結晶成分中斷或被重組，如此，通過結晶成分之導電路 徑的數量、大小或容量會減少，反之，灰階區内之電阻降 低的道理亦然。 可逆性僅限於圖3的灰階區。施加能量於對應於圖3中 設定變換前（即圖3左侧）之高電阻積聚區中之點，不可逆 轉设定變換。不過，描述於圖3灰階區中之點所描述之材 料施加夠高的功率，即可能將相變材料恢復到高電阻狀 態。此種功率的施加對應於朝向圖3的右方移動，而非反 轉設定變換的方向。如圖3的灰階區所示，施加連續増加 的功率量將導致電阻連續增加。在施加足夠的功率將相變 材料驅使到圖3中較遠的右側後，相變材料回到它的高電 阻狀態，並恢復它積聚狀態的高電阻平頂。本發明人等相 信，當提供給相變材料的功率足以破壞相變材料之任何辞 晶成分的連續性時，會使高電阻平頂復原。由於相變材料 中結晶成分的量減少（例如經由銘：化及冷卻程序，使彳寻非 -14- 本紙張尺度適用中國國家標準(CNS)A4規格（210 X 297公釐） ---- 1 訂 線 200409123 A7 B7 五、發明說明（13 10 15 經濟部智慧財產局員工消費合作社印製 20 晶成分的量增加），結晶成分以此方式的重組或再分布或 兩者的、纟。合使彳寸連續性喪失，因而發生積聚狀態的高電阻 平頂恢復。 將相變材料從灰階狀態變換到高電阻狀態所需的功率 或能量的速率在後文中稱為“重置功率，，或“重置能量，，或類 似名詞。對應於灰階狀態的低電阻設定狀態具有最大的重 置能I。相變材料在施加重置能量的終了狀態在後文中稱 為“重置狀態’’。施加重置功率重置相變材料以產生高電阻 重置狀悲’並將相變材料置於它的積聚區。在重置後進一 步施加能量所觀察到的行為對應於上述圖3的積聚區。圖3 所示曲線對應於設定與重置的一個循環。相變材料可在多 次循環内被可再製地被設定與“重置”。在較佳實施例中， 重置狀態的特性不會改變，且每一個設定與重置循環都是 可重製的。 適合本發明之神經計算媒體的例示性相變材料可以是 以下或夕種兀素’包括鋼、銀、蹄、西、錯、銻、矣必、 鉛、錫、砷、硫、矽、磷、氧及以上各元素的混合物或合 金。在較佳實施例中’相變材料包括chalc〇geil元素。更 佳的相變材料包括chalcogen與鍺及/或銻的混合物，諸如 Ge2Sb2Te5及相關的材料。在另一較佳實施例中，相變材 料包括chalcogen與過渡金屬（例如鉻、鐵、鎳、銳、铑、 鉑），或它們的混合物與合金。某些適合本發明之神經計 异媒體使用的相變材料於美國專利5，16 6，7 5 8、 5,296,716 、5,524,711 、5,536,947 、5,596,522 、 -15- 訂 線 本紙張尺度適用中國國家標準(CNS)A4規格（210x297公釐） 200409123

5’825’046、5,687，112、5,912,839、3,271，591、3,530,441 提供，該些揭示併入本文參考。本神經計算媒體也可包括 介電材料與相變材料的混合物。這類混合物例如描述於共 同讓予的美國專利6,087,674，該揭示併入本文參考。適 用於本發明之神經計算媒體的相變材料包括一個重置狀 悲，複數個在重置狀態能量不同但電阻實質上相同的中間 狀態，一個電阻較重置狀態低且可偵測的設定狀態，以及 一或多個灰階狀態。 10 15 經濟部智慧財產局員工消費合作社印製 20 生物神經元的重要態樣是它們有能力累積其突觸後部 之树狀突端所接收之多來源的輸入，並根據臨限能量（即 神經元的特性與它的功能）有辨識能力地對結合的輸入信 號反應。如果結合之輸入信號的強度超過神經元的臨限， 則神經元的反應是發射。神經元發射是一處理過程，因 此，神經元沿著它的軸突將動作電位傳送到它的軸突尾 端。動作電位是一電氣信號。在神經元互連的總成中，轴 突尾端對應於後續神經元的突觸前端輸入。如果結合的樹 狀突輸入信號不超過臨限能量，則神經元不發射，也沒有 動作電位被傳送。因此，視累積的輸入信號而定，生物神 經元知道是否要反應特定的輸入刺激。此基本的發射步驟 是生物有機體學習及認知處理的中心。發射或不發射是生 物神經元的基本決策步驟。 相變材料的積聚區提供本神經計算媒體、本神經元及 本神經網路利用的積聚狀態。積聚狀態的存在使本神經元 有能力對輸入信號做累積的反應，且當積聚的輸入信號超 -16-本紙張尺度適用中國國家標準(CNS)A4規格（210x297公釐） 200409123 A7 _ B7 五、發明說明（I5 10 15 經濟部智慧財產局員工消費合作社印製 20 過臨限時做出反應。如下文更詳盡的描述，輸入信號是提 供給本神經兀、神經網路或單元本身。輸入信號可以由外 部的使用者直接提供，或對應於與外部環境中之印象或事 件相關的刺激。輸入信號可包括各種型態的能量，在施加 於本神經計算媒體的積聚狀態之前，可先加以修改或加 權。下文中將進一步討論輸入信號。 本神經計算媒體的積聚區提供一機制，因此，本神經 計算媒體可以對輸入信號做累積的反應，且在到達它的臨 限刖，它的導電率不會改變。如前文所述，例如，在相變 材料的重置狀態傳入子設定的輸入信號，致使相變材料在 不改變其電阻的情形下朝向設定狀態前進。由於相變材料 仍保持在高電阻，包括本神經計算媒體的神經元被禁止傳 送電氣彳§號，否則，該神經元即會與其它與其連接的神經 元通信。不過，相變材料已朝向設定狀態前進到所接收之 輸入信號所描述的程度。因此，從相變材料的重置狀態前 進到積聚狀態以及在積聚狀態間的變換，等於累積對一咬 多個輸入信號的反應。即使相變材料的電阻在積聚區内沒 有實質上的改變，沿著高電阻平頂的位置是由本神經計算 媒體接收的輸入信號決定。因此，本神經計算媒體中的積 聚狀態對應於本神經計算媒體所接收之累積輸入信號。在 後文中將神經计异媒體架構成為在積聚狀態中稱為在“積 聚模式”或執行“積聚功能’’。 如果合成的輸入信號不足以設定本神經計算媒體，則 本神經計算媒體仍停留在積聚狀態。本神經計算媒體暴露 .17- 本紙張尺度適用中國國家標準(CNS)A4規格（210x297公釐） ---—- •I 4 訂 線 200409123 A7 B7 五、發明說明（16) 於一個並不足以設定之輸入信號，引發本媒體從它的重置 狀態變換到積聚狀態，或從一個積聚狀態變換到另一個積 聚狀態。本神經計算媒體被變換進入保持不變的狀態，直 到另一個或更多的輸入信號被提供。神經計算媒體在此積 5 聚區内的不可逆性意指本神經計算媒體對輸入信號之反應 為一直朝向設定狀態前進。由於朝向設定狀態前進與所接 收之信號的強度直接相關，因此，處於積聚模式的本神經 計算媒體可視為儲存或保留其所接收的輸入。 當積聚的輸入信號足以引發本神經計算媒體之相變材 10 料的設定時，本神經計算媒體變換到它的設定狀態。由於 設定狀態的電阻低，因此，設定變換導致本神經計算媒體 的導電率實質增加，因此，對其傳送電氣信號或與後續神 經元或單元本身的其它電氣通信的能力有極大助益。因 此，本神經計算媒體的設定變換與生物神經元中所發生的 15 發射具有異曲同功之妙。本神經計算媒體、或本神經元、 或包含它們的節點，在後文中將它們的設定變換也稱為 “發射”。 經濟部智慧財產局員工消費合作社印製 當累積之輸入信號所提供的能量足以設定包括在本神 經計算媒體内的相變材料時，本神經計算媒體即會發射。 20 因此，本神經計算媒體的設定能量與生物神經元的臨限能 量類似。在較佺實施例中，在施加輸入信號之前，本神經 計算媒體是在它的重置狀態，且重置狀態的設定能量對應 於本神經計算媒體的臨限。在發射時，本神經計算媒體是 在它的設定狀態。如前所述，本神經計算媒體累積反應的 -18- 本紙張尺度適用中國國家標準(CNS)A4規格（210x297公釐） 200409123 A7 _ B7 五、發明說明（17) 月&力可經由重置相變材料更新恢復。當在積聚狀態時，本 神經汁异媒體經由沿著如前所述相變材料的高電阻平頂之 别進處理積聚所有輸入信號。在發射時，本神經計算媒體 處於低電阻設定狀態，並有效地傳送信號給後續的神經元 5或單元。如前所述，此與抵達之輸入信號相關的增進傳送 能力被保持，直到本神經計算媒體被重置回到它的積聚模 式。當本神經計算媒體處於積聚狀態時，當一輸入信號包 括的能量高於發射本神經計算媒體所需時，輸入信號中一 部分被積聚，直到發生發射，其餘部分則按照發射時所形 10 成之設定狀態的特性被傳送。 經濟部智慧財產局員工消費合作社印製 本神經計异媒體也可用來提供加權功能，類似發生於 生物神經網路中神經元突觸連接的加權。加權的能力得自 包括在本神經計算媒體内之相變材料之電氣反應行為的灰 階部分。如前所述，相變材料的灰階狀態提供複數個狀 15態，橫跨一連續可變的電阻範圍。電阻範圍從灰階狀態靠 近或位於設定狀態的最小值到趨近積聚區内之狀態的電阻 的最大值。如前文所述，經由施加適當的功率，相變材料 在灰階區内的變換是可逆的。如前文中參考圖3所示，每 一個灰階狀態都與一個功率及電阻相關。所施加的功率超 20過與本神經計算媒體之特定初始灰階狀態相關的功率，但 小於重置相變材料所需的功率，則會使本神經計算媒體變 換到電阻比初始灰階狀怨向的灰階狀態。反之，所施加的 功率小於與初始灰階狀態相關的功率，則會將本神經計算 媒體變換到電阻比初始灰階狀態低的灰階狀態。 -19- 本紙張尺度適用中國國家標準(CNS)A4規格（210x297公爱） 200409123 五、發明說明 18 10 15 經濟部智慧財產局員工消費合作社印製 20 <當本神經計算媒體被架構在灰階狀態内時，在後文中 2其是在“加權模式，，，^執行“加權功能，，。在後文中也 二灰階狀態稱為‘‘加權狀態，，，以及，將加權狀態的電阻稱 二加權因數。加權狀態按照它的電阻或加權因數考減信 I ’以對提供給與在㈣模式巾操狀本神料算媒體之 ”之=接部分的輸入信號加權。低電阻的加權狀態具有更 佳的=電性，其傳送電氣信號的能力優於具有高電阻的加 權狀態。因此，具有低電阻的加權狀態可等同視為具有高 加權因數’因為該加權狀態能傳送最多或幾乎所有進入的 n號給在積聚«巾操作的本神經計算媒體之與其連 接口P刀。反之’具有高電阻的加權狀態可等同視為具有低 加權因數，因為高電阻實質地減弱了進入之電氣信號的 度，因而導致傳送被減弱或經過衰減的電氣信號給在積 模式中操作的本神經計算媒體之與其連接部分。因此 加權杈式中操作的部分本神經計算媒體被視為提供一 制用以控制在積聚模式中操作之部分本神經計算媒體# /、四周環i兄間之電軋通信的範圍。由於本神經計算媒體的 電阻在橫跨其複數個加權狀態的寬廣範圍内可變，因此 經由適當選擇加權狀態即可實質控制電氣通信的範圍^ 神經計算媒體之加權模式的品質類似生物神經網路中與突 觸連接相關的加權因數。 對輸入信號的加權一般可經由修改信號電阻達成，其 中，加權因數是由輸入信號所遭遇的電阻決定。如前所 述，經由將本神經計算媒體置於其電阻響應曲線之加權 -20- 強 在機:與 本 區 私紙張尺度適用中國國家標準(CNS)A4規格（2i〇x297公爱 200409123 A7 B7 五、發明說明（19 經濟部智慧財產局員工消費合作社印製 内的灰階狀恶以冑得加權函t，即可將本神經計算媒體架 構成提供加權。其它的電阻手段同樣也可提供加權功能。 習用的電阻器、可變電阻器或其它電阻元件都可與被架構 在積聚模式中操作的本神經計算媒體結合，以獲得加權功 能。一般的電阻式信號加權在實施例中可單純視為歐姆定 律的表現。例如，以某一給定電位而言，通過電阻器、可 變電阻器、#它電p且元件或被架構成在加權才莫式中操作之 本神經計异媒體的電流，視電阻的大小而定。高電阻導致 電流信號的弱傳送，低電阻導致電流信號的強傳送。因 此，電阻提供一加權因數，信號按其被修改。 在本發明的一實施例中，人造神經元包括一加權單元 及一積聚單元。加權單元包括一般的電阻手段或本神經計 异媒體被架構成在加權模式中操作的體積，如前文中所 述。積聚單元包括本神經計算媒體被架構成在上述積聚模 式中操作的體積。加權單元與積聚單元以串聯方式連接。 加權與積聚單元也可直接實體地接觸。例如，如果加權單 元匕括本神經计异媒體中被架構成在加權模式中操作的部 分，以及，積聚單元包括本神經計算媒體被架構成在積聚 杈式中操作的部分，則本神經計算媒體的此兩部分可以相 互間實體地接觸。此實施例的人造神經元圖示於本文中的 圖4。在圖4中，加權單元以正方形代表，積聚單元以圓形 代表。在本發明的全文令都使用該表示法。在圖4的實施 例中，加權單元接收輸入信號，且按照本神經計算媒體或 一般電阻手段存在的加權狀態的加權因數被加權。如前所 -21- 參紙張尺度適用中國國家標準(CNS)A4規袼（210x297公釐） 10 15 20

•訂· •線— 200409123 A7 B7 五、發明說明（20 ) 述，加權因數與加權狀態的電阻有關，且加權單元修改輸 入信號以產生一經過加權的信號W，該信號提供給積聚單 元。因此，加權因數決定了加權單元與積聚單元間電氣通 信的程度。 5 如前文所述，積聚單元接收並反應該經過加權的信 號。如果經過加權的信號不足以設定積聚單元的本神經計 算媒體，則積聚單元累積式地對信號反應，即朝向設定狀 態前進至該經過加權之信號之大小所描述的程度。當此情 況，積聚單元從一積聚狀態變換到另一積聚狀態。由於積 10 聚狀態具有高電阻，積聚單元有效地阻擋信號，且消除或 至少大幅抑制了輸出信號的產生或傳送。雖然是在積聚狀 態，但積聚單元有能力接收來自加權單元其它的信號，並 累積地儲存該些信號，直到積聚的能量足以設定積聚單元 内本神經計算媒體的體積。在設定時，積聚單元的電阻大 15 幅下降，且積聚狀態變得能提供輸出信號。如前文所述， 積聚的設定也稱為積聚單元的發射，或更廣義言之，為本 人造神經元的發射。 經濟部智慧財產局員工消費合作社印製 為使積聚單元發生發射，提供給它的積聚能量必須符 合或超過包含在積聚單元内之本神經計算媒體的臨限，因 20 為它最後是被重置。如本文中所述，臨限是指本神經計算 媒體從它的重置狀態變換到設定狀態所需的能量。如前文 所述，本神經計算媒體的積聚狀態會持續，且被積聚單元 維持住，直到受到其它信號的影響或提供能量給它的其它 交互作用才會改變。因此，設定積聚單元所需能量依等同 -22- 本紙張尺度適用中國國家標準(CNS)A4規格（210x297公釐） 200409123 A7 B7 五、發明說明（η 5 10 15 20 於其所接收經過加權之信號的強度之量減少，直到所需能 i降到零，積聚單元即在此點發射。發射可能被單一個具 有足夠強度之經過加權的信號引發，或是被複數個且其中 沒有一個有能力單獨引發發射，但集合在一起即可提供足 夠能量設定積聚單元之經過加權的信號所引發。 在本發明的另一實施例中’ 2或多個加權單元以串聯 的方式連接。經由加權單元的結合，每一個都修改一個進 入的信號，加大信號修改的範圍及提供給積聚單元之經過 加權之信號的淨強度。通過第一加權單元的輸入信號按照 第一加權因數修改該信號。此信號接著通過第二加權單 元’進一步按照第二加權因數修改該信號。因此，可以使 用夕個加權單元來擴展信號強度的範圍，使其可供網路中 的積聚單元使用。 在本發明的另一實施例中，人造神經元包括加權單 元、積聚單元及活化單元。此實施例中之加權單元與積聚 單元的目的及功能已於前文中描述。活化單元接續在積聚 單元之後與其串聯。此貫施例的例子之一以圖示於本文中 的圖5。在圖5及本發明的所有討論中，活化單元都是以三 角形表示。活化單元接收積聚單元的輸出信號並根據它的 活化功能對其進一步修改。活化功能是一數學功能，按照 數學運算變換輸出信號。數學運算可以是簡單的運算，諸 如加、減、乘、除，或較複雜的運算，諸如因式分解、模 組异術，或更複雜的功能，諸如多項式、指數、三角函 數、雙曲線函數、統計函數、非線性函數、sigm〇id(z)函 -23- 本紙張尺度適用中國國家標準(CNS)A4規格（21〇X297公爱） 200409123 A7 B7 五、發明說明（22 ) --- 數等。活化單兀所扮演的角色類似生物神經元中所發生的 活化。在變換了來自積聚單元的輸出信號後，活化單元提 供一活化的輸出信號，其大小是由輸出信號的強度及活化 功能決定。經活化的輸出信號可進一步提供給其它的計算 5 裝置、人造神經元、神經網路節點等。 活化單元可包括習知的計算裝置，諸如二進位矽計算 裝置，或也可包括非二進位的計算媒體，諸如讓予本受讓 人的美國專利申請案10/144319及1〇/155527中的描述，該 兩文的揭不併入本文參考。美國專利申請案1〇/l443i9及 10 10/1 55527中進一步描述利用非二進位計算媒體之計算法 的實例。該些活化功能例的方法也可應用於本發明。活化 單元可進一步包括其它的輸入信號，以及按照活化功能有 效變換接收自積聚單元之輸出信號及產生活化輸出信號所 需的電路。該些其它的輸入信號直接提供給活化單元。 15 在本發明的其它實施例中，人造神經元或積聚單元接 經濟部智慧財產局員工消費合作社印製 收複數個輸入信號。在這些實施例中，積聚單元可能接收 來自2或多個加權單元經過加權的信號。其中一例見本文 圖6所示。在圖6所示的實施例中，輸入提供給兩個不同的 加權單元，經加權以提供兩個加權後的信號wl及w2，並 20依次再提供給一個積聚單元。兩個輸入信號可能是相同或 不同類型，且可能具有相同或不同的強度。兩個加權單元 可旎是按照相同或不同的加權因數進行加權，且可能包括 相同或不同的相變材料成分。兩個經過加權的信號wl及 w2被積聚單元接收。如前文所述，積聚單元根據經過加 -24- 本紙張尺度適用中國國豕標準(CNS)A4規格（21〇 χ 297公爱） 200409123 A7 五、發明說明（23 相之信號的累積效果是否足以設定積聚單元，在積聚狀態 間變換或發射以反應該些信號。兩個經過加權的信號可能 同步（同時）或不同步（有時間間隔）抵達積聚單元。如果同 步且經過加權的信號相加後不足以設定，積聚單元的反應 5疋從初始的積聚狀態變換到中間的積聚狀態，兩積聚狀態 間能量的差是由積聚單元所接收之兩經過加權之信號相加 的強度描述。如果不同步且經過加權的信號相加後不足以 a又疋，積聚單元在接收到兩個經加權之信號中的第一個之 後，積聚單元的反應是從初始的積聚狀態變換到第一中間 10狀態，並在接收到兩個經加權之信號中的第二個之後，積 聚單元進一步的反應是從第一中間狀態變換到第二中間狀 態。兩個經過加權的信號無論是同步或不同步接收，積聚 單7L最終所變換到的積聚狀態都相同。當本神經計算媒體 線 在積聚模式中操作時，乃依循本神經計算媒體固有的追加 15 或累積特性。 經濟部智慧財產局員工消費合作社印製 20 如果經過加權的信號相加後足以設定，仍是應用類似 的推論過程。在同步接收到兩個經過加權且相加後足以設 定的信號時，積聚單元的反應是設定。任何超過設定所需 之k號都可提供輸出信號。積聚單元對不同步接收之兩經 過加權的信號的反應視該兩經過加權的經過加權的信號是 否其中之一或兩者皆足以單獨設定而定。如果該兩經過加 權的信號皆不足以設定，積聚單元在接收到該兩經過加權 的信號的第一個信號後的反應是從初始的積聚狀態變換到 中間狀態，並在接收到該兩個經過加權的信號之第二個信 -25- 本紙張尺度適用中國國家標準(CNS)A4規格（210x297公釐） 200409123 A7 B7 五、發明說明 24 10 15 經濟部智慧財產局員工消費合作社印製 20 5虎抵達日守的進一步反應是設定。如果該兩個經過加權的信 號中的第個仏號單獨即足以設定，積聚單元的反應是設 疋且務後抵達的該第二個經過加權的信號被當成輸出作 號傳送。 提供給積聚單元之輸入超過兩個以上的相關實施例也 包括在本發明的範圍内。例如3、4或更多個經過加權的 輸入以同步或不同步方式提供給積聚單元的實施例也包括 在本發明的範圍内。不同加權單元的加權因數可以相同或 不同。加權與不加權之輸入結合的實施例中也包括在本發 明的範圍内。不加權的信號是不通過加權單元直接提供給 積聚單元。不加權的信號包括偏壓信號。偏壓信號是大小 固疋的信號，且與其它輸入或本神經元、與之相關的單元 或神經網路所在環境中產生的影響無關。偏壓信號可用來 调整神經元、與之相關的單元或神經網路的輸出，在訓練 神經網路以對特定輸入的刺激提供所要的反應時，偏壓是 很有用的自由度。偏壓可用來代表一傾向或使網路的輸出 偏向一或多個對特定學習或實驗背景優先發生的已知結 果。在所有這些實施例中，積聚單元累積所接受之加權或 未加權的輸入信號，在它的積聚狀態間朝向設定狀態逐步 變換，如果結合所有輸入的信號超過臨限，該積聚單元最 終即發射。在被重置前，進一步提供給輸入單元的信號會 被當成輸出信號，經由積聚單元的低電阻設定狀態傳送。 如前文所述的活化單元也可包括在這些實施例内，其活化 單元接續在積聚單元之後。 -26- 200409123 A7 _ B7 五、發明說明（25) 本發明進一步提供能反應不同類型之同步或不同步輸 入信號的積聚單元。本神經計算媒體按照能量對輸入信號 之累積地反應的能力包括反應不同型式之能量的能力。 電、光、電磁及熱信號所提供的能量都可用來將本神經計 5算媒體從某個積聚狀態變換到另一個積聚狀態，或是提供 本神經計算媒體發射所需的能量。在一實施例中，提供給 積聚單70之電氣信號的型式是電流。此電流的型式可以是 脈衝寬度、脈衝形狀及大小可控制的電流脈衝。在另一實 施例中，提供給積聚單元的是電磁能量。電磁能量例如是 1〇 具有光、紅外線、射頻或微波之頻率的能量。 經濟部智慧財產局員工消費合作社印製 也可以從與四周環境連通的一或多個感覺單元 (sensory unit)同步或不同步地接收輸入信號。四周環境可 提供對人造神經元、包含它們的單元或本神經網路會有反 應的外部刺激。外部刺激可包括熱、光、聲、運動、濕 15氣、電位、化學物（包括氣體或蒸氣）。本神經元、包含它 們的單元及本神經網路可對這些外部刺激直接反應，或經 由感克單元對這些刺激反應。感覺單元反應外部刺激會產 生與外部刺激同量或具有外部刺激特性的信號。這些信號 被當為輸入信號施加到本發明的加權及/或積聚單元。例 〇如《毛池可做為感覺單元，其反應外部光線的刺激產生 電氣信號。麥克風也是感覺單元的一例，其反應外部的聲 音刺激提供電氣信號。其它的感覺單元包括攝影機、移動 檢知器、化學债測器。對各類型外部刺激能做出反應，使 本發明與生物系統更為類似。 -27-

五、發明說明（26) 本發明也包括-個加權單元提供一經過加權的輪出信 U或夕個積聚單兀的實施例。此實施例之一描緣於本 文的圖7 ’該圖顯示一個加權單元提供一個經過加權的信 號給兩個積聚單π的每一個。在圖7的實施例中，提供一 5個輸入仏號給加權單元加權及分除該信號提供經過加權的 信號給兩個積聚單元的每一個。相關的實施例包括一個加 權單元提供經過加權的信號給3或更多個積聚單元也包括 在本發明的範圍内。這些實施例還可進—步包括活化單 凡，接續在某些或所有積聚單元之後。 υ括2或夕個積聚單元的實施例可視為神經網路。本 文中所使用的網路或神經網路等名詞，是指包括一或多個 加權單兀與兩或多個積聚單元組合的結構，其中也可包括 ^單元。由於發射是發生於積聚單元，且由於不同的積 承單元可此包括具有不同臨限的不同相變材料成分，因 15此’包括兩或多個積聚單元的單元組合應使用網路或神經 網路稱呼之，因為這類組合可能包括兩或多個臨限。網路 是前述實施例的一般表示，該些實施例是一或多個加權單 元與一個積聚單元組合，或是一個加權單元與一或多個積 聚單元組合。在網路中，一或多個加權單元可能與一或多 2〇個積聚單元組合。也還可能包括活化單元。 本文中的圖8顯示按照本發明之神經網路的實施例。 圖8的網路包括2個加權單元及3個積聚單元。每一個加權 單元接收個輸入化號，並提供經過加權的信號給3個積 聚單元中的每一個。該些積聚單元可能具有不同的臨限， 五、發明說明（27) 且每-—個對所接㈣合成加權信號反應，如前文所述。在 圖的貝加例中，3個積聚單元中的每—個接收相同的合成 加權信號（wl+w2)。由於3個 償承單7〇中的母一個可能具 有不同的6¾限’從這必藉平g __ 一、來平凡輸出的信號也可能不同。 合成的加權信號可能引於$古 ，又有、某些、或全部積聚單元發 射。因此，輸出信號被影響。 10 15 類似圖8的網路實施例具有2個以上的加權單元或除了 3個以外的積聚單元(例如2個、4個或更多個)，或具有活 化單元接續在一或多個積聚單元之後，這些都在本發明的 範圍内。神經網路中的每一個加權單元可能連接到存在於 網路令所有或少於所有的積聚單元。每一個加權單元可能 具有不同的加權因數，或某些或所有加權單元可能具有相 同的加權因數。每一個積聚單元可能具有不同的臨限，或 某些或所有積聚單元可能具有相同的臨限。按照本發明之 j的神經網路包括不同數量的加權單元、加權因數、積 +單元、臨限以及不同的導電率樣式。 圖8的神經網路實施例是雙層神經網路的例子。輸入 組對應於第-層，加權單元與積聚單元的組合對應於第二 層:除了如前節中的討論，在—層中包括多個加權單元、 積聚單元及/或活化單元之外，網路還可擴充到包括多 層。例如’第二層可以是由連接附加加權單元及/或積聚 單元與第一層_聯所構成。第三層也可以相同的方法形 成，即，連接附加的加權單元及/或積聚單元到第二層， 依此類推。在具有兩或多層的實施例令，在連續層中的最 -29- 20

5 10 15 經濟部智慧財產局員工消費合作社印製 20 後一層是輸出層，連接於輸 層。 輪出層間的各層稱為隱藏 圖9是3層網路的例子。 供給加權單元，該加權單元提二：中’單一個輸入提 個η & 榷早&供經過加權的信號Wl給兩 元二：對應於輸入層及提供…信號的加權單 二…仏“1的積聚單元對應於隱藏層。隱藏層的積 供t間信號Sl^給後續輪出層的加權單元 權單元接收中間信號〜、並將其變換成加權後 的4口號W2及％，並提供认於山庶 敌仏、，、°輪出層的積聚單元。輸出層的 積聚早^供圖9之網路的最終輸出。在網路内，加權單 7L與積聚單元的功能如前文所述。 ^它的多層網路當然也在本發明的範圍内。網路通常 …午夕^每$都包括複數個加權、積聚及/或活化 皁兀’這也都包括在本發明的範圍内。在每一層内，每一 個加權單元可能連接到所有或少於所有的積聚^元。同樣 地在各層間，積聚單元所提供的中間信號也可能被引導 到網路之後續層中的所有或少於所有的加權單元。本發明 進一步提供各層㈣通。例如，多層網路之第—層中積聚 早讀供的tmt號可能直接提供給第三層的加權單元， 而不經過第二層之加權、積聚或活化單元的修改。因此， 本發明也可做到層中及層間的廣域連接設計。 本毛明進一步提供再架構的功能。本神經計算媒體可 被架構成在加權模式或積聚模式中操作的能力暗示本加 權積永及/或活化單元的網路可以針對新問題應新 -30- 200409123 kl 五、發明說明（29 ) 情況或外部刺激所需而動態地再架構。可以例如從當積聚 單兀到達它的臨限時所發生的發射驗證本神經計算媒體固 有的可再木構性。在發射時，積聚單元變換到低電阻設定 狀怨，且不再具有積聚單元的功能。取而代之的低電阻設 5定狀態是與本神經計算媒體相關的複數個加權狀態其中之 一。因此，發射會將積聚單元轉換成加權單元。如前文所 述，經由施加足以重置本神經計算媒體的能量，包括本神 經計算媒體的加權單元也同樣會轉換成積聚單元。包括本 神經計算媒體的活化單元可以使用積聚狀態進行數學運 10算。這類活化單元也可做為積聚單元，或也可經由設定本 神經計算媒體轉換成加權單元。 經濟部智慧財產局員工消費合作社印製 本神經計算媒體固有的可再架構性提供了包括本加 權、積聚及/或活化單元之神經網路動態的能力。例如， 在執行某項工作時，加權、積聚及/或活化單元可能需要 15做某特定的組合及連接。^執行另一工作，可能需要不同 的組合及/或連接。經由適當地設定及/或重置本神經計算 媒體，即可在神經網路的單元或節點層次在加權、積聚及 /或活化功能間相互轉換。每一種類型之單元的數量可按 需要調整。例如，可以重新架構圖9所描緣的神經網路以 2〇提供圖1〇所示的網路。在此新架構中，圖9之網路令的一 個積聚單兀被轉換成加權單元。新架構之網路的上分支中 包括連績3個加權單元，且所包括的神經元突觸發射能力 較原網路少。很明顯，圖9及10的網路以不同的方式反應 輸入信號，且提供不同的組合功能。圖9與1〇的網路架 -31- 200409123 A7 五、發明說明（3〇 5 10 15 經濟部智慧財產局員工消費合作社印製 20 門疋直接動恶地轉換。本發明的所有實施 的再架構性。因此，本發明提供 ”有相似 路功能。 ^_ 本發明可再架構的態樣進—步擴及加權單元的加權 因數。如前文所述，加權因數是由加權單元的電阻決定。 因此’經由控制電阻，即可改變加權因數，並藉以改變本 加核单疋的特性。習知電阻手段的電阻變化，可經由例如 可交電阻益，或導引信號通過不同的電阻器來達成。冬本 神經計算媒體的加權模式完成加權，即可經由將本神^ 异媒體從-加權狀態變換到另一狀態以改變加權因數。如 前文所述，只要以適當的速率施加適當量的能量以獲得適 當的功率，本神經計算媒體即可在它的加權狀態間變換。 可經由改變加權因數來影響神經網路内不同分支或單 凡的相對重要性’因此’可進一步提供調整神經網路之性 能的彈性。神經網路中的加權因數常被視為記憶與學習的 整體。橫過神經網路之加權因數的特定分布定義了加權單 元與積聚單元間的連接強度’藉以控制整個神經網路中不 同單元、路徑或分支的相對重要性。例如，神經網路對特 定輪入刺激的反應，受控制連接強度之加權因數的影響極 大。典型上，吾人需要神經網路之特定的輪出或輸出的集 合與特定的輸入或輸入的集合相結合。此結合可經由適當 設定網路的加權因數獲得。加權因數的重新架構可以改變 結合的關係，藉以提供對舊刺激之新的反應。加權因數的 建立與控制，提供了與生物神經網路所面臨的同種類的 -32- 訂 線 自 本纸張尺度適用中國國家標準(CNS)A4規格（21〇x297公爱） 200409123 A7 B7 五、發明說明（31) 適及動態學習能力。經由改變積聚單元的臨限，可進一步 獲得功能上的彈性。 使本發明的單元在加權、積聚與活化功能間相互轉換 的方法之一是包括用以設定及重置本神經計算媒體的手 5 段。設定與重置手段可分散地包括在每一單元中，也可利 用對各個單元的適當定址將整個網路或部分單元的設定與 重置手段集中，或分散與集中併用。設定與重置需要加給 本神經計算媒體適量的能量及/或功率。可加入到單元的 能量型式很多，包括電、光、電磁及熱能。如前文所述， 10 在加權狀態間相互轉換需要在適當速率上加入適量的能 量，以獲得適當的功率。設定與重置以及提供能量及/或 功率給相變材料的手段描述於前文提及的美國專利 5，159,661、5,912,839及6，141，241，以及美國專利申請案 10/144319及10/155527 。 15 對於輸入信號、外部刺激、或來自感覺單元的信號之 反應也會發生單元功能性或加權狀態間的相互轉換。例 如，一個足以設定的信號，可能將積聚單元轉換成加權單 元。例如，一個具有夠高功率的信號，可能將加權單元從 某個加權狀態變換到另一個加權狀態。因此，本神經元、 20 包含它們的單元以及神經網路與它們四周或外部環境的交 互作用，可以支配（dictate)功能性、反應、及/或性能。例 如，一道明亮的閃光或實質的熱，可能表示有緊急情況， 此提供一具有足以影響加權因數之功率的輸入信號給加權 單元，並因此改變了網路的反應。 本紙張尺度適用中國國家標準(CNS)A4規格（210x297公釐） 訂 線 經濟部智慧財產局員工消費合作社印製 200409123 A7 五、發明說明（32) 本文的揭示僅是說明，並無意限制本發 能想像的極多相等物及其細瑣的變化，也都在本:明的= 圍内。以下的申請專利範圍包括所有的相等物，與上述 揭示結合，定義了本發明的範圍。 、 、 10 15 經濟部智慧財產局員工消費合作社印製 20 五、圖式簡單說明 圖1是生物神經元的概圖。 圖2疋生物突觸連接的概圖。 圖3是相變曲線，顯示設定變換的兩侧。 圖4是按照本發明—實施例之人造神經元的圖示。正 方形代表加權單元，圓形代表積聚單元。圖、5是按照本發明一實施例之人造神經元的圖示。正二形代表加權單元，圓形代表積聚單元，三角形代表活化 單元。 圖6是按照本發明之兩個加權單元與_個積聚單元的 組合的圖示。正方形代表加權單元，圓形代表積聚單元。 圖7是按照本發明之一個加權單元與兩個積聚單元 組合的圖示。正方形代表加權單元，圓形代表積聚單元 圖8是按照本發明之兩層神經網路實施例的圖示。 方形代表加權單元，圓形代表積聚單元。 圖9是按照本發明之多層神經網路實施例的圖示。 方形代表加權單元，圓形代表積聚單元。 圖10是按照本發明之多層神經網路實施例的圖示。罔 中顯示是經由重新架構圖9中所示網路得到。正方形代= -34- 訂 線 的 正 正 圖 χ 297 公髮） 200409123 A7 B7 五、發明說明（33 ) 加權單元，圓形代表積聚單元。 經濟部智慧財產局員工消費合作社印製 本紙張尺度適用中國國家標準(CNS)A4規格（210x297公釐）

Claims (1)

1. 200409123 A8 B8 C8 D8 \、申請專利範圍 1 · 一種類比神經元，包含： 加權單元，該加權單元具有一加權因數，該加權 因數實質上是由該加權單元的電阻決定；以及 積聚單元，該積聚單元包含第一相變材料，該第 5 一相變材料具有複數個狀態，該些狀態包括：重置狀 態；經由施加與該重置狀態之設定能量之量對應的能 量》可從該重置狀悲得到的設定狀態》該設定能量對 應於該神經元的臨限，該設定狀態具有比該重置狀態 低的電阻，經由施加與該設定狀態之重置能量之量對 10 應的能量，該設定狀態可變換到該重置狀態；以及一 或多個積聚狀態，具有與該重置狀態實質上相同的電 阻，該積聚狀態可經由施加比該臨限之量少的能量從 該重置狀態得到； 其中，該積聚單元與該加權單元串聯，該第一相 15 變材料是在該重置狀態或在該等積聚狀態之一，且該 加權因數決定該加權單元與該積聚單元間電氣通信的 程度。 經濟部智慧財產局員工消費合作社印製 2.如申請專利範圍第1項的類比神經元，其中，該加權單 元包含第二相變材料，該第二相變材料具有複數個狀 20 態，該些狀態包括：重置狀態；經由施加與該重置狀 態之設定能量之量對應的能量，可從該重置狀態得到 的設定狀態，該設定狀態具有比該重置狀態低的電阻 ，經由施加與該設定狀態之重置能量之量對應的能量 ，該設定狀態可變換到該重置狀態；以及一或多個加 -36 - 本紙張尺度適用中國國家標準(CNS)A4規格（210x297公釐） 200409123 A8 B8 C8 ________D8__ 六、申請專利範圍 權狀態，具有的電阻大於該設定狀態的電阻，並小於 該重置狀態的電阻，經由施加小於該設定狀態之重置 能量之量的能量，可從該設定狀態得到該加權狀態， 遠设定狀態或該一或多個加權狀態的該電阻實質地決 5 定該加權因數；該第二相變材料在該設定狀態或其中 一個該加權狀態。 3 ·如申請專利範圍第2項的類比神經元，其中，該第一及 弟一相變材料具有相同成分。 4.如申請專利範圍第2項的類比神經元，其中，該第二相 10 變材料與該第一相變材料實體接觸。， 5·如申請專利範圍第1項的類比神經元，進一步包含活化 單元’該活化單元與該積聚單元串聯，該活化單元包 括用以執行數學運算的手段。 6.如申請專利範圍第5項的類比神經元，其中，該活化單 15 元包含第三相變材料。 7·如申請專利範圍第6項的類比神經元，其中，該第三相 變材料具有與該第一相變材料相同的成分。 經濟部智慧財產局員工消費合作社印製 8·如申請專利範圍第1項的類比神經元，其中，該第一相 變材料包含一或多樣元素，選用自銦、銀、碲、石西、 20 鍺、銻、鉍、鉛、錫、砷、硫、磷及以上各元素的混 合物或合金。 9·如申請專利範圍第1項的類比神經元，其中該第/相變 材料包含chalcogen。 10·如申請專利範圍第9項的類比神經元，其中該 -37 - 本紙張尺度適用中國國家標準(CNS)A4規格（21〇 x 297公爱） 200409123 申請專利範圍 A8 B8 C8 D8 經濟部智慧財產局員工消費合作社印製 chalcogen是碲與硒的混合物。 11·如申請專利範圍第9 、W肩比神經疋，其中該相變材 料進一步包含鍺或銻。 12·如申請專利範圍第9 π w頰比砷經凡，其中該相變材 料進一步包含過渡金屬元素。 13·如申請專利範圍第12 貝叼犬貝比砷經兀，其中該過渡金 屬元素選用自鉻、鐵、鎳、鈮、鈀、及鉑。 14. 如申請專利範圍第i項的類比神經元，其中該加權單 兀包括可變電阻，該可變電阻實質地提供該加權單元 10 的該電阻。 15. 如申請專利範圍第i項的類*神經元，進―步包括重 置該，聚單元的手段，該重置手段包括用以提供能量 給該第一相變材料的手段。 16. 如申請專利範圍第2項的類比神經元，進一步包括調 整該第二相變材料之該加權因數的手段，該用以調整 的手段包括提供能量給該相變材料，該提供的能量是 在足以引發該第二相變材料從該加權狀態其中之一變 換到該加權狀態其中另一的速率下施加。 17. —種神經網路，包含： 5 ·： 4 訂 15 20 資料輸入手段，以及 如申凊專利範圍第1項的類比神經元，其中，該 資料輸入手段提供一輸入信號給該加權單元，該加權 單元按照該加權因數加權該輸入信號，以產生經過加 權的信號’該加權後的信號提供給該積聚單元。 -38 - 本紙張尺度適用中國國家標準(CNS)A4規袼（21〇 χ 29?公釐） 線 200409123 A8 B8 C8

   5 10 15 申月專利範圍第17項的神經網路，其中該資料輸入 手段進-步提供—輸人錢給該積聚單元。、 1'如申請專利範圍第17項的神經網路，其中，該輸入信 號所包括之能量的型式係選自電、光、電磁、及熱。 20. 如申請專利範圍第19項的神經網路，|中該能量的電 型式包括電流脈衝。 21. 如申請專利範圍第19項的神經網路，丨中該能量的電 磁型式有可見光、紅外線、微波或射頻。 22. 如申請專利範圍第17項的神經網路，其中，該資料輪 手又括外。卩刺激，该外部刺激源自於該神經網路 之外部環境中的影響或動作，該外部刺激產生該輸入 信號。 23·如申請專利範圍第22項的神經網路，其中該外部刺激 選擇自熱、光、聲、移動、濕度、化學物、及電位。 24·如申請專利範圍第22項的神經網路，進一步包含感覺 單兀，該感覺單TL反應該外部刺激，產生該輸入信號 訂 線 經濟部智慧財產局員工消費合作社印製 25·如申請專利範圍第24項的神經網路 選用自光電池、麥克風、熱感應器 20 濕度感應器及化學感應器。 26. 如申凊專利範圍第17項的神經網路 的號足以發射該積聚單元。 27. 如申请專利範圍第17項的神經網路 手段提供同步輸入信號。 -39 - 本紙張尺度適用中國國家標準(CNS)A4規格（210x297公复） 其中該感覺單元 攝影機、天線、 其中該經過加;^ 其中該資料輪 入 200409123 A8 B8 C8 D8 六、申請專利範圍 28. —種神經網路，包含： 一或多個加權單元，每一個該加權單元具有一加 權因數，該加權因數實質上是由該加權單元的電阻決 定；以及 5 —或多個積聚單元，每一個該積聚單元包含一相 變材料，該相變材料具有複數個狀態，該些狀態包 括：重置狀態；經由施加與該重置狀態之設定能量之 量對應的能量，可從該重置狀態得到的設定狀態，該 設定能量對應於該積聚單元的臨限，該設定狀態具有 10 比該重置狀態低的電阻’經由施加與該設定狀態之重 置能量之量對應的能量，該設定狀態可變換到該重置 狀態；以及一或多個積聚狀態，具有與該重置狀態實 質上相同的電阻，該積聚狀態可經由施加比該臨限之 量少的能量從該重置狀態得到； 15 其中，每一個該加權單元與至少一個該積聚單元 經濟部智慧財產局員工消費合作社印製 串聯，每一個該積聚單元與至少一個該加權單元串 聯，每一個該積聚單元的該相變材料是在該重置狀態 或其中一個該積聚狀態，且該加權因數決定相互連接 之該加權單元與該積聚單元間電氣通信的程度。 20 29.如申請專利範圍第28項的神經網路，其中，每一個該 加權單元包含一相變材料，該相變材料具有複數個狀 態，該些狀態包括：重置狀態；經由施加與該重置狀 態之設定能量之量對應的能量，可從該重置狀態得到 的設定狀態，該設定狀態具有比該重置狀態低的電阻 -40 - 本紙張尺度適用中國國家標準(CNS)A4規格（210x297公釐） 200409123 A8 B8 C8 ____D8 _ 六、申請專利範圍 " ，經由施加與該設定狀態之重置能量之量對應的能量 ，該設定狀態可變換到該重置狀態；以及一或多個加 權狀態，具有的電阻大於該設定狀態的電阻，並小於 該重置狀態的電阻，經由施加小於該設定狀態之重置 5 能量之量的能量，可從該設定狀態得到該加權狀態， 該設定狀態或該一或多個加權狀態的該電阻實質地決 定該加權因數；該相變材料在該設定狀態或其中一個 該加權狀態。 3 0 ·如申請專利範圍第2 8項的神經網路，其中，該加權單 10 元至少其中之一連接到2或多個該積聚單元。 3 1 ·如申睛專利範圍第2 8項的神經網路，其中，該積聚單 元至少其中之一連接到2或多個該加權單元。 32·如申請專利範圍第28項的神經網路，其中該網路是多 層網路。 15 33·如申请專利範圍第28項的神經網路，進一步包含一或 多個活化單元，該活化單元每一個與該積聚單元至少 其中之一串聯，該活化單元包括用以執行數學運算的 手段。 經濟部智慧財產局員工消費合作社印製 34·如申凊專利範圍第33項的神經網路，其中，每一個該 20 活化單元包含一相變材料。 35·如申請專利範圍第29項的神經網路，進一步包括用以 調整該加權單元至少其中之一的手段，用以調整的該 手段包括提供能量給該加權單元至少其中之一的該相 變材料，該提供的能量是在足以引發該加權單元至少 -41 - 本紙張尺度中Μ家標準(CNS)M規格（21G χ 297公爱） 200409123 A8 B8 C8 D8 六、申請專利範圍 其中之一的該相變材料從該加權狀態其中之一變換到 該加權狀態其中另一的速率下施加。 36. 如申請專利範圍第29項的神經網路，進一步包括施加 能量給該加權單元至少其中之一的手段，其中，用以 5 提供能量的該手段提供足夠的能量以重置該加權單元 至少其中之一，藉以將該加權單元至少其中之一轉換 成積聚單元。 37. 如申請專利範圍第28項的神經網路，進一步包括施加 能量給該積聚單元至少其中之一的手段，其中，用以 10 提供能量的該手段提供足夠的能量以設定該積聚單元 至少其中之一，藉以將該積聚單元至少其中之一轉換 成加權單元。 38. —種神經網路，包含： 資料輸入手段，該資料輸入手段產生兩或多個信 15 號；以及 經濟部智慧財產局員工消費合作社印製 類比神經元，該類比神經元包含一相變材料，該 相變材料具有複數個狀態，該些狀態包括：重置狀 態；經由施加與該重置狀態之設定能量之量對應的能 量，可從該重置狀態得到的設定狀態，該設定能量對 20 應於該神經元的臨限，該設定狀態具有比該重置狀態 低的電阻，經由施加與該設定狀態之重置能量之量對 應的能量，該設定狀態可變換到該重置狀態；以及一 或多個積聚狀態，具有與該重置狀態實質上相同的電 阻，該積聚狀態可經由施加比該臨限之量少的能量從 -42 - 本紙張尺度適用中國國家標準(CNS)A4規格（210 X 297公釐） 200409123

   申請專利範圍 10 15 該重置狀態得到； ，、中該2或多個信號中至少2個被當成輸入作 號提供給該類比神叙- ° 比砷經兀，該類比神經元經由在該積取 狀態間變換以對該輪 K 輪入k 5虎累積地反應，當該輸入信 5虎提供之能量的|v + 5又疋該相變材料時，該類比神 經元發射。 3'如申請專利範圍第38項的神經網路，其中，該輪入信 號〇括具有選擇自電、光、熱及電磁等型式之能量的 信號。 40.如申請專利範圍第39項的神經網路 型式包括電流脈衝。 41·如申請專利範圍第39項的神經網路 包括該些型式中至少2樣型式的能量 42 ·如申请專利範圍第39項的神經網路 包括該些型式中至少3樣型式的能量。 43.如申請專利範圍第38項的神經網路，其中該輸入信號 是同步提供。 其中該能量的電 其中該輸入信號 其中該輸入信號 韓 訂 線 經濟部智慧財產局員工消費合作社印製 本紙張尺度適用中國國家標準(CNS)A4規格（210x297公釐） -----