TWI655587B - 神經網路及神經網路訓練的方法 - Google Patents

Abstract

一種神經網路係包括用於接收輸入訊號的複數個輸入、以及被連接到該等輸入且具有校正權重的神經結。該種網路係另外包括分配器。各個分配器係連接到該等輸入的一者以供接收各別輸入訊號且選擇和該輸入值相關的一個或多個校正權重。該種網路還包括神經元。各個神經元係具有一個輸出且經由一個神經結而和該等輸入的至少一者為連接，且藉由將選擇自被連接到各別的神經元之各個神經結的校正權重總計而產生一個神經元總和。再者，該種網路係包括一個權重校正計算器，其接收一個期望輸出訊號，確定該神經元總和與該期望輸出訊號值的一個偏差，且使用該確定的偏差來修改各別的校正權重。將修改的校正權重合計以確定該神經元總和係使該所屬的偏差為最小化以供訓練該種神經網路。

Description

神經網路及神經網路訓練的方法 【相關申請案之交互參照】

此申請案係主張西元2014年3月6日提出的美國臨時申請案序號第61/949,210號、西元2015年1月22日提出的美國臨時申請案序號第62/106,389號、西元2015年3月6日提出的PCT申請案PCT/US2015/19236號、西元2015年6月9日提出的美國臨時申請案序號第62/173,163號、與西元2015年9月23日提出的美國發明申請案序號第14/862,337號之裨益，該等申請案的整體內容係以參照方式而納入本文。

本揭露內容係關於一種人工神經網路及訓練人工神經網路的方法。

在機器學習之中，術語“神經網路”係概括指稱軟體及/或電腦架構，即：一個電腦系統或一個微處理器的整體設計或結構，其包括執行其所需要的硬體與軟體。人工神經網路係可由亦稱為動物的中樞神經系統(特別是頭腦)之生物神經網路所驅使之一系列的統計學習演算法。人工神經網路係主要使用以估測或大致估計其可取決於大量輸入之概括未知的功能。該種神經網路係已經用於其為難以使用一般基於規則的程式設計來解決之廣泛的種種任務，其包括電腦視覺與語音辨識。

人工神經網路係概括呈現為“神經元(neuron)”之系統，其可計算來自輸入的值，且由於其適應的性質而為能夠機器學習、以及型樣辨識。各個神經元係經常為透過具有神經結權重(weight)的神經結(synapse)而和數個輸入連接。

神經網路係並非如同典型的軟體與硬體為經程式設計，而是被訓練。該種訓練係典型為經由充分數目個代表實例之分析且藉由神經結權重之統計或演算法的選擇而達成，使得一個既定組的輸入影像為對應於一個既定組的輸出影像。古典的神經網路之一個常見的批評係在於，對於其訓練而言係經常需要可觀的時間與其他的資源。

種種的人工神經網路係描述在以下的美國專利：4,979,124；5,479,575；5,493,688；5,566,273；5,682,503；5,870,729；7,577,631；以及7,814,038。

該種網路係包括複數個網路輸入，俾使各個輸入被裝配以接收其具有一個輸入值的一個輸入訊號。該種神經網路還包括複數個神經結，其中各個神經結被連接到該複數個輸入的一者且包括複數個校正(corrective)權重，其中各個校正權重係由一個權重值所界定。該種神經網路係另外包括一組分配器。各個分配器係運作連接到該複數個輸入的一者以供接收各別輸入訊號且被裝配以從和輸入值相關之該複數個校正權重來選擇一個或多個校正權重。該種神經網路還包括一組神經元。各個神經元係具有至少一個輸出且經由該複數個神經結的一者而和該複數個輸入的至少一者為連接，且被裝配以將選擇自被連接到各別神經元之各個神經結的該 等校正權重之權重值合計且藉此產生一個神經元總和。再者，該種神經網路係包括一個權重校正計算器，其被裝配以接收具有一個值的一個期望輸出訊號，確定該神經元總和與該期望輸出訊號值的一個偏差，且使用該確定的偏差來修改各別的校正權重值。將修改的校正權重值合計以確定該神經元總和係使該神經元總和與該期望輸出訊號值的偏差為最小化，藉以提供訓練該神經網路。該種神經網路係可被實現且實施為軟體及/或硬體。

該神經元總和與該期望輸出訊號的偏差之確定係可包括該期望輸出訊號值除以該神經元總和，藉此產生一個偏差係數。此外，該等各別的校正權重之修改係可包括用以產生該神經元總和的各個校正權重乘以該偏差係數。

該神經元總和與該期望輸出訊號的偏差係可為在其間的一個數學差異。在該種情形，該等各別修改的校正權重之產生係可包括該數學差異之分攤到用以產生該神經元總和的各個校正權重。該數學差異之該種分攤到各個校正權重係意欲將各個神經元總和收斂在該期望訊號值上。

該數學差異之分攤係亦可包括將該確定的差異平均劃分在用以產生該神經元總和的各個校正權重之間。

該分配器係可另外裝配以將複數個影響(impact)係數指定到該複數個校正權重，俾使各個影響係數是以一個預定的比例而被指定到該複數個校正權重的一者以產生該神經元總和。

各個各別的複數個影響係數係可由一個影響分佈函數所界定。該複數個輸入值係可被接收到一個值範圍，其根據一個區間分佈函數而被劃分為區間，俾使各個輸入值被接收在一個各別區間內，且各個校正 權重係對應於該等區間的一者。此外，各個分配器係可使用該輸入訊號之各別接收的輸入值以選擇該各別的區間。另外，各個分配器係可將該各別的複數個影響係數指定到其對應於該選擇各別的區間之校正權重且到其對應於鄰近於該選擇各別的區間的一個區間之至少一個校正權重。

各個神經元係可裝配以將對於經連接到其的所有神經結之該校正權重與指定的影響係數之一個乘積合計。

該等影響係數的預定比例係可根據一個統計分佈所界定，諸如：使用一個高斯函數。

權重校正計算器係可裝配以根據由該各別的影響係數所建立之比例而將該確定的差異之一部分施加到用以產生該神經元總和的各個校正權重。

各個校正權重係可另外由一組索引所界定。該等索引係可包括：一個輸入索引，其被設定以識別對應於該輸入的校正權重；一個區間索引，其被設定以指定用於該各別校正權重的選擇區間；及，一個神經元索引，其被設定以指定對應於該神經元的校正權重。

各個校正權重係可進而由一個存取索引所界定，該存取索引被設定以結算該各別校正權重在該神經網路的訓練期間而由該輸入訊號所存取的次數。

一種訓練該種神經網路的方法亦被揭示。

當關連於伴隨圖式與隨附申請專利範圍來理解，本揭露內容的上述特徵與優點、以及其他特徵與優點係將由用於實行所述的揭露內容之實施例與最佳模式的以下詳細說明而為顯而易見。

10‧‧‧神經網路

12‧‧‧輸入裝置

14‧‧‧神經結

16‧‧‧神經結權重

18‧‧‧神經元

20‧‧‧加法器

22‧‧‧致動函數裝置

24‧‧‧神經元輸出

26‧‧‧權重校正計算器

28‧‧‧訓練配對

28-1‧‧‧輸入影像

28-2‧‧‧期望輸出影像

100‧‧‧漸進式神經網路(p網路)

102‧‧‧輸入

104‧‧‧輸入訊號

106‧‧‧輸入影像

108‧‧‧神經結權重

110‧‧‧權重校正方塊

112‧‧‧校正權重

114‧‧‧分配器

116‧‧‧神經元

117‧‧‧輸出

118‧‧‧神經結

119‧‧‧神經元單元

120‧‧‧神經元總和

122‧‧‧權重校正計算器

124‧‧‧期望輸出訊號

126‧‧‧輸出影像

128‧‧‧偏差

134‧‧‧影響係數

136‧‧‧影響分佈函數

138‧‧‧值範圍

140‧‧‧區間分佈函數

200‧‧‧方法

202、204、206、208、210、212、214‧‧‧方框

圖1係一種先前技藝之古典的人工神經網路的說明圖。

圖2係具有複數個神經結、一組分配器、以及其和各個神經結有關聯的複數個校正權重之一種“漸進式神經網路”(p網路)的說明圖。

圖3A係在圖2所示的p網路之一部分的說明圖，其具有複數個神經結與經定位在各個分配器之上游的一個神經結權重。

圖3B係在圖2所示的p網路之一部分的說明圖，其具有複數個神經結與經定位在各別的複數個校正權重之下游的一組神經結權重。

圖3C係在圖2所示的p網路之一部分的說明圖，其具有複數個神經結與經定位在各個分配器之上游的一個神經結權重以及經定位在各別的複數個校正權重之下游的一組神經結權重。

圖4A係在圖2所示的p網路之一部分的說明圖，其具有用於一個既定輸入之所有神經結的單一個分配器與經定位在各個分配器之上游的一個神經結權重。

圖4B係在圖2所示的p網路之一部分的說明圖，其具有用於一個既定輸入之所有神經結的單一個分配器與經定位在各別的複數個校正權重之下游的一組神經結權重。

圖4C係在圖2所示的p網路之一部分的說明圖，其具有用於一個既定輸入之所有神經結的單一個分配器，且具有經定位在各個分配器之上游的一個神經結權重以及經定位在各別的複數個校正權重之下游的一組神經結權重。

圖5係在圖2所示的p網路中的輸入訊號值範圍之劃分為個別區間的、說明圖。

圖6A係用於在圖2所示的p網路中的校正權重之影響係數值的分佈之一個實施例的說明圖。

圖6B係用於在圖2所示的p網路中的校正權重之影響係數值的分佈之另一個實施例的說明圖。

圖6C係用於在圖2所示的p網路中的校正權重之影響係數值的分佈之又一個實施例的說明圖。

圖7係用於在圖2所示的p網路之一個輸入影像的說明圖、以及其用數位碼的形式來代表該影像之一個對應表格與其作為一組各別區間來代表該同個影像之另一個對應表格。

圖8係在圖2所示的p網路之一個實施例的說明圖，該p網路被訓練以供二個相異影像之辨識，其中該p網路係裝配以辨識其包括各個影像的一些特徵之一個圖像。

圖9係在圖2所示的p網路之一個實施例的說明圖，其具有環繞一個“中央”神經元的神經結權重之分佈的一個實例。

圖10係在圖2所示的p網路之一個實施例的說明圖，其描繪在校正權重之間的訓練偏差的均勻分佈。

圖11係在圖2所示的p網路之一個實施例的說明圖，其運用在p網路訓練期間的校正權重之修改。

圖12係在圖2所示的p網路之一個實施例的說明圖，其中基本演算法係產生一個主要組的輸出神經元總和，且其中該產生組係使用以產生具有 保留或增大值的數個“獲勝者”總和且其餘的總和之貢獻係無效。

圖13係在圖2所示的p網路之一個實施例的說明圖，其辨識具有多個影像的元素之一個複雜影像。

圖14係使用統一模型化語言(UML)之用於在圖2所示的p網路之物件導向程式設計的一個模型的說明圖。

圖15係在圖2所示的p網路之一個概括形成順序的說明圖。

圖16係用於在圖2所示的p網路之形成的資料之代表性的分析與準備的說明圖。

圖17係允許在圖2所示的p網路和輸入資料在訓練與p網路應用期間的互動之代表性的輸入建立的說明圖。

圖18係用於在圖2所示的p網路之神經元單元之代表性的建立的說明圖。

圖19係其和神經元單元連接的各個神經結之代表性的建立的說明圖。

圖20係訓練在圖2所示的p網路的說明圖。

圖21係在圖2所示的p網路中之神經元單元訓練的說明圖。

圖22係在圖2所示的p網路之訓練期間的神經元總和之延伸的說明圖。

圖23係一種用以訓練在圖2-22所示的神經網路之方法的流程圖。

如圖1所示，一種古典的人工神經網路10係典型包括輸入裝置12、具有神經結權重16的神經結14、神經元18(其包括一個加法器20與致動函數裝置22)、神經元輸出24以及權重校正計算器26。各個神經元18係透過神經結14而連接到二個或多個輸入裝置12。神經結權重16的值 係通常使用電阻、導電率、電壓、電荷、磁性性質、或其他參數來代表。

古典的神經網路10之受監督的訓練係概括為基於一組訓練配對28之應用。各個訓練配對28係通常由一個輸入影像28-1與一個期望輸出影像28-2(亦稱為一個監督訊號)所組成。古典的神經網路10之訓練係典型為提供如後。以一組輸入訊號(I₁-I_m)的形式之一個輸入影像係進入該等輸入裝置12且被轉移到其具有初始權重(W₁)的神經結權重16。輸入訊號的值係由該等權重所修改，典型為將各個訊號(I₁-I_m)的值乘以或除以各別的權重。從該等神經結權重16，經修改的輸入訊號係各者轉移到各別的神經元18。各個神經元18係接收來自關於該所屬的神經元18之一群神經結14的一組訊號。包括在神經元18之中的加法器20係將由該等權重所修改且由該所屬的神經元所接收的所有輸入訊號總計。致動函數裝置22係接收各別的合成神經元總和且根據數學函數而修改該總和，因此形成各別的輸出影像為如同成組的神經元輸出訊號(ΣF₁…ΣF_n)。

由神經元輸出訊號(ΣF₁…ΣF_n)所界定之得到的神經元輸出影像係和預定的期望輸出影像(O₁-O_n)而由一個權重校正計算器26來比較。基於在所得到的神經元輸出影像ΣF_n與期望輸出影像O_n之間的預定差異，用於改變該等神經結權重16的校正訊號係使用一個預定程式設計的演算法所形成。在校正係對於所有神經結權重16而作成之後，該組輸入訊號(I₁-I_m)係再次引入到神經網路10且新的校正係作成。上述的循環係重複而直到在所得到的神經元輸出影像ΣF_n與期望輸出影像O_n之間的差異係確定為小於某個預定誤差。關於所有的個別影像之網路訓練的一個循環係典型識別為一個“訓練時期”。概括而言，藉著各個訓練時期，誤差的大小係降低。 然而，視個別輸入訊號(I₁-I_m)之數目、以及輸入與輸出的數目而定，古典的神經網路10之訓練係可能需要可觀數目的訓練時期，其在一些情形係可能為如同幾十萬個之大。

種種古典的神經網路係存在，其包括何普菲(Hopfield)網路、限制波茲曼機器(Restricted Boltzmann Machine)、徑向基底函數網路、與遞迴神經網路。分類及叢集之特定任務係需要一個特定型式的神經網路，自我組織映射(Self-Organizing Map)，僅使用輸入影像來作為網路輸入訓練資訊，而對應於某個輸入影像的期望輸出影像係基於具有最大值的一個輸出訊號之單一個獲勝(winning)的神經元而在訓練過程期間被直接形成。

如上所指出，關於現存的古典神經網路(諸如：神經網路10)之主要關注的一者係在於其成功的訓練係需要可觀的時間持續期間。關於古典網路之一些另外關注係可為計算資源之大量耗費，其將接著驅使對於強大電腦之需要。另外的關注係在沒有該網路之完全重新調校的情況下而無法提高該網路的大小，對於如同“網路癱瘓”與“凍結在局部最小量”之該種現象的一個傾向，其使得不可能預測一個特定神經網路是否將能夠用一個既定順序之一個既定組的影像來訓練。此外，可能存在關於在訓練期間所引入的影像之特定順序的限制，其中，改變訓練影像之引入的順序係可能導致網路凍結，以及無法實行一個已經訓練的網路之附加的訓練。

參考其餘圖式，其中，同樣的參考標號係指稱同樣的構件，圖2係顯示此後稱為“漸進式網路(progressive network)”或“p網路(p-net)”100之一種漸進式神經網路的示意圖。p網路100係包括該p網路的複數個或一組輸入102。各個輸入102係裝配以接收一個輸入訊號104，其中該等 輸入訊號係在圖2被表示為I₁,I₂…I_m。各個輸入訊號I₁,I₂…I_m係代表一個輸入影像106之一些特徵的一個值，例如：大小、頻率、相位、訊號極化角度、或和輸入影像106之不同部分的關聯性。各個輸入訊號104係具有一個輸入值，其中該複數個輸入訊號104係共同概括描述該輸入影像106。

各個輸入值係可在其置於-∞與+∞之間的一個值範圍內且可被設定為數位及/或類比形式。輸入值的範圍係可取決於一組訓練影像。在最簡單的情形中，輸入值的範圍係可為在用於所有訓練影像之輸入訊號的最小與最大值之間的差異。為了實際理由，輸入值的範圍係可藉由排除其被視為過高的輸入值而受限制。舉例來說，輸入值的範圍之該種限制係可經由用於變異數縮減之已知統計方法而達成，諸如：重要性取樣。限制輸入值的範圍之另一個實例係可為其低於一個預定最小位準的所有訊號之指定到一個特定最小值以及其超過一個預定最大位準的所有訊號之指定到一個特定最大值。

該p網路100還包括複數個或一組神經結118。各個神經結118被連接到複數個輸入102的一者，包括複數個校正權重112，且還可包括一個神經結權重108，如在圖2所示。各個校正權重112係由一個各別的權重值112所界定。該p網路100還包括一組分配器114。各個分配器114係運作連接到複數個輸入102的一者以供接收各別的輸入訊號104。此外，各個分配器114係裝配以從和輸入值相關之複數個校正權重112來選擇一個或多個校正權重。

該p網路100係另外包括一組神經元116。各個神經元116係具有至少一個輸出117且經由一個神經結118而和複數個輸入102的至少 一者為連接。各個神經元116係裝配以將選擇自被連接到各別的神經元116之各個神經結118的該等校正權重112之權重值合計或總計且藉此產生一個神經元總和120，或者被標示為Σn。一個單獨的分配器114係可使用於一個既定輸入102的各個神經結118，如在圖3A、3B、與3C所示，或單一個分配器係可使用於所有的該等神經結118，如在圖4A、4B、與4C所示。在p網路100之形成或設置期間，所有的校正權重112係指定的初始值，其可在p網路的訓練過程期間而改變。校正權重112的初始值係可如同在古典的神經網路10之中而被指定，舉例來說，該等權重係可隨機選擇、在一個預定數學函數之幫助下所計算、從一個預定樣板所選擇、等等。

該p網路100還包括一個權重校正計算器122。權重校正計算器122係裝配以接收其具有一個訊號值且代表一個輸出影像126的一部分之一個期望(即：預定)輸出訊號124。權重校正計算器122係亦裝配以確定神經元總和120與期望輸出訊號124的值之一個偏差128，亦稱：訓練誤差，且使用該確定的偏差128來修改各別的校正權重值。之後，將修改的校正權重值總計以確定該神經元總和120係使該所屬的神經元總和與期望輸出訊號124的值之偏差為最小化，且結果為有效以供訓練該p網路100。

為了類比於關於圖1所論述之古典的網路10，偏差128亦可被描述為在所確定的神經元總和120與期望輸出訊號124的值之間的訓練誤差。相較於關於圖1所論述之古典的神經網路10，在p網路100之中，輸入訊號104的輸入值係僅在一般網路設置的過程中改變，且在該p網路的訓練期間為未改變。並非改變該輸入值，p網路100之訓練係藉由改變校正權重112的值112所提供。此外，雖然各個神經元116係包括一個總計的功 能，其中該神經元係將該等校正權重值合計，神經元116係不需要一個致動函數且實際上其特徵為沒有一個致動函數，諸如：由古典的神經網路10之中的致動函數裝置22所提供。

在古典的神經網路10之中，在訓練期間的權重校正係藉由改變神經結權重16所達成，而在p網路100之中，對應的權重校正係藉由改變校正權重值112所提供，如在圖2所示。各別的校正權重112可被包括在其經定位在所有或一些神經結118之上的權重校正方塊110。在神經網路電腦模擬中，各個神經結權重與校正權重係可由一個數位裝置(諸如：一個記憶體單元)及/或由一個類比裝置所代表。在神經網路軟體模擬中，校正權重112的值係可經由一個適當程式設計的演算法所提供，而在硬體模擬中，用於記憶體控制之已知的方法係可使用。

在p網路100之中，神經元總和120與期望輸出訊號124的偏差128係可表示為在其間的一個數學計算差異。此外，各別修改的校正權重112之產生係可包括該計算的差異之分擔到用以產生神經元總和120的各個校正權重。在該種實施例中，各別修改的校正權重112之產生係將允許神經元總和120在很少個時期之內而被收斂在期望輸出訊號值，在一些情形係僅需要單一個時期，用以快速訓練p網路100。在一個特定情形，該數學差異之分擔在用以產生神經元總和120的該等校正權重112之間係可包括將該確定的差異平均劃分在用以產生各別的神經元總和120的各個校正權重之間。

在一個不同的實施例中，神經元總和120與期望輸出訊號值的偏差128之確定係可包括該期望輸出訊號值除以神經元總和，藉此產生 一個偏差係數。在該種特定情形，各別修改的校正權重112之修改係包括用以產生神經元總和120的各個校正權重乘以該偏差係數。各個分配器114係可另外裝配以將複數個影響係數134指定到該複數個校正權重112。在本實施例中，各個影響係數134係可為以某個預定比例而指定到該複數個校正權重112的一者以產生各別的神經元總和120。為了對應於各個各別的校正權重112，各個影響係數134可被指定一個“C_i,d,n”命名，如在圖式所示。

對應於特定神經結118之該複數個影響係數134的各者係由一個各別的影響分佈函數136所界定。影響分佈函數136係可對於所有影響係數134或僅對於其對應於一個特定神經結118之複數個影響係數134而為相同。複數個輸入值的各者係可被接收到一個值範圍138，其根據一個區間分佈函數140而劃分為區間或子劃分“d”，俾使各個輸入值被接收在一個各別的區間“d”之內且各個校正權重係對應於該等區間的一者。各個分配器114係可使用各別接收的輸入值以選擇各別的區間“d”，且將該等各別的複數個影響係數134指定到其對應於所選擇的各別區間“d”之校正權重112並且到其對應於鄰近於所選擇的各別區間的一個區間之至少一個校正權重，諸如：W_i,d+1,n或W_i,d-1,n。在另一個非限制的實例中，該等影響係數134之預定的比例係可根據一種統計分佈而界定。

產生神經元總和120係可包括根據輸入值102而初始將各別的影響係數134指定到各個校正權重112且接著將該所屬的影響係數乘以各別運用的校正權重112之值。接著，經由各個神經元116，將對於連接到其的所有神經結118之該校正權重112與經指定的影響係數134之個別乘積總計。

權重校正計算器122係可被裝配以應用各別的影響係數134來產生各別的修改後的校正權重112。明確而言，權重校正計算器122係可根據由各別的影響係數134所建立的比例而將在神經元總和120與期望輸出訊號124之間的計算數學差異的一部分應用到用以產生該神經元總和120的各個校正權重112。此外，在用以產生該神經元總和120的該等校正權重112之間所劃分的數學差異係可進一步除以各別的影響係數134。隨後，神經元總和120除以各別的影響係數134之結果係可相加到校正權重112以使神經元總和120收斂在期望輸出訊號值上。

典型而言，p網路100之形成係將在p網路的訓練開始之前而發生。然而，在一個不同的實施例中，若在訓練期間，p網路100係接收對於其的初始校正權重為不存在之一個輸入訊號104，適當的校正權重112係可產生。在該種情形，特定的分配器114係將確定用於特定輸入訊號104的適當區間“d”，且一群具有初始值的校正權重112係將針對於既定輸入102、既定區間“d”、與所有各別的神經元116而產生。此外，對應的影響係數134係可被指定到各個新產生的校正權重112。

各個校正權重112係可由一組索引所界定，該組索引係設定以識別各個各別的校正權重在p網路100之上的一個位置。該組索引可明確包括：一個輸入索引“i”，其被設定以識別對應於特定的輸入102之校正權重112；一個區間索引“d”，其被設定以指定用於各別校正權重之上述的選擇區間；以及，一個神經元索引“n”，其被設定以用命名“W_i,d,n”來指定對應於特定的神經元116之校正權重112。因此，對應於一個特定輸入102之各個校正權重112被指定該特定索引“i”於下標符號以指出該所屬 位置。同理，對應於一個特定神經元116與一個各別神經結118之各個校正權重“W”被指定該特定索引“n”與“d”於下標符號以指出在p網路100之上的該校正權重的所屬位置。該組索引還可包括：一個存取索引“a”，其被設定以結算該各別校正權重112在p網路100的訓練期間而由輸入訊號104所存取的次數。換言之，每當一個特定區間“d”與各別的校正權重112係從和該輸入值相關的複數個校正權重而被選擇用於訓練，存取索引“a”被增量以計數該輸入訊號。存取索引“a”係可被使用以藉由採用一個命名“W_i,d,n,a”來進而指定或界定各個校正權重的目前狀態。索引“i”、“d”、“n”、與“a”的各者係可為在0到+∞之範圍中的數值。

將輸入訊號104的範圍劃分為區間d₀,d₁…d_m之種種可能性係顯示在圖5。特定區間分佈係可為均勻或線性，舉例來說，其可藉由指定所有的區間“d”為具有相同大小而達成。具有低於一個預定最低位準之其各別輸入訊號值的所有輸入訊號104係可視為具有零值，而具有大於一個預定最高位準之其各別輸入訊號值的所有輸入訊號104係可指定到該最高位準，如亦在圖5所示。特定區間分佈係亦可為非均勻或非線性，諸如：對稱、不對稱、或無限。當該等輸入訊號104的範圍被視為不切實際地大，區間“d”之非線性分佈係可為有用，且該範圍的某個部分係可包括被視為最關鍵的輸入訊號，諸如：在該範圍的開端、中間、或末端。該特定區間分佈係亦可由一個隨機函數所描述。所有前述的實例係非限制性質，由於區間分佈之其他變型亦為可能。

在輸入訊號104的選擇範圍內之區間“d”的數目係可提高以使p網路100為最佳化。該p網路100之最佳化係可例如藉著在訓練輸入 影像106的複雜度之提高而為合意。舉例來說，相較於單色的影像，對於多色的影像而言係可能需要較大數目個區間，且比起對於簡單圖像，對於複雜裝飾而言係可能需要較大數目個區間。相較於由輪廓所描述的影像，對於其具有複雜的色彩漸層的影像之精確辨識而言係可能需要增大數目個區間，如同對於較大的整體數目個訓練影像而言。假使有高量的雜訊、在訓練影像的高的變動、以及計算資源的過量消耗，亦可能需要於區間“d”的數目之降低。

視p網路100所處置的資訊之任務或型式而定，例如：視覺或文字資料、來自種種性質之感測器的資料，不同數目個區間與其分佈的型式係可指定。對於各個輸入訊號值的區間“d”，具有索引“d”之既定神經結的對應校正權重係可指定。因此，某個區間“d”將包括其具有關於既定輸入的索引“i”、關於既定區間的索引“d”之所有校正權重112；及，對於從0到n的索引“n”之所有值。在訓練p網路100之過程中，分配器114係界定各個輸入訊號值且因此使該所屬的輸入訊號104為關於對應區間“d”。舉例來說，若在從0到100之輸入訊號的範圍內有10個相等區間“d”，具有在30與40之間的一個值之輸入訊號係相關於區間3，即：“d”=3。

對於其和既定輸入102為連接的各個神經結118之所有校正權重112，分配器114係可根據其關於特定輸入訊號的區間“d”而指定該影響係數134的值。分配器114亦可根據影響係數134的值之一個預定分佈(在圖6所示)(諸如：正弦波、常態、對數分佈曲線、或一個隨機分佈函數)而指定該影響係數134的值。在許多情形，對於關於各個神經結118的一個 特定輸入訊號102之影響係數134或C_i,d,n的總和或積分將具有1(一)的一個值。

Σ _Synapse C_i,d,n=1或∫ _Synapse C_i,d,n=1 [1]在最簡單的情形中，最接近對應於輸入訊號值的校正權重112係可指定1(一)的一個值到影響係數134(C_i,d,n)，而對於其他區間的校正權重係可接收0(零)的一個值。

相較於古典的神經網路10，p網路100係針對於在p網路之訓練期間的持續時間降低與其他資源使用。雖然在本文所揭示作為p網路100的部分者之一些元件係由對於熟悉古典神經網路者為習知的某些名稱或識別符號來命名，特定的名稱係為了簡化而使用且可能不同於其在古典神經網路的對應者而運用。舉例來說，控制輸入訊號(I₁-I_m)的大小之神經結權重16係在古典的神經網路10之概括設置過程期間而制定且在該古典網路之訓練期間而改變。在另一方面，p網路100之訓練係藉由改變校正權重112而達成，而神經結權重108係在訓練期間為不變。此外，如上文所論述，神經元116的各者係包括一個總計或相加構件，而不包括其對於古典神經網路10為典型者的一個致動函數裝置22。

概括而言，p網路100係藉由訓練各個神經元單元119所訓練，各個神經元單元119係包括一個各別的神經元116與所有連接的神經結118，包括該特定神經元與其和該所屬的神經元連接的所有各別的神經結118與校正權重112。是以，p網路100之訓練係包括改變其貢獻到各別的神經元116之校正權重112。對於校正權重112之改變係基於其包括在下文詳細揭示的一種方法200之一個群組訓練演算法而進行。在所揭示的演算 法中，訓練誤差(即：偏差128)係對於各個神經元而確定，基於哪些校正值係確定且指定到其在確定由各個各別的神經元116所得到的總和而使用之權重112的各者。在訓練期間的該等校正值之引入係意欲將對於該所屬的神經元116的偏差128降低到零。在具有額外的影像之訓練期間，關於稍早利用的影像之新的誤差係可能再次發生。為了消除該等額外的誤差，在一個訓練時期之完成後，對於整個p網路100之所有訓練影像的誤差係可計算，且若該等誤差係大於預定值，一個或多個額外的訓練時期係可進行而直到該等誤差係成為小於一個目標或預定值。

圖23係描繪訓練其關於圖2-22之如上所述的p網路100之方法200。方法200係開始在方框202，其中，該種方法係包括：經由輸入102，接收其具有輸入值的輸入訊號104。接在方框202之後，該種方法係前進到方框204。在方框204，該種方法係包括：將輸入訊號104傳遞到其被運作連接到輸入102的分配器114。在方框202或方框204，該種方法係可包括：由該組索引來界定各個校正權重112。如關於p網路100的結構之上文所述，該組索引係可包括：輸入索引“i”，其被設定以識別對應於該輸入102的校正權重112。該組索引還可包括：區間索引“d”，其被設定以指定用於各別校正權重112的選擇區間；以及，神經元索引“n”，其被設定以指定對應於特定神經元116的校正權重112為“W_i,d,n”。該組索引係可另外包括：存取索引“a”，其被設定以結算該各別校正權重112在該p網路100的訓練期間而由輸入訊號104所存取的次數。是以，各個校正權重的目前狀態係可採用命名“W_i,d,n,a”。

在方框204之後，該種方法係繼續進行到方框206，其中， 該種方法係包括：經由分配器114，從其定位在連接到該所屬的輸入102的神經結118之上的和該輸入值為相關複數個校正權重來選擇一個或多個校正權重112。如上所述，各個校正權重112係由其各別的權重值所界定。在方框206，該種方法係可另外包括：經由分配器114，將複數個影響係數134指定到該複數個校正權重112。在方框206，該種方法還可包括：以一個預定比例而將各個影響係數134指定到該複數個校正權重112的一者以產生神經元總和120。此外，在方框206，該種方法係可包括：經由神經元116，將對於經連接到其的所有神經結118之校正權重112與指定的影響係數134之一個乘積合計。此外，在方框206，該種方法係可包括：經由權重校正計算器122，根據由各別的影響係數134所建立之比例而將該確定的差異之一部分施加到用以產生該神經元總和120的各個校正權重112。

如關於p網路100的結構之上文所述，複數個影響係數134係可由一個影響分佈函數136所界定。在該種情形中，該種方法係可另外包括：將該輸入值接收到值範圍138，其根據一個區間分佈函數140而被劃分為區間“d”，俾使該輸入值被接收在一個各別區間內，且各個校正權重112係對應於該等區間的一者。此外，該種方法係可包括：經由分配器114，使用該接收的輸入值以選擇該各別的區間“d”且將該複數個影響係數134指定到其對應於該選擇各別的區間“d”之校正權重112且到其對應於鄰近於該選擇各別的區間“d”的一個區間之至少一個校正權重。如關於p網路100的結構之上文所述，對應於鄰近於該選擇各別的區間“d”的一個區間之校正權重112係可識別為例如W_i,d+1,n或W_i,d-1,n。

接在方框206之後，該種方法係前進到方框208。在方框 208，該種方法係包括：將經由神經結118而和輸入102所連接之特定神經元116所選擇的校正權重112的該等權重值合計以產生該神經元總和120。如關於p網路100的結構之上文所述，各個神經元116係包括至少一個輸出117。在方框208之後，該種方法係繼續進行到方框210，其中，該種方法係包括：經由權重校正計算器122，接收其具有該訊號值的期望輸出訊號124。接在方框210之後，該種方法係前進到方框212，其中，該種方法係包括：經由權重校正計算器122，確定該神經元總和120與期望輸出訊號124的值之偏差128。

如在p網路100的說明之上文所揭示，該神經元總和120與該期望輸出訊號值的偏差128之確定係可包括：確定在其間的數學差異。此外，各別的校正權重112之修改係可包括：將該數學差異分攤到用以產生該神經元總和120的各個校正權重。替代而言，該數學差異之分攤係可包括：將該確定的差異平均劃分在用以產生該神經元總和120的各個校正權重112之間。在還有一個不同的實施例中，偏差128之確定係還可包括：將該期望輸出訊號124的值除以該神經元總和120，藉此產生該偏差係數。再者，在該種情形，該等各別的校正權重112之修改係可包括：將用以產生該神經元總和120的各個校正權重112乘以該產生的偏差係數。

在方框212之後，該種方法係繼續進行到方框214。在方框214，該種方法係包括：經由權重校正計算器122，使用該確定的偏差128來修改各別的校正權重值。經修改的校正權重值係可隨後被合計或總計且接著被使用以確定一個新的神經元總和120。該總計的修改校正權重值係可接著作用以使得神經元總和120與該期望輸出訊號124的值之偏差為最小 化，且因此訓練p網路100。接在方框214之後，方法200係可包括：返回到方框202以實行附加的訓練時期，直到神經元總和120與該期望輸出訊號124的值之偏差為充分最小。換言之，附加的訓練時期係可實行以使神經元總和120收斂在期望輸出訊號124之上而為在預定偏差或誤差值之內，俾使該p網路100係可視為經訓練且備妥以供新的影像之操作。

概括而言，該等輸入影像106必須作準備以供p網路100之訓練。用於訓練之p網路100的準備係概括開始為一組的訓練影像之形成，包括該等輸入影像106以及(在大多數情形中)對應於所屬的輸入影像之期望輸出影像126。用於p網路100之訓練而由輸入訊號I₁,I₂…I_m所界定之輸入影像106(在圖2所示)係根據該p網路被指定以處置的任務所選擇，例如：人類影像或其他物體的辨識、某些活動的辨識、叢集或資料分類、統計資料的分析、型樣辨識、預測、或控制某些處理。是以，輸入影像106係可用其適用於引入到電腦之任何格式來呈現，例如：使用格式jpeg、gif、pptx，用表格、圖表、曲線圖與圖形、種種文件格式、或一組符號之形式。

用於p網路100之訓練的準備係還可包括：該等選擇的輸入影像106針對於其統一之轉換，其為便於該所屬影像由p網路100之處理，舉例來說，將所有影像轉變為其具有相同數目個訊號、或在圖像之情形中為相同數目個像素之一種格式。彩色影像係可例如呈現為三原色的組合。影像轉換係還可包括特徵之修改，例如：將一個影像在空間移位、改變該影像的視覺特徵(諸如：解析度、亮度、對比、色彩、視角、透視、焦距與焦點)、以及增加符號、標號、或註記。

在該區間數目的選擇之後，一個特定輸入影像可被轉換為以 區間格式的一個輸入影像，即：實際訊號值係可被記錄為該所屬的各別的訊號所屬於之區間的數目。此程序係可實施在用於既定的影像之各個訓練時期。然而，該影像係亦可一次形成為一組的區間數目。舉例來說，在圖7，初始影像係呈現為一個圖像，而在表格“用數位格式的影像”之中，相同的影像係用數位碼的形式來呈現，且在表格“用區間格式的影像”之中，該影像係呈現為一組的區間數目，一個單獨的區間係指定用於各10個值的數位碼。

該p網路100的上述結構以及如所描述的訓練演算法或方法200係允許該p網路之持續或反覆的訓練，因此在訓練過程的開始係不需要形成一個完整組之訓練輸入影像106。可能形成一個相當小的起始組之訓練影像，且該起始組係可隨著必要而擴展。輸入影像106係可劃分為獨特的類別，例如：一組某人的圖像、一組貓的照片、或一組汽車的照片，俾使各個類別係對應於單一個輸出影像、該人的名稱或一個特定的標籤。期望輸出影像126係代表數位(其中各個點係對應於從-∞到+∞的一個特定數值)或類比值的一個欄位或表格。期望輸出影像126的各個點係可對應於p網路100之該等神經元的一者的輸出。期望輸出影像126係可用影像、表格、文字、公式、符號集(諸如：條碼)、或聲音之數位或類比的碼來編碼。

在最簡單的情形中，各個輸入影像106係可對應於一個輸出影像，其編碼該所屬的輸入影像。該輸出影像之點的一者係可被指定一個最大可能值，例如：100%，而所有的其他點係可被指定一個最小可能值，例如：零。在該種情形，接在訓練之後，以其與訓練影像的類似性之一個百分比的形式之種種影像的機率辨識係將為致能。圖8係顯示其訓練用於 二個影像(一個方形與一個圓形)之辨識的p網路100可如何辨識一個圖像之一個實例，該圖像係含有一些特徵，其各個圖形係以百分比來表示且總和不須等於100%。藉由界定在用於訓練的不同影像之間的類似性的百分比之該種型樣辨識過程係可使用以分類特定的影像。

為了改善準確度且排除誤差，編碼係可使用一組數個神經元輸出而非為一個輸出所達成(參閱下文)。在最簡單的情形中，輸出影像係可在訓練之前而準備。然而，亦可能具有由該p網路100在訓練期間所形成的輸出影像。

在p網路100之中，亦有將輸入與輸出影像倒置的可能性。換言之，輸入影像106係可為數位或類比的值的一個欄位或表格之形式，其中各個點係對應於p網路的一個輸入，而輸出影像係可用其適用於引入到電腦之任何格式來呈現，例如：使用格式jpeg、gif、pptx，用表格、圖表、曲線圖與圖形、種種文件格式、或一組符號之形式。造成的p網路100係可相當適用於歸檔系統、以及影像、音樂術語、方程式、或資料組之關聯的搜尋。

接在輸入影像106的準備之後，典型而言，p網路100必須被形成且/或一個現存的p網路之參數必須被設定以供處置既定的任務。該p網路100之形成係可包括以下的指定：˙p網路100的規模，如由輸入與輸出的數目所界定；˙對於所有輸入的神經結權重108；˙校正權重112的數目；˙對於輸入訊號104的不同值之校正權重影響係數(C_i,d,n)的分佈；及 ˙訓練之期望的準確度。輸入的數目係基於輸入影像106的尺寸而確定。舉例來說，若干個像素係可使用於圖像，而輸出之選擇的數目係可取決於期望輸出影像126的尺寸。在一些情形中，輸出之選擇的數目係可取決於訓練影像之分類的數目。

個別的神經結權重108之值係可在-∞到+∞之範圍中。小於0(零)之神經結權重108的值係可意指訊號放大，其可被用以加強來自特定輸入或來自特定影像的訊號之影響，例如：用於在其含有大量不同個體或物體之相片中的人臉之更有效辨識。另一方面，大於0(零)之神經結權重108的值係可使用以意指訊號衰減，其可被用以降低所需計算的數目且提高該p網路100的操作速度。概括而言，神經結權重的值愈大，則傳送到對應的神經元之訊號係衰減愈多。若其對應於所有輸入的所有神經結權重108係相等且所有神經元係和所有輸入為同樣連接，該種神經網路係將成為通用且將對於一般任務為最有效，諸如：當有關於影像的性質係事先極少知道。然而，該種結構係將通常提高在訓練與操作期間之所需計算的數目。

圖9係顯示p網路100的一個實施例，其中，在一個輸入與各別的神經元之間的關係是根據統計常態分佈而降低。神經結權重108之不平均的分佈係可造成整個輸入訊號被傳遞到對於既定輸入之一個目標或“中央”神經元，因此將零的一個值指定到該所屬的神經結權重。此外，神經結權重之不平均的分佈係可造成其他神經元接收降低的輸入訊號值，例如：使用常態、對數-常態、正弦波、或其他的分佈。對於其接收降低的輸入訊號值的神經元116之神經結權重108的值係可隨著其相距該“中央”神經元的距離之增大而增大。在該種情形中，計算之數目係可降低且該p 網路之操作係可加速。已知的完全連接與非完全連接的神經網路之一個組合的該等網路係可對於具有強的內部型樣之影像分析為非常有效，例如：人臉或電影影片的連續畫面。

圖9係顯示p網路100的一個實施例，其係對於局部型樣的辨識為有效。為了改善一般型樣之識別，其中神經結權重108的值為小或零之10-20%的強連接係可用一種確定性(諸如：以柵的形式)或隨機的方式而分佈在整個p網路100之中。意欲用於處置一個特定任務之該p網路100的實際形成係使用例如用一種物件導向程式設計語言所撰寫的一個程式而實行，其產生該p網路的主要元件，諸如：神經結、神經結權重、分配器、校正權重、神經元、等等，如同軟體物件。該種程式係可指定在經指出的物件與明確說明其動作的演算法之間的關係。尤其，神經結與校正權重係可在p網路100之形成的開始而形成，連同設定其初始值。p網路100係可在其訓練之開始前而完全形成，且如為必要時而在一個稍後的畫面被修改或附加，舉例而言，當該網路的資訊容量係成為耗盡或如果發生一個致命的失誤。p網路100之完成係亦可能在訓練繼續時。

若p網路100係預先形成，在一個特定神經結上之選擇校正權重的數目係可等於在輸入訊號之範圍內的區間的數目。此外，校正權重係可在p網路100之形成後而產生，作為響應於個別的區間之出現的訊號。類似於古典的神經網路10，該p網路100的參數與設定之選擇係提供有一系列的目標實驗。該等實驗可包括：(1)具有在所有輸入的相同神經結權重108之p網路的形成，及(2)對於選擇影像的輸入訊號值之評估與區間數目的初始選擇。舉例來說，對於二元(單色)影像之辨識而言，具有僅有2個區間 係可能為充分；對於8位元影像之定性的辨識而言，高達256個區間係可被使用；複雜的統計相依性之近似估算係可能需要許多或甚至數百個區間；對於大的資料庫而言，區間的數目係可為數千個。

在訓練p網路100的過程中，輸入訊號的值係可捨入化整，由於其為分佈在特定的區間之間。因此，大於該範圍寬度除以區間數目之輸入訊號的準確度係可能不需要。舉例來說，若輸入值範圍係設定用於100單位且區間數目為10，較±5為佳的準確度係將不需要。該等實驗還可包括：(3)在輸入訊號值的整個範圍之區間的均勻分佈之選擇，且對於校正權重影響係數C_i,d,n之最簡單的分佈係可對於其對應於用於特定輸入訊號的區間之校正權重而設定等於1，而對於所有其餘的校正權重之校正權重影響係可設定為0(零)。該等實驗可另外包括：(4)用具有預定的準確度之一個、多個、或所有準備的訓練影像來訓練p網路100。

對於預定準確度之p網路100的訓練時間係可藉由實驗來建立。若p網路100的準確度與訓練時間係令人滿意，選擇的設定係可維持或改變，而對於一個更為有效的變型之搜尋係持續。若所需要的準確度係未達成，為了最佳化之目的，特定修改的影響係可作評估，其可逐個或成群而被實行。該種修改之評估係可包括：改變(提高或降低)區間的數目；改變校正權重影響係數(C_i,d,n)之分佈的型式，測試其具有區間的不均勻分佈之變型，諸如：使用常態、冪次、對數、或對數-常態分佈；以及，改變神經結權重108的值，例如：其轉變到不均勻分佈。

若針對於一個準確結果所需要的訓練時間被視為過量，具有增大的數目個區間之訓練係可評估對於其在訓練時間上的效應。若結果為 訓練時間被降低，在區間數目之提高係可重複，直到期望的訓練時間係在沒有損及需要的準確度之情況下而得到。若訓練時間係隨著提高區間數目來增加而非為減少，附加的訓練係可用減小的數目個區間來實行。若降低的數目個區間係造成減少的訓練時間，區間數目係可進而降低，直到期望的訓練時間係得到。

該p網路100的設定之形成係可經由具有預定的訓練時間之訓練以及訓練準確度的實驗確定。參數係可經由類似於上述者的實驗改變而改善。關於種種p網路之實際的實行係已經顯示的是，設定選擇之程序係通常為直接而不耗時。

作為在圖23所顯示的方法200之部分者，p網路100的實際訓練係開始為將輸入影像訊號I₁,I₂…I_n饋送到網路輸入裝置102，從該處，該等訊號被傳送到神經結118，通過神經結權重108且進入該分配器(或一群的分配器)114。基於輸入訊號值，分配器114係設定該既定的輸入訊號104對應於之區間“d”的數目，且指定對於其和各別的輸入102為連接之所有神經結118的權重校正方塊110的所有校正權重112之校正權重影響係數C_i,d,n。舉例來說，若區間“d”可對於第一輸入而設定為3，對於所有權重W_1,3,n，C_1,3,n=1係設定為1，而對於i≠1且d≠3之所有其他權重，C_i,d,n係可設定為0(零)。

對於各個神經元116，在以下的關係式中被識別為“n”，神經元輸出總和Σ1,Σ2…Σn係藉由將對於貢獻到特定神經元的所有神經結118的各個校正權重112(在以下關係式中被識別為W_i,d,n)乘以一個對應的校正權重影響係數C_i,d,n且藉由相加所有得到的值而形成： Σ _n =Σ _i,d,n W _i,d,n ×C _i,d,n [2]W_i,d,n×C_i,d,n之相乘係可由種種的裝置所實行，例如：藉由分配器114、具有儲存的權重之裝置或直接藉由神經元116。該等總和係經由神經元輸出117而轉移到權重校正計算器122。描述該期望輸出影像126的期望輸出訊號O₁,O₂…O_n亦被饋送到計算器122。

如上所論述，權重校正計算器122係藉由神經元輸出總和Σ1,Σ2…Σn和期望輸出訊號O₁,O₂…O_n之比較而用於計算對於校正權重的修改值之一個計算裝置。圖11係顯示其貢獻到該神經元輸出總和Σ1之一組校正權重W_i,d,1，其乘以對應的校正權重影響係數C _i,d,1，且此等乘積係隨後由該神經元輸出總和Σ1所相加：Σ1=W_1,0,1×C _1,0,1.+W_1,1,1×C _1,1,1.+W_1,2,1×C _1,2,1.+…[3]隨著訓練開始，即：在第一時期期間，校正權重W_i,d,1係不對應於用於訓練的輸入影像106，因此，神經元輸出總和Σ1係不等於對應的期望輸出影像126。基於初始的校正權重W_i,d,1，該種權重校正系統係計算該校正值Δ₁，其被使用以改變貢獻於神經元輸出總和Σ1之所有的校正權重(W_i,d,1)。p網路100係允許對於貢獻於一個特定的神經元116之所有校正權重W_i,d,n的集體校正訊號之其形成及利用的種種選項或變型。

以下係對於該等集體校正訊號之形成及利用的二個示範而非限制的變型。變型1－基於期望輸出訊號與得到的輸出總和之間的差異，校正訊號之形成及利用係如後：

˙對於貢獻到神經元“n”之所有校正權重的相等校正值Δ_n之計算係根據下式： Δ _n =(O _n -Σ _n )/S [4]，其中：O_n-對應於神經元輸出總和Σn之期望輸出訊號；S-經連接到神經元“n”之神經結的數目。

˙貢獻到神經元“n”之所有校正權重W_i,d,n的修改係根據下式：W _i,d,n 修改=W _i,d,n +Δ _n /C _i,d,n [5],變型2－基於期望輸出訊號對得到的輸出總和之比值，校正訊號之形成及利用係如後：

˙對於貢獻到神經元“n”之所有校正權重的相等校正值Δ_n之計算係根據下式：Δ _n =On/Σ _n [6],

˙貢獻到神經元“n”之所有校正權重W_i,d,n的修改係根據下式：W _i,d,n, 修改=W _i,d,n, ×Δ _n [7],按照任何可利用的變型之校正權重W_i,d,n的修改係意欲要藉由將其輸出總和Σ _n 收斂在期望輸出訊號的值而降低對於各個神經元116的訓練誤差。以此方式，對於一個既定影像的訓練誤差係可被降低而直到其成為等於或接近於零。

在訓練期間之校正權重W_i,d,n的修改之一個實例係顯示於圖11。校正權重W_i,d,n的值係在訓練開始之前而設定，以具有權重值被設定為從該校正權重範圍的0±10%之隨機權重分佈的形式，且在訓練之後而達到最終的分佈。集體訊號之所述的計算係針對於在p網路100之中的所有神經元116而進行。對於一個訓練影像之所述的訓練程序係可針對於其他訓練 影像而重複。該種程序係可能導致對於一些先前訓練影像的訓練誤差之出現，由於一些校正權重W_i,d,n係可能參與在數個影像。是以，用另一個影像之訓練係可能部分擾亂其針對於先前影像所形成的校正權重W_i,d,n之分佈。然而，歸因於各個神經結118係包括一組的校正權重W_i,d,n之事實，用可能提高訓練誤差的新影像之訓練係不刪除該p網路100先前針對於其所訓練的該等影像。甚者，愈多個神經結118貢獻於各個神經元116且在各個神經結的校正權重W_i,d,n之數目為愈多，對於一個特定影像的訓練係影響對於其他影像的訓練為愈少。

各個訓練時期係通常隨著對於所有訓練影像的總訓練誤差及/或局部訓練誤差之實質收斂而結束。誤差係可使用已知的統計方法來評估，諸如例如：均方誤差(MSE,Mean Squared Error)、平均絕對誤差(MAE,Mean Absolute Error)、或標準誤差平均(SAE,Standard Error Mean)。若總誤差或一些局部誤差係太高，附加的訓練時期係可進行而直到誤差係降低到小於一個預定誤差值。藉著界定在用於訓練的不同影像(在圖8所示)之間的類似性的百分比之稍早所述的影像辨識過程係本身為沿著先前所界定的類別之影像的分類過程。

對於叢集(clustering)，即：將影像劃分為其先前並未指定的自然分類或群組，方法200之基本訓練演算法係可用自組織映像(SOM,Self-Organizing Maps)方式來修改。對應於一個既定輸入影像的期望輸出影像126係可直接在訓練p網路100之過程中而形成，基於具有輸出神經元總和120的最大值之一組的獲勝神經元。圖22係顯示該種方法200的基本演算法之使用可如何產生一個主要組的輸出神經元總和，其中，該組係進而被 收斂以俾使數個較大的總和係保留其值、或增大，而所有其他總和係視為等於零。此轉變組的輸出神經元總和係可被接受為期望輸出影像126。

如上所述而形成，該組的期望輸出影像126係包括叢集或群組。如此，該組的期望輸出影像126係允許線性不可分離的影像之叢集，此為與古典的網路10有所不同。圖13係顯示所述的方式可如何有助於叢集一個複合的假設影像“貓-汽車”，其中，該影像之不同特徵係指定到不同叢集-貓與汽車。如所描述而建立之一組的期望輸出影像126係可使用，例如：用於建立不同的分類、統計分析、影像選擇，基於由於叢集所形成的準則。此外，由該p網路100所產生的期望輸出影像126係可使用作為其亦可順著對於所屬的p網路100所述的方式而形成之另一個或附加的p網路之輸入影像。因此所形成，期望輸出影像126係可用於一種多層p網路的一個後續層。

古典的神經網路10之訓練係概括為經由一種受監督的訓練方法所提供，該種方法係基於初步準備成對之一個輸入影像與一個期望的輸出影像。該種概括方法係亦使用於p網路100之訓練，然而，p網路100之提高的訓練速度係亦考慮到藉著一個外部訓練者之訓練。外部訓練者之任務係可例如由個人或由一個電腦程式來實行。作用為一個外部訓練者，該個人係可涉及在實行一個實體任務或操作在一個遊戲環境中。p網路100係接收其形式為關於一個特定情況與對於其變化的資料之輸入訊號。反映該訓練者動作的訊號係可被引入作為期望輸出影像126且允許p網路100為根據基本演算法而被訓練。以此方式，種種處理之模型化係可由p網路100所即時產生。

舉例來說，p網路100係可被訓練以藉由接收其有關於路況與駕駛者的動作之資訊而驅動一台運載工具。透過模型化大量種種的關鍵情況，該同個p網路100係可由多個不同的駕駛者所訓練且累積相較於通常可能由單一個駕駛者所為之更多的駕駛技能。p網路100係能夠在0.1秒內或更快速評估一個特定路況且積累實質的“駕駛經驗”，其可加強在種種情況的交通安全。p網路100還可被訓練以和一個電腦(例如：和下棋機器)合作。易於從訓練模式轉移到辨識模式(且反之亦然)之該p網路100的能力係考慮到一種“從錯誤中學習”模式之實現，當p網路100係由一個外部的訓練者來訓練。在該種情形，部分訓練的p網路100係可產生其本身的動作，例如：用以控制一個技術過程。訓練者係可控制p網路100的動作且當必要時而修正彼等動作。因此，p網路100之附加的訓練係可提供。

該p網路100的資訊容量係極大，但是並非不受限制。由於該p網路100的設定尺度(諸如：輸入、輸出、與區間的數目)，且由於用來訓練該p網路的影像數目之增大，在某數目個影像之後，訓練誤差的數目與大小亦可能增大。當該種在誤差產生之增大被偵測時，誤差的數目及/或大小係可藉由提高p網路100的尺寸而降低，由於p網路係允許在訓練時期之間而提高神經元116的數目及/或跨於p網路或在其構件中之訊號區間“d”的數目。p網路100的擴展係可藉由增加新的神經元116、增加新的輸入102與神經結118、改變校正權重影響係數C_i,d,n之分佈、以及劃分現存的區間“d”而提供。

在大多數的情形中，p網路100將被訓練以確保其能夠辨識影像、型樣、以及對於該影像或對於一組影像所固有的相關性。在最簡單 的情形中，辨識過程係重複根據其揭示為方法200的部分者之基本演算法的訓練過程之最初的步驟。尤其是：˙直接辨識係以影像之格式化而開始，根據其為使用來格式化影像以供訓練之相同規則；˙該影像被傳送到受訓練的p網路100之輸入，分配器係指定對應於其在訓練期間所設定的輸入訊號值之校正權重W_i,d,n，且該等神經元係產生各別的神經元總和，如在圖8所示；˙若代表輸出影像126之造成的輸出總和係完全依從該p網路100被訓練所用的影像之一者，則有該物件之確實的辨識；且˙若輸出影像126係部分依從該p網路100被訓練所用的數個影像，結果係顯示如同一個百分比之關於不同影像的匹配比率。圖13係展示的是，在其為基於一隻貓與一台車輛的影像之組合所作成的複合影像之辨識期間，輸出影像126係代表既定的影像組合且指出其貢獻到該組合之各個初始影像的百分比。

舉例來說，若一個特定人士的數個圖像被用於訓練，辨識的影像係可能90%對應於第一個圖像，60%對應於第二個圖像，且35%對應於第三個圖像。可能的是，辨識的影像係具有某個機率而對應於其他人士或甚至是動物的圖像，此係意指在該等圖像之間有一些相似性。然而，該種相似性的機率係很可能為較低。基於該等機率，辨識的可靠度係可確定，例如：基於貝氏定理(Bayes' theorem)。

藉著p網路100，亦可能實施多階段的辨識，其結合演算法與神經網路辨識方法的優點。該種多階段的辨識係可包括： ˙藉由一個預先訓練網路之一個影像的初始辨識，經由使用並非全部而是僅為1%-10%的輸入，其在此被稱為“基本輸入”。該部分的輸入係可均勻、隨機、或由任何其他分佈函數而分佈在p網路100之內。舉例來說，在其包括複數個其他物件之照片中的一個人士之辨識；及˙選擇最提供有用資訊的物件或物件部分以供更進一步的詳細辨識。該種辨識係可根據其預先設定在記憶體中之特定物件的結構而提供，如同在演算方法之中，或根據影像的色彩、亮度、及/或深度之一個梯度。舉例來說，在肖像之辨識中，以下辨識區係可作選擇：眼睛、嘴角、鼻子形狀、以及某些特定特徵，諸如：刺青，車牌號碼、或門牌號碼係亦可使用類似方式而選擇及辨識；及˙若必要時，選擇的影像之詳細辨識係亦為可能。

該p網路100的一個電腦模擬之形成及其訓練係可藉由使用任何程式設計語言而基於以上說明來提供。舉例來說，一種物件導向程式設計係可使用，其中，神經結權重108、校正權重112、分配器114、與神經元116係代表程式設計物件或物件類別，關係是經由連結或訊息而建立在物件類別之間，且互動的演算法係設定在物件之間以及在物件類別之間。

該p網路100的軟體模擬之形成及訓練係可包括下列者：

1.用於p網路100之形成及訓練的準備，尤其是：˙根據一個既定任務，成組的訓練輸入影像之轉換成為數位形式；˙造成的數位影像之分析，包括其要被使用於訓練的輸入訊號的參數之選擇，例如：頻率、大小、相位、或座標；及 ˙設定用於訓練訊號的一個範圍、在該所屬範圍之內的若干個區間、以及校正權重影響係數C_i,d,n的分佈。

2.該p網路的軟體模擬之形成，包括：

˙對於該p網路100的一組輸入之形成。舉例來說，輸入的數目係可等於在訓練輸入影像中的訊號的數目；

˙一組神經元之形成，其中各個神經元係代表一個相加裝置；

˙一組其具有神經結權重的神經結之形成，其中各個神經結係連接到一個p網路輸入與一個神經元；

˙在各個神經結中的權重校正方塊之形成，其中該等權重校正方塊係包括分配器與校正權重，且其中各個校正權重係具有以下特徵：○校正權重輸入索引(i)；○校正權重神經元索引(n)；○校正權重區間索引(d)；及○校正權重初始值(W_i,d,n)。

˙指定在區間與校正權重之間的一個相關性。

3.用一個輸入影像來訓練各個神經元，包括：

˙指定校正權重影響係數C_i,d,n，包括：○確定其對應於由各個輸入所接收的訓練輸入影像的輸入訊號之一個區間；及○指定對於所有神經結的所有校正權重之校正權重影響係數C_i,d,n的大小。

˙藉由將其貢獻於該神經元之所有神經結權重的校正權重值W _i,d,n 乘以 對應的校正權重影響係數C_i,d,n而後相加，計算對於各個神經元“n”的神經元輸出總和(Σ_n)：Σ _n =Σ _i,d,n W _i,d,n ×C _i,d,n

˙經由該神經元輸出總和Σ_n從對應的期望輸出訊號O_n之相減而計算該偏差或訓練誤差(T_n)：T _n =O _n -Σ _n

˙經由將訓練誤差除以其連接到神經元“n”之神經結的數目“S”而計算對於其貢獻於神經元“n”之所有校正權重的相等校正值(Δ_n)：Δ _n =T _n /S

˙藉由將該校正值Δ_n除以對應的校正權重影響係數C_i,d,n而後相加到各個校正權重，修改其貢獻於各別的神經元之所有校正權重W_i,d,n：W _i,d,n 修改=W _i,n,d +Δ _n /C _i,d,n 。

對於其貢獻於神經元“n”之所有校正權重而計算該相等校正值(Δ_n)及修改該等校正權重W_i,d,n之另一種方法係可包括下列者：

˙將該期望輸出影像的訊號O_n除以一個神經元輸出總和Σ_n：Δ _n =O _n /Σ_n

˙藉由將該等校正權重乘以該校正值Δ_n，修改其貢獻於該神經元之校正權重W_i,d,n：W _i,d,n 修改=W _i,d,n ×Δ _n

4.使用所有的訓練影像來訓練該p網路100，包括：˙對於其被包括在一個訓練時期中之所有選擇的訓練影像而重複上述的過程；及 ˙確定該特定訓練時期的一個或多個誤差，將彼等誤差和一個預定可接受的誤差位準相比較，且重複訓練時期而直到該等訓練誤差係成為小於該預定可接受的誤差位準。

使用物件導向程式設計之p網路100的軟體模擬之一個實際的實例係描述在下文且顯示在圖14-21。

一個“神經元單元(NeuronUnit)”物件類別之形成係可包括形成：˙“神經結”類別之成組的物件；˙神經元116提出一個變數，其中，相加係實行在訓練期間；及˙計算器122提出一個變數，其中，期望神經元總和120的值被儲存且校正值Δ_n之計算係實行在訓練過程期間。

類別“神經元單元”係提供p網路100的訓練且可包括：˙神經元總和120之形成；˙設定期望總和；˙校正值Δ_n之計算；及˙將計算的校正值Δ_n相加到校正權重W_i,n,d。

物件類別“神經結(Synapse)”之形成係可包括：˙成組的校正權重W_i,n,d；及˙指出其連接到神經結118的輸入之指標。

類別“神經結”係可實行以下功能：˙校正權重W_i,n,d之初始化；˙將權重W_i,n,d乘以係數C_i,d,n；及˙權重W_i,n,d之校正。

物件類別“輸入訊號(InputSignal)”之形成係可包括：˙關於其連接到一個既定輸入102的神經結118之成組的索引；˙其包括輸入訊號104的值之變數；˙可能的最小與最大輸入訊號之值；˙區間的數目“d”；及˙區間長度。

類別“輸入訊號”係可提供以下功能：˙該p網路100的結構之形成，其包括：○在一個輸入102與神經結118之間的連結之增加與移除；及○設定對於一個特定輸入102的神經結118之區間的數目“d”。

˙設定最小與最大的輸入訊號104之參數；˙貢獻到該p網路100的操作：○設定一個輸入訊號104；及○設定校正權重影響係數C_i,d,n。

物件類別“p網路(PNet)”之形成係包括一組的物件類別：˙神經元單元；及˙輸入訊號。

類別“p網路”係提供以下功能：˙設定“輸入訊號”類別之物件的數目；˙設定“神經元單元”類別之物件的數目；及˙物件“神經元單元”與“輸入訊號”的功能之群組請求。

在訓練過程期間，該等循環係可形成，其中： ˙等於零的神經元輸出總和係在該循環開始之前而形成；˙貢獻於既定“神經元單元”的所有神經結被檢視。對於各個神經結118：○基於輸入訊號104，分配器係形成一組的校正權重影響係數C_i,d,n；○該神經結118的所有權重W_i,n,d被檢視，且對於各個權重：■權重W_i,n,d的值係乘以對應的校正權重影響係數C_i,d,n；■該相乘結果係相加到該形成神經元輸出總和；˙校正值Δ_n係計算；˙校正值Δ_n係除以校正權重影響係數C_i,d,n，即，Δ_n/C_i,d,n；及˙貢獻於既定“神經元單元”的所有神經結118被檢視。對於各個神經結118，該所屬的神經結的所有權重W_i,n,d被檢視，且對於各個權重，其值被修改到對應的校正值Δ_n。

該p網路100之附加的訓練之前述可能性係允許訓練與影像的辨識之結合，致使該訓練過程能被加速且其準確度被改善。當透過一組依序改變的影像來訓練p網路100，諸如：透過其彼此為稍微不同之影片的連續畫面來訓練，附加的訓練係可包括：˙用第一影像來訓練；˙下個影像之辨識以及在新影像與該網路被初始訓練所用的影像之間的類似性的百分比。若辨識誤差係小於其預定值，附加的訓練係不需要；及˙若辨識誤差係超過預定值，附加的訓練係提供。

藉由上述的基本訓練演算法之p網路100的訓練係有效用於 解決影像辨識的問題，但未排除其歸因於重疊影像的資料之損失或訛誤。因此，p網路100之使用於記憶體目的係雖然為可能，但可能非完全可靠。本實施例係描述p網路100之訓練，其提供對於資訊之損失或訛誤的防護。另一個限制係可被引入到基本網路訓練演算法，其要求每個校正權重W_i,n,d係可被訓練僅為一次。在第一訓練週期之後，權重W_i,n,d的值係維持固定或定值。此係可藉由輸入對於各個校正權重的另一個存取索引“a”而達成，存取索引“a”係代表在訓練過程期間而對該所屬的校正權重W_i,n,d的存取數目之上述的索引。

如上所述，各個校正權重係可採用W_i,n,d,a之命名，其中，“a”係在訓練過程期間而對該所屬的權重的存取數目。在最簡單的情形中，對於未修改(即：未固定)的權重，a=0，而對於其已經由描述的基本演算法所修改或固定的權重，a=1。甚者，當應用基本演算法，具有固定值a=1之校正權重W_i,n,d,a係可被排除在校正為作成於其的權重之外。在該種情形，式[5]、[61、與[7]係可轉變如下：

上述的限制係可部分應用到先前訓練的校正權重W_i,n,d,a之校正，但是僅為應用到其形成最重要的影像之該等權重。舉例來說，在單一個人士的一組肖像之訓練內，一個特定影像係可被宣告為主要者且指定優先等級。在該優先等級的影像之訓練後，在訓練過程之中為變化的所有校正權重W_i,n,d,a係可被固定，即：其中該索引a=1，因此將該權重指定為W_i,n,d,1，且同個人士的其他影像係可維持可改變。該優先等級係可包括其他影像，例如：經使用作為加密金鑰且/或含有關鍵的數值資料之彼等者。

對於校正權重W_i,n,d,a之變化係亦可能未完全禁止，但是受限於索引“a”之增大。即，權重W_i,n,d,a之各個後續使用係可用以降低其變化的 能力。一個特定的校正權重W_i,n,d,a愈經常被使用，隨著各個存取之權重變化係愈小，且因此在後續的影像之訓練期間，儲存的影像係變化較小且遭受降低的訛誤。舉例來說，若a=0，在權重W_i,n,d,a之任何的變化係可能；當a=1，對於該權重之變化的機率係可減小到該權重值的±50%；隨著a=2，變化的機率係可降低到該權重值的±25%。

在達到預定數目個存取之後，如由索引“a”所表示，舉例來說，當a=5，權重W_i,n,d,a之進一步的改變係可能被禁止。該種方式係可提供在單一個p網路100之內的高智能與資訊安全之結合。使用網路誤差計算機構，可允許的誤差之階層係可設定，俾使具有在一個預定準確度範圍內的損失之資訊係可儲存，其中該準確度範圍係根據一個特定任務而指定。換言之，針對於視覺影像來操作的p網路100，誤差係可設定在無法由肉眼所捕捉的階層，其將提供在儲存容量之顯著“因數”的增大。上述者係可致能視覺資訊之高度有效儲存的建立，例如：電影。

選擇性清除電腦記憶體之能力係可對於p網路100之持續的高階運作而言為有用。該種記憶體之選擇性清除係可藉由移除某些影像而未喪失或損壞其餘的儲存資訊來作成。該種清除係可提供如後：˙參與在影像形成的所有校正權重W_i,n,d,a之識別，例如：藉由將影像引入到該網路或藉由編譯用於各個影像之該系列的使用校正權重；˙對於各別的校正權重W_i,n,d,a的索引“a”之降低；及˙當索引“a”係降低到零，用零或用其接近對於該所屬的權重之可能值的範圍的中間之一個隨機值來取代校正權重W_i,n,d,a。

索引“a”之一個適當等級與系列的縮減係可根據實驗選擇 以識別其隱藏在序列的影像之中的強的型樣。舉例來說，對於在訓練期間所引入到p網路100之每100個影像，可有索引“a”之減小計數1，直到“a”達到零值。在該種情形，“a”的值係可對應於新影像之引入而增大。在“a”的增大與減小之間的競爭係可導致一個情況，其中隨機變化係逐漸從記憶體所移除，而其已經多次使用且確認的校正權重W_i,n,d,a係可儲存。當p網路100係透過具有例如相同對象或類似環境之類似屬性的大量影像而訓練，經常使用的校正權重W_i,n,d,a係不斷確認其值且在此等區域中的資訊係成為非常穩定。再者，隨機的雜訊係將逐漸消失。換言之，具有在索引“a”的逐漸減小之p網路100係可作用為一種有效的雜訊濾波器。

在沒有資訊喪失的情況下之p網路100的訓練之已述實施例係允許建立其具有高容量與可靠度的一種p網路記憶體。該種記憶體係可使用作為大容量的一種高速電腦記憶體，其提供比“快取記憶體”為更高的速度，但是將不會如同典型關於“快取記憶體”系統所為者而提高電腦成本與複雜度。根據已公開的資料，概括而言，當用神經網路來錄製電影時，記憶體係可在沒有錄製品質之重大損失的情況下而壓縮數十或數百倍。換言之，一種神經網路係能夠操作為一種極有效的存檔程式。將神經網路的此能力和該p網路100的高速訓練能力結合係可允許建立高速的資料傳輸系統、具有高儲存容量的記憶體、以及高速的解密程式多媒體檔案，即：代碼變換器(codex)。

歸因於事實在於，在p網路100之中，資料係儲存為一組的校正權重W_i,n,d,a，其為一個型式之碼記錄，經由現存的方法且在未使用一個同等網路與金鑰的情況下之解碼或未授權存取到p網路係不太可能。因此， p網路100係可提供相當大程度的資料保護。此外，不同於習用的電腦記憶體，對於p網路100的個別儲存元件之損壞係呈現微不足道的有害效應，由於其他元件係大為補償喪失的功能。在影像辨識過程中，經使用的影像之固有型樣係實際為並未由於對於一個或多個元件之損壞而失真。上述者係可顯著改善電腦的可靠度且允許使用某些記憶體區塊，其在正常情況下將被視為有缺陷。此外，此型式的記憶體係歸因於缺少對於在p網路100之中的關鍵位元組的永久位址而較不容易受到駭客攻擊，使得其不受到由種種電腦病毒對於該種系統之攻擊的影響。

藉著在用於訓練的不同影像間的類似性百分比之確定的前述影像辨識過程係亦可運用作為根據先前界定類別之一種影像分類過程，如上所述。對於叢集，其係影像之劃分為非預先界定的自然分類或群組，基本的訓練過程係可修改。本實施例係可包括：

˙用於訓練的一組輸入影像之準備，而不包括經準備的輸出影像；

˙形成與訓練該網路，藉著神經元輸出總和之形成，如同其根據基本演算法所作成；

˙在具有最大輸出總和之輸出的造成輸出影像之選擇，即：獲勝者輸出、或一群的獲勝者輸出，其可為類似於Kohonen網路而組織；

˙一個期望輸出影像之建立，其中，該獲勝者輸出或該群的獲勝者輸出係接收最大值。同時：○選擇的獲勝者輸出之數目係可預定，例如：在1到10之範圍中，或獲勝者輸出係可根據規則“不小於最大神經元總和之N%”而選擇，其中，“N”係可例如在90-100%之內；及 ○所有其他輸出係可設定為等於零。

˙根據基本演算法之訓練，藉著使用建立的期望輸出影像，圖13；及

˙針對其具有對於不同獲勝者或獲勝者群的各個影像之形成的其他影像，重複所有程序。

以上述方式所形成之該組的期望輸出影像係可使用以描述該複數個輸入影像可自然分開成為其的叢組或群組。該組的期望輸出影像係可使用以產生不同的分類，諸如：用於根據建立的準則且在統計分析中之影像的選擇。上述者係亦可使用於輸入與輸出影像之前述的倒轉。換言之，期望輸出影像係可使用作為用於另一個(即：附加)網路的輸入影像，且該附加網路的輸出係可為其適用於電腦輸入的任何形式所呈現之影像。

在p網路100之中，在藉著上述演算法之訓練的單一個循環之後，期望輸出影像係可產生為有小的輸出總和變化，此可能使訓練過程減慢且還可能降低其準確度。為了改善p網路100之訓練，點的初始變化係可被人工提高或延伸，使得該等點的大小變化係將涵蓋可能輸出值的整個範圍，例如：-50到+50，如在圖21所示。點的初始變化之該種延伸係可能為線性或非線性。

一個情況係可能發展，其中某個輸出的最大值係一個離群值或錯誤，例如：雜訊的一種表現形式。該情況係可由其為許多個小訊號所環繞的一個最大值之現象來顯現。當獲勝者輸出係選擇，小訊號值係可忽略，透過其為其他大訊號所環繞的最大訊號之選擇作為獲勝者。針對此目的，變異縮減之已知的統計技術係可使用，諸如：重要性取樣。該種方式係可允許移除雜訊而且維持基本有用的型樣。獲勝者群組之建立係致能線 性不可分離的影像(即：關於超過一個叢組的影像)之叢組，如在圖13所示。以上係可提供在準確度的重大改善且減小叢組誤差的數目。

在p網路100的訓練之過程中，受到校正的典型誤差係：

誤差校正亦可能為藉助於用一個外部訓練者來訓練之上述的演算法。

該p網路100之硬體的實現係可提供在數位及/或類比的微晶片。一個代表性之p網路100的微晶片係可運用於資訊之儲存及處理。該p網路100的微晶片係可基於種種的可變電阻器、場效電晶體、記憶電阻器(memristor)、電容器、切換元件、電壓產生器、非線性的光電池、等等。可變電阻器係可使用作為神經結權重108及/或校正權重112。複數個此種電阻器係可並聯、串聯、以及串並聯而連接。假使為各別的電阻器之並聯連接，訊號係可由電流值所編碼，其可接著為有利於電流之自動化的類比總和。為了得到正或負的訊號，二組電阻器(激勵與抑制)係可提供在各個神經結上。在該種硬體結構中，抑制的訊號係可從激勵的訊號而減去。

各個校正權重112係可實施為一種如同記憶電阻器的裝置(記憶電阻器)。如為由熟習此技藝人士所瞭解，一個記憶電阻器係具有由在電路中的一個電流、或由一個電位或電荷所控制的電阻之一種可變電阻器。適當的記憶電阻器功能性係可經由一個實際的記憶電阻器裝置、以及軟體或其實體模擬所達成。在p網路100以低電壓電位之操作中，記憶電阻器係可操作如同一個簡單的電阻器。在訓練模式期間，記憶電阻器的電阻係可改變，例如：藉由一個強的電壓脈衝。記憶電阻器的值之變化(電阻的增大或減小)係可取決於該電壓的極性，而該值變化的大小係可取決於電壓脈衝的大小。

此詳細說明與該等圖式係支援及描述本揭露內容，而本揭露內容的範疇係僅由申請專利範圍所界定。儘管用於實施所主張的揭露內容之一些最佳模式與其他實施例係已經詳細描述，種種替代設計與實施例係存在以供實行在隨附申請專利範圍所界定的揭露內容。再者，在該等圖式所示的實施例或在本說明中所述的種種實施例的特徵係無須被理解為彼此獨立的實施例。更確切而言，可能的是，在一個實施例之實例的一者所述的特徵各者係可和來自其他實施例的一個或複數個其他期望特徵作結合，造成其未用文字描述或關於該等圖式的其他實施例。是以，該等其他實施例係屬於在隨附申請專利範圍的範疇之架構內。

Claims (16)

1. 一種神經網路，其包含：該神經網路的複數個輸入，各個輸入被裝配以接收具有一輸入值的一個輸入訊號；複數個神經結，其中各個神經結被連接到該複數個輸入的一者且包括複數個校正權重，其中各個校正權重係由一權重值所界定；一組分配器，其中各個分配器被運作連接到該複數個輸入的一者以供接收各別的輸入訊號且被裝配以從和該輸入值相關之該複數個校正權重來選擇一個或多個校正權重；一組神經元，其中各個神經元係具有至少一個輸出且經由該複數個神經結的一者而和該複數個輸入的至少一者為連接，且其中各個神經元被裝配以將選擇自被連接到各別的神經元之各個神經結的該等校正權重之該等權重值合計且藉此產生一神經元總和；及一權重校正計算器，其被裝配以接收具有一值的一期望輸出訊號，確定該神經元總和與該期望輸出訊號值的一偏差，且使用該確定的偏差來修改各別的校正權重值，俾使將該等修改的校正權重值合計以確定該神經元總和係使該神經元總和與該期望輸出訊號值的該偏差為最小化，藉此訓練該神經網路。
2. 如申請專利範圍第1項之神經網路，其中：該神經元總和與該期望輸出訊號的該偏差之確定係包括該期望輸出訊號值除以該神經元總和藉此產生一偏差係數；且該等各別的校正權重值之修改係包括用以產生該神經元總和的各個校 正權重乘以該偏差係數。
3. 如申請專利範圍第1項之神經網路，其中該神經元總和與該期望輸出訊號的該偏差係在其間的一數學差異，且其中該等各別修改的校正權重之產生係包括該數學差異之分攤到用以產生該神經元總和的各個校正權重。
4. 如申請專利範圍第3項之神經網路，其中該數學差異之分攤係包括將該確定的差異平均劃分在用以產生該神經元總和的各個校正權重之間。
5. 如申請專利範圍第3項之神經網路，其中：各個分配器係另外裝配以將複數個影響係數指定到該等各別的複數個校正權重，俾使各個影響係數是以一預定比例而被指定到該複數個校正權重的一者以產生該各別的神經元總和；各個神經元係裝配以將對於經連接到其的所有該等神經結之該校正權重與該指定的影響係數之一乘積合計；且該權重校正計算器係裝配以根據由該各別的影響係數所建立之該比例而將該確定的差異之一部分施加到用以產生該神經元總和的各個校正權重。
6. 如申請專利範圍第5項之神經網路，其中：各個各別的複數個影響係數是由一影響分佈函數所界定；該複數個輸入值被接收到一值範圍，其根據一區間分佈函數而被劃分為區間，俾使各個輸入值被接收在一各別的區間內，且各個校正權重係對應於該等區間的一者；且 各個分配器係使用該各別接收的輸入值以選擇該各別的區間，且將該各別的複數個影響係數指定到對應於該選擇的各別的區間之校正權重且到對應於一鄰近於該選擇的各別的區間的區間之至少一個校正權重。
7. 如申請專利範圍第6項之神經網路，其中各個校正權重係另外由一組索引所界定，該組索引係包括：一輸入索引，其被設定以識別對應於該輸入的校正權重；一區間索引，其被設定以指定用於該各別校正權重的選擇區間；及一神經元索引，其被設定以指定對應於該神經元的校正權重。
8. 如申請專利範圍第7項之神經網路，其中各個校正權重係進而由一存取索引所界定，該存取索引被設定以結算該各別校正權重在該神經網路的訓練期間由該輸入訊號所存取的次數。
9. 一種訓練神經網路的方法，其包含：經由對於該神經網路的一輸入，接收具有一輸入值的一輸入訊號；將該輸入訊號傳遞到被運作連接到該輸入的一分配器；經由該分配器，從和該輸入值為相關之複數個校正權重來選擇一個或多個校正權重，其中各個校正權重係由一權重值所界定且為定位在連接到該輸入的一神經結之上；經由透過該神經結而和該輸入為連接且具有至少一輸出之一神經元，將所選擇的校正權重之該等權重值合計以產生一神經元總和；經由一權重校正計算器，接收具有一值的一期望輸出訊號；經由該權重校正計算器，確定該神經元總和與該期望輸出訊號值的一偏差；及 經由該權重校正計算器，使用該確定的偏差來修改各別的校正權重值，.俾使將該等修改的校正權重值合計以確定該神經元總和係使該神經元總和與該期望輸出訊號值的該偏差為最小化，藉此訓練該神經網路。
10. 如申請專利範圍第9項之方法，其中：該確定該神經元總和與該期望輸出訊號值的該偏差係包括將該期望輸出訊號值除以該神經元總和藉此產生一偏差係數；且該修改該等各別的校正權重係包括將用以產生該神經元總和的各個校正權重乘以該偏差係數。
11. 如申請專利範圍第9項之方法，其中該確定該神經元總和與該期望輸出訊號值的該偏差係包括確定在其間的一數學差異，且其中該修改該等各別的校正權重係包括將該數學差異分攤到用以產生該神經元總和的各個校正權重。
12. 如申請專利範圍第11項之方法，其中該數學差異之該分攤係包括將該確定的差異平均劃分在用以產生該神經元總和的各個校正權重之間。
13. 如申請專利範圍第9項之方法，其更包含：經由該分配器，將複數個影響係數指定到該複數個校正權重，且包括以一預定比例而將各個影響係數指定到該複數個校正權重的一者以產生該神經元總和；經由該神經元，將對於經連接到其的所有該等神經結之該校正權重與該指定的影響係數之一乘積合計；且經由該權重校正計算器，根據由該各別的影響係數所建立之該比例而將該確定的差異之一部分施加到用以產生該神經元總和的各個校正權重。
14. 如申請專利範圍第13項之方法，其中該複數個影響係數是由一影響分佈函數所界定；該種方法更包含：將該輸入值接收到一值範圍，其根據一區間分佈函數而被劃分為區間，俾使該輸入值被接收在一各別的區間內，且各個校正權重係對應於該等區間的一者；且經由該分配器，使用該接收的輸入值以選擇該各別的區間，且將該複數個影響係數指定到對應於該選擇的各別的區間之校正權重且到對應於一鄰近於該選擇的各別的區間的區間之至少一個校正權重。
15. 如申請專利範圍第14項之方法，其更包含：另外由一組索引來界定各個校正權重，其中該組索引係包括：一輸入索引，其被設定以識別對應於該輸入的校正權重；一區間索引，其被設定以指定用於該各別校正權重的選擇區間；及一神經元索引，其被設定以指定對應於該神經元的校正權重。
16. 如申請專利範圍第15項之方法，其更包含：另外由一存取索引來界定各個校正權重，該存取索引被設定以結算該各別校正權重在該神經網路的訓練期間由該輸入訊號所存取的次數。