538381 經濟部智慧財產局員工消費合作社印製 I明說明（ I 發明範圍 本發明疋有關於人工神經^ ^ ^ ^ ^ ^ ^ 用於關聯-範數至呈現至於入=ΝΝ)且疋有關於 办一 k h 見至輸入2間映射演算法基礎人工神 經網路輸人式樣之每一成分 神 风刀疋万:古及電路。根據此方法， ^ 離求値程序中不同形式範數之使用，爲的是在距 ，’；値％序中通合呈現至該神經網路輸入式樣之每一成分 單體（或局邵）距離之計算。 發明背景 /在7日的貝料處理中，許多認證、預測及計算工作的執 订都使用4己述輸入資料特徵之參考資料庫。根據被解決的 問題，這些參考資料庫包含式樣，其爲子影像、子信號、 資料子集合即上述組合。被儲存於這些參考資料庫中之式 樣在此後被稱爲原型。如那些精通此技藝者所知，它們通 苇以向里（Vector)表示，即p維空間中的一陣列。記述新 (未知）式樣特徵之有名方法，此後稱爲輸入式樣，使用參 考貝料庫是依據輸入空間映射演算法，例如K _ Nearest-
Neighbor ( KLNN)或 Regi〇I1 〇f Influence ( roj )。這些演算法 的基本原理是計算輸入式樣與各儲存原型之間的距離 (dist) ’爲的是根據或不根據預先決定的臨界點找出最接近 的一個。讓與國際商務機器（IBm)公司之美國專利第 5,621，863號描述以輸入空間映射演算法爲基礎之人工神經 網路’其包含新型單體處理器，稱爲ZISC神經元（ZISC爲 IBM公司註册商標）。ziSC神經元的一基本特性在於它們以 並行方式工作的能力，即當一輸入式樣出現在ANN中時， -4 本紙張尺適用中國國豕標準（CNS)A4規格（210 X 297公爱） ^-----r I -----------^ 一 Γ琦先閱讀背面之注意事項再填寫本頁) 538381 A7
經濟部智慧財產局員工消費合作社印製 所有的ZISC神經元同時計算輸人式樣與它們所错存原刑、 間的距離。這些演算法的-種重要形式是距離求値關^ 私馬"範數’’’被使用於距離求値程序中。這些範數的挑 -方面是由被解決的問題所決定，另―方面是由解決此門 题之知是所決定。在-ZISC神經元中，輸入式樣A與錯存 在其中t原型B (各具有p個成分）之間的距離計算利用 Μ 綱 ATTAN 距離法（L1 範數），即 dist = sum(abs(Ak_Bk)) 或MAXiMUM距離法（Lsup 範數），mdist = max(abs(Ak_
Bk))，其中Ak及Bk分別是輸入式樣A及所儲存原型B之排 k(有效的k是由1變化至p)。注意"abs，，是，，絕對値”的慣用 縮寫。其他的範數存在’例如L2範數，諸如dist =平方根 (Ak-Bk)2)。L2範數被稱作是"歐基里德的EucHdean”同時 L1及Lsup絕數是”非Euclidean”範數的例子，然而，它們全 部意味著在距離關係中各成分差異（Ak-Bk)的處理。其他 Euclidean或非Euclidean範數（諸如符合或沒有符合）是爲那 些精通ANN領域中技藝者所熟知的。在ZISC神經元中，選 擇L 1或Lsup是由神經元中所儲存被稱，，範數”位元N 〇之單 一位元所決定。 另一方面’ ”背景”的概念是由ZISC神經元所導入的嶄新 觀念。背I可以有利地被使用於鑑別不同形式之輸入式 樣。例如，背景可能被用於較嵩狀況與較低狀況特性之間 的識別（或不同形式font之間的辨別）。ZISC神經元中，這 種接近的實現是利用神經元中所儲存之區域背景Cxt及 ZISC晶片之通用暫存器中所保持之總體背景cxt。因此， -5- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） ------------裝- ----^----訂----- (請先閱讀背面之注意事項再填寫本頁) 538381 A7
經濟部智慧財產局員工消費合作社印製 ^景接近終允許選擇具有學w決定背景之神經元且n ANN中:、他全邵的神經元。在識別期間，總體背景値會與 名^神經元中户斤儲· > Tw ijp « 倚存 £域㈢景比較，如果發現相同的，令 神經謂被is擇，否則它將是禁止（inhibied)。所以，該^ 不允許將ANN裝配成單_神經網路或神經元分散群組織配 置’其中「群组的所有神經元具有相同的區域背景。就 ZISC神絰兄疋有關的的而言，該背景（區域或總體）是—個 7位元所編石馬之値。 在ZISC神麵疋中，有_特殊的暫存器，稱爲區域範數/背 = (tfN〇/CXt)暫存器，其儲存1位元範數No及7位元背景cxt 仏號在、勺足/學έ私序結尾時，儲存於ANN中的總體範數 /背景自動載入至區域範數/背景（N〇/cxt)暫存器。丄位元範 數及7位το背景信號被應用至ZIS(：晶片的控制邏輯電路。 到目莉爲止，只有一個範數已經被使用在儲存原型之全 體成分。在ZISC神經元中，被應用至各成分之範數使用運 算子差的絕對値”。然後，在L i範數的事例中連續値被加 總或在Lsup範數的事例中最大値被選定。然而，由於這些 成分的特性，在某些例子中，將可能與輸入式樣/儲存原型 之各成分不同的範數根據應用關聯應該是値得做的。例 如，如果描繪一子影像之儲存原型的兩個成分分別説明一 顏色索引及子影像中顏色索引像素數目，則它將是有用的 應用在顏色索引相關成分之符合/不符合範數及像素數目相 關成分知覺對質基礎範數。當利用傳統ANN處理這種接近 時的主要困難是在矽晶片中需要大量的記憶體及邏輯電路 -6 - 本紙張尺度適用中國國家標辱（CNS)A4規格（210 X 297公爱） ------ (請先閱讀背面之注意事項再填寫本頁) ----訂----- .•線i 538381
發明說明（ 經濟部智慧財產局員工消費合作社印製 游不同的範數關聯至輸入向量/儲存原型之成分且在此特殊 其況中引導诞離求値程序。 因此，运今/又有允許此鬲度想要功能之技術出現。事實 上’上述美國專利中所描述之人工神經網路允許利用每個 輿儲存原型之所有成分均相同之神經元只有一個範數。這 對擴展傳紇神經網路輸入空間映射演算法及特別是對以 ZISC神經員所建構的ANN當它必須處理具有不同特性成分 之輸入式樣/儲存原型是一嚴重的限制。 發明概要 本發明的主要目的是提供一種用於關聯一範數至呈現至 人工神經網路輸入空間映射演算法之輸入式樣各成分之方 法及電路。 本發明的另一個目的是提供一種用於關聯一範數至呈現 至人工神經網路輸入空間映射演算法之輸入式樣各成分以 允許在距離求値程序中不同範數之使用之方法及電路。 本發明的另一個目的是提供一種當需要處理具有不同特 姓成分之輸入式樣時用於關聯一範數至呈現至人工神經網 路輸入空間映射演算法之輸入式樣各成分之方法及電路。 本發明的另一個目的是提供一種用於關聯一範數至呈現 至其中所有的範數記憶在總體記憶體中之人工神經網路輪 入空間映射演算法之輸入式樣各成分之方法及電路。 本發明的再另一個目的是提供一種用於關聯一範數至呈 現至其中所有的範數記憶在總體記憶體中之人工神經網路 輪入！間映射演算法之輸入式樣各成分而適用於處理許多 -7- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） . ^ -----r----訂----- (請先閱讀背面之注意事項再填寫本頁) %·! 538381 A7 B7 5 五、發明說明（ 组範數之方法及電路。 本發明的再另一個目的是提供一種用於關聯一範數至呈 現至其中所有的範數記憶在神經元中之人工神經網路輸入 S間映射演算法之輸入式樣各成分之方法及電路。 這些的實現及其他相關目的是利用有助於關聯一範數至 呈現至其中所有的範數記憶在神經元中之人工神經網路 (ANN)輸入空間映射演算法之方法及電路達成。這組範 數。稱爲’’成分’’範數，被記憶在ANN中特殊的記憶裝置 内。在第一實施例中，改良的ANN提供一種總體記憶體二 爲所有神經元共用，其記憶所有的成分範數。用於輸入式 樣之各成分’神經元在距離求値程序中可能選擇神經元所 區域儲存之區域成分範數或總體記憶體中所儲存之總體成 分範數以執行單體的（或部分的）計算。單體計算被合併使 用一”距離，，範數以決定輸入式樣與各所儲存原型之間的最 後距離。纟第二實施例中’此組成分範數自我記憶於神經 =中。當將ANN整合進入一矽晶片中時，此技巧允許將所 消耗矽區域明顯地最佳化。神經元之原型成分記憶裝置適 用於實現總體記憶體功能，以致於實際上不需要一種特殊 的總體記憶體。 .根據本發明特性之嶄新功能在申請專利範圍中被提出。 然而，本發明本身及這些與其他相關目的及優點利用參考 下列詳細描述結合附圖將得到最佳的瞭解。 附圖摘要説明 圖1概要頻示根據本發明之改良人工神經網路（ANN)方塊 (請先閱讀背面之注意事項再填寫本頁} -裝 經濟部智慧財產局員工消費合作社印製 -8 538381 A7 B7 經濟部智慧財產局員工消費合作社印製 五、發明說明（ 架構，其包含一總體記憶體以記憶與輸入式樣/儲存原型之 成分有關之該組成分範數及多個神經元。 圖2是一概述本發明之方法主要步驟之流程圖。 圖3顯示圖1限制於一個神經元之方塊架構，其圖例説明 總體記憶體之内部組織及一神經元之重要元素。 圖4説明圖1改良ANN之操作以點出在距離求値程序中地 址匯流排的角色以計算輸入式樣與儲存原型之間的最後距 離，輸入式樣/儲存原型之各成分儘可能具有依不同範數。 圖5顯示圖1改良ANN之架構，其已經適合以實現一對應 數目之總體記憶體使用於許多背景。 圖6顯示圖3之神經元，其依然根據本發明已經被修改以 增加内部實現總體記憶體功能之能力。 圖7顯示圖1改良ANN合併圖6神經元以當該改良ann被 整合在一矽晶片中時最佳化所消耗矽區域之方塊架構。 圖8説明圖7改良ANN之操作且別説明當沒有背景被實現 時功能旗標暫存器之角色。 ' 圖9説明圖7改良ANN之操作且別説明當一個背景被實現 時功能旗標暫存器之角色。 ' 較佳實施例之説明 本發明的基本原理是在距離求値程序中將使用與輸入式 樣/儲存原型之各成分有關之一範數（即如上文所述之運算 子）。此範數在此及下文中被稱爲，，成分”範數或簡稱爲c 範數。C_範數不是被儲存於區域地神經元中就是被儲存於 整個ANN所共用之，，總體記憶體”中。在 仕此爭例中，總體記 -9 本紙張尺度適財_冢標準（CNS)A4規格⑽x 297公爱 ttw ^-----r----t----- (請先閱讀背面之注意事項再填寫本頁) 538381 A7 ------ B7 五、發明說明（7 ) 憶體記憶整組C -範數，所以對於一決定輸入式樣成分而 3，相同的範數與所有的神經元有關。。範數在第一事例 中將被標示爲’，區域C -範數，，，在第二事例中被標示爲，，總 體C-範數”，或分別簡稱爲” L — c一範數，，及”G —c —範數”。 當一輸入式樣與一神經元中儲存原型比較時，各對使用以 其所相關C 一範數之對應成分（A k，B k)之處理提供一單體的 (或部分的）距離値。各成分所得到的單體距離値被合併以 利用稱爲”诞離”範數之第二範數提供一最後距離値。例 如，在L 1範數中，C —範數是”絕對値，，運算子且距離範數 疋加法，運算子。在Lsup範數中，如果C —範數依然是，，絕 對値"運算子，則距離範數現在是，，最大値，，運算子。根據成 分及距離範數的特性，以純數學嘗試來説最後的値可以被 視爲是或不是一距離（例如，如果L 1或Lsup範數被使用）。 然而’爲了簡化有關上文所提到美國專利的理由，接下來 説明中將被使用之項目”距離”及”範數，，必須知道是總稱 的。換舌之，一輸入向量與一儲存原型之間比較的結果値 將被稱爲”距離”，即使它不完全符合一數學定義的規範。 接下來的説明將利用參考該”距離”範數來完成，當它被區 域儲存於各神經元中時，該”距離”範數將被簡化標示爲 L·一D一範數，當它被ANN之所有神經元所共用時，被簡稱 爲G _ D 一範數。 精簡地説，總體記憶體（典型地是一組暫存器）是一種獨 立的記憶體。在此所描述之革新解決方案既不增加碎晶片 中輸入/輸出端（I/O)的數目且在主電腦中它也不需要特殊 -10- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） (請先閲讀背面之注意事項再填寫本頁) l·---^--------Λ 經濟部智慧財產局員工消費合作社印製 經濟部智慧財產局員工消費合作社印製 538381 A7 ____ B7 五、發明說明（8) 的資料處理（在識別階段）。而且，所增加記憶體之總數量 比起存在於所有神經元中之原型成分記憶装置是非常小 的，即置於ANN神經元中之所有原型記憶體之總和。因 此，此原理可以被實現而不增加（1)在主電腦中資料前置處 理時間，（2 )求値/記憶裝置之複雜性，及（3 )整合至ANN之 矽晶片中I / Ο的數目。此外，矽區域可以利用指定一個神 經元（或更多個）被進一步最佳化以實現此記憶體功能，它 接下來將被更詳細地解釋。 圖1概要顯示根據本發明之地一實施例之改良人造神經網 路（ANN) 10之方塊架構。ANN 10是由ANN 11及上文所提 及之總體記憶體12所組成。總體記憶體12被設計用於儲存 P成分範數（即一個成分一個）。來自主電腦或控制邏輯（未 顯示）之資料經由資料-入匯流排1 3被供給進入ANN 11。 ANN 11是由η個獨立神經元1 4 -1至1 4 - η所組成，通稱爲 1 4。圖1中所示的特殊實施例中，神經元1 4基本上是已經 只有稍微修改之傳統ZISC神經元。圖1中，各神經元，例 如1 4 -1，包含一距離求値器1 5 - 1及一區域記憶體丨6 - 1以 儲存原型成分’通常被稱爲原型記憶體。距離求値器1 5 - 1 經由資料·入匯流排1 3連接至主電腦及原型記憶體丨6 _丨以 執行輸入式樣與儲存原型之間距離求値，處理各對對應成 分計算單體的距離。它上包含暫存器以分別記 憶L — C —範數及L — D —範數，用於執行此單體距離計算。一 種變化的方式是具有單一暫存器，其爲整個Ann 10共用， 經由指定的匯流排以G — D —範數供給各神經元14。在此説 -11 - 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公复） (請先閱讀背面之注意事項再填寫本頁) 訂--------""線 ,r<濟部智慧財產局員工消費合作社印製 538381 A7 B7 五、發明說明（ ） 明階段，ANN 11的架構及神經元1 4 - 1之内部結構（如果我 們將暫存器1 7 - 1除外）實質上是前面所提到美國專利中的 那些詳細說明。然而，與該文件相關，ZISC神經元之結構 已經稍微被修改以考慮到現在被稱爲1 5 - 1之距離求値器經 由被稱爲G—C —範數匯流排19之匯流排連接至總體記憶體 12且連接至該暫存器口-丨。此外，地址匯流排2〇不但連 接土置於ZISC晶片各神經元14-1至14-n中之原型記憶I# 而且也連接總體記憶體12，所以爲了各輸入式樣成分，與 此有關之對應範數可以從此被輸出。 値得注意的是數個改良ANN 10可以組合在單一 ANN中， 因此它將包含數個總體記憶體（一個改良記憶體具有一個） 或只有一個爲大家所共用之總體記憶體。另一方面，它亦 可以被想像成一種ANN 10，其中總體記憶體功能被複製於 各神經元中以記憶在此所儲存原型之特定C —範數。 再次參看圖1，改良ANN 10操作之原理是相對地簡易。 爲了圖例説明的目的，讓我們假設總體記憶體丨2是由一組 標準暫存器所構成。利用輸入式樣成分以一種連續的方式 出現於改良ANN 10的前提，每次主電腦出現一輸入式樣成 分經由資料-入匯流排13至改良ANN1〇，它指出總體記憶 體12( 一既定地址以輸出對應G-C —範數且在所有原型記 憶體16 - 1至I6_n中經由地址匯流排2〇選擇對應原型成 分。因此，在各神經元14中，G—c —範數（或l —c一範數）、 儲存原型成分及對應此地址之輸入式樣成分在距離求値器 15中同時被變成有用的。接著，各神經元“利用相關 -12- 本紙張尺度適用t國國家標準（CNS)A4規袼(21〇 X 297公-----
538381 A7 B7 1 π -———, 五、發明說明（） G — c—範數（或L — C —範數）執行輸入式樣成分與對應儲存原 型成分之間的單體（或部分）距離計算。單體距離被合併更 新具有選擇L — D —範數之距離。此過程持續直到輸入式樣 之所有成分都已經被處理且得到最後距離値爲止。 我們因攻瞭解當輸入式樣成分以平行方式被提供至改良 ANN 10時，相同的方法可以被使用。然而實現本發明的另 種方式亦將與G一 C —範數及主電腦中輸入式樣成分有 關，爲的是一起被提供至改良ANN 10。在此事例中，總體 圮憶體功能將被嵌入主電腦本身之中。然而，此解決方案 、，並不詳述，因爲它出現一些缺點，且詳言之它將明顯 地增加主電腦的處理時間及/或I/O數目。 〜、 圖2顯示概述這些處理步驟之流程圖。 力圖3顯示被限制於總體記憶體及只有一個神經元之圖工的 木構詳β之，它顯示被使用於記憶g —C —範數之總體記 隱組12及第一個神經元1 4 - 1 (基本上是一 ZISC神經元）必要 兀素（内郅結構，現在根據本發明之技術被修改。 圖3左側概要顯示總體記憶體1 2之内部結構。如圖3之外 表來看有Ρ個對應輸入式樣/儲存原型ρ個成分之記憶體 么置，其利用主電腦經由地址匯流排2 0所送出之地址（地 址1至地址ρ)被存取。在各記憶體位置，與地址有關之 G — 數編碼値被儲存。兩個連續的地址可能代表相同 的運算子或兩個不同的運算子。在稍後的事例中，地址i ，地址2所儲存之範數G —c —範數iKG —c 一範數2可能分別 疋一差的絕對値及相配/不相配運算子。 -13- 本紙張尺度適用中國國冢標準（CNS)A4規長⑽x 297公髮)_ (請先閱讀背面之注意事項再填寫本頁) · n n n n i—Μ 1 訂------- 經濟部智慧財產局員工消費合作社印製 11538381 A7 B7 經濟部智慧財產局員工消費合作社印製 五、發明說明（ 現在換到圖J之右邊’更詳細第顯示神經元^ 4 _ 1之必 元素。距綠求値器15·1首先包含方塊21-1、22_丨 ^ 3 ** 1。方塊2 1 -1被標示爲c —dist eval，因爲它執行一對對應 成分上之單體距離計算，即相等的地位。此方塊經由資料a 入匯流排13連接至主電腦且連接至原型記憶體“-丨。/被標 示爲D_dist eval之方塊22-1受到代表儲存於暫存器18_1: 距離範數（在Lsup範數事例中之”最大値”運算子）控制且以 計算單體距離（部分結果）更新距離如成分進行之^算。$ 所有成为都已經被處理時，標示爲dist暫存器之方塊23 1 儲存最後的距離。正如它是距離求値器15_丨，原型記憶體 16-1(經由她址匯流排20連接至主電腦）及記憶l — d—範數 之暫存器1 8 - 1實質上與前面所提到美國專利中所描述是一 致的。現在，根據本發明，距離求値器丨5 _丨尚包含一個2 路多工器24-1，其一邊連接暫存器17-1且另一邊連接至 G — C —範數匯流排19。多工器24-1是由一個儲存於範數狀 態暫存器2 5 - 1中之狀態位元所控制以選擇L — c —範數或 G —C —範數以應用在方塊21]之控制輸入上。然而，l_c一 範數17“、i位元範數狀態暫存器以^及多工器24_i^是 指令方塊，C_d1St eval 21-1可以經由匯流排19受總體記憶 月豆1 2中所諸存之g — C —範數所控制。 每次一輸入式樣成分被主電腦在資料_入匯流排13上傳送 至神經元14]，儲存於關聯至此之總體記憶體i2iG-C 一 範數（在由主電腦所定義之地址）亦同時經由G — C 一範數匯 流排19被傳送至改良神經元14β1。局部儲存於原型記憶體 ------------ I ---..----^--------. (請先閱讀背面之注意事項再填寫本頁) -14- 538381 經濟部智慧財產局員工消費合作社印製 A7 B7 12 - 五、發明說明（ ） 1 6 - I之原型成分（對應該地址）是直接有效的。它的角色是 在主電腦控制下執行總體記憶體丨2及原型記憶體丨6 _丨之同 時定址功能之地址匯流排20。現在，依據儲存在控制多工 器24-1之1位元範數狀態暫存器μ]中之二進位値，暫存 器1 7 -1中户斤圮憶之l — C _範數或總體記憶體丨2中所儲存之 G 一C_範數被選擇。該選擇範數被使用以控制方塊21]執 行考量中該對成分上單體距離計算。然後，利用L — d一範 數暫存器18-1中所儲存之L — D —範數，輸入式樣與儲存原 型之間的距離在盒子2 2 - 1中被更新且，如它被實驗於 ZISC神經元中，距離求値經由一迴圈程序被持續，直到輸 入式樣之所有成分已經被處理且最後距離” dist，，已經被求 出且尤憶在暫存器2 3 - 1中爲止。應該注意與在zisC ANN 中不同，最後距離所得到的只是L1或Lsup範數，這限制不 再存在，本發明之改良ANN 10在此方面提供更大的彈性。 - 圖1改良ANN 10之操作及爲本發明重要功能之具有它們 所關聯C —範數之輸入式樣成分與儲存原型成分同步處理原 理現在將參考圖4詳述如下。對各輸入式樣成分而言，主 電腦（或fe制邏輯）送出一個使用於同步存取總體記憶體j 2 中相關G — C —範數地址及對應儲存原型成分。讓我們取得 一個實例。第一地址（addr 1 )選擇在總體記憶體1 2第一位 置之G — C__範數1及在如圖4a中所示神經元14-1至14-n之 各原型記憶體16中之第一原型成分c〇mp 1。因此，當地一 輸入式樣成分被饋入改良ANN 10時，g C範數1及第一 原型成分comp 1是同時被關聯至此用於第一單體距離計 -15- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） ------------·裝-----r---訂-------- (請先閱讀背面之注意事項再填寫本頁) A7 B7 經濟部智慧財產局員工消費合作社印製 13 -~ -A '發明說明（） 算。然後，當地二輸入式樣成分被饋入改良ANN 1〇時，以 相同方式將第二範數G — C 一範數2與圖4中所示在addr 2之 第二原型成分comp 2關聯以更新該第一單體距離計算之部 分結果。重複這些步驟直到最後輸入式樣成分被處理完 畢。我們必須瞭解，如果在此範例中地址是連續的，則它 可以是隨機地址而不需要任何硬體修改。 當不同種類之原型被儲存在ANN中時，既定種類原型之 選擇利用一㈢景被執行，即一種被指定給上述各儲存原型 之特殊標記。在此事例中，使用根據背景之各成分之 G — C —範數可能是有用的。改良ANN 1〇之架構較佳地適用 淤符合此目的，因爲它可能實現如許多總體記憶體以記憶 想要的不同G — C —範數結構。 圖5顯示圖1改良ANN 1〇之一種變形，現在參看ι〇，，其 已經適合處理兩組G — C —範數，取代根據本發明另一重要 功能之方式。一決定組之G —c_範數利用亦活化改良ann 10中神經元群組之背景之方法被選擇。現在換到圖5，改 良ANN 10包含兩個總體記憶體丨2 _ !、1 2 _ 2 (與上文描述一 致）及複數個神經元1 4 - 1至1 4 - η。一附加的匯流排，被稱 爲背景匯流排2 6，連接主電腦中（或控制邏輯中）之一總體 背景暫存器，將總體背景儲存至專用的方塊，這些專用方 媿稱爲選擇單元。這些選擇單元分別在總體記憶體、 12-2中標示爲27-1、27-2，在神經元14-1至“^中標示 爲2 8-1至28-n。値得注意的是類似的選擇單元已經存在於 ZISC神經元中用於背景實現（爲了讓圖更簡潔的目的而他 -16- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） (請先閱讀背面之注意事項再填寫本頁) -裝 l· I 1 I ^ ·111111. .4 538381 A7 五、發明說明（ 們沒有顯示於圖1及圖3户斤+分^彡-- , _听不心神經兀14中）。圖5中，總體 記憶體與神，經元只與圖！之對應方塊12及14在附加的該選 擇單元不同。在本質上，—選擇單元27或28是由一儲存區 域背景之暫存器及-執行由主電腦所選擇總體背景與區域 背景（間比較之比較器。根據此比較結果只有-既定群组 之神經元被活化，其他神經元則被抑制。改良ANN 10,的 架構不受限在如圖5中所示兩個背景之實現，它讓電路設 計者有高度的彈性。改良ANNl〇，的操作基本上是與上述 參考圖4a及4b之改良ANN 10相同。 、：而C -範數记憶裝置（在圖5事例中，兩個總體記 U2 1及12-2)可以被最佳化以避免如有背景就有許多 訂 總體記憶體之實現。在一些事例中，避免如果它們沒有完 全被利用或當不是眞正需要時可能發生的記憶體浪費。依 然根據本發明的另一個重要功能符合這個目的，當它通常 到目前爲止已經被實行利用指定一個神經元叫或田更多個） 4 h己隐G — C — |已數替代原型成分。因此，實際上已經不再 需要=體記憶體12，它的功能已經有效率地被該專用神經 ^所實現。未達此目的，—新的旗標位元，稱爲功能旗標 ，被指定給各神經元得到它的功能：G c範數 或原型成分記憶。在第一個事例中，口有#; Γ ^ 似爭w甲〜、有神經兀之記憶體 及背景選擇功能被利用，而在第二事例中，它標準工作以 執行距離計算。 換參考圖6，改良神經元，現在標示爲，具有一直 接來自圖1其中之一個神經元14-1之内部構造。^文所述 -17 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐 經濟部智慧財產局員工消費合作社印製 538381 A7 B7 15 -------- 五、發明說明（） 之力犯旗祆位元被儲存於功能旗標暫存器2 9 _ 1内，該暫存 器控制選擇器J 〇 · 1。根據功能旗標位元値，選擇器3 0 - 1把 一原型成分用至C-dist計算器2丨_丨或傳送一 G_c一範數至 G —C-範數匯流排19爲所有連接至此之選擇神經元使用。 尸斤以，神經凡1 4 ’ - 1具有兩種操作模式。第一種模式中， 神經元操作與神經元14」相似，而在第二種模式 中，它扮演總體記憶體12的角色（在增加功能旗標暫存器 29-1及選擇器3 0-1的唯一成本）。因此，神經元丨中原 型記憶體1 6 - 1現在適合儲存兩種不同形式的資料：原型成 分或G_C_範數。 圖7顯示當圖6改良神經元被使用於記憶G — c一範數時圖i 改良神經元ίο根據本發明之架構。此變形;"標示爲1〇，，能 讓用於G — C —範數所需1己憶體的總量減少。在圖7中，一些 圖6神經元1 4 - 1中所顯示之電路方塊已經被併入一被標示 爲原型單兀31-1的單元中。包含G — c—範數之專用神經元 由於它的選擇單元（用於背景）及它的功能旗標暫存器而被 選擇。每次一輸入式樣成分被饋入改良ANN丨〇，，中，適當 的G_C一範數，記憶於它的原型單元中，被輸出且被關聯 至此以用於ANN 10”所有其他剩餘神經元之距離計算。 圖7改良ANN 10”之操作説明將參考圖8及9。圖8説明不 需要指定一改良神經元儲存G — C —範數之事例。在此事例 中，所有的功能旗標暫存器保持爲〇且所有的神經元丨4，標 準操作，預設範數（例如L1)被使用於距離計算。 當單一背景被使用時及當需要不同G — c —範數用於輸入 -18 - 本紙張瓦度適用中國國家標> (CNS)A4規格（210 x 297公楚） •裝I (請先閱讀背面之注意事項再填寫本頁) 訂i •署- 538381 A7 —______ B7 16 一 "" ' '' 五、發明說明（） 式樣成分時，只需要一個改良神經元執行此工作。現在換 到圖9，假設改良神經元“’“被指定以記憶G —c一範數， 則它的功能旗標暫存器29-1被設定爲丄。因此:它的原型 單元J 1 -1之圮憶裝置被使用於儲存G — c —範數且它的距離 求値器15-1被抑制。這可以被推廣至數個背景。如許多改 良神經το將被指疋用於G — C —範數工作如同它們是不同背 景，即它們的功能旗標暫存器被設定爲1且它們的記憶裝 置只被使用於記憶G —C_範數。 上述方法甚至可以進一邵推廣至平行電腦系統中之距離 計算。 當本發明已經被特別説明與一較佳實施例有關，精通此 技藝者應該明白上述及其他形式及細節上的改變可能在此 被元成而不运背本發明的精神與範圍。 (請先閱讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製 9 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐）