TW300304B - - Google Patents

Description

經濟部中央揉準局負工消費合作社印製 A7 __ _B7___ 五、發明説明（） 本發明係關於所謂的人工神經網络，且係特別瞬(於新 潁的數位化神經元之裝置、一籣化之神經網络茱構及一增 進之神經網络訓練演課式。 人工神經網络係仿效腦内人類神經元之動作。人類神 經元爲三僮主要部份所組成：軀體、軸突（及其鈕狀物） 、及樹突部份。該樹突部份係接收其他神經元的進入倍號 脈波並將此等脈波傳输至軀匾。軀鼸則對其從各不同樹突 部份所接收之全部此等倍號加以"評估”。某些該等倍號 爲正信»，亦即其會剌瀲軀匾，而其他倍號可能為爽，亦 即其具有抑制剌激軀體之作用。於軀體所受瀲勵高於預定 的定限的範醑時，軀體乃產生其本身之霣倍號脈波，並沿 著轎突將此等脈波傳_至鈕狀物，而此等鈕狀物係接至其 樹突部份或其他神經元的軀讎。 現有人工神經網络内所含的人工神經元之設計在棋倣 人類神經元的行為。每一人工神經元為舆人類神經元所具 各項功能相似之功能所組成。程序自一輪入開始。此輪入 可來自一外部來源（例如，一鍵盤登錄）或來自另一神經 元。當每一輪入沿其樹突部份向下蓮行時，邸爲一 “權路 ”例如+100%、+80%或-90%所倍乘。此等所諝之神經鍵 權衡爲人類神經霣脈波對軀鼸之剌激所作的正面或爽面貢 獻之概略數學等值。於所有輪入到逢鼷醱後，邸按照其權 衡求出其和，及產生一结合的淨值。此值可能需要由鼷鼸 於一健或更多的額外求和步嫌中加以修正。該調節遇之值 於是沿着軀鼸被傅送至其他各神經元。 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） (請先閲讀背如之注意r項再填寫本頁) 訂 經濟部中央標準局工消费合作社印裝 A7 B7_五、發明説明（） 神經拥络通常含有三層人工神經元即：輸入層、“皤 藏”層、及輪出層。输入神經元的數目係按照輪入資料的 特性及數目來決定。輪出神經元的傾數係Μ同樣方法加以 決定。例如，如有三侮是/杏問題，則此等間題之答案應 «得三值结果中之一鏑，於是則應有三值輪入神經元（每 一問題一梅）及三鴒輸出神經元（每一可能之结果一値） 〇 權衡之意爲該綱络可藉其求得_入值輿正確輸出的η 係。在現有的神经網络中，条統本身會指派及調整此等權 衡，以便使用訓練演譯式可正確地使_入及輪出相互鼷聯 0 在訓練開始前，可任意設定輪入層至皤藏層及從皤藏 層至输出層之權衡。經驗已經顯示當各權衡在起初為任意 或非零之數值時此網络會學習得較好。在訓練時，一组具 已知輸出之_入係饋入此網络。如此糸统不產生預期之輪 出，誤差改正乃經由此糸統“回傳w (back propagated〉 *而所有輪入/隱藏及皤藏/幢出的權衡則按照預定的格 式予Μ調整。 在實際實施中，訓練方法並不在評估_出及回傅改正 錯誤之前先《I入整组之訓練型樣。而且，事實係一次綸入 一値，並審査每一事實的輪出。如所81輸出不正確，則調 整各項權衡。 訓練一神經網络可能需要數百或數千梅事實。如条统 設計不良或訓練事實不奉確，則網络永無學習的好機會。 (請先閲讀背**之注意事項再填寫本頁) /· 訂 ·<— 本紙張尺度適用中國國家標準（CNS ) Α4规格（210Χ297公釐） 6 經濟部中央橾準局工消费合作社印装 A7 B7_ 五、發明説明（） 因此，程式師之通擇_入及輸出神經元的適當餹數及型式 之技熟與訓練者逸擇適當輪入因數及資料κ訓練網络之技 術對糸統的成功操作甚爲重要。 於訓練期络時，重覆醮用演譯式於權衡會使人類難於 鬧釋各權衡的相互作用。於此神經網络會Μ其能解譯的名 詞表示資訊。其設計者使用智慧創造力於建造可Μ學習的 榷造及規則並提供據以學習的事實，但在本質上此時會失 去有闢操作的各特定細節的訊息而僅成為戳察者。訓練神 經網络之技術在於資料表示法（即輪入，皤藏及轅出神經 元之侮數及型式）之選擇及訓練事實之選擇。 本發明之目的在提供一種可使用積齷轚路技術予以製 谊Μ構成神經網络的積木之數位化神經元。 本發明之另一目的在整合多數數位化神經元，侔可提 供一神經網络晶片，該晶片可舆其他的神經網络晶片互接 以構成實黼上爲大面稹的神經元網络。 本發明之又一目的在創造神經網络訓練演譯式，該演 譯式可描繪諸樣於各神經元群之上，Μ便在輪入鼸樣的 實質部份呈現於網络輪入及訓練圈樣表現為現有纗络對無 反覆網络之次數的約數時_出神經元會激發。 依據本發明己經提供有一用於神經網络内之η _入路 徑數位化神經元，此數位化神經元包括有一具有2"餹位置 的隨機接達記憶*每一η輸入碼圈樣均有此一位置，而每 一位置均藉神經網络訓練演譯式使用與神經網络内該神經 元之綸入覉圈樣所配置之神經鍵相對應的神經瀲發狀態予 本紙張尺度適用中國國家標準（CNS > A4規格（210X297公釐） ----1·--.— _^ A-- (請先閲讀背*-之注意事項再填寫本頁) 訂 7 經濟部中央標準局貝工消费合作社印製 A7 _B7_ 五、發明説明（） Μ程式規劃。該神經元係操作爲來自該η數元數位化輪入 礪匾樣所定址之隨機接逹記憶位置的神經元_入路徑所呈 現之每一η數元碼圔樣產生神經元激發狀態之査索表。 本發明所具之特殊安全優黏爲訓練綱络之神經鍵權衡 並非保持在神經網络本身内，而是保持在執行訓練演譯式 為神經元榷衡記憶圈所用的装備内。 本發明的數位化神經元視所加的神經鍵榷衡情形能夠 表示其_入之任何功能。待別地* 一特定_入碼組合的神 經元可予程式規劃，俾可《訓練演繹式提供互接功能或相 Μ功能。 依照本發明神經元Μ此方式可具有生物神經元的表示 法的功能及具有表示另外功能组的能力。 藉将記嫌權衡權分成爲權衡各頁面邸可逋成多重本釅 ，而神經元之每一權衡負面的長度及位置則爲神經網络訓 練演譯式所決定。 本發明所具之另一優點在於所能達成的實質上之簡化 互接架構優於更傅统的高度互連神經網络之架構。在傅統 神經網络之情形下，互連的需求為連接數係舆前一層内各 神經元之値數的平方成比例。此乃因為未舆前一層完全連 接之任何神經元在舆網络之其他神經元组合時可能無法表 示出想要的功能。 依雒本發明提供有一多層數位化神經绢络，其中該網 络中之每一神經元能予程式規劃Μ表示其_入的任一功能 ，而神經元係與次一層中有限數的相粼神筋元的輪入路徑 本紙張尺度適用中國國家標準（CNS ) Α4規格（210X297公釐） (請先閲讀背&-之注意事項再填寫本頁) •^:^. 訂 A7 B7 五、發明説明（） 請 先 閲 讀 背 面，-之 注 意· 事 項 再 I 填d % Μ 本衣 頁 相連。通常每一神經元係舆次一層中對應的神經元的_入 路徑相連，各神經元的輪入路徑係位於該下一層内對醮神 經元之直上方及直下方，即使有，連至該網络之每一_入 路徑係相似地接至輸入層中對應的神經元之輪入路徑及在 输入層中如果有之相應神經元直上方及直下方的各神經元 之一_入路徑。 互接亦結合有一交疊配置，因此某些神經元舆同一層 之其他各神經元共享其一部份的輪入連接路徑。 訂 各神經元間的限制互接藉由每一神經元為可程式規劃 Μ表示其各輪入的任一功能而可予達成。本質上小型的各 神經元组可辨嫌網络内_入型樣的特戡、連至第一組之輪 出的各神經元组、利用中間的各神筋元當作互接，Μ增加 S入至必需的水準。 理論上本發明之神經網络係使用所具每翰大小相等之 棋组化三維立方陣列所構成，例如每一神經元具有九值_ 入路徑，而各神經元係連接在一起，Μ便每一神經元可接 至前一層中之上、下及對«三神經元的各綸出。 經濟部中央梂準局負工消费合作社印裝 只要訓練演譯式知道所選揮的配置，邸可使用備逸有 限的互接配置。 胡丨練演譯式可藉單通過中每一網络輪入型樣之神經元 激發狀筋規»綱络之各神經元。該狀態係根攤該型樣之神 經鍵權衡is聯或互接功能藉作為η聯功能或互接將每一型 樣描繪於正輪入典對臁於粬入型樺的網络輪出之間的路徑 上之各神經元内加Μ計算。此訓練潢譯式經予配置使可偏 本紙張尺度適用中國國家揉準（CNS ) A4規格（2丨0X297公釐） 9 五、發明説明（ A7 B7 經濟部中央揉準局員工消费合作社印製 別地處理訓練型樣的每一正網络鑰出路徑，及可雄別網络 输入舆指定的網络_出路徑之間路徑上的各神經元*該網 络_入路徑於是係神經元與神經元之間予Μ連接至其到逹 目檷_出爲止，在每一级，從可能扇至各黠之一组中的一 隹神經元予Κ査詢核對以確定其是否已學會必需的功能， 如無一神經元激發，鄭近之各神經元均予査詢，以建立每 一神經元之備用能量，而具有最多備有能置之神經元則予 程式規割以實現必需的功能。 神經元的程式規劃可包含現有榷衡圆與新產生的權衡 圏的合併。 在改良訓練演譯式時，神經鍵權衡之計算係累計及傳 _神經元之每一_入的有效值至到逹到輪出之神經元及使 用每一神經元_入的有效值以協肋神經鍵權衡的決定，神 經元之描繪圈，以便藉由引入新的榷衡炱面於該神經元之 權衡画内而實現所獲致的新功能。 在訓練期間如一層上的神經元在通至_出神經元之路 徑上均無檄發者，則該項改良可供給一份要引入於最少使 用的神經元權衡圏内之新權衡负面。此權衡巍面之長度則 爲指定的神經元之各_入的複雜性所決定。 從《配合各附圓一起閲讀之文獻可更迅易明矇本發明 。在諸園式中： 第1園所示為依據本發明之神經元； 第2圏所示為九_入神經元之典型扇入； 第2Α_所示為備灌層間互接配置之傾數； 請 先 閲 讀 背 之 注

I

A 訂 本紙張尺度適用中國國家揉準（CNS ) A4規格（210X297公釐） 10 經濟部中央揉準局貝工消費合作社印製 ^〇G3〇4 A7 _B7_ 五、發明説明（） 第3圖所示爲本發明之典型神經元網络的多層互接配 置； 第4_所示爲按照本發明使用神經元之神經網络功能 映像的範例； 第5至8各圔所示為依據本發明輪至各神經元的_入 i|A-D之映像； 第9圈所示為依據本發明使用神經元的典型神經網络 上特定輪入型樣的累稹漣波順序； 第10画所示爲一神經元晶片之配置圏； 第11圈所示爲一多神經元細胞之配置圈： 第12圔所示爲依據本發明之一神經元； 第13画所示為各多神經细胞間之晶片間通倍裝置； 第14圏所示爲一多晶片多神經元之立方繮； 第15画所示為訓練演譯式之“訓鰊所有各靥”程序的 滾程·; 第16圔所示為神經元檄發功能之鍵； 第17及18二画所示爲“一層訓練”方法之潦程; 第19_所示爲互接程序的滾程·; 第20圈所示爲映像程序滾程圃； 第21謹所示爲獨特映像程序之流程·; 第22鼸所示爲循視程序之滾程匾； 第238B爲強制映像程序之滾程醒； 第24醑所示強制神經元程序中映像之潦程: 第25H所示爲記錄建接程序之滾程國； 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） I——11.1—J ί - (請先閲讀背fi·之注意事項再填寫本頁) 訂 11 A7 B7 經濟部中央標準局貝工消费合作社印製 五、發明説明（ 第26圏所示為有序程序之流程圏； 第27圖所示爲映像連接程序之潦程鼸； 第28圔所示爲更新程序之流程圖； 第29圖所示為導引程序之流程圔； 第30圖所示爲鬭聯程序之流程圖； 第31圖所示爲CorrnuB程序之流程_ ; 第32圈所示為產生新權衡炱面程序之流程圈； 第33匾所示為產生權衡程序的流程圓； 第34麵所示為正常化功能之流程·; 第35圔所示為合併權衡程序之滾程圔； 第36圔所示為記憶配置程序之流程圔；及 第37圖所示復檢靥程序的滾程圖。 依》本發明較佳實施例之神S元係由具有神經元_入 引線之每一數位组合的一位置之靜態随機接速記慷器所组 成0 每一記懞格MC1-MCS12具有九傾神經元鑰入NI0-NI8 及一經由感澜«路SA之資料_出付00。第1鼷所示之記慊 格由施加至一位址解爾器AD之多位址輪入ΝΙ0至NI8組成。 位址解碼器於操作爲一神經元時爲神經元各_入所起動， 而於訓練位址控制倍號PCS被起動時，則為導線A0至A8上 之訓練演譯式控制（Traing algorith· control下文簡稱 TAC )所起動。以便記嫌器内所保持之數位責料在學習期 間在神經元瀲發狀態控制引線NPS1控制之下可予修正，以 播得痛要的功能。每一記憶格具有充作九綸入神經元之功 本紙張尺度適用中國國家標準（CNS ) A4規格（2丨0X297公釐） (請先閱讀背面之注意事項再填寫本頁)

T 訂 12 A7 B7 經濟部中央標準局貝工消費合作社印裂 五、發明説明（ 能，而此神經元可完成該九鎗入之任何功能*神經元之瀲 發狀態係藉由位址解碼器AD根據神經元的輸入引線NIO至 NI8通擇適當的解媽宇線繪出DW01-512之位址解瑪器所產 生的位址所識別之位置保持為1(激發）或〇(不瀲發）》 激發（1>或非檄發（0)狀態藉由預收費霣路PC在執行钏練 演譯式期間，產生權衡貪面的結果，因訓練演譯式，而予 規Μ於神經元内。各神經元葙由連接神經元_出1^〇至網 络次一層内各神經元之神經元輪入（ΝΙ0至ΝΙ8)中之一而 建接在一起爲一正規的陣列。神經元綸出係«自感測放大 器SA之靜態随機接達記憶狀態。輸出層之各神經元可從神 經元網络提供输出。在一典型的配裝中，全部綸入係接至 前一層中各神經元之_出：邸如第2圏所示三個接至神經 元之上方、三値接至神經元之下方及三値接至前面的各神 經元。 第2及3兩圔係例示本發明實施例之3維神經網络的 連接铸形，每一_所構成之立方讎的大小相等。該立方腰 之深度須等於高度及宽度，侔可保證全部綸入可扇出後能 到逢任一_出節點。通常此網络予Μ連接，Μ便每一神經 元（例如jiX)係接至上層NUA、NUB及NUC、相鄰層NAA、ΝΑΒ 及NAC典下層NLA、NLB及NLC中對醮神經元的_出路徑。第 2A^所示爲型樣已予省_之各神經元NX1、NX2、NX3及NX4 之縝可逸之籣化連接性配置。所用的互接配置只要其可容 納認知所欲探澜之各粬入型樣的需要映像，卽羼可Μ灌擇 。不論灌擇何種互接型樣，訓練演譯式要求棋擬實際網络 本紙張尺度適用中國國家標準（CNS } Α4規格（210Χ297公釐） ---_----^--·--^装-- (請先閲讀背^'之注意事項再填寫本頁) ,?τ 13 A7 B7_ 五、發明説明（） 中所用之互接型搛。第3圓所示之代表性多層配置係表示 Ll、L2及LN各層爲具構成_出層之輸出神經元LX。 第4鼸所示為用作互接INA至ING俥可朝向鍮出神經元 ONX延伸扇入之功能神經元FNA及FNB輿神經元。用作互接 之神經元可完成複雜的互接功能，使在變^的愴況下可将 該神經元舆不同的神經元連接在一起。從有Μ網络所具功 能之下列說明邸可知互接功能的重要性。不知容易瞭解網 络所履行的各項功能，一簡化之解說將用作範例。 功能I»偷 經濟部中央樣準局貝工消費合作社印裝 (請先閲讀背面之注意事項再填寫本頁) 當網络係先表示為一集訓練型樣時，其各神經元全部 未經配置，每一輪入均須儲存為一集神經鍵榷衡。當網络 已經訓練數次時，某些神經元開始認知新輪入型樣的特撤 ，及因此結果較少的神經鍵榷衡需要修正。第5至第8各 画所示為每一_入型樣或集在實行訓練處置期間之九神經 元三層二維網络。該訓練處置係依據由第5圓左邊所示表 内數目ΙΑ、2Α及3Α所代表之顒序處理各隱藏靥的輪出處_ 入層及1Α與3Α之正綸入，以識別舆型樣Α所代表之輪入型 樣相符的特定_出神經元。在第5至8諸圈内所示之各表 係指示（1)各隱藏層内一層中之互接功能ICWP及<2)輸入型 樣之輸出層格辨認功能NXWP。在此等圖中，虛線係表示不 活動之神經元遽接《而各神經元間之實線係表示活動神經 元之連接。爲便於函解說明，僅分別地表示為NXA、NXB、 NXC及NXD的相同_出神經元係用Μ探測每一施加至網络之 各_入型樣。 本紙張尺度逋用中國國家標準（CNS〉八4規格（210Χ297分釐） Α7 Β7 經濟部中央揉率局負工消费合作社印製 五、發明説明（） 輪入（169數元）。棋式1可便利_入資料之串列加載、 便利時間移位輸入的應用，諸如語言處理、向左移每一_ 入型樣的位置及Μ新賫料«充最右的一行，在此棋式該級 络之操作速要快三倍之多。 方式3及4係用於多晶片網络，在此兩方式中幢入及 繪出暫存器字長度係從64數元減少至22數元，一新的85數 元晶片間暫存器可使網络之邊緣的各連接與鄰近的各晶片 相通。棋式4可讀取八餹二+二數元（8Χ 25毫徹秒）之 輸入賫料字、使六十四值數元之八資料字與周邊晶片相連 、執行網络功能與_出二十二數元的八催資料宇。Μ於資 料路徑的應用，整傾網络每200鶴毫微秒可處理一新的輪 入型樣（以數元為單位）。 訓練該神經網络利用棋式5，在訓練期間，各神經元 激發狀態係藉一 32數元的V存器予Μ更新。欲钏練整值網 络，每一晶片均痛32數元之35及152寫入邇算。 第13匾所示悉連接在一起之九®多神經元晶片。每一 晶片之邊缘的各_出藉由离速晶片間缓衝器通信、傳遞全 部22數元輪入/綸出埠169數元資料宇DS僅需耗時200毫秒 鐘。任一大小的«络均可獲得相同資料路徑性能的200毫 微秒/輪入字。第14圈所示爲一 27多神經元晶片立方，编 组爲59,319神經元。 本發明之神經元網络為一多層、二進位之前«網络， 且係特別設計供在數元化接建記懞霣路内實施之用。該条 (請先閲讀背面之注意事項再填寫本頁) -·* -Jf,..

I 本紙張尺度適用中國國家揉準（CNS ) A4規格（210X 297公釐） 18 經濟部中央橾準局貝工消费合作社印製 A7 B7 五、發明説明（） 統具有三項》特的特擻； (1) 有限的互接霈求。此項需求可容許網络的大小在硬 黼複雜性及處理時間不會呈指數的上升情況下使其成長。 (2) 單通遇監督學習演譯式。 訓練資料之多重願示法並非霈要且在學戳時不渉及 反覆。 (3) 在復檢棋式中，分類不需網络權衡。活動神經元位 址記慊位置報告’0’爲不被辨雄或’Γ，爲已辨雄。此 可有利离速處理。 每一神經元晶片計_包含2070神經元於一 13X 13X 13 之3維架構（每層13X13神經元每晶片13層）内。每一神 經元具有可產每一晶片18,630神經鍵之九fi輪入/ _出連 接。藉由連接各晶片即可構成任何大小的網络》因僅痛169 (13X13)值晶片間的_入/輸出連接，故每一晶片可每 隔200毫撖秒處理一新的輸入。晶片的大小臁爲13.3X 11.6 毫米。一 520多神經元晶片立方饅（512晶片連接為一立方 鼸形狀）能每秒處理10·傾Μ上具有5X10〃僮神經鍵之神 經元。此一能力與每一晶片平均僅32鴒神經元及1000神經 鍵之現有神經鋦络晶片相較極為有利。 每一神經元為一 512X1數元的靜態隨機接逢記憶器》 接至每一神經元之九雇遽接對此記憶器提供512 (2”之位 址。此512值記憶位置可容許該神經元學習各種不同的副 型橼。 使用者會在第1層指定輪入型樣及在η = 3之層指定鎗 本紙張尺度適用中國國家橾準（CNS ) Α4規格（210X297公釐） ---^----;---Γ-一'装-- '- (請先閲讀背面之注意事項再填寫本頁) 訂 ^〇03〇4 A7 __B7__ 五、發明説明（） 出神經元》各連接均會按照訓練演譯式所定義之映像接收 權衡。“功能”性神經元應學習特別的副型樣，而“互接 ”神經元會引導活》至目檷綸出神經元。每一神經元可徤 存權衡的P值灸面（P爲使用者所定義〉，而此等權衡爲 提供’Γ =已辨識及’0’=非辨谦健存之記憶位址的定 限（定限至使用者所設定之位準）。調整定限位準會改變 此網络之生產待性。 规鏞浦鑼忒 在訓鰊過程中，毎集訓練型樣均具有與其相η聯之輪 出神經元。訓嫌演譯式可描繪各型樣成為成群之棋擬網络 之神經元，以便當_入型樣之實質部份已呈現於網络_入 時*綸出會激發。各訓練型樣均僅顯示一次给所棋擬之網 络，因訓練演譯式在第一次通過時邸計算正確的神經鍵權 不需反覆之故。 訓練期間僅痛處理具正值之_入。每一正輪入均予雄 別並値別加以處理，傳輪演譯式可對位於通往指定_出的 路徑上之神經元加以識別。 經濟部中央橾準局貝工消费合作杜印製 (請先Μ讀背面之注意事項再填寫本頁) 該輸入然後逐値神經元地連接於網络之棋擬内，直至 其到連所宥的目檷輪出爲止，在每一级從一集可能扇至各 貼中之每一神經元予μ查詢，以核對其是苔已學會其必需 的功能。如無一神經元能反應於此項必需的功能，粼近之 神經元（可多至九值）均予査詢，Μ建立毎一神經元之備 份能量。具有最大能嫌之神經元均予修正以完成新功能》 每一神經元_入之有效值係用Μ協助決定神經鍵榷衡 本紙張尺度逋用中國國家橾準（CNS ) Α4規格（210X297公釐） Α7 Β7 經濟部中央樣準局貞工消费合作社印製 五、發明説明（ 。當一欲明記於新功能内之神經元未具有必霈的加權時， 邸可輪一新的權衡負面。 每一神經元含有與神經鍵相當的檄發狀態之多數A面 ，如此可使每一神經元能代表其輪入的任一功能。訓練期 間如無一此等神經元在通往輪出神經元之路徑上激發時， 會輪入一新的權衡炱面，利用最少的神經元均派予新的權 衡。權衡負面之長度係由通往指定神經元之各輸入的複雜 性予以決定。第4表所示爲代表性的權衡負面WP。 輪至一呒定層之各輪入中之一輪入均予全部處理Μ形 成_至次一層之各輪入。 當訓練型樣已經學會時，訓練演嫌式會降低想欲功能 之表示法内所包含的每一此等神經元之依親性，此項降低 可保證該網络會對部份敗壞或不完整的各輪入有所反應。 此網络僅需Μ該集中之每一型樣訓練一次，Μ確報一 可靠的结果，進一步的訓練不會改良此一结果。舊的記憶 不會因學習另外的型樣而敗壤至網络飽和爲止。 輪至網络的各_入可為來自任一來源者，而訓嫌此網 络所用之演譯式可應用於學習任一功能。經常有一保證的 訓練時間，且此期络因無反餱故永逋均為穩定。 該演嫌式所能限制網络中可作之連接如下：- 神經元可爲一互接或一功能性的神經元永遠不會為二 者。 可能時•各項連接均醮接在輪出目檷神經元之方向内 本紙張尺度適用中國國家橾準（CNS ) Α4規格（210X297公釐） 1^----：---^叫裝------訂------(泉 (請先閲讀背面♦之注意事項再填寫本頁) 21 -- 經濟部中央橾準局貝工消费合作社印裝 A7 B7 五、發明説明（） 神經元可能僅具一與下一層相連之活動_出連接。例 如，各_入連接及因而各項權衡係定義為活動連接神 經元（正榷衡）、活動的非連接神經元（非活動權衡 及非活動神經元（奐權衡）。 相w值係用κ核對各已經學會之副型樣是否顯現在現 有的型樣内。如相闢性夠高，各副型樣均應予添加於 現有之集合内。如相鼷值不夠高，該副型樣将當作網 络的新知加Μ學習。 演課式必須為每一活動神經元決定何項建接會對目檷 輪出神經元提供最佳的路由。因第η層之每一神經元具有 來自層η-1之九値可能的綸入，Μ便第η-1層之毎一神經 元具有九傾在其可以接至之次層中之可能位置。此演譯式 醮先決定是否在現在層中具有可映像在一起Μ構成一項特 戡之足夠神經元。映像功能必須決定下一層何神經元會對 其通至目檷_出神經元提供最佳的路由。如無法映像一特 微*則當作互接之鵃別神經元活動性的路由必須保證在次 一層中各神經元«爲該類型樣構成一》特之特徴。 藉要求在倒數一靥中出現約6包活動的神經元Μ定出 _出目檷神經元的位址邸可對映像加Μ抑制。此項抑制可 防止各層中太快發生型樣收歛，及因而減少資料壓縮。此 外，每一神經元所具之有效值可界定溁經此神經元的資訊 位準。具有高有效值之神經元在早階段«防止映像，侔便 維持既定層中各神經元間資訊的相酋平等分享。同樣具有 特別低有效值之神經元應予強迫映像於其他神經元内。离 本紙張尺度適用中國國家標準（CNS ) Α4規格（210X297公釐） (請先閲讀背面之注意事項再填寫本頁) 装_ 訂 -22 - A7 B7 經濟部中央標準局負工消費合作社印裝 五、發明説明（ 及低有效值之確定可增加網络之深度且爲綸入層中活動的 位準所定比。 相颺值係用Μ決定權衡更新。如現有型樣不匹配各特 殊神經元所己學會之型樣，於是產生一新的榷衡炱面。如 相Β值係在匹配與非匹配定限之間，則一新的權衡炱面係 與最佳的現在榷衡裊面混合。如相閘值离於匹配定限，則 不需作權衡更新，而下一層的神經元已經活化。 網络演譯式基本上為一路由演譯式。權衡係用以計算 Μ聯，因而可決定使用現在路由或產生新的路由。復檢時 輪入型樣可經由現爲活動的網络自由地遵循任一連接路徑 。在較低之層次中，此一情形通常會產生許多會顯示之錯 誤檄活，但因其繼續傅播之活性不足，故此等激活朝向輪 出«迅速消逝。 劫I鏟浦结式槪绐：所有Β的劾丨鏽泻席 實際上，演繹式僅有兩種操作棋式，學習或後檢。學 習棋式為此訓練糸統之本體。控制之第一階層，所有靥的 訓練（Train All Layers下文簡稱TAL)程序係列於第15麵 内。 步嫌tALl中建表功能係識別可供要學習的特別型樣之 逋接使用的神經元。可用性視目檷輸出神經元之情形而定 。因每一神經元能接至其九值粼近的神經元，故可用之神 經元係從目橒回算至考廉網络連接架構之_入。 無控制之各神經元有儘速映像在一起之傾向，結果導 致一雇或兩艟引導至目檷_出神經元之連接路徑。因路徑 本紙張尺度逋用中國國家標準（CNS ) A4規格（210X297公釐） (請先閲讀背面之注意事項再填寫本頁} 装 訂 23 經濟部中央標準局負工消費合作社印製 A7 B7_______ 五、發明説明（） 之消耗有除去型樣分類之可能性，故此一情況並不令人满 意。各互接路徑經予配置，侔便與目檷輪出神經元有最佳 數目的連接。此項最佳可由使用者經由“訓練演嫌式目檷 參數”所定義。此外，所給予之目檷參數連接路徑約等於 有效值。此演課式可保證髙有效值之神經@不一起映像， 及低有效值神經元係強迫映像，以防止其傳播至目檷_出 Ο 此外該訓練演譯式之映像經予抑制Μ便： (1)映像功能所霈之鍮入神經元的最小數目係按_入 處三而在輪出處升降至最佳的數目（目欞參數） 〇 (2>神經元可能不會充當功能性神經元及互接神經元 兩種作用。 (3>現有功能性神經元如其足夠地接近一已經學會的 副型樣僅能學習一新的副型樣，如此可防止同一 神經元學習所有_入類別的副型樣。 “高有效值”及“低有效值”之定義係爲映像功能之 各輪入的值數配合》動升降率加Μ使用。對於一既定 的型樣，目檷輪出處之最大有效值爲_入靥中之活動 神經元乘Μ輪入層的有效值（¾數瘺最小所定義）。 离有效值（最大有效值）係定義爲目欏輪出處之最大 有效值除Μ目檷輸出處之達接的最佳儀數（爲目檷參 數所定義）。每一層的映像功能所需之神經元的餹數 (為餹數所定義）係以3至目檷參數之滑動上升率為 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） 1^^1- ml (I Im Hr —^ϋ n * , T穿 >* (請先閲讀背面之注意事項再填寫本頁) 訂 24 經濟部中央橾準局負工消費合作社印製 A7 B7五、發明説明（） 基礎。 每一層係在步班TAL3中依序逸擇並利用步® TAL4至TA L9加以訓練。步班TAL4與TAL5中之訓練程序可嫌別層η與 層η + 1間所欲作之連接的最佳型式。各層之間之所有連接 一俟谦別完畢，神經元之記憶位置由步》TAL中之MEMORYA ALLOCATION (記慊配置）程序加Μ計算。然後執行步驪ΤΑ L7中之RECALL (愎檢）程序，Μ侔按照步班TAL14中先前 所建立之MEMORY ALLOCATION程序在各神經元記憶位置所 雔存的值指定第n + 1層的神經元之激發狀態。 在第n + 1層中之各神經元反應第η層中所學習之型樣 而瀲發，而此等第η+1蹰激發的神经元依序充作第η + 2層 之綸入。此一程序绣著步驟TAL3-TAL9迺路重覆至倒數第 二層。因在倒數第二層中之所有激發神經元均須接至目禰 幢出神經元，故不需計算連接路徑。步嫌TAL10之復檢程 序會査詢目檷，Μ明瞭其是否辨雄此倒數第二層的型櫬》 相两值（corr Val>亦係在步SETAL11中_得》Μ指示此期 络所作之型樣辨識的程度。目檷輪出神經元係按照其瀲發 狀態及該相W值而在步骤TAL12中加以更新。其次輪入節 點的有效值係在步嫌TAL13中Μ送至目檷輪出且因權衡更 新可能使先前非激發目檷輪出激發，故特再執行後檢（步 篇TAL15)。網络任一點直接接至目檷_出神經元之各神 經元（亦邸除該目檷處者外不忍受任何另外的映像功能） 則藉步RTAL16之核對連接功能加Κ識別。 下列說明旨在識別第15麵之訓練演繹式的各不同步» (請先閱讀背面之注意事項再填寫本頁) 裝- 訂 .IX · 本紙浪尺度適用中國國家標準（CNS ) Α4規格（210X297公釐} 經濟部中央標準局貝工消费合作社印装 Α7 Β7 五、發明説明（） 中所用程序所執行之功能。請參考每一程序所述及所示之 韋節及滾程·。 1. 細鳢》菘庠（τα丨.;η 訓練層（下文櫥稱TL)程序係表示在第17及18·内。 首先在階段TL1中，第nl靥係使用後檢程序予Μ愎檢（參 見第37圏及以下之第21節），Μ査看任何神經元是否已經 瀲發，以表示其辨雄一副型樣。從η層中各神經元輪送至 n + Ι層中各神經元的可能》入數目於是在階段TL2内加Μ計 算。此程序於是分兩鵰段執行》 在第17匾所示之第一階段（TLS1)可決定此網络是杏已 經學會特定神經元之連接。對於每一第η靥激發神經元其 1. 使用指段TL3及4，檷定所有次一層激發神經元爲功能 或互接神經元》 2. 使用步《TL4舆TL5依序遘擇該等檷定“功能”神經元 並加核對以察看在現在第η層神經元舆該檷定功能神 經元之是否有連接存在》如有連接存在及相W值大於 弱激發值（使用者所定義者），如步《TL6所定義， 在步*TL7中臁呼DM MAP程序（請參見第20疆及以下第 3節）。此一程序，如果成功，會檷明目下第η層神 經元為步《TL8、TL9及TL10酒路輿重入步RTL3所映 像者。

3. 如現有之第η層神經元未能如TL8步《所探測者成功 地映像出來，該等檷定之互接神經元均《於TL11、TL 本紙浪尺度適用中國國家標準（CNS ) Α4規格（210Χ297公釐） (請先閲讀背面之注意事項再填寫本頁) 装· 訂 經濟部中央揉準局負工消费合作社印褽 Α7 Β7 五、發明説明（） 12、及TL13諸步班中依序加Μ核對，以察看在此神經 元與現有第η層神經元之間是否有連接存在，如有該 項連接存在及相鼷值大於步班TL14中所探測到之“弱 激發值”，則需作INTERCONNECT (互接）程序TL15 ( 請參看第19釀及Μ下之第2節）。此一程序如果成功 應如映像出來者檷明出現有之第η餍神經元，並再回 到步«TL9至步» TL3。 如無檷定功能或互接第η + 1層神經元接至現在的第η 靥之神S元，或相鼷值己夠离，則應使用TL16、TL17舆TL 13及TL14核對第η履之神經元有無唯一性》如所學之型樣 如TL18步想所探知者不爲一新的型樣，則其可能爲先前學 習的功能僅可識別現在神經元之一項連接。如此邸爲所属 情形*則UNIQUE MAP (唯一記憶配置程序）程序步《19 ( 請參看第22鼷及Μ下第5節應可雄別該唯一的連接。 **訓練一層”程序第1階段係使用步«TL9、TL10至 TL3重新循環至最後階段的神經元經予處理，於是第2階 段係在步》TL20進入步«TL21。 “訓練一層”程序之第2睹段TLS2係表示在第18圈並 對未爲第一陏段禰明爲映像出來之第η層中之各神經元加 Μ再評估。如型樣不靨於如同步》TL22所探测者之新的一 類*則應先檢査有無雜波然後檢査有無唯一性。 雜波 如未顧映像之第η曆的神經元之有效值比最大雜 波（使用者所定義）少，且下一層的神經元如步 班TL23所偵測者正在激發中，於是現在第η層之 本紙張尺度適用中國國家標準（CNS > Α4規格（210X297公釐） 27 (請先Ε讀背面之注意事項再填寫本頁) 装· 訂 五、發明説明 () A7 B7 經濟部中央標準局工消費合作社印製 神經元係在步驟TL24内當作雜波忽視不管。 唯一性如未顯映像的第η層神經元不能忽視為雜波，則 實施步RTL25之檢査，Μ査看此神經元有無步驪 TL26及TL27中之唯一的連接存在。 對於新的型樣，或有期上述兩項檢査之下列故障，步 KTL28可予操作Μ決定一新的連接路徑。如現在的第η靥 神组元的有效值大於如同步想TL28所探測的“最大有效值 ”，於是需要呼叫INTERCO關ECT (互接）程序TL29 (請參 看第19圃及以下的第2窣）。如該有效值少於步》TL30所 定義的“有效值”，刖需在步》TL31内呼叫循視（LOOK AROUND)(循視）程序（請參閲第22圓及第5節），Μ尋 求一接至至少有2傾«I入可用之第η層神經元之連接。如 有效值係在“有效值”與“最大有效值”之棰限内（步班 TL30無_出），則在步«TL30内須呼DML00RAR0UND，並 且要求現在之第η層神經元必須接至至少具有可供其使用 之**總共數”輪入的第η + 1層之神經元。（由LOOR AROUND 程序所執行之各步》係表示在第22圏及在Μ下之第5節内 加Μ銳明）。在第η曆中每一未檷明的神經元均須執行上 逑步《，步«TL33及TL34來回循璣Μ重人步«TL22。 由訓練層程序第2隈段所執行之最终程序爲計算第 η + 1靥神經元之有效值。經由呼叫步嫌TL35中RIPPLE SIGNIF丨CANCE (漣波有效值 > 程序（請參見第36圈及Μ下 之第20節）邸可達成此項計算工作。 下列說明係槪括性地列舉藉由“所有β訓》”演譯式 本紙張尺度適用中國國家橾準（CNS ) A4規格（210X297公釐〉 —^ϋ· dn —J— HI —14 m - T _ • · (請先閲讀背面之注意事項再填寫本頁) 訂 28 經濟部中央標準局負工消費合作社印製 A7 ____B7__ 五、發明説明（） 及“訓練一層”程序，與各該程序所呼叫之各不同程序中 所雄別之每一此等程序所執行的功能。 2. 互接程序IP.第19圈 起初呼叫出以後第12節所述及第29圏所示之GUIDE程 序步费IP1，以決定要接至之最佳下一層神經元。如步級 IP2找到一速接點，該項逋接所影響之所有陣列參數係在 步8RIP3更新，而相鼷值係經由CORRNUN (相醐）程序（請 參見第31圈及第14節）而在步«ΙΡ4中予Μ決定。然後執 行權衡UPDATE (更新 > 程序ΙΡ5 (第11節）。如在步篇1Ρ2 中未找到一連接貼，則在步«ΙΡ6中呈報Λ未能映像”之 錯謓。任一方法神經元均為步篇ΙΡ7所檷明爲願出映像。 如神經元未能映像，則其係當作無建接點所作映像而有效 地予Μ雔存。此一作法可在無連接貼存在時防止此神經元 之連繙鑑定。 3. I»儋痗庠ΜΡ 第20匾所示之映像程序僅於一可能之下層功能神經元 已在“訓練一層”程序之第1階段中雄別出來始予呼叫。 現有之第η層神經元将在步篇ΜΡ1中，如有另外的第η之 層神經元亦予連接*則係在步《ΜΡ1中當作‘映像’接至 下一層神經元。該另外的第η層神經元因而加以核對，Μ 確映像之可能。藉著RECORD CONNECTIONS (記錄連接）程 序（請參見第25鼸及第8節）即可在步骤MP2内達成此一 工作。可供映像使用（及痛要的）之神經元例如可能多達 三掴，但此映像之實現會使下層功能神經元之有效值离於 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐〉 (請先閲讀背面之注意事項再填寫本頁) 装. 訂 ^00304 a? B7 五、發明説明（） “最大有效值”之容許最大值。因此此映像功能不會爲藉 ‘無’路由從步骤MP3出口所容許。 如映像成功，由此等連接所彩響之所有陣列參數均在 步》MP4與MP5中加Μ更新，而相鼷值係藉相鼷數程序（請 參見第31臞及第14節）加Μ決定。權衡更新程序步骤ΜΡ6 (請參見第28圏及第11節）然後予Μ執行，而包含在映像 功能内之所有第η層的神經元均如同映像加以檷誌。如無 法將第η層神經元之必需數映像至第η + 1層的神經元（步 « MP3路由無），則映像功能係終止在步» ΜΡ7，而由記 錄連接程序（git參見第8節）所定義之連接均予脚除。如 MAP程序係從循視（LOOK AROUND)程序步费MP8 (請參見第 22·及第5節）呼叫，於是呼叫INTERCONNECT (互接）程 序步RMP9。

4. 唯一BR晋BR晋箱席：>英庠UMP 經濟部中央橾準局貞工消费合作社印裝 ----------1 装-- ·· (請先Κ讀背面之注意事項再填寫本頁) 第21B所示爲本程序，而步KUMP1及UNP2則爲分析中 之現在第η層的神經元予Μ執行，功能的數目及爲此已經 學會之互接連接均經計算。步班UMP3中所探測之唯一功能 連接會呼叫MAP (映像）程序UMP4 (請參見第20圓及第3 節），同時步8EUMP5中所偵測之唯一互接使互接程序（請 參見第19國及第2節）将在步《UMP6被呼叫。一籲神經元 同時具有一唯一功能及一唯一互接連接乃永逮不會發生的 事情（因此時此項功能及連接均不會爲唯一者> 。

5. 推箱珲庠LAP 當導找一特定的第η層神經元之連接時，臁呼叫第22 本紙浪尺度適用中國國家揉準（CNS ) Α4規格（210X297公釐） 30 經濟部中央樣準局貝工消费合作社印製 A7 B7 五、發明説明（） 晒所示之循視程序。可能時最好實施一映像功能。如第η 層的神經元之有效值比“有效值”少*則規定至少兩神經 元應映像在一起，否則映像所需之最小神經元數目爲“總 共"所指定。.如有所需數目之神經元可如步嫌LAP1中所 雄別供映像使用，及有一錮Μ上之下&神經元可充當一功 能神經元步《LAP2 ‘是’於是呼叫相两（CORRELATE)程序 步驟LAP3(誚參見第30圖及第13節）。此程序係計算每一 預期的下層神經元，及如該神經元之映像已完成則計算會 產生之相醐值。相關（CORRELATE)係回到所具相鼷值最高 之下層神經元之“相關值”為或步驟LAP4中所澜試之故陣 的一項指示。如成功步嫌LAP4 ‘是’，則下層目檷功能神 經元經予雄別至步驟LAP5内之配置程序記燫（MAP)程序（ 請參見第20鼷及第3節）。請注意，與MAP的程序相同， CORRELATE程序係保證在計算相鼷值之前映像為可能。此 一情形可保證僅當滿足各輪入之所需數之最佳功能的神經 元存在時始呼叫MAP。 無法從步嫌LAP4執行映像功能‘否’或從步骤LAP2執 行映像功能‘否·，現在的神經元係受迫映像為總數等於 步班LAP6中所偵測到的2或為互接。如現在第η層的神經 元之有效值比“有效值”少，則其為FORCE MAP (強制映 像）步明LAP7 (請參見第23圏及第6節）所迫使，否則應 呼叫互接（INTERCONNECT)程序步班LAP8 (第19圃）。

6. 禅制紀镱《詈转库：>稃床FMP 此程序係表示在第23圖内，且僅當第η層的神經元之 本紙張尺度適用中國國家標準（CNS ) Α4規格（210X297公釐） ，， -31~ -----„--Ί^1裝------訂------(東 (請先W讀背面之注意事項再填寫本頁) A7 B7 五、發明説明（） 有效值過低以容許其被互接至下層時始予呼叫。起初，則 想要藉本層内之另一神經元執行一項映像功能。 在現在層中之鄰近各神經元係在步班FMP1至PMP3中加 Μ檢査核對，如果有任何所具有效值為非零者存在，則在 步驟FMP4内S擇所具有效值為非零的最低值之神經元。此 兩神經元係在步《FMP5中於此時加以檢査Μ核對有無下靥 功能的神經元及在步«FMP6内公用於檷定爲可使用之各該 神經元。相两程序（請參見第30·及第13節）在步》FMP7 中予以呼叫，Μ決定最佳次層功能神經元，及如成功ΡΜΡ8 =是，則呼叫MAP (映像）Μ便可在第23圏内執行強制映 像程序。 如現有層步嫌FMP3否中或在相Ρ步骤FMP8否中無相鄰 的各神經元存在，或記懞配置程序（MAP)程序不成功步》 FMP10否，則現在神經元必須在步》FMP11中迫入一已經學 會現在層的一功能或互接之次層神經元内。次《可用神經 元之有效值係在步«ΡΜΡ12中加Μ計算以及先在步篇FMP13 中排序成非零最低有效值之序列。然後在步«FMP14中呼 叫映像強制神經元程序（請參見第24函及第7節> 。 經濟部中央標準局負工消費合作社印裝 (請先閲讀背面之注意事項再填寫本頁)

7. 記憧ίΒ罾奮嫌神》朵毋席MIFNP.第24K 只要有一可用之次一層非零有效神經元如MIFNP1步骤 内所偵澜者存在，而映像功能不會妨礙步驟MIFNP2中所偵 澜到之“最大有效值”參數，映像係在步班Ml FNP3中有所 說明。受各項連所彩響的所有陣列參數在步班MIFNP4中加 Μ更新，而相闢值則藉相關數（C0RRNUM)程序所決定（請 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） 32 32 - 經濟部中央樓準局貝工消费合作社印裝 A7 B7 五、發明説明（） 參見第31圓及第14節）。榷衡更新程序（請參見第28圓及 第11節）於是在步驟MIFNP5中予Μ執行。在此時須請注意 者爲下一層神經元（此神經元係迫入此下靥神經元内）所 學曹之先前功能或互接現己作廢。结果，為第η + 1層的神 經元所產生之最後權衡歲面爲覆寫者。 8. 紀嫌瘇格程庠RCP.第25画 本程序之目的在不妨礙“最大有效值”參數下連接現 有層各神經元至下一層的功能神經元。因下一層神經元已 經加Μ識別，在步思RCP1中從現有層中所識別的九Μ可能 _入神經元係先在步》RCP2中排序麁非零之最低有效值序 。此等神經元乃經由步》RCP3 (請參見第26圔及第9節） 内之依序映像程序而予依序映像直至已無更多之神經元或 己到建有效極限為止。應請注意者該呼叫映像程序臁已界 定現在之第η層神經元，因其已舆識別的功能神經元，故 會引起整鴒處理程序。記錄連接将步驟RCP4中成功地接妥 之各神經元數目回至記憶配置程序<ΜΑΡ>。 9. 依庠SRfllg謇毋麻>18席ΜΙΠΡ.第26園 可供互接使用之現層神經元係先在步«ΜΙ0Ρ1中依序 蘧擇最低非零有效值。MAP CONNECTION (記懞配置程序達 接）程序（請參見第27圏及第10節）係在步骤MI0P2中呼 W*及如在步《ΜΙ0Ρ3中偵測成功則轉回一’Γ。然後成 功連接之數目係在步思MI0P4、MI0P5及MI0P6中增加，Μ 便回至RECORD CONNECTIONS (記錄連接）程序（請參見第 25·及第8節）。 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） 1.>-------装------訂 •· (請先閲讀背面之注意事項再填寫本頁) 33 經濟部中央標準局員工消费合作社印製 A7 B7_ 五、發明説明（） · 10. 换像at格稈序MCP.第27圃 映像連接旨在辨別MAP (記憧配置程序）程序（請參 見第20圈及第3節）的各呼叫，此等呼叫係試圖決定是苔 已學會一項連接或在MCP1、MCP2及MCP3中新的連接是否有 效0 下一層功能神經元先在步《MCP1中加Μ檢査核對。如 其為激發且相鼷值大於“瀲發值”，則可從“訓練一層” 之階段1中呼叫MAP程序。如連接未如步* MCP2中所偵拥 中已經存在，則醮将故陣報至呼叫程序。 如一現有的連接已在步》MCP2識別為‘是’，或一新 的連接要學習步《MCP1 ‘否’，則有效值須在步想MCP3中 核對其確實性。凡迄尚未能為MAP程序所定義之映像亦在 步《MCP4中亦予核對。現有層之神經元於是係鬮釋為接至 下一層功能神經元，相两之參數係在MCP5及MCP6中予以更 新，及成功=’Γ回到依序之MAP。

11. 争新海甫.UP 第28圈所示之更新程序係用Μ決定是否需作權衡修正 。如型搛已藉麹离之相籣值予以辨雄*則不需從UP1之權 衡更新之‘是’路由。如相醐值少於“激發值”（從步» UP1之‘否》)但比“弱瀲發值”大（從步«UP2之‘是’ )則需在步《UP3中爲現在的副型樣產生權衡並藉MERGE WEIGHT (合併權衡）程序（請參見第35·及第18節）與下 一現有的權衡A面合併。如相两值不夠离‘魚’來自UP2 之輸出，則應藉GEN NEhl WEIGHT PAGE (產生新權衡爽面） 本紙張尺度適用中國國家標準（CNS ) A4規格（210X 297公釐） (請先閱讀背面之注意事項再填寫本頁) 裝. 訂 34 經濟部中央樣準局員工消費合作社印製 A7 B7 五、發明説明（） 程序（請參見第32鼷及第15節）在步想UP4中產生一新的 權衡爽面。藉步篇UP5之兩更新功能的菹擇甚爲重要。如 有如反向傅播，僅有一合併榷衡設施存在*則紊亂的錯誤 資料會鼗重地彩響權衡的分佈及降低本糸統的性能。然而 ，如果僅產生新的權衡爽面，許多榷衡歲面會代表極爲相 似的型樣，而此糸統之記憶會迅速用盡。因使用者界定參 數“撖發值”及“弱瀲發值”，故分類邊界可任意設定， 且藉兩種更新逸擇，可提供較大程度之伸繃性。 12.指瓛薛庠GP. 第29圖所示之指導程序當在尋鬼最佳的逋接黏時為特 別的現有層神經元所痛求。起初可供連接使用之下一層節 酤係在步》GP2中決定（此等節為步《TALI中製表功能所 定鞔）。播得最佳節酤功能步篇GP2則分析有鬭目檷輪出 節點（最後層之_出）之可供使用節黏，並依優先序決定 下一層各節點中會提供最佳連接路徑之節酤。一經鐽定完 畢，邸可依序評估各節酤。 1. 如最佳節點尚未用作來自步嫌GP3之一功能*否*或 互接神經元，此時已可使用。 2. 如現在之型樣並非新的型樣類別‘否，步篇GP4 或 現在的神經元係欲互接至一互接最佳節貼步《GP5 * 是* (即從INTERCONNECT (互接）所呼叫之GUIDE (引導） 及已定義爲互接神經元之最佳節黏）， 或 本紙張尺度逋用中國國家標準（CNS ) A4規格（210X297公釐） (請先閲讀背面之注意事項再填寫本頁) 装. 訂 35 經濟部中央標準局男工消費合作杜印製 A7 ΒΊ_ 五、發明説明（） 現在的神經元欲予呋像於一功能最佳節點步KGP6 ( 從CORRELATE (相期）所呼叫的GUIDE及已定義爲一功 能節酤之最佳節酤） 於是：_ (1>檢査Μ察看最佳節酤是否已經接至現在的神經元 步驟GP7。如果如此*則其可於此時再用。 <2>如最佳節點已直接接至目檷_出節點（麁檢査有 W學習程序之前一呼ΠΜ之建接所明定），有效值 少於“最大有效值”，而最佳節點尚未瀲發及未 替映像，則其可利用步驟GP8及GP9加Μ使用。 3. 如上逑步雄中之每一項未能通遇步«GP9所有可供使 用神經元之步«GP11的‘否’路由，則臁檢査察看由 此層先前所習映像或互接功能是否可在步班GP13中加 Μ轷估，此項作法舆FORCE MAP程序（第6節）相似 ，但此時有效值規則可予違反（亦邸有效值可大於“ 最大有效值”）。 4. 如上面之各項無一產生一達接貼，應即呈報‘映像銪 故陣，GPF。 指導Θ至其呼叫程序之成功的指示器GPS及如果成功 ，則其可雄別建接之下一牖節酤。 13.相鼷诨席CP.第30圈 下一靥九籲相粼的神經元中之每一神經元均爲可用性 及有效值加Μ撿査，旨在利用步»CP1、CP2或CP3及CP4至 CP5及CP6回至CP2之邐路，以提供現在第η層的神經元一 本紙張尺度通用中國國家揉準（CNS ) Α4規格（210X 297公釐） (請先閱讀背面之注意事項再填寫本頁) 装· _ 36 - 經濟部中央揉準局貞工消费合作社印製 A7 B7 五、發明説明（） 連接酤》如發現無神經元可用，則在步糠CP7内回至故陣 RF (回到故陣> 。 各可用之神經元均予評雄》以便可在步«CP8中尋求 最佳的相關值。如果如同步® CP9至CP12所明定，播得相 等（兩或更多的神經元具有相同的相醐值）*則在步骤CP 13中呼W GUIDE，Μ確定最佳之神經元及由CORRELATE所回 來之f指導’神經元RCV的相鼷值。 如最佳相蘭值RCV已發現，則其在步明CP10中檢査之 目的在確保其离於最小相两值“最小相（使用者明定 )。此項檢査顔爲重要，例如，如一神經元已經學會一3 籲神經元之副型樣，及如此三β神經元中之一爲活動有源 者而另外的2僮為Μ斷（’0’），則會產生一小的相两值 。因此神經元有效地會被迫學習現有副型樣的新表示法， 故不希望使用一具有此一低相藺值之神經元。新的副型樣 既然可能與現有副型樣無η，故此结果會傷害本条统。 如最佳相Μ值不高於步班CP10 ‘否’之“最小相两” 值，則僅步《CP11所明定得到零相W之各神經元另再加以 考*。如步班CP12 ‘是’獲得等式（一錮Μ上的神經元具 有零相》)，可在步驟CP13呼叫GUIDE，Μ決定下一神經 元。因此CORRELATE (相鬭）可雄別最佳的預期功能神經 元及恢愎其相两值“Corr Val” RCV。

14.相Μ齡诨甫CMP 第31·所示之相鼷數程序可使用CMP1至CMP13計算神 經元所餘存的每一權衡爽面之相関值。最佳相η值於步爨 本紙張尺度適用中國國家揉準（CNS ) Α4規格（210Χ297公釐） (請先閲讀背面之注意事項再填寫本頁) 装- 訂 -37 - 五、發明説明（ A7 B7 經濟部中央揉準局貝工消费合作社印製 CMP14内確定後於予以恢復。 由步篇CMP13所更新之權衡的每一負面，步《CMP2至 CMP9 ‘是，，CMP12 ‘否’各步«[均予執行，藉由乘Μ皤 存的榷衡舆活動有源層之現有有效值可在步嫌CMP中決定 柑Μ值。請注意此程序可在具有不同有效值的相同數元型 樣之間加Μ區分。 15.商Φ斩《嫌ί鱼而的理甫GNWP 第32圔所示之產生新權程序係產一既定目檷神經元（ η + 1靥中從η層内各扇入神經元學習映像之神經元）之權 衡的炱面。各權衡爲GENERATE WEIGHT (產生權衡）程序 (請參見第33麵及第16節）在步思GNWP1所產生。然後在 步*GNWP2内實施一項檢査，Μ査看（1>實際上需要一新的 榷衡負面及（2>從步《GNWP3有一備份榷衡負面存在4是’ 。步《GNWP2之‘再使用’檢査可保證在執行訓練層（ TRAIN LAYER程序期間神經元不在再使用。當實施一強制 映像時可發生重使用。如一現在靥的神經元係迫入在訓練 此現有層期間已經學會一映像的下一靥神經元内，則須重 用現有的權衡負面》包含步« GNWP4及GNWP5之使用陣列可 爲每一神經元篇存已被配置的權衡爽面的A數（“useptr ”經常對準下一空的權衡A面）》在重使用之情形下，最 後的權衡負加須重加評估。因所容許的權衡爽面之總頁數 有一極限（使用者所明定）*故須作一項檢査，Μ保设其 在步《GNWP3中並未全部均己使用。如有空的權衡炱面存 在，則現有炱面數，“最後數目”係根攤“ useptr"及《 (請先W讀背面之注意事項再填寫本頁) 裝. 訂 Λ 本紙張尺度遑用中國國家標準（CNS ) Α4規格（210X297公釐） 38 -0(2 ^00304五、發明説明（) A7 B7 經濟部中央標準局員工消费合作社印製 useptr dated”設定。於是乃在步RGNWP7中執行WEIGHT ALLOCATION (權衡配置）》如無空的權衡爽面存在，則在 步《GNWP8中訊知使用者。 16.産生權衡稈序GNP.第33· 因爲一般言之，步《GWP1中所詳之_入層，其所具之 非活（‘(Γ >神經元遠比任何其他層者少，故其本身具有 抑制參數，即步驟GWP2中所設定之"抑制零”。所有其他 各層係操作於步《GWP3中所設定之抑制參數“抑制休止w 。在步嫌GWP4中所S而正爲其產生權衡的神經元（目檷神 s 經元）且有九值可能之庙入黏，因而有9値權衡》此9 鴒爾至之神經元先予檢査，Μ察看是否映出鼷形並在步》 GWP5内接至目檷神經元。如情形如此，則執行步骤GWP6並 產生一正的權衡。一俟所有的此等扇至神S元均已檢査琢 燒步8KGWP5、GWP7及GWP8的迺路有無正連接後，再査詢此 等神經元環鐃步嫌GWP10、GWP12及GWP13有無貪連接。對 於未映出圔形並從步骤GWP10來撖發‘是》輪出之任一 a 至神經元，則在步思GWPU内產生一負的權衡。最後各爾 至之神經元係環換步«GWP15、GWP17及GSP18之迺路檢査 有無不活勤之連接。凡已映出園形但未連接或未映出形 及激發的任一神經元則在步RGWP16中指派一無作用的權 衡。然後使用步驟GWP19至GWP29計算A的及無作用的權衡 值。一俟所有連接均已雄別從步明GWP28的‘是’輪出， 各榷衡係使用如第34匪所之NORMALISE (正常化）功能在 步班GWP30内正常化。最後，在步《GWP31内計算定限值。 (請先Μ讀背面之注意事項再填寫本頁) 裝· -* Λ 本紙張尺度適用中國國家標準（CNS ) Α4規格（210 X 297公釐） 39 A7 B7 五、發明説明（ 請注意所有各權衡值與使用者所明定的參數有鬭。

17. 播衡配蓄程序WAP 權衡配置程序僅儲存GENERATE WEIGHT (產生權衡） 程序（請參見第33圔及第16節）或“權衡指檷”所指向的 全盤權衡陣列内之MERGE WEIGHT (合併權衡）程序（請參 見第35疆及第16節）所產生的榷衡值。每一神經元具有許 多的權衡巍面，而每一權衡負面可催存9儀扇入的權衡值 及由呼叫程序所產生的定限值。

18. 会併雄衡菘席MWP 第35·所示之合併權衡程序可容許現有之權衡A面典 一新的權衡負面合併。當正在學習中之現在映像_形與已 經學會的映像圖形相似時，此項合併仍羼需要。相似程度 爲相關值所決定。如相鼷值比“激發值"（良好的相關） 小但比“弱激發值”（不良的相两）大，此時發生合併。 經濟部中夫樣準局貝工消费合作社印製 (請先閲讀背面之注意事項再填寫本頁) 起初在步驟MWP1中呼叫GENERATE WEIGHT程序（請參 見請第33鼸及第16節），Μ產生目檷神經元要學習之現在 各映像圓形之一新的權衡集。目檷神經元所皤藏而在步班 MWP2中所選擇之權衡的最佳負面（最佳權衡〔神經元〕） (亦即播得此映像的最佳相關值之各榷衡的負面）於是利 用MWP5至MWP13各步嫌麁新產生的各權衡（權衡〔神經元 〕）所修正，步«MWP14 (請參見第34·及第17節）內之 WEIGHT ALLOCATION程序予以執行Μ雔存新值。因各權衡 均經修正淨陣列亦須加Μ修正。達成此項修正的最易方法 為在步驟MWP15中消除步«MWP16中現在目檷神經元逸揮第 本紙張尺度適用中國國家揉準（CNS ) Α4規格（210X297公釐） 40 A7 B7 五、發明説明（ 一權衡負面之淨陣列並使用目檷神經元所健存的步«MWP18 及MWP19為每一權衡的負面呼叫MEMORY ALLOCATION (記憶 配置）程序步«MWP17 (第19節）。

19.紀僮配晋程序MAP 第36圖所示之記憶配置程序可將正值或炱值配置给期 (NET)陣列（“網指檷”所指向者）Μ指示出爾入型樣具 有良好闢聯（正值）或具有不良鼷聯（Α值）之所在。正 值或Α值本身係供評估之用，並對神經元之當作二進位靜 態随機接逢記憶器未設有限制。因在資施任何期络訓練之 前，網陣列在起初係設定為零，一零值所示者爲僅不知任 何資訊。實際上此與負值之情形相同。如此正值=’Γ = 已辨識，一負及零值=’0’ =未經辨雜。 經濟部中央樣準局属工消費合作社印製 ----- I-ΊΤ 装！ •· (請先閱讀背面之注意事項再填寫本頁) 訂 現有榷衡A面（爲USE〔使用〕陣列所供給）中九儀 扇入神經元中每一神經元的榷衡係在步班MAPI中同對應的 定限值從餹存内檢索出來。九催扇入神經元共提供2* =512 値記憶位址的位置。對於0至511之每一位址，均在步》 MAP3、MAP4、MAP5、MAP6及MAP7之垣路中計算激活位準。 對於特別的位址對應於神經元活動（’1’）的各位置之權 衡均求得其和。例如，位址468 = 111010100，故此位址之 激活位準為 激活=權衡[9] +權衡[8] +榷衡[7] + «衡[5] +權衡[3] 如瀲活位準如同步班MAP8所偵澜者係大於定限位準，其可 闞釋為目檷神經元會辨識提供該位址之映像圏形，而一正 值係由步《ΜΑΡ9皤存在NET陣列内。所雔存之值與權衡炱 本紙張尺度適用中國國家揉準（CNS ) A4規格（210X297公釐） 41 -λ 1 - 經濟部中央梂準局貝工消费合作杜印製 A7 B7 五、發明説明（） 面有_，Μ致在評估時，設定可回溯至一待別的學習程序 。如NET陣列已經爲空，而由Α面參數（使用者所明定） 所修正的激活位準大於步《ΜΑΡΙΟ中所偵測之定限值，則 在步《ΜΑΡ11中儲存一表示缺乏期聯的炱值。雖然相反愴 形靥實*但請注意炱值永速不會覆寫正值。此一作法可保 證，一旦學會，即不會‘忘記’ 一型樣。如原來的型樣雜 波待別強，合併權衡設施將容許修正。上述程序係琢编替 步班ΜΑΡ12及ΜΑΡ13所裂立的迺路為每一映像國形而實施。 20. 潴波有故倌稈席 步骤TAL13及TL35中所用之漣波有效值程序例如僅在 求得綸至特殊次一層目棲神經元之各扇入神經元的有效值 之和。僅實際上已接至目檷之各扇入神經元的有效值始予 加入。丙此目禰之有效值為各繪入有效值之和，且如此除 呈報有映像形故陣外，可確保_出目檷神經元（最後一 層的目檷）為_入層檄發神經元之有效值的和。 21. rlp.第37匾 步嫌RLP10所依序選择之層内的每一神經元，其各輪 入映像疆形均已分析，以便每次進入此程序時可產生NET 陣列之一位址。瀲發中之九偏®入神經元中之任一神經元 (不論已否連接）提供對應數元之位址内一 ’Γ。然後於 目檷所指定之位址處步期RLP4中査詢NET陣列是否明定爲 激發。如零或爽值係皤存在NET陣列，目檷神經元係如步 骤RLP8所明定爲矚閉。 制鳢漼g忒《里 本紙張尺度適用中國國家揉準（CNS〉A4規格（210X297公釐〉 (請先閲讀背面之注意事項再填寫本頁) 裝. 訂

A 經濟部中央標準局貝工消費合作社印製 Α7 Β7 五、發明説明（） 從上述可知本發明之神經網络先藉雄別目檷神經元及 因此而可允許的互接路徑予以訓練。在狀態之每一输 入神經元係定義為具有一有效值，可任意地設定爲10,所 有其他神經元則具有零有效值。共有三種連接邸：（1>: 正連接（2〉炱連接（3>非活連接。 正連接係從’Γ狀態之第η雇神經元至第n + 1餍神络 元逋成。同樣地，A連接係從’〇’狀態第η層神經元至第 η+1層神經元達成。當第η層的神經元爲活動（邏辑”1” )但並非為學習中之型樣的互接路徑之一部份。 «由連接’1’神經元之有效值乘以正加權參數，可將 正權衡指派給正連接。爽榷衡之決定係藉求得所有正連接 至神經元的正權衡之和及乘以炱加權參數而達成》此項負 加權係依據神經元的負輸入之值數予Μ正常化。同樣地* 非活權衡之決定係藉求得正加權之和*乘Μ非活加權參數 及依據神經元之非栝輪入的值數以正常化而逢成。所有權 衡參數均爲使用者所明定。神經元權衡係篇存在權衡炱面 。臁請注意者訓練演譯式可允許層η内之一神經元将其本 身接至層η + 1内之任一可用神經元。 一旦完成連接*第η + 1層神經元之有效值爲與其相接 的第η層神經元之有效值的和。 第η層之所有神經元一旦均已完成連接•即可計算第 η + 1層神經元之激發值。此項工作稱為愎檢且方法與測試 此鋦络的性能時所用者相同。第η層神經元提供位址给第 η + 1層的神經元且此等位址之位置均予査詢。激發值係設 本紙張尺度適用中國國家橾準（CNS ) Α4规格（210X297公釐） (請先閲讀背面之注意事項再填寫本頁) 装. 訂 43 ^00304 A7 B7 五、發明説明（） 定如下：- 如雔存值>0， 激發值=-1 如儲存值=0， 瀲發值=0 如健存值>1， 瀲發值=1 如雔存值>10，激發值=2 數值0及-1係表示一非活’0’神經元狀態，·Γ及’2·二 者係表示一活動神經元。而活動的激活值係用以決定榷衡 貪面之運算。 經濟部中央標準局貝工消费合作杜印裝 — II _^--：---J 装— I I I I I 訂 *- (請先閲讀背面之注意事項再填寫本頁) 舆每一神經元相颺的權衡係篇存在權衡負面内。酋一 新的型樣爲網络所學習時*其首先會査核以明瞭此新的型 樣是否舆其已經學習遇者相似。藉由蓮轉網络於愎檢方式 即可連成此項査核工作。輪入型樣滾經網络檄活下一靥的 各神經元至其到速輪出層為止，此時目檷可能檄發或可能 不瀲發。訓練演嫌式於是自鑰入層開始行經網络。如無下 一層的神經元在撖發（為0或1之激發值），則須學習互 接並皤藏一新的榷衡Α面。如下一層的神經元藉值為1而 在激發，則其可闡釋爲弱檄發。此一情況一為具雜波或不 完全而僅辨雄之綸入型樣。此網络藉合併權衡發生反醮， 亦即更新一現有權衡炱面俾可容纳有雜波之型樣，及如此 更新神經元記憶位址所鏞存之各值。如一下一層的神經元 係藉爲2之一值而在激發，則其可_釋爲強激發。該輪入 型樣已予辨織，因而不需權衡或神經元記憶的更新》 一旦期络己經學會必需的型樣，則其可在後檢方式加 以澜試。輪入靥係設定至欲予雄別之型樣及下一層活動神 本紙張尺度適用中國國家梂準（CNS ) A4規格（210 X 297公釐） ^ ^ -44 - A7 B7 五、發明说明（） 經元之位址。各輪入靥神經元所指定的位址均予査詢*而 下一層神經元的激發值係設定至記憶器所鸛存之值。每一 層均重覆實施此一程序，直到到速輪出層為止。如輪出層 之各神經元均未曾檄發，則此型樣未經辨雄。如單一的_ 出神經元已瀲發，則此μ入屬於與該輪出有關的型樣類別 。如有兩僱或更多的綸出神經元已激發，則此輪入已分類 爲屬於一餹類別Μ上。因此慵形容許此神經網络可偵澜多 集或副集，故其本身爲一有用的功能。 I.,-----,—「裝-- • - (請先閲讀背面之注意事項再填寫本頁) 訂 經濟部中央揉準局員工消费合作社印製 本紙張尺度適用中國國家標準（CNS ) Α4規格（210X297公釐） 五、發明説明（） A7 B7 範例格 結構

X· X2 X3 X4 X5 足限 ί -8 C 20 -10 4 16 値 激竣 0 0 0 0 0 0 0 N 1 0 0 0 0 1 16 Y 2- 0 0 0 1 0 A N 3 0 0 0 1 1 20 Y 4 0 0 1 0 0 •10 N 5 0 0 1 0 1 6 N 6 0 0 1 1 0. -6 N 7 0 0 1 1 1 10 Y 8 0 1 0 0 0 20 Y 9 0 1 0 0 1 36 Y 10 0 1 0 1 0 24 Y 11 0 1 0 1 1 40 Y 12 0 1 \ 0 0 10 V 13 0 1 1 0 1 26 Y 14 0 . 1 1 0 14 Y 15 0 1 1 1 1 30 Y 16 1 0 0 0 0 -5 N 17 \ 0 0 0 1 11 Y 1Θ 1 0 0 1 0 -1 N 19 1 0 0 1 1 15 Y 20 1 0 1 0 0 -15 N 21 1 0 1 0 1 1 N 22 1 0 1 1 0 -11 N 23 1 0 1 1 1 5 N 24 1 1 0 0 0 5 N 25 1 \ 0 0 1 31 Y 26 1 1 0 1 0 19 Y 27 1 1 0 1 1 • 25 V 28 1 1 1 0 0 5 N 29 1 1 1 0 1 21 Y 30 1 1 1 1 0 9 Y 31 1 1 1 1 \ 25 Y (請先聞讀背面之注意事項再填寫本頁) ,裝- -59 經濟部中央揉準局貝工消費合作社印製 5輸入結構 m —太艚神經元 第1表 本紙張尺度適用中國國家標準（CNS ) A4規格（210X 297公釐） 46 A7 B7 五、發明説明（） 範例格 結構

X1 X2 X3 X4 X5 眾μ 1 -10 4 16 •5 18 12 Μ ' 激發 0 0 0 0 0 0 0 N 1 0 0 0 0 1 .12 N 2 0 0 0 1 0 18 N 3 0 0 0 \ 1 6 N 4 0 0 1 0 0 -5 N 5 , 0 0 1 0 1 -17 N 6 0 0 1 1 0 13 Y 7 0 0 1 1 1 1 N 3 -5 20 1 2 m 激骑 Θ 0 1 0 0 0 •S N 9 0 1 0 0 1 •3 N 10 0 1 0 1 0 -4 N 11 0 1 0 1 1 -2 N 12 0 1 1 0 0 15 Y 13 0 1 1 0 1 17 Y 14 0 ^ 1 1 1 0 16 Y 15 0 1 1 1 1 18 Y 4 16 -5 1Θ •12 瀚鸪 16 1 0 0 0 0 4 N 17 1 0 0 0 1 *8 N 18 \ 0 0 1 0 22 Y 19 1 0 0 1 1 10 Y 20 1 0 1 0 0 -1 N 21 1 0 1 0 1 •13 N 22 1 0 1 1 0 17 Y 23 1 0 1 1 1 S N 15 •21 -20 30 10 m 激轴 24 • 1 1 0 0 0 •6 N 25 1 1 0 0 1 4 N 26 1 1 0 1 0 24 Y 27 1 1 0 1 1 34 Y 28 1 1 1 0 0 •34 N 29 1 1 1 0 1 -24 N 30 1 1 1 1 0 4 N 31 1 1 1 1 1 6 N —*.1---「--裝-- •- (請先閲讀背面之注意事項再填寫本頁) 訂 .泉 經濟部中央標準局員工消費合作社印製 5輸入結構 多茁本體神經元 第2表 本紙張尺度適用中國國家標準（CNS ) A4規格（210X 297公釐） 47

Claims (1)

1. 經濟部中央揉準局負工消费合作社印裝 A8 B8 C8 D8 々、申請專利範圍 四訓練集或_入型樣A至D係表示於第5圖A、第6 B、第7圏C及第8圔D中之網络型樣。訓練演譯式描 繪每一型樣（爲功能或互接）於正_入與網络輸出之間路 徑上所定置的各神經元内。本簡單範例内之許多神經元相 同的映像可用於不同的型樣。當網络學會較多的型樣，愈 來愈少的神經元裼要重新配置。最後網络會呈飽和且在不 彩«網络復檢舊型樣的能力下，不可能學習另外的型樣。 先請考慮第5圈，型樣1001100會使Nil、NI3及NI4激 發。第一皤藏層内之神經元N1H1将當作互接，而神經元N1 H4係《應於部份型樣辨織功能-—11---。在第二隱藏層中 神經元H2H1及N2H3係充當互接以容許綸出神經元NXA辨識 輪入型樣。輪入型樣經予處理便各正綸入（1>係依序 處理，而在活動神經元連接上所示之數目係對驩於Μ "Γ 狀態正_入至神經元ΝΙ5開始之型樣Α的處理之次序。表 ICWP僅表示第一皤藏層神經元的互接功能。輪出層可藉由 神經元NXA之程式規劃而辨雄輪入型樣A Μ分別藉102之XI 、Χ2及Χ3上的輸入權衡來激發。 在第6圈中輪出神經元ΝΧΒ因其在XI、Χ2及Χ3上之_ 人榷衡分別爲超S辨識型樺Α中三集之定限的202，故不 痛再訓練即可辨雄_入型樣B 。在第7及8二醒中，輪入 型櫬C及D可使輸出神經元辨雄型樣C之輪入權衡XI、X2 、X3的情況分別爲1、1、1典型樣D之情況分別為5、0、 1。在第6至8各_中各雄別的神經元係充作互接。 劣太 本紙張尺度適用中國國家標準（CNS ) Α4規格（210X297公釐） 15 (請先閲讀背面之注意事項再填寫本頁) 装_ 、1T 經濟部中央梂準局負工消费合作社印製 A8 B8 C8 D8 々、申請專利範圍 第1表所示爲一值五鍮入之單一本釀神經元。每一粬 入所指派之權衡係連同定限值表示在本說明軎末端第1表 之頂部，而神經元於高通該定限值時邸會激發。每一權衡 可假定為正或爽的任一值。如此之一權衡表可在訓練過程 中產生之，但僅在缠當的神經元瀲發狀態已予程式規割於 此神經元之隨機存逹記憶器的各記嫌位器内始可產生此權 衡表。 網络中之每一神經元予以配置，侔可藉其能力麵作爲 其_入型樣型或一互接，而對鑰入型樣的辨雄有所貢獻》 雖然第一表列有所有神經元输入路徑情況組合各激發狀態 之彩像 > 但可視其對瀲發或非激發決定之貢獻所具相η有 效值（神經鍵權衡）而可使用數目有限的組合。此一事實 之優酤在配置時可予採用，即每一神經元能辨雄不同綸入 有效值之數目。 第2表所示爲一多本《的五_入神經元。記憧園係分 成七傾部份，每一部份可實現一新的神經鍵榷衡集合。以 此方式每一神經元所能代表之功能比其傳統的類比對手為 多。記慊匾中每一榷衡歲面之長度及位置為訓練演譯式所 決定。 第9_所示爲一僱三層十八神經的網络。輪入訓練型 樣“ 101101”係表示在網络之左邊，且虛線係表示非活動 連接，而實線則表示活動連接。具有正值的每一輪入係描 繪至一S定的输出神經元。在每一神經元處，輸入之傾數 及每一_入之有效值係用Μ計算適當的幢入權衡。每一_ 本紙張尺度逋用中國國家橾準（CNS〉A4规格（210X297公釐〉 16 (請先閲讀背面之注意事項再填寫本頁) 訂 A8 B8 C8 D8 六、申請專利範圍 入之有效值係於其朝向輸出神經元漣貢時可在每一神經元 處加以累積，此一特撖且可使用於Μ下將作詳細說明之规 練演譯式中。 神經元之架構已設計爲可秤量者，Μ容許可根據第10 之基本多神經元晶片獲得任何想要的網络。該晶片備有 _入/輸出增耗憝及驅動器I/0P&D，一控制暫存器CC、 程式規劃暫存器PR、一暫存器介面ΡΙ、兩値由路由通道RC 所互接的NCL及NCR神經元庫。每一晶片在一 13 X 13 X 13的 網络内累積2,070神經元。第11圔所示為晶片之如何组嫌 而成，兩神經元庫係由路由通道所分開，每一1,035神經 元庫係纊組成512數元靜態隨檐接逢格之23X45方塊。 經濟部中央橾準局負工消費合作社印製 --；----：--\—叫装-- (請先閲讀背y之注意‘事項再填寫本頁) 、11 每一神經元爲一 512X1數元的靜態随檐接達記懞器（ 下文籣稱SRAM)所组成，此記憶器含有位址解釅及感澜放 大器舆_出雄衡器。第12·所示爲由兩位址解两器，4至 16及5至32所包園之隨機接速記懞之磁心。每一 SRAN格之 鼉度為12 X8微米，各值別之神經元包含解碼、感澜放大 品及雄衝器之量度為296X 232微米，包含路由之整掴晶片 爲13.3乂11.6毫米。 --Ϊ· 多神經元晶片具有五種操作棋式，此等棋式係表示在 第三表内。棋式1及2係計«供單晶片綱络之用，棋式2 係用以讀取六十四镝數元（3X25毫撤秒）之三镳輪入資 料宇、執行網络功能及輪出六十四值數元中之三艢字。在 資料路徑應用方面*該網络每隔75毫撖秒可處理一健新的 本紙張尺度逋用中國國家揉準（CNS ) A4規格（210X297公釐） 17 17 A8

   經濟部中央橾準局β；工消費合作社印装 '申請專利範圍 1. 一種訓練數位化神經網絡的方法，該網絡包括有以正 常方式互接於一多層裝置中之多數個數位化神經元· 一輸入層傜接至該網絡之數位輸入路徑，該等神經元 具有η個輸入連接及一痼具有2n個位置之隨機存取記 億體，針對輸入連接狀態之毎一種可能的η位元組合 在該隨機存取記億體内各有一値位置，該方法包含將 欲由該網絡辨識之型樣應用一單次且無反覆程序，以 使該神經元之每一位置儲存與被分配予輸入連接狀態 之一相關聯组合之神經鍵權衡相對應的一種激發狀態 (接通或關斷），藉此神經元之作用有如一査索表， 以便從由輸入連接狀態定址的記億體位置輸出該激發 狀態。 2. 依據申請專利範圍第1項所述之方法•其中各神經鍵 權衡大致上偽按照流至毎一神經鍵權衡的資訊之重要 性而設定。 3. 依據申請專利範圍第2項所述之方法，其中該等輸入 連接狀態傜施加至該等網絡互接装置之一模擬*且僅 具有正（1)值之輸入連接狀態始予處理，以識別位於 通至指定輸出的通路上之各神經元。 4. 依據申請專利範圍第3項所述之方法*其中一訓練演 繹式將網絡輸入路徑逐一神經元地連接通過該模擬之 網絡，至其到逹全部的輸出目標為止*在毎一階段， 在可能扇至之各點以外的一神經元被査詢，以確定一 神經元是否已經學會一必需的功能，在無己經學會此 ~ 48 - 本紙張尺度逋用中國國家標準（CNS ) Α4規格（210X297公釐） —^β§ ϋ·— ^^^1 λέ··— t^i ^^^1 ^^^1 ^^^1 ^^^1 ^^^1 —ϋ •' (請先Η讀背面之注意事項再填寫本頁) 經濟部中央橾準局負工消费合作社印«. A8 B8 C8 - ————___ D8 、申請專利範圍 等必需功能的神經元時，即査詢鄰近的各神經元*以 建立毎一神經元之備用能置，而具有最多備用能量之 神經元被程式規劃以完成該項必需之功能。 5. 依據申請專利範圍第4項所述之方法，其中在該模擬 網絡内的毎一神經元均經規割有針對要為如同訓練演 繹式所定義之持定輸入型樣所執行的柑關功能之神經 鍵權衡，當欲將一神經元映射於一新的功能時•可由 該訓練演繹式産生一新的權衡頁面。 6. 依據申請專利範圍第5項所述之方法，其中每一神經 元均含有激發狀態之多數頁面以使毎一神經元能表示 其輸入之任一功能，在訓練期間一新的權衡頁面被計 算，如無一神經元在通至輸出神經元之路徑上激發* 則應引入一新的激發狀態頁面，最少利用之神經元刖 賦予新的權衡，而該權衡頁面之長度則為通至指定的 神經元之各輸入的複雜性所決定。 7. 依據申請專利範圍第6項所述之方法*其中該訓練演 譯式含有此網絡中之連接以便： (1) 一神經元可為一互接或一功能神經元，但永 逋不會同時為此二種神經元， (2) 各項連接應接在輸出目標神經元之方向， (3) —神經元可能與下一層僅具一活動輸出連接 ，輸入連接及權衡係定義為活動連接的神經 元（正權衡）、活動未連接之神經元（非活 權衡）及一非活神經元（負權衡）， -49- 本纸張尺度逋用中國國家標率（CNS ) A4规格（210x297公羡) (請先閲讀背面之注意事項再填寫本頁) 装. 訂 經濟部中央標準局負工消费合作社印製 A8 3GQ3Q4 | 六、申請專利範圍 (4)相闋值偽用以査核已經學會之副型樣是否出 現在現有型樣内，如該相關值夠离，該等副 型樣將被加至一現在之集合；如該相關值不 夠高•則此副型樣將予學習為該網絡之新型 樣。 8. 依據申請專利範圍第7項所述之方法，其中該訓練演 繹式可為每一活動神經元決定那一個連接提供通至目 標輸出神經元的最佳路線，該演繹式可先決定在現有 之一層中是否有能一起映像成圖以執行必需功能的足 夠神經元，該項映像成圖功能會決定將提供通至該目 標輸出神經元之最佳路線的下一層神經元，如一待激 無法予以映射，則當作互接之餾別神經元活動的路線 安排可確保隨後之一層中各神經元會為訓練中之該類 型樣構成一獨待的待徽。 9. 依據申請專利範圍第8項所述之方法，其中映像係受 倒數第二層須出現許多活動神經元以定出輸出目標神 經元的位址之規定的抑制，因此可防止各層中型樣收 歛之發生過快以減縮資料之壓縮，每一神經元均分配 有界定從其流過之資訊位準的有效值，一具有高有效 值之神經元在早先階段可予防止映像，以便可在既定 層中的各神經元之間維持相等的資訊分享，同樣，一 具持別低的有效值之神經元将被迫映射於其他神經元 内。 10.依據申請專利範圍第9項所述之方法|其中該高及低 -50- 本紙張尺度適用中國國家標準（CNS ) A4规格（210X297公釐） (請先閲讀背面之注意事項再填寫本頁) 訂 A8 B8 C8 D8 々、申請專利範圍 有效值之明確度隨網絡的深度而增加且按輸入層内之 活動位準而定妥其比例。 11.依據申請專利範圍第10項所述之方法，其中相關值偽 用以決定權衡頁面之更新，如該現有型樣與由一待殊 神經元己學習之型樣不匹配，乃産生一新的權衡頁面 •如該相闋值傜在匹配與非匹配的定限之間，則新的 權衡頁面可與最佳現在權衡頁面合併，如該相關值高 於匹配定限，則不需實施權衡更新，而下一層神經元 即被致動。 --1' —T—7---J1A ^-- • * (請先閲讀背面之注意事項再填寫本頁) •1T 經濟部中央揉準局負工消费合作社印製 l· -51- 本紙張尺度逋用中國國家標準（CNS ) A4規格（210X297公釐〉