TW386198B - Neural network utilizing logarithmic function and method of using same - Google Patents

Description

Α7 Β7 五、發明説明（〇 二 先前應用的參考 本寒用已於1.99_4-年_丄_卫_2_日_.在美画提出，其專利應用號 碼為 08/176，iQ丄。 相«的發明 本發明與下列發明有鼸，他們譆渡給與本發明相同的受 讓人一 ------------------------- (Γ) ·’神經元電路及使用此神經元電路之方法” ("Neuron Circuit, and Method of Using Sa^eM ，其序 為.........— * '<2丨”使用加法電路之人造神經芫及使用該人造神經元 之方法 ” （"Artificial Neuron Using Adder Circuit and Met. hod of l丨 si hr Same”’），其序號為____，_，同 此同時申謫。 (3) ”神經網路及使用該神經網路之方法” （"Neural

Net, work and Method of 丨1 si Same”），其序 SS 為 _ -， 參照本發明的發表；藉此編入上面檷說的相闢發明的主 要事項。 技術領域 本發明與一般的人造神經網路有關且特別是與可於一 VI.ST(超大規模積體雷路）晶Η或電腦程式中當施的神經網 路有闢且該神經網路使用不需重覆訓練且對每一所給的输1 入向晕钼產生一全域最小值的訓練演算法。 . / ； 發明背景 -4 — 本纸張尺度適用中國國家揉率（CNS ) A4规格（210X297公釐）

(請先閲讀背面之注A -1—裝*— isi項再填寫本頁) 訂 經濟部中央標準局員工消費合作社印装 經濟部中央標隼局負工消费合作社印製 A7 B7 五、發明説明（2 ) - 人造神經網路在種種不同的計算瑁境中*具有其實用性 ’像是語音辨識（speech recognition)’壜程控制 <pr〇Cess c〇ntrol)，光符號辨雄（optical character rec〇gn;t, i〇n)，信.號處理（signal processing)，及影像 處珲（image processing)。 *該神挥網路包含多俩稱為神經元電路的基本邏輯元件。 —神挥元雷路（或處理元件）是神經網路的基本組成部件 °神样元雷路有多俩蝓入及一僩+输出。 '如囿卜而標識為相關發明第]號'中的說明，傳統神經元 雷路的構造通常包括一乘法灌路（niultipHer circuit)， 一加结！雷路，一供紈行非線性函數（像是二進位門檻 「thresholdl或S形「sigmoid〗函數）之電路與功能像神經 辨（svnapses)或加權的蝓入連接之電路。因為傳統典型的 神網路霈要所有上而提及韵罨路，所W做在半導JI晶 Η卜.的神經元窜軋黻目受到嚴格的限制。相Η發明第1號 棋孩於一雹施例中* 一種儀包括一乘法器當做其主要處理 元件的神稃元窜路，而上面一標識相闞發明第2號揭露於 一官腌例中，一種傕包栝一加法器當做其主要處理元件的 神辉元爾路。 如同卜.而榑_為相關發明第3號中的說明，有超遇二十 種R知的神姅網路架構的類型，其中”反向-傳送" ("hack-propagation”）， 知器 ”（”perceptron”），與” 赭伯飛網路” （"Hopfie丨d network")最為人所熟悉。相期 -5 - 本紙張尺度逍用中國國家揉準（CNS ) Α4规格（210X297公嫠） —^裝·-- (請先聞讀背面之注毒事項再填寫本頁) -,η 經濟部中央樣準局負工消費合作社印装 A7 B7 五、發明説明（5 ) 二 發明第3號椹®於一《施例中•一種不需重覆訓嫌•對每 一输人向最姐產生全域最小值及具有易於實施的架構之神 畀網路。雖然相闞發明第3號中椹s的神經網路，表現超 择了先前得知的較早的技術之重大進步，而提供一至少具 有相W發明第3號揭露的優點及較簡單且便宜，實施於棟 «ί薄甚至π要較少砂茔間之改良神經期路是值 的。 w此對神經網路有一重要的禰求·那就是它不需重覆的 訓練，它對每一所給的繪入向最姐產生一全域最小值，而 肖它有一便宜且易於官施的簡單的構。 發明摘要 根據本發明的教義設計的神經網路的較佳實施例1最多 包栝三屑。第一層至少提供兩禰功能：（1)連接钃路的外 而輸λ的連接功能（丨nte「connect function)，及（2)對網 路，J面输人取對數的對黻功靡。第二曆使用上面一 _^雄 枏Μ發明第2號电說明的神經元霄路或其軟體同等物。第 三賻為输出蹰，對第二層的神經元的輸出執行反對數功能 而後將他們加總。 對照傳統神經網路，它需要漫長的訓練週期，而根據本 發明建造的神經網路於單一訓練遇期（也參照為一個時期 fepochl或反覆〖iteration])，便收歛於一全域解，用個 人雷腦常常可不需嫌分鐘的時間來計算該全域解。 此外，對照傳統神經網路，根據本發明有提供的神羥網 路，它使用多俩神經元電路；該神經元電路不俚別地使用 —〇 裝·— (請先閲讀背面之注毒事項再填寫本頁) 、11 1 - 6 · 本紙張尺度適用中两两家揉牟（CNS ) A4规格（2H)X297公釐> 經濟部中央標隼局員工消費合作社印装 Α7 Β7 五、發明説明（4 ) 二 任何非媒性功能且每~個神經元轚路僅需要一加法電路當 做其主要處理元件。因此，更多的神經元罨路可K整合於 一 VIST晶Η上，此舉大大地的增加使用這類晶片的神經網 路的計箄能力。 如此根據本發明建造的神經網路，不論在半導«晶Η上 普滅少下，铁辛 精確的结果，且得Μ大最的減少成本及Sfe的裡雜度將 夸到窜視。 此外，根據本發明建造的神經網路，藉由提供做加總神 鋅元雷路的输出的多僩加總電路，~苛具有多個输出。 因此，提供使用多俩神經元電路的神經網路，而每一神 經元蜇路本質上備需要一加法罨路來當做它主要的處理元 件是本發明的一優點，所Μ可建造包含非常大數目的此神 拌元窜路之神經網路*由於它功能性的高牖次及製造的低 成_本_，使它成為商業上具銪爭&的產品。 _ 提供不隳要重甩訓練的神經網路，也是本發明的儍點之 -0 又本發明的另一儇點是提供對每一所給驗入向量姐產生 一幸域最小堉。 提供訓練神經網路之方法，而該神纆網路不霈要重覆訓 練是本發明的另一儍點。 根撺本發明，提供使用神經網路之方法也是本發明的優 根據本發明的一外觀，有提供具有多個網路轤入及至少 -7- 本纸張Λ度適用中國國家揉率（CNS ) Α4規格（210X297公釐〉 (請先閲讀背面之注參事項再填寫本頁) 、裝- 訂 A7 B7 五、發明説明（5 ) 二 一锢網路输出的神經網路，該神經網路包括供運用對數功 能於網路輪入以產生相對應的對數输入之裝置；多個神經 元，每一神經元具有多個響應相對懕的對數蹌入之嫌入且 砻生一鎗出；供埋用反對數功能於每一神羝元綸出Μ產笔 枏對應的反對數輸出之裝置；與供加總神經元的反對數输 f g g生至少一網路輸^-- 又根據本發明的另一外観，有提供包括多俚網路輸入及 牵少一網路輸出的神經網路；多個神經元，每一神經元接 收多俩輪入及產生一输出；供產生對數及反對數功能之裝 W ;及搡作該神經網路之方法*該飞法包括下列步» ·· (a)該對歟功能產生裝置運用對黻功能於該神經输人以產 牛相對應的對數轤人；（b)分配每一該對數轤入該每一該 神經元輸人；<c)每一神經元理用選通功能（gating funct. ίοη)於毎一該對數蝓入以產生相對應的選通输入 (pa ted input); (d)每一神經元加每一該S通蝓入在：起 W產生一加總；（卩）每~神經元加該加缌於一加榷值以對 每一神經產生一神纆元輪出；（f)該反對數功陡產生裝置 评用反對敝功能&每一該神經元輸出W產生相對應的反對 齡輪出；及加總該神經元的反對數轤出>乂產生至少一 (請先閱讀背面之注鲁事項再填寫本頁) .裝·

,1T 經濟部中央標準局員工消费合作社印装 ’ 將 而點 然特 ❶的 明明： 發發中 本本其 出；， 指畫解 明地圖瞭 說別的易 短特随容 簡，伴最 的中同將 畫圍連明 調範，發 利明本 專說且 請的見 申细易 。 的詳而 出加列願 輸 附下更 路 於照得 網參華 本纸張尺度逋用中國國家梂準（CNS }八4规格（210Χ297公釐） 五、發明説明（6 ) in 1 阃2 流程圃 Η 3 俩輪出 ^ m 4 流程鼷 國5 輪人目. 流稈圃 本枝 硬鵂， 式而交 神辟元 C 1 Γ c u I c i r c υ ί A7 B7 (FTG.1)根據本發明，展示神經網路的概觀圈。 (FIG.2)展示使闬圖1中說明的神經網路的方法之 Ο (FIG.3)根據本發明，展示平行地接收输入且有多 的神經網路之槪觀圔。 gjK 使甩 的方法之 (FTG. 5)根據本發明較佳霣施例，屐示顒序地接收 有多铒輸出的神經網路之概観_。 (FTG.fi)展示使闬國5中說涮的神經網路的方法之 〇 較佳《施例的詳細說明 «中技術普通的人·會瞭解本發明的神纆網路可Μ 軟鵂或兩者的姐合來實豳，且本說明中依《豳的型 互地使用像是”神經罨路”（”neUr〇n circuit”)^輿” ”（” n e u r ο η ”）術語或”加缌電路 ”（"s u * n i n g t. ”加總器 ”「’summer ”），”加法電路 ”（"adder t. ”卜”加^器”（” a d d e「” >，等術語。 本0 根 請 先 閲 讀 背 1 奮 裝 訂 線、 經濟部中央標準局員工消费合泎tt印裝 的 〉當 逋 lylK _ λ 可 輸能 的功於 路數能 網對功 倨該數 多，對 。4 行 匾能紈 観功它 槪黻且 的對， 路给腌 網餾實 經地來 神序法 示 _ 算 展χη演 ，，或 明：路 發：窜 〇 時 人人 轤输 的一 黻每 對於 生用 ti·-. be 庳 缠 Μ 4 賴能 , 功霸 人齡醚 输對隈 的當給 它.配 元0 神 示 展0 中 其 分元 出經 翰神數一 對毎 的的 應8) 對及 相7 本纸張尺度適用中國國家捸率（CNS ) A4規格（210X297公釐） B7 五、發明説明（7 ) 。本發明中，皤黼層傕霈要一 1神經元。 如间上而檷谦為相闞發明的說明，每一神經元理用選通 功能於胃數输入Μ產生相對應的選通输入。當每一輪入 X,的對黻分配給神經元5-8時，每一神經元5-8可以理用遘 通功能於它Μ形成選通输入。然後，每一神經元5-8它的 m _k與緊穑的加總相加i該加燼是前次通助1结思，转# 有該加结！，則它的输入與0相加，來產生新的累積的加總 0 镌最後的輸入，x„，的對數分配給神經元5 - 8時* _巷有 加權侑Ueight value)，每一神經X 5-8把它個別的累稽 加塘與加權侑相加來形成累積加總。 然後，灌用反對數功能12理用於每一神經元的累積加缌 ，該反對黻功能紈行反對黻功能於它的输入。神經元5-8 的檢出的反對數接著捶用於输出曆中逋當的加總裝置或功 能，像是加缌器14，以產生神經網路的输出。 _ Λ-- 醐2展示使用中說明的神經網路的方法之流程圓。 如同框20中的說明，第一步，對數功能運用於眾多網路输 入X,中的一侗。下一步，如同框22中的說明；蝓入XI的對 齡分配給每一神經元5 - 8 。 經濟部中央標準局貝工消費合作社印製 決定框24中，確定這是否為第η個網路蝓入。若是，則 該方法前進到框28，但是·若不是，它前進到框26。 豭26中，每一神經元5-8把它的個別的選通输入與它先 前的累稽加總相加•若沒有該加缌，則該個別的選通输入 街0相加，來產生累積加總。然後，該方法回到框20° -10- 本紙張尺度逋用中國國家搮车（CNS ) Α4规格< 210X297公釐） A7 B7_二_ 五、發明説明（8 ) ~ 框28中，若有先前的累積加總及加權值，每一神經元 5-8把它的p別的選通输入與該先前的累積加结[及加權值 相加Μ形成累積加總。 框30中，每一神經元的累積加缌定義成它的_出。下一 步，框於中，對眾多的神經元5-8的一個轤出取反對數。 框· 34中，反對數分配給加總器14的綸入，且框36中，加總 器〗4把這输入與先前的累積加總相加’若沒有該累積加總 ，則其與0相加，以產生新的累積加缌。 決定抿37中，確定這是否為最後（譬如’第η個）的神經 示輪出的反對數。若是，該方法前氇到框38，但是，若不 #，它冋到框3 2。 框38中，加總器的輸出定義成神經網路的輸出y ，且程 .序结束。 阃3根據本發明•展示平地地接收檐人且有多俚輪出神 铧網路之《觀鬭。多俑綱路輸U，X2·----及儷刖ώ餵 給輸"人醑的對數功能41，42興44。 經濟部中央標準局員工消費合作社印製 (請先《讀背面之注意本項再填寫本頁) ‘输入翳中的毎一對數功徙41 * 42與44的_出分配給皤Μ 麻的每一神經元f其中僅展示46 ’ 47，51與52)。例如’對 齡功能41的输出分配給神經電路46，47 ’ 51與52的每一個 目分RB給皤輛層中所有其它的神經元電路（沒有展示）°關 於對齡功能42，44’與其它输人層中的對數功能（沒有展 示）也做相同的連接。 對神姅網路的本官拖例，反對數功能54· 55’ 58，及 59分別地琿用於神經雷路46 ’ 47，5]與的蝓出’來產生 1 1 _ 本紙張尺度適用中國國家樣準^CNS)A4規格（210x297公羞） " Α7 Β7 經濟部中央標隼馬員工消費合泎杜印裝 五、發明説明（9 ) - 痦些輪出的反對數。 下一步，神經元46與47的反對數由加總器61來加總，其 輸出yi表示本神經網路的一输出。此外*神經元47，51與 R2的反對黻由加總器6來加總，其输出^表示神經網路的 另一输出。外加的加餹器（沒有黼示）缠當地理用於神經 46-52典其罄康」其它输出 y r, - 1 ° 雖然國3展示兩髑加總器或加缌電路於輸出層中，技術 普掮的人會瞭解，可Μ使用多於兩偁的加缌器或加總轚路 /雖然，阃3也展示某些網路输出接在一起*神經元的 输出也可Κ是不逋接的。 围4屏示使用國3中說明的神經網路的方法之流程圔。 如同框70中的說明，對毎一網路输入（譬如输入Χϊ，x2， ....，χΝ)取對敝。下一步，框72中•這值大鎇上同時地 令給毎一神銲元的鳙人（臀JPW3中，皤藏層的神_^元 46* 47* 5J* 52)° 下一步，如囿框74中的說明，毎一神經元理用選通功能 於網路《5入的每一對數Μ產生相對應的S通輸人。如上面 提到關於闕3的，任一所給的神經元可以理用不同的選通 劝能於它接收的不同網路的输入之每一對數。 下一步，如同框76中的說明，對任一所给的神經元，該 撰通輸人加在一起Κ產生加總。 下一步，如同糇78中的說明，對任何所給的神經元•選 通輪入的加嫌與預先決定的加檷值相加Μ對這類神烴元產 -12- 本紙張Α度適用中國國家揉準（CNS ) Α4%格（210x297公釐） (請先聞讀背面之注意 -ϋ 1^1 nn T項再填寫本頁)

1. > J 、-'• -1 經濟部中央橾隼局員工消費合作社印製 A7 B7 五、發明说明（π) 二 生神經元轅出。如同上面提到鬮於圖3的，任何所姶的神 姅元也可以運用不同的加權值於它的加缌。 下一步，閭於框80，對每一神經元输出取反對數。框 82中，加埭器6〗把第一群神經元（亦卽神經元46及47>的神 锊元褕出的反對數加结！，Μ產生第一饀網路輪出yt。 丄(亦即神經--- 芫47, 51及52)的神經轤出的反對數加總，以產生第二個 網路蝓出y n。 如同 >.而提到Μ於 3的，本技藝中普通技術的人會了 解神經元4R-52的反對數的另外时可Μ放入另外的加路！ 器中（沒有展示）Μ產生另外的_出mn-i。 圈5根據本發明較佳實施例*展示厢序地接收输入且有 多俩輸出的神經網路之槪觀圖。像圖1中所展示的，多涠 網路檐人X1，____，i暇序地供給输入層的單一對數 功能4 。對》功能4的輸出分配給陲藏層的每一神經j ( —气· ^ •一" 其·中R有展示神辨/元5-8)。 對神铧網路的本苜拖例而言，神經元5-8之一的输出首 先供給斥對敝功能]2，然後·這類神經元输出的反對數大 髑h同時地理用於每加法器1〇〗-1〇9。下一步’神經元 5 _8中的另一個的蝓出供給反對數功能]2，且它的反對數 大髑上同時地運闬於每—加法器101- 109。 加法器101- 109，其中每一涸加法器把每一個最近收到 反對》與它的絜積加缌相加，要不然與〇相加，且當它接 收完每—神經元输出的反對黻時，每一加缌器101- 109的 -13- 本纸張尺度適用中國國家梂率（0NS ) Λ4规格（210X297公嫠） --------—o^.------IT----.--L·. (請先W讀背面之注意事項再填寫本頁) A7 B7 經濟部中央標準扃貝工消费合作社印装 五、發明説明（11 ) T_ •s 最後累積加總定義為神經網路的檢出：^至1。 本枝藝中，技術普通的人，皤鱅層中另外的神經元（沒 有展示）的輸出可以埋用於另外的反對數功能（沒有展示） 目可Κ運用於加法器]〇 1 - 1 〇 9。 两Β展示使用_5中說明的神經網路的方法之流程圈。 釅4？〇- 3?也許輿圔2中說明的相| 的步驟宪全相同。 米驟110中，神經元之一（譬如，神經元5 )的蝓出的反 對黼，分配給毎一俩輸出加结！器10〗-109。步》112中，若 有先前的累積加總，則每一加缌器1G它的输入與其相加， 否刖與0相加，Κ產生新的累積加總。 於決定框Π4中，確定這是否為最後的（亦卽，第η儷） 神铧元鲔出的反對數。若是，本方法前進到框]16 ，若不 是♦刖它冋到框3 2。 _步_嫌1U中，毎一输出加總控最後累積加總，定義_^眾 多'網路输出yi至yp之一。 本發明的神絆網路的操作根據於多項式展開的使用且寬 丈的意義中是ΪΕ交1¾黻的使用，像是正孩，餘弦，指數/ 對辭，複利絮轉換（Fourier transformation)，藍劍多項 式（丨egendre po丨ynomia丨），像是瓦特利函數或徑向基函 牌（rafMal basis fuct, ion)的非線性基函數（non-linear basis funcU on)，或是類似的函數，或是多項項式展開 朗JH交函數的姐合。 一較佳管施例使用多項式展開，其中方程式1表示一般 ~------.. -14- 本紙張尺度適用中國困家橾率（CNS ) A4规格（210X297公釐） (請先閲讀背面之注兔 事項再填寫本頁) Γ -L , 、-· 五、發明説明（I2 的惰況如下： A7 B7 y = Σ Xlgii x2g2i . i=l • Xn^ni 方程式 經濟部中央標準局貝工消費合作社印裝 其中X f表 其中z .，暴任 :其中y表 的權：其中 醃Η都是整 单網路的輪 方稈式1 闞的櫬朗選 。必須注意 地薄用對數 琯產生ΪΚ確 神烊網路 孑而得，包 。應該了解 得不窜要。 ，R要是可 输人相朗的 要檁準化。 方_程式2 頂。 示網路输入且可Μ是像是的函數 «Τ 示神經網路的鎗出；其Wl-i表示第i個神經元 Rii，....，gn丨表不供第ΐ 神經元的選通函 黻，於一較佳實施例中它是〇或大於0 ;而〇 入。 … 中的每一項表示一神經元输出及與該神經元相 通功能。相關發明第2號中說明神經元的搡作 毎一神經元，它假定每一輪入值是正的且ϋ當 踪每一 _入的符號且對方程式1中的 功能*追 的符號。 中使用/的 栝可利用 多琯式展 因此，一 能*便選 罱度單位 多項式展開的項的數目是根據多個因 的神經元的數目•訓練例子的數目等 開的較高階的項通常是比低階的項來 較佳苜施例中，根據上面提到的因子 取較低階的項°同樣的，因為與不同 可能變動，所Μ输入在使用前可能需 是方程式1的另一表示式，展示直到第3階的 -15 本紙張尺度適用中國國家梂準（CNS ) Α4規格（210 X 297公漦） C---裝— (請先Μ讀背面之注I事項再填寫本頁) 訂 線 A7 B7 五、發明説明（13 η y = w〇 + Σ wi Xi i=l n + Σ wfl(i) xi2 i*l 請 先 閲 背 之 注 n n 再 Σ Σ wf2(iij) XiXj i-1 j=i+l n Σ wf3(i) Xi3 i=l n n 十 Σ Σ Vf4(i,j> xi2xj i=l j=i+l n n i 訂 經濟部中央標準局員工消費合作社印製 + Σ Σ Wf5(i,j) XiXj2 i=l j-i+l η η n+ Σ Σ Σ wf6(i/j/k) xixjxk i=l j=i+l k=i+j+l + 方程式2 -16- 本紙張尺度逋用中國國家揉隼（CNS〉A4規格（210X297公釐） 經濟部中央標準局員工消費合作杜印褽 A7 B7 〜 五、發明説明（砵） 二 其中華數的意義與方程式1中的相同且是範圃從 n + 1至2n的指播函數；是範圍從2n + l至 2n+(r>)(n-l)/2的指檷函數；且“^.”是範_從 2n + 1 + U)(n-l)/2 至 3η+(η)(η-1)/2。而且 至 feM 類似的 方式表示。 中技術熟缭的認得遘通函镟方程式2 的項中。例如，方程式2可Μ表示如下： y_= W〇 + W! Χχ + W2 Χ2 + - · . Wi Xi + . . . + wn Xn ' + Wn+jL Xi2 + . . ‘ + W2n Xn2… + W2n+1 XI X2 + W2n+2 Xl X3 + ... + W3n-i Χχ Xn + W3n X2 X3 + W3n+1 X2 X4 + -.-W2n+(n〉（n-l)/2 Xn-1 Xn + . ·. --· + Wn-1 Xl^lN X2?2N . . · Λη9ηΝ + ... " 方程式3 其中變數意義與方程式〗的相同。 應該特別注意，雖然選通函數項fUn明顯地出現在方程 3最後屏示的項中，人們會了解其它每一項有它自己明顯 地展示的Pf,、項（臀如，對於Wi Xi項gl2 = ]且其它f?12 = 0’ ;=2，3，. . .，η )。Η是任意正整數且表示網路中的第N 俩神經元。 訓練演算法 -17- 本紙張A度逍用中國國家揉準（CNS ) A4规格（210X297公釐） ~裝·-- (讀先閲讀背面之注秦事項再填寫本頁) 訂 A7 B7 ' 五、發明説明（15) 二 要神經網路是有用的，必須決定每神經元罨路的權。使 闬拥常的訓嫌演箄法可達到這目的’例如，像相翮發明第 3號的說明。 摘要 於此已說明一覼念，Μ及多僩神經網路的實施例包括一 iTf實豳例，該神經網用多」一加法器當JtAm 萝處理元件的神經元。 因為神經元雷路的不同的實施例及使用與訓練該神經網 路之方法，如同其中的說明，不需要重覆訓練且對毎—所 给的輸入向#姐提供一全域最小值他們不論在半導體晶 Η上或雷瞬稈式中，在計茸畤間大大地改巻滅小下。執行 得到更精確的结果，旦得W大最的減少成本及首施的複雜 摩。 而目，掼孩的發明可Μ甚多的方式修改且圼規上面明確 地陳述明說明的多侗苜施例而不是較佳的形式，對本技轻 • •一. Λ- 中技術熟練人是顯而易見的。 . <

I 經濟部中央標準局員工消費合作社印製 :(請先閲讀背面之注意策項再填寫本頁) 本發明的覼念可Μ多個方式改變是可了解的。例如’它 是依稽鵂霄路技i，實施的型式（譬如，類比，數位，軟 體等），鏞横大小，外面插針（pin-outs)，及其它等，認 為瑄類系統球造上的元件為瑜人節點的數目，神經元或神 辉元雷路的》目與對數，反對數的數目*與加總裝置或霉 路及他們的逋接的設計選擇的事情。 卜面提到的多堉式屏開的截斷程度視想要的精確程度而 定也是鼦而易見的。 _ 1 8 _ 本紙張尺度適用中國國家標準（CNS ) A4规格（210X297公釐） 五、發明説明（16 A7 B7 合 逋 有 所 的 明 發 本 蓋 涵 圈。 意改 園修 範的 利圈 專範 請與 申神 的精 加真 附的 ， 明 此 0 闲木 於 -~~^裝·-- (诗先閱讀背面之注*事項再填寫本頁)

•1T 經濟部中央標準局員工消費合作社印装 本紙張尺度適用中困國家揉準（CNS ) A4规格（210X297公釐〉

Claims (1)

1. 第831U637號專利申請案 ~?文申請專利範圍修正本(88年 A8 B8 C8 D8 六、申請專利範圍

   經濟部中央梂牟局貝工消费合作社印簟 1·—種用以回應多個網路輸入信號而產生至少一網路輸出 仏號之神經網路，該神經網路包括： 一對數功能電路，回應該等網路輸入信號以產生多個對 數輸入信號； 一多個^經元’用以產生多個神經元輸出信號，該等神經 元各回應該等多個對數輸入信號而產生一神經元輸出信 號； ° 一反對數功能電路，回應該等神經元輸出信號以產生多 ‘個反對數輸出信號；及 一加總電路，用以-加總該等反對數輸出信號而產生該至 少一網路輸出信號。 2. 如申凊專利範圍第丨項之神經網路，其中該神經元包括 一線性轉換功能。 3. 如申凊專利範園第j項之神經網路，其中該神經網路係 .包含於至少一積體電路。 4. 如申請專利範園第丨項之神經網路，其中該等多個神經 元之至少一個包括一閂鎖及一加法器。 5. 如申請專利範圍第1項之神經網路，其中該等多個神經 元之至少一個包括一計數器及一閂鎖。 6. 如申請專利範圍第丨項之神經網路，其中該等輸入信號 並無包括表示經濟現象之時間序列資料。 7. —種用以回應多個網路輸入信號而產生多個網路輸出信 號之神經網路，該神經網路包括： 運用對數功能於該網路輸入信號以產生多個對數輸入信 O:\38\38146-l.DOC\MFY _ 1 _ (請先閲讀背面之注^^項再填寫本頁} ，華· -- Γ 第831U637號專利申請案 ~?文申請專利範圍修正本(88年 A8 B8 C8 D8 六、申請專利範圍

   經濟部中央梂牟局貝工消费合作社印簟 1·—種用以回應多個網路輸入信號而產生至少一網路輸出 仏號之神經網路，該神經網路包括： 一對數功能電路，回應該等網路輸入信號以產生多個對 數輸入信號； 一多個^經元’用以產生多個神經元輸出信號，該等神經 元各回應該等多個對數輸入信號而產生一神經元輸出信 號； ° 一反對數功能電路，回應該等神經元輸出信號以產生多 ‘個反對數輸出信號；及 一加總電路，用以-加總該等反對數輸出信號而產生該至 少一網路輸出信號。 2. 如申凊專利範圍第丨項之神經網路，其中該神經元包括 一線性轉換功能。 3. 如申凊專利範園第j項之神經網路，其中該神經網路係 .包含於至少一積體電路。 4. 如申請專利範園第丨項之神經網路，其中該等多個神經 元之至少一個包括一閂鎖及一加法器。 5. 如申請專利範圍第1項之神經網路，其中該等多個神經 元之至少一個包括一計數器及一閂鎖。 6. 如申請專利範圍第丨項之神經網路，其中該等輸入信號 並無包括表示經濟現象之時間序列資料。 7. —種用以回應多個網路輸入信號而產生多個網路輸出信 號之神經網路，該神經網路包括： 運用對數功能於該網路輸入信號以產生多個對數輸入信 O:\38\38146-l.DOC\MFY _ 1 _ (請先閲讀背面之注^^項再填寫本頁} ，華· -- Γ 號之裝置； 多個神經元電路，用以產生多個神經元輸出信號，该等 神經元電路各回應該等多個對數輸入信號至少其一而虞 生一神經元輸出信號； 一運用反對數功能於每一該神經元輸出信號以產生多偶 反裝置H 多個加總電路，該等加總電路各加總預定之該等反對數 輸出信號以產生該等網、路輸出信號。 8. 如申請專利範圍第7項之神經網路，其中該等神經元包 括一線性轉換功能。 9. 如申清專利範圍第7項之神經網路，其中至少有些該等 反對數輸出可由多於一個之該等加總電路所加總。 1〇_如申請專利範圍第7項之神經網路，其中該神經網路係 包含於至少一積體電路。 11. 一種用以回應一序列網路輸入信號而產生至少一網路輸 出信號之神經網路，該神經網路包括： 經濟部中央棣準局貝工消費合作杜印製 一對數功能電路，用以接收該序列之網路輸入連績信號 及運用對數功能於各個該等網路輸入信號以產生多個對 數輸入信號； 多個神經元電路，用以產生多個神經元輸出信號，該等 神經元電路各具有至少一輸入且產生一神經元輸出信 號； 分配裝置’用以分配該等對數輸入信號於每一該等神經 元電路之至少一輸入； —2 — 本紙張尺度逍用中國國家梯準（CNS ) Α4规格（2丨0X297公釐） 經濟部中央棣牟局負工消费合作社印製 is8 _ C8 - D8六、申請專利範圍 反對數功能電路，用以運用一反對數功能於每—該等 神t元輸出信號而產生多個反對數輸出信號；及 —加總電路，用以加總該等反對數輸出信號而產生該至 少一網路輸出信號。 12·如申请專利範圍第11項之神經網路，其中該等神經元包 括一線性能厂。 —— 13如申請專利範圍第11項之神經網路，其中該加總電路包 括多個加總器，各加總器加總預定之該等反對數輸出信 .號且產生該等網路輸出信號。 14·如申*青專利範園第13項之神經網路，其中至少有些該等 反對數輸出信號可由多於一個之該等加總器所加總。 5·浚申專利範圍第η項之神經網路，其中該神經網路係 包含於至少一積體電路。 16_ —種於神經網路中回應接收之多個網路輸入信號而產生 至少一網路輸出信號之方法，該方法包括下列步驟： ⑻運用该網路輸入信號於對數功能電路以產生相對應 之多個對數輸入； (b) 刀配每一該對數輸入於多個神經元； (c) 每一該等神經元運用一選通功能於每一該對數輪入 以產生相對應的多個選通輸入； (d) 每一該等神經元加總該等選通輸入以產生一加總； ⑹每一該等神經元把該加總與加權值相加以產生—神 經元輸出信號，並由此產生多個神經元輸出信號； ⑴運用每一該等神經元輸出信號於反對數功能電路以

   f #先闻讀背面之

   •訂 線 經濟部中央棣率局工消費合作社印装 A8 B8 C8 _______D8、申請S範圍 ^ 產生相對應之多個反對數輸出；及 ⑻加總該等反對數輸出以至少產生一該網路輸出信 號。 17.如申請專利範圍第16項之方法，其中該至少一網路輸出 信號係根據一多項式展開》 下列形式： 0C y=Zwi-i xi&i x2g2i...xngni i=l 其中y表示神經網路之輸出； 其中Wi_i表示第i個神經元之加權值，； 其中X!，X2，... Xn表示該神經網路之輸入； • $中gU，_ _ . gni表示供運用於該等輸入之第i個神經元之 選通函數；及 其中η為一正整數。 19_‘如申請專利範圍第18項之方法，其中各&係由Xi = fi(Zj)函 數所表示，其中Zj為任一變數’且其中指標i與』可以是 任何正整數。 20.如申請專利範圍第I8項之方法，其中該至少—網路輪出 信號係根、據該多項式展開之一截斷版本。 21_如申請專利範圍第17項之方法，其中該多項式展開具有 下列形式： η y = w〇 + Σ% Λ i=l η + Ew_ xi2 i=l -4 - 本紙浪尺度逍用中國國家梯準（CNS ) A4规格（210X297公釐） f鲭先s-tt背面之注

   —裳-- 項再填窝本頁) 、ΤΓ·_

   申請專利範圍 η η Σ Σ Wf2(i,j) X,iXj *=1 J=i+1 ： I；Wf3(i) Xi3 i=l n nΣ Zwf4(ij) x：2xj jei+l Σ Σ^β(υ) xiXj2 »=1 j=i+l 經濟部中央椟牟局Λ工消費合作社印製 +Σ Σ Wk 1=1 j=i+l k=i+j+l 其中y表示神經網路之輸出； 其中wH表示第i個神經元之加權值； 其中xi，Xj, Xk表示該神經網路之輸入；. 其中η為一正整數；且 其中f1(i)至f6(U k)L為指標產主之函數。 22一如申請專利範圍第w項之方法，其中該多項式展開具有 下列形式： y=W〇+Wi X1+W2 X2+...+Wi Xi+...+Wn Xn +Wn+i Xi2+...+W2n Xn2 +w2n+l Xl X2+W2n+2 Xl X3 + ··· +W3n-1 Xl Xn+W3„ x2 X3+W3„+i X2 X4 + .-.W2n+⑷(n_i)/2.Xn-i Xn+... +WN.j X,g1N X2g2N ... X„gnN+... 其中y表示神經網路之輸出； 其中w〇，W丨，· · . WN_!表示加權值，N為一正整數，表， N個神經元，且Wi項通常表示與第i + 1個神 ’、第 加權值； 經元相關之 (請先聞讀背面之注Ϊ項再填窝本頁) 訂 本紙張尺度遒用中國國家棵準（CNS ) A4规格（210X297公釐） 申請專利範圍 合 作 社 其中 X!，X2，·..，&*+ 分 Xn表不该神經網路之輸入，η 數；且 ’ 跫 其中glN，· . .，gnN表示俾遂JJI、λ、、 之選通函數。料用於孩爭輸入之第Ν個神經元 23:”^^16項之方法，其中該至少-網路輸出 信號 --------_出 24如申請專利範圍第2 r , 夂万去，其中孩正交函數為正 孩，餘孩，指數’對數，傳 ^ 得利葉轉換，I劍多项式， 是如瓦特利函數或徑命其ώ 气 m基底函數之非線性函數。 25. 如申請專利範圍第10 月<万忐，其中孩至少一網路輸屮 #號係根據一多項式展朗芬x， 〆月八展開及正交函數之組合。 26. 如申請專利範園第16項之 甘+ .、、丄， 、 ^ < 万法，其中孩神經網路係包会 於至少一積體電路。 27. 如申請專利範園第16項之方法，其中該神經網路係“ 於一電腦程式中。 ° 28. -種於神經網路中回應多個網路輸入信號而產生至少— 網路輸出信號之方法，該方法包括下列步驟： ⑻運用該等網路輸入信號於對數功能以產生多個對 輸入； (b)分配每一該對數輸入於多個神經元電路； ⑹每一該等神經元電路運用一選通功能於每一該等對 數輸入以產生多個選通輸入； (d)每一該等神經元電路把該等選通輸入加在一起以產 '、生一加總；

   n I. I (請先聞讀背面之注ί項再填窝本頁> 訂 線· 本紙張尺度逋用中國II家棣準（CNS ) A4规格（210X297公釐） 經濟部中央揉準局負工消費合作社印装 '申請專利範圍 ()每該等神總瓜電路把該加總與加權值相加以產生 神心·疋輸出#號，並由此產生多個神經元輸出信 號； ⑴運用該等神經元輸出信號於反對數功能以產生多個 反對數輸出； 對數屬·出以產生第—個網路輸出信號；及 ⑹加總相對應該等多個神經元電路的第二群的梦等反 對數輸出4產生第二個網路輸出信號。· 29.如申咐專利範園第28項之方法，其中於步驟⑻及⑸中至 少有些該等神經元可能皆於該等多個神經元之該第一群 ，及第二群中。 30_如申請專利範圍第π項之方法 號係根據一多項式展開。 31.如申請專利範圍第30項之方法 下列形式.： OC Υ = xlgll x2g2i-xngm 其中y表示神經網路之輸出； 其中Wh表示第i個神經元之加權值； 其中X〗，X2，... χη表示該神經網路之輸入； 其中gli，…gni表..示_供運.用於〜該表.翁入之第i個神經元之 選通函數；及 其中η為一正整數。 其中該第一網路輸出信 其中該多項式展開具有 (请先s饋背面之注九 -- 系存填寫本ί 订' 本紙張尺度適用中國國家標準（CNS ) Α4说格（21〇Χ297公釐） ____*

   y m '申請專利範圍 32.，如申請專科範，爾第如 中各Xi係由函 •數所表不，其中Zj為任—變數，且其中指標 任何正整數。 疋 览如申請專利範圍第31项之方法，其中該第—_輪出信 %係根據該多項式展開之一截斷版本。 - 。 34.、如T 下列形式：， "^ η 〇 + Zwi xi Swfl(i) Xi i=l η n Σ Swf2(i,j) xixj i=l j=i+l Zw (靖先閑讀背面之注f項再填寫本頁} η nΣ Zwf4(ij) Xi2Xj j=i+l -訂 +Σ Xwf5(ij) xixj i=l j-i+1 η η n + Σ Σ SWf6(U，k) XiXjXk i=l j=i+l k=i+j+l 其中y表示神經網路之輸出； 其中表示第i個神經元之加權值； 其中Xi，Xj，xk表示該神經網路之輸入； 其中η為一正整數；且 其中fi(〇至％j,k)為指標產生之函數。 35.如申請專利範圍第30項之方法，丨中該多項式展開具有 下列形式： 、 y=W〇+W丨 XdWs X2+._.+Wi Xi+...+Wn Χη 線 經濟部中央標準局貝工消费合作社印氧 私紙張尺度遙用中國國家棵準（CNS ) Α4规格（210X297公釐）— • I— m HI A8 B8 C8

   申請專利範固 經濟部中央標率局貝工消費合作社印簟 41 -種於神經網路中回應—序列網路輸人信號而產生至少 ’凋路輸出號之方法，該方法包括下列步驟： ⑻連續運用孩等網路輸入信號於對數功能電路以產生 相對應序列之對數輸入信號； (b)分配4等對數輸入信號之一於多個吁經元電路； ⑹莓各別之選通 輸入信號以產生各別之選通輸入； (d)決疋是否該對數輸入信號相對應於一第一網路輸入 信號； (i)假如為疋，繼續進行步驟⑹，； 你）假如為—否，繼續進行步驟⑴； ⑹每一该等神.經元電路把農各別之選通輸入與各別之 加權值相加以產生一加總，然後回到步驟⑸； ⑴每一該等神經元電路累積該各別之選通輸入於該 總； ⑻決定是否所有之該序列對數輸入信號皆已分配； (i)假如為是，繼續進行步騾⑸； ⑼假如為否，回到步驟⑹； (h)對於每—該等神經元電路計算該加總以得一神經 輸出信號，並由此產生多個神經元輸出信號； ⑴運用該等多個神經元輪出信號於反對數功能電路 產生多個反對數輸出信號；及 請 λ 聞 面 之 注 I 寫裝· 套· 頁 訂 加 元 以 反 線! ⑴加總相對應該等多個神經元電路的第一群之該等 對數輸出信號以產生—第一網路輪出信號⑽；及

   A8 B8 C8 D8 申請專利範圍 (k)加總相斜應該等多㈣經元的第二群之該等反對數 輸出信號以產生-第二網路輪出信號⑽。 必如申請專利範園第41項之方法，其中於步驟⑴及(k)中至 少有些該等神經元可能皆於該等多個神經元之該第—群 及第二群中。 43. 如 t ____ 號係根據一多項式展開。 44. 如申請專利範圍第43項之方法，其中該多項式展開 下列形式： 0C y = ZWi-l Xlgli X2g2i---Xng„i i=l 其中y表示神經網路之輸出； 其中表示第丨個神經元之加權值； 其中Xi，X2，. _ _ xn表示該神經網路之輸入； 其中gn，...gni表示供運用於該等輸入之第i個神經 選通函數；及 ^ 其中11為* 正整數 45. 如申請專利範圍第44項之方法，其中夂#丄 分' Xi 1乐由 X; == f·(、 鯉濟部中夬#丰局工消費合作杜印*.

   訂 數所表示’其中3為任一變數’且其 j τ知標1與j可以I 任何正整數。 乂疋 46. 如申請專利範圍第料項之方法，其中今银 τβ第—網路輪 號係根據該多項式，展開之一截.斯版本。 1s 47. 如申請專利範圍第43項之方法，其中發客 下列形式：μ貝式展開具有 _ 11 _ 本紙張尺度逋用中國國家梂率（CNS ) Α4规格（210X297公釐） 經濟部中央標率局貝工消費合作社印装 A8 B8 C8 D8 六、申請專利範園 η y = w〇 + Zwi xi i=l n + Zwn(i) xi2 i=l η n +Σ Zwf2(ij) xixj i=l j=i+l n + ZWf3〇) Xi3 i=l .............—n-n-：-------- +Σ Σ^) xi2xj i=l j=i+l η n +Σ Zwf5〇j) xix/ i=l j=i+l η η n + Σ Σ Wk i=l j=i+l k=i+j+l 其中y表示神經網路之輸出； 其中表示第i個神經元之加權值； 其中Xi , Xj xk表示該神經網路之輸入； 其中η為一正整數；且 其中f1(i)至為指標產生之函數。 48.如申請專利範圍第43項之方法，其中該多項式展開具有 下列形式： y=w〇+Wi Xi+w2 x2+...+Wi Xi+...+wn xn +Wn+1 X12+...+W2n Xn2 +W2n+1 Xi X2+W2n+2 Xi X3 + ... +W3n_i Xj X„+W3„ X2 X3+W3n+l X2 X4 + ._.W2ii+(n)(n-l)/2 Xn-1 Xn+... +WN-i XigiN X2g2N …XngnN+-· 其中y表示神經網路之輸出； 其中W〇 , W!，…表示加權值，N為一正整數，表示第 -12 - 本纸張尺度逋用中鬮國家橾率（CNS ) A4洗格（210X297公釐） (請先W讀背面之注項再填寫本頁) ri. -訂

   申請專利範固

   N個神經兀，且％項通常表示與第i+i個神經元相關 加權值； … 其中X! ’ X2，...，Χη表示該神經網路之輸入，η為—正 數；且 ^ 其中giN，· · ·，gnN表示供運用於該等輸入之第Ν個神經 之連 —--------------------------二^ 士申請專利範園第41項之方法，其中該第_網路輪出 號係根據一正交函數。 5〇.如申請專利範圍第49項之方法，其中該正交函數為正 弦，餘弦，指數，對數，傳利葉轉換，藍劍多項式， 是如瓦特利函數或徑向基底函數之非線性函數。 5 51.如申請專利範圍第41項之方法，其中該第—網路輪 號係根據一多項式展開及正交函數之組合、 ° 说如申請專利H㈣41項之方法，其中該神經網路係 於至少一積體電路。 匕含 53.如申請專利範圍第41項之方法，其中該神_路係 於一電腦程式中。 L含 {請先聞讀背面之注t事項再填寫本頁) •訂. 線 經濟部中央樑準局WC工消费合作社印¾ -13 私紙張尺度逍用中國國家揉準（CNS ) A4規格（210X297公釐）