TW497041B - Learning methods in binary systems - Google Patents

Learning methods in binary systems Download PDF

Info

Publication number
TW497041B
TW497041B TW088108409A TW88108409A TW497041B TW 497041 B TW497041 B TW 497041B TW 088108409 A TW088108409 A TW 088108409A TW 88108409 A TW88108409 A TW 88108409A TW 497041 B TW497041 B TW 497041B
Authority
TW
Taiwan
Prior art keywords
layer
binary
learning
output
input
Prior art date
Application number
TW088108409A
Other languages
English (en)
Inventor
Zheng Tang
Original Assignee
Sowa Inst Of Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sowa Inst Of Technology Co Ltd filed Critical Sowa Inst Of Technology Co Ltd
Application granted granted Critical
Publication of TW497041B publication Critical patent/TW497041B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Logic Circuits (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Image Processing (AREA)
  • Character Discrimination (AREA)
  • Feedback Control In General (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)

Description

497041 A7 B7 五、發明說明彳) 發明簡述 (請先閱讀背面之注意事項再填寫本頁) 本發明爲一種學習二進制網路系統,其特徵爲由一輸 入層,一交連層,具有第一相似邏輯元件之一第一二進制 •閘層,具有第二相似元件之一第二二進制閘層,及一輸出 層構成,其中,相鄰層間之每一交連情況限於自其輸入端 至輸出端之單行道,及每一層具有獨立徑路,無相互交連 情況,交連層具有裝置用以選擇一直接交連情況或一通過 反相器之交連情況之任一,此係有關自學習網路之輸入層 中之各別信號單位至第一二進制閘層中之各別信號單位之 徑路。 發明之詳細說明 (發明之技術部份) 本發明係有關二進制學習系統,應用於諸如字元辨認 ,機器人運動控制,及關聯記憶上。 經濟部智慧財產局員工消費合作社印製 (先行技藝)學習系統已知爲神經網路。神經網路意 爲由神經細胞之懷疑元件所構成之電路。 (神經元)在與生命體之神經細胞之功能之基本資訊 處理單位相同之網路中,神經網路應用於諸如字元辨認, 機器人運動控制,及關聯記憶上。 如圖1 7所示之一單位,一神經元N E由用以接收來 自其他神經元之輸入信號之裝置,用以在交連情況之決定 法則下改變輸入信號之裝置,用以限制其改變臨限之裝置 -4- 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公爱) 497041 A7 B7 五、發明說明έ ) (請先閱讀背面之注意事項再填寫本頁) ,及用以輸出改變之輸出之裝置所構成。且在交連至其他 神經元之情況中,指示交連權力之一權重〔W i j〕另附 加於該單位上。 _ 此神經元之交連情況包括一激發交連(W i j > 〇 ) ,指示一情況,即其本身之輸入愈增,則來自其他神經元 之輸入愈增;及一抑制交連(W i j < 〇 ),指示一情況 ,即其本身之輸入愈減,則來自其他神經元之輸入反之愈 增。故該權重〔W 1 j〕及臨限0 :之改變導致網路之構 造改變。 圖1 8顯示由上述神經元N E所構成之神經網路,此 包括一輸入層,一中間層,及一輸出層,每層中無交連情 況,及中間層能使用多個層。此網路經致動,以傳播輸入 層之輸入信號至中間層,及然後由交連係數或權重及臨限 改變其中之信號,成爲傳播結果至輸出層。在輸出層中, 信號經進一步處理,加進任何權重及臨限,成爲輸出信號 Z 〇 中間及輸出層中之輸入N E X由此後所述之公式1 9 經濟部智慧財產局員工消費合作社印製 計數。 (公式1 9 ) N E X j· = Σ W j i · X £ + Θ j 然後,神經輸入Ν Ε X在非線性處理後輸出。而且’ 中間及輸出層中之輸出Y j或Z j由S 1 g m ο 1 d係數獲得,故 一般如公式2 0所示。 -5- 本紙張尺度適用中國國家標準(CNS)A4規格(210 x 297公釐) 497041 A7 ___ B7 五、發明說明έ ) (公式2〇)
Yj = 1/ {1+exp (ZWh · Xi + D } (請先閱讀背面之注意事項再填寫本頁) 在此情形’學習裝置改變權重及臨限,以減小真輸出 z j及規定之輸出T j (監視器信號)間之誤差,或宜置 其於於零。提供此改變値,俾使用反向上之誤差傳播,及 上述公式中之改變値與輸入層或中間層中之神經元不同。 在應用於所述網路上之類比電路中,輸入或輸出之信 號強度以電壓存在,神經元之權重爲每一神經元線上所存 在之電阻,及神經元輸出係數(Sigmoid係數)爲一放大器 之傳播係數。且爲指示神經元間之存在及抑制之交連,放 大器之輸出分爲二輸出,以產生正或負信號,由通過反相 器使輸出之一反相而成。 包含類比電路之所述系統涉及以下所述之問題。 a ·由於溫度性質,神經元元件產生不規則之作用。 b ·至於控制上述真輸出Z及監視器輸出T間之誤差 ’誤差可修改電路複雜,及難以引導誤差至零。 經濟部智慧財產局員工消費合作社印製 c ·放大器之使用引起電路之更複雜及體積更大,且 作用時間長,且引起不產生合作網路之困難。 曰本專利申請公報文件中已提出神經網路用之數位電 路,其公報編號爲1 0 8 5 9 4 / 9 3。在此例中,所有 神經元元件由邏輯元件構成,無由於其溫度性質所引起之 不規之作用。 然而,具有上述數位電路之系統涉及以下所述之問題 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) -6- 經濟部智慧財產局員工消費合作社印製 497041 A7 _ B7 五、發明說明4 ) 〇 a ·在各別層間之信號傳播上’使用脈波來指示脈波 密度(每單位時間之脈波計數)’作爲類比信號量。故此 ,此系統不能控制誤差至零,且浪費長作用時間。 b ·每一神經元元件之體積增加’從而導致神經網路 構造最大及膨脹。 c ·在學習時,在各別中間及輸出層中之權重及臨限 之改變値需在使用神經網路之先行構造下控制。 爲解決上述問題,本發明者提供一種新二進制學習系 統,由圖1所示之邏輯元件構成,發表於美專利申請書 744,299/96 號。 該學習網路由具有多個二進制輸入端X 1 ,X 2 ,· • · ,Xn之一輸入層2 1 ,一交連層22 ’具有多個相 似之邏輯元件(例如 ''及〃邏輯)之一第一二進制閘層( ''及〃層)2 3 ,具有多個相似邏輯元件(例如 ''或〃邏 輯)之一第二二進制閘層或〃層)2 4,及一輸出層 2 5構成,各別層中無交連,及中間層間之交連情況限於 僅自輸入層至輸出層之單行道(前饋式)。 輸入層之每單位及 ''及〃層之每單位間之交連層中之 交連選擇下述之交連情況。 (1 )直接交連 (2)通過反相器交連 (3 )全〔1〕交連 * (4 )全〔0〕交連 本纸張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) --------------—------1---------線. (請先閱讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製 497041 A7 B7 五、發明說明6 ) 應用上述交連情況之交連層可由懷疑神經元構成,且 故此產生圖1 4所示之學習網路。 在此例中,爲容易說明起見,圖1 4中僅顯示 ''或〃 ’層2 4之一單位,及各別輸出端僅一個。 如顯示於圖1 2,懷疑神經元N E具有一輸入端及一 輸出端,來自輸入端之權重W i ^爲1或一 1之一,及臨 限θι」選擇一1·5,一 〇·5,及1.5。 故此,由輸入X 1 ,權重W 1」,及臨限Θ i j所提 供之Y 1 j均以上述之四交連情況指示。及輸出Y i j由 以下所述之公式3或公式4計算。 (公式3 ) '1 (Wi jX i 2 Θ i j) Y i j = 、〇 (W i j X L < Θ i j) 或(公式4 ) y 一 1 J- i J — -- I 4- 0 - (w i j x i - θ i j) 在學習時,真輸出Z及監器輸出T間之誤差E可由其 次所述之公式5獲得。 --------------------訂---------· (請先閱讀背面之注意事項再填寫本頁) 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) -8- 497041 A7 B7 五、發明說明έ 公式5 E=Tf=1(Zi —τ 在此例中,由控制權重w 1 j‘及臨限0 1 j達成學習 ,此與先行之構想相似。當權重W 1 及臨限Θ i j依誤 差E控制,以最高速度下降時,由公式1或公式6獲得其 控制値△ W及△ β。 公式
d E aw d E d Θ 或(公式6 (請先閱讀背面之注意事項再填寫本頁) ·.
d E △W: ε,
3W
d E --線· ΔΘ ε d Θ 經濟部智慧財產局員工消費合作社印製 ε w,ε Θ爲正,且由使用反向誤差傳播下之學習法則如 以下所述計算。 (公式7 ) △Wi d Ε ε, 9 E d Z d OR d AN Oj dYi 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) -9- 497041 A7 B7 五、發明說明f ) Δ Θ i j = — 8 d E 5 0i.
d E d Z a OR d ANDj 5 Y ε θ d Z dOR 5ANDj (9 Yi. d Θ 此例中之輸出僅一個,故此 (公式8 ) m Ε=— Σ (Zi -Ti ) 2 i=l 2 (Z — T) 故此,(公式
d E
d Z
=Z — T (請先閱讀背面之注意事項再填寫本頁) · 由於其關係z (公式1 0 ) 或 dZ a or |線· 經濟部智慧財產局員工消費合作社印製 結果,在 '、或〃閘上之信號由以下所述之連續係數比擬 (公式1 1 ) M (AND,· <M)
〇R ANDj (ANDj ^M) 此中’ M爲無 ''及l 〃時接近輸入中之最大値’即 本紙張尺度適用中國國家標準(CNS)A4規格mo X 297公釐) -10- 497041 A7 B7 經濟部智慧財產局員工消費合作社印製 五、發明說明έ )Μ =最大( '' 及 圖1 5指示此真値。故此 (公式12)
5 OR a AND,
Sgn (ANDj — Μ) i丰 f 0 (ANDj <M) 1 (AND,· >M) 同樣,在、'及〃閘處之信號由此後所述之一連續係數比擬 公式
AND iYiJ Yi i j^m (m Υι j >m 此中,m爲無、、及i 〃時接近輸入之最小値’即 m =最小( '、及 1 , 1 = 1 , 2 , 3 , · · · , 1 4 圖1 6指示此真値。故此 (公式14) d AND 5 Yu
S g n (m-Y 1 Ylj 〇 Ylj >m (請先閱讀背面之注意事項再填寫本頁) 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) -11 - 497041 A7 B7 經濟部智慧財產局員工消費合作社印製 五、發明說明6 ) 最後, (公式1 5 )
Yu=f (x) = —:_ 1 + e 'x X = W ι j X i — 0 故此, (公式 g Υι, aWi. -=(x) · Xi a Yi, d Θ i. f/ (x) · (-1) X) >〇,故由公式17在f 、 (X) =1下 由於f ' 獲得權重 W 1 j之A W及臨限之△ 0之控制値 (公式1 7 ) = (Z-T) Sgn (AND」-M) Sgn (m-Yu) Xi (請先閱讀背面之注意事項再填寫本頁)
本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) -12- 497041 A7 B7 五、發明說明h ) (公式1 8 ) (請先閱讀背面之注意事項再填寫本頁) △WiJ = — 2 (Z-丁) Sgn (AND」·一M) Sgn (m一Yu) Xi (z-丁)sgn (ANDj-M) Sgn (m —YiJ) 在所述之公式中,所有値爲二進制計數’故控制値指 示輸出信號Z,監視器信號τ ’及、、及〃輸出侣號及i ” ,Y i ,及X i ,成邏輯形態。 如上述,此例指示二進制學習系統,其中’ N E包含 一輸入及一輸出,及 w i j 0 j ,γ i j ,△ w 1 j , △ d 0 i j等以二進制指示,以及N E之輸出Y i j以上 述之四交連情況指示,如此,當學習操作導致控制輸入層 之各別輸入X 1及第一閘層之各別單位及〃)間之交 連情況。故此,學習網路以簡單之構造達成’學習時間較 爲縮短,及更明確言之,容易誘導誤差至零。 (發明之目的) 經濟部智慧財產局員工消費合作社印製 然而,上述及美專利申請書中所發表之學習網路包含 四交連情況,唯交連層之各單位之輸出爲二進制計數。 如操作於二交連情況中之學習網路可在目前製造,貝f] 可使交連層,誤差修改電路,及硬體技術中之所有學習網 路之各單位構造最爲簡單。 故此,上述之學習網路應進一步改善,以簡化網路之 構造。 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) -13- 497041 A7 B7 五、發明說明“) 本發明提出改善二進制.學習網路系統,因爲學習可確 實及迅速達成,且構造最簡單。 ‘(發明槪要) 爲解決上述各種問題,本發明新提出一種二進制學習 系統,其特徵爲由具有二進制輸入端之一輸入層,一交連 層,具有第一相似邏輯元件之一第一二進制閘層,具有第 二相似邏輯元件之一第二二進制閘層,及一輸出層構成, 以形成一學習網路,其中’相鄰層間之每一交連情況限於 自其輸入端至輸出端之單行道,及每一層具有獨立之徑路 ,而無相互交連情況,交連層具有裝置用以選擇一直接交 連情況及一通過反相器之交連情況之任一,此係有關自輸 入層中之各別信號單位至第一二進制閘層中之各別信號單 位之徑路’如此,所選之交連情況適於消除或減少輸出層 處之原輸出信號及學習網路中之監視器信號間之各別誤差 〇 在本發明中,上述二進制學習系統包含以下所述之一 種方法: (1 )選擇學習情況之一,俾在原輸出信號與監視器 信號不同之情形下學習’且略去在上述之二信號相同之情 形下之學習。 (2 )實施學習’以選擇輸入層中之信號單位及第一 二進制閘層中之號單位間之交連情況之一,單位選擇順 序係自第一二進制閘層之最高位置至最低位置,並同時選 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) (請先閱讀背面之注意事項再填寫本頁) ·. —線· 經濟部智慧財產局員工消費合作社印制衣 -14- 497041 A7 ------- B7___ 五、發明說明仑 ) 擇每一單位中之所有輸出端,或輸入層中之最高位置至最 低位置。 (3 )在選擇至最低位置單位之交連情況後,視需要 ’再對最高位置執行學習。 在包含上述二進制學習系統之本發明中,第一及第二 邏輯元件依其順序分別包含多個、、或〃閘及、、及〃鬧電路 〇 且在上述二進制學習系統中,第一及第二邏輯元件依 其順序分別包含多個'v及〃閘及 '、或〃閘電路。 而且’在上述二進制學習系統中,第一及第二題輯元 件分別包含多個''反及〃閘及\'反及〃閘電路。 在所述之二進制學習系統之另一例中,第〜、 弟-一邏 輯元件分別包含多個 ''反或〃閘及、、反或〃閘電路。 最後,在該二進制學習系統中,第一及第二攞給〜 嶼_兀件 分別包含多個 ''豆斥或〃閘及 '、互斥或〃閘電路。 參考以下附圖’淸楚說明本發明之其他特色及優點 i----------------訂---------線 j C請先閱讀背面之>i意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製 }之及 明明、 說發由 要本統 簡爲系 之 1 制 式圖進 圖二 C 之 例 施 及 層 以 中 其 或 成 構 層 路 網 習 學 示 顯 圖 塊 方 路路 電網 輯之 邏元 之數 表 1 値爲 真出 之輸 示 一 所僅 1 示 1 指 圖解 爲圖 2 3 圖圖 路 電 輯 邏 之。 路路 電電 連制 交控 1 之 施作 實操 以習 用學 解解 圖圖 4 5 圖圖 本紙張尺度適用中國國家標準(CNS)A4規格(210 x 297公釐) -15 497041 A7 ---- B7 經濟部智慧財產局員工消費合作社印製 五、發明說明(15 ) 交_選擇至以後所述之二交連情況之任一,以控制學習操 作。 (1 )直接交連 (2 )經由一反相器交連。 在此情形,交連層2 2用以連接輸入層2 1之每一單 位分別至、'及〃層2 3之每一單位。 此實施例之原理說明如下,例如,來自附圖所示之邏 輯變數之關係之邏輯係數。 (公式2 )XT Y7 十 f χ3 +^Τ χ2χ3χ4 + ΧιΥ;χ3Υ7+ Χι χ2 x3 xl + Χι χ2 x3 X4 此公式能由邏輯元件安排於邏輯電路中。 故此,爲獲得依據由X 1 ,X 2,. . . ,X η所組 成之相互關係之輸入組態(例如多個輸入例解組態)之相 同輸出Ζ,可控制輸入層2 1及 ''及〃層2 3間(在交連 層2 2中)之交連情況。 如此,如顯示於圖1 ,學習網路中之學習操作由控制 輸入層2 1之每一單位及 ''及〃層2 3之每一單位間之交 連層中之交連情況達成,俾使輸出Ζ符合具有X 1 ,X 2 ,..· ,X η之恆定輸入組態。 在二進制系統中,由於信號僅有二種,故交連情況可 說明爲直接交連或通過反相器之交連之任一。 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) :18 (請先閱讀背面之注意事項再填寫本頁) 裝 訂: •丨線』 497041 A7 _ _ B7 經濟部智慧財產局員工消費合作社印製 五、發明說明(16 ) 爲建立輸入層2 1及、、及〃層2 3間之二情況,即直 接交連或通過反相器之交連,此系統由一個數元指示一信 號,設定直接交連爲1及通過反相器之交連爲〇。 圖2顯示一情形,其中,如來自X ]_ ,X 2 ,X 3 , X 4之畅入組悲爲6 ’ g輸入II而爲4及輸出z爲一^時,則 需要至少6邏輯元件。 在圖1之情形’如輸入層2 1包含依據2 a ( η - 1 )+ 1之輸入組悲之η件輸入端或較其爲少,且輸出層具 有與Ζ 1 ,Ζ 2 ’ · · · ,Ζ η相问之輸出組態,則設置 具有2〜(n— 1)+1(即2^(η)之一半)之、'及 〃單位之第一二進制閘層即夠。 所述之實施例由圖1之電路說明如下。例如,圖1指 示學習網路,依據圖3所示之網路,在輸出中僅包含一數 元。其中,一互斥 ''或〃供應真輸出Ζ及監視器輸出Τ之 一誤差信號,俾通過各別交連電路之各別輸入X 1 ,.. • ,X η傳播至 ''及〃閘3,及然後至控制電路4。在此 情形, ''及j 〃閘及 ''及〃閘之一,並傳播至 '、或〃閘2 〇 一交連電路5接收來自控制電路4之選定交連情況之 更新信號,並導致傳播輸入X至 ''及〃閘,當其爲1 .時, 直接傳播至該閘,及當其爲0時,通過反相器傳播至該閘 〇 圖4指示一邏輯電路,用以執行如此交連電路。在此 情形中,R S — F F 1 1爲R S正反器,用以指示輸入端 ----l·------略 (請先閱讀背面之注意事項再填寫本頁) 訂---------線』 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) -19- 497041 A7 B7 五、發明說明(17 ) X及 ''及〃層之 ''及〃閘間之交連情況。〔2至1選擇器 〕1 2用以依據R S - F F 1 1之情況,選擇X及''及〃 間之直接交連及通過反相器之交連之任一。 在RS — FF 1 1中’建jxS^I及R^O ’俾輸出 1 ,此復置爲S = 0及R = 1 ,且此保持記憶前向信號爲 S = R = 0。故此,當控制電路4中之更新情況信號改變 爲1時,R S情況由 ''及〃閘1 3及1 4更新,即是,如 X爲1,則1輸出至 ''及〃閘1 4及0輸出至 ''及〃閘 1 3 ,故R G - F F 1 1建立1 ,及反之,如X爲0,則
1輸出至 ''及〃閘1 3及0輸出至 ''及〃閘1 4,故R S 一 F F 1 1復置。 〔2至1選擇器〕12具有二輸入端10 ,I 1及一 選擇端S。如端S之信號爲0,則選擇端I 0 ,且如信號 S爲1 ,則選擇端I 1。此〔2至1選擇器〕1 2可使用 如圖6所示之邏輯電路。 故此,如輸入X爲1 ,則R S - F F 1 1建立1 ,俾 〔2至1選擇器〕1 2選擇I 1 ,故X直接交連至 ''及〃 閘,且如輸入X爲0,則R S = F F 1 1復置於0 ,故〔 2至1選擇器〕,1 2選擇I 0,故X通過反相器2 0交連 至 ''及〃閘。 控制電路4爲一功能電路,用以依據 ''學習信號’復 置信號,誤差信號, ''或〃信號,及 ''及〃信號之輸出, 指示是否實施學習操作之任一,且同樣提供一更新情況信 號(學習激發)至交連電路。 -----l·------略 (請先閱讀背面之注意事項再填寫本頁) 訂---------線 經濟部智慧財產局員工消費合作社印製 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) -20- 497041 A7 ____________ _____ B7 五、發明說明(18 ) 在學習操作之前,控制電路4輸出復置信號,以發動 其他電路之情況於〇 .,即所有、、及〃閘之輸出設定於〇。 在實際學習操作中,需由輸入x,輸出Z ,監視器信 號τ ’及、、及〃閘之輸出決定是否控制任一情況,因爲能 使用以後具體提出之一學習法則。 (1 )當真輸出Ζ與監視器輸出Τ不同時,該系統實 施學習操作,但當相同時,則不實施。由真輸出Ζ及監視 器出Τ獲得誤差信號( '、互斥或〃),即在前向(不同 )情況時,、、互斥或〃爲1 ,及在後向(相同)情況時爲 0 ° (2 )該系統在控制電路中實施學習操作,以控制每 一交連情況,其順序爲在、、及〃層中自最高、、及〃閘至最 低 '、及〃閘選擇一個,即依次爲、、及1 〃 ,、、及2 〃 ,· • ·,、' 及 η 夕。 圖5顯示用以實施此學習系統之控制電路。在此情形 中,R S — F F 1 1與、、及〃層之、、及j 〃單位相聯,並 用作學習情況之RS — FF。當RS — FF 1 1之輸出爲 1時,此指示對★及〃閘實施學習操作,及該 ''及〃閘之 輸出在輸入及交連情況下決定;且如R S — F F 1 1之輸 出爲0時, ''及〃閘之輸出爲0,通常與各種輸入無關, 即學習操作停止。 當復置信號爲1時,即控制電路發動至0時,R S -F F 1 1由 ''或〃閘及 ''及〃閘復置於〇。 在學習操作中,學習信號號爲1 ,及當誤差信號爲0 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) (請先閱讀背面之注意事項再填寫本頁)
-n an I**·-— —Bi n 1_1 一OJ n ϋ ϋ —Bi tat 1_1 1_1 I « 經濟部智慧財產局員工消費合作社印製 -21 - 經濟部智慧財產局員工消費合作社印製 497041 A7 ______ ___________ B7 五、發明說明(19 ) 時,R s — F F 由、、或閘 1 5 ,、、及 閘 1 6 ,1 7, 及1 8之輸入爲0,故R S - F F保持其前向情況,即學 習操作系統不實施。 同時,如誤差信號爲1 ,則實施學習操作。即是,當 視窃fg號爲1及真輸出z爲〇時,誤差信號爲1。在每 一學習情況R S - F F 1 1 ,R s - F F無其學習情況之 輸出包含Q = 〇 ,即Q〜=1 ,故r S — F F由、、及〃閘 1 8選擇,且無其學習情況之R s — F F,如依次如特定 之Q」—2 ’ Q」· — 1 ,Q、j 一 1等之第一個由、、及" 閘1 9選擇。 其中,Qj· — 2及Qj— 1爲RS — FF中之j—2 輸出及j 一 1輸出,及Q、j 一 1爲由Qj 一 1及Qj — 2所獲得之 ''及〃邏輯。當、、及j 〃爲〇時,故所選之 RS — FF決定R=〇及S二1 ,俾其RS — FF建立1 ’及同樣提出一更新情況信號(學習激發)。 當誤差信號爲1 ,監視器信號T爲〇 ,及真輸出Z爲
〇時,具有全輸出爲1之 ''及〃閘由、、及〃閘1 7選擇, 及R S — F F 1由強迫復置於〇,例如,如、、及J 〃爲1 ,由 '、及"閘 1 7 ,1 6 ,及、、或”閘 1 5 ,R S — F F 由強迫復置於〇。 如上述之實施例說明本發明之系統,確實達成學習網 路中之學習操作,以控制輸入層2 1之輸入端及 ''及〃層 之各別單位間之交連情況,及其情況僅有二,即直接交連 及通過反相器之交連,俾進一步簡化誤差可修改電路之構 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) -22 - ------ί----------------訂---------線* (請先閱讀背面之注意事項再填寫本頁) 497041 A7 B7 經濟部智慧財產局員工消費合作社印製 五、發明說明(20 ) 造’並縮短學習時間,接近至規定之學習效果。實則,真 輸出及監視器信號間之誤差確實改善至〇。 在上述之實施例中,雖第一二進制閘層及第二二進制 閘層分別爲、、及〃層及 '、或〃層,但本發明並不限於此實 施例,即是,如顯示於圖7,8,9 ,及1 0,第一二進 制聞層可爲具有多個 '、或〃邏輯元件之、、或〃層,具有多 個、反及〃邏輯元件之、'反及〃中間層,或具有多個、、互 斥或〃邏輯元件之 ''互斥或〃中間層;及第二二進制閘可 爲具有多個 ''及〃邏輯元件之、、及〃層,具有多個、、反及 夕邏輯元件之 ''反及〃輸出層,具有多個、、反或〃邏輯元 件之 ''反或〃輸出層,或具有多個、、互斥或〃邏輯元件之 ''互斥或〃輸出層。 (本發明之效果) 本發明提供學習網路之改良之二進制系統,由具有二 進制輸入端之一輸入層,一交連層,具有第一相似邏輯元 件之一第一二進制閘層,具有第二相似元件之一第二二進 制閘層,及一輸出層構成,以形成一學習網路,俾相鄰層 間之每一交連情況限於自其輸入端至輸出端之單行道,及 每一層具有獨立徑路,無相互交連情況,交連層具有裝置 ,用以選擇一直接交連情況或一通過反相器之交連情況, 此係有關自學習網路之輸入層中之各別信號單位至第一二 進制閘層中之各別信號單位之徑路。 故此,進一步簡化誤差可修改電路之構造,並縮學習 (請先閱讀背面之注意事項再填寫本頁) 訂---------線 « 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) -23- 497041 A7 _B7_ 五、發明說明(21 ) 時間,接近至規定之學習效果。真輸出及監視器信號間之 ο 至 正 改 實 確 差 誤 (請先閱讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製 -24- 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐)

Claims (1)

  1. 497041 附件2_· 第88108409號專利申請案 中文申請專利範圍修正本 AS B8 C8 民國91年2月呈 • 1^0 申請專利範圍 修煩 41 ㈣ :¾年 S月& 7 f ύ 多所 t提 3之 經濟部智^13|是^7^工消骨^作让印^ 1 •一種二進制學+ 端之一輸入層,一交連層 系 ,其特徵爲由具有多個輸入 ,具有第一相似邏輯元件之一第 二進制閘層,具有第二相似邏輯元件之 形成一學習網路 端至輸出 層’及一輸出層構成,以 間之每一交連情況限於自 每一層具有獨立之徑路, 裝置用以選擇一直接交連 之任一,此係有關自輸入 其輸入 而無相互交連情 情況及一通過反 層中之 之徑路 之原輸 各別信號 ,如此, 出信號及 一第二 ,其中 端之單 況,交 相器之 單位至 所選之 學習網 二進制閘 ,相鄰層 行道,及 連層具有 交連情況 第一二進 制閘層中之各別信號單位 適於消除或減少輸出層處 視器信號間之各別誤差。 2 ·如申請專利範圍第1項所述之二進制學習·系統 包含此後所述之一種方法 (1 )選擇交連情況 信號不同之情形下學習, 形下之學習, (2 )實施學習,以 交連情況 路中之監 之一 ’俾在原輸出信號與監視器 且不管在上述之二信號相同之情 選擇輸入層中之信號單位及第一 二進制閘層中之信號單位間之交連情況之一,單位選擇順 最高位置至最低位置,並同時選 端’輸入層中之最高位置至最低 序爲自第一二進制閘層之 擇每一單位中之所有輸入 位置, (3 )在選擇至最低位置單位之交連情況後,視需要 ,再對最高位置執行學習。 3 ·如申請專利範圍第1或2項所述之二進制學習系 (請先閔讀背面之注意事項再填寫本頁) ^戌尸、度適用中⑷阈家漂乍(CNS〗Λ4嚏格(::丨公4·; 497041 B8 CS D8六、申請專利範園 統,其中第一及第二邏輯元件依其順序分別包含多個 ''或 〃閘及 ''及〃閘電路。 4 .如申請專利範圍第1或2項所述之二進制學習系 統,其中第一及第二邏輯元件依其順序分別包含多個 ''及 〃閘及 > 或〃閘電路。 5 .如申請專利範圍第1或2項所述之二進制學習系 統,其中第一及第二邏輯元件分別包含多個 ''反及〃閘及 ''反及〃閘電路。 6 .如申請專利範圍第1或2項所述之二進制學習系 統,其中第一及第二邏輯元件分別包含多個 ''反或〃閘及 ''反或〃閘電路。 7 .如申請專利範圍第1或2項所述之二進制學習系 統,其中第一及第二邏輯元件分別包含多個 ''互斥或〃閘 及 ''互斥或〃閘電路。 (請先閱讀背面之注意事項再填寫本頁)
TW088108409A 1998-02-20 1999-05-21 Learning methods in binary systems TW497041B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05610198A JP2002024199A (ja) 1998-02-20 1998-02-20 二値システムの学習方法

Publications (1)

Publication Number Publication Date
TW497041B true TW497041B (en) 2002-08-01

Family

ID=13017723

Family Applications (1)

Application Number Title Priority Date Filing Date
TW088108409A TW497041B (en) 1998-02-20 1999-05-21 Learning methods in binary systems

Country Status (19)

Country Link
US (1) US6611826B1 (zh)
EP (1) EP0978791A4 (zh)
JP (1) JP2002024199A (zh)
KR (1) KR100342886B1 (zh)
CN (1) CN1256771A (zh)
AR (1) AR017461A1 (zh)
AU (1) AU742285B2 (zh)
BR (1) BR9904836A (zh)
CA (1) CA2287933A1 (zh)
DE (1) DE978791T1 (zh)
ID (1) ID23914A (zh)
IL (1) IL132367A (zh)
NO (1) NO995089L (zh)
NZ (1) NZ500370A (zh)
PE (2) PE20000591A1 (zh)
RU (1) RU2187841C2 (zh)
TW (1) TW497041B (zh)
WO (1) WO1999042928A1 (zh)
ZA (1) ZA991361B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129222B2 (en) * 2011-06-22 2015-09-08 Qualcomm Incorporated Method and apparatus for a local competitive learning rule that leads to sparse connectivity

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4774677A (en) * 1981-08-06 1988-09-27 Buckley Bruce S Self-organizing circuits
JPS60204118A (ja) 1984-03-28 1985-10-15 Toshiba Corp 任意の論理関数を実現する方法及び装置
US5481646A (en) * 1989-07-12 1996-01-02 Ricoh Company, Ltd. Neuron unit and neuron unit network
US5167006A (en) * 1989-12-29 1992-11-24 Ricoh Company, Ltd. Neuron unit, neural network and signal processing method
WO1992004687A1 (de) * 1990-09-11 1992-03-19 Siemens Aktiengesellschaft Verfahren und anordnung zur boole'schen realisierung neuronaler netze vom adaline-typ
EP0476159B1 (en) * 1990-09-15 1996-12-11 International Business Machines Corporation Programmable neural logic device
JP3438241B2 (ja) * 1992-10-29 2003-08-18 直 柴田 半導体神経回路装置
JPH06195322A (ja) * 1992-10-29 1994-07-15 Hitachi Ltd 汎用型ニューロコンピュータとして用いられる情報処理装置
DE69430529T2 (de) * 1994-07-28 2003-01-16 Ibm Daisy-Chain-Schaltung für die serielle Verbindung von Neuronalschaltungen
EP0694854B1 (en) * 1994-07-28 2002-06-05 International Business Machines Corporation Improved neural semiconductor chip architectures and neural networks incorporated therein
US6061673A (en) * 1996-11-06 2000-05-09 Sowa Institute Of Technology Co., Ltd. Learning methods in binary systems

Also Published As

Publication number Publication date
NO995089D0 (no) 1999-10-18
NO995089L (no) 1999-12-03
DE978791T1 (de) 2000-08-31
BR9904836A (pt) 2000-05-23
IL132367A0 (en) 2001-03-19
NZ500370A (en) 2002-08-28
US6611826B1 (en) 2003-08-26
CA2287933A1 (en) 1999-08-26
PE20000591A1 (es) 2000-07-07
AR017461A1 (es) 2001-09-05
CN1256771A (zh) 2000-06-14
KR100342886B1 (ko) 2002-07-04
EP0978791A1 (en) 2000-02-09
ZA991361B (en) 1999-09-02
AU2547599A (en) 1999-09-06
ID23914A (id) 2000-05-25
IL132367A (en) 2002-11-10
PE20001190A1 (es) 2000-11-07
AU742285B2 (en) 2001-12-20
JP2002024199A (ja) 2002-01-25
KR20010020137A (ko) 2001-03-15
RU2187841C2 (ru) 2002-08-20
EP0978791A4 (en) 2000-07-05
WO1999042928A1 (fr) 1999-08-26

Similar Documents

Publication Publication Date Title
US10282661B2 (en) Multi-modal neural network for universal, online learning
US11055608B2 (en) Convolutional neural network
JP5963315B2 (ja) シミュレーションを使用して学習されるシナプス重みを用いるニューロモーフィック/シナプトロニック・スパイキング・ニューラル・ネットワークのための方法、デバイス、および回路
US9697461B2 (en) Universal, online learning in multi-modal perception-action semilattices
EP3132389A1 (en) Methods, systems and computer program products for neuromorphic graph compression using associative memories
JPH07262158A (ja) 時系列学習神経回路素子およびそれを用いた時系列学習神経回路
Andersen et al. A. modified regression algorithm for fast one layer neural network training
JP7433307B2 (ja) パルスニューラルネットワークにおける誤差のパルス形式での逆伝播
EP0477486B1 (en) Neural network circuit
TW497041B (en) Learning methods in binary systems
EP0841621B1 (en) Learning method in binary systems
Dubois Hyperincursive McCulloch and Pitts neurons for designing a computing flip-flop memory
Ele et al. Artificial neuron network implementation of boolean logic gates by perceptron and threshold element as neuron output function
Martinez Adaptive self-organizing concurrent systems
Awwal et al. Computer arithmetic for optical computing
Born et al. Designing neural networks by adaptively building blocks in cascades
Akash Artificial intelligence & neural networks
Haussler et al. Neurocontrollers designed by a genetic algorithm
Sayeh et al. Generating good design from bad design: dynamical network approach
McAulay et al. Optical implementation of a multi-layer neural network by SLR and MSLM
Tang et al. A Boolean algebra based learnable network
JPH06131317A (ja) ニューロン素子
CN117371483A (zh) 时域信号处理方法及装置、介质
Pedrycz Fuzzy sets and neurocomputation: knowledge-based networks
JPH06301665A (ja) 信号処理装置

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent