TWI643138B - Network construction device and network construction method - Google Patents

Network construction device and network construction method Download PDF

Info

Publication number
TWI643138B
TWI643138B TW106105854A TW106105854A TWI643138B TW I643138 B TWI643138 B TW I643138B TW 106105854 A TW106105854 A TW 106105854A TW 106105854 A TW106105854 A TW 106105854A TW I643138 B TWI643138 B TW I643138B
Authority
TW
Taiwan
Prior art keywords
layer
intermediate layer
output value
output
elements
Prior art date
Application number
TW106105854A
Other languages
English (en)
Other versions
TW201814595A (zh
Inventor
毬山利貞
福島邦彥
松本渉
Original Assignee
三菱電機股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機股份有限公司 filed Critical 三菱電機股份有限公司
Publication of TW201814595A publication Critical patent/TW201814595A/zh
Application granted granted Critical
Publication of TWI643138B publication Critical patent/TWI643138B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0463—Neocognitrons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G06F18/2185—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor the supervisor being an automated module, e.g. intelligent oracle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)
  • Materials For Photolithography (AREA)

Abstract

元件構築部(13)，比較輸出值算出部(12)算出的中間層(2)包含的1個以上的元件的輸出值與閾值，當中間層(2)包含的1個以上的元件的輸出值之中的任一個輸出值比閾值大的話，維持中間層(2)包含的元件的數目，當中間層(2)包含的1個以上的元件的輸出值全部都在閾值以下的話，增加中間層(2)包含的元件的數目

Description

網路構築裝置以及網路構築方法
本發明係有關於構築類神經網路的網路構築裝置及網路構築方法。
類神經網路(Neural Network)是輸入層、中間層及輸出層縱向連接的網路。類神經網路是一種近似函數，藉由在事前學習輸入資料與輸出資料的關係，在被供給任意的輸入資料時，預測出對應到任意的輸入資料的輸出資料。
包含在中間層的元件的數目等的類神經網路的構造是類神經網路的設計者手動決定的情況較多，不熟知類神經網路的設計者要正確地決定類神經網路的構造是很困難的。以下的非專利文獻1揭露了一種網路構築方法，使用了被稱為AiS(Add if Silent)的手法，自動地決定類神經網路的構造。這個類神經網路是模仿被稱為新認知器(Neocognitron)的生物視覺資訊處理的類神經網路，這個類神經網路的中間層包含的元件是輸出入響應以標準化線性函數所決定的元件。
非專利文獻1：Fukushima, K.: “Artificial vision by multi-layered neural networks: Neocognitron and its advances”, Neural Networks, vol. 37, pp. 103-119 (2013).
習知的網路構築方法如以上的方式構成，因此如 果中間層包含的元件是輸出入響應以標準化線性函數所決定的元件的話，就能夠自動地決定中間層包含的元件的數目。然而，中間層包含的元件是輸出入響應以高斯函數所決定的元件的情況下，即使使用被稱為AiS的手法，也會有無法自動地決定中間層包含的元件的數目等的問題。
本發明是為了解決上述的問題而完成，因此本發明的目的是得到一種網路構築裝置及網路構築方法，即使中間層包含的元件是輸出入響應以高斯函數所決定的元件，也能夠自動地決定中間層包含的元件的數目。
本發明的網路構築裝置，包括：輸出值算出部，在構築具備中間層的類神經網路時，根據該類神經網路的輸入層包含的元件的輸出值，算出該中間層包含的1個以上的元件的輸出值，其中該中間層包括輸出入響應是以高斯函數所決定的元件；以及元件構築部，實施元件構築處理，比較該輸出值算出部算出的1個以上的元件的輸出值與閾值，當該中間層包含的1個以上的元件的輸出值之中的任一個元件的輸出值比該閾值大的話，維持該中間層包含的元件的數目，當該中間層包含的1個以上的元件的輸出值全部都在該閾值以下的話，增加該中間層包含的元件的數目。
根據本發明，元件構築部會比較輸出值算出部所算出的1個以上的元件的輸出值與閾值，當中間層包含的1個以上的元件的輸出值當中的任一個元件的輸出值比閾值大的話，就維持中間層包含的元件的數目，當中間層包含的1個以 上的元件的輸出值全部在閾值以下的話，就實施增加中間層包含的元件的數目的元件構築處理，因此，會有中間層包含的元件即使是輸出入響應以高斯函數所決定的元件，也能夠自動地決定中間層包含的元件的數目的效果。
1‧‧‧輸入層
2、2-1~2-G‧‧‧中間層
3‧‧‧輸出層
11‧‧‧初始設定部
12‧‧‧輸出值算出部
13‧‧‧元件構築部
14‧‧‧資料記憶部
15‧‧‧參數更新部
16‧‧‧層數決定部
21‧‧‧初始設定電路
22‧‧‧輸出值算出電路
23‧‧‧元件構築電路
24‧‧‧資料記憶電路
25‧‧‧參數更新電路
26‧‧‧層數決定電路
31‧‧‧記憶體
32‧‧‧處理器
第1圖係顯示本發明的實施型態1的網路構築裝置的架構圖。
第2圖係本發明實施型態1的網路構築裝置的硬體的架構圖。
第3圖係顯示本發明的實施型態1的網路構築裝置適用的類神經網路的一例的說明圖。
第4圖係網路構築裝置以軟體或韌體等來實現的情況下的電腦的硬體架構圖。
第5圖係顯示網路構築裝置以軟體或韌體等來實現的情況下的處理步驟，即網路構築方法的流程圖。
第6圖係顯示網路構築裝置以軟體或韌體等來實現的情況下的處理步驟，即網路構築方法的流程圖。
第7圖係顯示本發明的實施型態2的網路構築裝置適用的類神經網路的一例的說明圖。
第8圖係顯示網路構築裝置以軟體或韌體等來實現的情況下的處理步驟，即網路構築方法的流程圖。
第9圖係顯示本發明的實施型態3的網路構築裝置的架構圖。
第10圖係本發明實施型態3的網路構築裝置的硬體架構圖。
以下，為了更詳細地說明本發明，參照附加的圖式來說明實施本發明的實施型態。
類神經網路的中間層包含的元件的輸出入響應是標準化線性函數的情況下，例如大幅跳出預想範圍的正的資料輸入到中間層的話，就會預想到中間層會輸出大的正的資料。結果，就會預想到輸出層會輸出大的正的資料。藉此，例如類神經網路的輸出側的裝置中，大幅跳出預想範圍的資料輸入到中間層時，從類神經網路的輸出層會輸出大的正的資料，所以有受到極大影響的可能性存在。類神經網路的中間層包含的元件的輸出入響應是高斯函數的情況下，例如，大幅跳出預想範圍的正或負資料輸入到中間層時，中間層會輸出接近0的資料。結果，輸出層也輸出接近0的資料。藉此，例如類神經網路的輸出側的裝置中，即使大幅跳出預想範圍的資料輸入到中間層，類神經網路的輸出層也輸出接近0的資料，所以能夠迴避大的影響。
[實施型態1]
第1圖係顯示本發明的實施型態1的網路構築裝置的架構圖。第2圖係本發明實施型態1的網路構築裝置的硬體架構圖。第3圖係顯示本發明的實施型態1的網路構築裝置適用的類神經網路的一例的說明圖。第1圖到第3圖中，類神經網路具備輸入層1、中間層2及輸出層3。這個實施型態1 中，說明中間層2的層數是1的例子，中間層2的層數是2以上的例子在實施型態2說明。
輸入層1包含I(I是1以上的整數)個元件ai(i=1、...、I)，例如由感測器等依序供給M(M是1以上的整數)個學習資料xm=(x1 m、x2 m、...、xI m)。m=1、2、...、M。學習資料xm的次方數是I，學習資料xm包含的xi m(i=1、...、I)稱為成分資料。輸入層1在當學習資料xi m的第i個成分資料xi m(i=1、...、I)供給到第i個元件ai(i=1、...、I)時，會輸出yi=xi m，來做為相對於中間層2包含的第j個元件bj(j=1、...、J)的第i個元件ai的輸出值。
中間層2包含J(J是1以上的整數)個元件bj(j=1、...、J)，第j個元件bj是輸出入響應以高斯函數決定的元件。然而，這個實施型態1中，為了說明上的方便，假設以網路構築裝置進行網路構築前，中間層2包含的元件的數目是0。這只是一個例子，即使是以網路構築裝置進行網路構築前，中間層2也可以包含1個以上的元件。中間層2在輸入層1包含的I個元件ai的輸出值yi(i=1、...、I)提供到第j個元件bj時，會從I個元件ai的輸出值yi中算出第j個元件bj的輸出值zj(j=1、...、J)，將元件bj的輸出值zj輸出到輸出層3。
輸出層3包括元件c，元件c例如會算出中間層2與輸出層3之間的權重vj(j=1、...、J)、以及中間層2包含的J個元件bj的輸出值zj(j=1、...、J)之間的積的總和，輸出該總和。第3圖中，顯示了輸出層3包括的元件c的個數是1的例子，但也可以包括複數的元件c。
初始設定部11例如以第2圖的初始設定電路21實現。初始設定部11對於中間層2包含的每個元件實施將關於該元件bj的高斯函數的參數值做初始設定的處理。初始設定部11將做為高斯函數的參數值的例如高斯分布的標準差σi,j、高斯函數的中心座標μi,j、輸入層1包含的第i個元件ai與中間層2包含的第j個元件bj間的權重Wi,j做初始設定。高斯分布的標準差σi,j是對於中間層2包含的第j個元件bj的例如I個元件ai的輸出值yi(i=1、...、I)的標準差。高斯函數的中心座標μi,j是中間層2包含的第j個元件bj的中心成分。
輸出值算出部12是例如以第2圖的輸出值算出電路22實現。做為來自初始設定部11的高斯函數的參數的初始值，輸出值算出部12會被供給高斯分布的標準差σi,j、高斯函數的中心座標μi,j、權重Wi,j。輸出值算出部12對於具有初始設定部11所供給的參數的初始值的高斯函數，代入輸入層1包含的例如I個元件ai的輸出值yi(i=1、...、I)，藉此實施算出第j個元件bj的輸出值zj(j=1、...、J)的處理。
元件構築部13會以例如第2圖的元件構築電路23實現。元件構築部13會將輸出值算出部12所算出的J個元件bj的輸出值zj(j=1、...、J)與事前設定的閾值Th做比較，當中間層2中包含的J個元件bj的輸出值zj之中，任一者元件bj的輸出值zj比閾值Th大的話，就維持中間值2包含的元件bj的數目。又，當J個元件bj的輸出值zj的全部都在閾值Th以下的話，元件構築部13就會實施增加中間值2包含的元件bj的數目的元件構築處理。
資料記憶部14例如是以第2圖的資料記憶電路24實現。除了中間層2包含的元件bj的個數J以外，資料記憶部14還儲存了有關於初始設定部11所初始設定的元件bj的高斯函數的參數，以及輸出值算出部12所算出的元件bj的輸出值zj。參數更新部15例如以第2圖的參數更新電路25實現。參數更新部15在元件構築部13實施元件構築處理後，在學習資料供給輸入層1時實施學習高斯函數的參數的監督式學習，藉此更新儲存於資料記憶部14中的高斯函數的參數以及中間層2包含的第j個元件bj與輸出層3包含的元件c之間的權重vj。又，參數更新部15實施監督式學習，藉此實施將輸入層1包含的第i個元件ai與中間層2包含的第j個元件bj之間的權重Wi,j。
在第1圖中，網路構築裝置的構成要素，即初始設定部11、輸出值算出部12、元件構築部13、資料記憶部14及參數更新部15分別假設是以第2圖所示的專用硬體，也就是初期設定電路21、輸出值算出電路22、元件構築電路23、資料記憶電路24及參數更新電路25實現。在此，資料記憶電路24例如是RAM(Random Access Memory)、ROM(Read Only Memory)、快閃記憶體、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)等的非揮發性或揮發性的半導體記憶體、磁碟片、可撓性碟片、光碟、CD、MD、DVD(Digital Versatile Disc)等。又，初始設定電路21、輸出值算出電路22、元件構築電路23及參數更新電路25例如是單一電路、複合電路、程式化的處理器、平行程式化的處理器、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmble Gate Array)、或者是它們的組合。
然而，網路構築裝置的構成要素並不限定於以專用硬體來實現，網路構築裝置也可以用軟體、韌體、或者是軟體及韌體的組合來實現。軟體或韌體會做為程式而儲存於電腦的記憶體。電腦的意思是執行程式的硬體，例如CPU(Central Processing Unit)、中央處理裝置、處理裝置、計算裝置、微處理器、微控制器、處理器、DSP(Digital Signal Processor)等。
第4圖係網路構築裝置以軟體或韌體等來實現的情況下的電腦的硬體架構圖。網路構築裝置以軟體或韌體等實現的情況下，資料記憶部14構成於電腦的記憶體31上，且用來讓電腦執行初始設定部11、輸出值算出部12、元件構築部13及參數更新部15的處理步驟的程式會存在記憶體31，讓電腦的處理器32執行儲存於記憶體31中的程式即可。第5圖及第6圖係顯示網路構築裝置以軟體或韌體等來實現的情況下的處理步驟，即網路構築方法的流程圖。
又，第2圖中，顯示了網路構築裝置的構成要素分別以專用的硬體實現的例子，第4圖中，顯示了網路構築裝置以軟體或韌體等實現的例子，但也可以是網路構築裝置中的一部分的構成要素是以專用的硬體實現，剩下的構成要素是以軟體或韌體等實現。
接著說明動作。本實施型態1中的網路構築裝置的處理內容大致分成2個處理內容。第1處理內容是決定中間層2的構造的處理內容，也就是決定中間層2包含的元件bj 的個數J，且初始設定關於元件bj的高斯函數的參數的處理內容(第5圖的步驟ST1)。第2處理內容是藉由實施監督式學習，來更新初始設定的高斯函數的參數、以及輸入層1包含的第i個元件ai以及中間層2包含的第j個元件bj之間的權重Wi,j的處理內容(第5圖的步驟ST2)。
以下，一邊參照第6圖，一邊具體地說明第1處理內容。本實施型態1中，假設中間層2包含的元件bj的個數J的初始值是0個。元件構築部13在執行第1處理內容時，會判定中間層2之中是否包含元件bj。也就是說，元件構築部13判斷中間層2之中包含元件bj的個數J是否為0個(第6圖的步驟ST11)。
當元件構築部13判斷中間層2之中包含元件bj的個數J是0個時(第6圖的步驟ST11：YES的情況)，會在中間層2之中追加1個新的元件bj。也就是，元件構築部13會在中間層2中新增元件b1(第6圖的步驟ST12)。元件構築部13判斷中間層2之中包含元件bj的個數J不是0個時(第6圖的步驟ST11：NO的情況)，在這個階段，不進行追加新的元件bj到中間層2中的處理，本實施型態1中，因為中間層2所包含的元件bj的個數J的初始值是設定0個，因此這邊元件構築部13會新增元件b1到中間層2中。
當元件構築部13新增元件b1到中間層2中，初始設定部11會判定是否已經取得M個學習資料xm=(x1 m、x2 m、...、xI m)的全部(第6圖的步驟ST13)。如果已經取得M個學習資料xm的話(第6圖的步驟ST13：YES的情況)， 初始設定部11會結束決定中間層2的構造的第1處理內容。如果還沒有取得M個學習資料xm的話(第6圖的步驟ST13：NO的情況)，初始設定部11會取得還未取得的學習資料xm(第6圖的步驟ST14)。這個實施型態1中，初期設定部11在這個階段還沒有取得M個學習資料xm，因此會取得第1個學習資料x1=(x1 1、x2 1、...、xI 1)，來做為尚未取得的學習資料xm。當初始設定部11取得第1個學習資料x1=(x1 1、x2 1、...、xI 1)，會從輸入層1包含的第i的元件ai的輸出值yi=xi 1中，初始設定有關於中間層2包含的元件b1的高斯函數的參數(第6圖的步驟ST15)。
也就是，做為有關中間層2包含的元件b1的高斯函數的參數的一個，初始設定部11會初始設定高斯分布的標準差σi,1(i=1、...、I)。高斯分布的標準差值σi,1是對於中間層2包含的元件b1的I個元件ai的輸出值yi=xi 1的標準偏差值，從輸入層1包含的I個元件ai的輸出值yi=xi 1中算出。標準差值σi,1的算出處理本身是公知技術所以省略詳細說明。又，做為有關於中間層2包含的元件b1的高斯函數的參數的一者，初始設定部11會初始設定高斯函數的中心座標μi,1(i=1、...、I)。高斯函數的中心座標μi,1如以下式(1)，輸入層1包含的第i個元件ai的輸出值yi=xi 1。
μi,1=xi 1 (1)
又，做為有關於中間層2包含的元件b1的高斯函數的參數的一者，初始設定部11如以下式(2)，會初始設定輸入層1包含的第i個元件ai與中間層2包含的元件b1之間的權重 Wi,1(i=1、...、I)。
Wi,1=1 (2)
在此，顯示了將權重Wi,1設定為1的例子，但這只是一個例子，也可以設定成1以外的值。
當初始設定部11初始設定有關於中間層2包含的元件b1的高斯函數的參數時，會將該參數的初始值輸出到輸出值算出部12，且會將該參數的初始值儲存到資料記憶部14。
輸出值算出部12從初始設定部11取得有關於中間層2包含的元件b1的高斯函數的參數的初始值。又，輸出值算出部12取得第1個學習資料x1=(x1 1、x2 1、...、xI 1)。
輸出值算出部12取得第1個學習資料x1時，會算出中間層2包含的元件b1的輸出值z1(第6圖的步驟ST16)。也就是，輸出值算出部12對於以下式(3)所示的高斯函數，將關於中間值2包含的元件b1的高斯函數的參數值初始值、輸入層1包含的I個元件ai的輸出值yi=xi 1代入，藉此算出中間層2包含的元件b1的輸出值z1。
輸出值算出部12當算出時中間層2包含的元件b1的輸出值z1時，會將元件b1的輸出值z1輸出到元件構築部13，且將元件b1的輸出值z1儲存到資料記憶部14
元件構築部13當接收到來自輸出值算出部12的元件b1的輸出值z1，會比較元件b1的輸出值z1與事前設定的閾值Th(第6圖的步驟ST17)。因為元件b1的輸出值z1最大 是1，做為閾值Th，會考慮1以下的正的實數或者是e-0.25以上1以下的實數等。
元件構築部13，在中間層2包含的元件b1的輸出值z1比閾值Th大的情況下(第6圖的步驟ST17：NO的情況)，會維持中間層2包含的元件的個數J(J=1)。中間層2包含的元件b1的輸出值z1比閾值Th大的情況下，中間層2包含的元件b1可以說是對應到輸入層1包含的元件a1的輸出值y1的元件。也就是說，中間層2包含的元件b1可以說是表示高斯函數中的高斯分布的中心座標的元件。因此，不需要追加新的元件b2到中間層2，所以元件構築部13會維持中間層2中包含的元件的個數J(J=1)。元件構築部13，在中間層2包含的元件b1的輸出值z1在閾值Th以下的情況下(第6圖的步驟ST17：YES的情況)，會追加新的元件b2到中間層2，使中間層2包含的元件的數目增加(第6圖的步驟ST18)。中間層2包含的元件b1的輸出值z1在閾值Th以下的情況下，中間層2包含的元件b1不可以說是對應到輸入層1包含的元件a1的輸出值y1的元件。因此，元件構築部13追加新的元件b2到中間層2。在這個實施型態1中，為了說明上的方便，因為中間層2包含的元件b1的輸出值z1在閾值Th以下，所以假設追加新的元件b2到中間層2。
初始設定部11會在元件構築部13追加新的元件b2到中間層2，或者是維持中間層2包含的元件的個數J的時候，判定是否已經取得M個學習資料xm=(x1 m、x2 m、...、xI m)的全部(第6圖的步驟ST13)。初始設定部11在已經取得M個學習資料xm的話(第6圖的步驟ST13：YES的情況)，會 結束決定中間層2的構造的第1處理內容。初始設定部11在還沒有取得M個學習資料xm的話(第6圖的步驟ST13：NO的情況)，取得尚未取得的學習資料xm(第6圖的步驟ST14)。在這個實施型態1中，初始設定部11在這個階段還沒有取得M個學習資料xm，會取得第2個學習資料x2=(x1 2、x2 2、...、xI 2)，來做為尚未取得的學習資料xm。初始設定部11在取得第2個學習資料x2=(x1 2、x2 2、...、xI 2)時，會從輸入層1中包含的i個元件ai的輸出值yi=xi 2中，初始設定有關中間層2包含的元件b1、b2的高斯函數的參數(第6圖的步驟ST15)。
也就是，初期設定部11會從輸入層1中包含的I個元件ai的輸出值yi=xi 2中，算出高斯分布的標準差σi,j(i=1、...、I：j=1、2)，來做為有關於中間層2的元件b1、b2的高斯函數的參數的一者。又，初始設定部11如以下式(4)所示，將輸入層1所包含的第i個元件ai的輸出值yi=xi 2初始設定成高斯函數的中心座標μi,j(i=1、...、I：j=1、2)，來做為有關於中間層2的元件b1、b2的高斯函數的參數的一者。
μi,j=xi 2 (4)
又，初始設定部11如以下式(5)所示，將輸入層1所包含的第i個元件ai(i=1、...、I)及中間層2所包含的第j個元件bj(j=1、2)之間的權重Wi,j做初始設定，來做為有關於中間層2的元件b1、b2的高斯函數的參數的一者。
Wi,j=1 (5)
在此，顯示了將Wi,j設定為1的例子，但這只是一個例子，也可以設定成1以外的值。
初始設定部11將有關於中間層2包含的元件b1、b2的高斯函數的參數初始設定時，將該參數的初始值輸出到輸出值算出部12，且同時將該參數的初始值儲存到資料記憶部14。
輸出值算出部12從初始設定部11中取得有關於中間層2的元件b1、b2的高斯函數的參數的初始值。又，輸出值算出部12取得第2個學習資料x2=(x1 2、x2 2、...、xI 2)。
輸出值算出部12當取得第2個學習資料x2時，算出中間層2包含的元件b1的輸出值z1(第6圖的步驟ST16)。也就是，輸出值算出部12對於以下式(6)所示的高斯函數，將關於中間值2包含的元件b1的高斯函數的參數值初始值、輸入層1包含的I個元件ai的輸出值yi=xi 2代入，藉此算出中間層2包含的元件b1的輸出值z1。有關中間值2包含的元件b1的高斯函數的參數的初始值是高斯分布的標準差σi,1(i=1、...、I)、高斯函數的中心座標μi,1(i=1、...、I)、權重Wi,1(i=1、...、I)。又，輸出值算出部12對於以下式(6)所示的高斯函數，將關於中間值2包含的元件b2的高斯函數的參數值初始值、輸入層1包含的I個元件ai的輸出值yi=xi 2代入，藉此算出中間層2包含的元件b2的輸出值z2。有關中間值2包含的元件b2的高斯函數的參數的初始值是高斯分布的標準差σi,2(i=1、...、I)、高斯函數的中心座標μi,2(i=1、...、I)、Wi,2(i=1、...、I)。
在此，式(6)中，i=1、...、I，j=1、2。輸出值算出部12將中間層2包含的元件b1的輸出值z1及元件b2的輸出值z2算出時，將元件b1、b2的輸出值z1、z2輸出到元件構築部13，且同時將元件b1、b2的輸出值z1、z2儲存到資料記憶部14。
元件構築部13接受到來自輸出值算出部12的元件b1、b2的輸出值z1、z2時，比較元件b1、b2的輸出值z1、z2與閾值Th(第6圖的步驟ST17)。元件構築部13，在中間層2包含的元件b1、b2的輸出值z1、z2之中任一者比閾值Th大的情況下(第6圖的步驟ST17：NO的情況)，會維持中間層2包含的元件的個數J(J=2)。中間層2包含的元件b1、b2的輸出值z1、z2之中任一者比閾值Th大的情況下，輸出值比閾值Th大的元件可以說是對應到輸入層1包含的元件的輸出值的元件。因此，不需要追加新的元件b3到中間層2，所以元件構築部13會維持中間層2中包含的元件的個數J(J=2)。元件構築部13，在中間層2包含的元件b1、b2的輸出值z1、z2全部都在閾值Th以下的情況下(第6圖的步驟ST17：YES的情況)，會追加新的元件b3到中間層2，使中間層2包含的元件的數目增加(第6圖的步驟ST18)。中間層2包含的元件b1、b2的輸出值z1、z2全部都在閾值Th以下的情況下，中間層2包含的任一個元件都不可以說是對應到輸入層1包含的元件的輸出值的元件。因此，元件構築部13追加新的元件b3到中間層2。在這個實施型態1中，為了說明上的方便，因為中間層2包含的元件b1、b2的輸出值z1、z2全部都閾值Th以下，所以假設追加新的元件b3到中間層2。
以後，假設中間層2包含的現在元件的個數是J個(J≧3)來說明。初始設定部11會在元件構築部13追加新的元件到中間層2，或者是維持中間層2包含的元件的個數J的時候，判定是否已經取得M個學習資料xm(x1 m、x2 m、...、xI m)的全部(第6圖的步驟ST13)。初始設定部11已經取得M個學習資料xm的話(第6圖的步驟ST13：YES的情況)，會結束決定中間層2的構造的第1處理內容。初始設定部11還沒有取得M個學習資料xm的話(第6圖的步驟ST13：NO的情況)，取得尚未取得的學習資料xm(第6圖的步驟ST14)。初始設定部11假設在M個學習資料Xm之中還沒有取得第m個學習資料xm的話，會取得第m個學習資料Xm。當初始設定部11在取得第m個學習資料xm時，會從輸入層1中包含的i個元件ai的輸出值yi=xi m中，初始設定有關中間層2包含的元件b1~bJ的高斯函數的參數(第6圖的步驟ST15)。
也就是，做為有關中間層2包含的元件b1~bJ的高斯函數的參數的一個，初始設定部11會從輸入層1包含的I個元件ai的輸出值yi=xi m中算出高斯分布的標準差σi,j(i=1、...、I：j=1、...、J)。又，做為有關於中間層2包含的元件b1~bJ的高斯函數的參數的一者，如式(4)所示，初始設定部11會初始設定輸入層1包含的第i個元件ai的輸出值yi=xi m為高斯函數的中心座標μi,j。又，做為有關於中間層2包含的元件b1~bJ的高斯函數的參數的一者，如式(5)所示，初始設定部11會初始設定輸入層1包含的第i個元件ai(i=1、...、J)與中間層2包含的第j個元件bj(j=1、...、J)之 間的權重Wi,j。在此，顯示了將權重Wi,j設定為1的例子，但這只是一個例子，也可以設定成1以外的值。
初始設定部11當初始設定有關中間層2包含的元件b1~bJ的高斯函數的參數時，一邊將該參數的初始值輸出到輸出值算出部12，一邊將該參數的初始值儲存到資料記憶部14。
輸出值算出部12從初始設定部11中取得中間值2包含的元件b1~bJ的高斯函數的參數的初始值。又，輸出值算出部12取得第m個學習資料xm(x1 m、x2 m、...、xI m)。
當輸出值算出部12取得第m個學習資料xm(x1 m、x2 m、...、xI m)，會算出中間層2包含的元件b1~bJ的輸出值z1~zJ(第6圖的步驟ST16)。也就是，輸出值算出部12對於式(6)所示的高斯函數，將關於中間值2包含的元件bj(j=1、...、J)的高斯函數的參數值初始值、輸入層1包含的I個元件ai的輸出值yi=xi m代入，藉此算出中間層2包含的元件bj的輸出值zj(j=1、...、J)。有關中間值2包含的元件bj的高斯函數的參數的初始值是高斯分布的標準差σi,j(i=1、...、I：j=1、...、J)、高斯函數的中心座標μi,j(i=1、...、I：j=1、...、J)、權重Wi,j(i=1、...、I：j=1、...、J)。
當輸出值算出部12算出中間層2包含的元件b1~bJ的輸出值z1~zJ，會將元件b1~bJ的輸出值z1~zJ輸出到元件構築部13，且同時將元件b1~bJ的輸出值z1~zJ儲存到資料記憶部14。
元件構築部13接受到來自輸出值算出部12的元件b1~bJ的輸出值z1~zJ時，比較元件b1~bJ的輸出值z1~zJ 與閾值Th(第6圖的步驟ST17)。元件構築部13，在中間層2包含的元件b1~bJ的輸出值z1~zJ中任一者的輸出值比閾值Th大的情況下(第6圖的步驟ST17：NO的情況)，會維持中間層2包含的元件的個數J。元件構築部13，在中間層2包含的元件b1~bJ的輸出值z1~zJ全部都在閾值Th以下的情況下(第6圖的步驟ST17：YES的情況)，會追加新的元件到中間層2，使中間層2包含的元件的數目增加(第6圖的步驟ST18)。步驟ST13~ST18的處理會反覆地實施，直到M個學習資料Xm全部取得為止，當步驟ST13的判定處理中判定為「YES」時。第1處理內容結束。
參數更新部15結束第1處理內容後，實施第2處理內容。也就是，參數更新部15結束第1處理內容後，對M個學習資料xm(x1 m、x2 m、...、xI m)每次依序供給時，進行監督式學習，學習儲存於資料記憶部14的高斯函數的參數，也就是，有關中間層2包含的J個元件bj(j=1、...、J)的高斯函數的參數，藉此更新儲存於資料記憶部14的高斯函數的參數、以及中間層2包含的第j個元件bj與輸出層3包含的元件c之間的權重vj。又，參數更新部15實施監督式教學，藉此更新輸入層1包含的第i個元件ai與中間層2包含的第j個元件bj之間的權重Wi,j。監督式教學本體是公知技術所以省略詳細的說明，但例如使用公知的反向傳播算法(Backpropagation)，能夠實施監督式教學。另外，參數更新部15也可以更新高斯函數中的全部的參數，也可以只更新高斯函數中的一部分的參數。例如，在高斯分布的標準差σi,j、高斯函數的中心座標μi,j、 權重Wi,j之中，固定高斯函數的中心座標μi,j，而只更新高斯分布的標準差σi,j及權重Wi,j的方法A。又，固定高斯分布的標準差σi,j，只更新高斯函數的中心座標μi,j及權重Wi,j的方法B、或者是固定權重Wi,j，而只更新高斯分布的標準差σi,j及高斯函數的中心座標μi,j的方法C等。
從以上可知，根據此實施型態1，元件構築部13比較從輸出值算出部12算出的中間層2包含的1個以上的元件bj的輸出值zj以及閾值Th，當中間層2包含的1個以上的元件bj的輸出值zj之中任一者的輸出值zj比閾值Th大的話，維持中間層2包含的元件bj的數目，當中間層2包含的1個以上的元件bj的輸出值zj全部在閾值Th以下的話，就增加中間層2包含的元件bj的數目，因為這個構造，就會達成類神經網路的中間層2包含的元件bj即使是輸出入響應以高斯函數決定的元件，也能夠自動地決定類神經網路的中間層2包含的元件bj的數目的效果。
[實施型態2]
上述實施型態1中，說明了類神經網路具備的中間層2的數目是1的例子。在本實施型態2中，將說明了類神經網路具備的中間層2的數目是2的例子。
第7圖係顯示本發明的實施型態2的網路構築裝置適用的類神經網路的一例的說明圖。第7圖中，使用與第3圖相同符號就表示相同或相當的部分，因此省略說明。中間層2-1~2-G連接於輸入層1與輸出層3之間。第g層的中間層2-g(g=1、2、...、G)包含J(J是1以上的整數)個的元件 bj g(j=1、2、...、J)，第j個元件bj g是輸出入響應以高斯函數決定的元件。
第1層的中間層2-1與第3圖的中間層2同樣，當輸入層1包含的I個元件ai的輸出值yi=xi m被供給到第j個元件bj 1時，從I個元件ai的輸出值yi算出第j個元件bj m的輸出值zj m，將元件bj m的輸出值zj m輸出到第2層的中間層2-2。第g層的中間層2-g(g=2、3、...、G-1)，當第(g-1)層的中間層2-(g-1)包含的全部元件bj g-1的輸出值zj g-1被供給到第j個元件bj g時，從全部元件bj g-1的輸出值zj g-1算出第j個元件bj g的輸出值zj g，將元件bj g的輸出值zj g輸出到第G層的中間層2-G。第G層的中間層2-G，當第(G-1)層的中間層2-(G-1)包含的全部元件bj G-1的輸出值zj G-1被供給到第j個元件bj G時，從全部元件bj G-1的輸出值zj G-1算出第j個元件bj G的輸出值zj G，將元件bj G的輸出值zj G輸出到輸出層3。第7圖中，表示了中間層2-1~2-G包含的元件的個數全數相同數目，但藉由後述的元件構築部13的處理，中間層2-1~2-G包含的元件的個數可被決定成不同的數量也是不言而喻的。
接著說明動作。上述實施型態1中，說明了在實施監督式學習之間決定中間層2的構造的例子，但本實施型態2中，會說明在實施監督式學習之間決定中間層2-1~2-G的構造的例子。這個實施型態2中，會在中間層2-1~2-G中，從輸入層1側的中間層2-g(g=1、2、...、G)依序決定中間層2-g的構造。
第8圖係顯示網路構築裝置以軟體或韌體等來實 現的情況下的處理步驟，即網路構築方法的流程圖。中間層2-1~2-G之中，最先決定輸入層1側的中間層2-1的構造的處理與決定第3圖的中間層2的構造的處理相同，因此省略說明。以下，一邊參照第8圖，一邊說明決定中間層2-g(g=2、3、...、G)的構造的處理。在這個實施型態2中，假設中間層2-g包含的元件bj g的個數J的初始值是0。又，中間層2-(g-1)中包含的元件bj g-1的個數J已經決定為K個，假設中間層2-(g-1)包含的第k個元件bk g-1(k=1、...、K)的輸出值zk g-1被算出。
元件構築部13在實行第1處理內容時，判定中間層2-g之中是否包含元件bj g。也就是，元件構築部13判斷中間層2-g之中包含元件bj g的個數J是否為0個(第8圖的步驟ST21)。
當元件構築部13判斷中間層2-g之中包含元件bj g的個數J是0個時(第8圖的步驟ST21：YES的情況)，會在中間層2-g之中追加1個新的元件bj g。也就是，元件構築部13會在中間層2-g中作成元件bj g(第8圖的步驟ST22)。元件構築部13判斷中間層2-g之中包含元件bj g的個數J不是0個時(第8圖的步驟ST21：NO的情況)，在這個階段，不進行追加新的元件bj g到中間層2-g中的處理，本實施型態2中，因為中間層2-g所包含的元件bj g的個數J的初始值是設定0個，因此這邊元件構築部13會作成元件b1 g到中間層2-g中。
當元件構築部13作成元件b1 g到中間層2-g中，M個學習資料xm(x1 m、x2 m、...、xI m)(m=1、...、M)已經供給到輸入層1，初期設定部11根據第M個學習資料XM，判斷 是否取得前一層的中間層2-(g-1)包含的K個元件bk g-1(k=1、...、K)的輸出值zk g-1(第8圖的步驟ST23)。初始設定部11已經根據第M個學習資料XM取得前一層的中間層2-(g-1)包含的K個元件bk g-1(k=1、...、K)的輸出值zk g-1的話(第8圖的步驟ST23：YES的情況)，結束決定中間層2-g的構造的第1處理內容。初始設定部11還未根據第M個學習資料XM取得前一層的中間層2-(g-1)包含的K個元件bk g-1的輸出值zk g-1的話(第8圖的步驟ST23：NO的情況)，就去取得尚未取得的前一層的中間層2-(g-1)包含的K個元件bk g-1的輸出值zk g-1(第8圖的步驟ST24)。這個實施型態2中，初期設定部11在這個階段還沒有根據第1個學習資料x1取得前一層的中間層2-(g-1)包含的K個元件bk g-1的輸出值zk g-1，因此會根據第1個學習資料x1取得前一層的中間層2-(g-1)包含的K個元件bk g-1的輸出值zk g-1。當初始設定部11根據第1個學習資料x1取得前一層的中間層2-(g-1)包含的K個元件bk g-1的輸出值zk g-1，會從前一層的中間層2-(g-1)包含的K個元件bk g-1的輸出值zk g-1中，初始設定有關於中間層2-g包含的元件b1 g的高斯函數的參數(第8圖的步驟ST25)。
也就是，做為有關中間層2-g包含的元件b1 g的高斯函數的參數的一個，初始設定部11會從中間層2-(g-1)包含的K個元件bk g-1的輸出值zk g-1中算出高斯分布的標準差σk,1 g(k=1、...、K)。又，做為有關於中間層2-g包含的元件b1 g的高斯函數的參數的一者，初始設定部11會初始設定高斯函數的中心座標μk,1 g(k=1、...、K)。高斯函數的中心座標μk,1 g如以下式(7)， 中間層2-(g-1)包含的第k個元件bk g-1的輸出值zk g-1。
μk,1 g=zk g-1 (7)
又，做為有關於中間層2-g包含的元件b1 g的高斯函數的參數的一者，初始設定部11如以下式(8)，會初始設定中間層2-(g-1)包含的第k個元件bk g-1與中間層2-g包含的元件b1 g之間的權重Wk,1 g。
Wk,1 g=1 (8)
在此，顯示了將權重Wk,1 g設定為1的例子，但這只是一個例子，也可以設定成1以外的值。
當初始設定部11初始設定有關於中間層2-g包含的元件b1 g的高斯函數的參數時，會將該參數的初始值輸出到輸出值算出部12，且會將該參數的初始值儲存到資料記憶部14。
輸出值算出部12從初始設定部11取得有關於中間層2-g包含的元件b1 g的高斯函數的參數的初始值。又，輸出值算出部12根據第1個學習資料x1，取得前一層的中間層2-(g-1)包含的K個元件bk g-1的輸出值zk g-1。
輸出值算出部12根據第1個學習資料x1取得前一層的中間層2-(g-1)包含的K個元件bk g-1的輸出值zk g-1時，會算出中間層2-g包含的元件b1 g的輸出值z1 g(第8圖的步驟ST26)。也就是，輸出值算出部12對於以下式(9)所示的高斯函數，將關於中間值2-g包含的元件b1 g的高斯函數的參數值初始值、中間層2-(g-1)包含的K個元件bk g-1的輸出值zk g-1代入，藉此算出中間層2-g包含的元件b1 g的輸出值z1 g。
輸出值算出部12當算出時中間層2-g包含的元件b1 g的輸出值z1 g時，會將元件b1 g的輸出值z1 g輸出到元件構築部13，且將元件b1 g的輸出值z1 g儲存到資料記憶部14。
元件構築部13當接收到來自輸出值算出部12的元件b1 g的輸出值z1 g，會比較元件b1 g的輸出值z1 g與事前設定的閾值Th(第8圖的步驟ST27)。因為元件b1 g的輸出值z1 g最大是1，做為閾值Th，會考慮1以下的正的實數或者是e-0.25以上1以下的實數等。
元件構築部13，在中間層2-g包含的元件b1 g的輸出值z1 g比閾值Th大的情況下(第8圖的步驟ST27：NO的情況)，會維持中間層2-g包含的元件的個數J(J=1)。在中間層2-g包含的元件b1 g的輸出值z1 g在閾值Th以下的情況下(第8圖的步驟ST27：YES的情況)，會追加新的元件b2 g到中間層2-g，使中間層2-g包含的元件的數目增加(第8圖的步驟ST28)。在這個實施型態2中，為了說明上的方便，因為中間層2-g包含的元件b1 g的輸出值z1 g在閾值Th以下，所以假設追加新的元件b2 g到中間層2-g。
初始設定部11會在元件構築部13追加新的元件b2 g到中間層2-g，或者是維持中間層2-g包含的元件的個數J的時候，已根據M個學習資料xM，來判斷是否取得前一層的中間層2-(g-1)包含的K個元件bk g-1(k=1、...、K)的輸出值zk g-1(第8圖的步驟ST23)。初始設定部11在已經根據 M個學習資料xm取得前一層的中間層2-(g-1)包含的K個元件bk g-1(k=1、...、K)的輸出值zk g-1的話(第8圖的步驟ST23：YES的情況)，會結束決定中間層2的構造的第1處理內容。初始設定部11在還沒有根據M個學習資料xm取得前一層的中間層2-(g-1)包含的K個元件bk g-1(k=1、...、K)的輸出值zk g-1的話(第8圖的步驟ST23：NO的情況)，取得尚未取得的前一層的中間層2-(g-1)包含的K個元件bk g-1(k=1、...、K)的輸出值zk g-1(第8圖的步驟ST24)。在這個實施型態2中，初始設定部11在這個階段還沒有根據第2個學習資料x2取得前一層的中間層2-(g-1)包含的K個元件bk g-1(k=1、...、K)的輸出值zk g-1，因此會根據第2個學習資料x2取得前一層的中間層2-(g-1)包含的K個元件bk g-1(k=1、...、K)的輸出值zk g-1。初始設定部11在根據第2個學習資料x2取得前一層的中間層2-(g-1)包含的K個元件bk g-1(k=1、...、K)的輸出值zk g-1時，會根據第2個學習資料x2從前一層的中間層2-(g-1)包含的K個元件bk g-1(k=1、...、K)的輸出值zk g-1中，初始設定有關中間層2-g包含的元件b1 g、b2 g的高斯函數的參數(第8圖的步驟ST25)。
也就是，初期設定部11會從中間層2-(g-1)中包含的K個元件bk g-1的輸出值zk g-1中，算出高斯分布的標準差σk,j g(k=1、...、K：j=1、2)，來做為有關於中間層2-g的元件b1 g、b2 g的高斯函數的參數的一者。又，初始設定部11如以下式(10)所示，將中層2-(g-1)所包含的第k個元件bk g-1的輸出值zk g-1初始設定成高斯函數的中心座標μk,j g(k= 1、...、K：j=1、2)，來做為有關於中間層2-g的元件b1 g、b2 g的高斯函數的參數的一者。
μk,j g=zk g-1 (10)
又，初始設定部11如以下式(11)所示，將中間層2-(g-1)所包含的第k個元件bk g-1及中間層2-g所包含的第j個元件bj g(j=1、2)之間的權重Wk,j g(k=1、...、K：j=1、2)做初始設定，來做為有關於中間層2-g的元件b1 g、b2 g的高斯函數的參數的一者。
Wk,j g=1 (11)
在此，顯示了將Wk,j g設定為1的例子，但這只是一個例子，也可以設定成1以外的值。
初始設定部11將有關於中間層2-g包含的元件b1 g、b2 g的高斯函數的參數初始設定時，將該參數的初始值輸出到輸出值算出部12，且同時將該參數的初始值儲存到資料記憶部14。
輸出值算出部12從初始設定部11中取得有關於中間層2-g的元件b1 g、b2 g的高斯函數的參數的初始值。又，輸出值算出部12根據第2個學習資料x2取得前一層的中間層2-(g-1)包含的K個元件bk g-1的輸出值zk g-1。
輸出值算出部12當根據第2個學習資料x2取得取得前一層的中間層2-(g-1)包含的K個元件bk g-1的輸出值zk g-1時，算出中間層2-g包含的元件b1 g的輸出值z1 g及元件b2 g的輸出值z2 g(第8圖的步驟ST26)。也就是，輸出值算出部12對於以下式(12)所示的高斯函數，將關於中間值2-g包含的 元件b1 g的高斯函數的參數值初始值、中間層2-(g-1)包含的K個元件bk g-1的輸出值zk g-1代入，藉此算出中間層2-g包含的元件b1 g的輸出值z1 g。有關中間值2-g包含的元件b1 g的高斯函數的參數的初始值是高斯分布的標準差σk,1 g(k=1、...、K)、高斯函數的中心座標μk,1 g(k=1、...、K)、Wk,1 g(k=1、...、K)。又，輸出值算出部12對於以下式(12)所示的高斯函數，將關於中間值2-g包含的元件b2 g的高斯函數的參數值初始值、中間層2-(g-1)包含的K個元件bk g-1的輸出值zk g-1代入，藉此算出中間層2-g包含的元件b2 g的輸出值z2 g。有關中間值2-g包含的元件b2 g的高斯函數的參數的初始值是高斯分布的標準差σk,2 g(k=1、...、K)、高斯函數的中心座標μk,2 g(k=1、...、K)、Wk,2 g(k=1、...、K)。
在此，式(12)中，j=1、2。輸出值算出部12將有關於中間層2-g的元件b1 g的輸出值z1 g及元件b2 g的輸出值z2 g算出時，將元件b1 g、b2 g的輸出值z1 g、z2 g輸出到元件構築部13，且同時將元件b1 g、b2 g的輸出值z1 g、z2 g儲存到資料記憶部14。
元件構築部13接受到來自輸出值算出部12的元件b1 g、b2 g的輸出值z1 g、z2 g時，比較元件b1 g、b2 g的輸出值z1 g、z2 g與閾值Th(第8圖的步驟ST27)。元件構築部13，在中間層2-g包含的元件b1 g、b2 g的輸出值z1 g、z2 g之中任一者比閾值Th大的情況下(第8圖的步驟ST27：NO的情況)，會維持中 間層2-g包含的元件的個數J(J=2)。元件構築部13，在中間層2-g包含的元件b1 g、b2 g的輸出值z1 g、z2 g全部都在閾值Th以下的情況下(第8圖的步驟ST27：YES的情況)，會追加新的元件b3 g到中間層2-g，使中間層2-g包含的元件的數目增加(第8圖的步驟ST28)。在這個實施型態2中，為了說明上的方便，因為中間層2-g包含的元件b1 g、b2 g的輸出值z1 g、z2 g全部都閾值Th以下，所以假設追加新的元件b3 g到中間層2。
以後，假設中間層2-g包含的元件的現在個數是J個(J≧3)來說明。初始設定部11會在元件構築部13追加新的元件到中間層2-g，或者是維持中間層2-g包含的元件的個數J的時候，判定是否已經根據M個學習資料xM，取得前一層的中間層2-(g-1)包含的K個元件bk g-1(k=1、...、K)的輸出值zk g-1(第8圖的步驟ST23)。初始設定部11已經根據M個學習資料xM，取得前一層的中間層2-(g-1)包含的K個元件bk g-1(k=1、...、K)的輸出值zk g-1的話(第8圖的步驟ST23：YES的情況)，會結束決定中間層2的構造的第1處理內容。初始設定部11還沒有根據M個學習資料xM，取得前一層的中間層2-(g-1)包含的K個元件bk g-1(k=1、...、K)的輸出值zk g-1的話(第8圖的步驟ST23：NO的情況)，取得尚未取得的前一層的中間層2-(g-1)包含的K個元件bk g-1(k=1、...、K)的輸出值zk g-1(第8圖的步驟ST24)。這個實施型態2中，假設初期設定部11在這個階段還沒有根據M個學習資料中第m個學習資料xm取得前一層的中間層2-(g-1)包含的K個元件bk g-1(k=1、...、K)的輸出值zk g-1，因此會根據第m個學 習資料xm取得前一層的中間層2-(g-1)包含的K個元件bk g-1(k=1、...、K)的輸出值zk g-1。當初始設定部11根據第m個學習資料xm取得前一層的中間層2-(g-1)包含的K個元件bk g-1(k=1、...、K)的輸出值zk g-1，會根據第m個學習資料xm從前一層的中間層2-(g-1)包含的K個元件bk g-1(k=1、...、K)的輸出值zk g-1中，初始設定有關於中間層2-g包含的元件b1 g~bJ g的高斯函數的參數(第8圖的步驟ST25)。
也就是，做為有關中間層2-g包含的元件b1 g~bJ g的高斯函數的參數的一個，初始設定部11會從中間層2-(g-1)包含的K個元件bk g-1的輸出值zk g-1中算出高斯分布的標準差σk,j g(k=1、...、K：J：j=1、...、J)。又，做為有關於中間層2-g包含的元件b1 g~bJ g的高斯函數的參數的一者，初始設定部11會如式(10)所示，將中間層2-(g-1)包含的K個元件bk g-1的輸出值zk g-1初始設定成高斯函數的中心座標μk,j g(k=1、...、K：j=1、...、J)。又，做為有關於中間層2-g包含的元件b1 g~bJ g的高斯函數的參數的一者，初始設定部11如以下式(11)，會初始設定中間層2-(g-1)包含的第k個元件bk g-1與中間層2-g包含的第j個元件bj g(j=1、...、J)之間的權重Wk,j g(k=1、...、K：J：j=1、...、J)。在此，顯示了將權重Wk,j g設定為1的例子，但這只是一個例子，也可以設定成1以外的值。
當初始設定部11初始設定有關於中間層2-g包含的元件b1 g~bJ g的高斯函數的參數時，會將該參數的初始值輸出到輸出值算出部12，且會將該參數的初始值儲存到資料記憶部14。
輸出值算出部12從初始設定部11取得有關於中間層2包含的元件b1 g~bJ g的高斯函數的參數的初始值。又，輸出值算出部12根據第m個學習資料xm，取得前一層的中間層2-(g-1)包含的K個元件bk g-1的輸出值zk g-1。
輸出值算出部12根據第m個學習資料xm取得前一層的中間層2-(g-1)包含的K個元件bk g-1的輸出值zk g-1時，會算出中間層2-g包含的元件b1 g~bJ g的輸出值z1 g~zJ g(第8圖的步驟ST26)。也就是，輸出值算出部12對於以式(12)所示的高斯函數，將關於中間值2-g包含的元件bj g(j=1、...、J)的高斯函數的參數值初始值、中間層2-(g-1)包含的K個元件bk g-1的輸出值zk g-1代入，藉此算出中間層2-g包含的元件bj g的輸出值zj g(j=1、...、J)。關於中間值2-g包含的元件bj g的高斯函數的參數值初始值是高斯分布的標準差σk,j g(k=1、...、K：j=1、...、J)、高斯函數的中心座標μk,j g(k=1、...、K：j=1、...、J)、權重Wk,j g(k=1、...、K：j=1、...、J)。
輸出值算出部12當算出中間層2-g包含的元件b1 g~bj g的輸出值z1 g~zj g時，會將元件b1 g~bj g的輸出值z1 g~zj g輸出到元件構築部13，且將元件b1 g~bj g的輸出值z1 g~zj g儲存到資料記憶部14。
元件構築部13當接收到來自輸出值算出部12的元件b1 g~bj g的輸出值z1 g~zj g，會比較元件b1 g~bj g的輸出值z1 g~zj g與事前設定的閾值Th(第8圖的步驟ST27)。元件構築部13，在中間層2-g包含的元件b1 g~bj g的輸出值z1 g~zj g之中任一者比閾值Th大的情況下(第8圖的步驟ST27：NO 的情況)，會維持中間層2-g包含的元件的個數J。元件構築部13，在中間層2-g包含的元件b1 g~bj g的輸出值z1 g~zj g全部都在閾值Th以下的情況下(第8圖的步驟ST27：YES的情況)，會追加新的元件到中間層2-g，使中間層2-g包含的元件的數目增加(第8圖的步驟ST28)。步驟ST23~ST28的處理會反覆地實施，直到根據M個學習資料Xm(m=1、...、M)取得前一層的中間層2-(g-1)包含的K個元件bk g-1(k=1、...、K)的輸出值zk g-1為止，當步驟ST23的判定處理中判定為「YES」時。第1處理內容結束。
參數更新部15結束第1處理內容後，實施第2處理內容。也就是，參數更新部15在中間層2-1~2-G的構造決定後，對M個學習資料xm=(x1 m、x2 m、...、xI m)每次依序供給時，進行與上述實施型態1相同的監督式學習，一邊更新有關儲存於資料記憶部14的高斯函數的參數，且同時學習有關中間層2-1~2-G包含的元件的高斯函數的參數，藉此更新中間層2-G包含的第j個元件bj g、以及輸出層3包含的元件c之間的權重vj。又，參數更新部15實施監督式教學，藉此更新輸入層1包含的第i個元件ai與中間層2-1包含的第j個元件bj 1之間的權重Wi,j 1、中間層2-(g-1)包含的第k個元件bk g-1(k=1、...、K)與中間層2-g包含的第j個元件bj g(j=1、...、J)之間的權重Wk,j g。也就是，藉由進行監督式教學，學習關於中間層2-1~2-G的元件的高斯函數的參數，來更新儲存於資料記憶部14的高斯函數的參數及權重。
從以上可知，根據此實施型態2，能夠達成即使類 神經網路具備2層以上的中間層2-g的情況下，也能夠自動地決定類神經網路的中間層2-g包含的元件bj g的數目的效果。
[實施型態3]
上述實施型態2中，說明了類神經網路具備的中間層2-g的層數固定在G的例子。本實施型態3中，會說明類神經網路具備的中間層2-g的層數會適當地決定的例子。
第9圖係顯示本發明的實施型態3的網路構築裝置的架構圖。第10圖係本發明實施型態3的網路構築裝置的硬體架構圖。第9圖及第10圖中，與第1圖及第2圖相同的符號表示相同或相當的部分，因此省略說明。層數決定部16例如以第10圖的層數決定電路26來實現，用來實施決定類神經網路所具備的中間層2-g的層數G的處理。
第9圖中，網路構築裝置的構成要素，初始設定部11、輸出值算出部12、元件構築部13、資料記憶部14、參數更新部15及層數決定部16分別假設以第10圖所示的專用硬體，亦即初始設定電路21、輸出值算出電路22、元件構築電路23、資料記憶電路24、參數更新電路25及層數決定電路26來實現。在此，資料記憶電路24例如RAM、ROM、快閃記憶體、EPROM、EEPROM等的非揮發性或揮發性的半導體記憶體、磁碟片、可撓性碟片、光碟、CD、MD、DVD等。又，又，初始設定電路21、輸出值算出電路22、元件構築電路23及參數更新電路25及層數決定電路26例如是單一電路、複合電路、程式化的處理器、平行程式化的處理器、ASIC、FPGA、或者是它們的組合。
然而，網路構築裝置的構成要素並不限定於以專 用硬體來實現，網路構築裝置也可以用軟體、韌體、或者是軟體及韌體的組合來實現。網路構築裝置以軟體或韌體等實現的情況下，資料記憶部14構成於第4圖所示的電腦的記憶體31上，且用來讓電腦執行初始設定部11、輸出值算出部12、元件構築部13、參數更新部15及層數決定部16的處理步驟的程式會存在記憶體31，讓第4圖所示電腦的處理器32執行儲存於記憶體31中的程式即可。
又，第10圖中，顯示了網路構築裝置的構成要素分別以專用的硬體實現的例子，第4圖中，顯示了網路構築裝置以軟體或韌體等實現的例子，但也可以是網路構築裝置中的一部分的構成要素是以專用的硬體實現，剩下的構成要素是以軟體或韌體等實現。
接著說明動作。除了安裝了層數決定部16這點以外，都與上述實施型態2相同，因此在此說明層數決定部16的處理內容。當初始決定部11、輸出值算出部12及元件構築部13使用與上述實施型態2相同的方法解決1個中間層2-g的構造時，層數決定部16每一次都會將構造決定的中間層2-g連接到輸入層1與輸出層3之間。例如，在3層的中間層2-1~2-3的構造結束完成的階段，就將3層的中間層2-1~2-3連接到輸入層1與輸出層3之間。又，在4層的中間層2-1~2-4的構造結束完成的階段，就將4層的中間層2-1~2-4連接到輸入層1與輸出層3之間。
層數決定部16將新決定出構造的中間層2-g連接到輸入層1與輸出層3之間時，將任意資料供給到輸入層1。然後，層數決定部16會將從資料供給到輸入層1開始到從輸 出層3輸出資料為止的時間，當作是類神經網路的資料輸出入時間Ta來量測。
Ta=TOUT-TIN (13)
在式(13)中，TIN是資料輸入到輸入層1的時刻，TOUT是資料從輸出層3輸出的時刻。
當層數決定部16量測類神經網路的資料的輸出入時間Ta時，會比較該輸出入時間Ta與輸出入時間的容許時間Tb。輸出入時間的容許時間Tb是網路構築裝置容許時間，也是事前設定的時間。層數決定部16在類神經網路的資料輸出入時間Ta比輸出入時間的容許時間Tb短的情況下，會從資料的輸入出時間Ta算出連接到輸入層1與輸出層3之間的每1層的中間層2-g的輸出入時間Ta/E。E是現在時間點連接到輸入層1與輸出層3之間的中間層2-g的層數。
層數決定部16滿足以下的式(14)的情況下，即使增加1個連接到輸入層1與輸出層3之間的中間層2-g的數目，類神經網路的資料輸出入時間Ta在容許時間Tb以內的可能性高，因此容許增加1個連接到輸入層1與輸出層3之間的中間層2-g的數目。藉此，初始設定部11、輸出值算出部12及元件構築部13使用與上述實施型態2相同的方法來實施決定新追加的中間層2-g的構造的處理。
Tb>Ta+Ta/E (14)
層數決定部16不滿足式(14)的情況下，當增加1個連接到輸入層1與輸出層3之間的中間層2-g的數目，類神經網路的資料輸出入時間Ta超過容許時間Tb的可能性高，因此拒絕增 加連接到輸入層1與輸出層3之間的中間層2-g的數目。藉此，在現在的時間點，連接到輸入層1與輸出層3之間的中間層2-g的數目E會被決定成類神經網路所具備的中間層2-g的層數G。
從以上可知，根據這個實施型態3，層數決定部16從類神經網路的資料輸出入時間Ta以及資料輸出入時間的容許時間Tb，決定出中間層2-g的層數G，因為這個構造，能夠達成將類神經網路的資料的輸出入時間Ta收在容許時間Tb以內的效果。
在這個實施型態3中，說明了層數決定部16量測類神經網路的資料的輸出入時間Ta，從其輸出入時間Ta與容許時間Tb中決定出中間層2的層數G的例子，但並不限定於此。例如，也可以是層數決定部16量測類神經網路的學習時間Tc，從該學習時間Tc及學習時間的容許時間Td中決定出中間層2的層數G。具體來說如以下所述。
層數決定部16將新決定構造的中間層2-g連接到輸入層1與輸出層3之間時，將學習資料供給到輸入層1，藉此讓類神經網路實施學習。然後，層數決定部16例如在供給學習資料到輸入層1之後，將資料從輸出層3輸出為止的時間當作是類神經網路的學習時間Tc量測。
Tc=TOUT-TIN (15)
在式(15)中，TIN是學習資料輸入到輸入層1的時刻，TOUT是資料從輸出層3輸出的時刻。
當層數決定部16量測類神經網路的學習時間Tc時，會比較該學習時間Tc與學習時間的容許時間Td。學習時間的容許時間Td是網路構築裝置容許時間，也是事前設定的 時間。層數決定部16在類神經網路的學習時間Tc比學習時間的容許時間Td短的情況下，會從類神經網路的學習時間Tc算出連接到輸入層1與輸出層3之間的每1層的中間層2-g的學習時間Tc/E。E是現在時間點連接到輸入層1與輸出層3之間的中間層2-g的層數。
層數決定部16滿足以下的式(16)的情況下，即使增加1個連接到輸入層1與輸出層3之間的中間層2-g的數目，類神經網路的學習時間Tc在容許時間Td以內的可能性高，因此容許增加1個連接到輸入層1與輸出層3之間的中間層2-g的數目。藉此，初始設定部11、輸出值算出部12及元件構築部13使用與上述實施型態2相同的方法來實施決定新追加的中間層2-g的構造的處理。
Td>Tc+Tc/E (16)
層數決定部16不滿足式(16)的情況下，當增加1個連接到輸入層1與輸出層3之間的中間層2-g的數目，類神經網路的學習時間Tc超過容許時間Td的可能性高，因此拒絕增加連接到輸入層1與輸出層3之間的中間層2-g的數目。藉此，在現在的時間點，連接到輸入層1與輸出層3之間的中間層2-g的數目E會被決定成類神經網路所具備的中間層2-g的層數G。層數決定部16量測類神經網路的學習時間Tc，並從該學習時間Tc以及容許時間Td中決定出中間層2的層數G的情況下，能夠達成將類神經網路的資料的學習時間Tc收在容許時間Td以內的效果。
另外，本發明在這個發明的範圍內，各實施型態 的自由組合、或者是各實施型態的任意的構成要素的變形、或者是各實施型態中任意的構造要素的省略是可能的。
本發明適用於構築類神經網路的網路構築裝置及網路構築方法。

Claims (20)

  1. 一種網路構築裝置，包括：輸出值算出部，在構築具備中間層的類神經網路時，根據該類神經網路的輸入層包含的元件的輸出值，算出該中間層包含的1個以上的元件的輸出值，其中該中間層包括輸出入響應是以高斯函數學定的元件；以及元件構築部，實施元件構築處理，比較該輸出值算出部算出的1個以上的元件的輸出值與閾值，當該中間層包含的1個以上的元件的輸出值之中的任一個元件的輸出值比該閾值大的話，維持該中間層包含的元件的數目，當該中間層包含的1個以上的元件的輸出值全部都在該閾值以下的話，增加該中間層包含的元件的數目。
  2. 如申請專利範圍第1項所述之網路構築裝置，更包括：初始設定部，對於該中間層包含的每個元件，初始設定關於該元件的高斯函數的參數，其中該輸出值算出部對於具有被該初始設定部初始設定的函數的高斯函數，代入該輸入層包含的元件的輸出值，藉此算出該中間層包含的元件的輸出值。
  3. 如申請專利範圍第2項所述之網路構築裝置，更包括：參數更新部，該元件構築部實施元件構築處理後，在學習資料供給到該輸入層時實施監督式學習來學習該高斯函數的參數，藉此更新該高斯函數的參數，且同時更新該中間層包含的元件與輸出層包含的元件之間的權重。
  4. 如申請專利範圍第3項所述之網路構築裝置，其中該參數 更新部實施該監督式學習，藉此更新該輸入層包含的元件與中間層包含的元件之間的權重。
  5. 如申請專利範圍第2項所述之網路構築裝置，其中該輸出值算出部會使用對於該中間層包含的各個元件的該高斯函數下的高斯分布的標準差，來做為該高斯函數的參數之一。
  6. 如申請專利範圍第5項所述之網路構築裝置，其中該輸出值算出部會使用該輸入層包含的複數的元件的輸出值的標準差，來做為對於該中間層包含的各個元件的該高斯分布的標準差。
  7. 如申請專利範圍第5項所述之網路構築裝置，其中該輸出值算出部會使用正的實數，來做為對於該中間層包含的各個元件的該高斯分布的標準差。
  8. 如申請專利範圍第1項所述之網路構築裝置，其中該元件構築部會使用1以下的正的實數來做為該閾值。
  9. 如申請專利範圍第1項所述之網路構築裝置，其中該元件構築部會使用e-0.25以上1以下的正的實數來做為該閾值。
  10. 如申請專利範圍第3項所述之網路構築裝置，其中該參數更新部會在顯示該高斯函數的高斯分布的標準差的參數、顯示該高斯函數的中心座標的參數之中，更新任一個以上的參數，來做為該高斯函數的參數。
  11. 如申請專利範圍第1項所述之網路構築裝置，其中：該類神經網路具備G(G是2以上的整數)層的中間層，該G層的中間層串聯連接到該輸入層與輸出層之間，該輸出值算出部在該輸入層包含的元件的輸出值供給到第 1層的中間層包含的1個以上的元件時，根據該輸入層包含的元件的輸出值來算出第1層的中間層包含的1個以上的元件的輸出值，又在第(g-1)層(g=2、...、G)的中間層包含的元件的輸出值供給到第g層(g=2、...、G)的中間層包含的1個以上的元件時，根據該第(g-1)層(g=2、...、G)的中間層包含的元件的輸出值來算出第g層(g=2、...、G)的中間層包含的1個以上的元件的輸出值該元件構築部實施元件構築處理，比較該輸出值算出部算出的第g層(g=1、...、G)的中間層包含的1個以上的元件輸出值與該閾值，當第g層(g=1、...、G)的中間層包含的1個以上的元件輸出值之中任一元件的輸出值比該閾值大時，維持第g層(g=1、...、G)的中間層包含的元件的數目，當第g層(g=1、...、G)的中間層包含的1個以上的元件輸出值全部在該閾值以下時，增加第g層(g=1、...、G)的中間層包含的元件的數目。
  12. 如申請專利範圍第11項所述之網路構築裝置，更包括：參數更新部，該元件構築部實施元件構築處理後，在學習資料供給到該輸入層時實施監督式學習來學習有關G(G是2以上的整數)層的中間層包含的元件的高斯函數的參數，藉此更新該高斯函數的參數，且同時更新該G層的中間層包含的元件與輸出層包含的元件之間的權重。
  13. 如申請專利範圍第12項所述之網路構築裝置，其中該參數更新部實施該監督式學習，藉此更新第(g-1)層(g=2、...、G)的中間層包含的元件與第g層(g=2、...、G)的中間 層包含的元件之間的權重。
  14. 如申請專利範圍第12項所述之網路構築裝置，其中該參數更新部實施該監督式學習，藉此更新該輸入部包含的元件與第1層的中間層包含的元件之間的權重。
  15. 如申請專利範圍第11項所述之網路構築裝置，更包括：層數決定部，決定該類神經網路具備的中間層的層數。
  16. 如申請專利範圍第15項所述之網路構築裝置，其中該層數決定部從該類神經網路的資料輸出入時間與該輸出入時間的容許時間，決定出該中間層的層數。
  17. 如申請專利範圍第15項所述之網路構築裝置，其中該層數決定部從該類神經網路的學習時間與該學習時間的容許時間，決定出該中間層的層數。
  18. 一種網路構築方法，包括：利用輸出值算出部在構築具備中間層的類神經網路時，根據該類神經網路的輸入層包含的元件的輸出值，算出該中間層包含的1個以上的元件的輸出值，其中該中間層包括輸出入響應是以高斯函數學定的元件；以及利用元件構築部實施元件構築處理，比較該輸出值算出部算出的1個以上的元件的輸出值與閾值，當該中間層包含的1個以上的元件的輸出值之中的任一個元件的輸出值比該閾值大的話，維持該中間層包含的元件的數目，當該中間層包含的1個以上的元件的輸出值全部都在該閾值以下的話，增加該中間層包含的元件的數目。
  19. 如申請專利範圍第18項所述之網路構築方法，其中利用初 始設定部對於該中間層包含的每個元件，初始設定關於該元件的高斯函數的參數，該輸出值算出部對於具有被該初始設定部初始設定的函數的高斯函數，代入該輸入層包含的元件的輸出值，藉此算出該中間層包含的元件的輸出值。
  20. 如申請專利範圍第19項所述之網路構築方法，其中利用參數更新部，在該元件構築部實施元件構築處理後，當學習資料供給到該輸入層時實施監督式學習來學習該高斯函數的參數，藉此更新該高斯函數的參數，且同時更新該中間層包含的元件與輸出層包含的元件之間的權重。
TW106105854A 2016-10-03 2017-02-22 Network construction device and network construction method TWI643138B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2016/079283 WO2018066032A1 (ja) 2016-10-03 2016-10-03 ネットワーク構築装置及びネットワーク構築方法
??PCT/JP2016/079283 2016-10-03

Publications (2)

Publication Number Publication Date
TW201814595A TW201814595A (zh) 2018-04-16
TWI643138B true TWI643138B (zh) 2018-12-01

Family

ID=59082003

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106105854A TWI643138B (zh) 2016-10-03 2017-02-22 Network construction device and network construction method

Country Status (7)

Country Link
US (1) US11373110B2 (zh)
JP (1) JP6150964B1 (zh)
KR (1) KR102027107B1 (zh)
CN (1) CN109804386A (zh)
DE (1) DE112016007312T5 (zh)
TW (1) TWI643138B (zh)
WO (1) WO2018066032A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7023613B2 (ja) * 2017-05-11 2022-02-22 キヤノン株式会社 画像認識装置および学習装置
CN108830376B (zh) * 2018-06-13 2021-12-14 中国科学技术大学 针对时间敏感的环境的多价值网络深度强化学习方法
CN111325311B (zh) * 2018-12-14 2024-03-29 深圳云天励飞技术有限公司 用于图像识别的神经网络模型生成方法及相关设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201116256A (en) * 2009-11-09 2011-05-16 Charder Electronic Co Ltd Device for measuring human body composition by using biolectrical impedance method and artificial neural network
CN102737278A (zh) * 2011-03-31 2012-10-17 微软公司 联合非线性随机投影、受限波尔兹曼机、以及基于批量的可并行优化来使用的深凸网络
TW201331855A (zh) * 2012-01-19 2013-08-01 Univ Nat Taipei Technology 具自由回饋節點的高速硬體倒傳遞及回饋型類神經網路
US20140372112A1 (en) * 2013-06-18 2014-12-18 Microsoft Corporation Restructuring deep neural network acoustic models
TW201503106A (zh) * 2013-07-10 2015-01-16 Tencent Tech Shenzhen Co Ltd 聲學模型訓練方法和裝置
CN105335816A (zh) * 2015-10-13 2016-02-17 国网安徽省电力公司铜陵供电公司 基于深度学习的电力通信网运行趋势与业务风险分析方法
CN105912790A (zh) * 2016-04-15 2016-08-31 重庆大学 基于深度回归模型的遥感水质监测方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03134761A (ja) * 1989-10-20 1991-06-07 Fujitsu Ltd 階層型ニューラルネットワークの中間層ユニット数推定方法
JPH0635707A (ja) * 1992-05-19 1994-02-10 Sanyo Electric Co Ltd 自己増殖型ニューロファジィ知識獲得装置およびそれを用いた次元推定装置
JPH06314268A (ja) 1993-04-28 1994-11-08 Toshiba Corp ニューラルネットの調節装置及び調節方法
US5790758A (en) * 1995-07-07 1998-08-04 The United States Of America As Represented By The Secretary Of The Navy Neural network architecture for gaussian components of a mixture density function
JP2000259598A (ja) 1999-03-12 2000-09-22 Fuji Electric Co Ltd ニューラルネットワークの最適化学習方法
EP1235180A1 (en) * 2001-02-26 2002-08-28 Honda R&D Europe (Deutschland) GmbH Parameter adaptation in evolution strategies
EP1504412B1 (en) 2002-04-19 2018-04-11 CA, Inc. Processing mixed numeric and/or non-numeric data
US7577626B1 (en) * 2006-05-26 2009-08-18 Georgios Mountrakis Multi-scale radial basis function neural network
JP5510014B2 (ja) 2010-04-13 2014-06-04 富士通株式会社 ニューラルネットワーク設計方法及びプログラム
JP5467951B2 (ja) * 2010-07-05 2014-04-09 本田技研工業株式会社 ニューラルネットワーク学習装置
JP5779332B2 (ja) * 2010-11-03 2015-09-16 学校法人中部大学 ニューラルネットワークの学習装置、学習方法およびそれを用いたｍｐｐｔコンバータの制御装置
US8943008B2 (en) * 2011-09-21 2015-01-27 Brain Corporation Apparatus and methods for reinforcement learning in artificial neural networks
US9235799B2 (en) * 2011-11-26 2016-01-12 Microsoft Technology Licensing, Llc Discriminative pretraining of deep neural networks
US9189730B1 (en) 2012-09-20 2015-11-17 Brain Corporation Modulated stochasticity spiking neuron network controller apparatus and methods
JP6483667B2 (ja) * 2013-05-30 2019-03-13 プレジデント アンド フェローズ オブ ハーバード カレッジ ベイズの最適化を実施するためのシステムおよび方法
US10311356B2 (en) * 2013-09-09 2019-06-04 North Carolina State University Unsupervised behavior learning system and method for predicting performance anomalies in distributed computing infrastructures
US9484022B2 (en) * 2014-05-23 2016-11-01 Google Inc. Training multiple neural networks with different accuracy
US11256982B2 (en) * 2014-07-18 2022-02-22 University Of Southern California Noise-enhanced convolutional neural networks
US10846589B2 (en) * 2015-03-12 2020-11-24 William Marsh Rice University Automated compilation of probabilistic task description into executable neural network specification
US11119233B2 (en) * 2015-04-10 2021-09-14 Total Sa Method for estimating elastic parameters of subsoil
US9514391B2 (en) * 2015-04-20 2016-12-06 Xerox Corporation Fisher vectors meet neural networks: a hybrid visual classification architecture
CN107851434A (zh) * 2015-05-26 2018-03-27 鲁汶大学 使用自适应增量学习方法的语音识别系统和方法
NL2015087B1 (en) * 2015-06-05 2016-09-09 Univ Amsterdam Deep receptive field networks.
US10776691B1 (en) * 2015-06-23 2020-09-15 Uber Technologies, Inc. System and method for optimizing indirect encodings in the learning of mappings
US9734567B2 (en) * 2015-06-24 2017-08-15 Samsung Electronics Co., Ltd. Label-free non-reference image quality assessment via deep neural network
US9633274B2 (en) * 2015-09-15 2017-04-25 Mitsubishi Electric Research Laboratories, Inc. Method and system for denoising images using deep Gaussian conditional random field network
US11049004B1 (en) * 2015-11-15 2021-06-29 ThetaRay Ltd. System and method for anomaly detection in dynamically evolving data using random neural network decomposition
FR3045892B1 (fr) * 2015-12-21 2018-06-22 Commissariat A L'energie Atomique Et Aux Energies Alternatives Circuit neuronal optimise, architecture et procede pour l'execution des reseaux de neurones.
JP6719773B2 (ja) * 2015-12-25 2020-07-08 国立大学法人大阪大学 分類分析方法、分類分析装置および分類分析用記憶媒体
US9990592B2 (en) * 2016-02-10 2018-06-05 Sas Institute Inc. Kernel parameter selection in support vector data description for outlier identification
US9830558B1 (en) * 2016-05-03 2017-11-28 Sas Institute Inc. Fast training of support vector data description using sampling
US10482196B2 (en) * 2016-02-26 2019-11-19 Nvidia Corporation Modeling point cloud data using hierarchies of Gaussian mixture models
US9704257B1 (en) * 2016-03-25 2017-07-11 Mitsubishi Electric Research Laboratories, Inc. System and method for semantic segmentation using Gaussian random field network
US10963540B2 (en) * 2016-06-02 2021-03-30 Brown University Physics informed learning machine
US11222263B2 (en) * 2016-07-28 2022-01-11 Samsung Electronics Co., Ltd. Neural network method and apparatus
WO2018048704A1 (en) * 2016-09-06 2018-03-15 Carnegie Mellon University Gaussian mixture model based approximation of continuous belief distributions
DE102016216951A1 (de) * 2016-09-07 2018-03-08 Robert Bosch Gmbh Modellberechnungseinheit und Steuergerät zur wahlweisen Berechnung eines RBF-Modells, eines Gauß-Prozess-Modells und eines MLP-Modells
JP6562883B2 (ja) * 2016-09-20 2019-08-21 株式会社東芝 特性値推定装置および特性値推定方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201116256A (en) * 2009-11-09 2011-05-16 Charder Electronic Co Ltd Device for measuring human body composition by using biolectrical impedance method and artificial neural network
CN102737278A (zh) * 2011-03-31 2012-10-17 微软公司 联合非线性随机投影、受限波尔兹曼机、以及基于批量的可并行优化来使用的深凸网络
TW201331855A (zh) * 2012-01-19 2013-08-01 Univ Nat Taipei Technology 具自由回饋節點的高速硬體倒傳遞及回饋型類神經網路
US20140372112A1 (en) * 2013-06-18 2014-12-18 Microsoft Corporation Restructuring deep neural network acoustic models
TW201503106A (zh) * 2013-07-10 2015-01-16 Tencent Tech Shenzhen Co Ltd 聲學模型訓練方法和裝置
CN105335816A (zh) * 2015-10-13 2016-02-17 国网安徽省电力公司铜陵供电公司 基于深度学习的电力通信网运行趋势与业务风险分析方法
CN105912790A (zh) * 2016-04-15 2016-08-31 重庆大学 基于深度回归模型的遥感水质监测方法

Also Published As

Publication number Publication date
KR102027107B1 (ko) 2019-10-01
CN109804386A (zh) 2019-05-24
DE112016007312T5 (de) 2019-07-04
US20190251399A1 (en) 2019-08-15
JPWO2018066032A1 (ja) 2018-10-04
TW201814595A (zh) 2018-04-16
WO2018066032A1 (ja) 2018-04-12
US11373110B2 (en) 2022-06-28
JP6150964B1 (ja) 2017-06-21
KR20190039329A (ko) 2019-04-10

Similar Documents

Publication Publication Date Title
CN112559784B (zh) 基于增量学习的图像分类方法及系统
Reimann et al. Modeling macroscopic material behavior with machine learning algorithms trained by micromechanical simulations
TWI643138B (zh) Network construction device and network construction method
US20170147921A1 (en) Learning apparatus, recording medium, and learning method
Chaowanawatee et al. Implementation of cuckoo search in RBF neural network for flood forecasting
KR20210032140A (ko) 뉴럴 네트워크에 대한 프루닝을 수행하는 방법 및 장치
JP2017037392A (ja) ニューラルネットワーク学習装置
US20220383627A1 (en) Automatic modeling method and device for object detection model
US20200125930A1 (en) Artificial neural network and method of training an artificial neural network with epigenetic neurogenesis
JPWO2018207334A1 (ja) 画像認識装置、画像認識方法および画像認識プログラム
WO2019102984A1 (ja) 学習装置及び学習方法、識別装置及び識別方法、プログラム並びに記録媒体
CN114912578B (zh) 结构响应预测模型的训练方法、装置和计算机设备
Du et al. Exponential stability for stochastic Cohen–Grossberg BAM neural networks with discrete and distributed time-varying delays
KR20210039921A (ko) 신경망 모델을 최적화하도록 구성된 심층 신경망 시스템의 동작 방법
KR20210060146A (ko) 딥 뉴럴 네트워크 모델을 이용한 데이터 처리 방법 및 장치, 딥 뉴럴 네트워크 모델을 학습시키는 학습 방법 및 장치
Feng et al. Further results on robust stability of bidirectional associative memory neural networks with norm-bounded uncertainties
Yee et al. Computer investigation of tensioned fabric structure in the form of Enneper minimal surface
Feklistov et al. Numerical implementation issues of the deformation and destruction process of bodies with stress concentrators
US11024030B2 (en) Apparatus, method, and recording medium
US20200387792A1 (en) Learning device and learning method
Karlaftis Classifying rock masses using artificial neural networks
Tekieli et al. Application of Monte Carlo filter for computer vision-based Bayesian updating of finite element model
US11270435B2 (en) Apparatus, method, and recording medium
Bedriñana et al. Ensemble Machine Learning Models for the Shear Strength Estimation of PC Beams
Georgioudakis et al. Reliability-based shape design optimization of structures subjected to fatigue