TWI584206B - Inference Device and Inference Method - Google Patents

Inference Device and Inference Method Download PDF

Info

Publication number
TWI584206B
TWI584206B TW104143515A TW104143515A TWI584206B TW I584206 B TWI584206 B TW I584206B TW 104143515 A TW104143515 A TW 104143515A TW 104143515 A TW104143515 A TW 104143515A TW I584206 B TWI584206 B TW I584206B
Authority
TW
Taiwan
Prior art keywords
node
layer
intermediate layer
activity
nodes
Prior art date
Application number
TW104143515A
Other languages
English (en)
Other versions
TW201643779A (zh
Inventor
Wataru Matsumoto
Genta Yoshimura
Xiongxin Zhao
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of TW201643779A publication Critical patent/TW201643779A/zh
Application granted granted Critical
Publication of TWI584206B publication Critical patent/TWI584206B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

推論裝置及推論方法
本發明係關於一種使用了類神經網路(neural network)的推論裝置及推論方法。
類神經網路係具有很高的問題解決能力，且用於圖像辨識、聲音辨識、異常偵測、未來預測等的許多處理上，而作為機械學習方法之一。
作為類神經網路的構造之一，有階層型類神經網路，而作為學習方法，主要有：有教師的學習、以及無教師的學習的兩種。
有教師的學習，係一種賦予複數個學習例的輸入資料與目標輸出，且以使實際的輸出與目標輸出一致之方式，來調整類神經網路之結合狀態的方法。此外，無教師的學習則為一種不賦予目標輸出，而以可抽出學習例所具有之本質性之特徵的方式，來調整類神經網路之結合狀態的方法。
例如，在屬於有教師的學習法的誤差反向傳播法(backpropagation algorithm)中，會有當類神經網路的階層數變多時，產生學習結果無法獲致完結之問題的情形。
為了解決上述的問題，例如，乃有一種例如使用自動編碼器(Autoencoder)或制約波茲曼機(Restrict Boltzmann Machine)等之無教師的學習而實施每層的事前學習(Pre-training)，藉此來決定類神經網路之結合狀態的初始值，之後，使用誤差反向傳播法，來調整(Fine-tuning)類神經網路的結合狀態者。
藉此，即可以實際的輸出與目標輸出一致之方式，來調整類神經網路的結合狀態，而不會招致學習結果無法獲致完結的問題的產生。
階層型類神經網路雖可以藉由複數個節點(node)及節點間之結合的節線(edge)(枝)所構成的圖形(graph)構造來表示，但例如在4層的類神經網路中，複數個節點被輸入層、第1中間層、第2中間層、及輸出層而形成階層化，屬於相同階層之節點間的節線並不存在，僅在相鄰接的層間才有節線的存在。中間層有時被稱為隱藏層。
在各節線中，存在著顯示相連的2個節點間之結合程度的參數，而該參數係被稱為節線權重。
在使用階層型類神經網路而進行學習或推論時，其計算量及記憶體量係與節線數成比例。一般而言，屬於各層的節點，係以節線與相鄰接的層所屬的所有節點連接，因此計算量及記憶體量會直接與節點數產生關係。
例如，在輸入層的節點數為N、第1中間層的節點數為M1、第2中間層的節點數為M2、輸出層的節點數為1的情形下，輸入層與第1中間層之間的節線數即成為N×M1、第1中間層與第2中間層之間的節線數成為M1×M2、第2中間層與輸出層之間的節線數成為M2，因此進行學習或推論時的計算量 及記憶體量，係與(N×M1+M1×M2+M2)成比例。
尤其是中間層的節點數與輸入層的節點數成比例時，相對於節點數為N個的輸入層，第1中間層的節點數即成為M1=a×N個、第2中間層的節點數成為M2=b×N個。此時，類神經網路中的節線的總數成為N×a×N+a×N×b×N+b×N=(a+a×b)×N2+b×N，而進行學習或推論時的計算量及記憶體量，與(a+a×b)×N2+b×N成比例。
階層型類神經網路大多具有以上的構造，且計算量及記憶體量會與屬於輸入資料數之N的2乘方，亦即輸入層之節點數N的2乘方成比例地增加，因此計算量與記憶體量會隨輸入資料數的增大而飛躍性地增加，而會產生計算機資源不足、處理延遲、裝置成本增大等的問題。
在以下的專利文獻1中，係根據複數個輸入資料的相關關係，將複數個輸入資料予以群組化，藉此而削減了輸入層與中間層的節線數、及中間層與輸出層之間的節線數。
[先前技術文獻] [專利文獻]
專利文獻1：日本特開2011-54200號公報(第1圖)
習知的推論裝置係如以上之方式構成，因此可削減輸入層與中間層之間的節線數、及中間層與輸出層之間的節線數。然而，在屬於相同群組的輸入層與中間層之間，由於輸 入層的各節點與中間層的所有節點連接，因此節線的削減數有限，而依然會有進行推論時的計算量及記憶體量變大的問題。
本發明係有鑑於解決上述的問題而研創者，其目的在獲得一種可削減進行推論時之計算量及記憶體量的推論裝置及推論方法。此外，其目的在獲得一種推論精確度高的推論裝置及推論方法。
本發明之推論裝置係包括：輸入層活性度算出部，當資料被賦予至構成了類神經網路之輸入層的各節點時，即從該資料算出輸入層在各節點的活性度；中間層記憶部，記憶有連接了構成了類神經網路之中間層的節點與輸入層之節點的各節線的權重；中間層活性度算出部，從經由輸入層活性度算出部所算出之輸入層在各節點的活性度及中間層記憶部中所記憶之各節線的權重之中，取得與中間層之各節點具有連接關係的輸入層在各節點的活性度與各節線的權重，且使用該所取得之輸入層在各節點的活性度與各節線的權重，而算出中間層在各節點的活性度；及輸出層活性度算出部，使用經由中間層活性度算出部所算出之中間層在各節點的活性度，而算出構成了類神經網路之輸出層在各節點的活性度。
依據本發明，具有可削減進行推論時的計算量及記憶體量的效果。此外，作為其他效果而言，可獲得更高的推論精確度。
1‧‧‧輸入層活性度算出部1
2‧‧‧第1中間記憶部(中間層記憶部)
3‧‧‧第2中間層記憶部(中間層記憶部)
4‧‧‧第3中間層記憶部(中間層記憶部)
5‧‧‧第1中間層活性度算出部(中間層活性度算出部)
6‧‧‧第2中間層活性度算出部(中間層活性度算出部)
7‧‧‧第3中間層活性度算出部(中間層活性度算出部)
8‧‧‧輸出層記憶部
9‧‧‧輸出層活性度算出部
11‧‧‧輸入層活性度算出電路
12‧‧‧中間層記憶裝置
13‧‧‧中間層活性度算出電路
14‧‧‧輸出層記憶裝置
15‧‧‧輸出層活性度算出電路
21‧‧‧記憶體
22‧‧‧處理器
31‧‧‧摺積層
32‧‧‧池化層
33‧‧‧摺積層
34‧‧‧池化層
35‧‧‧保持索引的層
36‧‧‧全連接層
41‧‧‧第2中間層活性度算出部(中間層活性度算出部)
42‧‧‧第1中間層記憶部(中間層記憶部)
43‧‧‧第1中間層活性度算出部(中間層活性度算出部)
51‧‧‧中間層記憶部
52‧‧‧中間層活性度算出部
53‧‧‧輸出層記憶部
54‧‧‧輸出層活性度算出部
第1圖係顯示本發明之實施形態1之推論裝置的構成圖。
第2圖係顯示本發明之實施形態1之推論裝置的硬體構成圖。
第3圖係推論裝置為由電腦所構成時的硬體構成圖。
第4圖係顯示本發明之實施形態1之屬於推論裝置之處理內容的推論方法的流程圖。
第5圖係顯示輸入層活性度算出部1、第1中間層活性度算出部5、第2中間層活性度算出部6、第3中間層活性度算出部7、及輸出層活性度算出部9之處理內容的流程圖。
第6圖係顯示本發明之實施形態1之推論裝置所應用之階層型類神經網路的說明圖。
第7圖係顯示索引(index)、節線權重及偏權(bias)值之一例的說明圖。
第8圖係顯示藉由複數個節線所形成之迴路之例的說明圖。
第9圖係顯示將賦予至輸入層的圖像資料識別為10種層級(class)的類神經網路之一例的說明圖。
第10圖係顯示從輸入層至第1中間層、從第1中間層至第2中間層(脈絡層)、第2中間層(脈絡層)至第1中間層、第1中間層至輸出層具有枝連接之遞迴類神經網路(recurrent neural network，RNN)之艾爾曼網路(Elman Network)的說明圖。
第11圖係顯示本發明之實施形態7之推論裝置的構成圖。
第12圖係顯示屬於在中間層內存在節點彼此的枝連接或自我連接，並且存在從輸入層跳過中間層而連接至輸出層的枝的類神經網路之Echo State Network(回聲狀態網路)之例的說明圖。
第13圖係以層單位來表示第12圖之回聲狀態網路的說明圖。
第14圖係顯示本發明之實施形態8之推論裝置的構成圖。
以下為了更詳細地說明本發明，乃依據所附的圖式來說明用以實施本發明的形態。
實施形態1
第1圖係顯示本發明之實施形態1之推論裝置的構成圖，第2圖係顯示本發明之實施形態1之推論裝置的硬體構成圖。
在第1圖中，係顯示使用複數個節點被輸入層、第1中間層、第2中間層、第3中間層、輸出層而形成階層化的5層的階層型類神經網路的推論裝置之例。此外，在第1圖之例中，係顯示被賦予至輸入層的資料為圖像資料之例。
在此，雖顯示使用5層之階層型類神經網路的例子，但不限定於5層的階層型類神經網路，亦可為使用3層或4層、或者6層以上的階層型類神經網路者。
順帶一提，使用3層的階層型類神經網路時，中間層成為僅有第1中間層，後述的第2中間層記憶部3、第3中間層記憶部4、第2中間層活性度算出部6及第3中間層活性度算出部7即無需要。
在第1圖及第2圖中，輸入層活性度算出部1係藉由例如以安裝有CPU(Central Processing Unit，中央處理單元)的半導體積體電路、或是單晶片微電腦(One Chip Microcomputer)等所構成的輸入層活性度算出電路11而實現者，當圖像資料被賦予至構成了階層型類神經網路之輸入層的各節點時，即實施從該圖像資料算出輸入層在各節點的活性度的處理。
屬於中間層記憶部的第1中間記憶部2係藉由例如以RAM(Random Access Memory，隨機存取記憶體)或硬碟(harddisk)等的記憶媒體所構成的中間層記憶裝置12而實現者，其係記憶有：顯示第1中間層之各節點與輸入層之各節點的連接關係的索引(index)(連接資訊)；連接了第1中間層之節點與輸入層之節點的各節線的權重；及被賦予至第1中間層之各節點的偏權值。
屬於中間層記憶部的第2中間記憶部3係藉由例如以RAM或硬碟等的記憶媒體所構成的中間層記憶裝置12而實現者，其係記憶有：顯示第2中間層之各節點與第1中間層之各節點的連接關係的索引；連接了第2中間層之節點與第1中間層之節點的各節線的權重；及被賦予至第2中間層之各節點的偏權值。
屬於中間層記憶部的第3中間記憶部4係藉由例如以RAM或硬碟等的記憶媒體所構成的中間層記憶裝置12而實現者，其係記憶有：顯示第3中間層之各節點與第2中間層之各節點的連接關係的索引；連接了第3中間層之節點與第2中間層之 節點的各節線的權重；及被賦予至第3中間層之各節點的偏權值。
屬於中間層活性度算出部的第1中間層活性度算出部5係藉由例如以安裝有CPU的半導體積體電路、或是單晶片微電腦等所構成的中間層活性度算出電路13而實現者，其係實施參照第1中間記憶部2中所記憶的索引，而從經由輸入層活性度算出部1所算出之輸入層在各節點的活性度、第1中間記憶部2中所記憶之各節線的權重、及偏權值之中，取得與第1中間層之各節點具有連接關係之輸入層在各節點的活性度、各節線的權重、及偏權值，且使用該所取得之輸入層在各節點的活性度、各節線的權重、及偏權值，而算出第1中間層在各節點的活性度的處理。
屬於中間層活性度算出部的第2中間層活性度算出部6係藉由例如以安裝有CPU的半導體積體電路、或是單晶片微電腦等所構成的中間層活性度算出電路13而實現者，其係實施參照第2中間記憶部3中所記憶的索引，而從經由第1中間層活性度算出部5所算出之第1中間層在各節點的活性度、第2中間記憶部3中所記憶之各節線的權重、及偏權值之中，取得與第2中間層之各節點具有連接關係之第1中間層在各節點的活性度、各節線的權重、及偏權值，且使用該所取得之第1中間層在各節點的活性度、各節線的權重、及偏權值，而算出第2中間層在各節點的活性度的處理。
屬於中間層活性度算出部的第3中間層活性度算出部7係藉由例如以安裝有CPU的半導體積體電路、或是單 晶片微電腦等所構成的中間層活性度算出電路13而實現者，其係實施參照第3中間記憶部4中所記憶的索引，而從經由第2中間層活性度算出部6所算出之第2中間層在各節點的活性度、第3中間記憶部4中所記憶之各節線的權重、及偏權值之中，取得與第3中間層之各節點具有連接關係之第2中間層在各節點的活性度、各節線的權重、及偏權值，且使用該所取得之第2中間層在各節點的活性度、各節線的權重、及偏權值，而算出第3中間層在各節點的活性度的處理。
輸出層記憶部8係藉由例如以RAM或硬碟等的記憶媒體所構成的輸出層記憶裝置14而實現者，其係記憶有：顯示輸出層之各節點與第3中間層之各節點的連接關係的索引(連接資訊)；連接了輸出層之各節點與第3中間層之節點的各節線的權重；及被賦予至輸出層之各節點的偏權值。
輸出層活性度算出部9係藉由例如以安裝有CPU的半導體積體電路、或是單晶片微電腦等所構成的輸出層活性度算出電路15而實現者，其係實施參照輸出層記憶部8中所記憶的索引，而從經由第3中間層活性度算出部7所算出之第3中間層在各節點的活性度、輸出層記憶部8中所記憶之各節線的權重、及偏權值之中，取得與輸出層之各節點具有連接關係之第3中間層在各節點的活性度、各節線的權重、及偏權值，且使用該所取得之第3中間層在各節點的活性度、各節線的權重、及偏權值，而算出輸出層在各節點的活性度的處理。
在第1圖中，雖假設了屬於推論裝置之構成要素的輸入層活性度算出部1、第1中間記憶部2、第2中間層記 憶部3、第3中間層記憶部4、第1中間層活性度算出部5、第2中間層活性度算出部6、第3中間層活性度算出部7、輸出層記憶部8及輸出層活性度算出部9的各者為由專用的硬體所構成者，但推論裝置亦可為由電腦所構成。
第3圖係推論裝置為由電腦所構成時的硬體構成圖。
推論裝置為由電腦所構成時，只要將第1中間記憶部2、第2中間層記憶部3、第3中間層記憶部4及輸出層記憶部8構成於電腦的記憶體21上，並且將記述有輸入層活性度算出部1、第1中間層活性度算出部5、第2中間層活性度算出部6、第3中間層活性度算出部7及輸出層活性度算出部9之處理內容的程式(program)儲存於電腦的記憶體21，而由該電腦的處理器(processor)22執行儲存於記憶體21的程式即可。
第4圖係顯示本發明之實施形態1之屬於推論裝置之處理內容的推論方法的流程圖，第5圖係顯示輸入層活性度算出部1、第1中間層活性度算出部5、第2中間層活性度算出部6、第3中間層活性度算出部7及輸出層活性度算出部9之處理內容的流程圖。
第6圖係顯示本發明之實施形態1之推論裝置所應用之階層型類神經網路的說明圖。
第6圖之階層型類神經網路係複數個節點被輸入層、第1中間層、第2中間層、第3中間層、輸出層而形成階層化之5層的階層型類神經網路。
第7圖係顯示索引、節線權重及偏權值之一例的說明圖。
在第7圖中，係顯示屬於節點之連接資訊的索引，例如第 1中間層中之”N”的節點，與輸入層中之”0”、”3”、”5”的節點連接的內容。
此外，在第7圖中，係顯示連接了第1中間層中之”N”之節點、與輸入層中之”0”之節點的節線的權重為”0.2”、連接了第1中間層中之”N”之節點、與輸入層中之”3”之節點的節線的權重為”-0.5”、連接了第1中間層中之”N”之節點、與輸入層中之”5”之節點的節線的權重為”0.1”的內容。
再者，在第7圖中，係顯示例如第1中間層中之”N”之節點的偏權值為”1.8”的內容。
接著說明動作。
輸入層活性度算出部1係當圖像資料被賦予至構成了階層型類神經網路之輸入層的各節點時，即從該圖像資料算出輸入層在各節點的活性度A1N(第4圖的步驟ST1)。
被賦予至輸入層活性度算出部1的圖像資料，例如為顯示由具有0至255之像素值P的畫素(pixel)所構成之圖像的資料，當各畫素的像素值P被賦予至輸入層的各節點時，輸入層在各節點的活性度A1N可按下列算式(1)的方式算出。
在此，雖係顯示假設被輸入圖像資料的情形，且將各畫素的像素值P除以255而進行標準化，並將浮動小數點值(0.0至1.0)設為輸入層在各節點的活性度A1N之例，但亦可構成為不僅單純的標準化，還依據所輸入之資料的種類，來實施資料抽減、量化、轉換等的處理。
第1中間層活性度算出部5係當輸入層活性度算 出部1算出輸入層在各節點的活性度A1N時，即參照第1中間記憶部2中所記憶的索引，依第1中間層的每一節點，確認連接於該節點之輸入層的各節點，而取得該輸入層在各節點的活性度A1N。
例如，第1中間層中之”N”的節點之情形下，第1中間記憶部2中所記憶的索引，顯示與輸入層中之”0”、”3”、”5”之節點連接的內容，因此取得經由輸入層活性度算出部1所算出之輸入層在各節點的活性度A1N中之輸入層中之”0”、”3”、”5”在節點的活性度A1N-0、A1N-3、A1N-5。
此外，第1中間層活性度算出部5係參照第1中間記憶部2中所記憶的索引，依第1中間層的每一節點，確認連接於該節點的節線，並從第1中間記憶部2取得該節線的權重w。
例如，第1中間層中之”N”的節點之情形下，第1中間記憶部2中所記憶的索引，顯示與輸入層中之”0”、”3”、”5”之節點連接的內容，因此取得”0.2”作為連接了第1中間層中的”N”之節點、與輸入層中之”0”之節點的節線的權重wN-0，且取得”-0.5”作為連接了第1中間層中之”N”之節點、與輸入層中之”3”之節點的節線的權重wN-3。此外，取得”0.1”作為連接了第1中間層中之”N”之節點、與輸入層中之”5”之節點的節線的權重wN-5。
此外，第1中間層活性度算出部5係依第1中間層的每一節點，從第1中間記憶部2取得該節點的偏權值B1M。
例如，第1中間層中之”N”之節點的情形下，取得”1.8”作 為偏權值B1M-N。
第1中間層活性度算出部5係當依第1中間層的每一節點，取得輸入層在各節點的活性度A1N、節線的權重w、偏權值B1M時，即使用活性度A1N、節線的權重w、偏權值B1M，而算出第1中間層之每一節點的活性度A1M(步驟ST2)。
以下具體說明第1中間層中之”N”之節點的活性度A1M-N的算出例。
首先，第1中間層活性度算出部5係讀入第1中間記憶部2中所記憶的索引(第5圖的步驟ST11)，且參照該索引，藉此取得輸入層中之”0”、”3”、”5”在節點的活性度A1N-0、A1N-3、A1N-5、節線的權重wN-0、wN-3、wN-5、及第1中間層中之”N”之節點的偏權值B1M-N(步驟ST12)，以作為使用於活性度之算出的參數。
接著，第1中間層活性度算出部5係如下列的算式(2)，實施輸入層中之”0”、”3”、”5”在節點的活性度A1N-0、A1N-3、A1N-5、與節線的權重wN-0、wN-3、wN-5的積和運算(步驟ST13)。
MADD=A1N-0×wN-0+A1N-3×wN-3+A1N-5×wN-5 (2)
接著，第1中間層活性度算出部5係如下列算式(3)所示，將積和運算的運算結果MADD與第1中間層中之”N”之節點的偏權值B1M-N加總(步驟ST14)。
ADD=MADD+B1M-N (3)
第1中間層活性度算出部5係事先準備線性函數、S字形(sigmoid)函數、Softmax函數、整流化線性函數 (ReLU)等，且以算式(3)的加總結果ADD作為活性化函數F的引數，如下列的算式(4)所示，算出該活性化函數的函數值作為第1中間層中之”N”之節點的活性度A1M-N(步驟ST15)。
A1M-N=F(ADD) (4)
在此，雖顯示了第1中間層中之”N”之節點之活性度A1M-N的算出例，但亦同樣可算出第1中間層中之其他節點的活性度A1M。
第2中間層活性度算出部6係當第1中間層活性度算出部5算出第1中間層在各節點的活性度A1M時，即算出第2中間層在各節點的活性度A2M(第4圖的步驟ST3)。
藉由第2中間層活性度算出部6算出第2中間層在各節點的活性度A2M的方法，係與藉由第1中間層活性度算出部5算出第1中間層在各節點的活性度A1M的方法相同。
亦即，第2中間層活性度算出部6係參照第2中間層記憶部3中所記憶的索引，且依第2中間層的每一節點，確認連接於該節點之第1中間層的各節點，而取得該第1中間層在各節點的活性度A1M。
此外，第2中間層活性度算出部6係參照第2中間層記憶部3中所記憶的索引，且依第2中間層的每一節點，確認連接於該節點的節線，而從第2中間層記憶部3取得該節線的權重w。
此外，第2中間層活性度算出部6係依第2中間層的每一節點，從第2中間層記憶部3取得該節點的偏權值 B2M。
第2中間層活性度算出部6係當依第2中間層的每一節點，取得第1中間層在各節點的活性度A1M、節線的權重w、偏權值B2M時，即藉由與第1中間層活性度算出部5相同的計算方法，使用活性度A1M、節線的權重w、及偏權值B2M，而算出第2中間層之每一節點的活性度A2M。
第3中間層活性度算出部7係當第2中間層活性度算出部6算出第2中間層在各節點的活性度A2M時，即算出第3中間層在各節點的活性度A3M(步驟ST4)。
藉由第3中間層活性度算出部7算出第3中間層在各節點的活性度A3M的方法，係與藉由第1中間層活性度算出部5算出第1中間層在各節點的活性度A1M的方法相同。
亦即，第3中間層活性度算出部7係參照第3中間層記憶部4中所記憶的索引，且依第3中間層的每一節點，確認連接於該節點之第2中間層的各節點，而取得該第2中間層在各節點的活性度A2M。
此外，第3中間層活性度算出部7係參照第3中間層記憶部4中所記憶的索引，且依第3中間層的每一節點，確認連接於該節點的節線，而從第3中間層記憶部4取得該節線的權重w。
此外，第3中間層活性度算出部7係依第3中間層的每一節點，從第3中間層記憶部4取得該節點的偏權值B3M。
第3中間層活性度算出部7係當依第3中間層的每一節 點，取得第2中間層在各節點的活性度A2M、節線的權重w、偏權值B3M時，即藉由與第1中間層活性度算出部5相同的計算方法，使用活性度A2M、節線的權重w、及偏權值B3M，而算出第3中間層之每一節點的活性度A3M。
輸出層活性度算出部9係當第3中間層活性度算出部7算出第3中間層在各節點的活性度A3M時，即算出輸出層在各節點的活性度AOUT(步驟ST5)。
藉由輸出層活性度算出部9算出輸出層在各節點的活性度AOUT的方法，係與藉由第1中間層活性度算出部5算出第1中間層在各節點的活性度A1M的方法相同。
亦即，輸出層活性度算出部9係參照輸出層記憶部8中所記憶的索引，且依輸出層的每一節點，確認連接於該節點之第3中間層的各節點，而取得該第3中間層在各節點的活性度A3M。
此外，輸出層活性度算出部9係參照輸出層記憶部8中所記憶的索引，且依輸出層的每一節點，確認連接於該節點的節線，而從輸出層記憶部8取得該節線的權重w。
此外，輸出層活性度算出部9係依輸出層的每一節點，從輸出層記憶部8取得該節點的偏權值BOUT。
輸出層活性度算出部9係當依輸出層的每一節點，取得第3中間層在各節點的活性度A3M、節線的權重w、偏權值BOUT時，即藉由與第1中間層活性度算出部5相同的計算方法，使用活性度A3M、節線的權重w、及偏權值BOUT，而算出輸出層之每一節點的活性度AOUT。
經由輸出層活性度算出部9所算出之輸出層之每一節點的活性度AOUT，係作為推論裝置的推論結果而被輸出。
例如，在識別映照於圖像者為人、狗、貓、汽車的哪一者時，輸出層係以成為由4個節點構成，且各節點的活性度分別顯示為人、狗、貓、汽車之可能性的值之方式學習。
推論時，係選擇輸出層之中活性度最大的節點，例如，若為輸出其為貓之可能性的節點，就輸出貓這樣的推論結果。不僅單純的識別結果，亦可實施使用了活性度的可靠性的算出或回歸預測值輸出等的處理。
由以上所述可明瞭，依據本實施形態1，由於構成為第1中間層活性度算出部5係參照第1中間記憶部2中所記憶的索引，而從經由輸入層活性度算出部1所算出之輸入層在各節點的活性度、第1中間記憶部2中所記憶的各節線的權重、及偏權值之中，取得與第1中間層之各節點具有連接關係之輸入層在各節點的活性度、各節線的權重、及偏權值，且使用該所取得之輸入層在各節點的活性度、各節線的權重、及偏權值，而算出第1中間層在各節點的活性度，因此可達成削減進行推論時之計算量及記憶體量的效果。
亦即，在第1中間層活性度算出部5中，只要僅就與第1中間層之各節點具有連接關係之輸入層的各節點進行計算即可，因此可大幅削減進行推論時的計算量及記憶體量。
此外，關於第2中間層活性度算出部6，亦只要僅就與第2中間層之各節點具有連接關係之第1中間層的各節點進行計算即可，因此可與第1中間層活性度算出部5同樣地， 大幅削減進行推論時的計算量及記憶體量。
此外，關於第3中間層活性度算出部7，亦只要僅就與第3中間層之各節點具有連接關係之第2中間層的各節點進行計算即可，因此可與第1中間層活性度算出部5同樣地，大幅削減進行推論時的計算量及記憶體量。
再者，關於輸出層活性度算出部9，亦只要僅就與輸出層之各節點具有連接關係之第3中間層的各節點進行計算即可，因此可與第1中間層活性度算出部5同樣地，大幅削減進行推論時的計算量及記憶體量。
在本實施形態1中，雖顯示了第1中間層活性度算出部5、第2中間層活性度算出部6、第3中間層活性度算出部7及輸出層活性度算出部9算出在各節點的活性度時，實施前段之層在各節點的活性度與節線的權重的積和運算，但亦可求出前段之層在各節點之活性度的最大值或平均值，且使用該最大值或平均值來取代算式(3)的加總結果ADD。
實施形態2
在上述實施形態1中，係顯示了推論裝置所應用之構成了類神經網路的各層的各節點，未與前段或後段之層的所有節點連接，而是與一部分的節點連接。
各層的各節點，即使是與前段或後段之層之一部分的節點連接時，視節點間的連接形態的不同，也會有因為連接節點間的複數個節線而形成迴路的情形。
在此，在類神經網路中，茲將從某個節點以只通過1次相同的節線之方式前進而返回原來的節點的路徑稱為迴路，且將 構成迴路之節線的條數稱為迴路的長度。
第8圖係顯示藉由複數個節線所形成之迴路之例的說明圖。
第8圖(a)(b)係顯示藉由4條節線所形成之迴路之例，第8圖(c)係顯示藉由6條節線所形成之迴路之例，第8圖(d)係顯示藉由8條節線所形成之迴路之例。
例如，在階層型類神經網路中，雖會產生最短且長度為4的迴路，但長度4的迴路，尤其在學習時的誤差反向傳播法所傳播的梯度計算資訊容易循環，因此成為推論精確度降低的主要原因。此外，即使是如貝氏網路(Bayesian network)的機率傳播法般藉由雙向傳播資訊來推論的模型(model)，傳播資訊也會因為短的迴路的存在而循環而成為推論精確度降低的主要原因。
因此，在本實施形態2中，於連接了構成了類神經網路之各層之節點間的節線，亦即連接了第1中間層之節點與輸入層之節點的節線、連接了第2中間層之節點與第1中間層之節點的節線、連接了第3中間層之節點與第2中間層之節點的節線、連接了輸出層之節點與第3中間層之節點的節線形成迴路時，推論裝置所應用的類神經網路，係以迴路為由6個以上的節線所形成的類神經網路為限。
因此，在本實施形態2中，如第8圖(a)(b)所示由於4條節線而形成了迴路的類神經網路，雖不會成為推論裝置的應用對象，但如第8圖(c)(d)所示由於6條或8條節線而形成了迴路的類神經網路，則成為推論裝置的應用對象。
藉此，即達成可抑制伴隨著存在於類神經網路內之長度較短的迴路所產生之推論精確度的降低的效果。亦即，在維持推論精確度的狀態下可削減計算量及記憶體量。
實施形態3
在上述實施形態1中，係顯示了構成了推論裝置所應用之類神經網路之各層的各節點，未與前段或後段之層的所有節點連接，而與一部分的節點連接者。
此時，第1中間層的各節點，亦可為與輸入層中之所有節點中，被隨機地選擇之一部分的節點連接者。
同樣地，第2中間層的各節點，亦可為與第1中間層中之所有節點中，被隨機地選擇之一部分的節點連接者，此外，第3中間層的各節點，亦可為與第2中間層中之所有節點中，被隨機地選擇之一部分的節點連接者。
此外，同樣地，輸出層的各節點，亦可為與第3中間層中之所有節點中，被隨機地選擇之一部分的節點連接者。
以被隨機地選擇的條件而言，亦可加上平均各層(輸出層、第3中間層、第2中間層、第1中間層)之各節點之與前段的層(第3中間層、第2中間層、第1中間層、輸入層)之節點的平均連接條數為50條以下的條件。
或者，亦可加上平均各層(輸出層、第3中間層、第2中間層、第1中間層)之各節點之與前段的層(第3中間層、第2中間層、第1中間層、輸入層)之節點的平均連接條數為前段之層之節點的個數的10分之1以下的條件。
在各層之各節點與前段之層中的所有節點連接的 形態中，各層的節點數為M、前段之層的節點數為N時，在各層的活性度的計算量與記憶體量雖成為N×M的級數(order)，但藉由加上平均各層之各節點之前段之層之節點的平均連接條數n(n<N)為50條以下的條件、或為前段之層之節點的個數N之10分之1以下的條件，可使長度較短的迴路的產生機率降低，而可抑制推論精確度的降低，並且可削減計算量及記憶體量。
實施形態4
在上述實施形態1中，係顯示構成了推論裝置所應用之類神經網路之各層的各節點，未與前段或後段之層的所有節點連接，而與一部分的節點連接者。
此時，第1中間層的各節點，亦可設為與輸入層中之所有節點中，未連接之一部分的節點連接。
同樣地，第2中間層的各節點，亦可設為與第1中間層中之所有節點中，未鄰接之一部分的節點連接，此外，第3中間層的各節點，亦可設為與第2中間層中之所有節點中，未鄰接之一部分的節點連接。
此外，同樣地，輸出層的各節點，亦可設為與第3中間層中之所有節點中，未鄰接之一部分的節點連接。
例如，第1中間層中之”N”之節點的情形下，由於輸入層中之”0”的節點、與”3”的節點未鄰接，因此第1中間層中之”N”的節點，雖容許與輸入層中之”0”、”3”之節點連接的形態，但由於輸入層中之”0”的節點、與”1”的節點係相鄰接，因此第1中間層中之”N”的節點，不被容許與輸入層中之”0”、”1”的節 點連接的形態。
在本實施形態4中，以容許所連接的形態而言，亦可加上平均各層(輸出層、第3中間層、第2中間層、第1中間層)之各節點之與前段的層(第3中間層、第2中間層、第1中間層、輸入層)之節點的平均連接條數為50條以下的條件。
或者，亦可加上平均各層(輸出層、第3中間層、第2中間層、第1中間層)之各節點之與前段的層(第3中間層、第2中間層、第1中間層、輸入層)之節點的平均連接條數為前段之層之節點的個數的10分之1以下的條件。
藉由加上上述的條件，可使長度較短的迴路的產生機率降低，而可抑制推論精確度的降低，並且可削減計算量及記憶體量。
實施形態5
在上述實施形態1至4中，雖係以具有3個中間層之階層型前饋(feed forward)的類神經網路為例作為推論裝置所應用的類神經網路，但中間層可較3個為多或較少。此外，亦可為如無中間層之邏輯(logistic)回歸模型的構造。
此外，亦可與將層間之節點全部予以結合的層、如摺積類神經網路的摺積層及池化(pooling)層、或遞迴類神經網路中的LSTM(Long Short-Term Memory)(長期短期記憶)區塊等之類神經網路的習知方法組合。
在此，摺積類神經網路係成為摺積層與池化層重複的構造。例如，摺積層係擔任圖像之局部性的特徵抽出的層，而池 化層則係依每一局部彙整特徵的層。
在上述實施形態1至4中，雖係以階層型前饋的類神經網路為例作為推論裝置所應用的類神經網路，但亦可為有跳過層的連接，亦可為有屬於相同層的節點彼此連接，亦可為有連接目的地與連接來源為相同的自我連接，亦可為有如節線形成迴路的循環連接(遞迴類神經網路)。
此外，亦可為自我組織映射(SOM，Self-Organizing Maps)、聯想記憶模型、何普菲網路(Hopfield network)、波茲曼機等，使用其他圖形而推論的類神經網路。再者，不限定於類神經網路，亦可為貝氏網路等，使用其他圖形而推論的模型。
在上述實施形態1至4中，雖以輸入層的節點為0，1，···，N-1、第1中間層的節點為N，N+1，···，N+M-1之方式附上一次元的索引，但亦可以輸入層的節點為(0，0)、(0，1)、···、(0，N-1)、第1中間層的節點為(1，0)、(1，1)、···、(1，M-1)之方式附上二次元的索引，亦可使用記憶體的位址作為索引，亦可附上其他的索引。
在上述實施形態1至4中，雖以節線數與節線權重的數量一致之例作為推論裝置所應用的類神經網路，但亦可設為如摺積網路中的摺積過濾(filter)係數之方式，將複數個節線權重共有化。
在上述實施形態1至4中，雖依序記載了各節點中之活性度的計算過程，但亦可使用複數個CPU或GPU(Graphics Processing Unit，圖形處理單元)將彼此不依存的計算並列化， 而更進一步高速化。
在上述實施形態1至4中，雖係以輸入圖像資料，且將圖像分類的圖像分類系統為例，但只要是準備好與資料對應的教師訊號，而可進行有教師的學習，則可全面地應用於對於資料的輸出而輸出某推論結果的推論系統。
例如，亦可輸入圖像並輸出欲偵測之物體區域的位置或大小，亦可輸入圖像並輸出說明該圖像的文本(text)，亦可輸入摻雜有雜訊(noise)的圖像，並輸出去除雜訊後的圖像，亦可輸入圖像與文本，依據文本來轉換圖像。
此外，亦可輸入聲音並輸出音素或單字，亦可輸入聲音並預測下一次發聲的單字、亦可輸入聲音並輸出相對於其的適切的回應聲音，亦可輸入文本並輸出其他語言的文本，亦可輸入時間系列並預測未來的時間系列，亦可輸入時間系列並推測時間系列的狀態。
在上述實施形態1至4中，雖已列舉了利用藉由使用與資料對應之教師訊號之有教師的學習而學習的模型來推論的系統例，但亦可為利用藉由使用無教師訊號之資料的無教師的學習或有半個教師的學習而學習的模型來推論的系統。
在上述實施形態1至4中，雖已列舉了推論裝置被未圖示的資料輸入裝置賦予圖像資料，而算出第1中間層在各節點之活性度之例，但亦可設為未圖示的資料輸入裝置，算出第1中間層在各節點的活性度，且由推論裝置算出第2及第3中間層及輸出層在各節點的活性度。資料輸入裝置之輸出之次元數較輸入之次元數為少時，資料輸入裝置將亦兼具資料壓縮的功 能。
在上述實施形態1至4中，雖已列舉了對於各節點僅算出一次活性度之例，但亦可如貝氏網路的機率傳播法般在節點間重複進行數次資訊交換而提升推論精確度。
實施形態6
在上述實施形態1至4中，雖已列舉了在除輸入層以外的所有層中保持枝連接的索引之例作為推論裝置所應用的類神經網路，但亦可為僅一部分的層保持枝連接的索引，而在其他層中則為與通常的類神經網路相同的枝連接者。
在此，所謂枝連接的索引，係為如第7圖所示的索引，且為包含節線權重或偏權值的概念。
此外，所謂與通常的類神經網路相同的枝連接，係指與連接目的地之層中之所有節點連接的枝連接(全連接層的枝連接)，還指與連接目的地之層中之某節點及該節點之周邊節點連接的摺積層或池化層等之公知的類神經網路的枝連接。
第9圖係顯示將賦予至輸入層之圖像資料識別為10種層級的類神經網路之一例的說明圖。
在第9圖之例中，係在輸入層與輸出層之間連接有5個中間層，亦即第1中間層、第2中間層、第3中間層、第4中間層及第5中間層。
此外，在第9圖之例中，從輸入層至第1中間層為摺積層31、從第1中間層至第2中間層為池化層32、從第2中間層至第3中間層為摺積層33、從第3中間層至第4中間層為池化層34、從第4中間層至第5中間層為上述實施形態1至4中所示 之保持索引的層35、從第5中間層至輸出層為全連接層36。
因此，第5中間層中的各節點，係與第7圖所示之第1中間層同樣地，保持有顯示第4中間層中之連接來源的節點的索引、及與該連接對應之節線權重及偏權值。
例如，若被賦予至輸入層的圖像資料為縱60×橫60像素的圖像資料，則在第9圖的類神經網路中，需要具有3600個(=60×60×1個)節點的輸入層。
此時，例如，摺積層31從輸入層往第1中間層的過濾大小(filter size)為5×5×1、在該摺積層31的映射數為100、從第1中間層往第2中間層的池化層32及從第3中間層往第4中間層的池化層34為過濾大小2×2×1的最大值池化的情形下，第1中間層的大小為56×56×100(=(60-5+1)×(60-5+1)×100)、第2中間層的大小為28×28×100(=(56/2)×(56/2)×100)。
此外，第3中間層的大小為24×24×200(=(28-5+1)×(28-5+1)×200)、第4中間層的大小為12×12×200(=(24/2)×(24/2)×200)、第5中間層的大小為1×1×1000、輸出層的節點數為1×1×10。
另外，例如使用ReLU(Rectified Linear Unit，修正線性單元)，作為將資訊從輸入層傳播至第1中間層時計算傳播值的活性化函數、將資訊從第2中間層傳播至第3中間層時計算傳播值的活性化函數、將資訊從第4中間層傳播至第5中間層時計算傳播值的活性化函數，且例如使用屬於標準化指數函數的Softmax函數，作為將資訊從第5中間層傳播至輸出 層時計算傳播值的活性化函數。
在第9圖的類神經網路中，係可藉由從輸入層至第4中間層的摺積層31、33與池化層32、34，對所輸入之圖像的位置變化，穩健地(robust)抽出圖像資料的特徵量。
此外，藉由保持第4中間層至第5中間層之索引的層，可與上述實施形態1至4同樣地，大幅地削減進行推論時的計算量及記憶體量。
在本實施形態6中，雖顯示了圖像資料被賦予至輸入層之例，但被賦予至輸入層的資料不限定於圖像資料，例如亦可為藉由感測器所觀測之資料的感測器訊號、聲音或文本等的資料等。
此外，在本實施形態6中，雖顯示了將被賦予至輸入層的圖像資料識別為10種層級之例，但亦可設為藉由變更構成了類神經網路的輸出層，來進行識別圖像資料之層級之推論以外的推論。
例如，亦可設為進行去除圖像資料之雜訊的去除雜訊(denoising)、回歸預測或似真性算出等的推論。
此外，亦可配合推論的目的，改變各層的節點數或過濾大小。
在第9圖的類神經網路中，雖顯示了以摺積層31、池化層32、摺積層33、池化層34、保持索引的層35、全連接層36的順序進行枝連接之例，但上述實施形態1至4所示之保持索引的層只要有1個連接即可，亦可為以上述順序以外的順序進行枝連接者。此外，亦可為未連接有池化層32、34 者。
實施形態7
在實施形態1至6中，雖已列舉了推論裝置所應用之類神經網路為未構成有向迴路的前饋(feed forward)類神經網路(FFNN)之例，但亦可為推論裝置應用網路的一部分構成有向迴路的遞迴類神經網路(RNN)，且該遞迴類神經網路之一部分的層，為上述實施形態1至4所示之保持索引的層者。
第10圖係顯示在從輸入層至第1中間層、從第1中間層至第2中間層(脈絡層)、從第2中間層(脈絡層)至第1中間層、從第1中間層至輸出層具有枝連接的遞迴類神經網路(RNN)之艾爾曼網路的說明圖。
在第10圖的艾爾曼網路中，係設為第2中間層(脈絡層)的節點數與第1中間層的節點數相等者。
第11圖係顯示本發明之實施形態7之推論裝置的構成圖，在第11圖中，與第1圖相同的符號係顯示相同或相等部分，因此說明從略。
屬於中間層活性度算出部的第2中間層活性度算出部41係藉由例如安裝有CPU的半導體積體電路、或以單晶片微電腦等所構成的中間層活性度算出電路13而實現者，其係實施複製第1中間層之各節點的活性度作為第2中間層(脈絡層)之各節點的活性度的處理。
在本實施形態7中，雖假設了第2中間層活性度算出部41複製第1中間層之各節點的活性度作為第2中間層(脈絡層)之各節點的活性度之例，但此僅係一例，例如亦可設為與輸入 層活性度算出部1同樣地，藉由算式(1)而算出第2中間層(脈絡層)之各節點的活性度。
屬於中間層記憶部的第1中間層記憶部42係例如為藉由以RAM或硬碟等的記憶媒體所構成的中間層記憶裝置12而實現者，其係記憶有顯示第1中間層之各節點與第2中間層(脈絡層)之各節點之連接關係的索引、連接了第1中間層之節點與第2中間層之節點的各節線的權重、及被賦予至第1中間層之各節點的偏權值。
屬於中間層活性度算出部的第1中間層活性度算出部43係藉由例如安裝有CPU的半導體積體電路、或以單晶片微電腦所構成的中間層活性度算出電路13而實現者，其係實施參照第1中間層記憶部42中所記憶的索引，從藉由第2中間層活性度算出部41所求出之第2中間層(脈絡層)在各節點的活性度與第1中間層記憶部42中所記憶之各節線的權重及偏權值之中，取得與第1中間層之各節點具有連接關係之第2中間層(脈絡層)在各節點的活性度、各節線的權重、及偏權值，且使用該所取得之第2中間層(脈絡層)在各節點的活性度、各節線的權重、及偏權值，而算出第1中間層在各節點的活性度的處理。
在第11圖中，雖假設了屬於推論裝置之構成要素的輸入層活性度算出部1、第1中間記憶部2、第1中間層活性度算出部5、第2中間層活性度算出部41、第1中間層記憶部42、第1中間層活性度算出部43、輸出層記憶部8及輸出層活性度算出部9的各者為由專用的硬體所構成者，但推論裝 置亦可為由電腦所構成。
推論裝置為由電腦所構成時，只要設為將第1中間記憶部2、第1中間層記憶部42及輸出層記憶部8構成於第3圖所示之電腦的記憶體21上，並且將記述有輸入層活性度算出部1、第1中間層活性度算出部5、第2中間層活性度算出部41、第1中間層活性度算出部43及輸出層活性度算出部9之處理內容的程式儲存於第3圖所示之電腦的記憶體21，且由該電腦的處理器22執行儲存於記憶體21的程式即可。
接著說明動作。
然而，由於第2中間層活性度算出部41、第1中間層記憶部42及第1中間層活性度算出部43以外與上述實施形態1相同，因此在此僅就第2中間層活性度算出部41、第1中間層記憶部42及第1中間層活性度算出部43進行說明。
第2中間層活性度算出部41係當第1中間層活性度算出部5與上述實施形態1同樣地，使用藉由輸入層活性度算出部1所算出之輸入層之各節點的活性度，而算出第1中間層之各節點的活性度A1M時，複製第1中間層之各節點的活性度A1M作為第2中間層(脈絡層)之各節點的活性度A2M。
藉此，在某時刻t中之第2中間層之各節點的活性度A2M，即與時刻t中之第1中間層之各節點的活性度A1M相同。
第1中間層活性度算出部43係當第2中間層活性度算出部41求出第2中間層(脈絡層)之各節點的活性度A2M時，算出第1中間層之各節點的活性度A’1M。
藉由第1中間層活性度算出部43算出第1中間層在各節 點之活性度A’1M的方法，係與藉由第1中間層活性度算出部5算出第1中間層在各節點之活性度A1M的方法相同。
亦即，第1中間層活性度算出部43係參照第1中間層記憶部42中所記憶的索引，依第1中間層的每一節點，確認與該節點連接之第2中間層(脈絡層)的各節點，而取得第2中間層(脈絡層)在各節點的活性度A2M。
此外，第1中間層活性度算出部43係參照第1中間層記憶部42中所記憶的索引，依第1中間層的每一節點，確認與該節點連接之節線(與第2中間層之節點連接的節線)，而從第1中間層記憶部42取得該節線的權重w。
此外，第1中間層活性度算出部43係依第1中間層的每一節點，從第1中間層記憶部42取得該節點的偏權值B1M。
第1中間層活性度算出部43係當依第1中間層的每一節點，取得第2中間層(脈絡層)在各節點的活性度A2M、節線的權重w、及偏權值B1M時，即以與第1中間層活性度算出部5相同的計算方法，使用活性度A2M、節線的權重w、及偏權值B1M，而算出第1中間層之每一節點的活性度A’1M。
輸出層活性度算出部9係當第1中間層活性度算出部43算出第1中間層在各節點的活性度A’1M時，即使用第1中間層在各節點的活性度A’1M，而算出輸出層在各節點的活性度AOUT。
藉由輸出層活性度算出部9算出輸出層在各節點的活性度AOUT的方法係與上述實施形態1相同。
由以上所述可明瞭，依據本實施形態7，由於係構成為第1中間層活性度算出部43參照第1中間層記憶部42中所記憶的索引，而從藉由第2中間層活性度算出部41所求出之第2中間層(脈絡層)在各節點的活性度與第1中間層記憶部42中所記憶之各節線的權重及偏權值之中，取得與第1中間層之各節點具有連接關係之第2中間層(脈絡層)在各節點的活性度、各節線的權重、及偏權值，且使用該所取得之第2中間層(脈絡層)在各節點的活性度、各節線的權重、及偏權值，而算出第1中間層在各節點的活性度，因此即使應用網路之一部分構成有向迴路的遞迴類神經網路(RNN)時，亦可達成可削減進行推論時之計算量及記憶體量的效果。
亦即，在第1中間層活性度算出部43中，只要僅就與第1中間層的各節點具有連接關係之第2中間層(脈絡層)的各節點進行計算即可，因此可大幅地削減進行推論時的計算量及記憶體量。
在本實施形態7中，雖列舉了推論裝置所應用之遞迴類神經網路(RNN)為艾爾曼網路之例，但此僅係一例，例如亦可為應用Jordan Network、或具有LSTM(Long Short Term Memory，長期短期記憶)區塊的遞迴類神經網路、階層型的遞迴類神經網路、雙向的遞迴類神經網路、連續時間的遞迴類神經網路等者。
然而，在本實施形態7中，係設為應用任何的遞迴類神經網路時，均在一部分的層保持枝連接的索引者。
實施形態8
在上述實施形態1至7中，雖列舉了相同層的節點彼此的枝連接或無自我連接的前饋類神經網路(FFNN)或遞迴類神經網路(RNN)之例作為推論裝置所應用的類神經網路，但亦可設為應用相同層之節點彼此的枝連接、或連接來源節點與連接目的地節點為相同之節點的自我連接所具有的前饋類神經網路(FFNN)或遞迴類神經網路(RNN)。此外，亦可設為應用具有跳過層的連接的前饋類神經網路(FFNN)或遞迴類神經網路(RNN)。
第12圖係顯示在中間層內存在節點彼此的枝連接或自我連接，並且存在從輸入層跳過中間層而連接至輸出層之枝的類神經網路的Echo State Network(回聲狀態網路)之例的說明圖。
在第12圖中，中間層的節點彼此的枝連接或自我連接，係可視為從中間層往中間層的枝連接，因此Echo State Network，以層單位而言可表示為第13圖所示。
第14圖係顯示本發明之實施形態8之推論裝置的構成圖，在第14圖中，與第1圖相同的符號，係顯示相同或相等部分，因此說明從略。
中間層記憶部51係藉由例如以RAM或硬碟等之記憶媒體所構成的中間層記憶裝置12而實現者，其係記憶有顯示中間層之各節點與輸入層或輸出層之各節點之連接關係的索引、連接了中間層之節點與輸入層或輸出層之節點的各節線的權重、及被賦予至中間層之各節點的偏權值。
此外，中間層記憶部51係記憶有顯示中間層之節點彼此 的枝連接或自我連接之關係的索引、中間層之節點彼此的枝連接或自我連接之各節線的權重、及被賦予至中間層之各節點的偏權值。
中間層活性度算出部52係藉由例如以安裝有CPU的半導體積體電路、或是單晶片微電腦等所構成的中間層活性度算出電路13而實現者，其係與第1圖的第1中間層活性度算出部5同樣地，實施參照中間層記憶部51中所記憶的索引，從藉由輸入層活性度算出部1所算出之輸入層在各節點的活性度或藉由輸出層活性度算出部54所算出之輸出層在各節點的活性度與中間層記憶部51中所記憶之各節線的權重及偏權值之中，取得與中間層之各節點具有連接關係之輸入層或輸出層在各節點的活性度、各節線的權重、及偏權值，且使用該所取得之輸入層或輸出層在各節點的活性度、各節線的權重、及偏權值，而算出中間層在各節點的活性度的處理。
此外，實施中間層活性度算出部52參照中間層記憶部51中所記憶的索引，而從中間層中之已算出之在各節點的活性度與中間層記憶部51中所記憶之各節線的權重及偏權值之中，取得與中間層中之連接目的地之各節點具有連接關係之中間層中之連接來源在各節點的活性度、各節線的權重、及偏權值，且使用該所取得之中間層中之連接來源在各節點的活性度、各節線的權重、及偏權值，而算出中間層中之連接目的地在各節點的活性度的處理。
在此，所謂中間層中之連接目的地的節點，係指與中間層中之其他節點連接的節點、或是，中間層中，與自我的節點連 接的節點。
此外，所謂中間層中之連接來源的節點，係指與連接目的地之節點連接之中間層中的其他節點，或是，中間層中之自我連接的節點。
輸出層記憶部53係藉由例如以RAM或硬碟等之記憶媒體所構成的輸出層記憶裝置14而實現者，其係記憶有輸出層之各節點與輸入層或中間層之各節點的連接關係的索引(連接資訊)。
此外，只要輸出層的節點與輸入層的節點有連接，輸出層記憶部53就記憶有連接了輸出層之節點與輸入層之節點之各節線的權重、及被賦予至與輸入層之節點連接之輸出層之節點的偏權值。
此外，只要輸出層的節點與中間層的節點有連接，輸出層記憶部53就記憶有連接了輸出層之節點與中間層之節點之各節線的權重、及被賦予至與中間層之節點連接之輸出層之節點的偏權值。
輸出層活性度算出部54係藉由例如以安裝有CPU的半導體積體電路、或是單晶片微電腦等所構成的輸出層活性度算出電路15而實現者，其係實施只要與輸出層之節點連接的節點為輸入層的節點，就從藉由輸入層活性度算出部1所算出之輸入層在各節點的活性度與輸出層記憶部53中所記憶之各節線的權重及偏權值之中，取得與輸出層之各節點具有連接關係之輸入層在各節點的活性度、各節線的權重、及偏權值，且只要與輸出層之節點連接的節點為中間層的節點，就從藉由 中間層活性度算出部52所算出之中間層在節點的活性度與輸出層記憶部53中所記憶之各節線的權重及偏權值之中，取得與輸出層之各節點具有連接關係之中間層在節點的活性度、各節線的權重、及偏權值的處理。
此外，實施輸出層活性度算出部54使用所取得之輸入層或中間層在節點的活性度、各節線的權重、及偏權值，而算出輸出層在各節點的活性度的處理。
在第14圖中，雖假設了屬於推論裝置之構成要素的輸入層活性度算出部1、中間層記憶部51、中間層活性度算出部52、輸出層記憶部53及輸出層活性度算出部54的各者為由專用的硬體所構成者，但推論裝置亦可為由電腦所構成。
推論裝置為由電腦所構成時，只要將中間層記憶部51及輸出層記憶部53構成於第3圖所示之電腦的記憶體21上，並且將記述有輸入層活性度算出部1、中間層活性度算出部52及輸出層活性度算出部54之處理內容的程式儲存於第3圖所示之電腦的記憶體21，且由該電腦的處理器22執行儲存於記憶體21的程式即可。
接著說明動作。
中間層活性度算出部52係當輸入層活性度算出部1與上述實施形態1同樣地算出輸入層之各節點的活性度時，參照中間層記憶部51中所記憶的索引，而確認中間層之各節點中之與輸入層的節點具有連接關係的節點，並且確認與輸出層之節點具有連接關係的節點。
中間層活性度算出部52針對中間層之各節點中之與輸入 層之節點具有連接關係之節點的活性度，係與第1圖之第1中間層活性度算出部5同樣地，使用輸入層之各節點的活性度而算出。
此外，針對中間層之各節點中之與輸出層之節點具有連接關係之節點的活性度，係使用藉由輸出層活性度算出部54所算出之輸出層的活性度而算出。
藉由中間層活性度算出部52算出與輸出層之節點具有連接關係之節點的活性度的方法，係與算出與輸入層之節點具有連接關係之節點的活性度的方法相同，只有連接有活性度算出對象的節點的節點為輸出層的節點而非輸入層的節點這一點有所不同。
中間層活性度算出部52係當算出與輸入層或輸出層之節點具有連接關係之中間層之節點的活性度時，參照中間層記憶部51中所記憶的索引，而確認中間層之各節點中之與連接目的地之節點(與中間層中之其他節點連接的節點，或是，中間層中，與自我的節點連接的節點)具有連接關係之連接來源的節點。
中間層活性度算出部52係當確認與連接目的地之節點具有連接關係之連接來源的節點時，從中間層中之已算出之在各節點的活性度、中間層記憶部51中所記憶之各節線的權重、及偏權值之中，取得與中間層中之連接目的地之各節點具有連接關係之中間層中之連接來源在各節點的活性度、各節線的權重、及偏權值。
中間層中之連接來源的節點，若為與輸入層或輸出層之節 點具有連接關係之中間層的節點，則如先前所說明為已經算出。因此，只要從接近與輸入層或輸出層之節點具有連接關係之中間層之節點的節點，依序設為活性度算出對象的節點(連接目的地的節點)即可。
中間層活性度算出部52係使用該所取得之中間層中之連接來源在各節點的活性度、各節線的權重、及偏權值，而算出中間層中之連接目的地在各節點的活性度。
藉由中間層活性度算出部52算出中間層中之連接目的地在節點的活性度的方法，係與算出與輸入層之節點具有連接關係之節點的活性度的方法相同，只有連接來源的節點為中間層的節點而非輸入層的節點這一點有所不同。
輸出層活性度算出部54係參照輸出層記憶部53中所記憶的索引，而確認連接有輸出層之各節點的輸入層或中間層的節點。
與輸出層之節點連接的節點若為輸入層的節點，輸出層活性度算出部54就從藉由輸入層活性度算出部1所算出之輸入層在各節點的活性度、與輸出層記憶部53中所記憶之各節線的權重及偏權值之中，取得與輸出層之各節點具有連接關係之輸入層在各節點的活性度、各節線的權重、及偏權值。另一方面，與輸出層之節點連接的節點若為中間層的節點，就從藉由中間層活性度算出部52所算出之中間層在節點的活性度、與輸出層記憶部53中所記憶之各節線的權重及偏權值之中，取得與輸出層之各節點具有連接關係之中間層在節點的活性度、各節線的權重、及偏權值。
輸出層活性度算出部54係當取得輸入層或中間層在節點的活性度、各節線的權重、及偏權值時，就使用該所取得之輸入層或中間層在節點的活性度、各節線的權重、及偏權值，而算出輸出層在各節點的活性度。
由以上所述可明瞭，依據本實施形態8，由於係構成為中間層活性度算出部52參照中間層記憶部51中所記憶的索引，而從中間層中之已算出之在各節點的活性度與中間層記憶部51中所記憶之各節線的權重及偏權值之中，取得與中間層中之連接目的地之各節點具有連接關係之中間層中之連接來源在各節點的活性度、各節線的權重、及偏權值，且使用該所取得之中間層中之連接來源在各節點的活性度、各節線的權重、及偏權值，而算出中間層中之連接目的地在各節點的活性度，因此即使是應用在中間層內存在節點彼此的枝連接或自我連接的類神經網路時，亦可達成削減進行推論時之計算量及記憶體量的效果。
此外，依據本實施形態8，係構成為與輸出層之節點連接的節點若為輸入層的節點，輸出層活性度算出部54就從藉由輸入層活性度算出部1所算出之輸入層在各節點的活性度與輸出層記憶部53中所記憶之各節線的權重及偏權值之中，取得與輸出層之各節點具有連接關係之輸入層在各節點的活性度、各節線的權重、及偏權值，且使用該所取得之輸入層在節點的活性度、各節線的權重、及偏權值，而算出輸出層在各節點的活性度，因此即使應用存在從輸入層跳過中間層而連接至輸出層之枝的類神經網路時，也可達成削減進行推論時之 計算量及記憶體量的效果。
在本實施形態8中，雖列舉了推論裝置所應用之類神經網路為Echo State Network之例，但此僅係一例，例如亦可為應用全結合之遞迴類神經網路、何普菲網路、波茲曼機等者。
然而，在本實施形態8中，係設為應用任何的類神經網路時，均在一部分的層保持枝連接的索引者。
實施形態9
在上述實施形態1至6中，雖列舉了推論裝置所應用之類神經網路為前饋類神經網路(FFNN)之例，而在上述實施形態7、8中，則列舉了推論裝置所應用之類神經網路為遞迴類神經網路(RNN)之例，但此僅係一例，推論裝置亦可為應用下列所示之類神經網路者。然而，係設為應用任何的類神經網路時，均在一部分的層保持枝連接的索引者。
例如，以推論裝置所應用的類神經網路而言，可考慮放射基底函數(Radial Basis Function，RBF)網路、自我組織映射(SOM)、學習向量量化法(Learning Vector Quantization，LVQ)、模組(module)類神經網路、脈衝(spiking)類神經網路、動態類神經網路、串級式(cascade)類神經網路、階層型時間記憶(Hierarchical Temporal Memory，HTM)等之FFNN或RNN以外的類神經網路。
實施形態10
在上述實施形態1至9中，所列舉了推論裝置之學習方法為使用與資料對應之教師訊號的有教師的學習、使用無教師訊 號之資料的無教師的學習、或有一半教師的學習之例，但推論裝置的學習方法亦可為強化學習。
在此，所謂強化學習係為某環境下的代理程序(agent)觀測目前的狀態，且學習用來決定應採取之行動的模型的方法。代理程序係指即使電腦的使用者不進行連續的操作，也自律性地進行資訊蒐集或狀況判斷而執行適當之處理動作的功能。
當代理程序選擇行動時，雖可從環境獲得報酬，但在強化學習中，係學習藉由一連串的行動而可將報酬最大化的方案(policy)。
在強化學習中，係使用表示狀態s之價值的狀態價值函數V(s)、或表示在狀態s時藉由選擇行動a而從環境所獲得之報酬的行動價值函數Q(s,a)，以作為測量目前的狀態、或行動有多佳的指標。以強化學習的運算法(algorithm)而言，係使用Sarsa或Q學習(Q-learning)等的TD(Temporal Difference：時間差分)學習。
推論裝置之學習方法為強化學習時，以狀態s作為輸入，且學習輸出狀態價值函數V(s)或行動價值函數Q(s,a)的類神經網路，而將使用該等進行TD學習。亦即，使用設為在一部分的層保持枝連接之索引的類神經網路，來計算狀態價值函數V(s)或行動價值函數Q(s,a)，而進行強化學習。
另外，本案發明在其發明的範圍內，可進行各實施形態之自由的組合、或各實施形態之任意之構成要素的變形、或是在各實施形態中省略任意的構成要素。
[產業上之可利用性]
本發明之推論裝置係適用於有削減進行推論時之計算量及記憶體量之需求較高者。
1‧‧‧輸入層活性度算出部
2‧‧‧第1中間記憶部
3‧‧‧第2中間層記憶部
4‧‧‧第3中間層記憶部
5‧‧‧第1中間層活性度算出部
6‧‧‧第2中間層活性度算出部
7‧‧‧第3中間層活性度算出部
8‧‧‧輸出層記憶部
9‧‧‧輸出層活性度算出部

Claims (19)

  1. 一種推論裝置，包括：輸入層活性度算出部，當資料被賦予至構成了類神經網路之輸入層的各節點時，即從前述資料算出前述輸入層在各節點的活性度；中間層記憶部，記憶有連接了構成了前述類神經網路之中間層的節點與前述輸入層之節點的各節線的權重；中間層活性度算出部，從經由前述輸入層活性度算出部所算出之輸入層在各節點的活性度及前述中間層記憶部中所記憶之各節線的權重之中，取得與前述中間層之各節點具有連接關係的前述輸入層在各節點的活性度與各節線的權重，且使用前述所取得之輸入層在各節點的活性度與各節線的權重，而算出前述中間層在各節點的活性度；及輸出層活性度算出部，使用經由前述中間層活性度算出部所算出之中間層在各節點的活性度，而算出構成了前述類神經網路之輸出層在各節點的活性度。
  2. 根據申請專利範圍第1項之推論裝置，存在複數個構成了前述類神經網路的中間層；前述中間層記憶部係依構成了前述類神經網路的每一中間層，只要該中間層的節點與前述輸入層的節點有連接，就記憶連接了該中間層之節點與前述輸入層之節點的各節線的權重，只要該中間層的節點與其他中間層的節點有連接，就記憶連接了該中間層之節點與其他中間層之節點的各節線的權重； 若與構成了前述類神經網路之中間層的節點連接的節點為前述輸入層的節點，前述中間層活性度算出部就從經由前述輸入層活性度算出部所算出之輸入層在各節點的活性度及前述中間層記憶部中所記憶的各節線的權重之中，取得與構成了前述類神經網路之中間層的各節點具有連接關係的前述輸入層在各節點的活性度與各節線的權重，而若與構成了前述類神經網路之中間層的節點連接的節點為其他中間層的節點，就從其他中間層在節點的活性度及前述中間層記憶部中所記憶之各節線的權重之中，取得與構成了前述類神經網路之中間層的各節點具有連接關係的其他中間層在各節點的活性度與各節線的權重，且使用前述所取得之輸入層或其他中間層在節點的活性度與各節線的權重，而算出構成了前述類神經網路之中間層在各節點的活性度。
  3. 根據申請專利範圍第1項之推論裝置，包括輸出層記憶部，該輸出層記憶部係記憶有連接了前述輸出層之節點與前述中間層之節點的各節線的權重；前述輸出層活性度算出部係從經由前述中間層活性度算出部所算出之中間層在各節點的活性度及前述輸出層記憶部中所記憶的各節線的權重之中，取得與前述輸出層之各節點具有連接關係之前述中間層在各節點的活性度與各節線的權重，且使用前述所取得之中間層在各節點的活性度與各節線的權重，而算出前述輸出層在各節點的活性度。
  4. 根據申請專利範圍第1項之推論裝置，係包括輸出層記憶 部，該輸出層記憶部只要前述輸出層的節點與前述輸入層的節點有連接，就記憶連接了前述輸出層之節點與前述輸入層之節點的各節線的權重，只要前述輸出層的節點與前述中間層的節點有連接，就記憶連接了前述輸出層之節點與前述中間層之節點的各節線的權重；若與前述輸出層的節點連接的節點為前述輸入層的節點，前述輸出層活性度算出部就從經由前述輸入層活性度算出部所算出之輸入層在各節點的活性度及前述輸出層記憶部中所記憶的各節線的權重之中，取得與前述輸出層的各節點具有連接關係的前述輸入層在各節點的活性度與各節線的權重，而若與前述輸出層的節點連接的節點為前述中間層的節點，就從經由前述中間層活性度算出部所算出之中間層在節點的活性度及前述輸出層記憶部中所記憶之各節線的權重之中，取得與前述輸出層的各節點具有連接關係的中間層在節點的活性度與各節線的權重，且使用前述所取得之輸入層或中間層在節點的活性度與各節線的權重，而算出前述輸出層在各節點的活性度。
  5. 根據申請專利範圍第1項之推論裝置，其中前述中間層記憶部係除前述各節線的權重外，還記憶有賦予至前述中間層之各節點的偏權值；前述中間層活性度算出部係使用前述輸入層在各節點的活性度、各節線的權重、及前述偏權值，而算出前述中間層在各節點的活性度。
  6. 根據申請專利範圍第5項之推論裝置，其中前述中間層活 性度算出部係依前述中間層的每一節點，實施與該節點具有連接關係之前述輸入層在各節點的活性度、與連接了前述中間層之該節點與前述輸入層之各節點的各節線的權重的積和運算，且將前述積和運算的運算結果與前述中間層的該節點的偏權值進行加總，再使用該加總後的結果作為前述類神經網路之活性化函數的引數，藉此而算出前述活性化函數的函數值作為前述中間層之該節點的活性度。
  7. 根據申請專利範圍第3項之推論裝置，其中前述輸出層記憶部係除前述各節線的權重外，還記憶有賦予至前述輸出層之各節點的偏權值；前述輸出層活性度算出部係使用前述中間層在各節點的活性度、各節線的權重、及前述偏權值，而算出前述輸出層在各節點的活性度。
  8. 根據申請專利範圍第7項之推論裝置，其中前述輸出層活性度算出部係依前述輸出層的每一節點，實施與該節點具有連接關係之前述中間層在各節點的活性度、與連接了前述輸出層之該節點與前述中間層之各節點的各節線的權重的積和運算，且將前述積和運算的運算結果與前述輸出層的該節點的偏權值進行加總，再使用該加總後的結果作為前述類神經網路之活性化函數的引數，藉此而算出前述活性化函數的函數值作為前述輸出層之該節點的活性度。
  9. 根據申請專利範圍第1項之推論裝置，其中連接了構成了前述類神經網路的輸入層及中間層之節點的複數個節線、或是連接了構成了前述類神經網路的中間層及輸出層之節 點的複數個節線係構成迴路，而前述迴路係以6條以上的節線而形成。
  10. 根據申請專利範圍第2項之推論裝置，其中連接了構成了前述類神經網路的複數個中間層之節點的複數個節線係構成迴路，而前述迴路係以6條以上的節線而形成。
  11. 根據申請專利範圍第1項之推論裝置，其中構成了前述類神經網路之中間層的各節點，係與前述輸入層中之所有節點中之被隨機地選擇之一部分的節點連接；構成了前述類神經網路之輸出層的各節點，係與前述中間層中之所有節點中之被隨機地選擇之一部分的節點連接。
  12. 根據申請專利範圍第2項之推論裝置，其中構成了前述類神經網路之中間層的各節點，係與前述輸入層或其他中間層中之所有節點中之被隨機地選擇之一部分的節點連接。
  13. 根據申請專利範圍第1項之推論裝置，其中構成了前述類神經網路之中間層的各節點，係與前述輸入層中之所有節點中之未鄰接之一部分的節點連接；構成了前述類神經網路之輸出層的各節點，係與前述中間層中之所有節點中之未鄰接之一部分的節點連接。
  14. 根據申請專利範圍第2項之推論裝置，其中構成了前述類神經網路之複數個中間層的各節點，係與前述輸入層或他中間層中之所有節點中之未鄰接之一部分的節點連接。
  15. 根據申請專利範圍第1項之推論裝置，其中構成了前述類神經網路之中間層的平均各節點之與前述輸入層之節點的平均連接條數為50條以下； 構成了前述類神經網路之輸出層的平均各節點之與前述中間層之節點的平均連接條數為50條以下。
  16. 根據申請專利範圍第2項之推論裝置，其中構成了前述類神經網路之複數個中間層的平均各節點之與前述輸入層或其他中間層之節點的平均連接條數為50條以下。
  17. 根據申請專利範圍第1項之推論裝置，其中構成了前述類神經網路之中間層的平均各節點之與前述輸入層之節點的平均連接條數為前述輸入層之節點的個數的10分之1以下；構成了前述類神經網路之輸出層的平均各節點之與前述中間層之節點的平均連接條數為前述中間層之節點的個數的10分之1以下。
  18. 根據申請專利範圍第2項之推論裝置，其中構成了前述類神經網路之複數個中間層的平均各節點與前述輸入層或其他中間層之節點的平均連接條數為前述輸入層或其他中間層之節點的個數的10分之1以下。
  19. 一種推論方法，包括下列步驟：中間層記憶部係記憶有連接了構成了類神經網路之中間層的節點與輸入層之節點的各節線的權重；輸入層活性度算出部係當資料被賦予至構成了前述類神經網路之輸入層的各節點時，即從前述資料算出前述輸入層在各節點的活性度；中間層活性度算出部係從經由前述輸入層活性度算出部所算出之輸入層在各節點的活性度及前述中間層記憶部中所 記憶之各節線的權重之中，取得與前述中間層之各節點具有連接關係的前述輸入層在各節點的活性度與各節線的權重，且使用前述所取得之輸入層在各節點的活性度與各節線的權重，而算出前述中間層在各節點的活性度；及輸出層活性度算出部係使用經由前述中間層活性度算出部所算出之中間層在各節點的活性度，而算出構成了前述類神經網路之輸出層在各節點的活性度。
TW104143515A 2015-06-03 2015-12-24 Inference Device and Inference Method TWI584206B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015113440 2015-06-03
PCT/JP2015/074720 WO2016194248A1 (ja) 2015-06-03 2015-08-31 推論装置及び推論方法

Publications (2)

Publication Number Publication Date
TW201643779A TW201643779A (zh) 2016-12-16
TWI584206B true TWI584206B (zh) 2017-05-21

Family

ID=57440303

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104143515A TWI584206B (zh) 2015-06-03 2015-12-24 Inference Device and Inference Method

Country Status (8)

Country Link
US (1) US20180053085A1 (zh)
EP (1) EP3306534B1 (zh)
JP (1) JP6054005B1 (zh)
KR (1) KR102084930B1 (zh)
CN (1) CN107615306A (zh)
ES (1) ES2883376T3 (zh)
TW (1) TWI584206B (zh)
WO (1) WO2016194248A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI731459B (zh) * 2018-12-21 2021-06-21 日商日立全球先端科技股份有限公司 圖像辨識裝置及方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10140979B2 (en) * 2016-08-10 2018-11-27 Conduent Business Services, Llc Modeling a class posterior probability of context dependent phonemes in a speech recognition system
US10748057B1 (en) * 2016-09-21 2020-08-18 X Development Llc Neural network modules
US10558870B2 (en) 2016-11-08 2020-02-11 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
JP7235269B2 (ja) * 2017-03-13 2023-03-08 日本電気株式会社 データ項目名推定装置、データ項目名推定プログラム、及びデータ項目名推定方法
TWI643137B (zh) * 2017-04-21 2018-12-01 潘品睿 物件辨識方法及物件辨識系統
EP3682376A1 (en) * 2017-09-15 2020-07-22 Saudi Arabian Oil Company Inferring petrophysical properties of hydrocarbon reservoirs using a neural network
WO2019102624A1 (ja) 2017-11-27 2019-05-31 三菱電機株式会社 準同型推論装置、準同型推論方法、準同型推論プログラム及び秘匿情報処理システム
JP6919997B2 (ja) * 2018-02-06 2021-08-18 株式会社日立製作所 制御装置、制御方法、および制御プログラム
JP7082795B2 (ja) * 2018-02-22 2022-06-09 富士電子工業株式会社 熱処理システム
CN111512325A (zh) * 2018-02-23 2020-08-07 英特尔公司 用于利用尖峰神经网络生成贝叶斯推断的方法、设备和系统
US11593068B2 (en) * 2018-02-27 2023-02-28 New York University System, method, and apparatus for recurrent neural networks
US11169514B2 (en) * 2018-08-27 2021-11-09 Nec Corporation Unsupervised anomaly detection, diagnosis, and correction in multivariate time series data
US11423284B2 (en) * 2018-09-07 2022-08-23 Black Sesame Technologies, Inc Subgraph tile fusion in a convolutional neural network
EP3857458A1 (en) * 2018-10-30 2021-08-04 Google LLC Quantizing trained long short-term memory neural networks
JP7167668B2 (ja) * 2018-11-30 2022-11-09 コニカミノルタ株式会社 学習方法、学習装置、プログラムおよび記録媒体
KR102251961B1 (ko) * 2019-01-15 2021-05-21 한국과학기술원 양방향 예측이 가능한 양방향 계층형 시간적 메모리 방법 및 장치
JP7271216B2 (ja) * 2019-02-19 2023-05-11 株式会社東芝 情報処理装置、情報処理方法、およびプログラム
US10831691B1 (en) 2019-05-24 2020-11-10 International Business Machines Corporation Method for implementing processing elements in a chip card
TWI704578B (zh) * 2019-06-19 2020-09-11 中華電信股份有限公司 一種疾病風險評估之系統與方法
US11443137B2 (en) 2019-07-31 2022-09-13 Rohde & Schwarz Gmbh & Co. Kg Method and apparatus for detecting signal features
JP2021043791A (ja) 2019-09-12 2021-03-18 富士通株式会社 リザーバコンピュータ、リザーバ設計方法及びリザーバ設計プログラム
CN114467106A (zh) * 2019-10-01 2022-05-10 维萨国际服务协会 图形学习和自动行为协调平台
US11586705B2 (en) 2019-12-02 2023-02-21 International Business Machines Corporation Deep contour-correlated forecasting
US20210192314A1 (en) * 2019-12-18 2021-06-24 Nvidia Corporation Api for recurrent neural networks
EP3910358A1 (en) * 2020-05-15 2021-11-17 Koninklijke Philips N.V. Automated adjustment of the undersampling factor
US20230362196A1 (en) * 2022-05-04 2023-11-09 National Tsing Hua University Master policy training method of hierarchical reinforcement learning with asymmetrical policy architecture

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140079297A1 (en) * 2012-09-17 2014-03-20 Saied Tadayon Application of Z-Webs and Z-factors to Analytics, Search Engine, Learning, Recognition, Natural Language, and Other Utilities
US20140201126A1 (en) * 2012-09-15 2014-07-17 Lotfi A. Zadeh Methods and Systems for Applications for Z-numbers
US20150055783A1 (en) * 2013-05-24 2015-02-26 University Of Maryland Statistical modelling, interpolation, measurement and anthropometry based prediction of head-related transfer functions

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02236659A (ja) * 1989-03-09 1990-09-19 Fujitsu Ltd 半導体情報処理装置
JPH0355658A (ja) * 1989-07-25 1991-03-11 Fujitsu Ltd 半導体情報処理装置
JP3111388B2 (ja) * 1991-06-03 2000-11-20 住友大阪セメント株式会社 ニュ−ラルネットワ−クパタ−ン識別装置
JPH0546585A (ja) * 1991-08-19 1993-02-26 Toyoda Mach Works Ltd ニユーラルネツトワークの学習方法
US5355434A (en) * 1991-08-19 1994-10-11 Toyoda Koki Kabushiki Kaisha Method and apparatus for performing learning in a neural network
US6119112A (en) * 1997-11-19 2000-09-12 International Business Machines Corporation Optimum cessation of training in neural networks
JP2002251601A (ja) * 2001-02-22 2002-09-06 Fuji Xerox Co Ltd ニューラルネットワーク処理装置
US7747070B2 (en) * 2005-08-31 2010-06-29 Microsoft Corporation Training convolutional neural networks on graphics processing units

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140201126A1 (en) * 2012-09-15 2014-07-17 Lotfi A. Zadeh Methods and Systems for Applications for Z-numbers
US20140079297A1 (en) * 2012-09-17 2014-03-20 Saied Tadayon Application of Z-Webs and Z-factors to Analytics, Search Engine, Learning, Recognition, Natural Language, and Other Utilities
US20150055783A1 (en) * 2013-05-24 2015-02-26 University Of Maryland Statistical modelling, interpolation, measurement and anthropometry based prediction of head-related transfer functions

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI731459B (zh) * 2018-12-21 2021-06-21 日商日立全球先端科技股份有限公司 圖像辨識裝置及方法

Also Published As

Publication number Publication date
CN107615306A (zh) 2018-01-19
US20180053085A1 (en) 2018-02-22
JPWO2016194248A1 (ja) 2017-06-22
KR20170122241A (ko) 2017-11-03
JP6054005B1 (ja) 2016-12-27
EP3306534A4 (en) 2019-02-06
KR102084930B1 (ko) 2020-03-05
WO2016194248A1 (ja) 2016-12-08
EP3306534B1 (en) 2021-07-21
TW201643779A (zh) 2016-12-16
ES2883376T3 (es) 2021-12-07
EP3306534A1 (en) 2018-04-11

Similar Documents

Publication Publication Date Title
TWI584206B (zh) Inference Device and Inference Method
AU2019200270B2 (en) Concept mask: large-scale segmentation from semantic concepts
JP7470476B2 (ja) 蒸留を用いたそれぞれのターゲット・クラスを有するモデルの統合
JP6608981B2 (ja) 異常セッション感知方法
JP7196218B2 (ja) 画像質問応答方法、装置、コンピュータ装置、媒体及びプログラム
CN109766557B (zh) 一种情感分析方法、装置、存储介质及终端设备
WO2021244249A1 (zh) 一种分类器的训练方法、数据处理方法、系统以及设备
KR102156659B1 (ko) 딥 러닝을 이용한 글로벌 부동산 가격 자동 평가 및 예측 장치 및 그 방법
KR102011788B1 (ko) 계층적 시각 특징을 이용한 시각 질의 응답 장치 및 방법
de Pina et al. Artificial Neural Networks for the analysis of spread⿿ mooring configurations for floating production systems
KR20220047228A (ko) 이미지 분류 모델 생성 방법 및 장치, 전자 기기, 저장 매체, 컴퓨터 프로그램, 노변 장치 및 클라우드 제어 플랫폼
TWI831016B (zh) 機器學習方法、機器學習系統以及非暫態電腦可讀取媒體
WO2019018533A1 (en) NEURO-BAYESIAN ARCHITECTURE FOR THE IMPLEMENTATION OF GENERAL ARTIFICIAL INTELLIGENCE
KR20190141581A (ko) 데이터 예측을 위한 인공신경망을 학습하는 방법 및 장치
EP3882823A1 (en) Method and apparatus with softmax approximation
KR20220155785A (ko) 챗봇 운영 방법 및 장치
WO2023140044A1 (ja) モデル生成方法、モデル生成装置、推論プログラム、及び推論装置
US20230153961A1 (en) Method and apparatus with image deblurring
US20220180201A1 (en) Molecule embedding using graph neural networks and multi-task training
US11868912B2 (en) Multi-device based inference method and apparatus
US20210216863A1 (en) Method and apparatus with neural network distributed processing
CN116719706A (zh) 数据中心中的自动误差预测
EP4365777A1 (en) Method and electronic device with adversarial data augmentation background
US20220300818A1 (en) Structure optimization apparatus, structure optimization method, and computer-readable recording medium
WO2024157507A1 (ja) モデル評価装置、モデル評価方法、プログラム