TWI672644B - 人工神經網路 - Google Patents

人工神經網路 Download PDF

Info

Publication number
TWI672644B
TWI672644B TW107110388A TW107110388A TWI672644B TW I672644 B TWI672644 B TW I672644B TW 107110388 A TW107110388 A TW 107110388A TW 107110388 A TW107110388 A TW 107110388A TW I672644 B TWI672644 B TW I672644B
Authority
TW
Taiwan
Prior art keywords
nodes
node
layer
plane
neural network
Prior art date
Application number
TW107110388A
Other languages
English (en)
Other versions
TW201942806A (zh
Inventor
林忠億
Original Assignee
鴻海精密工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鴻海精密工業股份有限公司 filed Critical 鴻海精密工業股份有限公司
Priority to TW107110388A priority Critical patent/TWI672644B/zh
Priority to US15/950,257 priority patent/US20190303745A1/en
Application granted granted Critical
Publication of TWI672644B publication Critical patent/TWI672644B/zh
Publication of TW201942806A publication Critical patent/TW201942806A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Multi Processors (AREA)
  • Image Analysis (AREA)

Abstract

一種人工神經網路包括：輸入層，包括多個第一節點；隱藏層，包括多個第二節點；輸出層，包括多個第三節點，隱藏層位於輸入層及輸出層間；隱藏層為三維立體結構，分為沿輸入層至輸出層的方向間隔設置的多個平面，第二節點分別位於所述平面，第一節點與位於最鄰近輸入層的一平面的第二節點連接，第三節點與位於最鄰近輸出層的一平面的第二節點連接，位於每一平面的第二節點相互連接，位於每兩個相鄰的平面的第二節點沿所述平面的排列方向連接，使得至少一第二節點朝位於同一平面的其它第二節點及所述平面的排列方向具有六個資料傳輸方向。

Description

人工神經網路
本發明涉及神經網路模型，特別涉及一種人工神經網路。
神經網路是一種模仿生物大腦突觸-神經元結構進行資料處理的計算系統，由分為多層的計算節點和層間的連接組成。每個節點模擬一個神經元，執行某個特定運算，例如啟動函數，節點之間的連接模擬神經突觸，連接對於來自上一層節點輸入的加權值代表了突觸權重。神經網路具有強大的非線性、自我調整資訊處理能力。
人工神經網路中的神經元將來自連接輸入的累加值用啟動函數處理後作為自身的輸出。對應於不同的網路拓撲結構、神經元模型和學習規則，人工神經網路又包括感知器、Hopfield網路、波耳茲曼機等數十種網路模型，可以實現多種多樣的功能，在模式識別、複雜控制、信號處理和最優化等方面都有應用。
然，傳統的人工神經網路所需的計算量較大，計算效率低。而且，每一節點接收輸入後，會向下一層節點提供輸出，由於是單方向的信號傳遞，導致學習效果不強。
有鑑於此，有必要提出一種人工神經網路，以解決上述問題。
本發明提供一種人工神經網路，包括：
一輸入層，包括多個第一節點；
一隱藏層，包括多個第二節點；以及
一輸出層，包括多個第三節點，所述隱藏層位於所述輸入層以及所述輸出層之間；
其中，所述隱藏層呈現為三維立體結構，分為沿所述輸入層至所述輸出層的方向間隔設置的多個平面，所述第二節點分別位於所述平面，所述第一節點與位於最鄰近所述輸入層的其中一平面的多個第二節點連接，所述第三節點與位於最鄰近所述輸出層的其中一平面的多個第二節點連接，位於每一平面的所述第二節點之間相互連接，位於每兩個相鄰的平面的所述第二節點沿所述平面的排列方向連接，使得所述隱藏層中的至少一第二節點朝位於同一平面的其它第二節點以及所述平面的排列方向具有至少六個不同的資料傳輸方向。
對比於傳統的人工神經網路，本發明所述人工神經網路的所述隱藏層的節點總連接數遠小於傳統的人工神經網路的隱藏層的節點總連接數，有利於減少計算量，提高計算效率；再者，由於所述隱藏層中的至少一第二節點可將變換後的資料向至少六個不同的方向傳遞，從而增強學習效果。
請參閱圖1至圖4，為本發明一實施方式中的人工神經網路1的結構示意圖。所述人工神經網路1包括一輸入層10、一輸出層30以及位於所述輸入層10以及所述輸出層30之間的一隱藏層20。
所述輸入層10包括多個第一節點11。所述隱藏層20包括多個第二節點21。所述輸出層30包括多個第三節點31。
所述第一節點11藉由第一通信通道100與所述第二節點21連接。所述第一節點11接收來自一資料庫(圖未示)輸入的資料，將所述資料進行求和及非線性函數變換，並將變換後的資料輸出至所述第二節點21。所述第二節點21之間藉由第二通信通道200相互連接，且藉由第三通信通道300與所述第三節點31連接。所述第二節點21接收所述第一節點11輸出的資料，將所述的資料進行求和及非線性函數變換，並將變換後的資料輸出至其它第二節點21、所述第三節點31以及所述第一節點11。
所述輸入層10以及所述輸出層30可均呈現為二維結構，所述第一節點11以及所述第三節點31分別用於組建所述二維結構。
所述隱藏層20呈現為三維立體結構，所述第二節點21用於組建所述三維立體結構。所述隱藏層20分為沿所述輸入層10至所述輸出層30的方向間隔設置的多個平面201，所述第二節點21分別位於所述平面201。所述第一節點11與位於最鄰近所述輸入層10的其中一平面201的每一第二節點21均連接，所述第三節點31與位於最鄰近所述輸出層30的其中一平面201的每一第二節點21均連接。位於每一平面201的所述第二節點21之間相互連接，位於每兩個相鄰的平面201的所述第二節點21之間沿所述平面201的排列方向連接，使得所述隱藏層20中的至少一第二節點21朝位於同一平面201的其它第二節點21以及所述平面201的排列方向具有至少六個不同的資料傳輸方向。
在本實施方式中，所述隱藏層20大致為長方體結構，所述第二節點21分別位於沿所述輸入層10至所述輸出層30的方向間隔設置的N個平面201上(圖中示出三個平面201，即：N=3)。每一平面201為正方形，包括P×P=M個第二節點21(圖中示出每一平面201包括9個第二節點21，即：M=9，P=3)，因此，每一平面201的所述第二節點21之間的連接數為2P(P-1)。每兩個相鄰的平面201的所述第二節點21之間的連接數為M。因此，所述隱藏層20的所述第二節點21之間的總連接數為[2P(P-1)+M](N-1)。其中，位於所述隱藏層20邊角處的所述第二節點21具有三個資料傳輸方向，位於所述隱藏層20邊緣的所述第二節點21具有五個資料傳輸方向，而位於所述隱藏層20中心的第二節點21具有六個資料傳輸方向。
對比於傳統的與所述隱藏層20具有相同節點數的人工神經網路(例如，具有N個隱藏層且每一隱藏層包括M個節點，隱藏層的節點之間的總連接數為M N)，所述人工神經網路1的所述隱藏層20的節點總連接數遠小於傳統的人工神經網路的隱藏層的節點總連接數。因此，所述人工神經網路1有利於減少計算量，提高計算效率。再者，由於所述隱藏層20中的至少一第二節點21朝位於同一平面201的其它第二節點21以及所述平面201的排列方向具有至少六個不同的資料傳輸方向，即，所述第二節點21可將變換後的資料向至少六個不同的方向傳遞，從而增強學習效果。
當然，在其它實施方式中，所述隱藏層20的形狀、所述平面201的形狀和數量、每一平面201所包括的第二節點21的數量等均可根據實際需求進行變更，從而改變所述隱藏層20的所述第二節點21之間的總連接數。
對於本領域技術人員而言，顯然本發明不限於上述示範性實施例的細節，而且在不背離本發明的精神或基本特徵的情況下，能夠以其他的具體形式實現本發明。此外，顯然“包括”一詞不排除其他單元，單數不排除複數。第一，第二等詞語用來表示名稱，而並不表示任何特定的順序。
最後需要指出，以上實施例僅用以說明本發明的技術方案而非限制，儘管參照以上較佳實施例對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或等同替換都不應脫離本發明技術方案的精神和範圍。
1‧‧‧人工神經網路
10‧‧‧輸入層
11‧‧‧第一節點
20‧‧‧隱藏層
21‧‧‧第二節點
30‧‧‧輸出層
31‧‧‧第三節點
100‧‧‧第一通信通道
200‧‧‧第二通信通道
201‧‧‧平面
300‧‧‧第三通信通道
圖1為本發明一實施方式中的人工神經網路的立體結構示意圖。
圖2為圖1所示的人工神經網路省略輸入層和輸出層後的立體結構示意。
圖3為圖1所示的人工神經網路的俯視圖。
圖4為圖1所示的人工神經網路的側視圖。
無

Claims (6)

  1. 一種人工神經網路，包括： 一輸入層，包括多個第一節點； 一隱藏層，包括多個第二節點；以及 一輸出層，包括多個第三節點，所述隱藏層位於所述輸入層以及所述輸出層之間； 其中，所述隱藏層呈現為三維立體結構，分為沿所述輸入層至所述輸出層的方向間隔設置的多個平面，所述第二節點分別位於所述平面，所述第一節點與位於最鄰近所述輸入層的其中一平面的多個第二節點連接，所述第三節點與位於最鄰近所述輸出層的其中一平面的多個第二節點連接，位於每一平面的所述第二節點之間相互連接，位於每兩個相鄰的平面的所述第二節點沿所述平面的排列方向連接，使得所述隱藏層中的至少一第二節點在朝位於同一平面的其它第二節點以及所述平面的排列方向具有至少六個不同的資料傳輸方向。
  2. 如申請專利範圍第1項所述的人工神經網路，其中，所述第一節點與位於最鄰近所述輸入層的其中一平面的每一第二節點均連接，所述第三節點與位於最鄰近所述輸出層的其中一平面的每一第二節點均連接。
  3. 如申請專利範圍第1項所述的人工神經網路，其中，所述第一節點藉由第一通信通道與所述第二節點連接，所述第二節點之間藉由第二通信通道相互連接，且藉由第三通信通道與所述第三節點連接。
  4. 如申請專利範圍第1項所述的人工神經網路，其中，所述輸入層以及所述輸出層均呈現為二維結構。
  5. 如申請專利範圍第1項所述的人工神經網路，其中，所述隱藏層為長方體結構，所述第二節點分別位於沿所述輸入層至所述輸出層的方向間隔設置的N個平面上，每一平面為正方形且包括M個第二節點，所述平面的每一邊長包括P個節點，其中，M=P×P，每兩個相鄰的平面的所述第二節點之間的連接數為M，所述隱藏層的所述第二節點之間的總連接數為[2P(P-1)+M](N-1)。
  6. 如申請專利範圍第5項所述的人工神經網路，其中，位於所述隱藏層邊角處的所述第二節點具有三個資料傳輸方向，位於所述隱藏層邊緣的所述第二節點具有五個資料傳輸方向，位於所述隱藏層中心的第二節點具有六個資料傳輸方向。
TW107110388A 2018-03-27 2018-03-27 人工神經網路 TWI672644B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW107110388A TWI672644B (zh) 2018-03-27 2018-03-27 人工神經網路
US15/950,257 US20190303745A1 (en) 2018-03-27 2018-04-11 Artificial neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107110388A TWI672644B (zh) 2018-03-27 2018-03-27 人工神經網路

Publications (2)

Publication Number Publication Date
TWI672644B true TWI672644B (zh) 2019-09-21
TW201942806A TW201942806A (zh) 2019-11-01

Family

ID=68056365

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107110388A TWI672644B (zh) 2018-03-27 2018-03-27 人工神經網路

Country Status (2)

Country Link
US (1) US20190303745A1 (zh)
TW (1) TWI672644B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11995854B2 (en) * 2018-12-19 2024-05-28 Nvidia Corporation Mesh reconstruction using data-driven priors
US20210224636A1 (en) * 2020-01-21 2021-07-22 Pegah AARABI System and method for interfacing a biological neural network and an artificial neural network

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200630819A (en) * 2005-02-23 2006-09-01 Northern Taiwan Inst Of Science And Technology Method of using intelligent theory to design heat dissipation module and device thereof
US20140022997A1 (en) * 2011-06-07 2014-01-23 Zte Corporation Reporting Method, Detection Method, Device And System For Network State
TWI451404B (zh) * 2006-08-01 2014-09-01 Dts Inc 用來補償音訊換能器線性與非線性失真的類神經網路濾波技術

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200630819A (en) * 2005-02-23 2006-09-01 Northern Taiwan Inst Of Science And Technology Method of using intelligent theory to design heat dissipation module and device thereof
TWI451404B (zh) * 2006-08-01 2014-09-01 Dts Inc 用來補償音訊換能器線性與非線性失真的類神經網路濾波技術
US20140022997A1 (en) * 2011-06-07 2014-01-23 Zte Corporation Reporting Method, Detection Method, Device And System For Network State

Also Published As

Publication number Publication date
TW201942806A (zh) 2019-11-01
US20190303745A1 (en) 2019-10-03

Similar Documents

Publication Publication Date Title
Liu et al. A collective neurodynamic approach to distributed constrained optimization
US11423296B2 (en) Device and method for distributing convolutional data of a convolutional neural network
US8996430B2 (en) Hierarchical scalable neuromorphic synaptronic system for synaptic and structural plasticity
TW202022644A (zh) 一種運算裝置和運算方法
Wang et al. Image processing on the OTIS-mesh optoelectronic computer
TWI672644B (zh) 人工神經網路
Chen et al. Generalized capsule networks with trainable routing procedure
CN108280521A (zh) 智能机器人服务系统
CN112529010A (zh) 一种基于在线局部特征提取的点云识别方法
CN111814333A (zh) 奇异Lur’e网络聚类同步的牵制节点选择方法
JP5393589B2 (ja) 電子回路
CN108320018A (zh) 一种人工神经网络运算的装置及方法
Ogbodo et al. Light-weight spiking neuron processing core for large-scale 3D-NoC based spiking neural network processing systems
Franci et al. A model-independent theory of consensus and dissensus decision making
WO2022179075A1 (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN108280095A (zh) 智能虚拟客服系统
CN111612046A (zh) 特征金字塔图卷积神经网络及其在3d点云分类中的应用
JP3354593B2 (ja) ネットワーク型情報処理装置の学習システム
WO2022127603A1 (zh) 一种模型处理方法及相关装置
Pellakuri et al. Modeling of supervised ADALINE neural network learning technique
Zhao et al. A mapping method for convolutional neural networks on network-on-chip
CN110309905A (zh) 人工神经网络
Dittrich et al. Comparison of a spatially-structured cellular evolutionary algorithm to an evolutionary algorithm with panmictic population
Jiao [Retracted] Simulation Research on the Palm Mechanism of Volleyball Robot Based on Artificial Intelligence and Ant Colony Optimization Algorithm
Wichert et al. Visual search light model for mental problem solving