TWI763975B - 降低類神經網路之運算複雜度的系統與方法 - Google Patents

降低類神經網路之運算複雜度的系統與方法

Info

Publication number
TWI763975B
TWI763975B TW108103885A TW108103885A TWI763975B TW I763975 B TWI763975 B TW I763975B TW 108103885 A TW108103885 A TW 108103885A TW 108103885 A TW108103885 A TW 108103885A TW I763975 B TWI763975 B TW I763975B
Authority
TW
Taiwan
Prior art keywords
value
offset
output
computational complexity
electrically connected
Prior art date
Application number
TW108103885A
Other languages
English (en)
Other versions
TW202030647A (zh
Inventor
卿文龍
Original Assignee
國立成功大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立成功大學 filed Critical 國立成功大學
Priority to TW108103885A priority Critical patent/TWI763975B/zh
Priority to US16/415,005 priority patent/US20200250524A1/en
Publication of TW202030647A publication Critical patent/TW202030647A/zh
Application granted granted Critical
Publication of TWI763975B publication Critical patent/TWI763975B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Neurology (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)
  • Complex Calculations (AREA)

Abstract

本發明有關於一種降低類神經網路之運算複雜度的系統與方法，其方法包含有將複數個權重值、複數個輸入值與一致能控制訊號輸入至一累加器(accumulator)，透過致能控制訊號使複數個權重值與複數個輸入值進行內積運算，再進行偏移(shift)；取一偏差值進行偏移，並與經過內積運算與偏移後的複數個權重值與複數個輸入值進行一加法運算，以產生一第一輸出值；判斷第一輸出值是否小於一閾值；若第一輸出值小於閾值，即輸出一結果值為0；藉此，本發明能省略部分的運算過程，以提升類神經網路的運算速度。

Description

降低類神經網路之運算複雜度的系統與方法
本發明係有關於一種降低類神經網路之運算複雜度的系統與方法，尤其係指可提升類神經網路運算速度的系統與方法，在維持類神經網路的性能下，可節省運算時間，以應用在資通訊的相關領域。
按，類神經網路(Artificial Neural Network,ANN)係模擬人類大腦對資訊的處理模式，類神經網路中的人工節點，被稱作神經元(neurons)，多個神經元連接在一起形成一個類似生物神經網路的網狀結構，透過多種模式模仿人們的學習，以進行訓練，現今由於龐大的訓練集和高度的運算複雜度，類神經網路往往需要幾個小時、幾天，甚至幾個星期去進行訓練，因此目前偏好選在雲端中執行。
類神經網路中的深度學習(Deep Neural Network,DNN)近年獲得大量的關注，並被應用在各個領域，也逐漸落實在人們的生活當中，舉凡汽車的自動駕駛、醫學的影像處理、通訊的語音辨識皆可應用到深度學習的技術。在類神經網路的運行過程中，最主要且密集計算最高的作業便是矩陣與向量的乘積運算，例如卷積類神經網路(Convolutional Neural Networks,CNN)中的篩選過程(filtering)可被視為向量內積，而全連結網路(fully connected network)則可被視為矩陣與向量的乘積。
由於類神經網路廣泛且大量的應用，類神經網路逐漸面對更龐大、運算複雜度更高的資料，因此硬體或軟體上的需求就會更高，以降低處理時間與通訊成本；中華民國新型專利公告號TW M570477「應用全指數運算於深度神經網路的電腦裝置」即揭露一種處理類神經網路運算之裝置，其預先將深度神經網路的每一個神經元之權重矩陣中的權重值、欲輸入深度神經網路之圖像資料的複數圖素值正規化並量化，再將量化後圖素值輸入深度神經網路，使深度神經網路的各個神經元以量化後的權重矩陣、指數乘法器、指數加法器及指數減法器對量化後圖素值進行卷積運算，藉此降低深度神經網路的運算複雜度及電路複雜度，提高深度神經網路的運算速度並減少記憶體空間的佔用。
另，中華民國公開號TW 201839675「降低卷積神經網路的計算複雜度的方法及系統」揭露一種用於產生輸入影像的分類的卷積神經網路(CNN)系統，其利用內核和特徵圖中的冗餘來降低計算複雜度，其中，運算時會省略一些乘法累加(MAC)的運算過程，即代表將乘法中的操作數中的一個設置為零。又，中華民國公開號TW 201835817「設計超級解析度深度卷積神經網路的裝置及方法」利用級聯網路修整降低儲存及計算複雜度，以及藉由設置一種擴張卷積的形式，替代執行完整的傳統卷積計算，進一步提高超級解析度深度卷積神經網路的效率，來對經級聯訓練的超級解析度卷積神經網路模型進行進一步細化，此可進一步降低經由級聯訓練的超級解析度卷積神經網路模型的複雜度。
由前案專利可知，目前類神經網路的領域中，皆朝向降低運算複雜度的方向研究；爰此，如何降低類神經網路的運算複雜度，使其應用於各個領域時，能夠有更快速的處理速度，以減少硬體、軟體需求上的成本。
今，發明人即是鑑於上述現有之類神經網路於實際實施使用時仍具有多處缺失，於是乃一本孜孜不倦之精神，並藉由其豐富專業知識及多年之實務經驗所輔佐，而加以改善，並據此研創出本發明。
本發明主要目的為提供一種降低類神經網路之運算複雜度的系統與方法，其僅基於複數個權重值、複數個輸入值運算後獲得部分的結果值，部份結果值若小於預設之閾值，即可省略運算其他的部分，以降低整體的運算複雜度。
為了達到上述實施目的，本發明一種降低類神經網路之運算複雜度的方法，其包含有將複數個權重值、複數個輸入值與一致能控制訊號輸入至一累加器(accumulator)，透過致能控制訊號使複數個權重值與複數個輸入值進行內積運算，再進行偏移(shift)；取一偏差值進行偏移，並與經過內積運算與偏移後的複數個權重值與複數個輸入值進行一加法運算，以產生一第一輸出值；判斷第一輸出值是否小於一閾值；若第一輸出值小於閾值，即輸出一結果值為0。
於本發明之一實施例中，累加器具有至少一暫存器與一電性連接至少一暫存器之加法器與乘法器，至少一暫存器接收其中一複數個輸入值或其中一複數個權重值，並接收致能控制訊號。
本創作之另一目的為提供一種降低類神經網路之運算複雜度的系統，其包含有一第一累加裝置，係具有一第一累加器(accumulator)、複數個第一偏移模組與一電性連接複數個第一偏移模組之第一加法器，其中一第一偏移模組係電性連接第一累加器，另一個第一偏移模組係接收一第一偏差值；一第二累加裝置，係具有複數個第二累加器、一第二偏移模組與複數個電性連接第二偏移模組之第二加法器，其中兩個第二累加器係電性連接其中一個第二 加法器，而另一個第二加法器再電性連接另一個第二累加器，並接收一第二偏差值；一比較模組，係電性連接第一累加裝置；一輸出運算模組，係電性連接第一累加裝置與第二累加裝置；以及一數據多工器，係電性連接比較模組與輸出運算模組。
於本發明之一實施例中，第一累加器與每一個第二累加器皆具有至少一暫存器與一電性連接至少一暫存器之加法器與乘法器，至少一暫存器接收一輸入值或一權重值，並接收一致能控制訊號。
於本發明之一實施例中，比較模組係判斷第一累加裝置之輸出與一閾值。
1:第一累加裝置
11:第一累加器
12:第一偏移模組
13:第一加法器
2:第二累加裝置
21:第二累加器
22:第二偏移模組
23:第二加法器
3:比較模組
4:輸出運算模組
5:數據多工器
6:暫存器
7:加法器
8:乘法器
第一圖：本發明其較佳實施例之整體架構示意圖。
第二圖：本發明其較佳實施例之累加裝置架構示意圖。
第三圖：本發明其較佳實施例之線性整流函數曲線圖。
本發明之目的及其結構功能上的優點，將依據以下圖面所示之結構，配合具體實施例予以說明，俾使審查委員能對本發明有更深入且具體之瞭解。
請參閱第一圖與第二圖，本發明一種降低類神經網路之運算複雜度的方法，其包含有將複數個權重值、複數個輸入值與一致能控制訊號輸入至一第一累加器(11)，透過致能控制訊號使複數個權重值與複數個輸入值進行內積運算，再進行偏移(shift)；取一偏差值進行偏移，並與經過內積運算與偏移後的複數個權重值與複數個輸入值進行一加法運算，以產生一第一輸出值；判斷第一輸出值是否小於一閾值；若第一輸出值小於閾值，即輸出一結果值為0。
其中，第一累加器(11)具有至少一暫存器(6)與一電性連接至少一暫存器(6)之加法器(7)與乘法器(8)，至少一暫存器(6)接收其中 一複數個輸入值或其中一複數個權重值，並接收致能控制訊號。
本創作又提供一種降低類神經網路之運算複雜度的系統，其包含有一第一累加裝置(1)，係具有第一累加器(11)、複數個第一偏移模組(12)與一電性連接複數個第一偏移模組(12)之第一加法器(13)，其中一第一偏移模組(12)係電性連接第一累加器(11)，另一個第一偏移模組(12)係接收一第一偏差值；一第二累加裝置(2)，係具有複數個第二累加器(21)、一第二偏移模組(22)與複數個電性連接第二偏移模組(22)之第二加法器(23)，其中兩個第二累加器(21)係電性連接其中一個第二加法器(23)，而另一個第二加法器(23)再電性連接另一個第二累加器(21)，並接收一第二偏差值；一比較模組(3)，係電性連接第一累加裝置(1)，其係判斷第一累加裝置(1)之輸出與一閾值；一輸出運算模組(4)，係電性連接第一累加裝置(1)與第二累加裝置(2)；以及一數據多工器(5)，係電性連接比較模組(3)與輸出運算模組(4)。
其中，第一累加器(11)與每一個第二累加器(21)皆具有至少一暫存器(6)與一電性連接至少一暫存器(6)之加法器(7)與乘法器(8)，至少一暫存器(6)接收一輸入值或一權重值，並接收一致能控制訊號。
此外，藉由下述具體實施例，可進一步證明本發明可實際應用之範圍，但不意欲以任何形式限制本發明之範圍。
人類之神經元(neuron)透過樹突(dendrites)和軸突(axon)連接到其他細胞核，以進行訊息的傳輸；類神經網路即以Y、Xi和Wi分別代表神經元的輸出軸突、輸入軸突和突觸，Y，Xi、Wi和B也分別稱為輸出值、輸入值、權重值和偏差值，其中偏差值B可使類神經網路之處理效率更佳，其儲存+1的值，並且不連接到類神經網路中先前任何的一層，當輸入值為0時即可使用偏差值，使 激勵函數(activation function)向左或向右進行偏移，讓輸入值超過某個預設閾值時才產生輸出值。
請參閱第一圖與第二圖，本發明一種降低類神經網路之運算複雜度的系統與方法，其系統架構包含有第一累加裝置(1)與第二累加裝置(2)，兩個累加裝置分別接收到複數個不同的輸入值、權重值與偏差值，第一累加裝置(1)與負責運算出第一輸出值Y1，第二累加裝置(2)負責運算出第二輸出值Y2，一般而言，由第一輸出值Y1與第二輸出值Y2經輸出運算模組(4)運算後，即產生輸出值Y，再經過數據多工器(5)處理就會產生結果值Z；第一輸出值Y1與第二輸出值Y2能以下列式一表示其運算過程。
Figure 108103885-A0305-02-0009-2
本發明即係在第一輸出值Y1小於閾值的時候，即可省略第二累加裝置(2)運算出第二輸出值Y2的過程；請參閱第三圖，其為線性整流函數(rectified linear unit,ReLU)之飽和曲線圖；由圖中可知線性整流函數的特性，當線性整流函數輸入(F(Y))低於0時，線性整流函數的輸出值就具有最小值0，因此，本發明以此特性去研究，以降低採用線性整流函數時的運算複雜度。
本發明實際作法係先將複數個不同的權重值、輸入值與一致能控制訊號輸入至第一累加裝置(1)中，透過致能控制訊號使複數個權重值與複數個輸入值進行內積運算，如第二圖所示，由圖中可知，本實施例之第一累加裝置(1)至少具有兩個暫存器(6)，分別接收一個權重值與一個輸入值，將權重值與輸入值經過乘法器(8)進行運算，其他權重值與輸入值也做相同運算處理，把所有經乘法器 (8)運算的結果透過加法器(7)運算後再輸出，輸出的結果會使用第一偏移模組(12)使其向左偏移2(N-k)，其中N為原始之運算複雜度的位元，k為簡化後之運算複雜度的位元；接續地，輸入一偏差值至另一個偏移模組，使偏差值向左偏移N-k，向左偏移後的偏差值與經過內積運算與偏移後的複數個權重值與複數個輸入值被輸入至第一加法器(13)，執行加法運算後，即可產生第一輸出值Y1，第一輸出值Y1再傳輸到電性連接到第一累加裝置(1)的比較模組(3)內，判斷第一輸出值Y1是否小於一閾值η；若第一輸出值Y1小於閾值η，即可確定結果值Z為0，如此，就能省略第二輸出值Y2的運算過程，降低整體的運算複雜度；若第一輸出值Y1大於或等於閾值η，才需要接續以第二累加裝置(2)運算出第二輸出值Y2，並運算出結果值Z。
為了先求出第一輸出值Y1，需要先知道位元k與閾值η，透過函數(1-(k/N)2)Ps進行計算，而此函數會在Pe小於一上限時，如：Pe
Figure 108103885-A0305-02-0010-3
0.01之條件的約束下取最大化之結果，其中Ps定義為節能率(power saving probability)，即Y1<η之機率，Pe定義為錯誤偵測率(detection error probability)，即Y1<η且Y
Figure 108103885-A0305-02-0010-4
0之機率，藉此，以降低誤差的發生率，並達到較佳的節能率；而運算出之位元k介於2、3、…、N，與閾值η可介於0、-0.0125、…-0.2範圍內，其數值間距0.0125，換句話說，此作法將使得誤差發生率達到設定上限的條件下，找出一組位元k與閾值η，使節能率達到最佳，此例可知閾值η皆小於0，如：當輸入值及偏差值由均勻分佈隨機變量產生，其中均勻分佈介於(-0.5,0.5)，而權重由高斯分佈隨機變量產生，高斯分佈之均值為0且變異數(variance)為1，I為256與N為12時，本實施例之位元k可取5，閾值η可取-0.0375。如此，當第一輸出值Y1小於-0.0375時，結果值Z即可直接輸出為0。
另，亦可由E〔｜Z-Z1｜〕得知位元k與閾值η，其中Z1為習知運算Y1與Y2後之結果值，而絕對值｜Z-Z1｜為習知技術運算後之結果值與本發明運算後之結果值的誤差，E〔‧〕為期望值；此誤差之期望值函數E〔｜Z-Z1｜〕同樣會限制小於一上限，例如0.01，使位元k與閾值η被定義出來。
由上述之實施說明可知，本發明與現有技術相較之下，本發明具有以下優點：
1.本發明降低類神經網路之運算複雜度的系統與方法，其透過累加器去運算出第一輸出值，若判斷第一輸出值小於閾值，即可省略運算第二輸出值的過程，如此便能提高類神經網路處理時的速度，以降低運算複雜度。
2.本發明降低類神經網路之運算複雜度的系統與方法，其可應用在物聯網的資通訊上，於資通訊的領域中進行頻譜感測的作業，根據成本、頻寬、信號速率與信號調變去引入適合的頻譜，減少物聯網資通訊的處理成本。
綜上所述，本發明之降低類神經網路之運算複雜度的系統與方法，的確能藉由上述所揭露之實施例，達到所預期之使用功效，且本發明亦未曾公開於申請前，誠已完全符合專利法之規定與要求。爰依法提出發明專利之申請，懇請惠予審查，並賜准專利，則實感德便。
惟，上述所揭之圖示及說明，僅為本發明之較佳實施例，非為限定本發明之保護範圍；大凡熟悉該項技藝之人士，其所依本發明之特徵範疇，所作之其它等效變化或修飾，皆應視為不脫離本發明之設計範疇。
1:第一累加裝置
11:第一累加器
12:第一偏移模組
13:第一加法器
2:第二累加裝置
21:第二累加器
22:第二偏移模組
23:第二加法器
3:比較模組
4:輸出運算模組
5:數據多工器

Claims (3)

  1. 一種應用於物聯網系統的降低類神經網路之運算複雜度的系統，其包含有：一第一累加裝置，係具有一第一累加器(accumulator)以進行內積運算、複數個第一偏移模組以將該第一累加器之運算結果向左偏移2(N-k)，其中N為原始之運算複雜度的位元，k為簡化後之運算複雜度的位元，與一電性連接該複數個第一偏移模組之第一加法器以執行加法運算並產生一第一輸出值，其中一該第一偏移模組係電性連接該第一累加器，另一該第一偏移模組係接收一第一偏差值；一第二累加裝置，係具有複數個第二累加器以進行內積運算、一第二偏移模組以將該第二累加器之運算結果向左偏移2(N-k)，其中N為原始之運算複雜度的位元，k為簡化後之運算複雜度的位元，與複數個電性連接該第二偏移模組之第二加法器以執行加法運算並產生一第二輸出值，其中兩個該複數個第二累加器係電性連接其中一該複數個第二加法器，而另一該複數個第二加法器再電性連接另一該複數個第二累加器，並接收一第二偏差值； 一比較模組，係電性連接該第一累加裝置，以比較該第一輸出值是否小於一閾值；一輸出運算模組，係電性連接該第一累加裝置與該第二累加裝置，以運算該第一輸出值與該第二輸出值並產生一輸出值；以及一數據多工器，係電性連接該比較模組與該輸出運算模組，以處理該輸出運算模組所產生之輸出值，並進一步產生一結果值；其中若該第一輸出值小於該閾值，則該結果值為0。
  2. 如請求項1所述應用於物聯網系統的降低類神經網路之運算複雜度的系統，其中該第一累加器與每一該複數個第二累加器皆具有至少一暫存器與一電性連接該至少一暫存器之加法器與乘法器，該至少一暫存器接收一輸入值或一權重值，並接收一致能控制訊號。
  3. 如請求項2所述應用於物聯網系統的降低類神經網路之運算複雜度的系統，其中該第一累加器係具有兩個暫存器以分別接收一權重值與一輸入值並透過致能該控制訊號使該權重值與該輸入值進行內積運算，以及具有一乘法器與一加法器以依序運算該權重值與該輸入值並輸出至該第一加法器。
TW108103885A 2019-01-31 2019-01-31 降低類神經網路之運算複雜度的系統與方法 TWI763975B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW108103885A TWI763975B (zh) 2019-01-31 2019-01-31 降低類神經網路之運算複雜度的系統與方法
US16/415,005 US20200250524A1 (en) 2019-01-31 2019-05-17 System and method for reducing computational complexity of neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108103885A TWI763975B (zh) 2019-01-31 2019-01-31 降低類神經網路之運算複雜度的系統與方法

Publications (2)

Publication Number Publication Date
TW202030647A TW202030647A (zh) 2020-08-16
TWI763975B true TWI763975B (zh) 2022-05-11

Family

ID=71838115

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108103885A TWI763975B (zh) 2019-01-31 2019-01-31 降低類神經網路之運算複雜度的系統與方法

Country Status (2)

Country Link
US (1) US20200250524A1 (zh)
TW (1) TWI763975B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI805511B (zh) * 2022-10-18 2023-06-11 國立中正大學 內積計算裝置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW307866B (en) * 1996-06-14 1997-06-11 Ind Tech Res Inst The reconfigurable artificial neural network structure with bit-serial difference-square accumulation type
TWI417797B (zh) * 2010-02-04 2013-12-01 Univ Nat Taipei Technology A Parallel Learning Architecture and Its Method for Transferred Neural Network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW307866B (en) * 1996-06-14 1997-06-11 Ind Tech Res Inst The reconfigurable artificial neural network structure with bit-serial difference-square accumulation type
TWI417797B (zh) * 2010-02-04 2013-12-01 Univ Nat Taipei Technology A Parallel Learning Architecture and Its Method for Transferred Neural Network

Also Published As

Publication number Publication date
US20200250524A1 (en) 2020-08-06
TW202030647A (zh) 2020-08-16

Similar Documents

Publication Publication Date Title
US20200097806A1 (en) Processing method and accelerating device
CN108345939B (zh) 基于定点运算的神经网络
CN109949255B (zh) 图像重建方法及设备
WO2017219991A1 (zh) 适用于模式识别的模型的优化方法、装置及终端设备
CN110084221B (zh) 一种基于深度学习的带中继监督的序列化人脸关键点检测方法
WO2021089013A1 (zh) 空间图卷积网络的训练方法、电子设备及存储介质
WO2019238029A1 (zh) 卷积神经网络系统和卷积神经网络量化的方法
EP4163831A1 (en) Neural network distillation method and device
WO2022042123A1 (zh) 图像识别模型生成方法、装置、计算机设备和存储介质
CN111507993A (zh) 一种基于生成对抗网络的图像分割方法、装置及存储介质
CN113435509B (zh) 基于元学习的小样本场景分类识别方法及系统
CN110930996B (zh) 模型训练方法、语音识别方法、装置、存储介质及设备
US20210224647A1 (en) Model training apparatus and method
WO2022111002A1 (zh) 用于训练神经网络的方法、设备和计算机可读存储介质
CN111564179A (zh) 一种基于三元组神经网络的物种生物学分类方法及系统
CN111860790A (zh) 一种提高深度残差脉冲神经网络精度以优化图像分类的方法及其系统
CN111353534B (zh) 一种基于自适应分数阶梯度的图数据类别预测方法
CN116362351A (zh) 利用噪声扰动训练预训练语言模型的方法及装置
CN111598167A (zh) 基于图学习的小样本图像识别方法及系统
CN111224905A (zh) 一种大规模物联网中基于卷积残差网络的多用户检测方法
CN115080761A (zh) 一种基于语义感知的低资源知识图谱实体对齐方法
Ni et al. Algorithm-hardware co-design for efficient brain-inspired hyperdimensional learning on edge
CN115631393A (zh) 基于特征金字塔与知识引导的知识蒸馏的图像处理方法
TWI763975B (zh) 降低類神經網路之運算複雜度的系統與方法
Putra et al. Multilevel neural network for reducing expected inference time