TWI748679B - 神經網路計算裝置、資料處理方法及裝置 - Google Patents

Abstract

一種神經網路計算裝置包含第一運算元及第二運算元。第一運算元對輸入資料進行特定計算以產生第一輸出資料。第二運算元對該第一輸出資料進行一函數計算，第二運算元包含前端處理單元、查表電路、內插電路及後端處理單元。前端處理單元對第一輸出資料進行第一資料處理以產生處理後資料。查表電路依據處理後資料查詢第一查找表以得到查表資料，第一查找表包含對應該函數計算的多個第一自變數與多個第一因變數間的映射資料。內插電路對查表資料進行內插計算以得到內插後資料。後端處理單元對內插後資料進行第二資料處理以產生第二輸出資料。

Description

神經網路計算裝置、資料處理方法及裝置

本發明屬於電子設備技術領域，尤其涉及一種神經網路計算裝置、應用於神經網路計算裝置的資料處理方法及裝置。

目前，深度神經網路在電腦領域取得了巨大的成功，如圖像分類、目標檢測、圖像分割等。然而，效果較好的深度神經網路往往有著數量較大的模型參數，不僅計算量大而且在實際部署中模型佔據較大一部分空間，這在一些需要即時運算的應用場景無法正常應用。

神經網路計算裝置在進行資料處理時，經常會涉及到非線性函數的資料計算。比如，常見的非線性函數有對數函數等。然而，相關技術中，由對數函數的圖像可知，在對數函數的一些定義域範圍內，對數函數的圖像的斜率變化很大，這導致對數函數的計算量大且難以得到高精度的計算結果，現有技術無法符合需要即時運算的應用場景的需求。

本發明實施例提供一種神經網路計算裝置、應用於神經網路計算裝置的資料處理方法及裝置，可高效並精確地實現神經網路中非線性、計算複雜的函數計算。

第一方面，本發明實施例提供一種神經網路計算裝置，其包含第一運算元及第二運算元。第一運算元用以對輸入資料進行特定計算以產生第一輸出資料。第二運算元用以對該第一輸出資料進行一函數計算，第二運算元包含前端處理單元、查表電路、內插電路及後端處理單元。前端處理單元用以對第一輸出資料進行第一資料處理以產生處理後資料。查表電路依據處理後資料查詢第一查找表以得到查表資料，第一查找表包含對應該函數計算的多個第一自變數與多個第一因變數間的映射資料。內插電路用以對查表資料進行內插計算以得到內插後資料。後端處理單元用以對內插後資料進行第二資料處理以產生第二輸出資料。

第二方面，本發明實施例提供一種資料處理方法，其應用於一神經網路計算裝置之一運算元，該運算元用以進行一函數計算。該資料處理方法包括：對輸入資料進行第一資料處理以產生處理後資料；依據處理後資料查詢第一查找表以得到查表資料；對查表資料進行內插計算以得到內插後資料；及對內插後資料進行第二資料處理以產生輸出資料。前述第一查找表包含對應該函數計算的多個第一自變數與多個第一因變數間的映射資料。

第三方面，本發明實施例提供一種資料處理裝置，應用於神經網路計算裝置之一運算元，該運算元用以進行一函數計算。該資料處理裝置包含前端處理單元、查表電路、內插電路、及後端處理單元。前端處理單元用以對輸入資料進行第一資料處理以產生處理後資料。查表電路依據處理後資料查 詢第一查找表以得到查表資料，第一查找表包含對應該函數計算的多個第一自變數與多個第一因變數間的映射資料。內插電路用以對查表資料進行內插計算以得到內插後資料。後端處理單元用以對內插後資料進行第二資料處理以產生輸出資料。

本發明實施例中，神經網路計算裝置中是利用具有查找表功能的資料處理裝置來實作其內的運算元，以高效並精確地實現神經網路中非線性、計算比較複雜的函數。

10:神經網路計算裝置

101,102,103,104:運算元

20:資料處理裝置

201:前端處理單元

202:查表電路

203:內插電路

204:後端處理單元

205:快閃記憶體

2051:第一查找表

2052:第二查找表

I:輸入資料

P:處理後資料

L:查表資料

M:內插後資料

O:輸出資料

301,302,303,304:步驟

下面結合附圖，通過對本發明的具體實施方式詳細描述，將使本發明的技術方案及其有益效果顯而易見：〔圖1〕是本發明實施例提供的神經網路計算裝置方塊示意圖；〔圖2〕是本發明實施例提供的資料處理裝置的方塊示意圖；〔圖3〕是本發明實施例提供的資料處理方法的流程示意圖；〔圖4〕是本發明實施例提供的第一查找表的示例圖；〔圖5〕是本發明實施例提供的第二查找表的示例圖；〔圖6〕是自然對數的函數圖形；以及〔圖7〕是自然對數在定義域區間[0.5,1]上的函數圖形。

請參照圖示，其中相同的元件符號代表相同的元件，本發明的原理是以實施在一適當的應用環境中來舉例說明。以下的說明是基於所例示的本發明具體實施例，其不應被視為限制本發明未在此詳述的其它具體實施例。

本發明提供一種可降低計算量並提高精度的神經網路計算裝置，請參閱圖1，圖1是本發明一實施例中神經網路計算裝置方塊示意圖。神經網路計算裝置10可用於進行圖像辨識、資料分析等應用場景，並可應用於諸如智慧手機或安控系統的電子設備中。神經網路計算裝置10包含運算元101、運算元102、運算元103及運算元104，每個運算元(operator)用以執行一特定的計算，舉例來說，運算元101為一卷積運算元，用以進行卷積計算。運算元102為一指數運算元，用以進行指數函數計算。運算元103為一自然對數運算元，用以進行對數函數計算。運算元104為一乘法運算元，用以進行乘法計算。一實施例中，神經網路計算裝置10中各運算元間的連接關係是預先決定，而各運算元的參數可以透過神經網路的訓練過程進行設定。例如，運算元101內的Weights(權重)和Bias(偏置)參數是透過神經網路的訓練過程所進行設定。

本發明所提出的神經網路計算裝置中是利用具有查找表功能的資料處理裝置來實作其內的運算元，以高效並精確地實現神經網路中非線性、計算比較複雜的函數，譬如指數函數、雙曲正切函數及對數函數等。請參閱圖2，圖2是本發明實施例提供的資料處理裝置的方塊示意圖。資料處理裝置20包括前端處理單元201、查表電路202、內插電路203及後端處理單元204。資料處理裝置20可應用於神經網路計算裝置10中，具體來說，資料處理裝置20可用以實現運算元102的指數函數計算及運算元103的自然對數函數計算。

一實施例中，資料處理裝置20可藉由存取快閃記憶體205中的查找表來實現自然對數函數計算。如圖2所示，此實施例中快閃記憶體205儲存有兩個查找表(Look Up Table)，這兩個查找表分別記為第一查找表2051和第二查找表2052，第一查找表2051中記載有一自然對數函數的多個自變數及各自變數對應的因變數的值，亦即，第一查找表2051中記載了多個自變數與多個因變數間的映射資料。而第二查找表2052中記載有該對數函數的多個自變數及各自變數對應的因變數的值。第一查找表2051不同於第二查找表2052。一實施例中，第一查找表2051和第二查找表2052的自變數均位於一預設數值區間，而自然對數函數在此預設數值區間上曲線的曲率小於一預設閾值，其代表自然對數函數在此預設數值區間上的曲線近似於一線性圖。此實施例中，資料處理裝置20藉由存取快閃記憶體205中的兩個查找表來實現運算元103的自然對數函數計算，然而，在其它實施例中，資料處理裝置20亦可藉由存取一個查找表或三個查找表來實現特定函數計算。

此實施例中，第一查找表2051中的自變數大於或等於一第一數值a且小於或等於一第二數值b，而第二查找表2052中的自變數大於或等於第一數值a且小於或等於一第三數值c，第二數值b小於該第三數值b。也就是說，第一查找表2051中的自變數位於區間[a,b]，第二查找表2052中的自變數位於區間[a,c]。在此實施例中，a、b、c均位於預設數值區間內。

此外，在此實施例中，第一查找表2051中任意兩個相鄰的自變數的差值均為第一差值，第二查找表2052中任意兩個相鄰的自變數的差值均為第二差值，而第一差值小於第二差值，也就是說，第一查找表2051中自變數間 的間隔小於第二查找表2052中自變數間的間隔，從而使得利用第一查找表2051進行函數計算的精度高於第二查找表2052。

請參閱圖3，圖3是本發明實施例提供的資料處理方法的流程示意圖。資料處理方法可應用於神經網路計算裝置10中，並可藉由資料處理裝置20來實現。下面將藉由實現運算元103的自然對數函數計算為例來說明資料處理裝置20的運作機制及對應的資料處理方法。

本發明實施例提供的資料處理方法的流程可以包括如下步驟。

步驟301中，前端處理單元201對一輸入資料進行一第一資料處理，以產生一處理後資料。此實施例中，前端處理單元201的輸入資料I為運算元102的輸出資料，前端處理單元201依據資料處理裝置20內部的需求對輸入資料I進行第一資料處理。此第一資料處理可包括對輸入資料I進行數值格式轉換，例如，將輸入資料I由一定點數格式轉換到另一定點數格式，或將輸入資料I由一定點數格式轉換到浮點數格式。藉由數值格式轉換，使處理後資料P的數值格式符合資料處理裝置20內部操作的需求。實施上，前端處理單元201可利用包含移位電路的硬體裝置來實現，亦可利用一處理器執行程式碼來實現。

本實施例中以自然對數函數Y=ln(X)為例進行說明。當然，在其他實施方式中，對數函數還可以是以其它不為1的正數為底的對數函數，如以10為底的常用對數。一具體實施例中，第一數值a為0.5，第二數值b為0.5625，第三數值c為1。即，第一查找表2051中的自變數位於數值區間[0.5，0.5625]，第二查找表2052中的自變數位於數值區間[0.5,1]。

一實施例中，當輸入資料I不在第一查找表2051及第二查找表2052查找範圍內時，前端處理單元201對輸入資料I進行的第一資料處理可包含 對輸入資料I進行數值等效轉換，使處理後資料P包含一第一部分數值及一第二部分數值，其中第一部分數值是在第一查找表2051及/或第二查找表2052的查找範圍內，查表電路202可藉由第一部分數值查找第一查找表2051或第二查找表2052。

如前述的具體實施例，若輸入資料I為2.2，即需要計算ln(2.2)的值，由於2.2大於第三數值1，因此前端處理單元201可先對輸入資料I進行數值等效轉換以確定出第一部分數值及第二部分數值。此例中，第一部分數值和第二部分數值的乘積等於輸入資料I，第一部分數值大於或等於第一數值a且小於或等於第三數值c，而第二部分數值為一預設正整數的n次方，此預設正整數不等於1。例如，預設正整數的值可以為2。當然，在其他實施方式中，預設正整數的值也可以為其它不等於1的正整數，如3或5等。因此，輸入資料I為2.2時，其可轉換為0.55×2²，即2.2=0.55×2²，此時，第一部分數值為0.55，第二部分數值為2²。基於此，ln(2.2)=ln(0.55×2²)=ln(0.55)+ln(2²)=ln(0.55)+2×ln(2)。

步驟302中，依據處理後資料查詢第一查找表或第二查找表，以得到一查表資料。查表電路202依據處理後資料P選擇性地查詢第一查找表2051或第二查找表2052。

圖4為第一查找表2051的示意圖。第一查找表的自變數位於數值區間[0.5，0.5625]。第一查找表2051包含65個自變數，其按照從小到大的順序記載，相鄰的任意兩個自變數的差值均為0.0009765625。當然，在其它實施方式中，第一查找表2051的自變數也可以位於數值區間[0.55,0.8]或者[0.5,0.55]，本發明實施例對此不作具體限定。

圖5為第二查找表2052的示意圖。第二查找表2052的自變數位於數值區間[0.5，1]。第二查找表包含257個自變數，其按照從小到大的順序記載，相鄰的任意兩個自變數的差值均為0.001953125。同樣地，在其它實施方式中，第二查找表2052的自變數也可以位於不同的數值區間。

如前述的具體實施例，當處理後資料P內的第一部分數值為0.55時，由於第一查找表2051的精度高於第二查找表2052，因此查表電路202可查詢第一查找表2051以得對應的查表資料L。由於第一查找表2051中的第52個自變數的數值為0.5498046875，且第53個自變數的數值為0.55078125，而0.5498046875<0.55<0.55078125，因此查表電路202可根據第一查找表2051中的第52個和第53個自變數所對應的因變數得到查表資料L。

當處理後資料P內的第一部分數值為0.8時，查表電路202可查詢第二查找表2052以得對應的查表資料L。由於第二查找表2052中的第154個自變數的數值為0.798828125，第一查找表2051中的第155個自變數的數值為0.80078125，而0.798828125<0.8<0.80078125，因此查表電路202可根據第二查找表2052中的第154個和第155個自變數所對應的因變數得到查表資料L。

步驟303中，對查表資料進行內插計算，以得到一內插後資料。內插電路203針對查表資料L進行線性內插計算，以得到內插後資料M。

如前述的具體實施例，當處理後資料P內的第一部分數值為0.55時，內插電路203針對第一查找表2051中的第52個和第53個自變數所對應的因變數進行線性內插計算，可以得到ln(0.55)=(-0.5976)。

同樣地，當處理後資料P內的第一部分數值為0.8時，內插電路203針對第二查找表2052中的第154個和第155個自變數所對應的因變數進行線性內插計算，可以得到ln(0.8)=(-0.2232)。

步驟304中，對內插後資料進行一第二資料處理，以產生一輸出資料。詳細來說，後端處理單元204可依據後端運算元所需要資料格式及/或內插後資料M有進一步運算的需求，對內插後資料M進行第二資料處理，以產生輸出資料O。

一實施例中，此第二資料處理可包括對內插後資料M進行數值格式轉換，例如，將內插後資料M由一定點數格式轉換到另一定點數格式，或將內插後資料M由一定點數格式轉換到浮點數格式。藉由數值格式轉換，使內插後資料M的數值格式符合資料處理裝置20下級運算元的需求。實施上，後端處理單元204可利用包含移位電路的硬體裝置來實現，亦可利用一處理器執行程式碼來實現。

進一步地，後端處理單元204所進行的第二資料處理包含依據處理後資料P中的第二部分數值對內插後資料M進行計算處理。如前述的具體實施例，若輸入資料I為2.2，其可轉換為0.55×2²，即2.2=0.55×2²，此時，第一部分數值為0.55，第二部分數值為22。基於此，ln(2.2)=ln(0.55×2²)=ln(0.55)+ln(2²)=ln(0.55)+2×ln(2)。ln(2)的值可以預先計算存儲得到，例如ln(2)=0.693，而針對ln(0.55)所得的內插後資料M為(-0.5976)，因此，ln(2.2)=ln(0.55)+2×ln(2)=(-0.5976)+2×(0.693)=0.7884，也就是說，此例中，輸出資料O為0.7884。

需要說明的是，如圖6所示，從對數函數的曲線上來看，對數函數的值域範圍非常廣，特別是在定義域0附近對數函數的斜率變化非常大，不適合直接使用查找表及線性插值的方式來求對數函數的值，否則函數值的計算精度非常差。

在本發明實施例中，由於第一查找表2051和第二查找表2052的自變數位於數值區間[0.5，1]，因此本發明實施例在計算對數函數時，可以將對數函數的輸入自變數轉換到[0.5，1]的區間內。比如，對於一個大於1的輸入自變數r，r=s×2^k，那麼ln(r)=ln(s×2^k)=ln(s)+ln(2^k)=ln(s)+k×ln(2)，其中，s位於數值區間[0.5，1]，即s的取值在0.5和1之間。由於自然對數函數在定義域[0.5，1]之間的圖像近似於直線，如圖7所示，因此ln(s)可以通過第一查找表2051或第二查找表2052線性插值得到，並且計算精度較高。另外，k和ln(2)的值也都是可以精確得到的。因此，最終得到的ln(r)的值的精度較高。

以上對本發明實施例所提供的神經網路計算裝置、應用於神經網路計算裝置的資料處理方法及裝置進行了詳細介紹，本文中應用了具體個例對本發明的原理及實施方式進行了闡述，以上實施例的說明只是用於幫助理解本發明的方法及其核心思想；同時，對於本領域的技術人員，依據本發明的思想，在具體實施方式及應用範圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本發明的限制。

301,302,303,304:步驟

Claims (14)

1. 一種神經網路計算裝置，包含：一第一運算元，對一輸入資料進行一特定計算，以產生一第一輸出資料；以及一第二運算元，對該第一輸出資料進行一函數計算，其中，該第二運算元包含：一前端處理單元，對該第一輸出資料進行一第一資料處理，以產生一處理後資料，其中該第一資料處理包含對該第一輸出資料進行一數值等效轉換，以得到一第一部分數值及一第二部分數值，該處理後資料包含該第一部分數值及該第二部分數值；一查表電路，依據該處理後資料中的該第一部分數值查詢一第一查找表以得到一查表資料，其中該第一查找表包含對應該函數計算的多個第一自變數與多個第一因變數間的映射資料；一內插電路，對該查表資料進行內插計算，以得到一內插後資料；以及一後端處理單元，依據該處理後資料中的該第二部分數值對該內插後資料進行一第二資料處理，以產生一第二輸出資料。
2. 如請求項1之神經網路計算裝置，其中該第一查找表是儲存於一快閃記憶體中，該快閃記憶體更儲存一第二查找表，該第二查找表包含對應該函數計算的多個第二自變數與多個第二因變數間的映射資料，該些第一自變數間的間隔小於該些第二自變數間的間隔，該查表電路依據該處理後資料選擇性地查詢該第一查找表或該第二查找表，以得到該查表資料。
3. 如請求項1之神經網路計算裝置，其中該第一查找表是儲存於一快閃記憶體中，該快閃記憶體更儲存一第二查找表，該第二查找表包含對應該函數計算的多個第二自變數與多個第二因變數間的映射資料，該些第一自變 數位於一第一數值區間內，而該些第二自變數位於一第二數值區間內，該第一數值區間不同於該第二數值區間，該查表電路依據該處理後資料選擇性地查詢該第一查找表或該第二查找表，以得到該查表資料。
4. 如請求項1之神經網路計算裝置，其中該第一資料處理更包含對該第一輸出資料進行一數值格式轉換。
5. 如請求項1之神經網路計算裝置，其中經該數值等效轉換所得到的該第一部分數值是在該第一查找表的查找範圍內。
6. 一種資料處理方法，應用於一神經網路計算裝置之一運算元，該運算元用以進行一函數計算，且該資料處理方法包括：對一輸入資料進行一第一資料處理，以產生一處理後資料，其中該第一資料處理包含對該輸入資料進行一數值等效轉換，以得到一第一部分數值及一第二部分數值，該處理後資料包含該第一部分數值及該第二部分數值；依據該處理後資料中的該第一部分數值查詢一第一查找表以得到一查表資料，其中該第一查找表包含對應該函數計算的多個第一自變數與多個第一因變數間的映射資料；對該查表資料進行內插計算，以得到一內插後資料；以及依據該處理後資料中的該第二部分數值對該內插後資料進行一第二資料處理，以產生一輸出資料。
7. 如請求項6之資料處理方法，其中，該第一查找表是儲存於一快閃記憶體中，該快閃記憶體更儲存一第二查找表，該第二查找表包含對應該函數計算的多個第二自變數與多個第二因變數間的映射資料，該些第一自變數 間的間隔小於該些第二自變數間的間隔，該得到該查表資料的步驟中是依據該處理後資料選擇性地查詢該第一查找表或該第二查找表，以得到該查表資料。
8. 如請求項6之資料處理方法，其中該第一查找表是儲存於一快閃記憶體中，該快閃記憶體更儲存一第二查找表，該第二查找表包含對應該函數計算的多個第二自變數與多個第二因變數間的映射資料，該些第一自變數位於一第一數值區間內，而該些第二自變數位於一第二數值區間內，該第一數值區間不同於該第二數值區間，該得到該查表資料的步驟中是依據該處理後資料選擇性地查詢該第一查找表或該第二查找表，以得到該查表資料。
9. 如請求項6之資料處理方法，其中該第一資料處理更包含對該輸入資料進行一數值格式轉換。
10. 如請求項6之資料處理方法，其中經該數值等效轉換所得到的該第一部分數值是在該第一查找表的查找範圍內。
11. 一種資料處理裝置，應用於一神經網路計算裝置之一運算元，該運算元用以進行一函數計算，且該資料處理裝置包含：一前端處理單元，對一輸入資料進行一第一資料處理，以產生一處理後資料，其中該第一資料處理包含對該輸入資料進行一數值等效轉換，以得到一第一部分數值及一第二部分數值，該處理後資料包含該第一部分數值及該第二部分數值；一查表電路，依據該處理後資料中的該第一部份數值查詢一第一查找表以得到一查表資料，其中該第一查找表包含對應該函數計算的多個第一自變數與多個第一因變數間的映射資料；一內插電路，對該查表資料進行內插計算，以得到一內插後資料；以及 一後端處理單元，依據該處理後資料中的該第二部份數值對該內插後資料進行一第二資料處理，以產生一輸出資料。
12. 如請求項11之資料處理裝置，其中該第一查找表是儲存於一快閃記憶體中，該快閃記憶體更儲存一第二查找表，該第二查找表包含對應該函數計算的多個第二自變數與多個第二因變數間的映射資料，該些第一自變數間的間隔小於該些第二自變數間的間隔，該查表電路依據該處理後資料選擇性地查詢該第一查找表或該第二查找表，以得到該查表資料。
13. 如請求項11之資料處理裝置，其中該第一查找表是儲存於一快閃記憶體中，該快閃記憶體更儲存一第二查找表，該第二查找表包含對應該函數計算的多個第二自變數與多個第二因變數間的映射資料，該些第一自變數位於一第一數值區間內，而該些第二自變數位於一第二數值區間內，該第一數值區間不同於該第二數值區間，該查表電路依據該處理後資料選擇性地查詢該第一查找表或該第二查找表，以得到該查表資料。
14. 請求項11之資料處理裝置，其中該第一資料處理更包含對該輸入資料進行一數值格式轉換。

Images