TWI696127B - 無訊框緩衝器的卷積神經網路系統與方法 - Google Patents

Abstract

一種無訊框緩衝器的卷積神經網路系統包含感興趣區域單元，用以萃取特徵，據以產生輸入影像訊框的感興趣區域；卷積神經網路單元，處理輸入影像訊框的感興趣區域以偵測物件；及追蹤單元，比較不同時間萃取的特徵，使得卷積神經網路單元據以選擇地處理輸入影像訊框。

Description

無訊框緩衝器的卷積神經網路系統與方法

本發明係有關一種卷積神經網路(CNN)，特別是關於一種無訊框緩衝器的卷積神經網路系統。

卷積神經網路(convolutional neural network,CNN)為人工神經網路(artificial neural network)的一種，可用於機器學習(machine learning)。卷積神經網路可應用於信號處理，例如影像處理及電腦視覺。

第一圖顯示傳統卷積神經網路900的方塊圖，揭示於Li Du等人所提出的“用於物聯網的可重置串流之深卷積神經網路加速器(A Reconfigurable Streaming Deep Convolutional Neural Network Accelerator for Internet of Things)”，2017年8月，電機電子工程師學會(IEEE)電路與系統會刊(IEEE Transactions on Circuits and Systems)I：定期論文，其內容視為本說明書的一部份。卷積神經網路900包含緩衝組(buffer bank)91，其包含單埠的靜態隨機存取記憶體(SRAM)，用以儲存中間資料(intermediate data)且與訊框緩衝器(frame buffer)92交換資料，該訊框緩衝器92包含動態隨機存取記憶體(DRAM)，例如雙倍資料率同步動態隨機存取記憶體(DDR DRAM)，用以儲存整個影像訊框，供卷積神經網路操作之用。緩衝組91被分為二部分：輸入層911與輸出層912。卷積神經網路900包含行(column)緩衝器93，用以將緩衝組91的輸出重映射(remap)至卷積單元(convolution unit,CU)引擎陣列94。卷積單元引擎陣列94包含複數卷積單元以執行高度平行的卷積運算。卷積單元引擎陣列94包含預取(pre-fetch)控制器941，用以週期的從直接記憶 體存取(direct memory access,DMA)控制器(未顯示)取得參數且更新卷積單元引擎陣列94的權重與偏壓值。卷積神經網路900還包含累積(accumulation)緩衝器95，具草稿(scratchpad)記憶體，用以儲存卷積單元引擎陣列94的部分卷積結果。累積緩衝器95包含最大池化(max pool)951以池化輸出層資料。卷積神經網路900包含指令解碼器96，用以儲存預存於訊框緩衝器92的命令。

如第一圖所示的傳統卷積神經網路系統，訊框緩衝器包含動態隨機存取記憶體(DRAM)，例如雙倍資料率同步動態隨機存取記憶體(DDR DRAM)，用以儲存整個影像訊框，供卷積神經網路操作之用。舉例而言，解析度為320x240的影像訊框需佔用空間為320x240x8位元的訊框緩衝器。然而，雙倍資料率同步動態隨機存取記憶體(DDR DRAM)並不適用於低功率應用，例如穿戴式或物聯網(IoT)裝置。因此亟需提出一種新穎的卷積神經網路系統，以適用於低功率應用。

鑑於上述，本發明實施例的目的之一在於提出一種無訊框緩衝器的卷積神經網路系統。本實施例可使用簡易系統架構以執行卷積神經網路操作於高解析度影像訊框。

根據本發明實施例，無訊框緩衝器的卷積神經網路系統包含感興趣區域單元、卷積神經網路單元及追蹤單元。感興趣區域單元萃取特徵，據以產生輸入影像訊框的感興趣區域。卷積神經網路單元處理輸入影像訊框的感興趣區域以偵測物件。追蹤單元比較不同時間萃取的特徵，使得卷積神經網路單元據以選擇地處理輸入影像訊框。

100:無訊框緩衝器的卷積神經網路系統

11:感興趣區域單元

111:特徵萃取器

112:分類器

12:決定圖

13:暫存器

131A:第一特徵圖

131B:第二特徵圖

132:滑動視窗

14:卷積神經網路單元

141:卷積單元

142:激勵單元

143:池化單元

15:追蹤單元

200:無訊框緩衝器的卷積神經網路方法

21:於輸入影像訊框中產生感興趣區域

22:儲存特徵於特徵圖

23:處理感興趣區域以偵測物件

24:比較特徵並於具特徵變化的區塊執行卷積神經網路操作

900:卷積神經網路

91:緩衝組

911:輸入層

912:輸出層

92:訊框緩衝器

93:行緩衝器

94:卷積單元引擎陣列

941:預取控制器

95:累積緩衝器

951:最大池化

96:指令解碼器

第一圖顯示傳統卷積神經網路的方塊圖。

第二A圖顯示本發明實施例之無訊框緩衝器的卷積神經網路系統的方塊圖。

第二B圖顯示本發明實施例之無訊框緩衝器的卷積神經網路方法的流程圖。

第三圖顯示第二A圖之感興趣區域單元的細部方塊圖。

第四A圖例示決定圖，其包含4x6區塊。

第四B圖例示另一決定圖，其更新於第四A圖之後。

第五圖顯示第二A圖之暫存器的細部方塊圖。

第六圖顯示第二A圖之卷積神經網路單元的細部方塊圖。

第二A圖顯示本發明實施例之無訊框緩衝器(framebuffer-less)的卷積神經網路(CNN)系統100的方塊圖，第二B圖顯示本發明實施例之無訊框緩衝器的卷積神經網路(CNN)方法200的流程圖。

在本實施例中，無訊框緩衝器的卷積神經網路系統(以下簡稱系統)100可包含感興趣區域(region of interest,ROI)單元11，用以於輸入影像訊框中產生感興趣區域(步驟21)。由於本實施例之系統100不含訊框緩衝器，感興趣區域單元11可採用基於掃描線的技術與基於區塊的機制，用以於輸入影像訊框中找出感興趣區域。其中，輸入影像訊框分割為複數影像區塊，排列為矩陣形式，例如4x6影像區塊。

在本實施例中，感興趣區域單元11產生基於區塊的特徵，據以決定每一影像區塊是否執行卷積神經網路(CNN)操作。第三圖顯示第二A圖之感興趣區域單元11的細部方塊圖。在本實施例中，感興趣區域單元11可包含特徵萃取器111，例如用以從輸入影像訊框中萃取淺特徵(shallow feature)。於一例子中，特徵萃取器111根據基於區塊的直方圖(histogram)以產生區塊的(淺)特徵。於另一例子中，特徵萃取器111根據頻率分析以產生區塊的(淺)特徵。

感興趣區域單元11還可包含分類器112，例如支援向量機(support vector machine,SVM)，用以決定輸入影像訊框之每一區塊是否執行卷積神經網路 操作。藉此，可產生決定圖(decision map)12，其包含代表輸入影像訊框的複數區塊(其可排列為矩陣形式)。第四A圖例示決定圖12，其包含4x6區塊，其中X表示相關區塊不需執行卷積神經網路操作，C表示相關區塊需執行卷積神經網路操作，且D表示相關區塊偵測到物件(例如一隻狗)。藉此，可決定感興趣區域並執行卷積神經網路操作。

參閱第二A圖，系統100可包含暫存器13，例如靜態隨機存取記憶體(SRAM)，用以儲存(感興趣區域單元11之)特徵萃取器111所產生的(淺)特徵(步驟22)。第五圖顯示第二A圖之暫存器13的細部方塊圖。在本實施例中，暫存器13可包含二個特徵圖(feature map)，亦即，第一特徵圖131A，用以儲存前一影像訊框(於前一時間t-1)的特徵；及第二特徵圖131B，用以儲存目前影像訊框(於目前時間t)的特徵。暫存器13還可包含滑動視窗(sliding window)132，其大小可為40x40x8位元，用以儲存輸入影像訊框的一區塊。

參閱第二A圖，本實施例之系統100可包含卷積神經網路(CNN)單元14，其接收並處理(感興趣區域單元11)所產生之輸入影像訊框的感興趣區域，以偵測物件(步驟23)。其中，本實施例之卷積神經網路單元14僅於感興趣區域執行，而非如具訊框緩衝器之傳統系統係執行於整個輸入影像訊框。

第六圖顯示第二A圖之卷積神經網路單元14的細部方塊圖。其中，卷積神經網路單元14可包含卷積單元141，其包含複數卷積引擎(convolution engine)，用以執行卷積操作。卷積神經網路單元14可包含激勵(activation)單元142，當偵測到預設特徵時，可執行激勵功能。卷積神經網路單元14還可包含池化(pooling)單元143，用以對輸入影像訊框執行降低取樣率(down-sampling)或池化(pooling)。

本實施例之系統100可包含追蹤單元15，用以比較(前一影像訊框之)第一特徵圖131A與(目前影像訊框之)第二特徵圖131B，接著更新決定圖12(步驟24)。追蹤單元15分析第一特徵圖131A與第二特徵圖131B之間的內容變化。第四B圖例示另一決定圖12，其更新於第四A圖之後。在這個例子中，於前一時間， 位於第5~6行與第3列之區塊有偵測到物件(如第四A圖所標示的D)，但於目前時間，該物件消失(如第四B圖所標示的X)。據此，卷積神經網路單元14不需針對無特徵變化的區塊執行卷積神經網路操作。換句話說，卷積神經網路單元14選擇地針對具特徵變化的區塊執行卷積神經網路操作。因此，系統100可大量地加速操作。

相較於傳統卷積神經網路系統，上述實施例之卷積神經網路操作可大量降低(且加速)。此外，由於本發明實施例不需訊框緩衝器，本實施例可較佳適用於低功率應用，例如穿戴式或物聯網(IoT)裝置。對於解析度為320x240且(非重疊)滑動視窗大小為40x40的影像訊框，具訊框緩衝器的傳統系統需要8x6滑動視窗以執行卷積神經網路操作。相反的，本實施例之系統100僅需很少(小於10)的滑動視窗以執行卷積神經網路操作。

以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。

100‧‧‧無訊框緩衝器的卷積神經網路系統

11‧‧‧感興趣區域單元

12‧‧‧決定圖

13‧‧‧暫存器

14‧‧‧卷積神經網路單元

15‧‧‧追蹤單元

Claims (18)

1. 一種無訊框緩衝器的卷積神經網路系統，包含：一感興趣區域單元，用以萃取特徵，據以產生輸入影像訊框的感興趣區域；一卷積神經網路單元，連接該感興趣區域單元以接收並處理該輸入影像訊框的感興趣區域以偵測物件；及一追蹤單元，連接該卷積神經網路單元以比較不同時間萃取的特徵，使得該卷積神經網路單元據以選擇地處理該輸入影像訊框；其中該感興趣區域單元採用基於掃描線的技術與基於區塊的機制，用以於該輸入影像訊框中找出該感興趣區域，其中，該輸入影像訊框分割為複數影像區塊。
2. 根據申請專利範圍第1項所述無訊框緩衝器的卷積神經網路系統，其中該感興趣區域單元產生基於區塊的特徵，據以決定每一影像區塊是否執行卷積神經網路操作。
3. 根據申請專利範圍第1項所述無訊框緩衝器的卷積神經網路系統，其中該感興趣區域單元包含：一特徵萃取器，自該輸入影像訊框萃取該特徵；及一分類器，決定每一影像區塊是否執行卷積神經網路操作，因此產生一決定圖，據以決定該感興趣區域。
4. 根據申請專利範圍第3項所述無訊框緩衝器的卷積神經網路系統，其中該特徵萃取器根據基於區塊的直方圖或頻率分析以產生該影像區塊的淺特徵。
5. 根據申請專利範圍第3項所述無訊框緩衝器的卷積神經網路系統，更包含一暫存器，用以儲存該特徵。
6. 根據申請專利範圍第5項所述無訊框緩衝器的卷積神經網路系統，其中該暫存器包含第一特徵圖，用以儲存前一影像訊框的特徵；及第二特徵圖，用以儲存目前影像訊框的特徵。
7. 根據申請專利範圍第5項所述無訊框緩衝器的卷積神經網路系統，其中該暫存器包含一滑動視窗，用以儲存該輸入影像訊框的一區塊。
8. 根據申請專利範圍第6項所述無訊框緩衝器的卷積神經網路系統，其中該追蹤單元比較該第一特徵圖與該第二特徵圖，據以更新該決定圖。
9. 根據申請專利範圍第1項所述無訊框緩衝器的卷積神經網路系統，其中該卷積神經網路單元包含：一卷積單元，包含複數卷積引擎，用以執行卷積操作於該感興趣區域；一激勵單元，當偵測到預設特徵時，該激勵單元執行激勵功能；及一池化單元，用以對該輸入影像訊框執行降低取樣率。
10. 一種無訊框緩衝器的卷積神經網路方法，包含：萃取特徵，據以產生輸入影像訊框的感興趣區域；執行卷積神經網路操作於該輸入影像訊框的感興趣區域，以偵測物件；及比較不同時間萃取的特徵，據以選擇地處理該輸入影像訊框；其中該感興趣區域的產生係採用基於掃描線的技術與基於區塊的機制，其中，該輸入影像訊框分割為複數影像區塊。
11. 根據申請專利範圍第10項所述無訊框緩衝器的卷積神經網路方法，其中產生該感興趣區域的步驟包含：產生基於區塊的特徵，據以決定每一影像區塊是否執行卷積神經網路操作。
12. 根據申請專利範圍第10項所述無訊框緩衝器的卷積神經網路方法，其中產生該感興趣區域的步驟包含：自該輸入影像訊框萃取該特徵；及以分類方法決定每一影像區塊是否執行卷積神經網路操作，因此產生一決定圖，據以決定該感興趣區域。
13. 根據申請專利範圍第12項所述無訊框緩衝器的卷積神經網路方法，其中萃取該特徵的步驟包含：根據基於區塊的直方圖或頻率分析以產生該影像區塊的淺特徵。
14. 根據申請專利範圍第12項所述無訊框緩衝器的卷積神經網路方法，更包含一步驟以暫存該特徵。
15. 根據申請專利範圍第14項所述無訊框緩衝器的卷積神經網路方法，其中暫存該特徵的步驟包含：產生第一特徵圖，用以儲存前一影像訊框的特徵；及產生第二特徵圖，用以儲存目前影像訊框的特徵。
16. 根據申請專利範圍第14項所述無訊框緩衝器的卷積神經網路方法，其中暫存該特徵的步驟包含：產生一滑動視窗，用以儲存該輸入影像訊框的一區塊。
17. 根據申請專利範圍第15項所述無訊框緩衝器的卷積神經網路方法，其中比較該特徵的步驟包含：比較該第一特徵圖與該第二特徵圖，據以更新該決定圖。
18. 根據申請專利範圍第10項所述無訊框緩衝器的卷積神經網路方法，其中執行該卷積神經網路操作的步驟包含：使用複數卷積引擎，用以執行卷積操作於該感興趣區域；當偵測到預設特徵時，執行激勵功能；及對該輸入影像訊框執行降低取樣率。

Images