TW202336639A

TW202336639A - 具有解壓縮模組的深度神經網路處理裝置、解壓縮方法及壓縮方法

Info

Publication number: TW202336639A
Application number: TW111117823A
Authority: TW
Inventors: 黃浚鋒; 劉鎔瑄; 林昭文
Original assignee: 聚晶半導體股份有限公司
Priority date: 2022-03-10
Filing date: 2022-05-12
Publication date: 2023-09-16
Also published as: CN116796813A; US20230289588A1

Abstract

一種具有一解壓縮模組的深度神經網路處理裝置，包含有一儲存模組，用來儲存複數個二元碼、一編碼樹、一零點值及一尺度；該解壓縮模組，耦接於該儲存模組，用來根據該複數個二元碼、該編碼樹及該零點值，產生一量化權重陣列，其中根據一對齊的量化權重陣列及該零點值，該量化權重陣列被產生；以及一深度神經網路處理模組，耦接於該解壓縮模組，用來根據該量化權重陣列及該尺度，處理一輸入訊號。

Description

具有解壓縮模組的深度神經網路處理裝置、解壓縮方法及壓縮方法

本發明相關於一種用於嵌入式系統的裝置及方法，尤指一種用於在嵌入式系統中的具有解壓縮模組的深度神經網路處理裝置、解壓縮方法及壓縮方法。

隨著深度學習技術的發展，人工智慧（artificial intelligence，AI）的性能，尤其是在與感知及預測相關的任務中，已大幅地超越現有技術。然而，因為深度學習技術的主要產品是包含有大量（例如百萬）權重的深度神經網路模型，沉重的計算負擔及高的記憶體需求被需要以實現高的模型精度，其限制了在嵌入式系統領域中的深度學習技術的發展。因此，如何在嵌入式系統領域中的深度學習技術的模型精度、計算負擔及記憶體需求之間取得平衡，是一個亟待解決的問題。

本發明提供了一種具有解壓縮模組的深度神經網路處理裝置、解壓縮方法及壓縮方法，降低沉重的計算負擔及高的記憶體需求並維持模型精度，以解決上述問題。

本發明揭露一種具有一解壓縮（decompressing）模組的深度神經網路（deep neural network，DNN）處理裝置，包含有：一儲存模組，用來儲存複數個二元碼（binary code）、一編碼樹（coding tree）、一零點值（zero-point value）及一尺度（scale）；該解壓縮模組，耦接於該儲存模組，用來根據該複數個二元碼、該編碼樹及該零點值，產生一量化權重陣列（quantized weight array），其中根據一對齊的（aligned）量化權重陣列及該零點值，該量化權重陣列被產生；以及一深度神經網路處理模組，耦接於該解壓縮模組，用來根據該量化權重陣列及該尺度，處理一輸入訊號。

本發明還揭露一種解壓縮（decompressing）方法，包含有：接收複數個二元碼（binary code）、一編碼樹（coding tree）、一零點值（zero-point value）及一尺度（scale）；根據該複數個二元碼及該編碼樹，產生一對齊的（aligned）量化權重陣列（quantized weight array）；根據該對齊的量化權重陣列及該零點值，產生一量化權重陣列；以及傳送該量化權重陣列、該零點值及該尺度。

本發明還揭露一種壓縮（compressing）方法，包含有：接收一量化權重陣列（quantized weight array）、一零點值（zero-point value）及一尺度（scale）；根據該量化權重陣列及該零點值，產生一對齊的（aligned）量化權重陣列；根據該對齊的量化權重陣列，產生複數個二元碼（binary code）及一編碼樹（coding tree）；以及傳送該複數個二元碼、該編碼樹、該零點值及該尺度到一儲存模組。

第1圖為本發明實施例一深度神經網路（deep neural network，DNN）處理裝置10的示意圖。深度神經網路處理裝置10包含有一儲存模組100、一解壓縮模組110及一深度神經網路處理模組120。儲存模組100儲存複數個二元碼（binary code）（或任何適合的碼）、編碼樹（coding tree）、零點值（zero-point value）及尺度（scale）。解壓縮模組110耦接於儲存模組100，以及根據（例如藉由使用）複數個二元碼、編碼樹及零點值，產生（例如恢復（restores））量化權重陣列（quantized weight array）（例如參數矩陣）。根據對齊的（aligned）量化權重陣列及零點值，量化權重陣列被產生。深度神經網路處理模組120耦接於解壓縮模組110，以及根據量化權重陣列及尺度，處理輸入訊號（例如如第1圖所示的訊號）。

在一實施例中，深度神經網路處理裝置10包含有（例如為或被設定為）影像訊號處理（image signal processing，ISP）裝置、數位訊號處理（digital signal processing，DSP）裝置、任何適合用於處理深度神經網路模型或相關運作的裝置，或者其組合，但不限於此。

在一實施例中，深度神經網路處理模組120被設定為人工智慧（artificial intelligence，AI）引擎，以將輸入訊號轉換為所需資訊（例如用於處理深度神經網路模型或相關運作），其中從感測器（例如相機的影像感測器），輸入訊號被獲得。在一實施例中，人工智慧引擎包含有圖形處理單元（graphic processing unit，GPU）、任何適合用於處理計算機圖形及影像的電子電路，或者其組合，但不限於此。在一實施例中，深度神經網路處理模組120被設定為影像訊號處理模組，輸入訊號為影像訊號，或者所需資訊為影像資料。

在一實施例中，深度神經網路處理裝置10還包含有一控制模組（未繪示於第1圖中）。控制模組耦接於儲存模組100，以及執行在儲存模組100中儲存的複數個指令（例如二元碼），以控制解壓縮模組110及深度神經網路處理模組120。

第2圖為本發明實施例解壓縮模組110的示意圖。解壓縮模組110包含有一接收電路200、一解碼（decoding）電路210及一去對齊（de-alignment）電路220。接收電路200接收複數個二元碼、編碼樹、零點值及尺度（例如從儲存模組100）。解碼電路210耦接於接收電路200，以及根據複數個二元碼及編碼樹，產生對齊的量化權重陣列。去對齊電路220耦接於接收電路200及解碼電路210，以及根據對齊的量化權重陣列及零點值，產生（例如恢復）量化權重陣列。

在一實施例中，解壓縮模組110傳送（例如儲存）量化權重陣列、零點值及尺度（例如在深度神經網路處理裝置10的一暫存器（register）中）。

在一實施例中，根據編碼樹，解碼電路210解碼複數個二元碼，以產生對齊的量化權重陣列。在一實施例中，去對齊電路220將零點值加到對齊的量化權重陣列，以產生量化權重陣列。也就是說，在對齊的量化權重陣列中具有數值的參數被加上零點值。在一實施例中，去對齊電路220包含有加法器，其為用於對數值執行加法的數位電路。

解壓縮模組110的解壓縮方法可被歸納為一流程30，如第3圖所示，以及包含有以下步驟：

步驟300：開始。

步驟302：接收複數個二元碼、一編碼樹、一零點值及一尺度。

步驟304：根據該複數個二元碼及該編碼樹，產生一對齊的量化權重陣列。

步驟306：根據該對齊的量化權重陣列及該零點值，產生一量化權重陣列。

步驟308：傳送（例如儲存）該量化權重陣列、該零點值及該尺度。

步驟310：結束。

根據流程30，藉由使用零點值，量化權重陣列被恢復。

用於壓縮上述量化權重陣列的壓縮方法可被歸納為一流程40，如第4圖所示，以及包含有以下步驟：

步驟400：開始。

步驟402：接收一量化權重陣列、一零點值及一尺度。

步驟404：根據該量化權重陣列及該零點值，產生一對齊的量化權重陣列。

步驟406：根據該對齊的量化權重陣列，產生複數個二元碼及一編碼樹。

步驟408：傳送該複數個二元碼、該編碼樹、該零點值及該尺度到一儲存模組（例如第1圖的儲存模組100中）。

步驟410：結束。

根據流程40，在產生複數個二元碼及編碼樹之前，藉由使用零點值，量化權重陣列被對齊。

在一實施例中，根據量化權重陣列及零點值，產生對齊的量化權重陣列的步驟（即步驟404）包含有從量化權重陣列減去零點值，以產生對齊的量化權重陣列。也就是說，在量化權重陣列中具有數值的參數被減去零點值。

在一實施例中，根據對齊的量化權重陣列，產生複數個二元碼及編碼樹的步驟（即步驟406）包含有根據對齊的量化權重陣列，產生（例如計算出）編碼樹，以及根據（例如藉由使用）編碼樹，將對齊的量化權重陣列（例如其中的每個參數（例如權重））轉換為複數個二元碼。

在一實施例中，根據複數個對齊的量化權重陣列（例如在對應於一深度神經網路模型的複數個對齊的量化權重陣列中的所有參數的統計），編碼樹被產生，其中根據上述的步驟404，複數個對齊的量化權重陣列中的每一對齊的量化權重陣列被產生。

在一實施例中，量化權重陣列包含有在8位元整數的範圍中具有第一複數個數值的第一複數個參數（例如權重），即第一複數個數值在8位元定點數格式（fixed-point format）中。在一實施例中，第一複數個參數對應於在實數的範圍中具有第二複數個數值的第二複數個參數，或者根據（例如量化自）在實數的範圍中具有第二複數個數值的第二複數個參數被產生，即第二複數個數值在32位元浮點數格式（float-point format）中。

在一實施例中，根據非對稱量化機制，第一複數個參數根據第二複數個參數被產生。根據以下方程式，非對稱量化機制被定義：，（式1）

其中為實數，為尺度，為8位元整數，以及為零點值。

詳細來說，第二複數個數值的最小值與第二複數個數值的最大值之間的間隔被等分為256個部分。接著，根據尺度，256個部分被分別地映射到在8位元整數的範圍中的所有整數（例如從-128到127的256個整數）。舉例來說，屬於256個部分中的第一部分的第二複數個數值的數值被映射到在8元位整數的範圍中的最小整數（例如-128），屬於256個部分中的第二部分的第二複數個數值的數值被映射到在8位元整數的範圍中的第二整數（例如-127）， …，以及屬於256個部分中的最後一部分的第二複數個數值的數值被映射到在8位元整數的範圍中的最大整數（例如127）。

在另一實施例中，根據對稱量化機制，第一複數個參數根據第二複數個參數被產生。根據以下方程式，對稱量化機制被定義：，（式2）

其中 , 及的意義與其在方程式（式1）中的意義相同，在此不贅述。

在一實施例中，零點值包含有（例如為）在第二複數個數值中的數值0映射的在第一複數個數值中的第三數值。根據在方程式（式1）中定義的非對稱量化機制，當為數值0時，為。也就是說，第一複數個數值中的為零點值。根據在方程式（式2）中定義的對稱量化機制，當為數值0時，為數值0。也就是說，第一複數個數值中的數值0是零點值。因此，從非對稱量化機制及對稱量化機制獲得的零點值是不同的。

在一實施例中，根據深度神經網路模型，第二複數個參數（例如權重）被決定（例如由深度神經網路模型給出）。在一實施例中，根據（例如訓練的）複數個輸入訊號，第二複數個參數被產生。在一實施例中，編碼樹包含有（例如為）霍夫曼（Huffman）樹。也就是說，對於解壓縮模組110，根據霍夫曼樹，解碼電路210對複數個二元碼執行霍夫曼解碼，以產生對齊的量化權重陣列。此外，對於流程40中的壓縮方法，根據霍夫曼樹，霍夫曼編碼被用於對齊的量化權重陣列（例如其中的每個參數（例如權重）），以產生複數個二元碼。在一實施例中，上述霍夫曼編碼（例如編碼或解碼）包含有本領域具通常知識者已知的用於無損資料解壓縮或壓縮的熵（entropy）編碼（例如權重編碼）演算法。在一實施例中，尺度包含有（例如為）正實數（例如浮點數（floating-point number）），其被用於將第二複數個參數縮放（scaling）為第一複數個參數，即將32位元浮點數格式轉換為8位元定點數格式。

在一實施例中，藉由使用根據方程式（式1）定義的非對稱量化機制產生的複數個量化權重陣列其各自的零點值，複數個量化權重陣列被對齊。因此，複數個量化權重陣列中具有複數個數值的複數個參數的分佈（distribution）被集中，以及用於壓縮複數個量化權重陣列的位元被減少。因此，非對稱的8位元定點數格式中的複數個參數達到了接近對稱的8位元定點數格式中的複數個參數的壓縮率，以及保留了非對稱的8位元定點數格式中的複數個參數的的高解析率的優點。如此一來，用來儲存位元的記憶體需求（例如記憶體的使用）被對應地減少。

在一實施例中，根據上述非對稱量化機制產生的複數個量化權重陣列進一步地藉由將較小的數值（例如接近數值0的數值）設定為數值0來被精簡（pruned）。因此，數值0成為複數個量化權重陣列中的極端模式，以及用於壓縮複數個量化權重陣列的位元被減少（例如編碼數值0僅須使用1位元）。如此一來，複數個量化權重陣列的壓縮率被提高，以及用來儲存位元的記憶體需求（例如記憶體的使用）被對應地減少。

需注意的是，深度神經網路處理裝置10（包含有其中模組）的實現方式可有很多種。舉例來說，可將上述模組整合為一或多個模組。此外，深度神經網路處理裝置10可以硬體（例如電路）、軟體、韌體（為硬體裝置與計算機指令與資料的結合，且計算機指令與資料屬於硬體裝置上的唯讀軟體）、電子系統、或者上述模組的組合來實現，但不限於此。解壓縮模組110（包含有其中電路）的實現方式可有很多種。舉例來說，可將上述電路整合為一或多個電路。此外，解壓縮模組110可以硬體（例如電路）、軟體、韌體（為硬體裝置與計算機指令與資料的結合，且計算機指令與資料屬於硬體裝置上的唯讀軟體）、電子系統、或者上述電路的組合來實現，但不限於此。

綜上所述，本發明提供了具有解壓縮模組110的深度神經網路處理裝置10、解壓縮方法及壓縮方法。根據壓縮方法，量化權重陣列藉由使用非對稱量化機制被量化以及藉由使用其各自的零點值被對齊，及／或藉由使用數值0被精簡。因此，在不犧牲深度神經網路模型的性能的情況下，用於壓縮量化權重陣列的位元被減少，量化權重陣列的壓縮率被提高，以及用於儲存權重的記憶體需求被減少。根據解壓縮模組110及解壓縮方法，藉由使用專屬電路儲存的二元碼被恢復為量化權重陣列。因此，降低沉重的計算負擔及高的記憶體需求並可維持模型精度。如此一來，在嵌入式系統領域中的深度學習技術的模型精度、計算負擔及記憶體需求之間的平衡被實現。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

10:深度神經網路處理裝置 100:儲存模組 110:解壓縮模組 120:深度神經網路處理模組 200:接收電路 210:解碼電路 220:去對齊電路 30、40:流程 300、302、304、306、308、310、400、402、404、406、408、410:步驟

第1圖為本發明實施例一深度神經網路處理裝置的示意圖。第2圖為本發明實施例一解壓縮模組的示意圖。第3圖為本發明實施例一流程的流程圖。第4圖為本發明實施例一流程的流程圖。

30:流程

300、302、304、306、308、310:步驟

Claims

一種具有一解壓縮（decompressing）模組的深度神經網路（deep neural network，DNN）處理裝置，包含有：一儲存模組，用來儲存複數個二元碼（binary code）、一編碼樹（coding tree）、一零點值（zero-point value）及一尺度（scale）；該解壓縮模組，耦接於該儲存模組，用來根據該複數個二元碼、該編碼樹及該零點值，產生一量化權重陣列（quantized weight array），其中根據一對齊的（aligned）量化權重陣列及該零點值，該量化權重陣列被產生；以及一深度神經網路處理模組，耦接於該解壓縮模組，用來根據該量化權重陣列及該尺度，處理一輸入訊號。
如請求項1所述的深度神經網路處理裝置，其中該深度神經網路處理模組被設定為一人工智慧（artificial intelligence，AI）引擎，以將該輸入訊號轉換為所需資訊，其中從一感測器，該輸入訊號被獲得。
如請求項1所述的深度神經網路處理裝置，還包含有：一控制模組，耦接於該儲存模組，用來執行在該儲存模組中儲存的複數個指令，以控制該解壓縮模組及該深度神經網路處理模組。
如請求項1所述的深度神經網路處理裝置，其中該解壓縮模組還包含有：一接收電路，用來接收該複數個二元碼、該編碼樹、該零點值及該尺度；一解碼（decoding）電路，耦接於該接收電路，用來根據該複數個二元碼及該編碼樹，產生該對齊的量化權重陣列；以及一去對齊（de-alignment）電路，耦接於該接收電路及該解碼電路，用來根據該對齊的量化權重陣列及該零點值，產生該量化權重陣列。
如請求項4所述的深度神經網路處理裝置，其中根據該編碼樹，該解碼電路解碼該複數個二元碼，以產生該對齊的量化權重陣列。
如請求項4所述的深度神經網路處理裝置，其中該去對齊電路將該零點值加到該對齊的量化權重陣列，以產生該量化權重陣列。
如請求項1所述的深度神經網路處理裝置，其中該量化權重陣列包含有在一8位元整數的一範圍中具有一第一複數個數值的一第一複數個參數。
如請求項7所述的深度神經網路處理裝置，其中該第一複數個參數對應於在一實數的一範圍中具有一第二複數個數值的一第二複數個參數。
如請求項8所述的深度神經網路處理裝置，其中該零點值包含有在該第二複數個數值中的一數值0映射的在該第一複數個數值中的一第三數值。
如請求項1所述的深度神經網路處理裝置，其中該編碼樹包含有一霍夫曼樹（Huffman tree），或者該尺度包含有一正實數。
一種解壓縮（decompressing）方法，包含有：接收複數個二元碼（binary code）、一編碼樹（coding tree）、一零點值（zero-point value）及一尺度（scale）；根據該複數個二元碼及該編碼樹，產生一對齊的（aligned）量化權重陣列（quantized weight array）；根據該對齊的量化權重陣列及該零點值，產生一量化權重陣列；以及傳送該量化權重陣列、該零點值及該尺度。
如請求項11所述的解壓縮方法，其中根據該複數個二元碼及該編碼樹，產生該對齊的量化權重陣列的步驟包含有：根據該編碼樹，解碼（decoding）該複數個二元碼，以產生該對齊的量化權重陣列。
如請求項11所述的解壓縮方法，其中根據該對齊的量化權重陣列及該零點值，產生該量化權重陣列的步驟包含有：將該零點值加到該對齊的量化權重陣列，以產生該量化權重陣列。
如請求項11所述的解壓縮方法，其中該量化權重陣列包含有在一8位元整數的一範圍中具有一第一複數個數值的一第一複數個參數。
如請求項14所述的解壓縮方法，其中該第一複數個參數對應於在一實數的一範圍中具有一第二複數個數值的一第二複數個參數。
如請求項15所述的解壓縮方法，其中該零點值包含有在該第二複數個數值中的一數值0映射的在該第一複數個數值中的一第三數值。
如請求項11所述的解壓縮方法，其中該編碼樹包含有一霍夫曼樹（Huffman tree），或者該尺度包含有一正實數。
一種壓縮（compressing）方法，包含有：接收一量化權重陣列（quantized weight array）、一零點值（zero-point value）及一尺度（scale）；根據該量化權重陣列及該零點值，產生一對齊的（aligned）量化權重陣列；根據該對齊的量化權重陣列，產生複數個二元碼（binary code）及一編碼樹（coding tree）；以及傳送該複數個二元碼、該編碼樹、該零點值及該尺度到一儲存模組。
如請求項18所述的壓縮方法，其中根據該量化權重陣列及該零點值，產生該對齊的量化權重陣列的步驟包含有：從該量化權重陣列減去該零點值，以產生該對齊的量化權重陣列。
如請求項18所述的壓縮方法，其中根據該對齊的量化權重陣列，產生該複數個二元碼及該編碼樹的步驟包含有：根據該對齊的量化權重陣列，產生該編碼樹；以及根據該編碼樹，將該對齊的量化權重陣列轉換為該複數個二元碼。
如請求項18所述的壓縮方法，其中該量化權重陣列包含有在一8位元整數的一範圍中具有一第一複數個數值的一第一複數個參數。
如請求項21所述的壓縮方法，其中該第一複數個參數對應於在一實數的一範圍中具有一第二複數個數值的一第二複數個參數。
如請求項22所述的壓縮方法，其中該零點值包含有在該第二複數個數值中的一數值0映射的在該第一複數個數值中的一第三數值。
如請求項22所述的壓縮方法，其中根據一深度神經網路（deep neural network，DNN）模型，該第二複數個參數被決定。
如請求項18所述的壓縮方法，其中該編碼樹包含有一霍夫曼樹（Huffman tree），或者該尺度包含有一正實數。