TWI768382B - 一種模型壓縮方法及圖像處理方法、電腦設備及儲存介質 - Google Patents

一種模型壓縮方法及圖像處理方法、電腦設備及儲存介質 Download PDF

Info

Publication number
TWI768382B
TWI768382B TW109121223A TW109121223A TWI768382B TW I768382 B TWI768382 B TW I768382B TW 109121223 A TW109121223 A TW 109121223A TW 109121223 A TW109121223 A TW 109121223A TW I768382 B TWI768382 B TW I768382B
Authority
TW
Taiwan
Prior art keywords
layer
network layer
model
network
channel
Prior art date
Application number
TW109121223A
Other languages
English (en)
Other versions
TW202139071A (zh
Inventor
郭晉陽
歐陽萬里
徐東
Original Assignee
大陸商商湯集團有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商商湯集團有限公司 filed Critical 大陸商商湯集團有限公司
Publication of TW202139071A publication Critical patent/TW202139071A/zh
Application granted granted Critical
Publication of TWI768382B publication Critical patent/TWI768382B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Holo Graphy (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申請實施例公開了一種模型壓縮方法及圖像處理方法、電腦設備及儲存介質，該方法包括：針對待壓縮模型中的多層網路層中的至少一層網路層中的任一層網路層，根據在對任一層網路層對應通道剪枝處理時的模型壓縮進度，確定第一目標模型，並利用第一目標模型，獲取樣本圖像的損失資訊，以及第一目標模型中的任一層網路層的下一層網路層輸出樣本圖像的第一特徵資料；基於損失資訊以及第一特徵資料，確定分類損失指導資訊；基於分類損失指導資訊，對任一層網路層執行通道剪枝處理。

Description

一種模型壓縮方法及圖像處理方法、電腦設備及儲存介質
本申請關於機器學習技術領域，具體關於一種模型壓縮方法及圖像處理方法、電腦設備及儲存介質。
隨著神經網路在各個領域的廣泛應用，推動了一系列智慧產品的落地。為了讓神經網路具有更好的效果，神經網路的層數不斷增加，每層神經網路中的參數也越來越多，例如圖像處理神經網路中，為了提取到圖像中更多的特徵，每層神經網路往往需要通過數十個卷積核來對圖像進行卷積處理。這造成基於神經網路的產品大多非常依賴良好的運行環境，造成神經網路模型的應用範圍受到限制，例如無法實現嵌入式應用。為了實現神經網路模型的嵌入式應用，需要將神經網路模型的體積壓縮到一定範圍以下。
通道剪枝是當前一種常見的模型壓縮方法，該方法通過在訓練完模型後，去掉網路模型中權重較小的參數，以實現對神經網路模型的壓縮。
本申請實施例至少提供一種模型壓縮方法及圖像處理方法、電腦設備及儲存介質。
第一方面，本申請實施例提供了一種模型壓縮方法，所述方法包括：針對待壓縮模型中的多層網路層中的至少一層網路層中的任一層網路層，根據在對所述任一層網路層對應通道剪枝處理時的模型壓縮進度，確定第一目標模型，並利用所述第一目標模型，獲取樣本圖像的損失資訊，以及所述第一目標模型中的所述任一層網路層的下一層網路層輸出所述樣本圖像的第一特徵資料；基於所述損失資訊以及所述第一特徵資料，確定分類損失指導資訊；基於所述分類損失指導資訊，對所述任一層網路層執行通道剪枝處理。
這樣，根據在對所述任一層網路層對應通道剪枝處理時的模型壓縮進度，確定第一目標模型，並利用所述第一目標模型，獲取所述樣本圖像的損失資訊，以及第一目標模型中的所述任一層網路層的下一層網路層輸出所述樣本圖像的第一特徵資料；然後基於所述損失資訊、以及所述第一特徵資料，確定分類損失指導資訊，並基於所述分類損失指導資訊，對所述任一層網路層執行通道剪枝處理。從而能夠在每次僅針對一層神經網路進行剪枝，且剪枝的時候基於分類損失指導資訊指導該層神經網路的通道剪枝處理，避免在壓縮完成後對模型的損失造成較大影響，進而能夠保證壓縮效率，又能夠兼顧壓縮效果。
在一種可選的實施方式中，在對所述任一層網路層執行通道剪枝處理後，所述方法還包括：基於已進行剪枝處理後的所述任一層網路層，對所述任一層網路層的下一層網路層進行參數更新處理。
這樣，在對第
Figure 02_image001
層網路層進行了通道剪枝操作後，適應性的調整了第
Figure 02_image001
+1層網路層的參數。
在一種可選的實施方式中，所述基於所述損失資訊以及所述第一特徵資料，確定分類損失指導資訊，包括：基於所述損失資訊以及所述第一特徵資料，確定分類損失指導資訊以及特徵重要性指導資訊。
這樣，利用了特徵重要性指導資訊來確定通道選擇指示資訊，並基於通道選擇資訊來對所述任一層網路層執行通道剪枝處理。使用特徵重要性指導資訊作為對第
Figure 02_image001
層網路層進行通道剪枝時的指導，有效地避免了將不具備資訊性的特徵所造成的重構誤差降到最低，這些資訊將在對第
Figure 02_image001
+1層網路層進行通道剪枝過程中被刪除，因此可以獲得合理的結果。
在一種可選的實施方式中，基於所述損失資訊以及所述第一特徵資料，確定特徵重要性指導資訊，包括：基於所述第一特徵資料以及預先確定的調整參數，確定所述特徵重要性指導資訊。
這樣，基於第一特徵資料中各個元素的元素值的大小來確定特徵重要性指導資訊，針對某個通道而言，第一特徵資料中各個元素的元素值越大，則認為該通道越重要；第一特徵資料中各個元素的元素值越小，則認為該通道越不重要，進而基於該方式對通道進行調整，解決下一層特徵消除問題，使得更合理的通道剪枝結果。
在一種可選的實施方式中，針對所述任一層網路層為待進行通道剪枝處理的第一層網路層的情況，所述第一目標模型為：所述待壓縮模型；針對所述任一層網路層並非待進行通道剪枝處理的第一層網路層的情況，所述第一目標模型包括：已經進行通道剪枝處理的網路層，以及所述待壓縮模型中其他未進行通道剪枝處理的網路層。
在一種可選的實施方式中，所述利用所述第一目標模型，獲取所述樣本圖像的損失資訊，包括：利用所述第一目標模型，獲取樣本圖像的分類損失預測結果；基於所述樣本圖像的分類損失預測結果、所述樣本圖像對應的真實分類標籤以及預先確定的損失函數，獲取所述樣本圖像的損失資訊。
在一種可選的實施方式中，所述基於所述損失資訊、以及所述第一特徵資料，確定分類損失指導資訊，包括：利用所述損失資訊在所述第一目標模型中的反向傳播，確定損失函數相對於所述第一特徵資料的偏導數；將所述偏導數確定為所述分類損失指導資訊。
在一種可選的實施方式中，所述基於所述分類損失指導資訊，對所述任一層網路層執行通道剪枝處理，包括：基於所述分類損失指導資訊以及所述樣本圖像的第二特徵資料，確定通道選擇指示資訊；或者，基於特徵重要性指導資訊以及所述樣本圖像的第二特徵資料，確定通道選擇指示資訊；又或者，基於所述分類損失指導資訊、特徵重要性指導資訊以及所述樣本圖像的第二特徵資料，確定通道選擇指示資訊；基於所述通道選擇指示資訊，調整所述任一網路層中的卷積核；其中，所述通道選擇指示資訊用於指示要保留的通道；所述樣本圖像的第二特徵資料，為利用待壓縮模型對所述樣本圖像進行處理時從所述任一層網路層的下一層網路層輸出的特徵資料。
在一種可選的實施方式中，所述基於已進行剪枝處理後的所述任一層網路層，對所述任一層網路層的下一層網路層進行參數更新處理，包括：基於已進行剪枝處理後的所述任一層網路，對所述任一層網路的下一層網路中的各個卷積核的進行通道調整；基於已進行剪枝處理後的所述任一層網路、以及已進行卷積核通道調整的所述下一層網路層，確定第二目標模型，並利用所述第二目標模型，獲取所述第二目標模型中的所述已進行剪枝處理後的所述任一層網路層的下一層網路層輸出所述樣本圖像的第三特徵資料；以及利用待壓縮模型對圖像進行處理時的所述任一層網路層輸出的第二特徵資料，得到所述下一層網路層的權重參數；基於所述權重參數，對所述下一層網路層的原始權重參數進行更新處理。
第二方面，本申請實施例還提供一種圖像處理方法，包括：獲取待處理圖像；利用基於第一方面或第一方面任一項所確定的圖像處理模型，對所述待處理圖像執行圖像處理任務。
第三方面，本申請實施例提供一種模型壓縮裝置，所述裝置包括：獲取模組，配置為針對待壓縮模型中的多層網路層中的至少一層網路層中的任一層網路層，根據在對所述任一層網路層對應通道剪枝處理時的模型壓縮進度，確定第一目標模型，並利用所述第一目標模型，獲取樣本圖像的損失資訊，以及所述第一目標模型中的所述任一層網路層的下一層網路層輸出所述樣本圖像的第一特徵資料；確定模組，配置為基於所述損失資訊以及所述第一特徵資料，確定分類損失指導資訊；剪枝模組，配置為基於所述分類損失指導資訊，對所述任一層網路層執行通道剪枝處理。
在一種可選的實施方式中，所述裝置還包括：更新模組，配置為在所述剪枝模組對所述任一層網路層執行通道剪枝處理後，基於已進行剪枝處理後的所述任一層網路層，對所述任一層網路層的下一層網路層進行參數更新處理。
在一種可選的實施方式中，所述確定模組，配置為基於所述損失資訊以及所述第一特徵資料，確定分類損失指導資訊以及特徵重要性指導資訊。
在一種可選的實施方式中，所述確定模組，配置為基於所述第一特徵資料以及預先確定的調整參數，確定所述特徵重要性指導資訊。
在一種可選的實施方式中，針對所述任一層網路層為待進行通道剪枝處理的第一層網路層的情況，所述第一目標模型為：所述待壓縮模型；針對所述任一層網路層並非待進行通道剪枝處理的第一層網路層的情況，所述第一目標模型包括：已經進行通道剪枝處理的網路層，以及所述待壓縮模型中其他未進行通道剪枝處理的網路層。
在一種可選的實施方式中，所述獲取模組，配置為利用所述第一目標模型，獲取所述樣本圖像的分類損失預測結果；基於所述樣本圖像的分類損失預測結果、與所述樣本圖像對應的真實分類標籤，以及預先確定的損失函數，獲取所述樣本圖像的損失資訊。
在一種可選的實施方式中，所述確定模組，配置為利用所述損失資訊在所述第一目標模型中的反向傳播，確定損失函數相對於所述第一特徵資料的偏導數；將所述偏導數確定為所述分類損失指導資訊。
在一種可選的實施方式中，所述剪枝模組，配置為基於所述分類損失指導資訊以及所述樣本圖像的第二特徵資料，確定通道選擇指示資訊；或者，基於特徵重要性指導資訊以及所述樣本圖像的第二特徵資料，確定通道選擇指示資訊；又或者，基於所述分類損失指導資訊、特徵重要性指導資訊以及所述樣本圖像的第二特徵資料，確定通道選擇指示資訊；基於所述通道選擇指示資訊，調整所述任一網路層中的卷積核；其中，所述通道選擇指示資訊用於指示要保留的通道；所述樣本圖像的所述第二特徵資料，為利用待壓縮模型對所述樣本圖像進行處理時從所述任一層網路層的下一層網路層輸出的特徵資料。
在一種可選的實施方式中，所述更新模組，配置為基於已進行剪枝處理後的所述任一層網路，對所述任一層網路的下一層網路中的各個卷積核的進行通道調整；基於已進行剪枝處理後的所述任一層網路、以及已進行卷積核通道調整的所述下一層網路層，確定第二目標模型，並利用所述第二目標模型，獲取所述第二目標模型中的所述已進行剪枝處理後的所述任一層網路層的下一層網路層輸出所述樣本圖像的第三特徵資料；以及利用待壓縮模型對圖像進行處理時的所述任一層網路層輸出的第二特徵資料，得到所述下一層網路層的權重參數；基於所述權重參數，對所述下一層網路層的原始權重參數進行更新處理。
第四方面，本申請實施例還提供一種圖像處理裝置，包括：獲取單元，配置為獲取待處理圖像；處理單元，配置為利用基於第一方面，或第一方面中任一項確定的圖像處理模型，對所述待處理圖像執行圖像處理任務。
第五方面，本申請實施例還提供一種電腦設備，包括：相互連接的處理器和記憶體，所述記憶體儲存有所述處理器可執行的電腦可讀指令，當電腦設備運行時，所述電腦可讀指令被所述處理器執行時執行本申請實施例上述第一方面，或第一方面中任一種可能的實施方式中的步驟，或者，所述電腦可讀指令被所述處理器執行時執行本申請實施例上述第二方面，或第二方面中任一種可能的實施方式中的步驟。
第六方面，本申請實施例還提供一種電腦可讀儲存介質，該電腦可讀儲存介質上儲存有電腦程式，該電腦程式被處理器運行時執行本申請實施例上述第一方面，或第一方面中任一種可能的實施方式中的步驟，或者，該電腦程式被處理器運行時執行本申請實施例上述第二方面，或第二方面中任一種可能的實施方式中的步驟。
第七方面，本申請實施例還提供一種電腦程式，所述電腦程式被處理器執行時實現本申請實施例上述第一方面，或第一方面中任一種可能的實施方式中的步驟，或者，該電腦程式被處理器運行時執行本申請實施例上述第二方面，或第二方面中任一種可能的實施方式中的步驟。
為使本申請實施例的上述目的、特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合所附附圖，作詳細說明如下。
為使本申請實施例的目的、技術方案和優點更加清楚，下面將結合本申請實施例中附圖，對本申請實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本申請實施例的元件可以以各種不同的配置來佈置和設計。因此，以下對在附圖中提供的本申請的實施例的詳細描述並非旨在限制要求保護的本申請的範圍，而是僅僅表示本申請的選定實施例。基於本申請的實施例，本領域技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例，都屬於本申請保護的範圍。
經研究發現，對神經網路模型進行通道剪枝的方法，通常有兩種，分別為通過最小化損失函數的剪枝的方法和層接層的剪枝方法。最小化損失函數的通道剪枝方法通過反覆運算地刪除各個神經網路層通道，以使得最終的壓縮模型的最終損失影響最小，也即，在每次反覆運算過程中，都會對所有的神經網路層進行處理。該方法對神經網路模型的壓縮效果好；但是，為了評估各通道對最終損耗的影響，需要頻繁執行微調過程，造成剪枝速度慢，效率低的問題。而層接層的剪枝方法，在對某一層神經網路層進行剪枝時，會通過最小化下一層神經網路層輸出的特徵資料的重構誤差來選擇要刪除的通道並調整模型參數。由於該方法可以每次僅針對一層神經網路層進行剪枝操作，並且針對每層神經網路層的微調過程僅執行一次，因而剪枝速度快；但在對每層神經網路層的通道進行通道剪枝操作時，對通道的調整可能對神經網路模型在壓縮完成後的損失造成較大影響，導致對通道的調整結果不夠理想，導致最終的壓縮效果較差。進而，當前對神經網路模型進行通道剪枝的方法，存在效率和壓縮效果無法兼顧的問題。
另外，在對神經網路的第
Figure 02_image001
層網路層進行通道剪枝操作之後，會對第
Figure 02_image001
+1層網路層進行通道剪枝操作，進行通道剪枝作操作之後的第
Figure 02_image001
層網路層的輸出特徵，將成為第
Figure 02_image001
+1層網路層的輸入特徵；若在對第
Figure 02_image001
+1層網路層進行通道剪枝操作的時候，刪除了第
Figure 02_image001
+1層網路層的輸入特徵中某些重構特徵，這些重構特徵是在對第
Figure 02_image001
層網路層進行通道剪枝操作時重構得到的，這樣意味著沒有必要在對第
Figure 02_image001
層網路層進行通道剪枝操作的時候重構這些在第
Figure 02_image001
+1層網路層被刪除的重構特徵，這也就意味著，在對第
Figure 02_image001
層網路層進行通道剪枝操作時，選擇刪除的某些通道是不準確的，進而會由於這種情況造成得到的壓縮模型實際上並非是最優化的模型，其還有可能被優化的空間。該問題稱為下一層特徵消除問題。
針對以上方案所存在的缺陷，均是發明人在經過實踐並仔細研究後得出的結果，因此，上述問題的發現過程以及下文中本申請實施例針對上述問題所提出的解決方案，都應該是發明人在本申請實施例過程中對本申請實施例做出的貢獻。
基於上述研究，本申請實施例提供了一種模型壓縮方法，用於對待壓縮模型中的多層網路層中的至少一層網路層進行通道剪枝處理，並針對至少一層網路層中的任一層網路層，根據在對所述任一層網路層對應通道剪枝處理時的模型壓縮進度，確定第一目標模型，並利用所述第一目標模型，獲取所述樣本圖像的損失資訊，以及第一目標模型中的所述任一層網路層的下一層網路層輸出所述樣本圖像的第一特徵資料；然後基於所述損失資訊、以及所述第一特徵資料，確定分類損失指導資訊，並基於所述分類損失指導資訊，對所述任一層網路層執行通道剪枝處理。從而能夠在每次僅針對一層神經網路進行剪枝的時候，基於分類損失指導資訊指導該層神經網路的通道剪枝處理，避免在壓縮完成後對模型的損失造成較大影響，進而能夠保證壓縮效率，又能夠兼顧壓縮效果。
下面將結合本申請實施例中附圖，對本申請實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本申請的元件可以以各種不同的配置來佈置和設計。因此，以下對在附圖中提供的本申請實施例的詳細描述並非旨在限制要求保護的本申請實施例的範圍，而是僅僅表示本申請的選定實施例。基於本申請實施例，本領域技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例，都屬於本申請實施例保護的範圍。
應注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨後的附圖中不需要對其進行進一步定義和解釋。
為便於對本申請實施例進行理解，首先對本申請實施例所公開的一種模型壓縮方法進行詳細介紹，本申請實施例所提供的模型壓縮方法的執行主體一般為具有一定計算能力的電腦設備，該電腦設備例如包括：終端設備或伺服器或其它處理設備，終端設備可以為使用者設備（User Equipment，UE）、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該模型壓縮方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
首先對網路層中通道的概念進行解釋：針對任一層網路層，假如該網路層為卷積層；且輸入至該卷積層的輸入特徵圖維度為4*10*24，其中，4表示該輸入特徵圖的通道數為4；10*24表示特徵圖在各個通道中的尺寸；通過64*4*3*3的卷積核對該輸入特徵圖進行卷積處理，其中64表示卷積核的數量，每一個卷積核對應一個通道；4表示卷積核的通道數，3*3表示卷積核的尺寸。輸出特徵圖為：64*10*24；對該層網路層進行通道剪枝處理，即為減少卷積核的數量，使得得到的輸出特徵圖的通道數減少，進而降低卷積處理過程中的計算量、以及模型的體積。例如在對該層網路層進行通道剪枝處理時，減去該層網路層中的5個卷積核，則卷積核就會變成：59*4*3*3；最終，得到的輸出特徵圖為：59*10*24。
下面對本申請實施例提供的模型壓縮方法加以詳細說明。
參見圖1所示，為本申請實施例提供的模型壓縮方法的流程圖，該方法用於對待壓縮模型中的多層網路層中的至少一層網路層進行通道剪枝處理；一種可能的實施方式中，若待壓縮模型中包括L層網路層，可以將L層網路層中的任意m層網路層作為要進行通道剪枝處理的網路層。其中，m為大於0、小於L的正整數。
所述方法包括步驟S101~S103，其中： S101：針對待壓縮模型中的多層網路層中的至少一層網路層中的任一層網路層，根據在對所述任一層網路層對應通道剪枝處理時的模型壓縮進度，確定第一目標模型，並利用所述第一目標模型，獲取所述樣本圖像的損失資訊，以及所述第一目標模型中的所述任一層網路層的下一層網路層輸出所述樣本圖像的第一特徵資料。 S102：基於所述損失資訊以及所述第一特徵資料，確定分類損失指導資訊。 S103：基於所述分類損失指導資訊，對所述任一層網路層執行通道剪枝處理。
下面分別對上述S101~S103加以詳細說明。
I：在上述S101中，模型壓縮進度，用於指示當前進行剪枝處理的網路層在待壓縮模型中的位置，以及在此之前，已經進行過通道剪枝處理的網路層在待壓縮模型中的位置。
在一些可選實施例中，在對待壓縮模型中的所有網路層均進行通道剪枝處理的時候，模型壓縮進度，可以僅用於指示當前進行剪枝處理的網路層在待壓縮模型中的位置。
假設上述任一層網路層為待壓縮模型中的第
Figure 02_image003
層網路層，在第
Figure 02_image003
層網路層是待壓縮模型中待進行通道剪枝處理的第一層網路層的情況下，則對應的第一目標模型包括：待壓縮模型。
在一種可能的實施例中，
Figure 02_image003
=1，也即，第
Figure 02_image003
層網路層是待壓縮模型中的第一層網路層；在第
Figure 02_image003
層網路層之前不存在其他的網路層，要對第
Figure 02_image003
層網路層進行通道剪枝處理，則第
Figure 02_image003
層網路層即為待壓縮模型中待進行通道剪枝處理的第一層網路層。此時，第一目標模型即為待壓縮模型。
在另一種可能的實施例中，
Figure 02_image003
為大於1的正整數，例如
Figure 02_image003
=5，也即第
Figure 02_image003
層網路層是待壓縮模型中的第5層網路層；在第
Figure 02_image003
層網路層之前的第1層~第4層網路層均不需要進行通道剪枝處理，則第
Figure 02_image003
層網路層也為待壓縮模型中待進行通道剪枝處理的第一層網路層。在該種情況下，第一目標模型也為待壓縮模型。
在第
Figure 02_image003
層網路層並非待壓縮模型中待進行通道剪枝處理的第一層網路層的情況下，則對應的第一目標模型包括：已經進行通道剪枝處理的網路層，以及待壓縮模型中其他未進行通道剪枝處理的網路層。
例如，某待壓縮模型中包括L層網路層，分別記為a1~aL；其中，需要對其中的第1層網路層a1、第3層網路層a3、第5層網路層a5共三層網路層進行通道剪枝處理。在
Figure 02_image003
=5的情況下，由於已經完成了對a1的通道剪枝處理，得到已進行通道剪枝處理後的網路層a1’；也已經完成了對a3的通道剪枝處理，得到進行通道剪枝處理後的網路層a3’，此時第一目標模型包括：a1’、a2、a3’、以及a4~aL。
本申請實施例以待壓縮模型中包括L層網路層，對待處理模型中的第1層網路層至第L-1層網路層進行通道剪枝處理為例進行說明。
在對第
Figure 02_image003
層網路層進行通道剪枝處理時： 所述利用所述第一目標模型，獲取樣本圖像的損失資訊，例如可包括：將樣本圖像輸入至第一目標模型中，利用第一目標模型，獲取樣本圖像的分類損失預測結果，基於所述樣本圖像的分類損失預測結果，與所述樣本圖像對應的真實分類標籤，以及預先確定的損失函數，獲取所述樣本圖像的損失資訊。
在該示例中，第一目標模型的損失資訊例如表示為如下公式（1）：
Figure 02_image004
（1） 其中，
Figure 02_image006
表示第
Figure 02_image003
+1層網路層的輸出特徵為Y時，第一目標模型的分類損失函數；
Figure 02_image008
表示交叉熵損失函數；
Figure 02_image010
表示樣本圖像的真實分類標籤。
Figure 02_image012
表示在對第
Figure 02_image003
層網路層進行通道剪枝處理時，第
Figure 02_image003
+2層網路層至第L層網路層所映射成的函數；
Figure 02_image014
為該函數的參數，Y即為該函數的輸入。
進而，通過上述過程確定樣本圖像的損失資訊。上述損失資訊是在對第1層網路層至第
Figure 02_image003
-1層網路層進行了通道剪枝處理後，由已經進行了通道剪枝處理的網路層和未進行通道剪枝處理的網路層構成的第一目標模型對樣本圖像進行分類時所得到的損失資訊。
第一特徵資料是從第一目標模型中的第
Figure 02_image003
+1層網路層輸出的特徵資料。本申請實施例中，在確定了第一目標模型後，利用第一目標模型對樣本圖像進行圖像處理，每一層網路層均能夠得到表徵樣本圖像的特徵的特徵資料；將第一目標模型中第
Figure 02_image003
+1層網路層輸出的特徵資料確定為第一特徵資料。
II：在上述S102中，分類損失指導資訊，用於表徵要進行通道剪枝處理的網路層中各個卷積核的重要性程度。
在一些實施例中，可以採用下述方式得到分類損失指示資訊：利用損失資訊在所述第一目標模型中的反向傳播，確定損失函數相對於所述第一特徵資料的偏導數；將所述偏導數確定為所述分類損失指導資訊。
示例性的，例如分類損失指導資訊
Figure 02_image016
滿足下述公式（2）
Figure 02_image018
（2） 其中，
Figure 02_image020
表示損失函數；
Figure 02_image021
表示在對第
Figure 02_image001
層網路層進行通道剪枝處理後，第
Figure 02_image001
+1層網路層在第i個通道輸出的特徵資料；
Figure 02_image023
表示在對第
Figure 02_image001
層網路層進行通道剪枝處理前，第
Figure 02_image001
+1層網路層在第i個通道輸出的特徵資料，也即，第一目標模型的第
Figure 02_image001
+1層網路層在第i個通道輸出的特徵資料。
這裡需要注意的是，由於在對第
Figure 02_image001
層網路層進行通道剪枝處理的時候，需要不斷的嘗試減去第
Figure 02_image001
層網路層中的某些通道，以形成多種剪枝方案，最終擬合剪枝處理的結果。因此，在擬合剪枝處理的過程中，
Figure 02_image021
是一個變數；不同的剪枝方案，對應有不同的
Figure 02_image021
。
Figure 02_image025
表示使用損失函數對變數
Figure 02_image021
求偏導，其約束條件是指分類損失指導資訊
Figure 02_image016
的值為在
Figure 02_image027
的情況下確定的。進而，該步驟表述為基於所述損失資訊、以及所述第一特徵資料，確定分類損失指導資訊。
III：在上述S103中，在確定了分類損失指導資訊後，能夠基於該分類損失指導資訊對第
Figure 02_image001
層網路層進行通道剪枝處理。
示例性的，可以採用下述方式對任一層網路層進行通道剪枝處理： 基於所述分類損失指導資訊以及所述樣本圖像的第二特徵資料，確定通道選擇指示資訊；所述通道選擇指示資訊用於指示要保留的通道；所述樣本圖像的所述第二特徵資料，為利用待壓縮模型對所述樣本圖像進行處理時從所述任一層網路層的下一層網路層輸出的特徵資料； 基於所述通道選擇指示資訊，調整所述任一網路層中的卷積核。
在具體實施中，例如若對第
Figure 02_image001
層網路層進行通道剪枝處理，則首先可以利用待壓縮模型對樣本圖像進行處理時，得到待壓縮模型的第
Figure 02_image001
+1層網路層輸出的樣本圖像的第二特徵資料，再基於分類損失指導資訊以及該第二特徵資料，確定通道選擇指示資訊。
示例性的，第i個通道選擇指示資訊
Figure 02_image029
滿足下述公式（3）：
Figure 02_image031
（3） 其中，
Figure 02_image033
表示第
Figure 02_image001
+1層網路層的輸出通道數；
Figure 02_image035
表示輸出特徵的第i個通道。
Figure 02_image037
表示分類損失指導資訊，其滿足上述公式（2）。
Figure 02_image038
是包含一組二進位通道選擇指示符的向量中的一個元素，在該公式中，其與第
Figure 02_image001
層網路層輸出特徵的一個輸出通道對應，用於指示對應的輸出通道是否需要被剪枝，在該向量中包括的元素的數量與第
Figure 02_image001
+1層網路層的輸入通道數，也即與第
Figure 02_image001
層網路層的輸出通道數相同。其中，
Figure 02_image040
表示第
Figure 02_image001
+1層網路層的輸入通道數。其與第
Figure 02_image001
層網路層的輸出通道一一對應。
例如，當與第
Figure 02_image001
層網路層中的某個輸出通道對應的
Figure 02_image029
為0時，指示對該輸出通道進行剪枝，也即刪除該輸出通道，具體操作為刪除與該輸出通道對應的卷積核；當與第
Figure 02_image001
層網路層中的某個輸出通道對應的
Figure 02_image029
為1時，指示不對該輸出通道進行剪枝，也即保留該通道，具體操作為保留與該輸出通道對應的卷積核。
其中，
Figure 02_image042
表示第二特徵資料。
Figure 02_image044
表示在對第
Figure 02_image001
層網路層進行通道剪枝處理後、第
Figure 02_image001
+1層網路層輸出的特徵資料。需要說明的是，上述公式（3）為在基於所述分類損失指導資訊和所述樣本圖像的第二特徵資料，確定通道選擇指示資訊時的目標函數。這裡的
Figure 02_image044
實際上是在擬合目標函數時，基於的
Figure 02_image029
不同值所確定的，在對目標函數進行擬合的過程中，實際上並未對第
Figure 02_image001
層網路層的卷積核進行調整。在基於該目標函數確定了
Figure 02_image029
後，才會基於最終確定的
Figure 02_image029
調整所述任一網路層中的卷積核。在擬合目標函數時，例如可以採用最小絕對收縮選擇運算元（Least Absolute Shrinkage and Selection Operator，LASSO）演算法來實現。
其中，
Figure 02_image046
表示重構誤差。具體地，在對第
Figure 02_image001
層網路層進行通道剪枝的過程中、在對第
Figure 02_image001
層網路層進行通道剪枝前和通道剪枝後，第
Figure 02_image001
+1層網路層輸出的特徵資料之間的誤差要儘量小。
其中，
Figure 02_image048
表示
Figure 02_image050
的L0範數。B是指在對第
Figure 02_image001
層網路層進行通道剪枝後，剩餘通道的數量。這裡，B一般是預先確定的，其用於約束在對第
Figure 02_image001
層網路層進行通道剪枝後，剩餘的通道數量不能超出B。
在另一實施例中，由於求解上述公式（3）是一個非確定多項式（Non-Deterministic Polynomial Problems，NP）難題，可以將L0範數正則化放寬為L1範數正則化，並得出以下目標函數（4）：
Figure 02_image051
（4） 其中，
Figure 02_image053
增加，使得二進位通道選擇指示符的向量中的0的數量增加，也即減去的通道的數量會增加；
Figure 02_image053
減小，使得二進位通道選擇指示符的向量中的1的數量增加，也即減去的通道的數量會減少；在求解目標函數時不斷嘗試
Figure 02_image053
的取值；例如在某種剪枝方案下逐漸增加
Figure 02_image053
，直至滿足約束條件
Figure 02_image055
。 其中，
Figure 02_image057
表示
Figure 02_image029
的L1範數。其他參數參照針對公式（3）的描述，在此不再贅述。
另外，考慮到各個通道中空間位置M的總和以及位置m的索引，上述公式（3）還可以表示成下述公式（5）的形式：
Figure 02_image059
（5） 其中，
Figure 02_image061
表示待壓縮模型的第
Figure 02_image001
+1層網路層在第i個通道的第m個位置的輸出特徵；
Figure 02_image063
表示在對第
Figure 02_image001
層網路層進行通道剪枝處理後、第
Figure 02_image001
+1層網路層在第i個通道的第m個位置輸出的特徵資料。其他參數參照針對公式（3）的描述，在此不再贅述。
在得到通道選擇指示資訊後，基於該通道選擇指示資訊，調整第
Figure 02_image001
層網路層的卷積核。示例性的，如某一通道對應的通道選擇指示資訊的值為0，則刪除與該通道對應的卷積核；若某一通道對應的通道選擇指示資訊的值為1，則保留與該通道對應的卷積核。
為了解決本申請實施例中提出的下一層特徵消除問題，本申請實施例還提供另一種基於損失資訊以及第一特徵資料，確定分類損失指導資訊的方法，包括：基於所述損失資訊以及所述第一特徵資料，確定分類損失指導資訊以及特徵重要性指導資訊。
在該種情況下，所述基於所述分類損失指導資訊，對所述任一層網路層執行通道剪枝處理，包括：基於所述分類損失指導資訊、特徵重要性指導資訊以及所述樣本圖像的第二特徵資料，確定通道選擇指示資訊；基於所述通道選擇指示資訊，調整所述任一網路層中的卷積核。所述樣本圖像的第二特徵資料，為利用待壓縮模型對所述樣本圖像進行處理時從所述任一層網路層的下一層網路層輸出的特徵資料。
這裡，特徵重要性指導資訊用於指示特徵資料中不同位置的元素值的重要性程度。示例性的，可以基於第一特徵資料以及預先確定的調整參數，確定特徵重要性指導資訊。
例如，特徵重要性指導資訊
Figure 02_image065
滿足下述公式（6）：
Figure 02_image067
（6） 其中，
Figure 02_image069
為一預先確定的常數，用於調節
Figure 02_image071
的影響程度；可以根據需要進行設定。例如可以將其設定為1、0.9、1.1等。
則此時，該第i個通道選擇指示資訊
Figure 02_image029
滿足下述公式（7）：
Figure 02_image072
（7） 其他參數參照上述公式（3）的描述，在此不再贅述。
類似的，將上述公式（7）中的L0範數正則化放寬為L1範數正則化後，可以得出下述目標函數（8）：
Figure 02_image074
（8）
另外，考慮到各個通道中空間位置M的總和以及位置m的索引，上述公式（7）還可以表示成下述公式（9）的形式：
Figure 02_image076
（9） 其他參數參照上述公式（5）的描述，在此不再贅述。
另外，在本申請另一實施例中，也可以僅僅基於特徵重要性指導資訊確定通道選擇指示資訊。
在該種情況下，所述基於所述分類損失指導資訊，對所述任一層網路層執行通道剪枝處理，例如可以包括：基於特徵重要性指導資訊以及所述樣本圖像的第二特徵資料，確定通道選擇指示資訊；基於所述通道選擇指示資訊，調整所述任一網路層中的卷積核。所述樣本圖像的第二特徵資料，為利用待壓縮模型對所述樣本圖像進行處理時從所述任一層網路層的下一層網路層輸出的特徵資料。
示例性的，目標函數可以表示為下述公式（10）：
Figure 02_image078
（10）
該目標函數可以等效地重寫如下述公式（11）：
Figure 02_image080
（11） 其中，對於大多數空間位置m，
Figure 02_image082
時，第i個通道更有可能在對第
Figure 02_image001
層網路層進行通道剪枝時被刪除。在這種情況下，可以使用
Figure 02_image084
的重構誤差。另一方面，如果在對第
Figure 02_image001
層網路層進行通道剪枝時、第i個通道沒有被刪除，可以使用
Figure 02_image086
的重構誤差。由於在相關技術中，對第
Figure 02_image001
層網路層進行通道剪枝的結果是由許多因素決定的，包括空間位置m、輸入的樣本圖像和待壓縮模型的參數，因此很難預測是否在對第
Figure 02_image001
層網路層進行通道剪枝時刪除該通道，進而本申請實施例中採用
Figure 02_image088
來指導對第
Figure 02_image001
層網路層的通道剪枝。
本申請另一實施例中，在基於所述分類損失指導資訊，對所述任一層網路層執行通道剪枝處理後，還包括下述步驟S104： S104：基於已進行剪枝處理後的所述任一層網路層，對所述任一層網路層的下一層網路層進行參數更新處理。
在具體實施中，例如任一層網路層為第
Figure 02_image001
層網路層；則第
Figure 02_image001
層網路層的下一層網路層為第
Figure 02_image001
+1層網路層。例如可以採用下述方式對第
Figure 02_image001
+1層網路層進行參數更新處理： 基於已進行剪枝處理後的第
Figure 02_image001
層網路層，對所述第
Figure 02_image001
+1層網路層中的各個卷積核進行通道調整。
基於已進行剪枝處理後的第
Figure 02_image001
層網路層、以及進行了卷積核通道調整的第
Figure 02_image001
+1層網路層，確定第二目標模型；並利用所述第二目標模型，獲取所述第二目標模型中的第
Figure 02_image001
+1層網路層輸出所述樣本圖像的第三特徵資料；以及利用待壓縮模型對圖像進行處理時的所述任一層網路層輸出的第二特徵資料，得到第
Figure 02_image001
+1層網路層的權重參數；基於所述權重參數，對第
Figure 02_image001
+1層網路層的原始權重參數進行更新處理。
在具體實施中，由於要保持第
Figure 02_image001
層網路層的輸出通道和第
Figure 02_image001
+1層網路層的輸入通道數量的一致；當第
Figure 02_image001
層網路層的輸出通道數量發生變化時，需要調整第
Figure 02_image001
+1層網路層的輸入通道數量。
例如，第
Figure 02_image001
層網路層的輸出通道數量為6；某特徵圖在經過第
Figure 02_image001
層網路層處理後，輸出特徵圖維度為6*10*24，也即第
Figure 02_image001
+1層網路層的輸入通道數也為6；若第
Figure 02_image001
+1層網路層中有64個6*3*3的卷積核；若刪除第
Figure 02_image001
層網路層中的1個輸出通道，則特徵圖在經過刪除了輸出通道後的第
Figure 02_image001
層網路層處理後，輸出的特徵圖維度為5*10*24；在保證
Figure 02_image001
+1層網路層的輸出通道不變的情況下，需要對第
Figure 02_image001
+1層網路層中的64個6*3*3的卷積核分別進行通道刪除，最終第
Figure 02_image001
+1層網路層中的64個卷積核的維度為：5*3*3。
其中，刪除的卷積核的通道，與刪除的第
Figure 02_image001
層網路層的輸出通道一致。
如第
Figure 02_image001
層網路的輸出通道分別為m1至m6；第
Figure 02_image001
+1層網路層的卷積核的通道分別為m1’ 至m6’，若將第
Figure 02_image001
層網路的輸出通道m3刪除；對應的，要將第
Figure 02_image001
+1層網路層的卷積核的通道m3’刪除。
在對
Figure 02_image001
+1層網路層的卷積核進行通道調整後，基於進行了剪枝處理後的第
Figure 02_image001
層網路、以及已進行卷積核通道調整的第
Figure 02_image001
+1層網路層，確定第二目標模型。
第一目標模型和第二目標模型的區別在於：第一目標模型中，第
Figure 02_image001
層網路層是經過通道剪枝操作前的網路層，且第
Figure 02_image001
+1層網路層也是待壓縮模型中原始的第
Figure 02_image001
+1層網路層；在第二目標模型中，第
Figure 02_image001
層網路層是經過通道剪枝操作後的網路層，第
Figure 02_image001
+1層網路層是進行了卷積核通道調整的第
Figure 02_image001
+1層網路層。其具體構成可以參見上述實施例描述，在此不再贅述。
在一些可選實施例中，由於在第
Figure 02_image001
層網路層中已經去除了某些通道對應的卷積核，第
Figure 02_image001
+1層網路層的卷積核也進行了相應調整，因此還需要適應性的調整第
Figure 02_image001
+1層網路層的參數。
在一些可選實施例中，在對第
Figure 02_image001
層網路層執行了通道剪枝操作後，由於對第
Figure 02_image001
層網路層影響較小的通道已經被刪除，剩下的其他通道都是較為重要的通道，因此可以將第
Figure 02_image001
層網路層中剩下的各個通道視為同等重要。進而，例如可以令
Figure 02_image090
，並降低分類損失指示資訊
Figure 02_image016
，並通過解決具有固定通道選擇指示資訊的最小二乘優化問題來最小化重構誤差
Figure 02_image092
，也即，第
Figure 02_image001
+1層網路層的權重參數
Figure 02_image093
滿足下述公式（12）：
Figure 02_image094
（12）
進而根據上述公式（12）得到第
Figure 02_image001
+1層網路層的權重參數，並基於該權重參數對第
Figure 02_image001
+1層網路層的權重參數進行更新處理。
例如：輸入待壓縮模型
Figure 02_image096
，其中
Figure 02_image098
， 其中
Figure 02_image100
是第
Figure 02_image001
層網路層的參數，Θ是不會被修剪的其他網路層（例如，全連接層）的參數。
基於下述步驟輸出壓縮模型
Figure 02_image102
，然後重新使用樣本圖像對其進行訓練。 1：利用待壓縮模型為樣本圖像提取第1層至第L層網路層中、每層網路層分別對應的第二特徵資料
Figure 02_image104
。其中，
Figure 02_image106
表示在對第
Figure 02_image001
層網路層進行通道剪枝處理時、第
Figure 02_image001
+1層網路層對應的特徵資料
Figure 02_image108
中的第i個輸出通道輸出的特徵資料； 2：設置
Figure 02_image110
； 3：從l =1至l =L -1，執行下述步驟4至步驟9： 4：根據當前的壓縮模型
Figure 02_image112
，使用正向傳播來計算
Figure 02_image113
，其中上標
Figure 02_image115
表示第
Figure 02_image001
+1層網路層。 5：使用反向傳播計算分類損失指導資訊
Figure 02_image117
，其中
Figure 02_image119
是當前壓縮模型在第
Figure 02_image001
+1層網路層第i個通道的輸出特徵資料； 6、基於LASSO優化演算法以及公式（7），獲得第
Figure 02_image001
層網路層的通道選擇指示資訊
Figure 02_image121
； 7、通過刪除第k個卷積核以修剪第
Figure 02_image001
層網路層中的通道，其中k是
Figure 02_image123
中所有
Figure 02_image124
的索引，將刪除了通道之後的第
Figure 02_image001
層網路層對應的權重設為
Figure 02_image126
；以及基於
Figure 02_image128
調整第
Figure 02_image001
+1層網路層中的各個卷積核的通道； 8、基於最小二乘優化方法，以及公式（12），獲得第
Figure 02_image001
+1層網路層的調整權重
Figure 02_image129
，並基於
Figure 02_image131
來更新調整了卷積核通道的第
Figure 02_image001
+1層網路層中的參數； 9、得到壓縮模型：
Figure 02_image132
。
在執行完上述迴圈步驟之後，最終得到的壓縮模型為：
Figure 02_image134
。
在本申請另一實施例中，在基於上述步驟得到壓縮模型後，還可以利用樣本圖像對壓縮模型進行微調處理。例如可以利用壓縮模型獲得樣本圖像的分類結果，並基於分類結果以及樣本圖像的分類標籤，確定樣本圖像的分類損失；基於分類損失，微調壓縮模型的參數，從而可以提高壓縮後的模型的識別精度。
本申請實施例根據在對待壓縮模型中的多層網路層中的任一層網路層對應通道剪枝處理時的模型壓縮進度，確定第一目標模型，並利用所述第一目標模型，獲取所述樣本圖像的損失資訊，以及第一目標模型中的所述任一層網路層的下一層網路層輸出所述樣本圖像的第一特徵資料；基於所述損失資訊以及所述第一特徵資料，確定分類損失指導資訊，並基於所述分類損失指導資訊，對所述任一層網路層執行通道剪枝處理。從而能夠在每次僅針對一層神經網路進行剪枝的時候，基於分類損失指導資訊指導該層神經網路的通道剪枝處理，避免在壓縮完成後對模型的損失造成較大影響，進而能夠保證壓縮效率，又能夠兼顧壓縮效果。
另外，本申請另一實施例還利用了特徵重要性指導資訊確定通道選擇指示資訊，並基於通道選擇資訊來對所述任一層網路層執行通道剪枝處理。使用特徵重要性指導資訊作為對第
Figure 02_image001
層網路層進行通道剪枝時的指導，有效地避免了將不具備資訊性的特徵所造成的重構誤差降到最低，這些資訊將在對第
Figure 02_image001
+1層網路層進行通道剪枝過程中被刪除，因此可以獲得合理的結果。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
基於同一發明構思，本申請實施例中還提供了與模型壓縮方法對應的模型壓縮裝置，由於本申請實施例中的裝置解決問題的原理與本申請實施例上述模型壓縮方法相似，因此裝置的實施可以參見方法的實施，重複之處不再贅述。
本申請實施例還提供一種圖像處理方法，包括：獲取待處理圖像；利用基於本申請前述任一實施例所提供的模型壓縮方法確定的圖像處理模型，對所述待處理圖像執行圖像處理任務。本申請實施例所提供的圖像處理方法的執行主體一般為具有一定計算能力的電腦設備，該電腦設備例如包括：終端設備或伺服器或其它處理設備，終端設備可以為使用者設備（User Equipment，UE）、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該圖像處理方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
在一些可選實施例中，所述待處理圖像可以通過電腦設備上設置的攝影裝置直接採集得到，也可以通過通信方式從其他設備或儲存裝置上獲取得到。
本實施例中，圖像處理任務例如包括：動作識別、人臉識別、人臉情緒識別、人臉關鍵點識別、活體識別中至少一種圖像處理任務。
本申請實施例可以基於預定的圖像處理任務，確定樣本圖像和與各樣本圖像對應的標籤；基於樣本圖像和各樣本圖像對應的標籤，訓練得到待壓縮模型，基於本申請前述任一實施例所提供的模型壓縮方法對其進行壓縮處理；得到壓縮模型後，還可以再利用一些樣本圖像對壓縮模型進行微調，得到訓練完成的圖像處理模型。
本申請實施例提供的圖像處理方法，是利用基於本申請實施例提供的模型壓縮方法確定的圖像處理模型來執行圖像處理任務。由於本申請實施例提供的模型壓縮方法能夠帶來更好的壓縮效果，也即得到的壓縮模型較之當前技術得到的壓縮模型的模型規模更小，計算複雜度也更低，因此更適用於嵌入式設備進行圖像處理。
參照圖2所示，為本申請實施例提供的一種模型壓縮裝置的示意圖，所述裝置包括：獲取模組21、確定模組22和剪枝模組23；其中， 所述獲取模組21，配置為針對待壓縮模型中的多層網路層中的至少一層網路層中的任一層網路層，根據在對所述任一層網路層對應通道剪枝處理時的模型壓縮進度，確定第一目標模型，並利用所述第一目標模型，獲取樣本圖像的損失資訊，以及所述第一目標模型中的所述任一層網路層的下一層網路層輸出所述樣本圖像的第一特徵資料； 所述確定模組22，配置為基於所述損失資訊以及所述第一特徵資料，確定分類損失指導資訊； 所述剪枝模組23，配置為基於所述分類損失指導資訊，對所述任一層網路層執行通道剪枝處理。
本申請實施例根據在對任一層網路層對應通道剪枝處理時的模型壓縮進度，確定第一目標模型，並利用所述第一目標模型，獲取所述樣本圖像的損失資訊，以及第一目標模型中的所述任一層網路層的下一層網路層輸出所述樣本圖像的第一特徵資料；基於所述損失資訊以及所述第一特徵資料，確定分類損失指導資訊，並基於所述分類損失指導資訊，對所述任一層網路層執行通道剪枝處理。從而能夠在每次僅針對一層神經網路進行剪枝的時候，基於分類損失指導資訊指導該層神經網路的通道剪枝處理，避免在壓縮完成後對模型的損失造成較大影響，進而能夠保證壓縮效率，又能夠兼顧壓縮效果。
在一種可能的實施方式中，所述裝置還包括：更新模組24，用於配置為在所述剪枝模組23對所述任一層網路層執行通道剪枝處理後，基於已進行剪枝處理後的所述任一層網路層，對所述任一層網路層的下一層網路層進行參數更新處理。
在一種可能的實施方式中，所述確定模組22，配置為基於所述損失資訊以及所述第一特徵資料，確定分類損失指導資訊以及特徵重要性指導資訊。
在一種可能的實施方式中，所述確定模組22，配置為基於所述第一特徵資料以及預先確定的調整參數，確定所述特徵重要性指導資訊。
在一種可能的實施方式中，針對所述任一層網路層為待進行通道剪枝處理的第一層網路層的情況，所述第一目標模型為：所述待壓縮模型； 針對所述任一層網路層並非待進行通道剪枝處理的第一層網路層的情況，所述第一目標模型包括：已經進行通道剪枝處理的網路層，以及所述待壓縮模型中其他未進行通道剪枝處理的網路層。
在一種可能的實施方式中，所述獲取模組21，配置為利用所述第一目標模型，獲取所述樣本圖像的分類損失預測結果；基於所述樣本圖像的分類損失預測結果、所述樣本圖像對應的真實分類標籤以及預先確定的損失函數，獲取所述樣本圖像的損失資訊。
在一種可能的實施方式中，所述確定模組22，配置為利用所述損失資訊在所述第一目標模型中的反向傳播，確定損失函數相對於所述第一特徵資料的偏導數；將所述偏導數確定為所述分類損失指導資訊。
在一種可能的實施方式中，所述剪枝模組23，配置為基於所述分類損失指導資訊以及所述樣本圖像的第二特徵資料，確定通道選擇指示資訊；或者，基於特徵重要性指導資訊以及所述樣本圖像的第二特徵資料，確定通道選擇指示資訊；又或者，基於所述分類損失指導資訊、特徵重要性指導資訊以及所述樣本圖像的第二特徵資料，確定通道選擇指示資訊；基於所述通道選擇指示資訊，調整所述任一網路層中的卷積核；其中，所述通道選擇指示資訊用於指示要保留的通道；所述樣本圖像的第二特徵資料，為利用待壓縮模型對所述樣本圖像進行處理時從所述任一層網路層的下一層網路層輸出的特徵資料。
在一種可能的實施方式中，所述更新模組24，配置為基於已進行剪枝處理後的所述任一層網路，對所述任一層網路的下一層網路中的各個卷積核的進行通道調整；基於已進行剪枝處理後的所述任一層網路、以及已進行卷積核通道調整的所述下一層網路層，確定第二目標模型，並利用所述第二目標模型，獲取所述第二目標模型中的所述已進行剪枝處理後的所述任一層網路層的下一層網路層輸出所述樣本圖像的第三特徵資料；以及利用待壓縮模型對圖像進行處理時的所述任一層網路層輸出的第二特徵資料，得到所述下一層網路層的權重參數；基於所述權重參數，對所述下一層網路層的原始權重參數進行更新處理。
上述實施例提供的模型壓縮裝置在進行模型壓縮時，僅以上述各程式模組的劃分進行舉例說明，實際應用中，可以根據需要而將上述處理分配由不同的程式模組完成，即將裝置的內部結構劃分成不同的程式模組，以完成以上描述的全部或者部分處理。另外，上述實施例提供的模型壓縮裝置與模型壓縮方法實施例屬於同一構思，其具體實現過程詳見方法實施例，這裡不再贅述。
本申請實施例還提供一種圖像處理裝置，所述圖像處理裝置包括：獲取單元和處理單元；所述獲取單元配置為獲取待處理圖像；所述處理單元配置為利用本申請前述任一實施例所提供的模型壓縮方法確定的圖像處理模型，對所述待處理圖像執行圖像處理任務。
本申請實施例還提供了一種電腦設備，如圖3所示，為本申請實施例提供的電腦設備30結構示意圖，所述電腦設備30包括：相互連接的處理器31和記憶體32，所述記憶體32儲存有所述處理器31可執行的電腦可讀指令，當電腦設備運行時，所述電腦可讀指令被所述處理器31執行時執行如本申請前述任一實施例提供的模型壓縮方法的步驟；或所述電腦可讀指令被所述處理器31執行時利用本申請實施例提供的模型壓縮方法確定的圖像處理模型，對待處理圖像執行圖像處理任務。
可以理解，電腦設備30中的各個元件可通過匯流排系統耦合在一起。可理解，匯流排系統用於實現這些元件之間的連接通信。
上述本發明實施例揭示的方法可以應用於處理器31中，或者由處理器31實現。處理器31可能是一種積體電路晶片，具有信號的處理能力。在實現過程中，上述方法的各步驟可以通過處理器31中的硬體的集成邏輯電路或者軟體形式的指令完成。上述的處理器31可以是通用處理器、數位訊號處理器（Digital Signal Processor，DSP），或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。處理器31可以實現或者執行本發明實施例中的公開的各方法、步驟及邏輯框圖。通用處理器可以是微處理器或者任何常規的處理器等。結合本發明實施例所公開的方法的步驟，可以直接體現為硬體解碼處理器執行完成，或者用解碼處理器中的硬體及軟體模組組合執行完成。軟體模組可以位於儲存介質中，該儲存介質位於記憶體32，處理器31讀取記憶體32中的資訊，結合其硬體完成前述方法的步驟。
可以理解，記憶體32可以是易失性記憶體或非易失性記憶體，也可包括易失性和非易失性記憶體兩者。
本申請實施例還提供了一種電腦可讀儲存介質，該電腦可讀儲存介質上儲存有電腦程式，該電腦程式被處理器運行時執行本申請實施例提供的模型壓縮方法的步驟，或者，該電腦程式被處理器運行時執行利用本申請實施例提供的模型壓縮方法確定的圖像處理模型，執行圖像處理任務。
本申請實施例所提供的電腦程式產品，包括儲存了程式碼的電腦可讀儲存介質，所述程式碼包括的指令可用於執行上述方法實施例中所述的模型壓縮方法或圖像處理方法的步驟，具體可參見上述方法實施例，在此不再贅述。
本申請實施例還提供一種電腦程式，該電腦程式被處理器執行時實現前述實施例的任意一種模型壓縮方法或圖像處理方法的步驟。該電腦程式產品可以具體通過硬體、軟體或其結合的方式實現。在一個可選實施例中，所述電腦程式產品具體體現為電腦儲存介質，在另一個可選實施例中，電腦程式產品具體體現為軟體產品，例如軟體發展包（Software Development Kit，SDK）等等。
所屬領域的技術人員可以清楚地瞭解到，為描述的方便和簡潔，上述描述的系統和裝置的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。在本申請所提供的幾個實施例中，應該理解到，所揭露的系統、裝置和方法，可以通過其它的方式實現。以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，又例如，多個單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些通信介面，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外，在本申請各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。
所述功能如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個處理器可執行的非易失的電腦可讀取儲存介質中。基於這樣的理解，本申請的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台電腦設備（可以是個人電腦，伺服器，或者網路設備等）執行本申請各個實施例所述方法的全部或部分步驟。而前述的儲存介質包括：U盤、移動硬碟、唯讀記憶體（Read-Only Memory，ROM）、隨機存取記憶體（Random Access Memory，RAM）、磁碟或者光碟等各種可以儲存程式碼的介質。
最後應說明的是：以上所述實施例，僅為本申請的具體實施方式，用以說明本申請的技術方案，而非對其限制，本申請的保護範圍並不局限於此，儘管參照前述實施例對本申請進行了詳細的說明，本領域的普通技術人員應當理解：任何熟悉本技術領域的技術人員在本申請揭露的技術範圍內，其依然可以對前述實施例所記載的技術方案進行修改或可輕易想到變化，或者對其中部分技術特徵進行等同替換；而這些修改、變化或者替換，並不使相應技術方案的本質脫離本申請實施例技術方案的精神和範圍，都應涵蓋在本申請的保護範圍之內。因此，本申請的保護範圍應所述以申請專利範圍的保護範圍為準。
21:獲取模組 22:確定模組 23:剪枝模組 24:更新模組 30:電腦設備 31:處理器 32:記憶體
為了更清楚地說明本申請實施例的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，此處的附圖被併入說明書中並構成本說明書中的一部分，這些附圖示出了符合本申請的實施例，並與說明書一起用於說明本申請的技術方案。應當理解，以下附圖僅示出了本申請的某些實施例，因此不應被看作是對範圍的限定，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他相關的附圖。 圖1示出了本申請實施例所提供的一種模型壓縮方法的流程圖； 圖2示出了本申請實施例所提供的一種模型壓縮裝置的示意圖； 圖3示出了本申請實施例所提供的一種電腦設備的示意圖。
S101:步驟
S102:步驟
S103:步驟
S104:步驟

Claims (11)

  1. 一種模型壓縮方法，包括：針對待壓縮模型中的多層網路層中的至少一層網路層中的任一層網路層，根據在對所述任一層網路層對應通道剪枝處理時的模型壓縮進度，確定第一目標模型，並利用所述第一目標模型，獲取樣本圖像的損失資訊，以及所述第一目標模型中的所述任一層網路層的下一層網路層輸出所述樣本圖像的第一特徵資料；基於所述損失資訊以及所述第一特徵資料，確定分類損失指導資訊；基於所述分類損失指導資訊，對所述任一層網路層執行通道剪枝處理；其中，所述利用所述第一目標模型，獲取樣本圖像的損失資訊，包括：利用所述第一目標模型，獲取所述樣本圖像的分類損失預測結果；基於所述樣本圖像的分類損失預測結果、所述樣本圖像對應的真實分類標籤以及預先確定的損失函數，獲取所述樣本圖像的損失資訊。
  2. 根據請求項1所述的模型壓縮方法，其中，在對所述任一層網路層執行通道剪枝處理後，所述方法還包括：基於已進行剪枝處理後的所述任一層網路層，對所述任一層網路層的下一層網路層進行參數更新處理。
  3. 根據請求項1或2所述的模型壓縮方法，其中，所述基於所述損失資訊以及所述第一特徵資料，確定分類損失指導資訊，包括：基於所述損失資訊以及所述第一特徵資料，確定分類損失指導資訊以及特徵重要性指導資訊。
  4. 根據請求項3所述的模型壓縮方法，其中，基於所述損失資訊以及所述第一特徵資料，確定特徵重要性指導資訊，包括：基於所述第一特徵資料以及預先確定的調整參數，確定所述特徵重要性指導資訊。
  5. 根據請求項1或2所述的模型壓縮方法，其中，針對所述任一層網路層為待進行通道剪枝處理的第一層網路層的情況，所述第一目標模型為：所述待壓縮模型；針對所述任一層網路層並非待進行通道剪枝處理的第一層網路層的情況，所述第一目標模型包括：已經進行通道剪枝處理的網路層，以及所述待壓縮模型中其他未進行通道剪枝處理的網路層。
  6. 根據請求項1或2所述的模型壓縮方法，其中，所述基於所述損失資訊以及所述第一特徵資料，確定分類損失指導資訊，包括：利用所述損失資訊在所述第一目標模型中的反向傳播，確定損失函數相對於所述第一特徵資料的偏導數；將所述偏導數確定為所述分類損失指導資訊。
  7. 根據請求項1或2所述的模型壓縮方法，其 中，所述基於所述分類損失指導資訊，對所述任一層網路層執行通道剪枝處理，包括：基於所述分類損失指導資訊以及所述樣本圖像的第二特徵資料，確定通道選擇指示資訊；或者，基於特徵重要性指導資訊以及所述樣本圖像的第二特徵資料，確定通道選擇指示資訊；又或者，基於所述分類損失指導資訊、特徵重要性指導資訊以及所述樣本圖像的第二特徵資料，確定通道選擇指示資訊；基於所述通道選擇指示資訊，調整所述任一網路層中的卷積核；其中，所述通道選擇指示資訊用於指示要保留的通道；所述樣本圖像的第二特徵資料，為利用待壓縮模型對所述樣本圖像進行處理時從所述任一層網路層的下一層網路層輸出的特徵資料。
  8. 根據請求項2所述的模型壓縮方法，其中，所述基於已進行剪枝處理後的所述任一層網路層，對所述任一層網路層的下一層網路層進行參數更新處理，包括：基於已進行剪枝處理後的所述任一層網路，對所述任一層網路的下一層網路中的各個卷積核進行通道調整；基於已進行剪枝處理後的所述任一層網路、以及已進行卷積核通道調整的所述下一層網路層，確定第二目標模型，並利用所述第二目標模型，獲取所述第二目標模型中的所述已進行剪枝處理後的所述任一層網路層的下一層網路層輸出所述樣本圖像的第三特徵資料；以及利用待壓縮模型 對圖像進行處理時的所述任一層網路層輸出的第二特徵資料，得到所述下一層網路層的權重參數；基於所述權重參數，對所述下一層的原始權重參數進行更新處理。
  9. 一種圖像處理方法，包括：獲取待處理圖像；利用圖像處理模型，對所述待處理圖像執行圖像處理任務；其中，所述圖像處理模型為基於請求項1至8任一項所述的模型壓縮方法對待壓縮模型進行壓縮後的模型；所述圖像處理模型包括多層網路層，所述多層網路層用於對所述待處理圖像執行所述圖像處理任務。
  10. 一種電腦設備，包括：相互連接的處理器和記憶體，所述記憶體儲存有所述處理器可執行的電腦可讀指令，當電腦設備運行時，所述電腦可讀指令被所述處理器執行時執行如請求項1至8任一項所述的模型壓縮方法的步驟，或者，所述電腦可讀指令被所述處理器執行時執行如請求項9所述的圖像處理方法的步驟。
  11. 一種電腦可讀儲存介質，該電腦可讀儲存介質上儲存有電腦程式，該電腦程式被處理器運行時執行如請求項1至8任意一項所述的模型壓縮方法的步驟，或者，該電腦程式被處理器運行時執行如請求項9所述的圖像處理方法的步驟。
TW109121223A 2020-04-13 2020-06-22 一種模型壓縮方法及圖像處理方法、電腦設備及儲存介質 TWI768382B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010286175.9 2020-04-13
CN202010286175.9A CN111488986B (zh) 2020-04-13 2020-04-13 一种模型压缩方法、图像处理方法以及装置

Publications (2)

Publication Number Publication Date
TW202139071A TW202139071A (zh) 2021-10-16
TWI768382B true TWI768382B (zh) 2022-06-21

Family

ID=71791551

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109121223A TWI768382B (zh) 2020-04-13 2020-06-22 一種模型壓縮方法及圖像處理方法、電腦設備及儲存介質

Country Status (5)

Country Link
JP (1) JP2022541359A (zh)
KR (1) KR20210129031A (zh)
CN (1) CN111488986B (zh)
TW (1) TWI768382B (zh)
WO (1) WO2021208151A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132279B (zh) * 2020-09-23 2023-09-15 平安科技（深圳）有限公司 卷积神经网络模型压缩方法、装置、设备及存储介质
CN114692816B (zh) * 2020-12-31 2023-08-25 华为技术有限公司 神经网络模型的处理方法和设备
CN112906870B (zh) * 2021-03-17 2022-10-18 清华大学 一种基于小样本的网络模型压缩云端服务方法和装置
CN114925821B (zh) * 2022-01-05 2023-06-27 华为技术有限公司 一种神经网络模型的压缩方法及相关系统
CN114819140A (zh) * 2022-03-31 2022-07-29 支付宝(杭州)信息技术有限公司 模型剪枝方法、装置和计算机设备
CN114813299B (zh) * 2022-05-10 2023-03-24 无锡市第五人民医院 一种药敏检测样品取样预处理混合装置
CN114913441B (zh) * 2022-06-28 2024-04-16 湖南大学 通道剪枝方法、目标检测方法及遥感图像车辆检测方法
CN115063673B (zh) * 2022-07-29 2022-11-15 阿里巴巴（中国）有限公司 模型压缩方法、图像处理方法、装置和云设备
CN115329952B (zh) * 2022-10-12 2023-01-20 深圳比特微电子科技有限公司 一种模型压缩方法、装置和可读存储介质
CN115543945B (zh) * 2022-11-29 2023-06-20 支付宝(杭州)信息技术有限公司 一种模型压缩的方法、装置、存储介质及电子设备
CN116189667B (zh) * 2023-04-27 2023-08-01 摩尔线程智能科技(北京)有限责任公司 语音处理模型的量化压缩方法、装置、设备和存储介质
CN116562346B (zh) * 2023-07-07 2023-11-10 深圳大学 基于l0范数的人工神经网络模型压缩方法及装置
CN116644781B (zh) * 2023-07-27 2023-09-29 美智纵横科技有限责任公司 模型压缩方法、数据处理方法、装置、存储介质及芯片

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180260695A1 (en) * 2017-03-07 2018-09-13 Qualcomm Incorporated Neural network compression via weak supervision

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229533A (zh) * 2017-11-22 2018-06-29 深圳市商汤科技有限公司 图像处理方法、模型剪枝方法、装置及设备
US10936913B2 (en) * 2018-03-20 2021-03-02 The Regents Of The University Of Michigan Automatic filter pruning technique for convolutional neural networks
WO2019190340A1 (en) * 2018-03-28 2019-10-03 Intel Corporation Channel pruning of a convolutional network based on gradient descent optimization
JP6951295B2 (ja) * 2018-07-04 2021-10-20 株式会社東芝 学習方法、学習装置および画像認識システム
CN110909861B (zh) * 2018-09-17 2023-05-30 北京市商汤科技开发有限公司 神经网络优化方法及装置、电子设备和存储介质
CN110929839B (zh) * 2018-09-20 2024-04-16 深圳市商汤科技有限公司 训练神经网络的方法和装置、电子设备和计算机存储介质
CN109671020B (zh) * 2018-12-17 2023-10-24 北京旷视科技有限公司 图像处理方法、装置、电子设备和计算机存储介质
CN109858613B (zh) * 2019-01-22 2021-02-19 鹏城实验室 一种深度神经网络的压缩方法、系统及终端设备
CN110443165B (zh) * 2019-07-23 2022-04-29 北京迈格威科技有限公司 神经网络量化方法、图像识别方法、装置和计算机设备
CN110490323A (zh) * 2019-08-20 2019-11-22 腾讯科技（深圳）有限公司 网络模型压缩方法、装置、存储介质和计算机设备
CN110705708A (zh) * 2019-10-10 2020-01-17 上海交通大学 卷积神经网络模型的压缩方法、装置及计算机存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180260695A1 (en) * 2017-03-07 2018-09-13 Qualcomm Incorporated Neural network compression via weak supervision

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
網路文獻 Luo et al. "LuoThiNet: A Filter Level Pruning Method for Deep Neural Network Compression" arXiv 2017/7/20 https://arxiv.org/pdf/1707.06342.pdf; *
網路文獻 Pavlo Molchanov et al. "PRUNING CONVOLUTIONAL NEURAL NETWORKS FOR RESOURCE EFFICIENT INFERENCE" arXiv 2017/6/8 https://arxiv.org/pdf/1611.06440.pdf *

Also Published As

Publication number Publication date
WO2021208151A1 (zh) 2021-10-21
CN111488986B (zh) 2023-06-27
CN111488986A (zh) 2020-08-04
KR20210129031A (ko) 2021-10-27
TW202139071A (zh) 2021-10-16
JP2022541359A (ja) 2022-09-26

Similar Documents

Publication Publication Date Title
TWI768382B (zh) 一種模型壓縮方法及圖像處理方法、電腦設備及儲存介質
CN107679525B (zh) 图像分类方法、装置及计算机可读存储介质
WO2019238029A1 (zh) 卷积神经网络系统和卷积神经网络量化的方法
CN110490296A (zh) 一种构造卷积神经网络（cnn）模型的方法和系统
CN110610237A (zh) 模型的量化训练方法、装置及存储介质
CN109242092B (zh) 图像处理方法和装置、电子设备、存储介质
CN109766800B (zh) 一种移动端花卉识别模型的构建方法
CN114677548B (zh) 基于阻变存储器的神经网络图像分类系统及方法
US20230252293A1 (en) Method of compressing neural network model and electronic apparatus for performing the same
CN111382863A (zh) 一种神经网络压缩方法及装置
JP2023505647A (ja) ニューラルネットワークモデルの圧縮
JPWO2019146189A1 (ja) ニューラルネットワークのランク最適化装置および最適化方法
CN114078195A (zh) 分类模型的训练方法、超参数的搜索方法以及装置
TWI751668B (zh) 影像歸一化處理方法、電腦可讀取記錄媒體和電子設備
CN115081598B (zh) 算子处理方法及装置、电子设备、计算机可读存储介质
WO2022088063A1 (zh) 神经网络模型的量化方法和装置、数据处理的方法和装置
CN116188878A (zh) 基于神经网络结构微调的图像分类方法、装置和存储介质
Liberis et al. Differentiable neural network pruning to enable smart applications on microcontrollers
Byun et al. BitNet: Learning-based bit-depth expansion
CN110874627A (zh) 数据处理方法、数据处理装置及计算机可读介质
US11507782B2 (en) Method, device, and program product for determining model compression rate
CN113705589A (zh) 数据处理方法、装置及设备
CN112464958A (zh) 多模态神经网络信息处理方法、装置、电子设备与介质
CN114925821B (zh) 一种神经网络模型的压缩方法及相关系统
CN117058525B (zh) 一种模型的训练方法、装置、存储介质及电子设备