TWI741877B - 網路模型量化方法、裝置及電子設備 - Google Patents

網路模型量化方法、裝置及電子設備 Download PDF

Info

Publication number
TWI741877B
TWI741877B TW109140401A TW109140401A TWI741877B TW I741877 B TWI741877 B TW I741877B TW 109140401 A TW109140401 A TW 109140401A TW 109140401 A TW109140401 A TW 109140401A TW I741877 B TWI741877 B TW I741877B
Authority
TW
Taiwan
Prior art keywords
quantization
network model
point
target floating
point network
Prior art date
Application number
TW109140401A
Other languages
English (en)
Other versions
TW202207091A (zh
Inventor
徐濤
李曉峰
鄭成偉
林博
Original Assignee
大陸商星宸科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商星宸科技股份有限公司 filed Critical 大陸商星宸科技股份有限公司
Application granted granted Critical
Publication of TWI741877B publication Critical patent/TWI741877B/zh
Publication of TW202207091A publication Critical patent/TW202207091A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Neurology (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一種網路模型量化方法，包括：獲取需要進行網路模型量化的一目標浮點網路模型；確定對應目標浮點網路模型的輸入值的一非對稱量化區間；確定對應目標浮點網路模型的權重值的一對稱量化區間；以及根據前述非對稱量化區間對目標浮點網路模型的輸入值進行定點量化，以及根據前述對稱量化區間對目標浮點網路模型的權重值進行定點量化，得到對應目標浮點網路模型的一定點網路模型。

Description

網路模型量化方法、裝置及電子設備
本申請涉及人工智慧技術領域，具體涉及一種網路模型量化方法、裝置及電子設備。
人工智慧 (Artificial Intelligence, AI）是利用數位電腦或者數位電腦控制的機器類比、延伸和擴展人的智慧，感知環境、獲取知識並使用知識獲得最佳結果的理論、方法、技術及應用系統。換句話說，人工智慧是電腦科學的一個綜合技術，它企圖瞭解智慧的實質，並生產出一種新的能以人類智慧相似的方式做出反應的智慧型機器。人工智慧也就是研究各種智慧型機器的設計原理與實現方法，使機器具有感知、推理與決策的功能。
人工智慧技術是一門綜合學科，涉及領域廣泛，既有硬體層面的技術也有軟體層面的技術。人工智慧基礎技術一般包括如感測器、專用人工智慧晶片、雲端計算、分散式儲存、大資料處理技術、操作/交互系統、機電一體化等技術。人工智慧軟體技術主要包括機器學習（Machine Learning，ML）技術，其中，深度學習 （Deep Learning，DL）是機器學習中一個新的研究方向，它被引入機器學習以使其更接近於最初的目標—人工智慧。目前，深度學習主要應用在電腦視覺、自然語言處理等領域。
深度學習是學習樣本資料的內在規律和展示層次，這些學習過程中獲得的資訊對諸如文字，圖像和聲音等資料的解釋有很大的幫助。利用深度學習技術以及對應的訓練資料集，能夠訓練得到實現不同功能的網路模型，比如，基於一訓練資料集能夠訓練得到用於性別分類的網路模型，基於另一訓練資料集能夠訓練得到圖像優化的網路模型。
目前，隨著人工智慧技術的不斷發展，網路模型被部署在如智慧手機、平板電腦等電子設備上，用於增強電子設備的處理能力。比如，電子設備通過其部署的圖像優化模型，可以對其拍攝的圖像進行優化，提升圖像品質。
從儲存的角度來看，現有的網路模型都是採用浮點型進行儲存的，其通常需要佔用電子設備幾十上百兆的儲存空間。從運算的角度來看，浮點型資料的運算會佔用大量的計算資源，容易影響電子設備的正常運行。因此，如何降低網路模型的尺寸和資源佔用是當前亟需解決的問題。
本申請提供了一種網路模型量化方法、裝置、及電子設備，能夠降低網路模型的尺寸和資源佔用。
本申請提供一種網路模型量化方法，包括：獲取需要進行模型量化的一目標浮點網路模型；確定對應所述目標浮點網路模型的輸入值的一非對稱量化區間；確定對應所述目標浮點網路模型的權重值的一對稱量化區間；以及，根據所述非對稱量化區間對所述目標浮點網路模型的輸入值進行定點量化，以及根據所述對稱量化區間對所述目標浮點網路模型的權重值進行定點量化，得到對應所述目標浮點網路模型的一定點網路模型。
本申請提供一種網路模型量化裝置，包括一網路模型獲取模組、一區間確定模組、及一網路模型量化模組。網路模型獲取模組用於獲取需要進行模型量化的一目標浮點網路模型。區間確定模組用於確定對應所述目標浮點網路模型的輸入值的一非對稱量化區間，以及用於確定對應所述目標浮點網路模型的權重值的一對稱量化區間。網路模型量化模組，用於根據所述非對稱量化區間對所述目標浮點網路模型的輸入值進行定點量化，以及根據所述對稱量化區間對所述目標浮點網路模型的權重值進行定點量化，得到對應所述目標浮點網路模型的一定點網路模型。
本申請提供的電子設備，包括一處理器和一記憶體，所述記憶體儲存有電腦程式，在所述電腦程式被所述處理器載入時執行如本申請任一實施例提供的網路模型量化方法。
本申請通過將目標浮點網路模型定點量化為定點網路模型，使得其資料類型由浮點類型轉換為定點類型，使得模型尺寸得以降低，並且，網路模型中的所有運算也由浮點運算轉換為定點運算，還使得其資源佔用得以降低。
應當說明的是，本申請的原理是以實施在一適當的運算環境中來舉例說明。以下的說明是通過所例示的本申請具體實施例，其不應被視為限制本申請未在此詳述的其它具體實施例。
本申請實施例提供的方案涉及人工智慧的機器學習技術，具體涉及網路模型的訓練後階段，將通過如下實施例進行說明。
目前，相關技術中在進行模型訓練時，為了保證訓練精度，訓練完成的網路模型的資料類型通常為浮點類型，而浮點數據的儲存需要佔用較大的儲存空間，浮點數據的運算也需要佔用較多的計算資源。為此，本申請提供一種網路模型量化方法，能夠將浮點網路模型量化為定點網路模型，定點資料相較於浮點數據佔用更小的儲存空間，並且，定點資料較浮點數據佔用更少的計算資源。
本申請實施例提供一種網路模型量化方法及電子設備。在一實施例中，係藉由一處理器執行程式碼來實現本申請的網路模型量化方法。
請參照圖1，圖1為本申請實施例提供的網路模型量化方法的應用場景示意圖，以網路模型量化方法應用於實體展現形式桌上型電腦的電子設備為例。請參照圖9，在一實施例中，電子設備400包括處理器401和記憶體402。處理器401可以是通用處理器，也可以是專用處理器，比如神經網路處理器。記憶體402中儲存有電腦程式碼，其可以為高速隨機存取記憶體，還可以為非揮發性記憶體。電子設備400可藉由處理器401執行記憶體402中電腦程式碼來實現本申請的網路模型量化方法。
請參照圖2，圖2為本申請實施例提供的網路模型量化方法的流程示意圖，詳細說明如下。
在步驟101中，獲取需要進行網路模型量化的一目標浮點網路模型。
本申請實施例中，電子設備首先獲取需要進行網路模型量化的一目標浮點網路模型。本申請實施例中對於目標浮點網路模型的來源不做具體限制，可以是電子設備自身訓練完成的浮點網路模型，也可以是其它電子設備訓練完成的浮點網路模型。示例性的，電子設備可以在接收到使用者輸入的模型量化指令時，根據使用者輸入的模型量化指令獲取到需要進行模型量化的目標浮點網路模型，還可以是在接收到其它電子設備傳輸的模型量化請求時，根據接收到的模型量化請求獲取到需要進行模型量化的目標浮點網路模型。
比如，電子設備可以通過包括指令輸入介面的網路模型量化介面接收輸入的模型量化指令，如圖3所示，該指令輸入介面可以為輸入框的形式，用戶可以在該輸入框形式的指令輸入介面中輸入需要進行模型量化的浮點網路模型的模型標識資訊，並輸入確認資訊（如直接按下鍵盤的確認鍵）以向電子設備輸入模型量化指令，該模型量化指令攜帶有需要進行模型量化的浮點網路模型的模型標識資訊。指示電子設備將標識資訊對應的浮點網路模型作為目標浮點網路模型。此外，網路模型量化介面還包括提示資訊“請選擇需要進行模型量化的網路模型”。
又比如，在圖3所示的網路模型量化介面中，還包括“打開”控制項，一方面，電子設備在偵測到該打開控制項被觸發時，將在網路模型量化介面之上疊加顯示選擇子介面（如圖4所示），該選擇子介面向使用者提供本地儲存的可進行模型量化的浮點網路模型的圖示，如浮點網路模型A、浮點網路模型B、浮點網路模型C、浮點網路模型D、浮點網路模型E、浮點網路模型F等浮點網路模型的圖示，供使用者查找並選中需要進行模型量化的浮點網路模型的圖示；另一方面，使用者可以在選中需要進行模型量化的浮點網路模型的圖示之後，觸發選擇子介面提供的確認控制項，以向電子設備輸入模型量化指令，該模型量化指令與使用者選中的浮點網路模型的圖示相關聯，指示電子設備將使用者選中的浮點網路模型作為需要進行模型量化的目標浮點網路模型。
又比如，電子設備接收其它電子設備傳輸的模型量化請求，並解析出該模型量化請求所攜帶的模型標識資訊，該模型標識資訊指示需要進行模型量化的目標浮點網路模型。相應的，電子設備根據該模型標識資訊從本地、或者其它電子設備等處獲取到需要進行模型量化的目標浮點網路模型。
應當說明的是，本申請實施例中對於需要進行模型量化的目標浮點網路模型的結構不做具體限定，包括但不限於深度神經網路模型、迴圈神經網路模型以及卷積神經網路模型等。
在步驟102中，確定對應目標浮點網路模型的輸入值的一非對稱量化區間。
本申請實施例預先配置有輸入值量化區間確定策略，該輸入值量化區間確定策略用於描述如何確定目標浮點網路模型的輸入值的量化區間。
本申請實施例中，輸入值量化區間確定策略被配置為用於確定出包括負量化參數和正量化參數的非對稱量化區間，其中，負量化參數為非對稱量化區間的最小值，正量化參數為非對稱量化區間的最大值，且負量化參數的絕對值與正量化參數的絕對值不相等。
比如，請參照圖5，確定出對應目標浮點網路模型的輸入值的非對稱量化區間為[a，b]，其中，a（負量化參數）、b（正量化參數）為實數，a取負值，b取正值，且|a|≠|b|。
在步驟103中，確定對應目標浮點網路模型的權重值的一對稱量化區間。
本申請實施例還預先配置有權重值量化區間確定策略，該權重值量化區間確定策略用於描述如何確定目標浮點網路模型的權重值的量化區間。本申請實施例中，區別於輸入值量化區間確定策略，權重值量化區間確定策略被配置為用於確定出包括負量化參數和正量化參數的對稱量化區間，其中，負量化參數為對稱量化區間的最小值，正量化參數為對稱量化區間的最大值，且負量化參數的絕對值與正量化參數的絕對值相等。
比如，請參照圖6，確定出對應目標浮點網路模型的權重值的對稱量化區間為[-c，c]，其中，c為實數，且取正值，-c表示負量化參數，c表示正量化參數。
應當說明的是，以上步驟102和步驟103的執行先後順序不受標號大小的影響，可以是步驟102在步驟103之前執行，也可以是步驟102在步驟103之後執行，還可以是步驟102和步驟103並存執行。
在步驟104中，根據非對稱量化區間對目標浮點網路模型的輸入值進行定點量化，以及根據對稱量化區間對目標浮點網路模型的權重值進行定點量化，得到對應目標浮點網路模型的一定點網路模型。
本申請實施例中，在確定出對應目標浮點網路模型的輸入值的非對稱量化區間，以及確定出對應目標浮點網路模型的權重值的對稱量化區間之後，電子設備即根據確定出的非對稱量化區間對目標浮點網路模型的輸入值進行定點量化，從而將目標浮點網路模型的輸入值由浮點類型轉換為定點類型；此外，電子設備還根據確定出的對稱量化區間對目標浮點網路模型的權重值進行定點量化，從而將目標浮點網路模型的權重值由浮點類型轉換為定點類型，由此得到對應目標浮點網路模型的一定點網路模型。
由此，通過將目標浮點網路模型定點量化為定點網路模型，使得其資料類型由浮點類型轉換為定點類型，使得模型尺寸得以降低，並且，網路模型中的所有運算也由浮點運算轉換為定點運算，還使得其資源佔用得以降低。
在一實施例中，確定對應目標浮點網路模型的輸入值的一非對稱量化區間的過程包括獲取對應目標浮點網路模型的至少一網路層輸入值的一第一目標量化精度，及根據目標浮點網路模型的網路層輸入值的第一目標量化精度，確定對應目標浮點網路模型的網路層輸入值的非對稱量化區間。
本領域具有通常知識者可以理解的是，網路模型是分層的，即網路模型在推理時根據執行邏輯可以將網路模型劃分為不同的層。比如，請參照圖7，圖示網路模型由3層網路層組成。圖7中圓形代表不同的運算元，任意兩個圓形之間的連線即代表了對應兩個運算元間的連接關係以及資料流程向。相應的，為了降低量化後網路模型的精度損失，在本申請實施例中以層為物件進行輸入值的定點量化。
在確定對應目標浮點網路模型的輸入值的一非對稱量化區間時，電子設備首先獲取對應目標浮點網路模型的每一層輸入值的一量化精度，記為第一目標量化精度。
應當說明的是，量化精度用於描述量化後的資料類型，本申請使用kIB表示第一目標量化精度，比如IB-UkIB表示將輸入值量化為kIB位元的不帶正負號的整數，IB-SkIB表示將輸入值量化為kIB位元的有符號整數，其中，kIB取整數，U表示無符號，S表示有符號。
本申請實施例中，目標浮點網路模型中不同網路層輸入值所對應的第一目標量化精度可以相同，也可以不同，其中，量化精度配置越高，量化後模型精度損失越小，但是佔用計算資源越大。比如，可配置的第一目標量化精度比如IB-U4（表示將輸入值量化為4位元的不帶正負號的整數）、IB-U8（表示將輸入值量化為8位元的不帶正負號的整數）等。
此外，電子設備還根據目標浮點網路模型每一層輸入值的一第一目標量化精度，相應按照配置的輸入值量化區間確定策略，確定出對應目標浮點網路模型每一層輸入值的非對稱量化區間。
在一實施例中，根據非對稱量化區間對目標浮點網路模型的輸入值進行定點量化的過程可包括根據目標浮點網路模型各層輸入值對應的一非對稱量化區間，對目標浮點網路模型各層輸入值進行定點量化。
應當說明的是，本申請實施例中所提及的每一層均代指需要進行量化處理每一層，可以是目標浮點網路模型的部分層，也可以是目標浮點網路模型的全部層，具體可由本領域具有通常知識者根據實際需要進行配置。
在一實施例中，根據目標浮點網路模型的網路層輸入值的第一目標量化精度，確定對應目標浮點網路模型的網路層輸入值的一非對稱量化區間的過程可包括：根據目標浮點網路模型的網路層輸入值的一第一目標量化精度，以最小化量化前後輸入值的均方誤差為目標，確定對應目標浮點網路模型的網路層輸入值的一非對稱量化區間。
本申請實施例進一步提供一可選地輸入值量化區間確定策略。其中，確定輸入值量化區間的目標是最小化量化前後輸入值的均方誤差，可以表達為如下優化問題：
Figure 02_image001
；
Figure 02_image003
；
Figure 02_image005
；
Figure 02_image007
；
其中，針對於一層輸入值，
Figure 02_image009
表示該層輸入值的個數，
Figure 02_image011
表示該層輸入值量化前的最小值，
Figure 02_image013
表示該層輸入值量化前的最大值，
Figure 02_image015
表示對該層輸入值進行量化的量化尺度，b（取正實數）表示對應該層輸入值的非對稱量化區間的正量化參數，a（取負實數）表示對應該層輸入值的非對稱量化區間的負量化參數，
Figure 02_image017
表示該層量化後的第i個輸入值，
Figure 02_image019
表示該層量化前的第i個輸入值，argmin（）表示取最小值函數，round（）表示取整函數，clip（）表示截取函數，用於將範圍外的數強制轉換為範圍內的數，
Figure 02_image021
。
因此，通過求解以上問題，確定出a和b的最佳解，從而得到對應該層輸入值的非對稱量化區間[a，b]。應當說明的是，以上
Figure 02_image011
和
Figure 02_image013
的值可以利用校準資料集得出。
本申請實施例中，根據目標浮點網路模型的一網路層輸入值對應的一非對稱量化區間，對目標浮點網路模型的網路層輸入值進行定點量化可以表示為：
Figure 02_image021
；
Figure 02_image024
；
Figure 02_image026
。
可以看出，量化後的輸入值的取值範圍為{0,1，……，2 IB-1}，比如，當某層輸入值對應的第一目標量化強度取值為8時，該層輸入值的取值範圍為{0,1，……，255}。
在一實施例中，確定對應目標浮點網路模型的一網路層輸入值的一非對稱量化區間的過程包括：根據目標浮點網路模型的一網路層輸入值的一第一目標量化精度，以最小化輸入值量化前後的均方誤差為目標，採用黃金分割搜索演算法對目標浮點網路模型每一層輸入值對應的一負量化參數和一正量化參數進行聯合搜索。
如上所述，目標浮點網路模型每一層輸入值的非對稱量化區間由一負量化參數和一正量化參數組成，可以表示為[a，b]。
應當說明的是，針對一層輸入值，當固定其非對稱量化區間[a，b]的正量化參數b為b+時，與之對應的負量化參數a可以在[min（r 1,0），0]內採用黃金分割搜索的方式快速搜索得到；當b+在[0，max（r 2,0）]內連續取值時，量化前後輸入值的均方誤差為b+的凸函數。
而當固定其非對稱量化區間[a，b]的負量化參數a為a-時，正量化參數b可在[0，max（r 2,0）]內採用黃金分割搜索的方式快速搜索得到；當a-在[min（r 1,0），0]內連續取值時，量化前後輸入值的均方誤差為a-的凸函數。
根據上述特點，在確定對應目標浮點網路模型的一網路層輸入值的一非對稱量化區間時，電子設備可以根據目標浮點網路模型的一網路層輸入值的一第一目標量化精度，以最小化輸入值量化前後的均方誤差為目標，採用黃金分割搜索演算法對目標浮點網路模型的一網路層輸入值對應的一負量化參數和一正量化參數進行聯合搜索，相應得到目標浮點網路模型每一層輸入值對應的一負量化參數和一正量化參數的最佳解。
可選地，在一實施例中，採用黃金分割搜索演算法對目標浮點網路模型每一層輸入值對應的一負量化參數和一正量化參數進行聯合搜索的過程包括下列處理程序： （1）確定負量化參數的一初始搜索範圍； （2）在初始搜索範圍對負量化參數進行第一次黃金分割搜索，得到第一候選負量化參數和一第二候選負量化參數，採用黃金分割演算法分別搜索得到與第一候選負量化參數對應的一第一候選正量化參數，與第二候選負量化參數對應的一第二候選正量化參數； （3）根據第一候選負量化參數、第一候選正量化參數、第二候選負量化參數以及第二候選正量化參數確定下一次進行黃金分割搜索的更新搜索範圍，並在更新搜索範圍對負量化參數進行第二次黃金分割搜索，如此迴圈，直至搜索到負量化參數；以及 （4）採用黃金分割搜索演算法搜索得到與負量化參數對應的正量化參數。
本申請實施例中，在採用黃金分割搜索演算法對目標浮點網路模型每一層輸入值對應的一負量化參數和一正量化參數進行聯合搜索時，電子設備首先確定負量化參數的一初始搜索範圍，比如，直接確定負量化參數的一初始搜索範圍為[min（r 1,0），0]；然後，電子設備在該初始搜索範圍對負量化參數進行第一次黃金分割搜索，得到第一候選負量化參數和一第二候選負量化參數，採用黃金分割演算法分別搜索得到與第一候選負量化參數對應的一第一候選正量化參數（即當第一候選負量化參數取值確定時，使得量化前後輸入值最小的候選正量化參數），與第二候選負量化參數對應的一第二候選正量化參數（即當第二候選負量化參數取值確定時，使得量化前後輸入值最小的候選正量化參數）；然後，根據第一候選負量化參數、第一候選正量化參數、第二候選負量化參數以及第二候選正量化參數確定下一次進行黃金分割搜索的更新搜索範圍，並在更新搜索範圍對負量化參數進行第二次黃金分割搜索，如此迴圈，直至搜索到負量化參數；然後，採用黃金分割搜索演算法搜索得到與負量化參數對應的正量化參數。
在一實施例中，根據目標浮點網路模型的一網路層輸入值的一第一目標量化精度，確定對應目標浮點網路模型每一層輸入值的一非對稱量化區間的過程包括：（1）獲取一校準資料集，根據校準資料集獲取目標浮點網路模型每一層輸入值在量化前的統計分佈；及（2）根據目標浮點網路模型每一層輸入值的一第一目標量化精度，以最小化量化前後輸入值的統計分佈的KL散度 (Kullback-Leibler divergence）為目標，確定對應目標浮點網路模型的一網路層輸入值的一非對稱量化區間。
本申請實施例進一步提供一可選地輸入值量化區間確定策略。其中，確定輸入值量化區間的目標是最小化量化前後輸入值的統計分佈的KL散度，可以表達為如下優化問題：
Figure 02_image028
＝
Figure 02_image030
；
Figure 02_image032
；
Figure 02_image033
； 其中，針對於一層輸入值，
Figure 02_image034
表示該層輸入值量化前後統計分佈的KL散度，
Figure 02_image009
表示該層輸入值的個數，
Figure 02_image011
表示該層輸入值量化前的最小值，
Figure 02_image013
表示該層輸入值量化前的最大值，
Figure 02_image015
表示對該層輸入值進行量化的量化尺度，b表示對應該層輸入值的非對稱量化區間的正量化參數，a表示對應該層輸入值的非對稱量化區間的負量化參數，
Figure 02_image017
表示該層量化後的第i個輸入值，
Figure 02_image019
表示該層量化前的第i個輸入值，round（）表示取整函數，clip（）表示截取函數，用於將範圍外的數強制轉換為範圍內的數，
Figure 02_image021
。
相應的，通過求解以上問題，確定出a和b的最佳解，從而得到對應該層輸入值的非對稱量化區間[a，b]。
應當說明的是，以上 和 的值可以利用校準資料集得出，即將校準資料集輸入目標浮點網路模型進行推理，相應獲取到的一網路層輸入值的取值範圍[r 1,r 2]。
本申請實施例中，根據目標浮點網路模型的一網路層輸入值對應的一非對稱量化區間，對目標浮點網路模型的一網路層輸入值進行定點量化可以表示為：
Figure 02_image021
；
Figure 02_image024
；
Figure 02_image036
。
在一實施例中，確定對應目標浮點網路模型的一網路層輸入值的一非對稱量化區間的過程包括：（1）根據第一目標量化精度確定對應目標浮點網路模型的一網路層輸入值的多個搜索寬度；及（2）以最小化量化前後輸入值的統計分佈的KL散度為目標，在多個搜索寬度採用黃金分割搜索演算法搜索對應目標浮點網路模型的一網路層輸入值的一非對稱量化區間。
如上所述，目標浮點網路模型每一層輸入值的非對稱量化區間由一負量化參數和一正量化參數組成。
應當說明的是，針對一層輸入值，當以最小化量化前後輸入值的統計分佈的KL散度為求取其非對稱量化區間[a，b]的目標時，預先將量化前的輸入值劃分成B個bins，B取
Figure 02_image037
的整數倍，可以表示為
Figure 02_image039
。相應的，可以通過選擇bins的數量來決定非對稱量化區間的寬度。相應的，在搜索非對稱量化區間的最佳解時，只需搜索
Figure 02_image037
的整數倍的bins對應的寬度，即只需搜索b-a={
Figure 02_image037
，（B0-1）*
Figure 02_image037
，……，2*
Figure 02_image037
，1*
Figure 02_image037
}這B0個寬度，記為搜索寬度。對於每一固定的搜索寬度，對非對稱量化區間[a，b]的搜索退化為一維搜索，可通過黃金分割搜索的方式快速搜索得到非對稱量化區間[a，b]的最佳解。
相應的，在根據目標浮點網路模型每一層輸入值的一第一目標量化精度，以最小化量化前後輸入值的統計分佈的KL散度為目標，確定對應目標浮點網路模型每一層輸入值的一非對稱量化區間時，電子設備可以根據第一目標量化精度確定對應目標浮點網路模型每一層輸入值的多個搜索寬度；然後以最小化量化前後輸入值的統計分佈的KL散度為目標，在多個搜索寬度採用黃金分割搜索演算法搜索得到對應目標浮點網路模型的一網路層輸入值的一非對稱量化區間。
其中，本申請實施例中對於B的取值不做限制，可由本領域具有通常知識者根據電子設備的處理能力取經驗值。
在一實施例中，獲取一校準資料集的過程包括：（1）獲取用於訓練目標浮點網路模型的一訓練集；及（2）抽取訓練集的一子集作為校準資料集。當用於訓練目標浮點網路模型的訓練集可以獲取時，電子設備可以首先獲取到用於訓練目標浮點網路模型的一訓練集，直接從該訓練集中抽取一個子集作為校準資料集，如圖8所示。應當說明的是，本申請實施例中對於抽取子集的方式不做具體限定，具體可由本領域具有通常知識者根據實際需要進行配置。
在一實施例中，獲取一校準資料集過程包括：（1）獲取目標浮點網路模型中網路參數的一分佈特徵；（2）根據前述分佈特徵生成一目標資料集，目標資料集的資料分佈與用於訓練目標浮點網路模型的訓練集的資料分佈匹配；及（3）將前述目標資料集作為校準資料集。
本申請實施例中，當用於訓練目標浮點網路模型的訓練集無法獲取時，電子設備可以根據目標浮點網路模型的網路性質生成一個逼近訓練集資料分佈的資料集作為校準資料集。其中，電子設備首先對目標浮點網路模型中的網路參數進行分析，得到其分佈特徵，然後根據該分佈特徵生成與用於訓練目標浮點網路模型的訓練集的資料分佈所匹配的資料集，將該資料集作為校準資料集。
在一實施例中，確定對應目標浮點網路模型的權重值的一對稱量化區間的過程包括：獲取對應目標浮點網路模型的一網路層權重值的一第二目標量化精度；及根據目標浮點網路模型每一層權重值的一第二目標量化精度，確定對應目標浮點網路模型每一層權重值的一對稱量化區間。而根據對稱量化區間對目標浮點網路模型的權重值進行定點量化的過程包括：根據目標浮點網路模型的一網路層權重值對應的一對稱量化區間，對目標浮點網路模型的一網路層權重值進行定點量化。
本申請實施例中，為了降低量化後網路模型的精度損失，在本申請實施例中以層為對象進行權重值的定點量化。其中，在確定對應目標浮點網路模型的權重值的一對稱量化區間時，電子設備首先獲取對應目標浮點網路模型的每一層權重值的量化精度，記為第二目標量化精度。
應當說明的是，量化精度用於描述量化後的資料類型，本申請使用k KB表示第二目標量化精度，比如KB-Uk KB表示將權重值量化為k KB位元的不帶正負號的整數，KB-Sk KB表示將權重值量化為k KB位元的有符號整數，其中，k KB取整數，U表示無符號，S表示有符號。
本申請實施例中，目標浮點網路模型中不同層權重值所對應的第二目標量化精度可以相同，也可以不同，其中，量化精度配置越高，量化後模型精度損失越小，但是佔用計算資源越大。比如，可配置的第二目標量化精度比如KB-S4（表示將權重值量化為4位元的有符號整數）、KB-S8（表示將權重值量化為8位元的有符號整數）等。
此外，電子設備還根據目標浮點網路模型的一網路層權重值的一第二目標量化精度，相應按照配置的權重值量化區間確定策略，確定出對應目標浮點網路模型每一層權重值的第二目標量化精度。
相應的，在對目標浮點網路模型的權重值進行定點量化時，電子設備即可根據目標浮點網路模型的一網路層權重值對應的一對稱量化區間，對目標浮點網路模型的一網路層權重值進行定點量化。
在一實施例中，確定對應目標浮點網路模型的一網路層權重值的一對稱量化區間的過程包括：根據目標浮點網路模型的一網路層權重值的一第二目標量化精度，以最小化量化前後權重值的均方誤差為目標，確定對應目標浮點網路模型的一網路層權重值的一對稱量化區間。
本申請實施例進一步提供一可選地權重值量化區間確定策略。其中，確定權重值量化區間的目標是最小化量化前後權重值的均方誤差，可以表達為如下優化問題：
Figure 02_image041
；
Figure 02_image043
；
Figure 02_image045
；
Figure 02_image047
；
其中，針對於一層權重值，
Figure 02_image049
表示該層權重值的個數，
Figure 02_image051
表示該層權重值量化前的最小值，
Figure 02_image053
表示該層權重值量化前的最大值，
Figure 02_image055
表示對該層權重值進行量化的量化尺度，c（取正實數）表示對應該層權重值的對稱量化區間的正量化參數，-c表示對應該層權重值的對稱量化區間的負量化參數，
Figure 02_image057
表示該層量化後的第i個權重值，
Figure 02_image059
表示該層量化前的第j個權重值，round（）表示取整函數，clip（）表示截取函數，用於將範圍外的數強制轉換為範圍內的數，
Figure 02_image061
。
因此，通過求解以上問題，確定出c的最佳解，從而得到對應該層權重值的對稱量化區間[-c，c]。實施上，以上
Figure 02_image051
和
Figure 02_image053
的值可以利用校準資料集得出。
本申請實施例中，根據目標浮點網路模型的一網路層權重值對應的一對稱量化區間，對目標浮點網路模型的一網路層權重值進行定點量化可以表示為：
Figure 02_image063
；
Figure 02_image065
；
Figure 02_image066
。
可以看出，量化後的權重值的取值範圍為{-（2 KB-1-1），-（2 KB-1-2），……，2 KB-1-1}，比如，當某層權重值對應的第二目標量化強度取值為8時，該層權重值的取值範圍為{-127,-126，……，127}。
在一實施例中，確定對應目標浮點網路模型的一網路層權重值的一對稱量化區間的過程包括：根據目標浮點網路模型的一網路層權重值的一第二目標量化精度，以最小化量化前後權重值的均方誤差為目標，採用黃金分割搜索演算法搜索得到對應目標浮點網路模型的一網路層權重值的一對稱量化區間。
如上所述，目標浮點網路模型每一層權重值的對稱量化區間由負量化參數和正量化參數組成，可以表示為[-c，c]。
應當說明的是，針對一層權重值，其量化前後權重值的均方誤差為正量化參數c的凸函數，因此，在確定對應目標浮點網路模型的一網路層權重值的一對稱量化區間時，電子設備可以根據目標浮點網路模型每一層權重值的一第二目標量化精度，以最小化量化前後權重值的均方誤差為目標，採用黃金分割搜索演算法搜索得到對應目標浮點網路模型的一網路層權重值的正量化參數c，根據該正量化參數即可得到與之對應的對稱量化區間，可表示為[-c，c]。
請參照圖10，圖10為本申請實施例提供的網路模型量化裝置300的結構示意圖。網路模型量化裝置300應用於電子設備並可用以實現前述的網路模型量化方法，網路模型量化裝置300包括網路模型獲取模組301、區間確定模組302及網路模型量化模組303。網路模型獲取模組301用於獲取需要進行網路模型量化的一目標浮點網路模型。區間確定模組302用於確定對應目標浮點網路模型的輸入值的一非對稱量化區間，以及確定對應目標浮點網路模型的權重值的一對稱量化區間。網路模型量化模組303用於根據非對稱量化區間對目標浮點網路模型的輸入值進行定點量化，以及根據對稱量化區間對目標浮點網路模型的權重值進行定點量化，得到對應目標浮點網路模型的一定點網路模型。本申請實施例提供的網路模型量化裝置300與上文實施例中的網路模型量化方法屬於同一構思，在網路模型量化裝置300上可以運行網路模型量化方法實施例中提供的任一方法，其具體實現過程詳見以上實施例，此處不再贅述。
以上對本申請實施例所提供的一種網路模型量化方法、裝置、及電子設備進行了詳細介紹，本文中應用了具體個例對本申請的原理及實施方式進行了闡述，以上實施例的說明只是用於幫助理解本申請的方法及其核心思想；同時，對於本領域中具有通常知識者，依據本申請的思想，在具體實施方式及應用範圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本申請的限制。
101, 102, 103, 104:步驟 a, -c:負量化參數 b, c:正量化參數 400:電子設備 401:處理器 402:記憶體 300:網路模型量化裝置 301:網路模型獲取模組 302:區間確定模組 303:網路模型量化模組
為了更清楚地說明本申請實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的一些實施例，對於本領域具有通常知識者來講，在不付出進步性勞動的前提下，還可以根據這些附圖獲得其他的附圖。 ［圖1］為本申請實施例提供的網路模型量化方法的應用場景示意圖； ［圖2］為本申請實施例提供的網路模型量化方法的一流程示意圖； ［圖3］是本申請實施例中提供的網路模型量化介面的示意圖； ［圖4］是本申請實施例中提供的選擇子介面的示意圖； ［圖5］是本申請實施例中確定出的非對稱量化區間的示意圖； ［圖6］是本申請實施例中確定出的對稱量化區間的示意圖； ［圖7］是本申請實施例中涉及的網路模型的拓撲結構示意圖； ［圖8］是本申請實施例中獲取一校準資料集示意圖； ［圖9］是本申請實施例提供的電子設備400的一結構示意圖；以及 ［圖10］是本申請實施例提供的網路模型量化裝置300的一結構示意圖。
101,102,103,104:步驟

Claims (12)

  1. 一種網路模型量化方法，包括：獲取需要進行模型量化的一目標浮點網路模型；確定對應所述目標浮點網路模型的輸入值的一非對稱量化區間；確定對應所述目標浮點網路模型的權重值的一對稱量化區間；以及根據所述非對稱量化區間對所述目標浮點網路模型的輸入值進行定點量化，以及根據所述對稱量化區間對所述目標浮點網路模型的權重值進行定點量化，得到對應所述目標浮點網路模型的一定點網路模型。
  2. 如請求項1之網路模型量化方法，其中所述確定對應所述目標浮點網路模型的輸入值的一非對稱量化區間包括：根據所述目標浮點網路模型一網路層輸入值的一第一目標量化精度，確定對應所述目標浮點網路模型的輸入值的所述非對稱量化區間。
  3. 如請求項2之網路模型量化方法，其中在所述確定對應所述目標浮點網路模型的輸入值的所述非對稱量化區間的步驟中係以最小化量化前後輸入值的均方誤差為目標，確定所述非對稱量化區間。
  4. 如請求項3之網路模型量化方法，其中在所述確定對應所述目標浮點網路模型的輸入值的所述非對稱量化區間的步驟中係以最小化輸入值量化前後的均方誤差為目標，採用黃金分割搜索演算法對所述目標浮點網路模型的所述網路層輸入值對應的一負量化參數和一正量化參數進行聯合搜索。
  5. 如請求項4之網路模型量化方法，其中所述採用黃金分割搜索演算法對所述目標浮點網路模型的所述網路層輸入值對應的一負量化參數和一正量化參數進行聯合搜索包括： 確定所述負量化參數的一初始搜索範圍；在所述初始搜索範圍對所述負量化參數進行第一次黃金分割搜索，得到一第一候選負量化參數和一第二候選負量化參數，採用所述黃金分割搜索演算法分別搜索得到與所述第一候選負量化參數對應的一第一候選正量化參數，與所述第二候選負量化參數對應的一第二候選正量化參數；根據所述第一候選負量化參數、所述第一候選正量化參數、所述第二候選負量化參數以及所述第二候選正量化參數確定下一次進行黃金分割搜索的更新搜索範圍，並在所述更新搜索範圍對所述負量化參數進行第二次黃金分割搜索，如此迴圈，直至搜索到所述負量化參數；以及採用所述黃金分割搜索演算法搜索得到與所述負量化參數對應的所述正量化參數。
  6. 如請求項2之網路模型量化方法，其中確定對應所述目標浮點網路模型的所述網路層輸入值的所述非對稱量化區間的步驟包括：獲取所述目標浮點網路模型的所述網路層輸入值在量化前的統計分佈；以及根據所述目標浮點網路模型的所述網路層輸入值的第一目標量化精度，以最小化量化前後輸入值的統計分佈的KL散度(Kullback-Leibler divergence)為目標，確定對應所述目標浮點網路模型的所述網路層輸入值的非對稱量化區間。
  7. 如請求項6之網路模型量化方法，其中確定對應所述目標浮點網路模型的所述網路層輸入值的所述非對稱量化區間的步驟包括：根據所述第一目標量化精度確定對應所述目標浮點網路模型的所述網路層輸入值的多個搜索寬度； 以所述最小化量化前後輸入值的統計分佈的KL散度為目標，在所述多個搜索寬度採用黃金分割搜索演算法搜索得到對應所述目標浮點網路模型的所述網路層輸入值的非對稱量化區間。
  8. 如請求項1之網路模型量化方法，其中所述確定對應所述目標浮點網路模型的權重值的對稱量化區間的步驟包括：根據所述目標浮點網路模型的一網路層權重值的一第二目標量化精度，確定對應所述目標浮點網路模型的所述網路層權重值的對稱量化區間。
  9. 如請求項8之網路模型量化方法，其中所述確定對應所述目標浮點網路模型的所述網路層權重值的對稱量化區間的步驟包括：根據所述第二目標量化精度，以最小化量化前後權重值的均方誤差為目標，確定對應所述目標浮點網路模型的所述網路層權重值的對稱量化區間。
  10. 如請求項9之網路模型量化方法，其中所述確定對應所述目標浮點網路模型的所述網路層權重值的對稱量化區間的步驟包括：根據所述第二目標量化精度，以最小化量化前後權重值的均方誤差為目標，採用黃金分割搜索演算法搜索得到對應所述目標浮點網路模型的所述網路層權重值的一對稱量化區間。
  11. 一種網路模型量化裝置，包括：一網路模型獲取模組，用於獲取需要進行模型量化的一目標浮點網路模型；一區間確定模組，用於確定對應所述目標浮點網路模型的輸入值的一非對稱量化區間，及用於確定對應所述目標浮點網路模型的權重值的一對稱量化區間；以及 一網路模型量化模組，用於根據所述非對稱量化區間對所述目標浮點網路模型的輸入值進行定點量化，以及根據所述對稱量化區間對所述目標浮點網路模型的權重值進行定點量化，得到對應所述目標浮點網路模型的一定點網路模型。
  12. 一種電子設備，包括一處理器和一記憶體，所述記憶體儲存有一電腦程式，所述處理器執行所述電腦程式以實現一網路模型量化方法，其中，所述網路模型量化方法包括：獲取需要進行模型量化的一目標浮點網路模型；確定對應所述目標浮點網路模型的輸入值的一非對稱量化區間；確定對應所述目標浮點網路模型的權重值的一對稱量化區間；以及根據所述非對稱量化區間對所述目標浮點網路模型的輸入值進行定點量化，以及根據所述對稱量化區間對所述目標浮點網路模型的權重值進行定點量化，得到對應所述目標浮點網路模型的一定點網路模型。
TW109140401A 2020-07-31 2020-11-18 網路模型量化方法、裝置及電子設備 TWI741877B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010763426.8A CN112200296B (zh) 2020-07-31 2020-07-31 网络模型量化方法、装置、存储介质及电子设备
CN202010763426.8 2020-07-31

Publications (2)

Publication Number Publication Date
TWI741877B true TWI741877B (zh) 2021-10-01
TW202207091A TW202207091A (zh) 2022-02-16

Family

ID=74006041

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109140401A TWI741877B (zh) 2020-07-31 2020-11-18 網路模型量化方法、裝置及電子設備

Country Status (3)

Country Link
US (1) US20220036162A1 (zh)
CN (1) CN112200296B (zh)
TW (1) TWI741877B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610232B (zh) * 2021-09-28 2022-02-22 苏州浪潮智能科技有限公司 网络模型量化方法、装置、计算机设备以及存储介质
CN115496200B (zh) * 2022-09-05 2023-09-22 中国科学院半导体研究所 神经网络量化模型训练方法、装置及设备
CN115294108B (zh) * 2022-09-29 2022-12-16 深圳比特微电子科技有限公司 目标检测方法、目标检测模型的量化方法、装置和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929862A (zh) * 2019-11-26 2020-03-27 陈子祺 定点化的神经网络模型量化装置和方法
US20200143282A1 (en) * 2018-11-07 2020-05-07 Alibaba Group Holding Limited Quantizing machine learning models with balanced resolution via damped encoding
CN111240746A (zh) * 2020-01-12 2020-06-05 苏州浪潮智能科技有限公司 一种浮点数据反量化及量化的方法和设备
CN111353517A (zh) * 2018-12-24 2020-06-30 杭州海康威视数字技术股份有限公司 一种车牌识别方法、装置及电子设备
CN111401550A (zh) * 2020-03-10 2020-07-10 北京迈格威科技有限公司 神经网络模型量化方法、装置及电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8326068B1 (en) * 2006-08-30 2012-12-04 Maxim Integrated Products, Inc. Method and apparatus for modeling quantization matrices for image/video encoding
CN108304919A (zh) * 2018-01-29 2018-07-20 百度在线网络技术（北京）有限公司 用于生成卷积神经网络的方法和装置
KR20190125141A (ko) * 2018-04-27 2019-11-06 삼성전자주식회사 뉴럴 네트워크의 파라미터들을 양자화하는 방법 및 장치
CN110135580B (zh) * 2019-04-26 2021-03-26 华中科技大学 一种卷积网络全整型量化方法及其应用方法
CN110121171B (zh) * 2019-05-10 2022-09-27 青岛大学 基于指数平滑法和灰色模型的信任预测方法
CN110414679A (zh) * 2019-08-02 2019-11-05 厦门美图之家科技有限公司 模型训练方法、装置、电子设备和计算机可读存储介质
CN110889503B (zh) * 2019-11-26 2021-05-04 中科寒武纪科技股份有限公司 数据处理方法、装置、计算机设备和存储介质
CN110942148B (zh) * 2019-12-11 2020-11-24 北京工业大学 一种自适应的非对称量化的深度神经网络模型压缩方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200143282A1 (en) * 2018-11-07 2020-05-07 Alibaba Group Holding Limited Quantizing machine learning models with balanced resolution via damped encoding
CN111353517A (zh) * 2018-12-24 2020-06-30 杭州海康威视数字技术股份有限公司 一种车牌识别方法、装置及电子设备
CN110929862A (zh) * 2019-11-26 2020-03-27 陈子祺 定点化的神经网络模型量化装置和方法
CN111240746A (zh) * 2020-01-12 2020-06-05 苏州浪潮智能科技有限公司 一种浮点数据反量化及量化的方法和设备
CN111401550A (zh) * 2020-03-10 2020-07-10 北京迈格威科技有限公司 神经网络模型量化方法、装置及电子设备

Also Published As

Publication number Publication date
US20220036162A1 (en) 2022-02-03
CN112200296A (zh) 2021-01-08
CN112200296B (zh) 2024-04-05
TW202207091A (zh) 2022-02-16

Similar Documents

Publication Publication Date Title
TWI741877B (zh) 網路模型量化方法、裝置及電子設備
US11288444B2 (en) Optimization techniques for artificial intelligence
US11593458B2 (en) System for time-efficient assignment of data to ontological classes
CN111755078B (zh) 药物分子属性确定方法、装置及存储介质
US11556786B2 (en) Attention-based decoder-only sequence transduction neural networks
US20220121906A1 (en) Task-aware neural network architecture search
CN111666416B (zh) 用于生成语义匹配模型的方法和装置
US9852177B1 (en) System and method for generating automated response to an input query received from a user in a human-machine interaction environment
US20240004703A1 (en) Method, apparatus, and system for multi-modal multi-task processing
US20230021555A1 (en) Model training based on parameterized quantum circuit
CN112905795A (zh) 文本意图分类的方法、装置和可读介质
WO2023045187A1 (zh) 基于神经网络的语义搜索方法、装置、设备和存储介质
CN111464881A (zh) 基于自优化机制的全卷积视频描述生成方法
CN112862021B (zh) 一种内容标注方法和相关装置
CN115114974A (zh) 一种模型蒸馏方法、装置、计算机设备和存储介质
CN116935188B (zh) 模型训练方法、图像识别方法、装置、设备及介质
Nematipour et al. Relevance feedback optimization in content based image retrieval via enhanced radial basis function network
WO2023174189A1 (zh) 图网络模型节点分类方法、装置、设备及存储介质
CN116431827A (zh) 信息处理方法、装置、存储介质及计算机设备
WO2023219679A1 (en) Training machine-trained models by directly specifying gradient elements
CN116957006A (zh) 预测模型的训练方法、装置、设备、介质及程序产品
CN114995729A (zh) 一种语音绘图方法、装置及计算机设备
Rahman et al. Early Prediction of Ischemic Stroke Using Machine Learning Boosting Algorithms
CN117235237B (zh) 一种文本生成方法及相关装置
US20230409870A1 (en) Systems and Methods for Artificial Intelligence Assistant Publishing