TWI744827B - 用以壓縮類神經網路參數之方法與裝置 - Google Patents

用以壓縮類神經網路參數之方法與裝置 Download PDF

Info

Publication number
TWI744827B
TWI744827B TW109109027A TW109109027A TWI744827B TW I744827 B TWI744827 B TW I744827B TW 109109027 A TW109109027 A TW 109109027A TW 109109027 A TW109109027 A TW 109109027A TW I744827 B TWI744827 B TW I744827B
Authority
TW
Taiwan
Prior art keywords
weight
weight parameter
context
decoder
parameter
Prior art date
Application number
TW109109027A
Other languages
English (en)
Other versions
TW202042559A (zh
Inventor
保羅 哈塞
阿圖洛 馬本構拉茲
辛納爾 克曲后弗
達馬捷 馬倫克
迪特利夫 馬皮
史蒂芬 馬特雷吉
大衛 紐曼
阮黃松
沃杰西曲 沙美克
湯瑪士 夏以爾
希可 史瓦茲
席蒙 維德曼
湯瑪士 威剛德
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW202042559A publication Critical patent/TW202042559A/zh
Application granted granted Critical
Publication of TWI744827B publication Critical patent/TWI744827B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H03M7/4006—Conversion to or from arithmetic code
    • H03M7/4012—Binary arithmetic codes
    • H03M7/4018—Context adapative binary arithmetic codes [CABAC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3068—Precoding preceding compression, e.g. Burrows-Wheeler transformation
    • H03M7/3079—Context modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/70—Type of the data to be coded, other than image and sound
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/70—Type of the data to be coded, other than image and sound
    • H03M7/702—Software

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述用於編碼類神經網路之權重參數的編碼器。此編碼器經組配以取決於一或多個先前經編碼權重參數、及/或取決於一或多個權重參數之數字表示型態之一或多個先前經編碼語法元素而獲得類神經網路的複數個權重參數、使用情境相依算術編碼來編碼類神經網路之權重參數、選擇用於權重參數之編碼或權重參數之數字表示型態之語法元素之編碼的情境、以及使用選定情境編碼權重參數、或權重參數之語法元素。相對應之解碼器、量化器、方法及電腦程式亦被描述。

Description

用以壓縮類神經網路參數之方法與裝置
發明領域
根據本發明之一態樣的實施例係關於用於編碼類神經網路之權重參數的編碼器。
根據本發明之一態樣的進一步實施例係關於用於解碼類神經網路之權重參數的解碼器。
根據本發明之一態樣的進一步實施例係關於用於量化類神經網路之權重參數的量化器。
根據本發明之一態樣的進一步實施例係關於個別方法及電腦程式。
根據本發明之一態樣的實施例係關於將類神經網路量化及轉換成位元串流的裝置，以產生它們的經壓縮表示。
其他實施例將由隨附申請專利範圍界定。
應注意如請求項所定義之任何實施例可藉由本文中所述任何細節(特徵及功能)來補充。
又，本文中所描述之實施例可個別地使用，且亦可由包括於申請專利範圍中之特徵中之任一者補充。
又，應注意本文中所描述之個別態樣可個別地或組合地使用。因此，可將細節添加至該等個別態樣中之每一者，而不將細節添加至該等態樣中之另一者。
亦應注意的是，本揭露內容明確地或隱含地描述可被用在一視訊編碼器(用以提供一輸入視訊信號之一經編碼表示型態的裝置)中及在一視訊解碼器(用以基於一經編碼表示型態來提供一視訊信號之一經解碼表示型態的裝置)中的特徵。因此，本文所述之任何特徵可用於視訊編碼器之情境及視訊解碼器的情境中。
此外，本文所揭示之與方法有關的特徵及功能性亦可用於一裝置(經組配以執行此類功能性)中。此外，本文關於一裝置所揭示之任何特徵及功能性亦可用於對應方法中。換句話說，本文中所揭示之方法可藉由關於該等裝置所述之任何特徵及功能來補充。
此外，本文所述之任何特徵及功能可以硬體或以軟體，或使用硬體與軟體之組合來實施，如將在「實施替代方案」中所描述。
此外，本文所描述之特徵及語法元素中之任一者可視情況被引入至視訊位元串流中，特徵及語法元素兩者單獨地且以組合方式進行。
發明背景
本文件描述一種將類神經網路量化且將其轉換成一個位元串流的裝置，以產生它們的經壓縮表示。
該裝置之方法可被分為不同主要部分，其由以下構成： 1.關聯性估計 2.量化 3.無損編碼 4.無損解碼
在我們探討裝置之方法之前，我們將首先對類神經網路之主題做一簡要介紹。
類神經網路：在其最基本形式中，類神經網路構成仿射變換之鏈，繼之以逐元件非線性函數。它們可被表示為一有向非循環圖，如以下影像中所示。每一節點需要一特定值，該特定值藉由與邊緣之個別權重值進送傳播至下一節點。所有的進入值接著簡單地聚集。
圖1展示前饋類神經網路之圖形表示的範例。特別是，此2層類神經網路為將一4維輸入向量映射至實際線中之非線性函數。
數學上來說，圖1之類神經網路將以下方之方式計算輸出：
Figure 02_image001
其中W2及W1為類神經網路權重參數(邊緣權重)且標準差為一些非線性函數。舉例而言，所謂的卷積層亦可藉由將其塑造為矩陣-矩陣產品而使用，如(Sharan Chetlur等; arXiv: 1410.0759, 2014)「cuDNN: 用於深度學習之有效基元」中所描述。從現在開始，我們將稱為自給定輸入計算輸出之程序推斷。另外，我們將呼叫中間結果作為隱藏層或隱藏活化值，其構成線性變換+逐元素非線性，例如諸如上方第一點成積+非線性之計算。
通常，類神經網路配備有數百萬個參數，且可因此需要幾百個MB來表示。因此，其需要高計算資源以便被執行，此係因為其推斷程序涉及大矩陣之間的許多點成積操作之計算。因此，減少執行此等點成積之複雜性係有高重要性的。
關聯性估計：減小類神經網路之推斷複雜性的一種方式為量化權重參數。然而，量化之直接結果為記憶體複雜度之減少，如我們將稍後看到的，量化亦可允許降低執行推斷的運行時間。
為了以最有效方式量化權重參數，吾人需要能夠區分網路之「更多或更少相關」部分。亦即，我們需要測量每一參數(或參數集合)之「重要性」，以便知道在最小地影響網路之預測準確性的情況下可擾亂此等參數到什麼程度。
在下文中，將提供一些習知解決方案將被引入。
文獻中提出若干關聯性估計方法。已有人基於網路之泰勒擴展提出測量。舉例來說，在(Babak Hassibi等在1993年之先進類神經資訊處理系統中)「用於網路修剪之二階導數：最佳腦部手術」、(Yann LeCun等在1990年之先進類神經資訊處理系統中)「最佳腦損傷」及(Pavlo Molchanov等; arXiv:1611.06440, 2016)「用於資源有效推斷之修剪卷積類神經網路」中。
換句話說，一些提出的測量係基於該等參數的幅值。舉例來說，在(Yihui He等在2017年之IEEE國際會議電腦視覺進展中)「用於加速非常深層類神經網路之通道修剪」、(Hao Li等; arXiv:1608.08710, 2016)「用於有效卷積網路之修剪過濾器」及(Song Han等; arXiv: 1506.02626, 2015)「用於有效類神經網路之學習權重及連結兩者」中。
再度提出其他測量，諸如(Hengyuan Hu等; arXiv:1607.03250, 2016)「網路修整：朝向有效深度結構之資料驅動神經元修剪方法」中的零活動計數、(Sajid Anwar等在電腦系統中的新興科技上的ACM期刊(JETC), 2017)「深度卷積類神經網路的結構性修剪」中的粒子過濾技術、(Yihui He等在2018年之IEEE國際會議電腦視覺及圖案認出進展中)「Nisp：使用神經元重要性分數傳播之修剪網路」中諸如神經元重要性分數的傳播(NISP)的顧客測量或(Sebastian Bach等, PLOS ONE, 10(7):e0130140, 2015)「藉由逐層相關傳播用於非線性分類器的逐像素解釋」中的層相關傳播的方法。
作為同時進行的工作，該文獻已調查且將可縮放貝氏方法應用於類神經網路。舉例來說，在 (Diederik P. Kingma等; arXiv: 1506.02557, 2015)「變異漏失及本地重新參數化手法」、(Dmitry Molchanov等; arXiv:1701.05369, 2017)「變異漏失稀釋深度類神經網路」及(Christos Louizos等; arXiv:1705.08665, 2017)「用於深度學習之貝氏壓縮」中。
此處的目標並不僅是學習在該任務上表現良好的單一類神經網路，還有其整個分佈。因此，結果是學習演算法將輸出各個權重參數之充分的統計，諸如平均值及變異數。作為一直接結果，可自權重參數之二階統計直接導出各個權重參數之「關聯性」，因此自其等之變異數。換句話說，參數之變異數愈高則其值之參考性愈小，因為我們可極大地擾亂來自其平均值的參數而不影響網路輸出決策。
鑒於此情形，需要提供將類神經網路壓縮至其之壓縮表示及網路之預測準確度之間的改良折衷的概念，其當壓縮急切時有不利影響。
發明概要
本發明之一態樣為用於編碼一類神經網路之權重參數的編碼器。編碼器獲得類神經網路的多個權重參數，且使用一情境相依算術編碼來編碼權重參數。因為該編碼器選擇一情境，其用於編碼一權重參數或該權重參數之一數字表示型態的一語法元素。該選擇係取決於一或多個先前編碼之權重參數及/或一或多個權重參數之一數字表示型態的語法元素而執行。接著，編碼器使用選定情境來編碼權重參數或權重參數之語法元素。
權重參數可為，例如：wi 或qi 或li ，且類神經網路可為例如類神經網路之量化版本。情境相依算術編碼舉例來說可為情境適應性二進位算術編碼、CABAC，亦作為一實例，其中針對不同情境判定倉值之機率，且其中舉例來說每一倉與一情境相關聯。
編碼器針對該編碼選擇一情境，舉例來說具有情境索引C之情境，其可為權重參數，例如，wi ，之算術編碼。或者，可為可能算術地編碼之語法元素，例如：零旗標「sig_flag」或正負號旗標「sign_flag」。語法元素亦可為權重參數之絕對值的編碼表示或權重參數之絕對值的最高有效部分之編碼表示，舉例來說其可為倉之一元序列或倉之經截斷一元序列。此外，語法元素亦可為權重參數之絕對值之最低有效部分的編碼表示，例如：一固定長度序列。
語法元素係指權重參數之數字表示型態，例如：化整或量化的數字表示型態。
且該編碼器取決於先前編碼之權重參數，例如：wi ，及/或一或多個權重參數之數字表示型態的語法元素而選擇情境。
已發現，以取決於先前編碼之權重參數或語法元素之情境進行的編碼係有益於類神經網路之壓縮。
在一較佳實施例中，編碼器取決於與給定情境相關聯之一或多個先前經編碼倉而判定與給定情境相關聯的一給定倉的倉值機率。
其中，倉可例如表示權重參數之零旗標或正負號旗標，或權重參數之絕對值表示之位元。舉例來說倉值可為二進位數值，亦即：0及1。每一倉與情境相關聯，但亦可與一個以上的情境相關聯。
與情境或多個情境相關聯之已編碼倉值可舉例來說指倉的值，其可表示先前編碼權重參數之零旗標、正負號旗標或絕對值表示之一或多個位元。
已發現，此等元素之機率可自先前編碼之權重參數判定。
在另一較佳實施例中，編碼器按以下方式中之一者選擇用於編碼權重參數之該旗標的情境，其中該權重參數係指該當前已編碼權重參數。
此選擇可取決於先前編碼之權重參數之正負號而執行。
此選擇可出於至少三個不同零旗標情境來執行。該選擇取決於該先前編碼之權重參數是否等於零、小於零或大於零而選擇該等三個情境中的一者。
此選擇可取決於一當前編碼之權重參數是否為一掃描列中之一第一權重參數抑或一權重參數矩陣之一掃描行中而執行。
此情況之一範例為當前經編碼權重參數之x索引是否對自最一小x索引朝向更大索引的一掃描次序採用最低可能值，例如：0。
另一範例為當前經編碼權重參數的x索引是否對自一最大x索引朝向較小x索引之掃描次序採用最大可能值。
進一步範例為當前經編碼權重參數之y索引是否對自一最小y索引朝向較大y索引之一掃描次序採用最低可能值，例如：0。
又另一範例為當前經編碼權重參數的y索引是否對自一最大y索引朝向較小y索引之掃描次序採用最大可能值。
其中，舉例來說選擇性地用於當前經編碼權重參數中的一預定情境係在一權重參數矩陣之掃描列或掃描行中的一第一權重參數。
此選擇可取決於先前當前經編碼權重參數的一權重參數是否已經被編碼及/或可用而執行。
在此狀況下，舉例來說先前係指權重參數矩陣的掃描列或掃描行之掃描方向。
選擇準則亦可經組合以使得選擇被執行，使得在一先前經編碼權重參數為零且先於該當前經編碼權重參數的一權重參數尚未被編碼且不可用時選擇一第一情境，而若該先前經編碼權重參數小於零，則選擇一第二情境，以及若該先前經編碼權重參數大於零，則選擇一第三情境。
換句話說，用於權重參數之零旗標之編碼的第一情境被選擇：在先前經編碼權重參數為零的情況下；及在先於當前經編碼權重參數一權重參數，舉例來說當考慮權重參數陣列之掃描列或掃描欄之掃描方向時，尚未被編碼的情況下；及在先於當前經編碼權重參數一權重參數，舉例來說當考慮權重參數陣列之掃描列或掃描欄之掃描方向時，不可得的情況下，例如：當考慮到掃描方向時，一權重參數先於當前經編碼權重參數的一位置是在權重陣列之外。
在先前經編碼權重參數，其例如：先於當前經編碼權重參數，小於零的狀況下，則用於權重參數，例如：當前經編碼權重參數，的一零旗標編碼的第二情境。
最後，在先前經編碼權重參數，其再次例如：先於當前經編碼權重參數，大於零的狀況下，選擇用於權重參數，例如：當前經編碼權重參數，的一零旗標編碼的第三情境。
再次，編碼可為算術編碼，且零旗標可為，例如：語法元素「sig_flag」。
已發現，根據上述準則選擇零旗標之情境可改良壓縮。
在另一較佳實施例中，該編碼器判定複數個狀態識別符，該等複數個狀態識別符代表在相對於呈一數值之形式的一當前經編碼權重參數之一位置的複數個位置的複數個權重參數之狀態。編碼器接著組合，例如：線性地，狀態識別符，以便獲得代表當前經編碼權重參數之情境的情境索引值。當前經編碼權重參數可舉例來說為當前編碼權重參數的零旗標，例如：語法元素「sig_flag」。其中舉例來說每一可能的星象圖或狀態識別符值之組合係映射至情境值或甚至獨特情境值。
狀態識別符可，例如，被稱為sx-1,y 、sx,y-1 、sx-1,y-1 ，且可表示如舉例來說可用性、編碼狀態(亦即：是否已編碼)、零狀態(亦即：是否等於零)、正負號、量值(例如：絕對值)等之狀態。
組合之範例係根據C=sx-1,y +3*sx,y-1 +9*sx-1,y-1 。所獲得之情境索引可接著例如為C。
因此較佳地，編碼器取決於多少零值權重參數，例如：先前經編碼，及/或一列中之不可用權重參數係相鄰於當前經編碼權重參數來選擇一情境，如上文所詳述。
不可得權重參數例如可被稱為，例如：lx-1,y 、lx-2,y 、lx-3,y ，且由狀態識別符sx-1,y 、sx-2,y 、sx-3,y 表示。
因此更進一步較佳地，複數個權重參數被安排在一矩陣中，並且權重參數被表示為lx-1,y 、lx-2,y 及lx-3,y ，且分別對應於在該矩陣中的位置(x-1,y)、(x-2,y)及(x-3,y)，並且由狀態識別符sx-1,y 、sx-2,y 、sx-3,y 表示。
進一步可能的是，複數個權重參數係被安排在一矩陣中，且若位置(x,y)不可用，例如：其在矩陣外部或尚未被解碼或位置(x,y)的權重參數等於零，則矩陣中之位置(x,y)的狀態識別符sx,y 等於第一值，例如：0，若位置(x,y)的權重參數小於零，則位置(x,y)的狀態識別符sx,y 等於第二值，例如：1，且若位置(x,y)的權重參數大於0，則位置(x,y)的狀態識別符sx,y 等於第三值，例如：2。
替代地，複數個權重參數係被安排在一矩陣中，且若位置(x,y)不可用，例如：其用於位於矩陣外部或尚未被解碼或位置(x,y)的權重參數等於0，則矩陣中之位置(x,y)的狀態識別符sx,y 等於第一值，例如：0，若位置(x,y)係可用的，例如：其係位於矩陣的內部且已經被解碼，且位置(x,y)的權重參數不等於0，則用於位置(x,y)的狀態識別符sx,y 等於第二值，例如：1。
已發現，此情境模組方案適用於廣範圍的類神經網路。
在進一步較佳實施例中，再次如上文所述，編碼器取決於最接近非零，例如：先前經編碼，權重參數之距離，例如：在權重向量之矩陣中，選擇情境，其係當看自，例如：考慮，當前經編碼權重參數時在預定方向上存在。在其中，例如，一預定數目的權重參數被考慮以決定最接近的非零權重參數的距離。
該方向可以藉由例如左邊或在左手邊之類似方式指出。
已發現，該壓縮可藉由取決於已先前編碼之最近非零權重參數的距離選擇情境來改良。
在進一步較佳實施例中，編碼器考僅慮到單一先前經編碼之權重參數，而選擇用於權重參數或正負號旗標，例如：語法元素「sign_flag」，之零旗標，例如：語法元素「sig_flag」，之編碼的情境，單一先前經編碼權重參數相鄰於當前經編碼權重參數。
其中，該當前經編碼權重參數可位於，例如：該等權重參數之矩陣中的位置(x,y)，且該先前經編碼權重參數可位於，例如：位置(x-1,y)或(x,y-1)處。相鄰可例如意為左相鄰、為上部相鄰、為直接相鄰或其類似者。
為此，較佳地，編碼器可判定用於單一先前經編碼權重參數之狀態識別符，其中若單一先前經編碼權重參數不可用得或在位置(x,y)之權重參數等於零，則狀態識別符等於第一值，例如：0。若單一先前經編碼權重參數小於零，則該狀態識別符等於第二值，例如：1。且若該單一先前編碼之權重參數大於0，則該狀態識別符等於第三值，例如：2。編碼器接著取決於狀態識別符而選擇情境，例如：出自三個情境。
其中「不可用」意謂，例如，先前經編碼權重參數位於權重參數之矩陣外部，或尚未被編碼。
已發現，該壓縮可藉由選擇僅考慮一先前編碼之權重參數來改良，該先前經編碼權重參數較佳地鄰近於當前經編碼權重參數。
在進一步較佳實施例中，編碼器取決於先前經編碼權重參數是否小於零，等於零或大於零而選擇不同情境。
已發現，當用於當前經編碼權重參數之情境取決於先前經編碼權重參數是否小於、等於或大於零時，可改良壓縮。
在進一步較佳實施例中，在先前經編碼權重參數不可用的情況下，編碼器選擇與先前經編碼權重參數之零值相關聯的情境。
其中「不可用」意謂，例如，先前經編碼權重參數位於權重參數之矩陣外部，或尚未被編碼。
已發現，當與一零值相關聯之情境取決於該先前經編碼權重參數是否可用時，此壓縮可被改善。
在進一步較佳實施例中，編碼器算術地編碼表示權重參數之絕對值或其最高有效部分之一元碼或經截斷一元碼的二進位值。
已發現，使用編碼器編碼(經截斷)一元碼之二進位值允許使用本發明來進行類神經網路操作，從而利用其固有的簡化性及穩定性。
在進一步較佳實施例中，編碼器算術地編碼經截斷一元碼之二進位值，其中經截斷一元碼之二進位值描述權重參數之絕對值是否大於關聯於二進位值之位元位置的個別臨界值。其中編碼器提供與一給定權重參數相關聯之經截斷一元碼，使得經截斷一元碼以例如0的一個二進位值終止，該二進位值指出該權重參數不大於相關聯於經截斷一元碼之該最後二進位值的一個別臨界值，在該給定權重參數小於一預定值的情況下。另外，編碼器提供與另一給定權重參數相關聯之經截斷一元碼，使得經截斷一元碼以例如1的一個二進位值終止，二進位值指出該權重參數大於相關聯於經截斷一元碼之最後二進位值的個別臨限值，在給定權重參數小於或替代地大於或等於預定值的情況下，使得經截斷一元碼不包含一終止二進位值，但在其長度上受限制。藉此，舉例來說選擇性地省略一元碼之終止二進位值，或在一元碼達到預定最大容許長度之情況下及/或在與當前位元位置或一下一個位元位置相關聯之臨限值，例如：X，大於或等於一預定臨界值，例如abs_max，之狀況下選擇性地省略其他二進位值之提供。
已發現，壓縮效率可被增加，因為若編碼器及解碼器側處已知最大絕對值abs_max，則abs_level_greater_X語法元素之編碼可終止，當針對待傳輸之下一個abs_level_greater_X時，維持X＞=abs_max。
在進一步較佳實施例中，編碼器算術地編碼一元碼或經截斷一元碼之二進位值，二進位值描述權重參數之絕對值是否大於相關聯於個別二進位值之一個別位元位置的一個別臨界值。其中在位元位置之第一範圍內與鄰接位元位置相關聯的臨界值之間的差在係恆定的，例如：在第一位元位置範圍中X增加1，且接著位元位置之第一範圍在位元位置之第二範圍中指數式增加，例如：藉由在位元位置之第二範圍中根據X=X在2k增加X，其中k接著隨著增加位元位置而增加1。
已發現，壓縮可由本發明之一態樣針對對應的一元碼而改良。
在進一步較佳實施例中，與鄰近位元位置相關聯之臨界值之間的差為恆定的，例如：等於位元位置之第二範圍上的倒數第二臨界值與最後臨界值之間的差，在位元位置之第二範圍之後的第三位元位置範圍中。
已發現，壓縮效率可以與鄰接位元位置相關聯的臨界值之間的恆定差異來改良。
在進一步較佳實施例中，編碼器選擇用於在一元碼或經截斷一元碼之不同位置處的位元，例如：取決於位元位置X，之編碼的不同情境，其中例如位元位置X處之位元指出待編碼之權重參數的絕對值是否大於X。
已發現，藉由取決於位元位置選擇情境，可改良壓縮。
在進一步較佳實施例中，編碼器取決於當前經編碼權重參數之正負號，例如：取決於正負號旗標，例如：語法元素「sign_flag」)而選擇出自兩個可能情境的用於位元在給定位元位置，例如：位元位置X，的一元碼或未經截斷一元碼之編碼的情境。
另一可能性為，編碼器針對取決於當前經編碼參數之正負號，例如：取決於正負號旗標，例如，語法元素「sign_flag」，及視情況亦取決於位元位置，一元碼或經截斷一元碼的一或多個位元位置，例如：對於具有小於預定數目之，例如：X'，的X之位元位置，之第一範圍內的位元之編碼選擇出自每一個位元位置的兩個可能情境的情境。編碼器選擇用於獨立於當前經編碼權重參數之正負號，例如：僅取決於位元位置X，的一元碼或經截斷一元碼一或多個位元位置之第二範圍內之位元的編碼之情境，例如：對於具有X大於或等於預定數目的位元位置X，例如：X'。
已發現，選擇出自兩個可能情境的用於位元之編碼的情境亦可改良壓縮效率。
在進一步較佳實施例中，編碼器使用一預定，例如：固定，情境或使用算術編碼之一旁路模式編碼一元碼或經截斷一元碼的一或多個位元位置之第二範圍內的位元，例如：X大於或等於預定數目的abs_level_greater_X旗標。
在另一較佳實施例中，編碼器使用預定，例如：固定，情境或使用算術編碼之旁路模式編碼權重參數之絕對值，例如：權重參數之絕對值的最低有效部分，之固定位元剩餘部分。
已發現，藉由針對一定範圍之位元位置或針對固定位元之剩餘部分使用旁路模式的固定情境可改良壓縮。
在進一步較佳實施例中，編碼器算術地編碼表示權重參數之絕對值或其最高有效部分的步驟的一元碼或經截斷一元碼的複數個二進位值，例如：abs_level_greater_X，其中X可例如在步驟1中或大於1之步驟中或在增加中之步驟中增大。
已發現，編碼一元碼之二進位值亦可提高壓縮效率。
在進一步較佳實施例中，一元碼或經截斷一元碼之例如abs_level_greater_X的二進位值指出權重參數，例如：當前編碼之權重參數，之絕對值是否大於X。
已發現，若該一元碼係以此方式建構，則該壓縮可為特別有效。
在進一步較佳實施例中，編碼器在X小於預定值，例如：X'，之狀況下考慮出自兩個可能情境，例如：取決於權重參數之正負號，選擇二進位值abs_level_greater_X之編碼的情境，及使用與位元位置相關聯之預定情境，其與正負號無關，且可不取決於位元位置，在X大於或等於預定值之狀況下。
已發現，以此種方式選擇情境亦可改良壓縮。
在另一較佳實施例中，該等權重參數至少邏輯上經組織於矩陣之列及行中。舉例來說，其中與一給定層之一給定第i個神經元之不同輸入信號相關聯的加權值可被佈置在第i列中，且其中與該給定層之一第j個輸入信號相關聯的加權值可被佈置在第j行中，或者其中例如與一給定層之一給定第i個神經元之不同輸入信號相關聯的加權值可被配置在一第i行中，且其中與該給定層之一第j個輸入信號相關聯的加權值可被佈置在第j列中。
藉此編碼權重參數之次序係沿著矩陣之第一列或行，接著沿著矩陣之後續第二列或行，例如：第一及第二列或行中都在相同方向上、或與第一及第二列或行中在相反方向上。
已發現，若此以此方式組織矩陣，則根據本發明之態樣的壓縮特別有效。
在本發明之另一態樣中，上文針對編碼器所述之相同概念及原理可應用於解碼器，且因此其未重複。據此自然地進行解碼與解壓縮相關聯。
特別是，本發明之另一態樣為用於解碼類神經網路之權重參數的解碼器。解碼器獲得表示該類神經網路之權重參數的複數個位元，且使用一情境相依算術編碼解碼該等權重參數。因為該解碼器選擇用於解碼權重參數或權重參數之數字表示型態之語法元素的情境。該選擇係取決於一或多個先前經解碼權重參數及/或一或多個權重參數之數字表示型態的語法元素而執行。接著，解碼器使用選定情境解碼權重參數或權重參數之語法元素。
權重參數可為，例如：wi 或qi 或li ，所接收，且類神經網路可例如為類神經網路之量化版本。情境相依算術編碼可為例如情境適應性二進位算術編碼、CABAC，其中亦作為一實例，針對不同情境判定倉值之機率，且其中，例如每一倉與一情境相關聯。
解碼器選擇用於解碼之一情境，例如：具有情境索引C之情境，其可為權重參數，例如：wi ，之算術解碼。或者，可將語法元素，例如，零旗標「sig_flag」或正負號旗標「sign_flag」，可能可被算術地解碼。語法元素亦可為權重參數之絕對值的經解碼表示或權重參數之絕對值的最高有效部分之經解碼表示，其可例如為倉之一元序列或倉之經截斷一元序列。此外，語法元素亦可為權重參數之絕對值之最低有效部分的經解碼表示，例如：固定長度序列。
語法元素係指權重參數之數字表示型態，例如：化整或量化的數字表示型態。
且該解碼器取決於先前經解碼權重參數而選擇情境，例如：wi 及/或一或多個權重參數之一數字表示型態的語法元素。
已發現，取決於先前經解碼權重參數或語法元素的解碼對於類神經網路之壓縮係有益的。
在一較佳實施例中，該解碼器取決於與該給定情境相關聯的一或多個先前經解碼倉值而決定與該給定情境相關聯的一給定倉之倉值的機率。
其中，倉可例如為表示零旗標或權重參數之正負號旗標，或權重參數之絕對值表示之位元。倉值可例如為二進位，亦即，0及1。每一倉與情境相關聯，但亦可與一個以上的情境相關聯。
與情境或情境相關聯的經解碼倉值可例如指倉之值，其可表示先前經解碼權重參數之零旗標、正負號旗標或絕對值表示之一或多個位元。
已發現，此等元素之機率可自先前經解碼權重參數判定。
在另一較佳實施例中，解碼器按以下方式中之一者選擇用於權重參數之零旗標的解碼之情境，其中權重參數係指該當前經解碼權重參數。
此選擇可取決於先前經解碼權重參數的正負號而執行。
此選擇可從出自至少三個不同的零旗標情境來執行。此選擇取決於先前經解碼權重參數是否等於零、小於零或大於零選擇三個情境中的一者。
此選擇可取決於當前經解碼權重參數是否為一權重參數矩陣之一掃描列或一掃描行中之一第一權重參數而執行。
此情況之一範例為當前經解碼權重參數的x索引是否對於自最小x索引朝向較大x索引之掃描次序採用例如0之最低可能值。
另一範例為當前經解碼權重參數的x索引是否對於自最大x索引朝向較小x索引之掃描次序採用最大可能值。
進一步範例為當前經解碼權重參數的y索引是否對於自最小y索引朝向較大y索引之掃描次序採用例如0之最低可能值。
又另一範例為當前經解碼權重參數的y索引是否對於自最大y索引朝向較小y索引之掃描次序採用最大可能值。
其中，舉例來說選擇性地將預定情境用於當前經解碼權重參數係權重參數之矩陣的掃描列或掃描行中的第一權重參數。
此選擇可取決於先行於當前經解碼權重參數的一權重參數是否已被解碼及/或可用而執行。
在此狀況下，舉例來說先前指權重參數之一陣列的掃描列或掃描行之掃描方向。
此選擇準則亦可經組合以使得該選擇被執行，使得若一先前經解碼權重參數為零且先行於當前經解碼權重參數的一權重參數尚未解碼且不可用時選擇一地一情境，而若先前經解碼權重參數小於零時，選擇一第二情境，且若先前經解碼權重參數大於零時，選擇一第三情境。
換句話說，在下列的情況下用於權重參數，例如：當前經解碼權重參數，之零旗標之解碼的第一情境被選擇：在先前經解碼權重參數為零的情況下；及在先於當前經解碼權重參數一權重參數，舉例來說當考慮權重參數陣列之掃描列或掃描欄之掃描方向時，尚未被解碼的情況下；及在先於當前經解碼權重參數一權重參數，舉例來說當考慮權重參數陣列之掃描列或掃描欄之掃描方向時，不可得的情況下，例如：當考慮到掃描方向時，一權重參數先於當前經解碼權重參數的一位置是在權重陣列之外。
在先前經解碼權重參數，其例如：先於當前經解碼權重參數，小於零的狀況下，則用於權重參數，例如：當前經解碼權重參數，的一零旗標解碼的第二情境。
最後，在先前經解碼權重參數，其再次例如：先於當前經解碼權重參數，大於零的狀況下，選擇用於權重參數，例如：當前經解碼權重參數，的一零旗標解碼的第三情境。
再次，解碼可為算術解碼，且零旗標可例如為語法元素「sig_flag」。
已發現，根據上述準則選擇零旗標之情境可改良壓縮。
在另一較佳實施例中，該解碼器判定複數個狀態識別符，該等複數個狀態識別符代表在相對於呈一數值之形式的一當前解碼碼權重參數之一位置的複數個位置的複數個權重參數之狀態。解碼器接著組合，例如：線性地，狀態識別符，以便獲得表示當前解碼權重參數的情境之情境索引值。當前經解碼權重參數可例如為當前經解碼權重參數的零旗標，例如：語法元素「sig_flag」。其中舉例來說，每一可能的星象圖或狀態識別符值之組合映射至情境值或甚至映射至獨特的情境值。
狀態識別器可例如被稱為sx-1,y 、sx,y-1 、sx-1,y-1 ，且可表示為例如可用性、解碼狀態(亦即，是否已解碼)、零狀態(亦即，是否已等於零)、正負號、量值(例如，絕對值)等之狀態。
組合之範例係根據C=sx-1,y +3*sx,y-1 +9*sx-1,y-1 。所獲得之情境索引可接著例如為C。
因此較佳地，解碼器如上所詳述取決於多少零值，例如，先前經解碼、權重參數及/或一列中之不可用權重參數相鄰於當前經解碼權重參數來選擇一情境。
在不接收到的權重參數可例如被稱為，lx-1,y 、lx-2,y 、lx-3,y ，且由狀態識別符sx-1,y 、sx-2,y 、sx-3,y 表示。
因此更進一步較佳地，複數個權重參數被安排在一矩陣中，並且權重參數被表示為lx-1,y 、lx-2,y 及lx-3,y ，且分別對應於在該矩陣中的位置(x-1,y)、(x-2,y)及(x-3,y)，並且由狀態識別符sx-1,y 、sx-2,y 、sx-3,y 表示。
進一步可能的是，複數個權重參數係被安排在一矩陣中，且若位置(x,y)不可用，例如：其在矩陣外部或尚未被解碼或位置(x,y)的權重參數等於零，則矩陣中之位置(x,y)的狀態識別符sx,y等於第一值，例如：0，若位置(x,y)的權重參數小於零，則位置(x,y)的狀態識別符sx,y等於第二值，例如：1，且若位置(x,y)的權重參數大於0，則位置(x,y)的狀態識別符sx,y等於第三值，例如：2。
替代地，複數個權重參數係被安排在一矩陣中，且若位置(x,y)不可用，例如：其用於位於矩陣外部或尚未被解碼或位置(x,y)的權重參數等於0，則矩陣中之位置(x,y)的狀態識別符sx,y等於第一值，例如：0，若位置(x,y)係可用的，例如：其係位於矩陣的內部且已經被解碼，且位置(x,y)的權重參數不等於0，則用於位置(x,y)的狀態識別符sx,y等於第二值，例如：1。
已發現，此情境模組方案適用於廣範圍的類神經網路。
在進一步較佳實施例中，再次如上文所述，解碼器取決於最接近非零，例如：先前經解碼，權重參數之距離，例如：在權重向量之矩陣中，選擇情境，其係當看自，例如：考慮，當前經解碼權重參數時在預定方向上存在。其中舉例來說，一預定數目的權重參數被考慮以決定最接近非零權重參數的距離。
此方向可以例如左邊或在左手邊之類似方式指出。
已發現，該壓縮可藉由取決於已先前解碼之最近非零權重參數的距離而選擇情境來改良。
在另一較佳實施例中，解碼器考僅慮到單一先前經解碼之權重參數，而選擇用於權重參數或正負號旗標，例如：語法元素「sign_flag」，之零旗標，例如：語法元素「sig_flag」，之解碼的情境，該單一先前經解碼權重參數相鄰於當前經解碼權重參數。
其中，該當前經解碼權重參數可位於，例如：該等權重參數之矩陣中的位置(x,y)，且該先前經解碼權重參數可位於，例如：位置(x-1,y)或(x,y-1)處。相鄰可意指例如為左相鄰、為上相鄰、為直接相鄰或其類似者。
為此，較佳地，解碼器可判定用於單一先前經解碼權重參數之狀態識別符，其中若單一先前經解碼權重參數不可用或權重參數在位置(x,y)時，狀態識別符等於第一值，例如：0。若該單一先前經解碼權重參數小於零，則該狀態識別符等於第二值，例如：1。且若該單一先前經解碼權重參數大於0，則該狀態識別符等於第三值，例如：2。解碼器接著取決於狀態識別符而選擇情境，例如：出自三個情境。
其中「不可用」意指例如先前經解碼權重參數位於權重參數之矩陣外部，或尚未被解碼。
已發現，該壓縮可藉由僅考慮一先前經解碼權重參數而選擇情境來改良，該先前經解碼權重參數較佳地相鄰於當前經解碼權重參數。
在進一步較佳實施例中，該解碼器取決於該先前經解碼權重參數是否小於零、等於零還是大於零而選擇不同情境。
已發現，當用於當前經解碼權重參數的情境取決於先前經解碼權重參數是否小於、等於或大於零時，可改良壓縮。
在進一步佳實施例中，在先前經解碼權重參數不可用時，解碼器選擇與先前經解碼權重參數之零值相關聯的情境。
其中「不可用」意指例如先前經解碼權重參數位於權重參數之矩陣外部，或尚未被解碼。
已發現，當與一零值相關聯之情境取決於該先前經解碼權重參數是否可用時，該壓縮可被改善。
在進一步較佳實施例中，解碼器算術地解碼表示權重參數之絕對值或其最高有效部分之一元碼或經截斷一元碼的二進位值。
已發現，使用解碼器解碼(經截斷)一元碼之二進位值允許使用本發明之一態樣的類神經網路運作，從而利用其固有的簡化性及穩定性。
在進一步較佳實施例中，該解碼器算術地解碼一經截斷一元碼之二進位值，其中該經截斷一元碼之二進位值描述該權重參數之絕對值是否大於相關聯於該等二進位值之位元位置的個別臨界值。其中該解碼器提供與一給定權重參數相關聯之經截斷一元碼，使得該經截斷一元碼以例如0的一個二進位值終止，該二進位值指出該權重參數不大於相關聯於該經截斷一元碼之該最後二進位值的一個別臨界值，在該給定權重參數小於一預定值的情況下。另外，該解碼器提供與另一給定權重參數相關聯之經截斷一元碼，使得經截斷一元碼以例如1的一個二進位值終止，該二進位值指出該權重參數大於相關聯於經截斷一元碼之最後二進位值的個別臨限值，在給定權重參數小於或替代地大於或等於預定值的情況下，使得經截斷一元碼不包含一終止二進位值，但在其長度上受限制。藉此，舉例來說，選擇性地省略一元碼之終止二進位值，或在一元碼達到預定最大容許長度之情況下及/或在與當前位元位置或一下一個位元位置相關聯之臨限值，例如：X，大於或等於一預定臨界值，例如：abs_max，之狀況下選擇性地省略其他二進位值之提供。
已發現，壓縮效率可被增加，因為若解碼器及解碼器側處已知最大絕對值abs_max，則abs_level_greater_X語法元素之解碼可終止，當針對待傳輸之下一個abs_level_greater_X時，維持X＞=abs_max。
在進一步較佳實施例中，該解碼器算術地編碼一元碼或經截斷一元碼之二進位值，該二進位值描述該權重參數之絕對值是否大於相關聯於個別二進位值之一個別位元位置的一個別臨界值。其中在位元位置之第一範圍內與鄰接位元位置相關聯的臨界值之間的差在係恆定的，例如：在第一位元位置範圍中X增加1，且接著位元位置之第一範圍在位元位置之第二範圍中指數式增加，例如：藉由在位元位置之第二範圍中根據X=X在2k增加X，其中k接著隨著增加位元位置而增加1。
已發現，壓縮可由本發明之一態樣針對對應的一元碼而改良。
在進一步較佳實施例中，與鄰近位元位置相關聯之臨界值之間的差為恆定的，例如：等於位元位置之第二範圍上的倒數第二臨界值與最後臨界值之間的差，在位元位置之第二範圍之後的第三位元位置範圍中。
已發現，壓縮效率可以與鄰接位元位置相關聯的臨界值之間的恆定差異來改良。
在進一步較佳實施例中，解碼器選擇用於在一元碼或經截斷一元碼之不同位置處的位元，例如：取決於位元位置X，之解碼的不同情境，其中例如位元位置X處之位元指出待解碼之權重參數的絕對值是否大於X。
已發現，藉由取決於位元位置選擇情境，可改良壓縮。
在進一步較佳實施例中，解碼器取決於當前經解碼權重參數之正負號，例如：取決於正負號旗標，例如：語法元素「sign_flag」)而選擇出自兩個可能情境的用於位元在給定位元位置，例如：位元位置X，的一元碼或未經截斷一元碼之解碼的情境。
另一可能性為，解碼器針對取決於當前經解碼參數之正負號，例如：取決於正負號旗標，例如，語法元素「sign_flag」，及視情況亦取決於位元位置，一元碼或經截斷一元碼的一或多個位元位置，例如：對於具有小於預定數目之，例如：X'，的X之位元位置，之第一範圍內的位元之解碼選擇出自每一個位元位置的兩個可能情境的情境。解碼器選擇用於獨立於當前經解碼權重參數之正負號，例如：僅取決於位元位置X，的一元碼或經截斷一元碼一或多個位元位置之第二範圍內之位元的解碼之情境，例如：對於具有X大於或等於預定數目的位元位置X，例如：X'。
已發現，選擇出自兩個可能情境的用於位元之解碼的情境亦可改良壓縮效率。
在進一步較佳實施例中，解碼器使用一預定，例如：固定，情境或使用該算術解碼之一旁路模式解碼一元碼或經截斷一元碼的一或多個位元位置之第二範圍內的位元，例如：X大於或等於預定數目的abs_level_greater_X旗標。
在進一步較佳實施例中，解碼器使用預定，例如：固定，情境或使用算術解碼之旁路模式解碼權重參數之絕對值，例如：權重參數之絕對值的最低有效部分，之固定位元剩餘部分。
已發現，藉由針對一定範圍之位元位置或針對固定位元之剩餘部分使用旁路模式的固定情境可改良壓縮。
在進一步較佳實施例中，解碼器算術地編碼表示權重參數之絕對值或其最高有效部分的步驟的一元碼或經截斷一元碼的複數個二進位值，例如：abs_level_greater_X，其中X可例如在步驟1中或大於1之步驟中或在增加中之步驟中增大。
已發現，解碼一元碼之二進位值亦可提高壓縮效率。
在進一步較佳實施例中，一元碼或經截斷一元碼之例如abs_level_greater_X的二進位值指出權重參數，例如：當前解碼之權重參數，之絕對值是否大於X。
已發現，若該一元碼係以此方式建構，則壓縮可為特別有效。
在進一步較佳實施例中，解碼器在X小於預定值，例如：X'，之狀況下考慮出自兩個可能情境，例如：取決於權重參數之正負號，選擇二進位值abs_level_greater_X之解碼的情境，及使用與位元位置相關聯之預定情境，其與正負號無關，且可不取決於位元位置，在X大於或等於預定值之狀況下。
已發現，以此種方式選擇情境亦可改良壓縮。
在另一較佳實施例中，該等權重參數至少邏輯上經組織於矩陣之列及行中。舉例來說，其中與一給定層之一給定第i個神經元之不同輸入信號相關聯的加權值可被佈置在第i列中，且其中與該給定層之一第j個輸入信號相關聯的加權值可被佈置在第j行中，或者其中例如與一給定層之一給定第i個神經元之不同輸入信號相關聯的加權值可被配置在一第i行中，且其中與該給定層之一第j個輸入信號相關聯的加權值可被佈置在第j列中。
藉此解碼權重參數之次序係沿著矩陣之第一列或行，接著沿著矩陣之後續第二列或行，例如：第一及第二列或行中都在相同方向上、或與第一及第二列或行中在相反方向上。
已發現，若此以此方式組織矩陣，則根據本發明之態樣的壓縮特別有效。
在本發明之另一態樣中，描述用於量化類神經網路之權重參數的量化器。量化器獲得複數個類神經網路之輸入權重參數，例如：wi ，且使用失真測量Di,k 來判定基於輸入權重參數，例如：wi ，之經量化權重參數，例如：qi ，預期失真描述由使用不同經量化值，例如：qi,k ，所造成的預期失真，例如：不同的量化步驟，而不是未經量化輸入權重參數及使用位元數量值，例如：Ri,k ，其描述針對不同經量化值，例如：qi,k ，的一表示，例如：編碼或算術編碼，之經估計或經運算的位元成果。
已發現，藉由使用針對判定經量化權重參數之此等失真測量，類神經網路之權重參數之量化可被改良。
在一較佳實施例中，量化器取決於輸入權重參數之經運算或經估計的變異數，例如：σi ²，來判定失真測量，舉例來說，使得失真測量描述由相對於經運算或經估計之變異數的給定經量化值之使用所造成之預期失真。
已發現，取決於經運算或經估計之變異數判定失真測量來改良量化。 在進一步較佳實施例中，量化器運算描述輸入權重參數與經量化值之間的偏差之一個二次誤差，例如：(wi -qi,k )²，與輸入銓重參數的經運算或經估計變異數，例如：標準差σi 的平方σi ²，之間的商
Figure 02_image003
，以獲得與輸入權重參數，例如：wi ，及經量化值，例如：qi,k ，相關聯的失真測量，例如：Di,k 。
已發現，以此方式運算失真測量為特別有效。
在進一步較佳實施例中，量化器評估一成本函數，例如：costi,k =Di,k +λ*Ri,k ，其組合失真測量，例如：Di,k ，及與給定輸入權重參數，例如：wi ，相關聯之複數個可能量化值，例如藉由索引k指定，的一個位元數量值，例如：Ri,k ，且依賴於成本函數之評估而選擇經量化值作為與給定輸入權重相關聯之經量化權重參數，例如：使得經量化權重參數最小化成本函數。
已發現，為了在壓縮效率與預測準確度之間得到一良好折衷，可評估如上述之一成本函數，並且可應用率失真最佳化之量化。
在進一步較佳實施例中，量化器選擇與給定輸入權重參數，例如：wi ，相關聯之經量化權重參數，例如：qi ，以在索引k上最小化成本函數，其中Di,k 係失真測量，其描述由具有索引k，例如：qi,k ，如：不同量化步驟，而不是未經量化輸入權重參數，例如：wi ，之經量化值之使用所造成之一預期，例如：絕對或相對的，如：相關於預期變異數，失真；其中舉例來說Di,k 係wi ,qi,k 之函數且權重參數之經判定或經評估變異數σi ²。此外，Ri,k 為描述需表示經量化值之經估計或經運算的位元數目之一個位元數量值，或具有索引k，例如：qi,k ，之候選經量化值，且其中λ為一預定值。
已發現，藉由最小化成本函數，壓縮效率可被改善。
在進一步較佳實施例中，量化器獲得位元數量之值，例如：Ri,k ，取決於不同經量化值之編碼或算術編碼所需的經估計或經運算位元數量值，例如：到一個位元串流中。
已發現，藉由取決於編碼所需要之位元數目來獲得位元數量值，可改良量化效率。
在進一步較佳實施例中，量化器判定經量化權重參數，例如：qi ，使得關聯於經判定之經量化權重參數的失真測量小於或等於預定值，例如：使得輸入權重參數與經判定之經量化權重參數之間的偏差小於輸入權重參數之標準差或至多等於輸入權重參數之標準差。
已發現，若失真測量小於或等於預定值，則預測之準確度可改良。
在進一步較佳實施例中，量化器使用訓練類神經網路，例如：人工類神經網路，之學習演算法，例如：訓練演算法，來獲得描述權重參數之變異數的變異數資訊，例如：σi ²。
已發現，藉由訓練獲得的變異數資訊可改良變異數資訊之品質，且因此改良預測之準確性。
在進一步較佳實施例中，量化器使用訓練類神經網路，例如：人工類神經網路，的學習演算法，例如：訓練演算法，描述權重參數之平均值而獲得做為輸入權重參數的平均值資訊，例如：σi ²，其中平均值資訊係接著藉由量化器量化，例如：為了有效的儲存或為了類神經網路的有效操作、或為了在一個位元串流中的有效編碼及傳輸。
已發現，如上文所提及，藉此結合類神經網路進行的儲存或操作可更有效。
在進一步較佳實施例中，量化器取決於針對經量化權重參數之基於情境之算術編碼的情境來判定位元數量值，其中例如，可就當前情境由量化器判定或估計不同經量化權重值之算術編碼將需要多少位元，其中當前情境可由先前經編碼經量化權重參數判定。
已發現，藉由取決於基於情境之算術編碼的情境判定位元數量值，量化效率可被改良。
在本發明之進一步態樣中，描述用於編碼類神經網路之權重參數的編碼器，其包含如上文所描述的量化器。其中該量化器基於輸入權重參數獲得經量化權重參數，且編碼器使用情境相依算術編碼，例如：使用情境適應性二進位算術編碼CABAC，來編碼該類神經網路，例如：經量化版本，之經量化權重參數，例如：qi ，其中例如，倉值之機率係針對不同情境判定，其中例如，每一倉與一情境相關聯。
此編碼器較佳地包含上文所描述之編碼器的特徵或功能性之任何特徵或組合。
已發現，如上文所述之包含一量化器的一編碼器改良了編碼操作。
其他態樣指用於編碼、解碼及量化一類神經網路權重參數的對應方法。
此等方法係基於與以上所述裝置相同的考慮。然而，應注意此等方法中之每一者亦可由本文所述的特徵、功能及細節中之任一者補充，對於裝置亦同。此外，該等方法可由該等裝置之特徵、功能及細節分別且以組合方式進行補充。
特別是，用於編碼及解碼之方法包含使用情境相關算術編碼，例如：使用情境適應性二進位算術編碼CABAC，獲得類神經網路的複數個權重參數，例如：wi 或qi 或li ，及編碼或解碼類神經網路，例如：經量化版本，的權重參數，例如：wi 或qi 或li ，其中例如針對不同情境判定倉值之機率，其中例如每一倉與情境相關聯。
本發明之進一步態樣係指當電腦程式在電腦上運行時用於執行本文中所描述之方法的電腦程式。
較佳實施例之詳細說明 在下文中，將描述用於判定類神經網路係數的一些方法，其可例如用於結合本文中所揭示之其他概念。然而，應注意亦可使用用於判定類神經網路之係數的不同方法。
舉例來說，在此呈現的裝置基於稍後貝氏方法應用一關聯性估計。具體來說，其應用呈現於(Dmitry Molchanov; arXiv:1701.05369, 2017)「變異漏失稀釋深度類神經網路」中的演算法。此演算法可經應用以便針對用於解決特定任務之網路的每一權重參數估計最佳平均值及變異數。一旦已估計這些，將一相關加權量化演算法應用於該等權重參數之平均值。
理想地，它使用每一參數的標準差作為間隔大小之測量，其中量化被允許(稍後更多關於此方面之敘述)。
裝置提出用於估計平均值及變異數之兩個選項。
第一選項完全如上文文件中所描述應用演算法。因此，其訓練每一權重參數之平均值及變異數兩者以便達到解決任務之最佳組態。此方法之初始化可為隨機的或預訓練網路取得。此方法具有如下優點：所得網路可經高度地量化及壓縮。然而，其缺點係其需要高計算資源以便被訓練。此處，需要對於平均值及變異數的估計之整個訓練資料集合。
第二選項不具有如第一者之缺點，亦即需要高計算資源，此係由於其採用預訓練網路作為初始化且將其參數固定為該分佈之平均值(因此，並未改變)。接著，僅藉由應用上文所指出之演算法估計每一參數之變異數。儘管此方法可能並不達到高壓縮增益，但優點在於計算資源極大地減小，此係由於此選項僅估計變異數。若整個資料之訓練集合可用，或僅資料樣本子集可用(諸如，一驗證集合)，則可應用此方法。
上文所指出之演算法將正向傳播方法重新定義成隨機演算法，且取而代之使變化目標最小化。具體來說，該演算法嘗試最小化一經調整化目標
Figure 02_image005
其中第一項嘗試找到每一參數之平均值及變異數(藉由psi參數化)，每一參數順利地解答任務，且其他者嘗試去分散平均值且最大化變異數。
因此，第二選項嘗試發現可適用於網路之預訓練值同時最小地影響其準確度的最大變異數(或擾亂)。且第一選項嘗試以0平均值的最大數目另外找到網路。因此，吾人通常在應用第一選項時達到較高壓縮增益，但需預期必須針對估計應用高計算資源。
在下文中，將描述一方法，其可例如用於對類神經網路之參數的量化(例如，用於如上文所描述判定的參數之量化)。量化方法可例如結合本文中所揭示之其他概念中的任一者使用，但亦可個別地使用。
量化：基於網路之經估計平均值及變異數，裝置對參數之平均值施用一情境適應相關性加權量化方法。
圖4根據本發明之一態樣展示一量化器的一範例。其展示，用於量化類神經網路320之權重參數的量化器300獲得類神經網路320之複數個輸入權重參數310。量化器300使用失真測量340決定基於輸入權重參數310之經量化權重參數330，該失真測量描述由不同經量化值之使用產生之預期失真，而非未經量化輸入權重參數，且使用描述針對不同經量化值之表示之經估計或經運算之位元成果之位元數量值。
然而，應注意可使用不同的量化概念/量化架構。在下文可用於量化的一些可選細節中，例如：用於類神經網路參數之量化，其可個別地使用且可組合地採用。
失真測量：以下加權距離測量
Figure 02_image003
可例如用作失真測量，其中wi 為權重序列之第i個權重，且其中σi 係與標準差相關聯，且其中qi,k 為wi 可能經量化版本中之第k個之一。應注意，若量化權重qi,k 位於個別標準差間隔內部，則失真值Di,k 不超出1。
給定權重之經量化版本係經由量化函數
Figure 02_image007
導出，該量化函數可例如將經量化值qi,k 約束為等距的，從而允許固定點表示。
率失真最佳化量化：為了在壓縮效率與預測準確度之間取得一良好折衷，可應用一速率失真最佳化之量化。因此，可針對具有失真測量Di,k 及位元量Ri,k 之每一候選經量化權重qi,k 定義成本函數
Figure 02_image009
。 參數λ控制操作點，且可取決於實際應用而選擇。舉例來說，可應用如上文所描述之失真測量Di,k 。視編碼演算法而定，可估計位元量Ri,k 。其為將qi,k 編碼至位元串流中所需的位元之數目。接著給定λ，透過k最小化成本函數costi,k 。
進一步可能是僅對容許Di,k 不超過1之經量化權重感興趣。在此情況下，保證經量化權重qi,k 在權重wi 之標準差間隔內保持。
在下文中，將描述用於無損編碼及解碼，例如用於類神經網路參數或經量化類神經網路參數的無損編碼及解碼的概念。用於無損編碼及解碼之概念可例如結合以上描述之類神經網路參數判定及/或與以上所描述之量化組合來使用，但亦可個別地進行。
無損編碼及解碼：若在先前步驟中應用一統一量化器，則經量化的權重參數可由一整數值(權重位準)及一定標因數來表示。定標因數可被稱為量化步長，其可例如對於整個層固定。為了恢復層之所有量化權重參數，解碼器可已知層之步長及維度。該等組件可例如單獨地傳輸。在此狀況下。二進位型樣簡單地寫入至位元串流，以維度(整數)開始繼之以步長Δ(例如，32位元浮點數)。
具有情境適應性二進位算術編碼(CABAC)之整數的編碼：量化權重位準(整數表示)可接著使用熵編碼技術來傳送。因此，一權重層被使用一掃描映射至一量化權重序列上。
圖2展示出根據本發明之一態樣之編碼器的實例。用於編碼一類神經網路120之權重參數110的一編碼器100獲得類神經網路120之複數個權重參數110被展示。接著，編碼器100使用情境相依算術編碼130編碼類神經網路120的權重參數110，其中編碼器100選擇用於一個權重參數110之編碼的若干可用情境1401 、1402 …140n ，或用於權重參數之數字表示型態的語法元素110a之編碼。此選擇係取決於用於選擇之某些準則150而執行。本文件針對此準則150描述許多可能選項。一個可能的準則150係取決於一或多個先前經編碼權重參數、及/或取決於一或多個權重參數之數字表示型態的一或多個先前經編碼語法元素而執行選擇。編碼器使用選定情境來編碼權重參數110或權重參數之語法元素110a。
然而，應注意可使用不同的編碼概念。在下文中，將描述可用於編碼，例如：用於類神經網路參數之編碼，的一些可選細節，其可個別地使用且可組合地採用。
作為一可選範例，在一較佳實施例中，使用列優先掃描次序，以矩陣之最上排的列開始來將所含值自左至右編碼。依此作法，所有列都從頂端編碼至底端。
作為另一可選範例，在另一較佳實施例中，在應用列優先掃描之前顛倒矩陣。
作為另一可選範例，在另一較佳實施例中，在應用列優先掃描之前，矩陣水平及/或垂直地及/或90/180/270度旋轉至左側或右側。
對於位準CABAC(情境適應二進位算術解碼)的編碼被使用。可在(D. Marpe等; IEEE針對視訊科技在電路及系統上的異動,第13冊,編號7,第620-636頁,2003年7月)「在H.264/AVC視訊壓縮標準中基於情境的適應性二進位算術編碼」中發現細節。因此，在一系列二進位符號或語法元件中分解一量化權重位準，該等二進位符號或語法元件隨後可被交遞至二進位算術編碼器(CABAC)。
在第一步驟中，導出二進位語法元素sig_flag以用於量化權重位準，其指定對應位準是否等於零。若sig_flag等於1，則導出進一步二進位語法元素sign_flag。倉指出當前權重位準是否為正(例如，倉=0)或負(例如，倉=1)。
其次，編碼倉的一元序列，接著為一固定長度序列，如下：
以非負整數初始化變數k，且以1＜＜k初始化X。
編碼一或多個語法元素abs_level_greater_X，其指出經量化權重位準之絕對值大於X。若abs_level_greater_X等於1，則變數k被更新(例如，增加1)，則1＜＜k被添加至X，且進一步abs_level_greater_X被編碼。此程序會持續，直到abs_level_greater_X等於0為止。之後，長度k之固定長度碼足以完成經量化權重索引之編碼。舉例來說，一變數
Figure 02_image011
可使用k位元來編碼。或者替代地，變數rem'可定義為使用k個位元編碼之
Figure 02_image013
。可替代地使用變數rem映射至一固定長度碼的k位元。
當在各抽abs_level_greater_X之後k增加1時，此方法相同於應用指數格倫布編碼(若不考慮sign_flag)。
另外，若最大絕對值abs_max在編碼器及解碼器側處已知，可終止abs_level_greater_X語法元素之編碼，當針對待傳輸之下一個abs_level_greater_X時，維持X＞=abs_max。
以CABAC之整數解碼：量化權重位準(整數表示)的解碼作用類似於編碼。
圖3展示根據本發明之一態樣之解碼器的範例。展示用於解碼類神經網路220之權重參數260的解碼器200獲得類神經網路220之複數個權重參數260。接著，解碼器200使用情境相依算術編碼230解碼類神經網路220之權重參數260，其中解碼器200選擇用於一個權重參數260之解碼的若干可用情境2401 、2402 …240n ，或用於權重參數之數字表示型態的語法元素260a之解碼。該選擇係取決於用於選擇之某些準則250而進行。本文件描述此準則250有許多可能選項。一可能之準則250係取決於一或多個先前經解碼權重參數、及/或取決於一或多個權重參數之數字表示型態的一或多個先前經解碼語法元素而執行選擇。解碼器使用選定情境來解碼權重參數260或權重參數之語法元素260a。
然而，應注意可使用不同的解碼概念。在下文中，將描述可用於解碼，例如：用於類神經網路參數之解碼，的一些可選細節，其可個別地使用且可組合地採用。
解碼器首先解碼sig_flag。若其等於1，則sign_flag及abs_level_greater_X的一元序列接續，其中k的更新(且因此導致X的增量)必須遵循與編碼器中相同的規則。最後，k位元之固定長度碼經解碼且解譯為整數(例如，作為rem或rem'，取決於兩者之哪一者被編碼)。經解碼經量化權重位準
Figure 02_image015
接著可自X重新建構，且形成固定長度部分。舉例來說，若rem用作固定長度部分，則
Figure 02_image015
=X-rem。或替代地，若rem'已編碼，
Figure 02_image017
。作為一最後步驟，需要依賴經解碼sign_flag而將正負號應用於
Figure 02_image015
，從而得到經量化權重位準
Figure 02_image019
。最後，藉由把該經量化權重位準
Figure 02_image019
與步長Δ相乘來重新建構經量化權重q。
在一較佳實施例中，k以0初始化且如下更新。在每一abs_level_greater_X等於1之後，根據以下規則進行k之所需更新：若X＞X'，則k遞增1，其中X'取決於應用係恆定的。舉例而言，X'係藉由編碼器導出及傳訊至解碼器之數目(例如，在0與100之間)。
情境模型化：在CABAC熵編碼中，用於經量化權重位準之語法元素係使用二進位機率模型化來編碼。每一個二進位決定(倉)係與情境相關聯。情境表示用於一類別之編碼倉之機率模型。兩個可能倉的一者的機率係針對各個情境基於已使用對應情境編碼之倉的值來估計。可應用不同情境模型化方法，視應用而定。通常，對於與該經量化權重編碼相關之若干倉，基於已經傳輸之語法元素選擇用於寫碼之情境。取決於實際應用，可選擇不同的機率估計器，例如：SBMP(基於狀態的多參數估計器)，或HEVC或VTM-4.0之彼等。選擇影響例如壓縮效率及複雜性。
用於SBMP之細節可見於(H. Kirchhoffer等; in JVET, Ljubljana, 2018)「JVET-K0430-v3 - CE5-相關：基於狀態之機率估計器」。
可在「ITU-T H.265高效率視訊寫碼」(ITU-國際通訊聯盟，H系列：視聽及多媒體系統-視聽服務的基礎架構-移動視訊寫碼，2015年4月)中發現用於HEVC之進一步細節。
且用於UraTM-4.0之細節可見於(B. Bross等; in JVET, Marrakech, 2019)「JVET-M1001-v6-多用途視訊寫碼(草稿4)」。
適用於廣泛範圍之類神經網路的情境模型化方案描述如下。為了解碼權重矩陣中之特定位置(x,y)處的經量化權重位準，將局部模板施加至當前位置。模板含有若干其他(有序)位置，例如(x-1,y)、(x-1)、(x-1,y-1)等。對於每一位置，導出狀態識別符。
在一較佳實施例(標示為Si1)中，用於位置(x,y)之狀態識別符sx,y 如下導出：若矩陣外部之位置(x,y)點，或若位置(x,y)處的經量化權重位準
Figure 02_image019
x,y 尚未經解碼或等於零，則狀態識別符sx,y =0。另外，狀態識別符應為sx,y =
Figure 02_image019
x,y ＜0?1:2，否則為狀態識別符。
在另一較佳實施例(標示為Si2)中，用於位置(x,y)之一狀態識別器sx,y 如下導出：若矩陣外部之位置(x,y)點，或若位置(x,y)處之經量化權重位準
Figure 02_image019
x,y 尚未解碼或等於零，則狀態識別符sx,y =0。否則，狀態識別符應為sx,y =1。
對於一特定模板，導出一系列狀態識別符，且將狀態識別符值之每一可能星象圖映射至情境索引，從而識別待使用之情境。模板及映射對於不同語法元素可不同。例如，自含有(有序)位置之模板(x-1,y)、(x-1)、(x-1,y-1)導出狀態識別符sx-1,y 、sx,y-1 、sx-1,y-1 之有序序列。舉例來說，可將此序列映射至一情境索引C=sx-1,y +3*sx,y-1 +9*sx-1,y-1 。舉例來說，情境索引C可用以識別數個用於sig_flag之情境。
在一較佳實施例(標示為方法1)中，在位置(x,y)處之用於經量化權重位準
Figure 02_image019
x,y 的sig_flag或sign_flag之本地模板僅由一個位置(x-1,y)(亦即，左方相鄰者)組成。根據較佳實施例Si1而導出相關聯狀態識別符sx-1,y 。
對於sig_flag，取決於sx-1,y 之值或針對sign_flag選擇出自三個情境中之一者，取決於sx-1,y 之值選擇出自另外三個其他內容中之一者。
在另一較佳實施例(標示為方法2)中，用於sig flag之本地模板含有三個有序位置(x-1,y)、(x-2,y)、(x-3,y)。狀態識別符sx-1,y 、sx-2,y 、sx-3,y 之相關聯的序列係根據較佳實施例Si2導出。 對於sig_flag，情境索引C如下導出：
若
Figure 02_image021
，則C=0。否則若
Figure 02_image023
，則C=1。否則若
Figure 02_image025
，則C=2。否則C=3。 此亦可藉由以下等式表達：
Figure 02_image027
以相同方式，左方的相鄰者之數目可增加或減少，使得情境索引C等於至下一非零權重至左方之距離(不超出模板大小)。
每一abs_level_greater_X旗標可例如應用一自有組的兩個情境。接著取決於sign_flag之值選擇出自兩個情境中之一者。
在一較佳實施例中，對於小於預定義數目X'之X的abs_level_greater_X旗標，不同的情境視X及/或sign_flag之值而定進行區分。
在一較佳實施例中，對於大於或等於預定義數目X'之X的abs_level_greater_X旗標，僅取決於X而區分不同情境。
在另一較佳實施例中，使用固定碼長度為1(例如：使用算術編碼器之旁路模式)來編碼大於或等於預定義數目X'之X的abs_level_greater_X旗標。
此外，亦可在不使用情境之情況下編碼一些或所有語法元素。而是以1位元之一固定長度來編碼他們。例如：使用CABAC之所謂旁路倉。
在另一較佳實施例中，固定長度剩餘rem使用旁路模式來編碼。
在另一較佳實施例中，編碼器判定預定義數目X'，取決於正負號而對各個X＜X'的語法元素abs_level_greater_X區分兩個情境，且對各個X＞=X'的abs_level_greater_X使用一個情境。 尤其有利的態樣：
根據本發明之一態樣，各參數之經估計標準差可解譯為個別關聯性分數，且從而加權量化步驟之失真測量。
再者，情境適應性量化方法可基於平均值參數值及其變異數之分布來應用。
最後，解碼程序可經調適，以便能夠執行有效之點成積操作。
此等概念中之任一者可任擇地在任何實施例中使用，結合任何其他態樣或個別地採用。 概括
本文中提供之裝置(或一般而言，所揭示之實施例中之任一者)可經產生且經調適至其他相關性分數測量。亦即，在量化程序中應用的失真功能可被概括到
Figure 02_image029
其中現在d(.,.)可為任何距離測量及Ri 任何相關評分測量。
然而，任何其他失真函數亦可視情況使用。甚至可能組合多於一個失真函數以產生用於與本文中所描述之概念中的任一者使用之失真測量。
其他作業：已有一些作業，其建議施用一加權熵約束量化演算法。這些細節可見於(Yoojin Choi等; CoRR, abs/1612.01543, 2016)「朝向網路量化的限制」、(Eunhyeok Park等; in CVPR, 2017)「用於深度類神經網路之加權熵式量化」。然而，量化演算法係基於針對純量量化的熵約束勞埃德演算法(亦見於「來源編碼：基礎來源及視訊編碼第一部分」(Thomas Wiegand and Heiko Schwarz, Foundations and Trends® in Signal Processing: Vol. 4: No. 1–2, 2011))以及因此並不應用任何基於情境之適應性演算法，亦不應用任何以改良與點成積演算法相關聯為目標之最佳化。此外，與本文件中應用之方法對比，其相關性分數基於泰勒擴展方法或基於量值參數之方法。
然而，已發現上方文件所描述之概念可視情況個別地或結合本發明文件之一或多個態樣使用。結論
總之，本文中描述之實施例可視情況由本文中所描述之重要點或態樣中的任一者補充。然而，應注意此處所描述之重要點及態樣可個別地或組合地使用且可個別地及以組合方式引入至本文中所描述的任和實施例中。 實施替代方案
儘管一些態樣已在裝置之情境中進行描述，但明顯地，此等態樣亦表示對應方法之描述，其中一區塊或裝置對應於一方法步驟或方法步驟之特徵。類似地，已就方法步驟之情境描述之態樣亦表示對應區塊或項目或對應裝置之特徵結構之描述。方法步驟中之一些或全部可由(或使用)硬體裝置來執行，該硬體裝置例如微處理器、可程式化電腦或電子電路。在一些實施例中，最高有效的方法步驟中之一或多個可由此裝置來執行。
視某些實施要求而定，本發明之一態樣的實施例可以硬體或以軟體來實施。可使用上面儲存有電子可讀控制信號的數位儲存媒體，例如：軟碟、DVD、Blu-Ray、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體，來執行實施，其與可程式化電腦系統協作(或能夠協作)以使得執行個別方法。因此，數位儲存媒體可係電腦可讀的。
根據本發明之一態樣的一些實施例包含具有電子可讀控制信號之資料載體，其能夠與可程式化電腦系統合作，使得本文所述之方法中的一者被執行。
一般而言，本發明之一態樣的實施例可實施為具有程式碼之電腦程式產品，該程式碼在電腦程式產品在電腦上執行時可被操作以執行該等方法中之一者。舉例來說該程式碼可被儲存在一機器可讀載體上。
其他實施例包含用以執行本文所述其中之一方法、儲存於一機器可讀載體上的電腦程式。
換言之，因此本發明方法之實施例為具有用於在電腦程式於電腦上執行時執行本文中所描述之方法中的一者之程式碼之電腦程式。
發明性方法之另一實施例因此為資料載體(或數位儲存媒體，或電腦可讀媒體)，資料載體包含記錄在該資料載體上的用於執行本文所述方法之一的電腦程式。資料載體、數位儲存媒體或記錄媒體通常為有形的且/或非暫時性的。
因此本發明之方法的進一步實施例為表示用於執行本文所述方法中之一者的電腦程式的資料串流或信號序列。資料串流或信號序列可例如經組配來經由資料通訊連接，例如經由網際網路，而傳送。
進一步實施例包括處理構件，例如經組配或經調適以執行本文中所描述之方法中的一者之電腦或可程式化邏輯裝置。
進一步實施例包含上面安裝有用於執行本文中所描述之方法中之一者的電腦程式的電腦。
依據本發明之態樣的進一步實施例包含一裝置或一系統，其經組配以傳送(例如：以電子或光學方式)用以執行此處所述之方法之一者的電腦程式至接收器。接收器可例如為電腦、行動裝置、記憶體裝置或其類似者。裝置或系統可包含例如用於將電腦程式轉移至接收器之檔案伺服器。
在一些實施例中，可程式化邏輯裝置(例如：場可程式化閘陣列)可用於執行本文中所描述之方法的功能性中之一些或全部。在一些實施例中，場可程式化閘陣列能與微處理器合作以執行本文所述其中之一方法。通常，該等方法較佳地由任何硬體裝置執行。
本文中所描述之裝置可使用硬體裝置或使用電腦或使用硬體裝置與電腦之組合來實施。
本文中所描述之裝置或本文中所描述之裝置的任何組件可至少部分以硬體及/或以軟體實施。
本文中所描述之方法可使用硬體裝置或使用電腦或使用硬體裝置與電腦的組合來執行。
本文中所描述之方法或本文中所描述之裝置的任何組件可至少部分地藉由硬體及/或藉由軟體執行。
上文所描述之實施例僅說明本發明之態樣之原理。將理解，其他熟習此項技術者將顯而易見本文所述佈置及細節之修改及變化。因此，本發明意欲僅受到以下即將描述的專利申請範圍之範疇的限制而不受以本文實施例之描述及闡釋的方式呈現的具體細節的限制。
100:編碼器 110,210:權重參數 110a,210a:語法元素 120,220,320:類神經網路 130,230:情境相依算術編碼 1401,2401:情境1 1402,2402:情境2 140n,240n:情境n 150,250:選擇準則 160,260:經編碼權重參數 160a,260a:經編碼語法元素 200:解碼器 300:量化器 310:輸入權重參數 330:經量化權重參數 340:失真測量
隨後將參考隨附諸圖來描述根據本發明之態樣之實施例，在該等圖中： 圖1展示前向回饋類神經網路的圖形表示， 圖2展示根據本發明之一態樣之編碼器的一例示性實施例， 圖3展示根據本發明之一態樣之解碼器的一例示性實施例，以及 圖4展示根據本發明之一態樣的量化器之例示性實施例。
100:編碼器
110:權重參數
110a:語法元素
120:類神經網路
130:情境相依算術編碼
1401:情境1
1402:情境2
140n:情境n
150:選擇準則
160:經編碼權重參數
160a:經編碼語法元素

Claims (103)

  1. 一種用於編碼類神經網路之權重參數的編碼器，其中該編碼器經組配以獲得該類神經網路之複數個權重參數；其中該編碼器係組配以使用一情境相依算術編碼來編碼該類神經網路的該等權重參數；其中該編碼器經組配以取決於一或多個先前經編碼權重參數、及/或取決於一或多個權重參數之一數字表示型態之一或多個先前經編碼語法元素，而選擇用於一權重參數之一編碼、或用於該權重參數之一數字表示型態的一語法元素之一編碼的一情境；其中該編碼器係組配以使用該選定情境來編碼該權重參數或該權重參數之一語法元素；以及其中該編碼器經組配以取決於一先前經編碼權重參數之一正負號來選擇用於該權重參數之一零旗標之該編碼的一情境。
  2. 如請求項1之編碼器，其中該編碼器經組配以取決於與該給定情境相關聯的一或多個先前經編碼倉值來判定用於與一給定情境相關聯之一給定倉的倉值之機率。
  3. 如請求項1之編碼器，其中該編碼器經組配以從至少三個不同零旗標情境中選擇用於該權重參數之一零旗標之該編碼的一情境。
  4. 如請求項1之編碼器，其中該編碼器經組配以取決於一當前經編碼權重參數是否為一權重參數陣列之一掃描列中的一第一權重參數，而選擇用於該權重參數之一零旗標之該編碼的一情境。
  5. 如請求項1之編碼器，其中該編碼器經組配以取決於該當前經編碼權重參數之前的一權重參數是否已被編碼及/或係可用的，而選擇用於該權重參數之一零旗標之一編碼的該情境。
  6. 如請求項1之編碼器，其中該編碼器經組配以在一先前經編碼權重參數為零的情況下、及在該當前經編碼權重參數之前的一權重參數尚未編碼的情況下、及在該當前經編碼權重參數之前的一權重參數係不可用的情況下，選擇用於該權重參數的一零旗標的一編碼的一第一情境，以及在該先前經編碼權重參數小於零的情況下，選擇用於該權重參數的一零旗標的一編碼的一第二情境，以及在該先前經編碼權重參數大於零的情況下，選擇用於該權重參數的一零旗標的一編碼的一第三情境。
  7. 如請求項1之編碼器，其中該編碼器經組配以判定表示在複數個位置處的複數個權重參數之狀態的複數個狀態識別符，該等位置相對於呈一數值形式的一當前經編碼權重參數之一位置，以及組合該等狀態識別符，以便獲得表示該當前經編碼權重參數的一情境的一情境索引值。
  8. 如請求項1之編碼器，其中該編碼器經組配以取決於一列中多少零值權重參數及/或不可用權重參數係相鄰於該當前經編碼權重參數來選擇用於該權重參數之一零旗標之該編碼的一情境。
  9. 如請求項8之編碼器，其中該等複數個權重參數被佈置在一矩陣中，並且該等權重參數被表示為lx-1,y、lx-2,y及lx-3,y，且分別對應於在該矩陣中的位置(x-1,y)、(x-2,y)及(x-3,y)，並且由狀態識別符sx-1,y、sx-2,y、sx-3,y表示。
  10. 如請求項7之編碼器，其中該等複數個權重參數被佈置在一矩陣中，且若該位置(x,y)不可用或在該位置(x,y)處之該權重參數等於零，則用於該矩陣中之一位置(x,y)之一狀態識別符sx,y等於一第一值；若該位置(x,y)處之該權重參數小於零，則用於該位置(x,y)之該狀態識別符sx,y等於一第二值；以及若該位置(x,y)處之該權重參數大於零，則用於該位置(x,y)之該狀態識別符sx,y等於一第三值。
  11. 如請求項7之編碼器，其中該等複數個權重參數被佈置在一矩 陣中，且若該位置(x,y)不可用或在該位置(x,y)處之該權重參數等於零，則用於該矩陣中之一位置(x,y)之一狀態識別符sx,y等於一第一值，以及若該位置(x,y)可用及該位置(x,y)處之該權重參數不等於零，則用於該位置(x,y)之該狀態識別符sx,y等於一第二值。
  12. 如請求項1之編碼器，其中該編碼器經組配以在從該當前經編碼權重參數看時，取決於存在於一預定方向上之一最接近非零權重參數之一距離而選擇用於該權重參數之一零旗標之該編碼的一情境。
  13. 如請求項1之編碼器，其中該編碼器經組配以僅考慮相鄰於該當前經編碼權重參數的一單一先前經編碼權重參數，來選擇用於該權重參數之一零旗標之該編碼的一情境。
  14. 如請求項13之編碼器，其中該編碼器經組配以判定用於單一先前經編碼權重位置之一狀態識別符，其中若該單一先前經編碼權重參數不可用或在該位置(x,y)處之該權重參數等於零，則用於該單一先前經編碼權重參數之該狀態識別符等於一第一值；若該單一先前經編碼權重參數小於零，則等於一第二值；及若該單一先前經編碼權重參數大於0時，則等於一第三值；及其中該編碼器經組配以取決於該狀態識別符來選擇該情境。
  15. 如請求項1之編碼器，其中該編碼器經組配以取決於該先前經編碼權重參數是否小於零、等於零或大於零而選擇不同情境。
  16. 如請求項1之編碼器，其中該編碼器經組配以在該先前經編碼權重參數不可用的情況下，選擇與該先前經編碼權重參數的一零值相關聯的一情境。
  17. 如請求項1之編碼器，其中該編碼器經組配以算術地編碼表示一權重參數之絕對值的一組一元碼或一經截斷一元碼之二進位值，或上述各者中之一最高有效部分。
  18. 如請求項1之編碼器，其中該編碼器經組配以算術地編碼一經截斷一元碼之二進位值，其中該經截斷一元碼之該等二進位值描述該權重參數之絕對值是否大於與該等二進位值的位元位置相關聯的個別臨界值，其中該編碼器經組配以提供與一給定權重參數相關聯之該經截斷一元碼，使得在該給定權重參數係小於一預定值的情況下該經截斷一元碼係以一個二進位值終結，該二進位值指出該權重參數係不大於與該經截斷一元碼的最後二進位值的一個位元位置相關聯的一個別臨界值，以及其中該編碼器經組配以提供與另一給定權重參數相關聯之該經截斷一元碼，使得在該給定權重參數係不小於一預定值的情況下該經截斷一元碼係以一個二進位值終結，該二進位值指出該權重參數大於與該經截斷一元碼的最後二進位值的一個位元位置相關聯的一個別臨界值。
  19. 如請求項1之編碼器，其中該編碼器經組配以算術地編碼一組一元碼或一經截斷一元碼之二進位值，其中該一元碼或該經截斷一元碼之該等二進位值描述該權重參數之絕對值是否大於與該個別二進位值的一個別位元位置相關聯的一個別臨界值，其中與相鄰位元位置相關聯之臨界值之間的差在位元位置之一第一範圍中係恆定的，且其中與相鄰位元位置相關聯之臨界值之間的差在接著位元位置之該第一範圍的位元位置之一第二範圍中指數地增加。
  20. 如請求項1之編碼器，其中與相鄰位元位置相關聯之臨界值之間的差在接著位元位置之該第二範圍的位元位置之一第三範圍中係恆定的。
  21. 如請求項1之編碼器，其中該編碼器經組配以選擇用於在該一元碼或該經截斷一元碼之不同位置處的位元之一編碼的不同情境。
  22. 如請求項1之編碼器，其中該編碼器經組配以取決於該當前經 編碼權重參數的一正負號，而從兩個可能情境中選出用於在該一元碼或該經截斷一元碼之一給定位元位置處的一個位元之一編碼的一情境。
  23. 如請求項1之編碼器，其中該編碼器經組配以取決於該當前經編碼參數之一正負號，而從每位元位置之兩個可能情境中選出針對該一元碼或該經截斷一元碼之一或多個位元位置之一第一範圍內的位元之編碼的之情境，及其中該編碼器經組配以針對獨立於該當前經編碼權重參數之該正負號的該一元碼或該經截斷一元碼的一或多個位元位置之一第二範圍中的位元之一編碼選擇情境。
  24. 如請求項1之編碼器，其中該編碼器經組配以使用一預定情境或使用該算術編碼之一旁路模式，來編碼該一元碼或該經截斷一元碼之一或多個位元位置之該第二範圍中的位元。
  25. 如請求項1之編碼器，其中該編碼器經組配以使用一預定情境或使用該算術編碼之一旁路模式，來編碼該權重參數之該絕對值的一固定位元剩餘部分。
  26. 如請求項1之編碼器，其中該編碼器經組配以算術地編碼表示一權重參數之絕對值的一組一元碼或一經截斷一元碼之複數個二進位值，或上述各者中之一最高有效部分。
  27. 如請求項1之編碼器，其中該一元碼或該經截斷一元碼之該等二進位值指出該權重參數之該絕對值是否大於X。
  28. 如請求項1之編碼器，其中該編碼器經組配以在X小於一預定值的狀況下考慮出從兩個可能情境的情況下選出針對一個二進位值abs_level_greater_X的一編碼的一情境，以及在X大於或等於該預定值的情況下使用與一個位元位置相關聯的一預定情境。
  29. 如請求項1之編碼器，其中該等權重參數按一矩陣之列及行來組織，其中該等權重參數係沿著該矩陣的一第一列、接著沿著該矩陣的一後續第二列的一次序來編碼，或其中該等權重參數係沿著該矩陣的一第一行，接著沿著該矩陣的一後續第二行的一次序來編碼。
  30. 一種用於編碼類神經網路之權重參數的編碼器，其中該編碼器經組配以獲得該類神經網路之複數個權重參數；其中該編碼器係組配以使用一情境相依算術編碼來編碼該類神經網路的該等權重參數；其中該編碼器經組配以取決於一或多個先前經編碼權重參數、及/或取決於一或多個權重參數之一數字表示型態之一或多個先前經編碼語法元素，而選擇用於一權重參數之一編碼、或用於該權重參數之一數字表示型態的一語法元素之一編碼的一情境；其中該編碼器係組配以使用該選定情境來編碼該權重參數或該權重參數之一語法元素；以及其中該編碼器經組配以從至少三個不同零旗標情境中選擇用於該權重參數之一零旗標之該編碼的一情境。
  31. 一種用於編碼類神經網路之權重參數的編碼器，其中該編碼器經組配以獲得該類神經網路之複數個權重參數；其中該編碼器係組配以使用一情境相依算術編碼來編碼該類神經網路的該等權重參數；其中該編碼器經組配以取決於一或多個先前經編碼權重參數、及/或取決於一或多個權重參數之一數字表示型態之一或多個先前經編碼語法元素，而選擇用於一權重參數之一編碼、或用於該權重參數之一數字表示型態的一語法元素 之一編碼的一情境；其中該編碼器係組配以使用該選定情境來編碼該權重參數或該權重參數之一語法元素；以及其中該編碼器經組配以取決於一當前經編碼權重參數是否為一權重參數陣列之一掃描列中的一第一權重參數，而選擇用於該權重參數之一零旗標之該編碼的一情境。
  32. 一種用於編碼類神經網路之權重參數的編碼器，其中該編碼器經組配以獲得該類神經網路之複數個權重參數；其中該編碼器係組配以使用一情境相依算術編碼來編碼該類神經網路的該等權重參數；其中該編碼器經組配以取決於一或多個先前經編碼權重參數、及/或取決於一或多個權重參數之一數字表示型態之一或多個先前經編碼語法元素，而選擇用於一權重參數之一編碼、或用於該權重參數之一數字表示型態的一語法元素之一編碼的一情境；其中該編碼器係組配以使用該選定情境來編碼該權重參數或該權重參數之一語法元素；以及其中該編碼器經組配以取決於一列中多少零值權重參數及/或不可用權重參數係相鄰於該當前經編碼權重參數來選擇用於該權重參數之一零旗標之該編碼的一情境。
  33. 如請求項32之編碼器，其中該等複數個權重參數被佈置在一矩陣中，並且該等權重參數被表示為lx-1,y、lx-2,y及lx-3,y，且分別對應於在該矩陣中的位置(x-1,y)、(x-2,y)及(x-3,y)，並且由狀態識別符sx-1,y、sx-2,y、sx-3,y表示。
  34. 一種用於編碼類神經網路之權重參數的編碼器，其中該編碼器經組配以獲得該類神經網路之複數個權重參數； 其中該編碼器係組配以使用一情境相依算術編碼來編碼該類神經網路的該等權重參數；其中該編碼器經組配以取決於一或多個先前經編碼權重參數、及/或取決於一或多個權重參數之一數字表示型態之一或多個先前經編碼語法元素，而選擇用於一權重參數之一編碼、或用於該權重參數之一數字表示型態的一語法元素之一編碼的一情境；其中該編碼器係組配以使用該選定情境來編碼該權重參數或該權重參數之一語法元素；以及其中該編碼器經組配以在從該當前經編碼權重參數看時，取決於存在於一預定方向上之一最接近非零權重參數之一距離而選擇用於該權重參數之一零旗標之該編碼的一情境。
  35. 一種用於編碼類神經網路之權重參數的編碼器，其中該編碼器經組配以獲得該類神經網路之複數個權重參數；其中該編碼器係組配以使用一情境相依算術編碼來編碼該類神經網路的該等權重參數；其中該編碼器經組配以取決於一或多個先前經編碼權重參數、及/或取決於一或多個權重參數之一數字表示型態之一或多個先前經編碼語法元素，而選擇用於一權重參數之一編碼、或用於該權重參數之一數字表示型態的一語法元素之一編碼的一情境；其中該編碼器係組配以使用該選定情境來編碼該權重參數或該權重參數之一語法元素；以及其中該編碼器經組配以僅考慮相鄰於該當前經編碼權重參數的一單一先前經編碼權重參數，而選擇用於該權重參數之一零旗標之該編碼的一情境。
  36. 如請求項35之編碼器，其中該編碼器經組配以判定用該單一 先前經編碼權重位置之一狀態識別符，其中若該單一先前經編碼權重參數不可用或在該位置(x,y)處之該權重參數等於零，則用於該單一先前經編碼權重參數之該狀態識別符等於一第一值；若該單一先前經編碼權重參數小於零，則等於一第二值；及若該單一先前經編碼權重參數大於0時，則等於一第三值；及其中該編碼器經組配以取決於該狀態識別符來選擇該情境。
  37. 一種用於解碼類神經網路之權重參數的解碼器，其中該解碼器經組配以獲得表示該類神經網路之權重參數的複數個位元；其中該解碼器經組配以使用一情境相依算術編碼來解碼該類神經網路的該等權重參數；其中該解碼器經組配以取決於一或多個先前經解碼權重參數、及/或取決於一或多個權重參數之一數字表示型態的一或多個先前經解碼語法元素，而選擇用於一權重參數的解碼、或用於該權重參數之一數字表示型態的一語法元素的一解碼的一情境；其中該解碼器經組配以使用該選定情境來解碼該權重參數或該權重參數之一語法元素；以及其中該解碼器經組配以取決於一先前經解碼權重參數之一正負號，而選擇用於該權重參數之一零旗標的該解碼的一情境。
  38. 如請求項37之解碼器，其中該解碼器經組配以取決於與該給定情境相關聯的一或多個先前經解碼倉值，而判定用於與一給定情境相關聯之一給定倉的倉值之機率。
  39. 如請求項37之解碼器，其中該解碼器經組配以從至少三個不同零旗標情境中選出用於該權重參數的一零旗標之該解碼的一情境。
  40. 如請求項37之解碼器，其中該解碼器經組配以取決於一當前經解碼權重參數是否為一權重參數陣列之一掃描列中的一第一權重參數，而選 擇用於該權重參數之一零旗標之該解碼的一情境。
  41. 如請求項37之解碼器，其中該解碼器經組配以取決於該當前經解碼權重參數之前的權重參數是否已被解碼及/或係可用的，而選擇用於該權重參數之一零旗標之一解碼的該情境。
  42. 如請求項37之解碼器，其中該解碼器經組配以在一先前經解碼權重參數為零的情況下、及在該當前經解碼權重參數之前的一權重參數尚未解碼的情況下、及在該當前經解碼權重參數之前的一權重參數係不可用的情況下，選擇用於該權重參數的一零旗標的一解碼的一第一情境；以及在該先前經解碼權重參數小於零的情況下，選擇用於該權重參數的一零旗標的一解碼的一第二情境；以及在該先前經解碼權重參數大於零的情況下，選擇用於該權重參數的一零旗標的一解碼的一第三情境。
  43. 如請求項37之解碼器，其中該解碼器經組配以判定表示在複數個位置處的複數個權重參數之狀態的複數個狀態識別符，該等位置相對於呈一數值之形式的一當前經解碼權重參數之一位置，以及組合該等狀態識別符，以便獲得表示該當前經解碼權重參數的一情境的一情境索引值。
  44. 如請求項37之解碼器，其中該解碼器經組配以取決於一列中之多少零值權重參數及/或不可用權重參數係相鄰於該當前經解碼權重參數，來選擇用於該權重參數之一零旗標之一解碼的一情境。
  45. 如請求項44之解碼器，其中該等複數個權重參數被佈置在一矩陣中，並且該等權重參數被表示為lx-1,y、lx-2,y及lx-3,y，且分別對應於在該矩陣中的位置(x-1,y)、(x-2,y)及(x-3,y)，並且由狀態識別符sx-1,y、sx-2,y、sx-3,y表示。
  46. 如請求項43之解碼器，其中該等複數個權重參數被佈置在一矩陣中，且若該位置(x,y)不可用或在該位置(x,y)處之該權重參數等於零，則用於該矩陣中之一位置(x,y)之一狀態識別符sx,y等於一第一值；若該位置(x,y)處之該 權重參數小於零，則用於該位置(x,y)之該狀態識別符sx,y等於一第二值；且若該位置(x,y)處之該權重參數大於0，則用於該位置(x,y)之該狀態識別符sx,y等於一第三值。
  47. 如請求項43之解碼器，其中該等複數個權重參數被佈置在一矩陣中，且若該位置(x,y)不可用或在該位置(x,y)處之該權重參數等於零，則用於該矩陣中之一位置(x,y)之一狀態識別符sx,y等於一第一值；且若該位置(x,y)可用且該位置(x,y)處之該權重參數不等於零，則用於該位置(x,y)之該狀態識別符sx,y等於一第二值。
  48. 如請求項37之解碼器，其中該解碼器經組配以在從該當前經解碼權重參數看時，取決於存在於一預定方向上之一最接近非零權重參數之一距離而選擇用於該權重參數之一零旗標之該解碼的一情境。
  49. 如請求項37之解碼器，其中該解碼器經組配以僅考慮相鄰於該當前經解碼權重參數的一單一先前經解碼權重參數，來選擇用於該權重參數之一零旗標之該解碼的一情境。
  50. 如請求項49之解碼器，其中該解碼器經組配以判定用於該單一先前經解碼權重位置之一狀態識別符，其中若該單一先前經解碼權重參數不可用或在該位置(x,y)處之該權重參數等於零時，用於該單一先前經解碼權重參數之該狀態識別符等於一第一值；若該單一先前經解碼權重參數小於零時，則等於一第二值；且若該單一先前經解碼權重參數大於0時，則等於一第三值；及其中該解碼器經組配以取決於該狀態識別符來選擇該情境。
  51. 如請求項37之解碼器，其中該解碼器經組配以取決於該先前經解碼權重參數是否小於零、等於零或大於零而選擇不同情境。
  52. 如請求項37之解碼器，其中該解碼器經組配以在該先前經解碼權重參數不可用的情況下，選擇與該先前經解碼權重參數的一零值相關聯的 一情境。
  53. 如請求項37之解碼器，其中該解碼器經組配以算術地解碼表示一權重參數之絕對值的一組一元碼或一經截斷一元碼之二進位值，或上述各者之一最高有效部分。
  54. 如請求項37之解碼器，其中該解碼器經組配以算術地解碼一經截斷一元碼之二進位值，其中該經截斷一元碼之該等二進位值描述該權重參數之絕對值是否大於與該等二進位值的位元位置相關聯的個別臨界值，其中該解碼器經組配以提供與一給定權重參數相關聯之該經截斷一元碼，使得在該給定權重參數係小於一預定值的情況下該經截斷一元碼係以一個二進位值終結，該二進位值指出該權重參數係不大於與該經截斷一元碼的最後二進位值的一個位元位置相關聯的一個別臨界值，及其中該解碼器經組配以提供與另一給定權重參數相關聯之該經截斷一元碼，使得在該給定權重參數係不小於一預定值的情況下該經截斷一元碼係以一個二進位值終結，該二進位值指出該權重參數大於與該經截斷一元碼的最後二進位值的一個位元位置相關聯的一個別臨界值。
  55. 如請求項37之解碼器，其中該解碼器經組配以算術地解碼一組一元碼或一經截斷一元碼之二進位值，其中該一元碼或該經截斷一元碼之該等二進位值描述該權重參數之絕對值是否大於與該個別二進位值的一個別位元位置相關聯的一個別臨界值，其中與相鄰位元位置相關聯之臨界值之間的差在位元位置之一第一範圍中係恆定的，及其中與相鄰位元位置相關聯之臨界值之間的差在接著位元位置之該第一範圍的位元位置之一第二範圍中指數地增加。
  56. 如請求項37之解碼器，其中與相鄰位元位置相關聯之臨界值 之間的差在接著位元位置之該第二範圍的位元位置之一第三範圍中係恆定的。
  57. 如請求項37之解碼器，其中該解碼器經組配以選擇用於在該一元碼或該經截斷一元碼之不同位置處的位元之一解碼的不同情境。
  58. 如請求項37之解碼器，其中該解碼器經組配以取決於該當前經解碼權重參數的一正負號，而從兩個可能情境中選出用於在該一元碼或該經截斷一元碼之一給定位元位置處的一個位元之一解碼的一情境。
  59. 如請求項37之解碼器，其中該解碼器經組配以取決於該當前經解碼參數之一正負號，而從每位元位置之兩個可能情境中選出針對該一元碼或該經截斷一元碼之一或多個位元位置之一第一範圍內的位元之一解碼之情境，且其中該解碼器經組配以選擇針對獨立於該當前經解碼權重參數之該正負號的該一元碼或該經截斷一元碼的一或多個位元位置之一第二範圍中的位元之一解碼之情境。
  60. 如請求項37之解碼器，其中該解碼器經組配以使用一預定情境或使用該算術編碼之一旁路模式，來解碼該一元碼或該經截斷一元碼之一或多個位元位置之該第二範圍中的位元。
  61. 如請求項37之解碼器，其中該解碼器經組配以使用一預定情境或使用該算術編碼之一旁路模式，來解碼該權重參數之該絕對值的一固定位元剩餘部分。
  62. 如請求項37之解碼器，其中該解碼器經組配以算術地編碼表示一權重參數之絕對值的一組一元碼或一經截斷一元碼之複數個二進位值，或上述各者之一最高有效部分。
  63. 如請求項37之解碼器，其中該一元碼或該經截斷一元碼之該等二進位值指出該權重參數之該絕對值是否大於X。
  64. 如請求項37之解碼器，其中該解碼器經組配以在X小於一預定值的狀況下考慮出從兩個可能情境的情況下選出針對一個二進位值abs_level_greater_X的一解碼的一情境，以及在X大於或等於該預定值的情況下使用與一個位元位置相關聯的情境。
  65. 如請求項37之解碼器，其中該等權重參數按一矩陣之列及行來組織，其中該等權重參數係沿著該矩陣的一第一列、接著沿著該矩陣的一後續第二列的一次序來解碼，或其中該等權重參數係沿著該矩陣的一第一行，接著沿著該矩陣的一後續第二行的一次序來解碼。
  66. 一種用於解碼類神經網路之權重參數的解碼器，其中該解碼器經組配以獲得表示該類神經網路之權重參數的複數個位元；其中該解碼器經組配以使用一情境相依算術編碼來解碼該類神經網路的該等權重參數；其中該解碼器經組配以取決於一或多個先前經解碼權重參數、及/或取決於一或多個權重參數之一數字表示型態的一或多個先前經解碼語法元素，而選擇用於一權重參數的解碼、或用於該權重參數之一數字表示型態的一語法元素的一解碼的一情境；其中該解碼器經組配以使用該選定情境來解碼該權重參數或該權重參數之一語法元素；以及其中該解碼器經組配以從至少三個不同零旗標情境中選出用於該權重參數的一零旗標之該解碼的一情境。
  67. 一種用於解碼類神經網路之權重參數的解碼器，其中該解碼器經組配以獲得表示該類神經網路之權重參數的複數個位元； 其中該解碼器經組配以使用一情境相依算術編碼來解碼該類神經網路的該等權重參數；其中該解碼器經組配以取決於一或多個先前經解碼權重參數、及/或取決於一或多個權重參數之一數字表示型態的一或多個先前經解碼語法元素，而選擇用於一權重參數的解碼、或用於該權重參數之一數字表示型態的一語法元素的一解碼的一情境；其中該解碼器經組配以使用該選定情境來解碼該權重參數或該權重參數之一語法元素；以及其中該解碼器經組配以取決於一當前經解碼權重參數是否為一權重參數陣列之一掃描列中的一第一權重參數，而選擇用於該權重參數之一零旗標之該解碼的一情境。
  68. 一種用於解碼類神經網路之權重參數的解碼器，其中該解碼器經組配以獲得表示該類神經網路之權重參數的複數個位元；其中該解碼器經組配以使用一情境相依算術編碼來解碼該類神經網路的該等權重參數；其中該解碼器經組配以取決於一或多個先前經解碼權重參數、及/或取決於一或多個權重參數之一數字表示型態的一或多個先前經解碼語法元素，而選擇用於一權重參數的解碼、或用於該權重參數之一數字表示型態的一語法元素的一解碼的一情境；其中該解碼器經組配以使用該選定情境來解碼該權重參數或該權重參數之一語法元素；以及其中該解碼器經組配以取決於一列中之多少零值權重參數及/或不可用權重參數係相鄰於該當前經解碼權重參數，來選擇用於該權重參數之一零旗標之一解碼的一情境。
  69. 如請求項68之解碼器，其中該等複數個權重參數被佈置在一矩陣中，並且該等權重參數被表示為lx-1,y、lx-2,y及lx-3,y，且分別對應於在該矩陣中的位置(x-1,y)、(x-2,y)及(x-3,y)，並且由狀態識別符sx-1,y、sx-2,y、sx-3,y表示。
  70. 一種用於解碼類神經網路之權重參數的解碼器，其中該解碼器經組配以獲得表示該類神經網路之權重參數的複數個位元；其中該解碼器經組配以使用一情境相依算術編碼來解碼該類神經網路的該等權重參數；其中該解碼器經組配以取決於一或多個先前經解碼權重參數、及/或取決於一或多個權重參數之一數字表示型態的一或多個先前經解碼語法元素，而選擇用於一權重參數的解碼、或用於該權重參數之一數字表示型態的一語法元素的一解碼的一情境；其中該解碼器經組配以使用該選定情境來解碼該權重參數或該權重參數之一語法元素；以及其中該解碼器經組配以在從該當前經解碼權重參數看時，取決於存在於一預定方向上之一最接近非零權重參數之一距離而選擇用於該權重參數之一零旗標之該解碼的一情境。
  71. 一種用於解碼類神經網路之權重參數的解碼器，其中該解碼器經組配以獲得表示該類神經網路之權重參數的複數個位元；其中該解碼器經組配以使用一情境相依算術編碼來解碼該類神經網路的該等權重參數；其中該解碼器經組配以取決於一或多個先前經解碼權重參數、及/或取決於一或多個權重參數之一數字表示型態的一或多個先前經解碼語法元素，而選擇用於一權重參數的解碼、或用於該權重參數之一數字表示型態的一語法元素的一解碼的一情境； 其中該解碼器經組配以使用該選定情境來解碼該權重參數或該權重參數之一語法元素；以及其中該解碼器經組配以僅考慮相鄰於該當前經解碼權重參數的一單一先前經解碼權重參數，來選擇用於該權重參數之一零旗標之該解碼的一情境。
  72. 如請求項71之解碼器，其中該解碼器經組配以判定用於該單一先前經解碼權重位置之一狀態識別符，其中若該單一先前經解碼權重參數不可用或在該位置(x,y)處之該權重參數等於零時，用於該單一先前經解碼權重參數之該狀態識別符等於一第一值；若該單一先前經解碼權重參數小於零時，則等於一第二值；且若該單一先前經解碼權重參數大於0時，則等於一第三值；及其中該解碼器經組配以取決於該狀態識別符來選擇該情境。
  73. 一種用於量化類神經網路之權重參數的量化器，其中該量化器經組配以獲得該類神經網路之複數個輸入權重參數；其中該量化器經組配以基於使用描述由使用不同經量化值而非一未經量化輸入權重參數所造成的一預期失真的失真測量的一輸入權重參數，以及使用描述用於不同經量化值之一表示型態的經估計或經運算之位元成果的位元數量值來判定一經量化權重參數。
  74. 如請求項73之量化器，其中該量化器經組配以取決於該輸入權重參數之一經運算或經估計變異數而判定該失真測量。
  75. 如請求項73之量化器，其中該量化器經組配以運算在一個二次誤差之間的一商數，該二次誤差描述一輸入權重參數與一經量化值之間的一偏差，以及該輸入權重參數之一經運算或經估計變異數，以便獲得與一輸入權重參數及一經量化值相關聯之一失真測量。
  76. 如請求項73之量化器，其中該量化器經組配以評估一成本函數，該成本函數結合一失真測量及與一給定輸入權重參數相關聯之複數個可能 經量化值的一個位元數量值，且取決於該成本函數之評估結果而選擇一經量化值作為與該給定輸入權重參數相關聯之該經量化權重參數。
  77. 如請求項73之量化器，其中該量化器組配來選擇與一給定輸入權重參數相關聯之一經量化權重參數，以就一索引k最小化一成本函數：costi,k=Di,k+λ*Ri,k，其中Di,k係一失真測量，其描述由具有索引k之一經量化值而不是一未經量化輸入權重參數之使用所造成之一預期失真；及其中Ri,k係描述被需要以表示具有索引值k的一經量化值的一經估計或經運算數目的位元之一個位元數量值；且其中λ為一預定值。
  78. 如請求項73之量化器，其中該量化器經組配以取決於針對一編碼或一算術編碼之不同經量化值所需要的一經估計或經運算位元數目之位元而獲得該位元數量值。
  79. 如請求項73之量化器，其中該量化器經組配以判定該經量化權重參數，使得與該經判定之經量化權重參數相關聯的該失真測量小於或等於一預定值。
  80. 如請求項73之量化器，其中該量化器經組配以使用訓練該類神經網路的一學習演算法獲得描述權重參數之變異數的一變異數資訊。
  81. 如請求項73之量化器，其中該量化器經組配以將使用訓練該類神經網路的一學習演算法描述權重參數之平均值而獲得作為該等輸入權重參數的一平均值資訊。
  82. 如請求項73之量化器，其中該量化器經組配以取決於該經量化權重參數之一基於情境的算術編碼的一情境而判定該等位元數量值。
  83. 一種用於編碼類神經網路之權重參數的編碼器， 其中該編碼器包含如請求項73的一量化器，該量化器經組配以基於一輸入權重參數獲得經量化權重參數，其中該編碼器經組配以使用一情境相依算術編碼來編碼該類神經網路的該等經量化權重參數。
  84. 如請求項83之編碼器，其中該編碼器包含如請求項1的該編碼器之任何特徵或特徵之組合或功能。
  85. 一種用於編碼類神經網路之權重參數的方法，其中該方法包含獲得該類神經網路之複數個權重參數；其中該方法包含使用一情境相依算術編碼來編碼該類神經網路的該等權重參數；其中該方法包含取決於一或多個先前經編碼權重參數、及/或取決於一或多個權重參數之一數字表示型態之一或多個先前經編碼語法元素，而選擇用於一權重參數之一編碼、或用於該權重參數的一數字表示型態的一語法元素之一編碼的一情境；及其中該權重參數、或該權重參數之一語法元素係使用該選定情境來編碼；以及其中該方法包含取決於一先前經編碼權重參數之一正負號來選擇用於該權重參數之一零旗標之該編碼的一情境。
  86. 一種用於編碼類神經網路之權重參數的方法，其中該方法包含獲得該類神經網路之複數個權重參數；其中該方法包含使用一情境相依算術編碼來編碼該類神經網路的該等權重參數；其中該方法包含取決於一或多個先前經編碼權重參數、及/或取決於一或多個權重參數之一數字表示型態之一或多個先前經編碼語法元素，而選擇用於一 權重參數之一編碼、或用於該權重參數之一數字表示型態的一語法元素之一編碼的一情境；其中該權重參數或該權重參數之一語法元素係使用該選定情境來編碼；以及其中該方法包含從至少三個不同零旗標情境中選擇用於該權重參數之一零旗標之該編碼的一情境。
  87. 一種用於編碼類神經網路之權重參數的方法，其中該方法包含獲得該類神經網路之複數個權重參數；其中該方法包含使用一情境相依算術編碼來編碼該類神經網路的該等權重參數；其中該方法包含取決於一或多個先前經編碼權重參數、及/或取決於一或多個權重參數之一數字表示型態之一或多個先前經編碼語法元素，而選擇用於一權重參數之一編碼、或用於該權重參數之一數字表示型態的一語法元素之一編碼的一情境；其中該權重參數或該權重參數之一語法元素係使用該選定情境來編碼；以及其中該方法包含取決於一當前經編碼權重參數是否為一權重參數陣列之一掃描列中的一第一權重參數，而選擇用於該權重參數之一零旗標之該編碼的一情境。
  88. 一種用於編碼類神經網路之權重參數的方法，其中該方法包含獲得該類神經網路之複數個權重參數；其中該方法包含使用一情境相依算術編碼來編碼該類神經網路的該等權重參數；其中該方法包含取決於一或多個先前經編碼權重參數、及/或取決於一或多 個權重參數之一數字表示型態之一或多個先前經編碼語法元素，而選擇用於一權重參數之一編碼、或用於該權重參數之一數字表示型態的一語法元素之一編碼的一情境；其中該權重參數或該權重參數之一語法元素係使用該選定情境來編碼；以及其中該方法包含取決於一列中多少零值權重參數及/或不可用權重參數係相鄰於該當前經編碼權重參數來選擇用於該權重參數之一零旗標之該編碼的一情境。
  89. 如請求項88之方法，其中該等複數個權重參數被佈置在一矩陣中，並且該等權重參數被表示為lx-1,y、lx-2,y及lx-3,y，且分別對應於在該矩陣中的位置(x-1,y)、(x-2,y)及(x-3,y)，並且由狀態識別符sx-1,y、sx-2,y、sx-3,y表示。
  90. 一種用於編碼類神經網路之權重參數的方法，其中該方法包含獲得該類神經網路之複數個權重參數；其中該方法包含使用一情境相依算術編碼來編碼該類神經網路的該等權重參數；其中該方法包含取決於一或多個先前經編碼權重參數、及/或取決於一或多個權重參數之一數字表示型態之一或多個先前經編碼語法元素，而選擇用於一權重參數之一編碼、或用於該權重參數之一數字表示型態的一語法元素之一編碼的一情境；其中該權重參數或該權重參數之一語法元素係使用該選定情境來編碼；以及其中該方法包含在從該當前經編碼權重參數看時，取決於存在於一預定方向上之一最接近非零權重參數之一距離而選擇用於該權重參數之一零旗標之該編碼的一情境。
  91. 一種用於編碼類神經網路之權重參數的方法，其中該方法包含獲得該類神經網路之複數個權重參數；其中該方法包含使用一情境相依算術編碼來編碼該類神經網路的該等權重參數；其中該方法包含取決於一或多個先前經編碼權重參數、及/或取決於一或多個權重參數之一數字表示型態之一或多個先前經編碼語法元素，而選擇用於一權重參數之一編碼、或用於該權重參數之一數字表示型態的一語法元素之一編碼的一情境；其中該權重參數或該權重參數之一語法元素係使用該選定情境來編碼；以及其中該方法包含僅考慮相鄰於該當前經編碼權重參數的一單一先前經編碼權重參數，來選擇用於該權重參數之一零旗標之該編碼的一情境。
  92. 如請求項91之方法，其中該方法包含判定用於單一先前經編碼權重位置之一狀態識別符，其中若該單一先前經編碼權重參數不可用或在該位置(x,y)處之該權重參數等於零，則用於該單一先前經編碼權重參數之該狀態識別符等於一第一值；若該單一先前經編碼權重參數小於零，則等於一第二值；及若該單一先前經編碼權重參數大於0時，則等於一第三值；及其中該方法包含取決於該狀態識別符來選擇該情境。
  93. 一種用於解碼類神經網路之權重參數的方法，其中該方法包含獲得表示該類神經網路之權重參數的複數個位元；其中該方法包含使用一情境相依算術編碼來解碼該類神經網路的該等權重參數；其中該方法包含取決於一或多個先前經解碼權重參數、及/或取決於一或多個權重參數之一數字表示型態之一或多個先前經編碼語法元素，而選擇用於一 權重參數之一解碼、或用於該權重參數的一數字表示型態的一語法元素之一解碼的一情境；及其中該權重參數、或該權重參數之一語法元素係使用該選定情境來解碼；以及其中該方法包含取決於一先前經解碼權重參數之一正負號而選擇用於該權重參數之一零旗標的該解碼的一情境。
  94. 一種用於解碼類神經網路之權重參數的解碼器，其中該解碼器經組配以獲得表示該類神經網路之權重參數的複數個位元；其中該解碼器經組配以使用一情境相依算術編碼來解碼該類神經網路的該等權重參數；其中該解碼器經組配以取決於一或多個先前經解碼權重參數、及/或取決於一或多個權重參數之一數字表示型態的一或多個先前經解碼語法元素，而選擇用於一權重參數的解碼、或用於該權重參數之一數字表示型態的一語法元素的一解碼的一情境；其中該解碼器經組配以使用該選定情境來解碼該權重參數或該權重參數之一語法元素；以及其中該解碼器經組配以從至少三個不同零旗標情境中選出用於該權重參數的一零旗標之該解碼的一情境。
  95. 一種用於解碼類神經網路之權重參數的解碼器，其中該解碼器經組配以獲得表示該類神經網路之權重參數的複數個位元；其中該解碼器經組配以使用一情境相依算術編碼來解碼該類神經網路的該等權重參數；其中該解碼器經組配以取決於一或多個先前經解碼權重參數、及/或取決於一或多個權重參數之一數字表示型態的一或多個先前經解碼語法元素，而選擇 用於一權重參數的解碼、或用於該權重參數之一數字表示型態的一語法元素的一解碼的一情境；其中該解碼器經組配以使用該選定情境來解碼該權重參數或該權重參數之一語法元素；以及其中該解碼器經組配以取決於一當前經解碼權重參數是否為一權重參數陣列之一掃描列中的一第一權重參數，而選擇用於該權重參數之一零旗標之該解碼的一情境。
  96. 一種用於解碼類神經網路之權重參數的解碼器，其中該解碼器經組配以獲得表示該類神經網路之權重參數的複數個位元；其中該解碼器經組配以使用一情境相依算術編碼來解碼該類神經網路的該等權重參數；其中該解碼器經組配以取決於一或多個先前經解碼權重參數、及/或取決於一或多個權重參數之一數字表示型態的一或多個先前經解碼語法元素，而選擇用於一權重參數的解碼、或用於該權重參數之一數字表示型態的一語法元素的一解碼的一情境；其中該解碼器經組配以使用該選定情境來解碼該權重參數或該權重參數之一語法元素；以及其中該解碼器經組配以取決於一列中之多少零值權重參數及/或不可用權重參數係相鄰於該當前經解碼權重參數，來選擇用於該權重參數之一零旗標之一解碼的一情境。
  97. 如請求項96之解碼器，其中該等複數個權重參數被佈置在一矩陣中，並且該等權重參數被表示為lx-1,y、lx-2,y及lx-3,y，且分別對應於在該矩陣中的位置(x-1,y)、(x-2,y)及(x-3,y)，並且由狀態識別符sx-1,y、sx-2,y、sx-3,y表示。
  98. 一種用於解碼類神經網路之權重參數的解碼器，其中該解碼 器經組配以獲得表示該類神經網路之權重參數的複數個位元；其中該解碼器經組配以使用一情境相依算術編碼來解碼該類神經網路的該等權重參數；其中該解碼器經組配以取決於一或多個先前經解碼權重參數、及/或取決於一或多個權重參數之一數字表示型態的一或多個先前經解碼語法元素，而選擇用於一權重參數的解碼、或用於該權重參數之一數字表示型態的一語法元素的一解碼的一情境；其中該解碼器經組配以使用該選定情境來解碼該權重參數或該權重參數之一語法元素；以及其中該解碼器經組配以在從該當前經解碼權重參數看時，取決於存在於一預定方向上之一最接近非零權重參數之一距離而選擇用於該權重參數之一零旗標之該解碼的一情境。
  99. 一種用於解碼類神經網路之權重參數的解碼器，其中該解碼器經組配以獲得表示該類神經網路之權重參數的複數個位元；其中該解碼器經組配以使用一情境相依算術編碼來解碼該類神經網路的該等權重參數；其中該解碼器經組配以取決於一或多個先前經解碼權重參數、及/或取決於一或多個權重參數之一數字表示型態的一或多個先前經解碼語法元素，而選擇用於一權重參數的解碼、或用於該權重參數之一數字表示型態的一語法元素的一解碼的一情境；其中該解碼器經組配以使用該選定情境來解碼該權重參數或該權重參數之一語法元素；以及其中該解碼器經組配以僅考慮相鄰於該當前經解碼權重參數的一單一先前經解碼權重參數，來選擇用於該權重參數之一零旗標之該解碼的一情境。
  100. 如請求項99之解碼器，其中該解碼器經組配以判定用於該單一先前經解碼權重位置之一狀態識別符，其中若該單一先前經解碼權重參數不可用或在該位置(x,y)處之該權重參數等於零時，用於該單一先前經解碼權重參數之該狀態識別符等於一第一值；若該單一先前經解碼權重參數小於零時，則等於一第二值；且若該單一先前經解碼權重參數大於0時，則等於一第三值；及其中該解碼器經組配以取決於該狀態識別符來選擇該情境。
  101. 一種用於量化類神經網路之權重參數的方法，其中該方法包含獲得該類神經網路之複數個輸入權重參數；其中該方法包含基於使用描述由使用不同經量化值而非一未經量化輸入權重參數所造成之一預期失真的失真測量的一輸入權重參數，以及使用描述用於不同經量化值之一表示型態的經估計或經運算位元成果之位元數量值來判定一經量化權重參數。
  102. 一種用於編碼類神經網路之權重參數的方法，其中該方法包含依據請求項101來量化複數個輸入權重參數，以基於一輸入權重參數獲得經量化權重參數，其中該方法包含使用一情境相依算術編碼來編碼該類神經網路的該等經量化權重參數。
  103. 一種電腦程式，其用於在該電腦程式於一電腦上運行時執行如請求項85、86、87、88、89、90、91、92、93、94、95、96、97、98、99、100、101或102之方法。
TW109109027A 2019-03-18 2020-03-18 用以壓縮類神經網路參數之方法與裝置 TWI744827B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19163546.5 2019-03-18
EP19163546 2019-03-18

Publications (2)

Publication Number Publication Date
TW202042559A TW202042559A (zh) 2020-11-16
TWI744827B true TWI744827B (zh) 2021-11-01

Family

ID=65955070

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109109027A TWI744827B (zh) 2019-03-18 2020-03-18 用以壓縮類神經網路參數之方法與裝置

Country Status (7)

Country Link
US (1) US20220004844A1 (zh)
EP (1) EP3942700A1 (zh)
JP (1) JP7356513B2 (zh)
KR (1) KR20220007853A (zh)
CN (1) CN113748605A (zh)
TW (1) TWI744827B (zh)
WO (1) WO2020188004A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114731406A (zh) * 2020-12-04 2022-07-08 深圳市大疆创新科技有限公司 编码方法、解码方法和编码装置、解码装置
CN117501631A (zh) * 2021-04-16 2024-02-02 弗劳恩霍夫应用研究促进协会 用于解码神经网络参数的装置、方法及计算机程序与使用更新模型编码神经网络参数的装置、方法及计算机程序
US20220385907A1 (en) * 2021-05-21 2022-12-01 Qualcomm Incorporated Implicit image and video compression using machine learning systems
TWI773507B (zh) * 2021-09-01 2022-08-01 國立陽明交通大學 預測系統可靠度之方法與裝置
CN114781604B (zh) * 2022-04-13 2024-02-20 广州安凯微电子股份有限公司 神经网络权重参数的编码方法、编码器及神经网络处理器
CN116911384B (zh) * 2023-06-13 2024-01-26 电子科技大学 一种零抑制的增量知识调优方法、装置及电子设备
CN117639792B (zh) * 2023-11-27 2024-07-26 浙江大学 一种基于码表聚类的深度学习模型压缩方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180184123A1 (en) * 2015-06-12 2018-06-28 Panasonic Intellectual Property Management Co., Ltd. Image encoding method, image decoding method, image encoding apparatus, and image decoding apparatus

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2559166T3 (pl) * 2010-04-13 2018-04-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Koder i dekoder dzielący interwał prawdopodobieństwa
IL297827B2 (en) * 2011-06-16 2024-01-01 Ge Video Compression Llc Entropy coding of motion vector differences
US9936201B2 (en) 2015-01-27 2018-04-03 Qualcomm Incorporated Contexts for large coding tree units
US20180089587A1 (en) * 2016-09-26 2018-03-29 Google Inc. Systems and Methods for Communication Efficient Distributed Mean Estimation
CN108632625B (zh) * 2017-03-21 2020-02-21 华为技术有限公司 一种视频编码方法、视频解码方法和相关设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180184123A1 (en) * 2015-06-12 2018-06-28 Panasonic Intellectual Property Management Co., Ltd. Image encoding method, image decoding method, image encoding apparatus, and image decoding apparatus

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
D. Marpe, H. Schwarz and T. Wiegand, "Context-based adaptive binary arithmetic coding in the H.264/AVC video compression standard," in IEEE Transactions on Circuits and Systems for Video Technology, vol. 13, no. 7, pp. 620-636, July 2003
Sourya Basu, Lav R. Varshney "universal and succinct source coding of deep neural network" ARXIV.ORG/ CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853 , 9 April 2018 ( 2018-04-09 ) , XP080868735
SOURYA BASU; LAV R. VARSHNEY: "Universal and Succinct Source Coding of Deep Neural Networks", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 9 April 2018 (2018-04-09), 201 Olin Library Cornell University Ithaca, NY 14853 , XP080868735 *

Also Published As

Publication number Publication date
JP7356513B2 (ja) 2023-10-04
JP2022527447A (ja) 2022-06-02
TW202042559A (zh) 2020-11-16
KR20220007853A (ko) 2022-01-19
WO2020188004A1 (en) 2020-09-24
EP3942700A1 (en) 2022-01-26
CN113748605A (zh) 2021-12-03
US20220004844A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
TWI744827B (zh) 用以壓縮類神經網路參數之方法與裝置
Wiedemann et al. DeepCABAC: A universal compression algorithm for deep neural networks
Kirchhoffer et al. Overview of the neural network compression and representation (NNR) standard
CN113574888B (zh) 利用神经网络的预测性编码
JP6923677B2 (ja) ビデオ圧縮におけるエントロピーコーディングのための選択的ミキシング
Cohen et al. Lightweight compression of neural network feature tensors for collaborative intelligence
TWI806199B (zh) 特徵圖資訊的指示方法，設備以及電腦程式
US12058348B2 (en) Parallelized rate-distortion optimized quantization using deep learning
Cohen et al. Lightweight compression of intermediate neural network features for collaborative intelligence
US20230106778A1 (en) Quantization for Neural Networks
CN112215908B (zh) 面向压缩域的视频内容比对系统、优化方法、比对方法
KR20200109904A (ko) Dnn 기반 이미지 또는 비디오 코딩을 위한 시스템 및 방법
Slyz et al. A nonlinear VQ-based predictive lossless image coder
Duan et al. A study on the generalized normalization transformation activation function in deep learning based image compression
Lu et al. Image Compression Based on Mean Value Predictive Vector Quantization.
Lin et al. Machine learning‐based H. 264/AVC to HEVC transcoding via motion information reuse and coding mode similarity analysis
TW202248905A (zh) 用以解碼類神經網路參數之設備、方法及電腦程式與使用更新模型用以編碼類神經網路參數之設備、方法及電腦程式
Haase et al. Bitrate-Performance Optimized Model Training for the Neural Network Coding (NNC) Standard
WO2023121499A1 (en) Methods and apparatus for approximating a cumulative distribution function for use in entropy coding or decoding data
EP4298605A1 (en) Online training-based encoder tuning with multi model selection in neural image compression
CN117880509A (zh) 特征数据编解码方法及相关装置
JP2018006832A (ja) 画像符号化方法、画像符号化装置及び画像符号化プログラム
Rahman et al. Lossless data compression methods: A comparative study based on the OpenImage dataset