JP2023506035A - ニューラルネットワークモデル圧縮のための統合ベースの符号化のための方法、装置およびコンピュータプログラム - Google Patents
ニューラルネットワークモデル圧縮のための統合ベースの符号化のための方法、装置およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2023506035A JP2023506035A JP2022535885A JP2022535885A JP2023506035A JP 2023506035 A JP2023506035 A JP 2023506035A JP 2022535885 A JP2022535885 A JP 2022535885A JP 2022535885 A JP2022535885 A JP 2022535885A JP 2023506035 A JP2023506035 A JP 2023506035A
- Authority
- JP
- Japan
- Prior art keywords
- weights
- encoding method
- uniform
- encoded
- quantization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 215
- 230000006835 compression Effects 0.000 title claims abstract description 20
- 238000007906 compression Methods 0.000 title claims abstract description 20
- 238000003062 neural network model Methods 0.000 title claims abstract description 17
- 230000010354 integration Effects 0.000 title claims abstract description 7
- 238000004590 computer program Methods 0.000 title 1
- 238000013139 quantization Methods 0.000 claims abstract description 143
- 238000013528 artificial neural network Methods 0.000 claims abstract description 28
- 238000000638 solvent extraction Methods 0.000 claims description 8
- 238000005192 partition Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 18
- 230000001419 dependent effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F2207/38—Indexing scheme relating to groups G06F7/38 - G06F7/575
- G06F2207/48—Indexing scheme relating to groups G06F7/48 - G06F7/575
- G06F2207/4802—Special implementations
- G06F2207/4818—Threshold devices
- G06F2207/4824—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本出願は、米国特許商標庁において、2020年10月8日に出願された米国仮特許出願第63/089,443号、及び、2021年7月1日に出願された米国特許出願第17/365,367号に基づくとともに、これらの出願の優先権を主張し、それらの出願の開示内容は参照によりその全体が本願に組み入れられる。
マルチメディアコンテンツ記述及び分析のためのニューラルネットワーク圧縮において、符号化方法は、左から右に行優先方式でパラメータテンソルをスキャンし、上から下に行をスキャンする。
マルチメディアコンテンツ記述及び分析のためのニューラルネットワーク圧縮では、3つのタイプの量子化方法が使用される。
マルチメディアコンテンツ記述及び分析のためのニューラルネットワーク圧縮において、符号化方法は、左から右に行優先方式でパラメータテンソルをスキャンし、上から下に行をスキャンする。各量子化パラメータレベルは、整数パラメータmaxNumNoRemを用いる以下の手順にしたがって符号化される。
sign_flagは、量子化重みQuantParam[i]が正であるか負であるかどうかを定める。1に等しいsign_flagは、QuantParam[i]が負であることを示す。
abs_level_greater_x[j]は、QuantParam[i]の絶対レベルがj+1よりも大きいかどうかを示す。
abs_level_greater_x2[j]は、指数ゴロム剰余の単項部分を含む。
abs_remainderは、固定長剰余を示す。
重みテンソルの次元は、通常、[R][S][C][K]のレイアウトを有する畳み込み層に関しては4であり、[C][K]のレイアウトを有する完全接続層に関しては2であり、また、バイアス及びバッチ通常層については1であり、ここで、R/Sは畳み込みカーネルサイズであり、Cは入力特徴サイズであり、Kは出力特徴サイズである。
3D-ピラミッド構造は、各内部ノードが正確に8つの子を有するツリーデータ構造である。3D-ピラミッドは、三次元テンソルをz、y、x軸に沿って8つのオクタントに再帰的に分割することによって三次元テンソルを分割するために使用される。
3D-ピラミッドが構成された後、全てのノードは、ノード値を符号化するために所定のスキャン順序を使用してウォークスルーされる。
for(int d=start_depth;d < total_depth;++d)
for(int by=0;by < height[d];by+=2)
for(int bx=0;bx < width[d];bx+=2)
for(int bz=0;bz < length[d];bz+=2)
for(int y=by;y < by+min(2,height[d]-by);++y)
for(int x=bx;x < bx+min(2,width[d]-bx);++x)
for(int z=bz;z < bz+min(2,length[d]-bz);++z)
process node[d][z][y][x]
全てのノードをウォークスルーして異なる3Dツリーによって表わされる係数を符号化する異なる方法がある。
従属量子化プロセスは、再構成された値間の依存性に起因して、パラメータがスキャン順序(パラメータがエントロピー復号されるのと同じ順序)で再構成されることを必要とする場合がある。その後、従属スカラー量子化の方法が、a)異なる再構成レベルを有する2つのスカラー量子化器を定義するとともに、b)2つのスカラー量子化器間を切り換えるためのプロセスを定義することによって実現される。
ベースライン符号化方法が、4D重みテンソルを2D重みテンソルに再形成する。既に符号化された重み係数は、隣接重みとして保存され、現在の係数のコンテキストを更新するために使用される。保存された係数は、符号化された係数の数を入力チャネル×カーネルサイズで除算できる場合に0にリセットされる。
対応する構文テーブルの例を以下に列挙する。太字フォントを伴う要素は構文要素である。
0:ブロックスキャニングなし
1:8×8ブロック
2:16×16ブロック
3:32×32ブロック
4:64×64ブロック
StateTransTab[][]={{0,2},{7,5},{1,3},{6,4},{2,0},{5,7},{3,1},{4,6}}
sign_flagは、量子化重みQuantParam[i]が正であるか負であるかどうかを定める。1に等しいsign_flagは、QuantParam[i]が負であることを示す。
sign_flagは、量子化重みQuantParam[i]が正であるか負であるかどうかを定める。1に等しいsign_flagは、QuantParam[i]が負であることを示す。
abs_level_greater_x[j]は、QuantParam[i]の絶対レベルがj+1よりも大きいかどうかを示す。
abs_level_greater_x 2[j]は、指数ゴロム剰余の単項部分を含む。
abs_remainderは、固定長剰余を示す。
110 ユーザデバイス
120 プラットフォーム
122 クラウドコンピューティング環境
124 コンピューティングリソース
124-1 アプリケーション
124-2 仮想マシン
124-3 仮想化ストレージ
124-4 ハイパーバイザ
130 ネットワーク
200 デバイス
210 バス
220 プロセッサ
230 メモリ
240 記憶コンポーネント
250 入力コンポーネント
260 出力コンポーネント
270 通信インターフェイス
300 システム
310 パラメータ低減モジュール
320 パラメータ近似モジュール
330 再構成モジュール
340 符号器
350 復号器
420 親CU3Dノード
500 オクトツリー
510 内部ノード
520 子ノード
530 三次元テンソル
540 オクタント
700 装置
710 受信コード
720 決定コード
730 第1の符号化コード
740 第2の符号化コード
750 分割コード
Claims (20)
- ニューラルネットワークモデル圧縮のための統合ベースの符号化の方法であって、前記方法が少なくとも1つのプロセッサによって実行され、前記方法は、
均一符号化方法を使用して入力ニューラルネットワークの量子化重みが符号化されるかどうかを示す層均一フラグを受信するステップと、
前記受信された層均一フラグに基づき、前記量子化重みが前記均一符号化方法を使用して符号化されるかどうかを決定するステップと、
前記量子化重みが前記均一符号化方法を使用して符号化されると決定されることに基づき、前記均一符号化方法を使用して前記量子化重みを符号化するステップと、
前記量子化重みが前記均一符号化方法を使用して符号化されないと決定されることに基づき、不均一符号化方法を使用して前記量子化重みを符号化するステップと、
を含む、方法。 - 前記均一符号化方法を使用して前記量子化重みを符号化する前記ステップは、
前記入力ニューラルネットワークの前記量子化重みを複数の三次元符号化ツリーユニット(CTU3D)に分割するステップと、
前記複数のCTU3Dのうちの1つの量子化重みが前記均一符号化方法を使用して符号化されるかどうかを示すCTU3D均一フラグを受信するステップと、
前記受信されたCTU3D均一フラグに基づき、前記複数のCTU3Dのうちの前記1つの前記量子化重みが前記均一符号化方法を使用して符号化されるかどうかを決定するステップと、
前記複数のCTU3Dのうちの前記1つの前記量子化重みが前記均一符号化方法を使用して符号化されると決定されることに基づき、前記複数のCTU3Dのうちの前記1つの前記量子化重みを前記均一符号化方法を使用して符号化するステップと、
前記複数のCTU3Dのうちの前記1つの前記量子化重みが前記均一符号化方法を使用して符号化されないと決定されることに基づき、前記複数のCTU3Dのうちの前記1つの前記量子化重みを前記不均一符号化方法を使用して符号化するステップと、
を含む、請求項1に記載の方法。 - 前記複数のCTU3Dのうちの前記1つの前記量子化重みを前記均一符号化方法を使用して符号化する前記ステップは、3D-ユニツリー符号化方法を使用して、前記複数のCTU3Dのうちの前記1つの前記量子化重みを符号化するステップを含む、請求項2に記載の方法。
- 前記3D-ユニツリー符号化方法を使用して前記複数のCTU3Dのうちの前記1つの前記量子化重みが符号化されることに基づき、前記複数のCTU3Dのうちの前記1つの前記量子化重みが正であるか負であるかどうかを示す符号フラグを符号化するステップを更に含む、請求項3に記載の方法。
- 前記3D-ユニツリー符号化方法を使用して前記複数のCTU3Dのそれぞれの量子化重みが符号化されることに基づき、前記複数のCTU3Dのそれぞれの前記量子化重みが正であるか負であるかどうかを示す符号フラグを符号化するステップを更に含む、請求項3に記載の方法。
- 前記複数のCTU3Dのうちの前記1つの前記量子化重みを前記不均一符号化方法を使用して符号化する前記ステップは、3D-タグツリー符号化方法を使用して、前記複数のCTU3Dのうちの前記1つの前記量子化重みを符号化するステップを含む、請求項2に記載の方法。
- 前記3D-タグツリー符号化方法を使用して前記複数のCTU3Dのうちの前記1つの前記量子化重みが符号化されることに基づき、前記複数のCTU3Dのうちの前記1つの前記量子化重みが正であるか負であるかどうかを示す符号フラグを符号化するステップを更に含む、請求項6に記載の方法。
- 前記3D-タグツリー符号化方法を使用して前記複数のCTU3Dのそれぞれの量子化重みが符号化されることに基づき、前記複数のCTU3Dのそれぞれの前記量子化重みが正であるか負であるかどうかを示す符号フラグを符号化するステップを更に含む、請求項6に記載の方法。
- ニューラルネットワークモデル圧縮のための統合ベースの符号化のための装置であって、前記装置は、
プログラムコードを記憶するように構成される少なくとも1つのメモリと、
前記プログラムコードを読み取るとともに前記プログラムコードによって命令されるように動作するべく構成される少なくとも1つのプロセッサであって、前記プログラムコードは、
入力ニューラルネットワークの量子化重みが均一符号化方法を使用して符号化されるかどうかを示す層均一フラグを前記少なくとも1つのプロセッサに受信させるように構成される受信コードと、
前記受信された層均一フラグに基づいて前記量子化重みが前記均一符号化方法を使用して符号化されるかどうかを前記少なくとも1つのプロセッサに決定させるように構成される決定コードと、
前記均一符号化方法を使用して前記量子化重みが符号化されると決定されることに基づき、前記均一符号化方法を使用して前記量子化重みを前記少なくとも1つのプロセッサに符号化させるように構成される第1の符号化コードと、
前記均一符号化方法を使用して前記量子化重みが符号化されないと決定されることに基づき、不均一符号化方法を使用して前記量子化重みを前記少なくとも1つのプロセッサに符号化させるように構成される第2の符号化コードと、
を備える、少なくとも1つのプロセッサと、
を備える装置。 - 前記プログラムコードは、前記少なくとも1つのプロセッサに、前記入力ニューラルネットワークの前記量子化重みを複数の三次元符号化ツリーユニット(CTU3D)に分割させるように構成される分割コードを更に備え、
前記受信コードは、前記複数のCTU3Dのうちの1つの量子化重みが前記均一符号化方法を使用して符号化されるかどうかを示すCTU3D均一フラグを前記少なくとも1つのプロセッサに受信させるように更に構成され、
前記決定コードは、前記受信されたCTU3D均一フラグに基づき、前記複数のCTU3Dのうちの前記1つの前記量子化重みが前記均一符号化方法を使用して符号化されるかどうかを前記少なくとも1つのプロセッサに決定させるように更に構成され、
前記第1の符号化コードは、前記均一符号化方法を使用して前記複数のCTU3Dのうちの前記1つの前記量子化重みが符号化されると決定されることに基づき、前記均一符号化方法を使用して、前記複数のCTU3Dのうちの前記1つの前記量子化重みを前記少なくとも1つのプロセッサに符号化させるように更に構成され、
前記第2の符号化コードは、前記均一符号化方法を使用して前記複数のCTU3Dのうちの前記1つの前記量子化重みが符号化されないと決定されることに基づき、前記不均一符号化方法を使用して前記複数のCTU3Dのうちの前記1つの前記量子化重みを前記少なくとも1つのプロセッサに符号化させるように更に構成される、
請求項9に記載の装置。 - 前記第1の符号化コードは、3D-ユニツリー符号化方法を使用して、前記複数のCTU3Dのうちの前記1つの前記量子化重みを前記少なくとも1つのプロセッサに符号化させるように更に構成される、請求項10に記載の装置。
- 前記第1の符号化コードは、前記3D-ユニツリー符号化方法を使用して前記複数のCTU3Dのうちの前記1つの前記量子化重みが符号化されることに基づき、前記複数のCTU3Dのうちの前記1つの前記量子化重みが正であるか負であるかどうかを示す符号フラグを前記少なくとも1つのプロセッサに符号化させるように更に構成される、請求項11に記載の装置。
- 前記第1の符号化コードは、前記3D-ユニツリー符号化方法を使用して前記複数のCTU3Dのそれぞれの量子化重みが符号化されることに基づき、前記複数のCTU3Dのそれぞれの前記量子化重みが正であるか負であるかどうかを示す符号フラグを前記少なくとも1つのプロセッサに符号化させるように更に構成される、請求項11に記載の装置。
- 前記第2の符号化コードは、3D-タグツリー符号化方法を使用して、前記複数のCTU3Dのうちの前記1つの前記量子化重みを前記少なくとも1つのプロセッサに符号化させるように更に構成される、請求項10に記載の装置。
- 前記第2の符号化コードは、前記3D-タグツリー符号化方法を使用して前記複数のCTU3Dのうちの前記1つの前記量子化重みが符号化されることに基づき、前記複数のCTU3Dのうちの前記1つの前記量子化重みが正であるか負であるかどうかを示す符号フラグを前記少なくとも1つのプロセッサに符号化させるように更に構成される、請求項14に記載の装置。
- 前記第2の符号化コードは、前記3D-タグツリー符号化方法を使用して前記複数のCTU3Dのそれぞれの量子化重みが符号化されることに基づき、前記複数のCTU3Dのそれぞれの前記量子化重みが正であるか負であるかどうかを示す符号フラグを前記少なくとも1つのプロセッサに符号化させるように更に構成される、請求項14に記載の装置。
- 命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令は、ニューラルネットワークモデル圧縮のための統合ベースの符号化のために少なくとも1つのプロセッサによって実行されるときに、前記少なくとも1つのプロセッサに、
均一符号化方法を使用して入力ニューラルネットワークの量子化重みが符号化されるかどうかを示す層均一フラグを受信させ、
前記受信された層均一フラグに基づき、前記量子化重みが前記均一符号化方法を使用して符号化されるかどうかを決定させ、
前記量子化重みが前記均一符号化方法を使用して符号化されると決定されることに基づき、前記均一符号化方法を使用して前記量子化重みを符号化させ、
前記量子化重みが前記均一符号化方法を使用して符号化されないと決定されることに基づき、不均一符号化方法を使用して前記量子化重みを符号化させる、
非一時的コンピュータ可読記憶媒体。 - 前記命令は、前記少なくとも1つのプロセッサにより実行されるときに、前記少なくとも1つのプロセッサに、更に、
前記入力ニューラルネットワークの前記量子化重みを複数の三次元符号化ツリーユニット(CTU3D)に分割させ、
前記複数のCTU3Dのうちの1つの量子化重みが前記均一符号化方法を使用して符号化されるかどうかを示すCTU3D均一フラグを受信させ、
前記受信されたCTU3D均一フラグに基づき、前記複数のCTU3Dのうちの前記1つの前記量子化重みが前記均一符号化方法を使用して符号化されるかどうかを決定させ、
前記複数のCTU3Dのうちの前記1つの前記量子化重みが前記均一符号化方法を使用して符号化されると決定されることに基づき、前記複数のCTU3Dのうちの前記1つの前記量子化重みを前記均一符号化方法を使用して符号化させ、
前記複数のCTU3Dのうちの前記1つの前記量子化重みが前記均一符号化方法を使用して符号化されないと決定されることに基づき、前記複数のCTU3Dのうちの前記1つの前記量子化重みを前記不均一符号化方法を使用して符号化させる、
請求項17に記載の非一時的コンピュータ可読記憶媒体。 - 前記命令は、前記少なくとも1つのプロセッサによって実行されるときに、前記少なくとも1つのプロセッサに、更に、3D-ユニツリー符号化方法を使用して、前記複数のCTU3Dのうちの前記1つの前記量子化重みを符号化させる、請求項18に記載の非一時的コンピュータ可読記憶媒体。
- 前記命令は、前記少なくとも1つのプロセッサによって実行されるときに、前記少なくとも1つのプロセッサに、更に、3D-タグツリー符号化方法を使用して、前記複数のCTU3Dのうちの前記1つの前記量子化重みを符号化させる、請求項18に記載の非一時的コンピュータ可読記憶媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063089443P | 2020-10-08 | 2020-10-08 | |
US63/089,443 | 2020-10-08 | ||
US17/365,367 US20220114414A1 (en) | 2020-10-08 | 2021-07-01 | Method and apparatus for unification based coding for neural network model compression |
US17/365,367 | 2021-07-01 | ||
PCT/US2021/044905 WO2022076072A1 (en) | 2020-10-08 | 2021-08-06 | Method and apparatus for unification based coding for neural network model compression |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023506035A true JP2023506035A (ja) | 2023-02-14 |
JP7463012B2 JP7463012B2 (ja) | 2024-04-08 |
Family
ID=81077757
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022535885A Active JP7463012B2 (ja) | 2020-10-08 | 2021-08-06 | ニューラルネットワークモデル圧縮のための統合ベースの符号化のための方法、装置およびコンピュータプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220114414A1 (ja) |
EP (1) | EP4049128A4 (ja) |
JP (1) | JP7463012B2 (ja) |
KR (1) | KR20220106190A (ja) |
CN (1) | CN114787827A (ja) |
WO (1) | WO2022076072A1 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200257966A1 (en) * | 2019-02-13 | 2020-08-13 | Mipsology SAS | Quality monitoring and hidden quantization in artificial neural network computations |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6934677B2 (en) * | 2001-12-14 | 2005-08-23 | Microsoft Corporation | Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands |
US8817882B2 (en) * | 2010-07-30 | 2014-08-26 | Qualcomm Incorporated | Coding blocks of data using a generalized form of golomb codes |
US9224089B2 (en) * | 2012-08-07 | 2015-12-29 | Qualcomm Incorporated | Method and apparatus for adaptive bit-allocation in neural systems |
US10831444B2 (en) * | 2016-04-04 | 2020-11-10 | Technion Research & Development Foundation Limited | Quantized neural network training and inference |
-
2021
- 2021-07-01 US US17/365,367 patent/US20220114414A1/en active Pending
- 2021-08-06 JP JP2022535885A patent/JP7463012B2/ja active Active
- 2021-08-06 EP EP21878168.0A patent/EP4049128A4/en active Pending
- 2021-08-06 KR KR1020227022106A patent/KR20220106190A/ko active Search and Examination
- 2021-08-06 CN CN202180006255.7A patent/CN114787827A/zh active Pending
- 2021-08-06 WO PCT/US2021/044905 patent/WO2022076072A1/en unknown
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200257966A1 (en) * | 2019-02-13 | 2020-08-13 | Mipsology SAS | Quality monitoring and hidden quantization in artificial neural network computations |
Non-Patent Citations (1)
Title |
---|
JIANG, WEI ET AL.: "Structured Weight Unification and Encoding for Neural Network Compression and Acceleration", 2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW), JPN6023036130, 19 June 2020 (2020-06-19), US, pages 3068 - 3076, XP033799151, ISSN: 0005142907, DOI: 10.1109/CVPRW50498.2020.00365 * |
Also Published As
Publication number | Publication date |
---|---|
CN114787827A (zh) | 2022-07-22 |
JP7463012B2 (ja) | 2024-04-08 |
EP4049128A4 (en) | 2022-12-21 |
WO2022076072A1 (en) | 2022-04-14 |
KR20220106190A (ko) | 2022-07-28 |
EP4049128A1 (en) | 2022-08-31 |
US20220114414A1 (en) | 2022-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7379524B2 (ja) | ニューラルネットワークモデルの圧縮/解凍のための方法および装置 | |
US11871043B2 (en) | Method and apparatus for three-dimensional (3D)-tree coding for neural network model compression | |
JP7157260B2 (ja) | ポイントクラウドコーディング向けのジオメトリマージモードに関する方法、装置、及びコンピュータプログラム | |
CN113795869B (zh) | 神经网络模型处理方法、装置和介质 | |
US12010310B2 (en) | Method and apparatus for quantization, adaptive block partitioning and codebook coding for neural network model compression | |
JP7323715B2 (ja) | 微細構造化マスクを用いたマルチレートニューラル画像圧縮のための方法、装置およびコンピュータプログラム | |
US11488329B2 (en) | Method and apparatus for multi-rate neural image compression with stackable nested model structures | |
US11234024B2 (en) | Method and apparatus for three-dimensional (3D)-tree coding for neural network model compression | |
US20210248410A1 (en) | Method and apparatus for escape reorder mode for neural network model compression | |
JP7463012B2 (ja) | ニューラルネットワークモデル圧縮のための統合ベースの符号化のための方法、装置およびコンピュータプログラム | |
KR20230142788A (ko) | 신경 이미지 압축에서의 반복적 콘텐츠 적응형 온라인 트레이닝을 위한 시스템, 방법, 및 컴퓨터 프로그램 | |
JP7394980B2 (ja) | ブロック分割を伴うニューラルネットワークを復号する方法、装置及びプログラム | |
KR20230067644A (ko) | 기계들을 위한 비디오 코딩을 위한 특징 압축 | |
CN112616058B (zh) | 视频编码或解码方法、装置、计算机设备和存储介质 | |
JP7342265B2 (ja) | μ構造化ネストマスク及び重み単一化によるマルチレートニューラル画像圧縮モデルを圧縮及び加速するための方法及び装置 | |
US20220051102A1 (en) | Method and apparatus for multi-rate neural image compression with stackable nested model structures and micro-structured weight unification | |
JP2023525233A (ja) | ニューラル画像圧縮における置換の多学習率のための方法および装置 | |
JP2024512652A (ja) | ニューラル画像圧縮における複数ブロック用のコンテンツ適応型オンライン訓練のためのシステム、方法、およびコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220613 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230904 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240322 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7463012 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |