JP7447253B2 - エンドツーエンド画像圧縮のための特徴置換のための方法、装置およびコンピュータプログラム - Google Patents
エンドツーエンド画像圧縮のための特徴置換のための方法、装置およびコンピュータプログラム Download PDFInfo
- Publication number
- JP7447253B2 JP7447253B2 JP2022523026A JP2022523026A JP7447253B2 JP 7447253 B2 JP7447253 B2 JP 7447253B2 JP 2022523026 A JP2022523026 A JP 2022523026A JP 2022523026 A JP2022523026 A JP 2022523026A JP 7447253 B2 JP7447253 B2 JP 7447253B2
- Authority
- JP
- Japan
- Prior art keywords
- loss
- neural network
- representation
- permutation
- encoded representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 55
- 230000006835 compression Effects 0.000 title claims description 32
- 238000007906 compression Methods 0.000 title claims description 32
- 238000004590 computer program Methods 0.000 title claims 2
- 238000013528 artificial neural network Methods 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 description 45
- 238000012360 testing method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 238000007689 inspection Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000013139 quantization Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本出願は、2020年5月12日に出願された米国仮特許出願第63/023,694号、2020年5月18日に出願された米国仮特許出願第63/026,409号、および2021年4月28日に出願された米国特許出願第17/242,534号に基づき、それらに対する優先権を主張し、それらの開示は全体として参照により本明細書に組み込まれる。
L(x,y’,x’)=ηL(R(y’),Rtarget)+D(x,x’) (2)
L(R(y’),Rtarget)=min(R(y’)-Rtarget,∈) (3)
Ltr(xtr,ytr’,xtr’)=R(ytr’)+λtrD(xtr,xtr’) (5)
110 ユーザデバイス
120 プラットフォーム
122 クラウドコンピューティング環境
124 コンピューティングリソース
124-1 アプリケーション(「APP」)
124-2 仮想マシン(「VM」)
124-3 仮想化ストレージ(「VS」)
124-4 ハイパーバイザ(「HYP」)
130 ネットワーク
200 デバイス
210 バス
220 プロセッサ
230 メモリ
240 記憶構成要素
250 入力構成要素
260 出力構成要素
270 通信インターフェース
300A 訓練装置
300B 訓練装置
310 訓練エンコーダ
320 訓練量子化器
330 訓練デコーダ
340 歪み損失構成要素
350 レート損失構成要素
360 データ更新構成要素
370 データ更新構成要素
400 検査装置
410 検査エンコーダ
420 検査量子化器
430 検査デコーダ
500 方法
510 動作
520 動作
530 動作
600 装置
610 符号化コード
620 量子化コード
630 復号コード
Claims (9)
- エンドツーエンド画像圧縮のための特徴置換の方法であって、前記方法が少なくとも1つのプロセッサによって実行され、前記方法が、
第1のニューラルネットワークを使用して、入力画像を符号化し、符号化表現を生成するステップと、
第2のニューラルネットワークを使用して、前記生成された符号化表現を量子化し、圧縮表現を生成するステップと
を含み、
前記第1のニューラルネットワークおよび前記第2のニューラルネットワークが、
(a)前記第2のニューラルネットワークを使用して、符号化表現(y t )を量子化し、圧縮表現(y t ’)を生成するステップと、
(b)前記生成された圧縮表現(y t ’)のビットレートに基づいて、前記ビットレートに関連するレート損失を特定するステップと、
(c)前記特定されたレート損失に基づいて置換符号化表現(y t+1 )を取得するステップと、
(d)前記置換符号化表現(y t+1 )に対して(a)~(c)の処理を繰り返し、最適化された置換符号化表現(y T )を取得するステップと
によって訓練される、方法。 - 第3のニューラルネットワークを使用して、前記生成された圧縮表現を復号し、出力画像を生成するステップをさらに含む、請求項1に記載の方法。
- 前記第1のニューラルネットワーク、前記第2のニューラルネットワーク、および前記第3のニューラルネットワークが、
前記入力画像と前記生成された出力画像との間の復元誤差に対応する歪み損失を特定するステップと、
前記特定された歪み損失、前記特定されたレート損失、および入力されたハイパーパラメータに基づいて、前記置換符号化表現を取得するステップと
によって訓練される、請求項2に記載の方法。 - 最適化された置換符号化表現(y T )を取得する前記ステップが、以下の式:
請求項3に記載の方法。 - 前記第1のニューラルネットワーク、前記第2のニューラルネットワーク、および前記第3のニューラルネットワークが、
前記特定されたレート損失と目標レート損失との間の差と所定のハイパーパラメータとの間の最小値を特定するステップと、
前記入力画像と前記生成された出力画像との間の復元誤差に対応する歪み損失を特定するステップと、
前記特定された最小値、前記特定されたレート損失、および入力されたハイパーパラメータに基づいて、前記置換符号化表現を取得するステップと
によって訓練される、請求項2に記載の方法。 - 最適化された置換符号化表現(y T )を取得する前記ステップが、以下の式:
請求項5に記載の方法。 - 前記復元誤差が、ピーク信号対雑音比(PSNR)および/または構造類似性指数尺度(SSIM)を含む、請求項5に記載の方法。
- エンドツーエンド画像圧縮のための特徴置換のための装置であって、前記装置が
請求項1~7のいずれか一項に記載の方法を少なくとも1つのプロセッサに行わせるためのプログラムコードを記憶するように構成された少なくとも1つのメモリと、
前記プログラムコードを読み取り、前記プログラムコードによって指示されたように動作するように構成された少なくとも1つのプロセッサと
を備えた、装置。 - 少なくとも1つのプロセッサに、請求項1~7のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063023694P | 2020-05-12 | 2020-05-12 | |
US63/023,694 | 2020-05-12 | ||
US202063026409P | 2020-05-18 | 2020-05-18 | |
US63/026,409 | 2020-05-18 | ||
US17/242,534 | 2021-04-28 | ||
US17/242,534 US11790566B2 (en) | 2020-05-12 | 2021-04-28 | Method and apparatus for feature substitution for end-to-end image compression |
PCT/US2021/031334 WO2021231218A1 (en) | 2020-05-12 | 2021-05-07 | Method and apparatus for feature substitution for end-to-end image compression |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022553250A JP2022553250A (ja) | 2022-12-22 |
JP7447253B2 true JP7447253B2 (ja) | 2024-03-11 |
Family
ID=78512797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022523026A Active JP7447253B2 (ja) | 2020-05-12 | 2021-05-07 | エンドツーエンド画像圧縮のための特徴置換のための方法、装置およびコンピュータプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US11790566B2 (ja) |
EP (1) | EP4028957A4 (ja) |
JP (1) | JP7447253B2 (ja) |
KR (1) | KR102632258B1 (ja) |
CN (1) | CN114930349A (ja) |
WO (1) | WO2021231218A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11917162B2 (en) * | 2021-04-30 | 2024-02-27 | Tencent America LLC | Content-adaptive online training with feature substitution in neural image compression |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170230675A1 (en) | 2016-02-05 | 2017-08-10 | Google Inc. | Compressing images using neural networks |
WO2020061005A1 (en) | 2018-09-18 | 2020-03-26 | Google Llc | Use of non-linear function applied to quantization parameters in machine-learning models for video coding |
JP2020053820A (ja) | 2018-09-26 | 2020-04-02 | 株式会社Preferred Networks | 量子化及び符号化器作成方法、圧縮器作成方法、圧縮器作成装置及びプログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100723505B1 (ko) | 2005-10-06 | 2007-05-30 | 삼성전자주식회사 | 하이브리드 방식의 영상 데이터 처리 시스템 및 영상데이터 처리 방법 |
CN102497489B (zh) | 2011-12-05 | 2015-11-18 | 优视科技有限公司 | 图像压缩方法、图像压缩装置和移动终端 |
US9277180B2 (en) | 2014-06-30 | 2016-03-01 | International Business Machines Corporation | Dynamic facial feature substitution for video conferencing |
US10284844B1 (en) | 2018-07-02 | 2019-05-07 | Tencent America LLC | Method and apparatus for video coding |
WO2020080873A1 (en) * | 2018-10-19 | 2020-04-23 | Samsung Electronics Co., Ltd. | Method and apparatus for streaming data |
US11729406B2 (en) * | 2019-03-21 | 2023-08-15 | Qualcomm Incorporated | Video compression using deep generative models |
CN110348487B (zh) * | 2019-06-13 | 2021-07-20 | 武汉大学 | 一种基于深度学习的高光谱图像压缩方法及装置 |
CN111050170A (zh) * | 2019-12-06 | 2020-04-21 | 山东浪潮人工智能研究院有限公司 | 基于gan的图片压缩系统构建方法、压缩系统及方法 |
WO2021220008A1 (en) * | 2020-04-29 | 2021-11-04 | Deep Render Ltd | Image compression and decoding, video compression and decoding: methods and systems |
-
2021
- 2021-04-28 US US17/242,534 patent/US11790566B2/en active Active
- 2021-05-07 EP EP21804355.2A patent/EP4028957A4/en active Pending
- 2021-05-07 JP JP2022523026A patent/JP7447253B2/ja active Active
- 2021-05-07 KR KR1020227016367A patent/KR102632258B1/ko active IP Right Grant
- 2021-05-07 CN CN202180006010.4A patent/CN114930349A/zh active Pending
- 2021-05-07 WO PCT/US2021/031334 patent/WO2021231218A1/en unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170230675A1 (en) | 2016-02-05 | 2017-08-10 | Google Inc. | Compressing images using neural networks |
WO2020061005A1 (en) | 2018-09-18 | 2020-03-26 | Google Llc | Use of non-linear function applied to quantization parameters in machine-learning models for video coding |
JP2020053820A (ja) | 2018-09-26 | 2020-04-02 | 株式会社Preferred Networks | 量子化及び符号化器作成方法、圧縮器作成方法、圧縮器作成装置及びプログラム |
Non-Patent Citations (2)
Title |
---|
Fei Yang, et al.,Variable Rate Deep Image Compression With Modulated Autoencoder,IEEE SIGNAL PROCESSING LETTERS,IEEE,2020年02月,VOL. 27,pp.331-335 |
Yoojin Choi, Mostafa El-Khamy, and Jungwon Lee,Variable Rate Deep Image CompressionWith a Conditional Autoencoder,2019 IEEE/CVF International Conference on Computer Vision (ICCV),IEEE,2019年,pp.3146-3154 |
Also Published As
Publication number | Publication date |
---|---|
WO2021231218A1 (en) | 2021-11-18 |
JP2022553250A (ja) | 2022-12-22 |
EP4028957A1 (en) | 2022-07-20 |
US11790566B2 (en) | 2023-10-17 |
KR102632258B1 (ko) | 2024-01-31 |
CN114930349A (zh) | 2022-08-19 |
US20210358179A1 (en) | 2021-11-18 |
EP4028957A4 (en) | 2022-11-23 |
KR20220084130A (ko) | 2022-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7374340B2 (ja) | ニューラル画像圧縮のためのタスク適応型前処理のための方法、装置およびコンピュータプログラム | |
US20220070477A1 (en) | Method and apparatus for multi-scale neural image compression with intra-prediction residuals | |
KR20220045217A (ko) | 마이크로구조화된 마스크들을 사용한 멀티레이트 신경 이미지 압축 방법 및 장치 | |
JP7483030B2 (ja) | 潜在特徴領域におけるイントラ予測によるニューラル画像圧縮 | |
JP7447253B2 (ja) | エンドツーエンド画像圧縮のための特徴置換のための方法、装置およびコンピュータプログラム | |
KR20220061223A (ko) | 적대적 발생기들에 의한 레이트-적응형 신경 이미지 압축을 위한 방법 및 장치 | |
JP2023526180A (ja) | 滑らかな品質制御による適応ニューラル画像圧縮のための代替の入力最適化 | |
US11652994B2 (en) | Neural image compression with adaptive intra-prediction | |
JP7411117B2 (ja) | メタ学習による柔軟なハイパー事前モデルを用いる適応画像圧縮のための方法、装置及びコンピュータプログラム | |
JP7434605B2 (ja) | メタ学習によるスムーズな品質制御を用いた適応ニューラル画像圧縮のための方法、装置、非一時的コンピュータ可読媒体、およびコンピュータプログラム | |
US20220051101A1 (en) | Method and apparatus for compressing and accelerating multi-rate neural image compression model by micro-structured nested masks and weight unification | |
JP7471730B2 (ja) | メタ学習によるレート制御を用いた適応ニューラル画像圧縮のための方法、装置及びプログラム | |
JP7425870B2 (ja) | 積み重ね可能な入れ子モデル構造及びマイクロ構造化された重み統一によるマルチレートニューラル画像圧縮のための方法及び装置 | |
JP2024518239A (ja) | ニューラル画像圧縮における反復的なコンテンツ適応型オンライントレーニングのためのシステム、方法、及びコンピュータプログラム | |
JP2024512652A (ja) | ニューラル画像圧縮における複数ブロック用のコンテンツ適応型オンライン訓練のためのシステム、方法、およびコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220415 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220415 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230529 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7447253 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |