JP2023506057A - イントラ予測残差を用いたマルチスケールニューラル画像圧縮のための方法および装置、およびコンピュータプログラム - Google Patents

イントラ予測残差を用いたマルチスケールニューラル画像圧縮のための方法および装置、およびコンピュータプログラム Download PDF

Info

Publication number
JP2023506057A
JP2023506057A JP2022536607A JP2022536607A JP2023506057A JP 2023506057 A JP2023506057 A JP 2023506057A JP 2022536607 A JP2022536607 A JP 2022536607A JP 2022536607 A JP2022536607 A JP 2022536607A JP 2023506057 A JP2023506057 A JP 2023506057A
Authority
JP
Japan
Prior art keywords
prediction
residual
image
processor
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022536607A
Other languages
English (en)
Inventor
ウェイ・ジアン
ウェイ・ワン
ディン・ディン
シャン・リュウ
Original Assignee
テンセント・アメリカ・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・アメリカ・エルエルシー filed Critical テンセント・アメリカ・エルエルシー
Publication of JP2023506057A publication Critical patent/JP2023506057A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

イントラ予測残差を用いたマルチスケールニューラル画像圧縮の方法は、少なくとも1つのプロセッサによって実施され、入力画像をダウンサンプリングするステップと、以前に復元された予測画像に基づいて、現在の予測画像を生成するステップと、ダウンサンプリングされた入力画像と生成された現在の予測画像との間の差に基づいて、予測残差を生成するステップとを含む。方法は、生成された予測残差を符号化するステップと、符号化された予測残差を復号化するステップと、現在の予測画像と復号化された予測残差との加算に基づいて、現在復元されている予測画像を生成するステップとをさらに含む。方法は、現在復元されている予測画像をアップサンプリングするステップと、入力画像とアップサンプリングされた現在復元されている予測画像との間の差に基づいて、スケール残差を生成するステップと、スケール残差を符号化するステップとをさらに含む。

Description

関連出願の相互参照
本出願は、米国特許商標庁において、2020年9月3日に出願された米国仮特許出願第63／074，405号、および2021年5月28日に出願された米国特許出願第17／333，319号に基づいており、それらの優先権を主張し、上記の出願の開示内容は、参照によりその全体が本明細書に組み込まれる。
ISO／IEC MPEG（JTC 1／SC 29／WG 11）は、将来のビデオコーディング技術の標準化に対する潜在的なニーズを積極的に探ってきた。ISO／IEC JPEGは、ディープニューラルネットワーク（DNN）を使用したAIベースのエンドツーエンドのニューラル画像圧縮に焦点を当てたJPEG－AIグループを確立している。最近の手法の成功は、高度なニューラル画像およびビデオ圧縮方法論に対するますます多くの産業上の関心をもたらしている。
入力画像xが与えられると、ニューラル画像圧縮（NIC）の目標は、画像xをDNNエンコーダへの入力として使用して、記憶および送信のためにコンパクトである圧縮表現
Figure 2023506057000002
 を計算し、次いで
Figure 2023506057000003
 をDNNデコーダへの入力として使用して画像
Figure 2023506057000004
 を再構築することである。従来のNIC方法は、DNNエンコーダが画像x全体をその入力として直接使用する変分オートエンコーダ（VAE）構造を取り、これは、ブラックボックスのように機能するネットワーク層のセットを通過し、出力表現
Figure 2023506057000005
 を計算する。これに対応して、DNNデコーダは、表現
Figure 2023506057000006
 全体をその入力として取り、これは、別のブラックボックスのように機能するネットワーク層の別のセットを通過し、再構築
Figure 2023506057000007
 を計算する。
元の画像全体を直接符号化する代わりに、ブロックベースのイントラ予測および残差コーディングメカニズムは、高効率ビデオコーディング（HEVC）および多用途ビデオコーディング（VVC）のような最新のビデオコーディング規格における画像フレームの圧縮に非常に効果的であることが証明されている。画像全体は、様々なサイズのブロックに分割され、予測ブロックは、様々な角度方向に沿って前の圧縮ブロックの境界画素をコピーすることによって生成される。次に、元のブロックと予測ブロックとの間の残差が圧縮される。残差は、元の画素よりもはるかに効率的に符号化することができ、より良好なコーディング性能を達成することができる。
マルチスケール処理は、NICのような画像再構築タスクのための学習された画像表現の効率を改善する別の効果的なメカニズムである。異なるスケールで異なるコーディング戦略を使用することによって、より良好な符号化性能を達成することができる。
実施形態によれば、イントラ予測残差を用いたマルチスケールニューラル画像圧縮の方法は、少なくとも1つのプロセッサによって実施され、入力画像をダウンサンプリングするステップと、以前に復元された予測画像に基づいて、現在の予測画像を生成するステップと、ダウンサンプリングされた入力画像と生成された現在の予測画像との間の差に基づいて、予測残差を生成するステップとを含む。方法は、生成された予測残差を符号化するステップと、符号化された予測残差を復号化するステップと、現在の予測画像と復号化された予測残差との加算に基づいて、現在復元されている予測画像を生成するステップとをさらに含む。方法は、現在復元されている予測画像をアップサンプリングするステップと、入力画像とアップサンプリングされた現在復元されている予測画像との間の差に基づいて、スケール残差を生成するステップと、スケール残差を符号化するステップとをさらに含む。
実施形態によれば、イントラ予測残差を用いたマルチスケールニューラル画像圧縮のための装置は、プログラムコードを記憶するように構成された少なくとも1つのメモリと、プログラムコードを読み取り、プログラムコードによって命令されるように動作するように構成された少なくとも1つのプロセッサとを含む。プログラムコードは、少なくとも1つのプロセッサに、入力画像をダウンサンプリングさせるように構成されたダウンサンプリングコード、少なくとも1つのプロセッサに、以前に復元された予測画像に基づいて、現在の予測画像を生成させるように構成された第1の生成コード、および少なくとも1つのプロセッサに、ダウンサンプリングされた入力画像と生成された現在の予測画像との間の差に基づいて、予測残差を生成させるように構成された第2の生成コードを含む。プログラムコードは、少なくとも1つのプロセッサに、生成された予測残差を符号化させるように構成された第1の符号化コード、少なくとも1つのプロセッサに、符号化された予測残差を復号化させるように構成された第1の復号化コード、および少なくとも1つのプロセッサに、現在の予測画像と復号化された予測残差との加算に基づいて、現在復元されている予測画像を生成させるように構成された第3の生成コードをさらに含む。プログラムコードは、少なくとも1つのプロセッサに、現在復元されている予測画像をアップサンプリングさせるように構成されたアップサンプリングコード、少なくとも1つのプロセッサに、入力画像とアップサンプリングされた現在復元されている予測画像との間の差に基づいて、スケール残差を生成させるように構成された第4の生成コード、および少なくとも1つのプロセッサに、スケール残差を符号化させるように構成された第2の符号化コードをさらに含む。
実施形態によれば、イントラ予測残差を用いたマルチスケールニューラル画像圧縮のための少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに、入力画像をダウンサンプリングさせ、以前に復元された予測画像に基づいて、現在の予測画像を生成させ、ダウンサンプリングされた入力画像と生成された現在の予測画像との間の差に基づいて、予測残差を生成させる命令を記憶する非一時的コンピュータ可読媒体。命令は、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサにさらに、生成された予測残差を符号化させ、符号化された予測残差を復号化させ、現在の予測画像と復号化された予測残差との加算に基づいて、現在復元されている予測画像を生成させる。命令は、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサにさらに、現在復元されている予測画像をアップサンプリングさせ、入力画像とアップサンプリングされた現在復元されている予測画像との間の差に基づいて、スケール残差を生成させ、スケール残差を符号化させる。
実施形態による、本明細書に記載の方法、装置、およびシステムを実施することができる環境の図である。 図1の1つまたは複数のデバイスの例示的なコンポーネントのブロック図である。 実施形態による、イントラ予測残差を用いたマルチスケールニューラル画像圧縮のためのエンコーダのブロック図である。 実施形態による、ブロックベースのイントラ予測のための装置のブロック図である。 実施形態による、イントラ予測残差を用いたマルチスケールニューラル画像圧縮のためのデコーダのブロック図である。 実施形態による、分解されたスケール残差符号化DNNおよび分解された予測残差符号化DNNのブロック図である。 実施形態による、分解されたスケール残差復号化DNNおよび分解された予測残差復号化DNNのブロック図である。 実施形態による、イントラ予測残差を用いたマルチスケールニューラル画像圧縮の方法のフローチャートである。 実施形態による、イントラ予測残差を用いたマルチスケールニューラル画像圧縮のための装置のブロック図である。
本開示は、ブロックベースのイントラ予測からのマルチスケール残差を使用して、DNNによって入力画像を圧縮するためのNICフレームワークを記載する。
図1は、実施形態による、本明細書に記載の方法、装置、およびシステムを実施することができる環境100の図である。
図1に示すように、環境100は、ユーザデバイス110と、プラットフォーム120と、ネットワーク130とを含んでもよい。環境100のデバイスは、有線接続、無線接続、または有線接続と無線接続との組み合わせを介して相互接続され得る。
ユーザデバイス110は、プラットフォーム120に関連付けられた情報を受信、生成、記憶、処理、および／または提供することが可能な1つまたは複数のデバイスを含む。例えば、ユーザデバイス110は、コンピューティングデバイス（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルドコンピュータ、スマートスピーカ、サーバなど）、携帯電話（例えば、スマートフォン、無線電話など）、ウェアラブルデバイス（例えば、スマートグラスまたはスマートウォッチのペア）、または同様のデバイスを含んでもよい。いくつかの実施態様では、ユーザデバイス110は、プラットフォーム120から情報を受信し、かつ／または情報をプラットフォームに送信してもよい。
プラットフォーム120は、本明細書の他の箇所に記載されるような1つまたは複数のデバイスを含む。いくつかの実施態様では、プラットフォーム120は、クラウドサーバまたはクラウドサーバのグループを含んでもよい。いくつかの実施態様では、プラットフォーム120は、ソフトウェアコンポーネントがスワップインまたはスワップアウトされ得るようにモジュール式に設計されてもよい。したがって、プラットフォーム120は、異なる用途向けに、容易におよび／または迅速に再構成されてもよい。
いくつかの実施態様では、図示のように、プラットフォーム120は、クラウドコンピューティング環境122でホストされ得る。特に、本明細書に記載の実施態様は、プラットフォーム120がクラウドコンピューティング環境122でホストされるものとして説明しているが、いくつかの実施態様では、プラットフォーム120は、クラウドベースでなくてもよく（すなわち、クラウドコンピューティング環境の外部で実装されてもよい）、または部分的にクラウドベースであってもよい。
クラウドコンピューティング環境122は、プラットフォーム120をホストする環境を含む。クラウドコンピューティング環境122は、プラットフォーム120をホストするシステムおよび／またはデバイスの物理的位置および構成に関するエンドユーザ（例えば、ユーザデバイス110）の知識を必要としない計算、ソフトウェア、データアクセス、ストレージなどのサービスを提供することができる。図示のように、クラウドコンピューティング環境122は、コンピューティングリソース124のグループ（「コンピューティングリソース124」と総称し、個々に「コンピューティングリソース124」と呼ぶ）を含んでもよい。
コンピューティングリソース124は、1つまたは複数のパーソナルコンピュータ、ワークステーションコンピュータ、サーバデバイス、または他のタイプの計算および／または通信デバイスを含む。いくつかの実施態様では、コンピューティングリソース124は、プラットフォーム120をホストすることができる。クラウドリソースは、コンピューティングリソース124で実行される計算インスタンス、コンピューティングリソース124で提供されるストレージデバイス、コンピューティングリソース124によって提供されるデータ転送デバイスなどを含んでもよい。いくつかの実施態様では、コンピューティングリソース124は、有線接続、無線接続、または有線接続と無線接続との組み合わせを介して他のコンピューティングリソース124と通信してもよい。
図1にさらに示すように、コンピューティングリソース124は、1つまたは複数のアプリケーション（「APP」）124－1、1つまたは複数の仮想マシン（「VM」）124－2、仮想化ストレージ（「VS」）124－3、1つまたは複数のハイパーバイザ（「HYP」）124－4などのクラウドリソースのグループを含む。
アプリケーション124－1は、ユーザデバイス110および／またはプラットフォーム120に提供、またはユーザデバイス110および／またはプラットフォーム120によってアクセスされてもよい1つまたは複数のソフトウェアアプリケーションを含む。アプリケーション124－1は、ユーザデバイス110上にソフトウェアアプリケーションをインストールして実行する必要性を排除することができる。例えば、アプリケーション124－1は、プラットフォーム120に関連付けられたソフトウェアおよび／またはクラウドコンピューティング環境122を介して提供可能な任意の他のソフトウェアを含んでもよい。いくつかの実施態様では、1つのアプリケーション124－1は、仮想マシン124－2を介して、1つまたは複数の他のアプリケーション124－1との間で情報を送受信してもよい。
仮想マシン124－2は、物理マシンのようにプログラムを実行するマシン（例えば、コンピュータ）のソフトウェア実装を含む。仮想マシン124－2は、仮想マシン124－2による用途および任意の実マシンに対する対応度に応じて、システム仮想マシンまたはプロセス仮想マシンのいずれかであってもよい。システム仮想マシンは、完全なオペレーティングシステム（「OS」）の実行をサポートする完全なシステムプラットフォームを提供し得る。プロセス仮想マシンは、単一のプログラムを実行し得、単一のプロセスをサポートし得る。いくつかの実施態様では、仮想マシン124－2は、ユーザ（例えば、ユーザデバイス110）に代わって実行することができ、データ管理、同期、または長期間のデータ転送などのクラウドコンピューティング環境122のインフラストラクチャを管理することができる。
仮想化ストレージ124－3は、コンピューティングリソース124のストレージシステムまたはデバイス内で仮想化技術を使用する1つまたは複数のストレージシステムおよび／または1つまたは複数のデバイスを含む。いくつかの実施態様では、ストレージシステムのコンテキスト内で、仮想化のタイプは、ブロック仮想化およびファイル仮想化を含んでもよい。ブロック仮想化は、ストレージシステムが物理ストレージまたは異種構造に関係なくアクセスされ得るような、物理ストレージからの論理ストレージの抽象化（または分離）を指し得る。分離により、ストレージシステムの管理者がエンドユーザのためにストレージを管理する方法の柔軟性が可能になり得る。ファイル仮想化は、ファイルレベルでアクセスされるデータとファイルが物理的に記憶される場所との間の依存関係を排除することができる。これにより、ストレージ使用の最適化、サーバ統合、および／またはスムーズなファイル移行の性能を可能にすることができる。
ハイパーバイザ124－4は、複数のオペレーティングシステム（例えば、「ゲストオペレーティングシステム」）がコンピューティングリソース124などのホストコンピュータ上で同時に実行することを可能にするハードウェア仮想化技術を提供することができる。ハイパーバイザ124－4は、仮想オペレーティングプラットフォームをゲストオペレーティングシステムに提示することができ、ゲストオペレーティングシステムの実行を管理することができる。様々なオペレーティングシステムの複数のインスタンスは、仮想化ハードウェアリソースを共有し得る。
ネットワーク130は、1つまたは複数の有線および／または無線ネットワークを含む。例えば、ネットワーク130は、セルラーネットワーク（例えば、第5世代（5G）ネットワーク、ロングタームエボリューション（LTE）ネットワーク、第3世代（3G）ネットワーク、符号分割多元接続（CDMA）ネットワークなど）、公衆陸上移動体ネットワーク（PLMN）、ローカルエリアネットワーク（LAN）、ワイドエリアネットワーク（WAN）、メトロポリタンエリアネットワーク（MAN）、電話ネットワーク（例えば、公衆交換電話網（PSTN））、プライベートネットワーク、アドホックネットワーク、イントラネット、インターネット、光ファイバベースのネットワークなど、および／またはこれらもしくは他のタイプのネットワークの組み合わせを含んでもよい。
図1に示すデバイスおよびネットワークの数および配置は、一例として提供されている。実際には、図1に示すものに対して、追加のデバイスおよび／もしくはネットワーク、より少ないデバイスおよび／もしくはネットワーク、異なるデバイスおよび／もしくはネットワーク、または異なる配置のデバイスおよび／もしくはネットワークが存在してもよい。さらに、図1に示す2つ以上のデバイスは、単一のデバイス内に実装されてもよく、または図1に示す単一のデバイスは、複数の分散型デバイスとして実装されてもよい。追加的または代替的に、環境100のデバイスのセット（例えば、1つまたは複数のデバイス）は、環境100の別のデバイスのセットによって実施されるものとして説明される1つまたは複数の機能を実施してもよい。
図2は、図1の1つまたは複数のデバイスの例示的なコンポーネントのブロック図である。
デバイス200は、ユーザデバイス110および／またはプラットフォーム120に対応し得る。図2に示すように、デバイス200は、バス210、プロセッサ220、メモリ230、ストレージ240、入力インターフェース250、出力インターフェース260、および通信インターフェース270を含むことができる。
バス210は、デバイス200のコンポーネント間の通信を可能にするコンポーネントを含む。プロセッサ220は、ハードウェア、ファームウェア、またはハードウェアとソフトウェアとの組み合わせで実装される。プロセッサ220は、中央処理装置（CPU）、グラフィック処理装置（GPU）、加速処理装置（APU）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（DSP）、フィールドプログラマブルゲートアレイ（FPGA）、特定用途向け集積回路（ASIC）、または別のタイプの処理コンポーネントである。いくつかの実施態様では、プロセッサ220は、機能を実施するようにプログラム可能な1つまたは複数のプロセッサを含む。メモリ230は、プロセッサ220が使用するための情報および／または命令を記憶する、ランダムアクセスメモリ（RAM）、読み出し専用メモリ（ROM）、および／または別のタイプの動的もしくは静的ストレージデバイス（例えば、フラッシュメモリ、磁気メモリ、および／または光メモリ）を含む。
ストレージ240は、デバイス200の動作および使用に関連する情報および／またはソフトウェアを記憶する。例えば、ストレージ240は、対応するドライブと共に、ハードディスク（例えば、磁気ディスク、光ディスク、光磁気ディスク、および／またはソリッドステートディスク）、コンパクトディスク（CD）、デジタル多用途ディスク（DVD）、フロッピーディスク、カートリッジ、磁気テープ、および／または別のタイプの非一時的コンピュータ可読媒体を含んでもよい。
入力インターフェース250は、デバイス200がユーザ入力（例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、および／またはマイクロフォン）などを介して情報を受信することを可能にするコンポーネントを含む。追加的または代替的に、入力インターフェース250は、情報を感知するためのセンサ（例えば、全地球測位システム（GPS）コンポーネント、加速度計、ジャイロスコープ、および／またはアクチュエータ）を含んでもよい。出力インターフェース260は、デバイス200（例えば、ディスプレイ、スピーカ、および／または1つまたは複数の発光ダイオード（LED））からの出力情報を提供するコンポーネントを含む。
通信インターフェース270は、デバイス200が有線接続、無線接続、または有線接続と無線接続との組み合わせなどを介して他のデバイスと通信することを可能にするトランシーバのようなコンポーネント（例えば、トランシーバおよび／または別々の受信機および送信機）を含む。通信インターフェース270は、デバイス200が別のデバイスから情報を受信すること、および／または情報を別のデバイスに提供することを可能にしてもよい。例えば、通信インターフェース270は、イーサネットインターフェース、光インターフェース、同軸インターフェース、赤外線インターフェース、無線周波数（RF）インターフェース、ユニバーサルシリアルバス（USB）インターフェース、Wi－Fiインターフェース、セルラーネットワークインターフェースなどを含み得る。
デバイス200は、本明細書に記載の1つまたは複数のプロセスを実施することができる。デバイス200は、メモリ230および／またはストレージ240などの非一時的コンピュータ可読媒体によって記憶されたソフトウェア命令を実行するプロセッサ220に応答して、これらのプロセスを実施してもよい。コンピュータ可読媒体は、本明細書では非一時的メモリデバイスとして定義される。メモリデバイスは、単一の物理ストレージデバイス内のメモリ空間、または複数の物理ストレージデバイスにわたって散在するメモリ空間を含む。
ソフトウェア命令は、別のコンピュータ可読媒体から、または通信インターフェース270を介して別のデバイスから、メモリ230および／またはストレージ240に読み込まれてもよい。実行されると、メモリ230および／またはストレージ240に記憶されたソフトウェア命令は、プロセッサ220に、本明細書に記載の1つまたは複数のプロセスを実施させることができる。追加的または代替的に、本明細書に記載の1つまたは複数のプロセスを実施するために、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせてハードワイヤード回路が使用されてもよい。したがって、本明細書に記載の実施態様は、ハードウェア回路とソフトウェアとのいずれの特定の組み合わせにも限定されない。
図2に示すコンポーネントの数および配置は、一例として提供されている。実際には、デバイス200は、図2に示すものに対して、追加のコンポーネント、より少ないコンポーネント、異なるコンポーネント、または異なる配置のコンポーネントを含んでもよい。追加的または代替的に、デバイス200のコンポーネントのセット（例えば、1つまたは複数のコンポーネント）は、デバイス200の別のコンポーネントのセットによって実施されるものとして説明される1つまたは複数の機能を実施してもよい。
次に、イントラ予測残差を用いたマルチスケールニューラル画像圧縮のための方法および装置について詳細に説明する。
本明細書で説明される実施形態は、NICのためのマルチスケールブロックベースのイントラ予測および残差コーディングフレームワークを含む。NICコーディング効率を大幅に改善するために、2つのメカニズム：元の画素を符号化する代わりに、予測ブロックと元のブロックとの間の残差を符号化するステップ、および異なるスケールで異なるコーディング戦略を使用するステップが使用される。
図3は、実施形態による、イントラ予測残差を用いたマルチスケールニューラル画像圧縮のためのエンコーダ300のブロック図である。図4は、実施形態による、ブロックベースのイントラ予測のための装置400のブロック図である。図5は、実施形態による、イントラ予測残差を用いたマルチスケールニューラル画像圧縮のためのデコーダ500のブロック図である。
図3に示すように、エンコーダ300は、ダウンサンプラ310、イントラ予測部320、減算器330、DNN予測残差エンコーダ340、DNN予測残差デコーダ350、加算器360、アップサンプラ370、減算器380、およびDNNスケール残差エンコーダ390を含む。
エンコーダ側では、ダウンサンプラ310は、入力画像xをダウンサンプリングし、ダウンサンプリングされた画像x’を生成する。以前に復元された予測画像
Figure 2023506057000008
 は、イントラ予測部320を通過し、予測画像
Figure 2023506057000009
 を生成する。減算器330は、ダウンサンプリングされた画像x’と予測画像
Figure 2023506057000010
 との間の差である予測残差r’を生成する。
DNN予測残差エンコーダ340は、予測残差r’を符号化し、符号化された予測残差
Figure 2023506057000011
 を生成する。符号化された予測残差
Figure 2023506057000012
 は、DNN予測残差デコーダ350を通過し、復号化された予測残差
Figure 2023506057000013
 を生成する。加算器360は、復号化された予測残差
Figure 2023506057000014
 を予測画像
Figure 2023506057000015
 に加算して戻し、新たに復元されたまたは現在復元されている予測画像
Figure 2023506057000016
 を生成する。
アップサンプラ370は、復元された予測画像
Figure 2023506057000017
 をアップサンプリングし、アップサンプリングされた画像
Figure 2023506057000018
 を生成する。減算器380は、元の入力画像xとアップサンプリングされた画像
Figure 2023506057000019
 との間の差であるスケール残差rを生成する。DNNスケール残差エンコーダ390は、スケール残差rを符号化し、符号化されたスケール残差
Figure 2023506057000020
 を生成する。
実施形態では、ダウンサンプラ310は、畳み込み層とプーリング層の両方を含むダウンサンプリングDNNを使用して、入力画像xからダウンサンプリングされた画像x’を生成する。アップサンプラ370は、アップサンプリングDNNを使用して、入力低スケール信号から出力高スケール信号を生成する。アップサンプリングDNNは、いくつかの逆畳み込み層を含み得る。実施形態では、画像超解像に使用されるものなどのより複雑なDNNのいずれかを、アップサンプリングDNNとして使用することもできる。
実施形態では、イントラ予測部320は、ブロックごとのイントラ予測メカニズムを使用する。ダウンサンプリングされた画像x’（および対応する予測残差r’）は、複数のブロックに分割され、DNN予測残差エンコーダ340は、事前定義された走査順序に基づいて、これらのブロックを1つずつ処理する。
図4に示すように、ブロックベースのイントラ予測のための装置400は、イントラ予測部410、減算器420、DNN予測残差エンコーダ430、およびDNN予測残差デコーダ440を含む。
以前に再構築されたまたは以前に復元された予測ブロックのセット
Figure 2023506057000021
 が与えられると、イントラ予測部410（予測DNN）は、予測画像
Figure 2023506057000022
 の現在の予測ブロック
Figure 2023506057000023
 を生成する。減算器420は、ダウンサンプリングされた入力画像x’の真画像ブロックb’xから現在の予測ブロック
Figure 2023506057000024
 を減算し、予測残差r’の対応する予測残差ブロックb’rを生成する。予測DNNは、いくつかの畳み込み層および逆畳み込み層を含むことができる。例えば、画像超解像によって使用されるDNNは、ここでは、例えば、出力サイズを入力サイズと同じになるように変更することによって使用することができる。
残差ブロックb’rは、DNN予測残差エンコーダ430を通過し、符号化された予測残差
Figure 2023506057000025
 の符号化された予測残差ブロック
Figure 2023506057000026
 を生成する。符号化された予測残差ブロック
Figure 2023506057000027
 は、DNN予測残差デコーダ440を通過し、復号化された予測残差
Figure 2023506057000028
 の復号化された予測残差ブロック
Figure 2023506057000029
 を生成する。復号化された予測残差ブロック
Figure 2023506057000030
 は、予測ブロック
Figure 2023506057000031
 に加算して戻され、以前に復元された予測画像
Figure 2023506057000032
 の新たに復元されたまたは新たに再構築されたブロック
Figure 2023506057000033
 を生成することができる。次いで、この新たに再構築されたブロック
Figure 2023506057000034
 は、以前に再構築されたブロックのセット
Figure 2023506057000035
 に追加され、イントラ予測部410は、次のブロックを処理する。
図5に示すように、デコーダ500は、DNNスケール残差デコーダ510、DNN予測残差デコーダ520、イントラ予測部530、加算器540、アップサンプラ550、および加算器560を含む。
デコーダ側では、図3に記載されているように、DNNスケール残差デコーダ510は、符号化されたスケール残差
Figure 2023506057000036
 に基づいて、復号化されたスケール残差
Figure 2023506057000037
 を生成する。DNN予測残差デコーダ520は、符号化された予測残差
Figure 2023506057000038
 に基づいて、復号化された予測残差
Figure 2023506057000039
 を生成する。イントラ予測部530は、予測画像
Figure 2023506057000040
 を生成する。
加算器540は、復号化された予測残差
Figure 2023506057000041
 を用いて予測画像
Figure 2023506057000042
 を加算し、復元された予測画像
Figure 2023506057000043
 を生成する。アップサンプラ550は、アップサンプリングDNNを使用して、復元された予測画像
Figure 2023506057000044
 をアップサンプリングし、アップサンプリングされた画像
Figure 2023506057000045
 を生成する。加算器560は、アップサンプリングされた画像
Figure 2023506057000046
 を復号化されたスケール残差
Figure 2023506057000047
 に加算して戻し、最終的な再構築画像
Figure 2023506057000048
 を生成する。
実施形態では、デコーダ側のイントラ予測部530は、エンコーダ側と同じブロックごとのイントラ予測メカニズムを使用する。以前に再構築されたブロックのセット
Figure 2023506057000049
 が与えられると、予測DNN（エンコーダ側と同じ）は、現在の予測ブロック
Figure 2023506057000050
 を生成するために使用され、これは、復号化された予測残差
Figure 2023506057000051
 の復号化された残差ブロック
Figure 2023506057000052
 に加算して戻され、再構築されたブロック
Figure 2023506057000053
 を生成する。次いで、この再構築されたブロック
Figure 2023506057000054
 は、以前に再構築されたブロックのセット
Figure 2023506057000055
 に追加され、イントラ予測部530は、次のブロックを処理する。
実施形態では、DNNスケール残差エンコーダ390は、スケール残差符号化DNNを使用して、残差rを符号化する。DNN予測残差エンコーダ340は、予測残差符号化DNNを使用して、予測残差r’を符号化する。DNNスケール残差デコーダ510は、スケール残差復号化DNNを使用して、符号化されたスケール残差
Figure 2023506057000056
 を復号化する。DNN予測残差デコーダ350または520は、予測残差復号化DNNを使用して、符号化された予測残差
Figure 2023506057000057
 を復号化する。スケール残差符号化DNNおよびスケール残差復号化DNNは、VAE構造を取り、予測残差符号化DNNおよび予測残差復号化DNNもまた、VAE構造を取る。スケール残差符号化／復号化DNNおよび予測残差符号化／復号化DNNの構造は、異なっていてもよいし、同じであってもよい。
本開示は、ダウンサンプリングDNN、アップサンプリングDNN、予測DNN、スケール残差符号化／復号化DNN、および予測残差符号化／復号化DNNに対するネットワーク構造に何ら制約を課すものではない。
訓練プロセスの目標は、ダウンサンプリングDNN、予測DNN、スケール残差符号化DNN、予測残差符号化DNN、アップサンプリングDNN、スケール残差復号化DNN、および予測残差復号化DNNを学習することである。訓練プロセスでは、例えば、対応する事前訓練されたDNNモデルを使用して、またはそれらを乱数に設定することによって、学習される上記のDNNの重み係数が初期化される。次に、入力訓練画像xは、図3に記載の符号化プロセスを通過して符号化された残差
Figure 2023506057000058
 および
Figure 2023506057000059
 を生成し、次に、図5に記載の復号化プロセスを通過して復号化された残差
Figure 2023506057000060
 および
Figure 2023506057000061
 ならびに再構築画像
Figure 2023506057000062
 を生成する。NICの場合、2つの競合する目標：より良好な再構築品質とより少ないビット消費がある。品質損失関数
Figure 2023506057000063
 が、再構築品質を測定するために使用され、これは、ピーク信号対雑音比（PSNR）、マルチスケール構造類似性（MS－SSIM）、または両方の重み付き組み合わせなどの歪み損失と呼ばれ得る。レート損失
Figure 2023506057000064
 が、圧縮表現のビット消費を測定するために計算される。したがって、トレードオフハイパーパラメータλが、ジョイントレート歪み（R－D）損失を最適化するために使用される。
Figure 2023506057000065
ここで、
Figure 2023506057000066
 は、スケール残差符号化／復号化DNNおよび予測残差符号化／復号化DNNについての正則化損失として作用する、符号化前の元の残差と比較した復号残差の歪みを測定する。βは、正則化損失の重要性をバランスさせるハイパーパラメータである。
図6は、実施形態による、分解されたスケール残差符号化DNNおよび分解された予測残差符号化DNNのブロック図である。図7は、実施形態による、分解されたスケール残差復号化DNNおよび分解された予測残差復号化DNNのブロック図である。
大きいハイパーパラメータλを用いた訓練では、歪みは小さいがビット消費の多い圧縮モデルとなり、その逆もまた同様である。DNNの重み係数を学習するために、スケール残差符号化DNNおよび予測残差符号化DNNは、図6に示すように2つの部分に分解される。同様に、スケール残差復号化DNNおよび予測残差復号化DNNは、図7に示すように2つの部分に分解される。
図6に示すように、スケール残差符号化DNNは、ニューラルスケール残差エンコーダ610と、それに続くスケール残差エンコーダ620とに分解される。対応する処理モジュールもまた、ニューラルスケール残差符号化モジュールと、それに続くスケール残差符号化モジュールとに分解される。同様に、予測残差符号化DNNは、ニューラル予測残差エンコーダ630と、それに続く予測残差エンコーダ640とに分解される。対応する処理モジュールはまた、ニューラル予測残差符号化モジュールと、それに続く予測残差符号化モジュールとに分解される。
実施形態では、ニューラルスケール残差エンコーダ610またはニューラル予測残差エンコーダ630は、訓練プロセス中に学習され、テスト段階で展開されるDNNである。一方、スケール残差エンコーダ620または予測残差エンコーダ640は、訓練およびテストにおいて異なる。テスト段階において、スケール残差エンコーダ620または予測残差エンコーダ640は、量子化器と、それに続くエントロピーエンコーダとを含む実際のエンコーダである。訓練段階の間、スケール残差エンコーダ620または予測残差エンコーダ640は、実際の量子化器の効果を近似するために統計データサンプラを使用し、エントロピーエンコーダは、訓練のためにスキップされる。
同様に、図7に示すように、スケール残差復号化DNNは、スケール残差デコーダ710と、それに続くニューラルスケール残差デコーダ720とに分解される。対応する処理モジュールもまた、スケール残差復号化モジュールと、それに続くニューラルスケール残差復号化モジュールとに分解される。予測残差復号化DNNは、予測残差デコーダ730と、それに続くニューラル予測残差デコーダ740とに分解される。対応する処理モジュールもまた、予測残差復号化モジュールと、それに続くニューラル予測残差復号化モジュールとに分解される。
実施形態では、ニューラルスケール残差デコーダ720またはニューラル予測残差デコーダ740は、訓練プロセス中に学習され、テスト段階で展開されるDNNである。一方、スケール残差デコーダ710または予測残差デコーダ730は、訓練およびテストにおいて異なる。テスト段階において、スケール残差デコーダ710または予測残差デコーダ730は、エントロピーデコーダと、それに続く逆量子化器とを含む実際のデコーダである。訓練段階の間、スケール残差デコーダ710または予測残差デコーダ730は、スキップされる。
本開示は、ニューラルスケール残差エンコーダ610、スケール残差エンコーダ620、スケール残差デコーダ710、ニューラルスケール残差デコーダ720、ニューラル予測残差エンコーダ630、予測残差エンコーダ640、予測残差デコーダ730、またはニューラル予測残差デコーダ740に使用される方法に何ら制約を課すものではない。言い換えれば、本開示のNICフレームワークは、異なるタイプのスケール残差符号化DNN、スケール残差復号化DNN、予測残差符号化DNN、および予測残差復号化DNNに対応することができる。
実施形態では、レート損失
Figure 2023506057000067
 は、次のようにさらに分解される：
Figure 2023506057000068
ここで、各
Figure 2023506057000069
 および
Figure 2023506057000070
 は、それぞれ圧縮表現
Figure 2023506057000071
 および
Figure 2023506057000072
 のビットレートに関連するレート損失である。ハイパーパラメータρは、異なる損失項の寄与をバランスさせる。実施形態では、エントロピー推定手法がこれらのレート損失
Figure 2023506057000073
 および
Figure 2023506057000074
 を計算するために使用され、ここではDNNレート損失推定器が使用される（訓練段階で学習され、テスト段階で展開される）。
また、正則化損失
Figure 2023506057000075
 は、次のようにさらに分解される：
Figure 2023506057000076
ここで、各
Figure 2023506057000077
 または
Figure 2023506057000078
 は、DNNスケール残差符号化または予測残差符号化の前の残差
Figure 2023506057000079
 または
Figure 2023506057000080
 と比較して、復元された残差
Figure 2023506057000081
 または
Figure 2023506057000082
 の再構築誤差（例えば、平均二乗誤差（MSE）損失）を測定する。ハイパーパラメータ
Figure 2023506057000083
 は、異なる損失項の寄与をバランスさせる。式（2）と式（3）の両方に基づいて、各訓練画像xについて、式（1）の全体的な損失を計算することができる。次いで、式（1）の全体的な損失の勾配を計算することができ、それに基づいて、学習可能なDNNの重み係数がバックプロパゲーションによって更新される。
学習プロセスの実施形態では、ダウンサンプリングDNN、予測DNN、スケール残差符号化DNN、予測残差符号化DNN、アップサンプリングDNN、スケール残差復号化DNN、および予測残差復号化DNNは、エンドツーエンド（E2E）方式で上記の逆伝播勾配に基づいて一緒に更新することができる。また、これらのDNNのいずれも個々に学習することができる。例えば、ダウンサンプリングDNNおよびアップサンプリングDNNは、一部のデータセット（上記の訓練プロセスで使用されたデータセットと同じまたは異なる）を使用して個々に訓練することができ、残りのDNNの重み係数のみが更新される上記の訓練プロセスで固定することができる。
図8は、実施形態による、イントラ予測残差を用いたマルチレートニューラル画像圧縮の方法800のフローチャートである。
いくつかの実施態様では、図8の1つまたは複数のプロセスブロックは、プラットフォーム120によって実施され得る。いくつかの実施態様では、図8の1つまたは複数のプロセスブロックは、ユーザデバイス110などのプラットフォーム120とは別々のまたはプラットフォーム120を含む別のデバイスまたはデバイスのグループによって実施されてもよい。
図8に示すように、動作810において、方法800は、入力画像をダウンサンプリングするステップを含む。
動作820において、方法800は、以前に復元された予測画像に基づいて、現在の予測画像を生成するステップを含む。
動作830において、方法800は、ダウンサンプリングされた入力画像と生成された現在の予測画像との間の差に基づいて、予測残差を生成するステップを含む。
動作840において、方法800は、生成された予測残差を符号化するステップを含む。
動作850において、方法800は、符号化された予測残差を復号化するステップを含む。
動作860において、方法800は、現在の予測画像と復号化された予測残差との加算に基づいて、現在復元されている予測画像を生成するステップを含む。
動作870において、方法800は、現在復元されている予測画像をアップサンプリングするステップを含む。
動作880において、方法800は、入力画像とアップサンプリングされた現在復元されている予測画像との間の差に基づいて、スケール残差を生成するステップを含む。
動作890において、方法800は、スケール残差を符号化するステップを含む。
方法800は、符号化されたスケール残差を復号化するステップと、アップサンプリングされた現在復元されている予測画像と復号化されたスケール残差との加算に基づいて、再構築画像を生成するステップとをさらに含んでもよい。
入力画像をダウンサンプリングするステップ、現在の予測画像を生成するステップ、生成された予測残差を符号化するステップ、符号化された予測残差を復号化するステップ、現在復元されている予測画像をアップサンプリングするステップ、スケール残差を符号化するステップ、および符号化されたスケール残差を復号化するステップは、それぞれニューラルネットワークを使用してもよい。
ニューラルネットワークは、復号化されたスケール残差と符号化されたスケール残差との間の再構築誤差、および復号化された予測残差と符号化された予測残差との間の再構築誤差に基づいて、正則化損失を決定するステップ、ならびに決定された正則化損失を最小化するために、ニューラルネットワークの重み係数を更新するステップによって訓練されてもよい。
ニューラルネットワークは、入力画像および再構築画像に基づいて、歪み損失を決定するステップ、ならびに符号化されたスケール残差および符号化された予測残差のビットレートに基づいて、レート損失を決定するステップによってさらに訓練されてもよい。重み係数を更新するステップは、決定された歪み損失、決定されたレート損失、および決定された正則化損失を最小化するために、ニューラルネットワークの重み係数を更新するステップを含んでもよい。
現在の予測画像を生成するステップは、以前に復元された予測画像の以前に復元された予測ブロックのセットに基づいて、現在の予測ブロックを生成するステップを含んでもよい。予測残差を生成するステップは、生成された現在の予測ブロックとダウンサンプリングされた入力画像の真画像ブロックとの間の差に基づいて、予測残差ブロックを生成するステップを含んでもよい。
生成された予測残差を符号化するステップは、生成された予測残差ブロックを符号化するステップを含んでもよく、符号化された予測残差を復号化するステップは、符号化された予測残差ブロックを復号化するステップを含んでもよい。
図8は方法800の例示的なブロックを示すが、いくつかの実施態様では、方法800は、図8に図示されるものに対して、追加のブロック、より少ないブロック、異なるブロック、または異なる配置のブロックを含んでもよい。追加的または代替的に、方法800のブロックのうちの2つ以上が並行して実施されてもよい。
図9は、実施形態による、イントラ予測残差を用いたマルチレートニューラル画像圧縮のための装置900のブロック図である。
図9に示すように、装置900は、ダウンサンプリングコード910、第1の生成コード920、第2の生成コード930、第1の符号化コード940、第1の復号化コード950、第3の生成コード960、アップサンプリングコード970、第4の生成コード980、および第2の符号化コード990を含む。
ダウンサンプリングコード910は、少なくとも1つのプロセッサに、入力画像をダウンサンプリングさせるように構成される。
第1の生成コード920は、少なくとも1つのプロセッサに、以前に復元された予測画像に基づいて、現在の予測画像を生成させるように構成される。
第2の生成コード930は、少なくとも1つのプロセッサに、ダウンサンプリングされた入力画像と生成された現在の予測画像との間の差に基づいて、予測残差を生成させるように構成される。
第1の符号化コード940は、少なくとも1つのプロセッサに、生成された予測残差を符号化させるように構成される。
第1の復号化コード950は、少なくとも1つのプロセッサに、符号化された予測残差を復号化させるように構成される。
第3の生成コード960は、少なくとも1つのプロセッサに、現在の予測画像と復号化された予測残差との加算に基づいて、現在復元されている予測画像を生成させるように構成される。
アップサンプリングコード970は、少なくとも1つのプロセッサに、現在復元されている予測画像をアップサンプリングさせるように構成される。
第4の生成コード980は、少なくとも1つのプロセッサに、入力画像とアップサンプリングされた現在復元されている予測画像との間の差に基づいて、スケール残差を生成させるように構成される。
第2の符号化コード990は、少なくとも1つのプロセッサに、スケール残差を符号化させるように構成される。
プログラムコードは、少なくとも1つのプロセッサに、符号化されたスケール残差を復号化させるように構成された第2の復号化コードと、少なくとも1つのプロセッサに、アップサンプリングされた現在復元されている予測画像と復号化されたスケール残差との加算に基づいて、再構築画像を生成させるように構成された第5の生成コードとをさらに含んでもよい。
ダウンサンプリングコード910、第1の生成コード920、第1の符号化コード940、第1の復号化コード950、アップサンプリングコード970、第2の符号化コード990、および第2の復号化コードは、それぞれニューラルネットワークを使用してもよい。
ニューラルネットワークは、復号化されたスケール残差と符号化されたスケール残差との間の再構築誤差、および復号化された予測残差と符号化された予測残差との間の再構築誤差に基づいて、正則化損失を決定するステップ、ならびに決定された正則化損失を最小化するために、ニューラルネットワークの重み係数を更新するステップによって訓練されてもよい。
ニューラルネットワークは、入力画像および再構築画像に基づいて、歪み損失を決定するステップ、ならびに符号化されたスケール残差および符号化された予測残差のビットレートに基づいて、レート損失を決定するステップによってさらに訓練されてもよい。重み係数を更新するステップは、決定された歪み損失、決定されたレート損失、および決定された正則化損失を最小化するために、ニューラルネットワークの重み係数を更新するステップを含んでもよい。
第1の生成コード920は、少なくとも1つのプロセッサに、以前に復元された予測画像の以前に復元された予測ブロックのセットに基づいて、現在の予測ブロックを生成させるようにさらに構成されてもよく、第2の生成コード930は、少なくとも1つのプロセッサに、生成された現在の予測ブロックとダウンサンプリングされた入力画像の真画像ブロックとの間の差に基づいて、予測残差ブロックを生成させるようにさらに構成されてもよい。
第1の符号化コード940は、少なくとも1つのプロセッサに、生成された予測残差ブロックを符号化させるようにさらに構成されてもよく、第1の復号化コード950は、少なくとも1つのプロセッサに、符号化された予測残差ブロックを復号化させるようにさらに構成されてもよい。
以前のE2E画像圧縮方法と比較して、本明細書に記載の実施形態は、以下の利点を有する。実施形態は、NICコーディング効率を改善するために、2つのメカニズム：元の画素を符号化する代わりに、予測ブロックと元のブロックとの間の残差を符号化するステップ、および異なるスケールで異なるコーディング戦略を使用するステップを利用する。実施形態は、スケーリングプロセスからの残差およびイントラ予測プロセスからの残差のための異なるイントラ予測方法および異なるニューラル符号化方法に対応する柔軟なフレームワークを含む。実施形態は、様々なタイプの品質メトリックに対応する柔軟なフレームワークをさらに含む。
方法は、別々に使用されてもよいし、任意の順序で組み合わされてもよい。さらに、方法（または実施形態）、エンコーダ、およびデコーダの各々は、処理回路（例えば、1つまたは複数のプロセッサまたは1つまたは複数の集積回路）によって実装され得る。一例では、1つまたは複数のプロセッサは、非一時的コンピュータ可読媒体に記憶されているプログラムを実行する。
前述の開示は、例示および説明を提供するが、網羅的であること、または実施態様を開示された正確な形態に限定することを意図するものではない。修正および変形は、上記の開示に照らして可能であるか、または実施態様の実施から取得され得る。
本明細書で使用される場合、コンポーネントという用語は、ハードウェア、ファームウェア、またはハードウェアとソフトウェアとの組み合わせとして広く解釈されることを意図している。
本明細書に記載のシステムおよび／または方法は、ハードウェア、ファームウェア、またはハードウェアとソフトウェアとの組み合わせの異なる形態で実装されてもよいことは明らかであろう。これらのシステムおよび／または方法を実装するために使用される実際の専用の制御ハードウェアまたはソフトウェアコードは、実施態様を限定するものではない。したがって、システムおよび／または方法の動作および挙動は、特定のソフトウェアコードを参照することなく本明細書に記載されており、ソフトウェアおよびハードウェアは、本明細書の記載に基づいてシステムおよび／または方法を実装するように設計され得ることが理解される。
特徴の組み合わせが特許請求の範囲に記載され、および／または本明細書に開示されているが、これらの組み合わせは、可能な実施態様の開示を限定することを意図するものではない。実際、これらの特徴の多くは、特許請求の範囲に具体的に記載されていない、および／または本明細書に開示されていない方法で組み合わされてもよい。以下に列挙される各従属請求項は、1つの請求項のみに直接依存してもよいが、可能な実施態様の開示は、各従属請求項を請求項セット内の他のすべての請求項と組み合わせて含む。
本明細書で使用される要素、行為、または命令は、そのように明示的に記載されていない限り、重要または必須であると解釈されるべきではない。また、本明細書で使用される場合、冠詞「a」および「an」は、1つまたは複数の項目を含むことを意図しており、「1つまたは複数」と交換可能に使用され得る。さらに、本明細書で使用される場合、「セット」という用語は、1つまたは複数の項目（例えば、関連項目、無関係な項目、関連項目と無関係な項目との組み合わせなど）を含むことを意図しており、「1つまたは複数」と交換可能に使用され得る。1つの項目のみが意図される場合、「1つ」という用語または同様の言語が使用される。また、本明細書で使用される場合、「有する（has）」、「有する（have）」、「有している（having）」などの用語は、オープンエンド用語であることを意図している。さらに、「～に基づいて（based on）」という語句は、特に明記しない限り、「少なくとも部分的に～に基づいて（based，at least in part，on）」を意味することを意図している。
100 環境
110 ユーザデバイス
120 プラットフォーム
122 クラウドコンピューティング環境
124 コンピューティングリソース
124－1 アプリケーション（APP）
124－2 仮想マシン（VM）
124－3 仮想化ストレージ（VS）
124－4 ハイパーバイザ（HYP）
130 ネットワーク
200 デバイス
210 バス
220 プロセッサ
230 メモリ
240 ストレージ
250 入力インターフェース
260 出力インターフェース
270 通信インターフェース
300 エンコーダ
310 ダウンサンプラ
320 イントラ予測部
330 減算器
340 DNN予測残差エンコーダ
350 DNN予測残差デコーダ
360 加算器
370 アップサンプラ
380 減算器
390 DNNスケール残差エンコーダ
400 装置
410 イントラ予測部
420 減算器
430 DNN予測残差エンコーダ
440 DNN予測残差デコーダ
500 デコーダ
510 DNNスケール残差デコーダ
520 DNN予測残差デコーダ
530 イントラ予測部
540 加算器
550 アップサンプラ
560 加算器
610 ニューラルスケール残差エンコーダ
620 スケール残差エンコーダ
630 ニューラル予測残差エンコーダ
640 予測残差エンコーダ
710 スケール残差デコーダ
720 ニューラルスケール残差デコーダ
730 予測残差デコーダ
740 ニューラル予測残差デコーダ
800 方法
900 装置
910 ダウンサンプリングコード
920 第1の生成コード
930 第2の生成コード
940 第1の符号化コード
950 第1の復号化コード
960 第3の生成コード
970 アップサンプリングコード
980 第4の生成コード
990 第2の符号化コード

Claims (20)

  1. イントラ予測残差を用いたマルチスケールニューラル画像圧縮の方法であって、前記方法は、少なくとも1つのプロセッサによって実施され、
    入力画像をダウンサンプリングするステップと、
    以前に復元された予測画像に基づいて、現在の予測画像を生成するステップと、
    前記ダウンサンプリングされた入力画像と前記生成された現在の予測画像との間の差に基づいて、予測残差を生成するステップと、
    前記生成された予測残差を符号化するステップと、
    前記符号化された予測残差を復号化するステップと、
    前記現在の予測画像と前記復号化された予測残差との加算に基づいて、現在復元されている予測画像を生成するステップと、
    前記現在復元されている予測画像をアップサンプリングするステップと、
    前記入力画像と前記アップサンプリングされた現在復元されている予測画像との間の差に基づいて、スケール残差を生成するステップと、
    前記スケール残差を符号化するステップと
    を含む、方法。
  2. 前記符号化されたスケール残差を復号化するステップと
    前記アップサンプリングされた現在復元されている予測画像と前記復号化されたスケール残差との加算に基づいて、再構築画像を生成するステップと
    をさらに含む、請求項1に記載の方法。
  3. 前記入力画像をダウンサンプリングする前記ステップ、前記現在の予測画像を生成する前記ステップ、前記生成された予測残差を符号化する前記ステップ、前記符号化された予測残差を復号化する前記ステップ、前記現在復元されている予測画像をアップサンプリングする前記ステップ、前記スケール残差を符号化する前記ステップ、および前記符号化されたスケール残差を復号化する前記ステップは、それぞれニューラルネットワークを使用する、請求項2に記載の方法。
  4. 前記ニューラルネットワークは、
    前記復号化されたスケール残差と前記符号化されたスケール残差との間の再構築誤差、および前記復号化された予測残差と前記符号化された予測残差との間の再構築誤差に基づいて、正則化損失を決定するステップ、ならびに
    前記決定された正則化損失を最小化するために、前記ニューラルネットワークの重み係数を更新するステップ
    によって訓練される、請求項3に記載の方法。
  5. 前記ニューラルネットワークは、
    前記入力画像および前記再構築画像に基づいて、歪み損失を決定するステップ、ならびに
    前記符号化されたスケール残差および前記符号化された予測残差のビットレートに基づいて、レート損失を決定するステップ
    によってさらに訓練され、
    前記重み係数を更新する前記ステップは、前記決定された歪み損失、前記決定されたレート損失、および前記決定された正則化損失を最小化するために、前記ニューラルネットワークの前記重み係数を更新するステップを含む、
    請求項4に記載の方法。
  6. 前記現在の予測画像を生成する前記ステップは、前記以前に復元された予測画像の以前に復元された予測ブロックのセットに基づいて、現在の予測ブロックを生成するステップを含み、
    前記予測残差を生成する前記ステップは、前記生成された現在の予測ブロックと前記ダウンサンプリングされた入力画像の真画像ブロックとの間の差に基づいて、予測残差ブロックを生成するステップを含む、
    請求項1に記載の方法。
  7. 前記生成された予測残差を符号化する前記ステップは、前記生成された予測残差ブロックを符号化するステップを含み、
    前記符号化された予測残差を復号化する前記ステップは、前記符号化された前記予測残差ブロックを復号化するステップを含む、
    請求項6に記載の方法。
  8. イントラ予測残差を用いたマルチスケールニューラル画像圧縮のための装置であって、
    プログラムコードを記憶するように構成された少なくとも1つのメモリと、
    前記プログラムコードを読み取り、前記プログラムコードによって命令されるように動作するように構成された少なくとも1つのプロセッサであって、前記プログラムコードは、
    前記少なくとも1つのプロセッサに、入力画像をダウンサンプリングさせるように構成されたダウンサンプリングコード、
    前記少なくとも1つのプロセッサに、以前に復元された予測画像に基づいて、現在の予測画像を生成させるように構成された第1の生成コード、
    前記少なくとも1つのプロセッサに、前記ダウンサンプリングされた入力画像と前記生成された現在の予測画像との間の差に基づいて、予測残差を生成させるように構成された第2の生成コード、
    前記少なくとも1つのプロセッサに、前記生成された予測残差を符号化させるように構成された第1の符号化コード、
    前記少なくとも1つのプロセッサに、前記符号化された予測残差を復号化させるように構成された第1の復号化コード、
    前記少なくとも1つのプロセッサに、前記現在の予測画像と前記復号化された予測残差との加算に基づいて、現在復元されている予測画像を生成させるように構成された第3の生成コード、
    前記少なくとも1つのプロセッサに、前記現在復元されている予測画像をアップサンプリングさせるように構成されたアップサンプリングコード、
    前記少なくとも1つのプロセッサに、前記入力画像と前記アップサンプリングされた現在復元されている予測画像との間の差に基づいて、スケール残差を生成させるように構成された第4の生成コード、および
    前記少なくとも1つのプロセッサに、前記スケール残差を符号化させるように構成された第2の符号化コード
    を含む少なくとも1つのプロセッサと
    を備える、装置。
  9. 前記プログラムコードは、
    前記少なくとも1つのプロセッサに、前記符号化されたスケール残差を復号化させるように構成された第2の復号化コードと、
    前記少なくとも1つのプロセッサに、前記アップサンプリングされた現在復元されている予測画像と前記復号化されたスケール残差との加算に基づいて、再構築画像を生成させるように構成された第5の生成コードと
    をさらに含む、請求項8に記載の装置。
  10. 前記ダウンサンプリングコード、前記第1の生成コード、前記第1の符号化コード、前記第1の復号化コード、前記アップサンプリングコード、前記第2の符号化コード、および前記第2の復号化コードは、それぞれニューラルネットワークを使用する、請求項9に記載の装置。
  11. 前記ニューラルネットワークは、
    前記復号化されたスケール残差と前記符号化されたスケール残差との間の再構築誤差、および前記復号化された予測残差と前記符号化された予測残差との間の再構築誤差に基づいて、正則化損失を決定するステップ、ならびに
    前記決定された正則化損失を最小化するために、前記ニューラルネットワークの重み係数を更新するステップ
    によって訓練される、請求項10に記載の装置。
  12. 前記ニューラルネットワークは、
    前記入力画像および前記再構築画像に基づいて、歪み損失を決定するステップ、ならびに
    前記符号化されたスケール残差および前記符号化された予測残差のビットレートに基づいて、レート損失を決定するステップ
    によってさらに訓練され、
    前記重み係数を更新する前記ステップは、前記決定された歪み損失、前記決定されたレート損失、および前記決定された正則化損失を最小化するために、前記ニューラルネットワークの前記重み係数を更新するステップを含む、
    請求項11に記載の装置。
  13. 前記第1の生成コードは、前記少なくとも1つのプロセッサに、前記以前に復元された予測画像の以前に復元された予測ブロックのセットに基づいて、現在の予測ブロックを生成させるようにさらに構成され、
    前記第2の生成コードは、前記少なくとも1つのプロセッサに、前記生成された現在の予測ブロックと前記ダウンサンプリングされた入力画像の真画像ブロックとの間の差に基づいて、予測残差ブロックを生成させるようにさらに構成される、
    請求項8に記載の装置。
  14. 前記第1の符号化コードは、前記少なくとも1つのプロセッサに、前記生成された予測残差ブロックを符号化させるようにさらに構成され、
    前記第1の復号化コードは、前記少なくとも1つのプロセッサに、前記符号化された前記予測残差ブロックを復号化させるようにさらに構成される、
    請求項13に記載の装置。
  15. イントラ予測残差を用いたマルチスケールニューラル画像圧縮のための少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
    入力画像をダウンサンプリングさせ、
    以前に復元された予測画像に基づいて、現在の予測画像を生成させ、
    前記ダウンサンプリングされた入力画像と前記生成された現在の予測画像との間の差に基づいて、予測残差を生成させ、
    前記生成された予測残差を符号化させ、
    前記符号化された予測残差を復号化させ、
    前記現在の予測画像と前記復号化された予測残差との加算に基づいて、現在復元されている予測画像を生成させ、
    前記現在復元されている予測画像をアップサンプリングさせ、
    前記入力画像と前記アップサンプリングされた現在復元されている予測画像との間の差に基づいて、スケール残差を生成させ、
    前記スケール残差を符号化させる
    命令を記憶する、非一時的コンピュータ可読媒体。
  16. 前記命令は、前記少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサにさらに、
    前記符号化されたスケール残差を復号化させ、
    前記アップサンプリングされた現在復元されている予測画像と前記復号化されたスケール残差との加算に基づいて、再構築画像を生成させる、
    請求項15に記載の非一時的コンピュータ可読媒体。
  17. 前記入力画像をダウンサンプリングする前記ステップ、前記現在の予測画像を生成する前記ステップ、前記生成された予測残差を符号化する前記ステップ、前記符号化された予測残差を復号化する前記ステップ、前記現在復元されている予測画像をアップサンプリングする前記ステップ、前記スケール残差を符号化する前記ステップ、および前記符号化されたスケール残差を復号化する前記ステップは、それぞれニューラルネットワークを使用する、請求項16に記載の非一時的コンピュータ可読媒体。
  18. 前記ニューラルネットワークは、
    前記復号化されたスケール残差と前記符号化されたスケール残差との間の再構築誤差、および前記復号化された予測残差と前記符号化された予測残差との間の再構築誤差に基づいて、正則化損失を決定するステップ、ならびに
    前記決定された正則化損失を最小化するために、前記ニューラルネットワークの重み係数を更新するステップ
    によって訓練される、請求項17に記載の非一時的コンピュータ可読媒体。
  19. 前記命令は、前記少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサにさらに、
    前記以前に復元された予測画像の以前に復元された予測ブロックのセットに基づいて、現在の予測ブロックを生成させ、
    前記生成された現在の予測ブロックと前記ダウンサンプリングされた入力画像の真画像ブロックとの間の差に基づいて、予測残差ブロックを生成させる、
    請求項15に記載の非一時的コンピュータ可読媒体。
  20. 前記命令は、前記少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサにさらに、
    前記生成された予測残差ブロックを符号化させ、
    前記符号化された前記予測残差ブロックを復号化させる、
    請求項19に記載の非一時的コンピュータ可読媒体。
JP2022536607A 2020-09-03 2021-06-15 イントラ予測残差を用いたマルチスケールニューラル画像圧縮のための方法および装置、およびコンピュータプログラム Pending JP2023506057A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063074405P 2020-09-03 2020-09-03
US63/074,405 2020-09-03
US17/333,319 US11582470B2 (en) 2020-09-03 2021-05-28 Method and apparatus for multi-scale neural image compression with intra-prediction residuals
US17/333,319 2021-05-28
PCT/US2021/037398 WO2022051009A1 (en) 2020-09-03 2021-06-15 Method and apparatus for multi-scale neural image compression with intra-prediction residuals

Publications (1)

Publication Number Publication Date
JP2023506057A true JP2023506057A (ja) 2023-02-14

Family

ID=80359099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022536607A Pending JP2023506057A (ja) 2020-09-03 2021-06-15 イントラ予測残差を用いたマルチスケールニューラル画像圧縮のための方法および装置、およびコンピュータプログラム

Country Status (6)

Country Link
US (1) US11582470B2 (ja)
EP (1) EP4038578A4 (ja)
JP (1) JP2023506057A (ja)
KR (1) KR20220082921A (ja)
CN (1) CN114730475A (ja)
WO (1) WO2022051009A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210056179A (ko) * 2019-11-08 2021-05-18 삼성전자주식회사 Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
US11900640B2 (en) * 2020-07-15 2024-02-13 Tencent America LLC Method and apparatus for substitutional neural residual compression
CN117615148B (zh) * 2024-01-24 2024-04-05 华中科技大学 一种基于多尺度框架的端到端特征图分层压缩方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008104227A (ja) * 2005-01-04 2008-05-01 Samsung Electronics Co Ltd イントラｂｌモードを考慮したビデオエンコーディング方法、ビデオエンコーダ、及び、記録媒体
US20180124414A1 (en) * 2016-05-05 2018-05-03 Magic Pony Technology Limited Video encoding using hierarchical algorithms
JP2020022145A (ja) * 2018-08-03 2020-02-06 日本放送協会 符号化装置、復号装置、学習装置及びプログラム
US20200145661A1 (en) * 2017-07-06 2020-05-07 Samsung Electronics Co., Ltd. Method for encoding/decoding image, and device therefor

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6205000B2 (ja) * 2013-03-11 2017-09-27 ドルビー ラボラトリーズ ライセンシング コーポレイション 階層符号化を用いたマルチフォーマットハイダイナミックレンジビデオの配信
CA2997193C (en) 2015-09-03 2021-04-06 Mediatek Inc. Method and apparatus of neural network based processing in video coding
US10979718B2 (en) 2017-09-01 2021-04-13 Apple Inc. Machine learning video processing systems and methods
US10885630B2 (en) * 2018-03-01 2021-01-05 Intuitive Surgical Operations, Inc Systems and methods for segmentation of anatomical structures for image-guided surgery
KR20200114436A (ko) * 2019-03-28 2020-10-07 국방과학연구소 스케일러블 영상 부호화를 수행하는 장치 및 방법
US11638032B2 (en) * 2020-03-05 2023-04-25 The Hong Kong University Of Science And Technology VistGAN: unsupervised video super-resolution with temporal consistency using GAN

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008104227A (ja) * 2005-01-04 2008-05-01 Samsung Electronics Co Ltd イントラｂｌモードを考慮したビデオエンコーディング方法、ビデオエンコーダ、及び、記録媒体
US20180124414A1 (en) * 2016-05-05 2018-05-03 Magic Pony Technology Limited Video encoding using hierarchical algorithms
US20200145661A1 (en) * 2017-07-06 2020-05-07 Samsung Electronics Co., Ltd. Method for encoding/decoding image, and device therefor
JP2020022145A (ja) * 2018-08-03 2020-02-06 日本放送協会 符号化装置、復号装置、学習装置及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DONG LIU ET AL.: "Deep Learning-Based Technology in Responses to the Joint Call for Proposals on Video Compression Wit", PUBLISHED IN: IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY (VOLUME: 30, ISSUE: 5,, JPN6023031822, 2 October 2019 (2019-10-02), pages 1267 - 1280, XP011786740, ISSN: 0005123070, DOI: 10.1109/TCSVT.2019.2945057 *
FENG WU ET AL.: "Description of SDR video coding technology proposal by University of Science and Technology of China", JVET-J0032-V2, JPN6023031823, 12 April 2018 (2018-04-12), pages 1 - 5, ISSN: 0005123071 *

Also Published As

Publication number Publication date
CN114730475A (zh) 2022-07-08
KR20220082921A (ko) 2022-06-17
EP4038578A4 (en) 2022-11-30
US20220070477A1 (en) 2022-03-03
EP4038578A1 (en) 2022-08-10
US11582470B2 (en) 2023-02-14
WO2022051009A1 (en) 2022-03-10

Similar Documents

Publication Publication Date Title
US11582470B2 (en) Method and apparatus for multi-scale neural image compression with intra-prediction residuals
JP7374340B2 (ja) ニューラル画像圧縮のためのタスク適応型前処理のための方法、装置およびコンピュータプログラム
US11900640B2 (en) Method and apparatus for substitutional neural residual compression
CN115461768A (zh) 用于具有质量输入的环路滤波器的掩蔽神经网络的模型共享
US11652994B2 (en) Neural image compression with adaptive intra-prediction
KR20230108335A (ko) 신경 이미지 압축을 위한 잠재 공간에서의 대체 품질 인자 학습
JP2023526180A (ja) 滑らかな品質制御による適応ニューラル画像圧縮のための代替の入力最適化
JP2022553250A (ja) エンドツーエンド画像圧縮のための特徴置換のための方法、装置およびコンピュータプログラム
JP7483030B2 (ja) 潜在特徴領域におけるイントラ予測によるニューラル画像圧縮
JP7471730B2 (ja) メタ学習によるレート制御を用いた適応ニューラル画像圧縮のための方法、装置及びプログラム
US20230186081A1 (en) System, method, and computer program for iterative content adaptive online training in neural image compression
US20220405978A1 (en) Non-linear quantization with substitution in neural image compression
US20220222505A1 (en) Multi-task neural network by micro-structured parameter sharing for multi-quality loop filter
JP2024512652A (ja) ニューラル画像圧縮における複数ブロック用のコンテンツ適応型オンライン訓練のためのシステム、方法、およびコンピュータプログラム
JP2024513432A (ja) ニューラルネットワークを使用する、エンドツーエンド（ｅ２ｅ）ニューラル画像圧縮（ｎｉｃ）用のコンテンツ適応型オンライン訓練の方法、装置及びコンピュータプログラム
CN116249986A (zh) 神经图像压缩中具有替代项的依赖标量量化
CN115715463A (zh) 用于神经图像压缩中的替代的动态学习率的方法和装置
CN115485729A (zh) 用于神经图像压缩中多次学习替换率的方法和装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220614

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220614

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230807

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231107

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240430