JP7217288B2 - ブロック単位の画像符号化のためのイントラ予測モードの概念 - Google Patents
ブロック単位の画像符号化のためのイントラ予測モードの概念 Download PDFInfo
- Publication number
- JP7217288B2 JP7217288B2 JP2020552199A JP2020552199A JP7217288B2 JP 7217288 B2 JP7217288 B2 JP 7217288B2 JP 2020552199 A JP2020552199 A JP 2020552199A JP 2020552199 A JP2020552199 A JP 2020552199A JP 7217288 B2 JP7217288 B2 JP 7217288B2
- Authority
- JP
- Japan
- Prior art keywords
- intra
- prediction
- prediction signal
- template
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
- H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
Description
再サンプリングされたテンプレートを取得するために、第1のテンプレートと一致するように、現在のブロックに隣接するサンプルの第2のテンプレートを再サンプリングし、
予備的イントラ予測を取得するために、サンプルの再サンプリングされたテンプレートをニューラルネットワークに適用し、
現在のブロックのイントラ予測信号を取得するために、現在のブロックに一致するように予備的イントラ予測信号を再サンプリングするように構成される、装置が開示される。
再サンプリングされたテンプレートを取得するために、第1のテンプレートと一致するように、現在のブロックに隣接するサンプルの第2のテンプレートを再サンプリングし、
予備的イントラ予測を取得するために、サンプルの再サンプリングされたテンプレートをニューラルネットワークに適用し、
現在のブロックのイントラ予測信号を取得するために、現在のブロックに一致するように予備的イントラ予測信号を再サンプリングするように構成される、装置も開示される。
現在のブロックの次元に一致するようにイントラ予測信号の次元を増やし、
予備的イントラ予測信号の追加された係数であって、より高い周波数のビンに関連する追加された係数の係数をゼロパディングする
ことによって変換ドメイン予備的イントラ予測信号を再サンプリングするように構成されることができる。
現在のブロックの隣接するサンプルの第1のセットをニューラルネットワークに適用して、現在のブロックの変換の変換係数のセットの予測を取得することによって、画像の現在のブロックのイントラ予測信号が判定される少なくとも1つのイントラ予測モードをサポートする、装置も開示される。
現在のブロックの隣接するサンプルの第1のセットをニューラルネットワークに適用して、現在のブロックの変換の変換係数のセットの予測を取得することによって、画像の現在のブロックのイントラ予測信号が判定される少なくとも1つのイントラ予測モードをサポートする、装置も開示される。
サンプルの再サンプリングされたテンプレートをニューラルネットワークに適用し、予備的イントラ予測信号を取得することと、
現在のブロックに一致するように予備的イントラ予測信号を再サンプリングし、現在のブロックのイントラ予測信号を取得することと、
を備える方法が開示される。
現在のブロックの隣接するサンプルの第1のセットをニューラルネットワークに適用して、現在のブロックの変換の変換係数のセットの予測を取得することを備える、方法が開示される。
現在のブロックの隣接するサンプルの第1のセットをニューラルネットワークに適用して、現在のブロックの変換の変換係数のセットの予測を取得することを備える、方法が開示される。
1.イントラ予測を実行するニューラルネットワークのパラメータをトレーニングするアルゴリズム
ビデオフレームのブロック、すなわちブロック18を
とする。
が
ピクセルを有すると仮定する。固定色成分の場合、
を
のビデオ信号の内容とする。
を
の要素と見なす。
ピクセルを有し、既に再構成された画像
が利用可能である
の隣接
が利用可能であると仮定する。すなわち、サンプルセット60および86は、代わりに異なってもよい。イントラ予測関数により、関数
を意味する。
を
の予測器と見なす。
のイントラ予測関数を設計するアルゴリズムである。その目標を達成するために、以下の主要な設計機能を考慮に入れた。
1.1 ビデオコーデックのレート関数を近似する損失関数をトレーニングするアルゴリズム
ビデオコーデックで使用される未知のパラメータを判定するためのデータ駆動型アプローチは、通常、特定のトレーニング例のセットで事前定義された損失関数を最小化しようとする最適化アルゴリズムとして設定される。通常、数値最適化アルゴリズムが実際に機能するためには、後者の損失関数がいくつかの滑らかさの要件を満たす必要がある。
を最小限に抑える決定を下すときに最高の性能を発揮する。ここで、
は、復号されたビデオ信号の再構成エラーであり、
は、レート、すなわちビデオ信号を符号化するために必要なビット数である。さらに、
は、選択した量子化パラメータに依存するラグランジュパラメータである。
は、通常、非常に複雑であり、データ駆動型最適化アルゴリズムに供給することができる閉じた式では与えられない。したがって、関数
の全体または少なくともレート関数
のいずれかを区分的に滑らかな関数で近似する。
をビデオフレーム10の所与のブロック1/とし、
を固定色成分における
についての対応するビデオ信号とする。
が
ピクセルを有すると仮定する。次に、予測候補
について、予測残差
を考慮する。与えられた量子化パラメータと与えられた変換について、
を真のビデオエンコーダが
の量子化された変換を信号で送る必要があるレートとする。さらに、
を
の逆量子化と逆変換によって発生する再構成エラーとする。次に、
が
の適切な近似として機能し、
が
の適切な近似として機能するように、区分的に滑らかな関数
を判定したい。
および
を決定するために、特定のハイブリッドビデオ符号化標準を使用する一般的なエンコーダにおいて、有限の大きなインデックスセット
のレート値
のみである、予測残差
、
のトレーニング例の膨大なセット、および対応するレート歪み値
をそれぞれ収集した。次に、式
を最小化するか、少なくとも小さくするように、
および
を見つけようとする。
1.2 固定ブロック形状の予測のトレーニング
このセクションでは、特定のブロック
18、st72の予測、および既に再構成されたサンプルの領域
60の
イントラ予測を設計するために設定したアルゴリズムについて説明する。
に対して関数
(1)
が与えられ、我々のイントラ予測が
として与えられるように「重み」
を判定したいことを意味し、ここで、
について
(2)
とする。
の
番目のコンポーネント
は、トレーニングする
番目のイントラモードを通知するために必要なビット数をモデル化する。
がセクション2.1で定義された関数である場合、
について、与えられた再構成された画像
と元の画像
に対して、
は全ての
について
であるプロパティで最小
を示すものとする。
は、イントラモードの特異化のために真のビット数をモデル化するため、その勾配は、ゼロまたは未定義のいずれかである。したがって、最急降下法に基づくアルゴリズムを介して重み
を最適化するには、
だけでは十分ではない。したがって、softmax関数を使用して関数
を確率分布に変換することにより、イントラモードのクロスエントロピーも呼び出す。後者の関数の定義に留意されたい。
について、
は
のi番目のコンポーネントを示すものとする。次に、softmax関数
は、
のように定義される。
を決定する。したがって、有限で大きなインデックスセット
の場合、
の画像
とそれに対応する再構成された
の画像
のトレーニング例のセットが与えられ、例えば、(確率的)勾配降下法に基づく最適化アルゴリズムを適用して、式
(6)
を最小化する重み
を見つける。
1.3 関数
およびの仕様
このセクションでは、関数
および
の形式をより正確に定義する。同様に、ニューラルネットワーク80および84を定義するものに留意されたい。これらの関数のそれぞれは、1)アフィン変換
または2)非線形活性化関数
のいずれかである関数の一連の構成で構成されている。
により、
の形式の写像を意味する。ここで、
は線形変換であり、すなわち、全ての
、
について
を満たし、ここで、
である。各線形写像
は、
の行列によって完全に決定され、すなわち、ベクトル
に一意に対応する。したがって、各アフィン関数
は、
重み、すなわちベクトル
によって完全に決定される。各
について、前述の方法で
に対応する固有のアフィン変換について
を記述する。
は、
の
番目のコンポーネントを示し、
は、
の
番目のコンポーネントを示す。最後に、
は、形式
(7)
または形式
(8)
からなることができるが、これらの例は、本出願の例をこれらの明示的な例に限定するものとして解釈されるべきではない。
または任意の他の非線形関数などの他の式も同様に使用することができる。あるいは、
は、例えば、区分的に滑らかな関数であってもよい。
は、パラメータ
を使用してパラメータ化されたニューラルネットワーク80iを記述する。これは、線形関数
と非線形関数
のシーケンスであり、この例では、シーケンス内で交互に適用され、パラメータ
は、
の線形関数重みを含む。線形関数
と非線形関数
のシーケンスでは、非線形関数
が続く線形関数
のペアは、例えば、
の次元mによって決定されるニューラルネットワークのフィードフォワード方向におけるこのニューロン層jの前に先行ノードの数、
の列の数、およびその行の数である
の次元nによって決定されるニューロン層j自体のニューロンの数を有するj番目の層などのニューロン層を表す。
の各行には、m個の先行ニューロンのそれぞれの信号強度のそれぞれの活性化がそれぞれの行に対応するニューロン層jのそれぞれのニューロンに転送される強度を制御する重みが組み込まれている。
は、ニューロン層jの各ニューロンを制御し、転送された先行ニューロンの活性化の線形結合をそれ自体の活性化に非線形マッピングする。上記の例では、
のそのようなニューロン層がある。層ごとのニューロンの数は異なる場合がある。ニューロン層
の数は、様々なニューラルネットワーク80j間で、すなわち、異なるjについて変化し得る。非線形関数は、ニューロン層ごとに、あるいはニューロンごとに、あるいは他のいくつかのユニットでさえも変化する可能性があることに留意されたい。
、
および
は、(3)におけるものと同じである。次に、
を有する
について、
のように定義する。
したがって、
は、パラメータ
を使用してパラメータ化されたニューラルネットワーク84を記述する。これは、予測信号の計算に関するニューロン層に関して上で説明したように、線形関数
および非線形関数
のシーケンスであろう。ニューラルネットワーク84のニューロン層の数
は、ニューラルネットワーク80iのニューロン層の数
のうちの1つ以上とは異なることができる。
1.4 既存の予測を考慮したトレーニング
既存のイントラ予測を補完する予測をトレーニングできるように前のセクションのアルゴリズムを拡張した。
を既に利用可能な固定イントラ予測関数のセットとする。例えば、
は、HEVCのDC予測または平面予測とHEVCにしたがって定義された角度予測から構成されることができ、これら全ての予測にはまた、再構成されたサンプルの予備的な平滑化も含むことができる。さらに、
が、
が与えられた元の画像
に適用された
番目のイントラ予測関数
の損失をモデル化するように、関数
が与えられていると仮定する。
1.5 いくつかのブロック形状の予測の共同トレーニング
このセクションでは、予測のトレーニングにおいて、一般的なビデオ符号化標準では、ブロックを様々な方法で小さなサブブロックに分割し、小さなサブブロックでイントラ予測を実行することが通常可能であることを考慮に入れる方法について説明した。
を
の画像とし、これは、制限により、各
について、
の画像
と見なされる。さらに、
の再構成された画像
が存在すると仮定し、これは、制限により、各
について、
の画像
と見なされる。
について、
イントラ予測関数
の重みのセットとして
を求め、モード予測関数
の重みとして
を求める。これらの重みを全ての
について共同で以下のように決定する。
および与えられた重みのセット
、
、
、
について、
とする。
を以下のように定義する。セットを含めてセット
における順序付け
を有する。
を
の全ての最小要素のセットとする。
について、
とし、ここで、後者の関数は、(9)におけるものと同じである。
について(9)を個別に最小化することにより、重み
、
を初期化する。
2 トレーニングされたニューラルネットワークのビデオコーデックへの統合
特定の色成分について、特定のブロック
上のビデオ信号のコンテンツがデコーダによって生成されるハイブリッドビデオ符号化標準を検討する。
を
のピクセル数とする。さらに、
を、デコーダが
の再構成された画像
を自由に使えるように、
の固定された隣接とする。
を
のピクセル数とする。次に、
を
の要素と見なす。コーデックは、現在のブロック
10の予測符号化によって動作すると仮定する。次に、
の予測信号
を生成するためにデコーダが実行できる以下の手順の著作権を主張する。これは、
の要素と見なされる:
1.デコーダは、その自由の固定数
において関数
、すなわち84
を有するとともに、重み
および重み
を有し、後者の重みは、前のセクションで説明したトレーニングアルゴリズムによって事前に決定される。
、すなわち84を再構成された画像
に適用する。
を
として定義する。次に、デコーダが以下の2つのオプションのうちの正確に1つによって数値
を定義するように標準が変更される
によってセット
の確率分布
を定義し、後者の確率分布
を使用して、データストリーム12からの基礎となる標準で使用され且つ
を定義するエントロピー符号化エンジンを介してサイド情報70の一部でもあるインデックス
を解析する。
を解析するコード設計では、
である場合且つエントロピー符号化エンジンによって使用される全ての関連する基礎となる確率が等しい確率に設定される場合、インデックス
を通知するために必要なビット数がインデックス
を通知するためのビット数以下である必要がある。
を決定した場合、デコーダは、すなわち、選択されたニューラルネットワーク80mを使用して、
として予測信号
を生成する71。次に、デコーダは、予測信号として
を使用して、基礎となるハイブリッドビデオ符号化標準のように進める。
についてセクション1.2で提示された内部品質の第2の加算器が、確率値ニューラルネットワーク関数GBに適用された関数MBの連結である必要がないことを意味する。むしろ、選択の頻度がMBのコードレート表示に適切にしたがうように、ニューラルネットワーク80iに適切なパラメータを決定するものの最適化アルゴリズムである。例えば、デコーダ54は、可変長コードを使用してブロック18のインデックスをデータストリーム12から復号することができ、そのコード長はMBで示され、デコーダ54は、このインデックスに基づいて選択68を実行する。インデックスは、サイド情報70の一部であろう。
(rec)は、モードBの予測残差118であり、確率値
(rec)は、確率値120である。各モード0・・・Kb-1について、それぞれのモードについて得られた予測信号118に基づいてそれぞれのモードのコスト推定値を計算する装置108によって構成されるコスト推定器122が存在する。上記の例では、コスト推定器122は、セクション1.2の不等式の左側および右側に示されているように、コスト推定値を計算した。すなわち、ここで、コスト推定器122はまた、各モードについて、対応する確率値120を使用した。しかしながら、これは、既に上で説明したように当てはまる必要はない。しかしながら、コスト推定は、いずれの場合も2つのアドインの合計であり、そのうちの一方は、上記の不等式内の
を有する項として示される予測残差の符号化コストの推定であり、他方は、モードを示すために符号化コストを推定するアドインである。予測残差に関連する符号化コストの推定値を計算するために、コスト推定器122はまた、現在の画像テストブロック114の元の内容を取得する。ニューラルネットワーク80および84は、それらの入力において、対応する隣接するサンプルセット116を適用した。コスト推定器122によって出力されたコスト推定値124は、最小コスト推定値を最小化するか、またはそれに関連する最小コスト推定値を有するモードを決定する最小コストセレクタ126によって受信される。上記の数学表記では、これは、
であった。アップデータは、この最適モードを受信し、最低の符号化推定値のイントラ予測モードに対して得られた予測信号118に応じて残差レート推定値を形成する第1のアドインと、セレクタ126によって示されるように、予測信号および最小の符号化コスト推定のイントラ予測モードについて得られた確率値に依存するサイド情報レート推定値をシグナリングするモードを形成する第2のアドインとを有する符号化コスト関数を使用する。上に示したように、これは、離れた勾配を使用して行うことができる。したがって、符号化コスト関数は、微分可能であり、上記の数学的表現では、この関数の例が式5に示されている。ここで、モードシグナリングサイド情報レート推定に関連する第2のアドインは、最小の符号化コスト推定のイントラ予測モードのクロスエントロピーを計算した。
図11-1の例
図11-1は、エンコーダ14-1の可能な実装、すなわち、エンコーダが予測残差を符号化するために変換符号化を使用するように構成されるものを示しているが、これはほぼ例であり、本出願は、その種の予測残差符号化に限定されるものではない。図11-1によれば、エンコーダ14-1は、インバウンド信号、すなわち画像10、またはブロックベースで現在のブロック18から対応する予測信号24-1を減算して、後に予測残差エンコーダ28によってデータストリーム12に符号化される空間ドメイン予測残差信号26を取得するように構成された空間ドメイン減算器22を備える。予測残差エンコーダ28は、不可逆符号化ステージ28aおよび可逆符号化ステージ28bを備える。不可逆符号化ステージ28aは、予測残差信号26を受信し、予測残差信号26のサンプルを量子化する量子化器30を備える。本例は、予測残差信号26の変換符号化を使用し、したがって、不可逆符号化ステージ28aは、残差信号26を提示する変換された係数で行われる量子化器30の量子化によってスペクトル分解されたそのような予測残差27を変換するように、減算器22と量子化器30との間に接続された変換ステージ32を含む。変換は、DCT、DST、FFT、アダマール変換などとすることができる。次に、変換および変換ドメイン量子化された予測残差信号34は、量子化予測残差信号34をデータストリーム12にエントロピー符号化するエントロピーコーダである可逆符号化ステージ28bによる可逆符号化を受ける。
図11-2の例
図11-2は、デコーダ54-2の可能な実装、すなわちエンコーダ14-1の実装に適合するものを示している。エンコーダ54-2の多くの要素は、図11-1の対応するエンコーダで発生する要素と同じであるため、これらの要素を示すために、「-2」が付いた同じ参照符号が図11-2で使用される。特に、加算器42-2、任意のインループフィルタ46-2、および予測器44-2は、図11-1のエンコーダと同じ方法で予測ループに接続される。再構成された、すなわち逆量子化および再変換された予測残差信号24-2(例えば、60)は、エントロピーエンコーダ28bのエントロピー符号化を逆にするエントロピーデコーダ56のシーケンス、続いて符号化側の場合と同じように逆量子化器38-2および逆変換器40-2で構成される残差信号再構成ステージ36-2によって導出される。デコーダの出力は、画像10の再構成である。画像10の再構成を画像品質を改善するためにいくつかのポストフィルタリングにかけるために、いくつかのポストフィルタ46-2がデコーダの出力に配置されることができる。同様に、図11-1に関して上に示した説明は、エンコーダが最適化タスクと符号化オプションに関する関連する決定を実行するだけであることを除いて、図11-2にも有効である。しかしながら、ブロック細分割、予測、逆量子化、および再変換に関する全ての説明は、図11-2のデコーダ54についても有効である。再構成された信号24-2は、予測器44-2に提供され、予測器44-2は、図5~図10の例にしたがってニューラルネットワークで動作することができる。予測器44-2は、変換ドメイン予測値45-2を提供することができる。
図12の例
ここで、図12を参照する。デコーダおよびエンコーダの双方を同時に、すなわち、 イントラ予測ブロック18に関するそれらの機能の観点である。イントラ符号化ブロック18に関するエンコーダ動作モードとデコーダ動作モードとの違いは、一方では、エンコーダが利用可能なイントラ予測モード66の全てまたは少なくともいくつかを実行し、例えば、意味を最小化するコスト関数の観点から最適なものを90で決定し、エンコーダがデータストリーム12を形成する、すなわちコードがそこに日付を記入し、デコーダがそれぞれ復号および読み取りによってそこからデータを導出するという事実である。図12は、ブロック18のサイド情報70内のフラグ70aが、セット72内、すなわち、ニューラルネットワークベースのイントラ予測モードである、またはセット74内、すなわち、非ニューラルネットワークベースのイントラ予測モードの1つである、ステップ90でエンコーダによってブロック18にとって最良のモードであると決定されたイントラ予測モードであるかどうかを示す、上記で概説した代替案の動作モードを示す。エンコーダは、それに応じてフラグ70aをデータストリーム12に挿入する一方で、デコーダは、フラグ70aをそこから検索する。図12は、決定されたイントラ予測モード92がセット72内にあると仮定している。次に、別個のニューラルネットワーク84は、セット72の各ニューラルネットワークベースのイントラ予測モードの確率値を決定し、これらの確率値セット72を使用して、またはより正確には、その中のニューラルネットワークベースのイントラ予測モードは、確率値の降順などの確率値にしたがって順序付けられ、それにより、イントラ予測モードの順序付きリスト94をもたらす。次に、サイド情報70の一部であるインデックス70bは、エンコーダによってデータストリーム12に符号化され、そこからデコーダによって復号される。したがって、デコーダは、セット72および74のどのセットを決定することができる。ブロック18に使用されるイントラ予測モードは、使用されるイントラ予測モードがセット72に位置する場合、セット72の順序付け96を実行するように位置する。決定されたイントラ予測モードがセット74に位置する場合、インデックスもまた、データストリーム12で送信されることができる。したがって、デコーダは、それに応じて選択68を制御することによって、決定されたイントラ予測モードを使用して、ブロック18の予測信号を生成することができる。
議論
ニューラルネットワークを介してイントラ予測信号を生成する方法が定義されており、この方法がビデオまたは静止画像コーデックにどのように含まれるかが説明されている。これらの例では、空間ドメインに予測する代わりに、予測器44-1、44-2は、例えば離散コサイン変換などの基礎となるコーデックで既に利用可能である可能性のある事前定義された画像変換の変換ドメインに予測することができる。第2に、特定の形状のブロック上の画像に対して定義された各イントラ予測モードは、より大きなブロック上の画像に対してイントラ予測モードを誘導する。
対照的に、図11および図12は、以下の手順に言及している:予測信号pred(45-1、45-2)が上記のようなニューラルネットワークイントラ予測法によって生成される場合、最終的な再構成信号(24-1、24-2)は、pred+res(predは45-1または45-2、resは39-1または39-2)の逆変換(40-1、40-2)によって取得され、それらの合計は、43-1または43-2であり、これは、最終的な再構成信号24-1、24-2の変換ドメインバージョンである。
図13aおよび図13b
図13aおよび図13bを参照すると、例えば、空間ドメインベースの方法(例えば、図11aおよび図11b)および/または変換ドメインベースの方法(例えば、図1~図4)に適用され得る戦略が示されている。
-第1のテンプレート(例えば、130、170)に準拠させて再サンプリングされたテンプレート(例えば、130、170)を取得するために、現在のブロック(例えば、18)に隣接するサンプルの第2のテンプレート(例えば、60)を再サンプリング(例えば、D、134、166)し、
-予備的イントラ予測信号(例えば、138)を取得するために、ニューラルネットワーク(例えば、80)上のサンプルの再サンプリングされたテンプレート(例えば、130、170)を適用し、
-現在のブロックのイントラ予測信号を取得するために、現在のブロック(18、B1)に一致するように予備的イントラ予測信号(138)を再サンプリング(例えば、U、V、182)する。
-Brec(130)上のK×Nブロック、
-Brec(130)の左側にあるM×Lブロック、および、
-Brec(130)上、およびBrec(130)の左側にあるM×Lブロック上のK×Nブロックの左側にあるK×Lブロック。
議論
B1(例えば、18)をM1行およびN1列のブロックとし、M1≧MおよびN1≧Nと仮定する。B1,recをB1の隣接(例えば、隣接するテンプレート60)とし、B1,recのサブセットと見なされる領域Brec(例えば、130)を仮定する。im1(例えば、138)をB1の画像とし、rec1(例えば、B1,recの係数)をB1,recの既に再構成された画像とする。上記の解決策は、B1,recの画像をB1の画像にマッピングする、事前定義されたダウンサンプリング操作D(例えば、134、166)に基づいている。例えば、M1=2M、N1=2Nの場合、BrecがBの上のK行とBの左側のL列、およびBの左上のサイズK×Lのコーナーで構成され、B1,recがB1上の2K行およびBの左側の2L列、B1の左上のサイズ2K×2Lのコーナーから構成される場合、Dは、平滑化フィルタを適用した後、各方向に2倍のダウンサンプリング操作を行う操作とすることができる。したがって、D(rec1)は、Brecで再構成された画像と見なすことができる。上記のニューラルネットワークベースのイントラ予測モードを使用して、D(rec1)から、B上の画像である予測信号pred(45-1)を形成することができる。
その他の例
一般的に言えば、上記のようなデコーダは、上記のようなエンコーダを備えることができ、および/またはその逆もしかりである。例えば、エンコーダ14は、デコーダ54であるか、またはデコーダ54を含む(またはその逆)ことができる。エンコーダ14-1は、デコーダ54-2(またはその逆)などとすることができる。さらに、エンコーダ14または14-1は、量子化された予測残差信号34が、予測信号24または24-1を得るために復号されるストリームを形成するため、それ自体がデコーダを含むと理解することもできる。
Claims (34)
- データストリーム(12)から画像(10)をブロック単位で復号するための装置(54-2)であって、前記画像の所定のサイズのブロック(136、172)のイントラ予測信号が現在のブロックに隣接するサンプルの第1のテンプレート(130、170)を適用することによって判定される、少なくとも1つのイントラ予測モードをサポートする装置であって、前記所定のサイズとは異なる現在のブロック(18)に対して、
前記第1のテンプレートと一致する次元を有する再サンプリングされた第3のテンプレート(130、170)を取得するために、前記現在のブロック(18)に隣接する既に再構成されたサンプルの第2のテンプレート(60)を再サンプリング(134、166)し、
予備的イントラ予測信号(138、172、176)を取得するために、前記サンプルの再サンプリングされた第3のテンプレート(130、170)を適用(138a、170a、44-1、44-2)することによってイントラ予測を実行し、
前記現在のブロック(18)の前記イントラ予測信号(142、24-1、24-2)を取得(140)するために、前記現在のブロック(18)と一致する次元を有するように前記予備的イントラ予測信号(138、172、176)を再サンプリング(140、180)するように構成される、装置。 - 前記装置が、前記画像の所定のサイズのブロック(136、172)の前記イントラ予測信号が、前記現在のブロックに隣接するサンプルの第1のテンプレート(130、170)を適用することによって決定される、少なくとも1つのイントラ予測モードをサポートし、
前記装置が、さらに、前記予備的イントラ予測信号(138、172、176)を取得するために、前記サンプルの再サンプリングされた第3のテンプレート(130、170)をニューラルネットワーク(80)に適用(138a、170a、44-1、44-2)するように構成される、請求項1に記載の装置。 - 前記第2のテンプレート(60)をダウンサンプリング(D)して前記再サンプリングされた第3のテンプレート(130、170)を取得することによって再サンプリング(134、166)するように構成される、請求項1または2に記載の装置。
- 前記予備的イントラ予測信号(138、172)をアップサンプリング(U、140)することによって前記予備的イントラ予測信号(138、172、176)を再サンプリング(140)するように構成される、請求項1または2または3に記載の装置。
- 前記予備的イントラ予測信号(138)を空間ドメインから変換ドメインに変換し、
前記変換ドメインにおいて前記予備的イントラ予測信号を再サンプリングする
ように構成される、請求項1から4のいずれか一項に記載の装置。 - 前記予備的イントラ予測信号(176)の係数をスケーリングすることによって、前記変換ドメインにおいて予備的イントラ予測信号(176)を再サンプリングする
ように構成される、請求項5に記載の装置。 - 前記現在のブロック(18)と一致する次元を有するように前記イントラ予測信号(176)の次元を増やし、
前記予備的イントラ予測信号(176)の追加された係数であって、より高い周波数のビンの前記追加された係数の係数をゼロパディングする
ことによって前記変換ドメインにおいて予備的イントラ予測信号(176)を再サンプリング(V)するように構成される、請求項5または6に記載の装置。 - 予測残差信号(34)の逆量子化バージョン(39-1、39-2)に前記変換ドメインにおいて予備的イントラ予測信号(176)を追加する(42-1、42-2)
ように構成される、請求項5から7のいずれか一項に記載の装置。 - 空間ドメインにおける前記予備的イントラ予測信号(138)を再サンプリング(140)する
ように構成される、請求項1から8のいずれか一項に記載の装置。 - 双一次補間を実行することによって前記予備的イントラ予測信号(138)を再サンプリング(140)する
ように構成される、請求項9に記載の装置。 - さらに、前記再サンプリングおよび/または異なる次元のニューラルネットワークの使用に関する情報をデータフィールドに復号する
ように構成される、請求項1から10のいずれか一項に記載の装置。 - 現在のブロック(18)の隣接するサンプルの第1のセット(60)をニューラルネットワーク(80)に適用して、前記現在のブロック(18)の変換(34、39-1、3
9-2)の変換係数のセットの予測(45-1、45-2)を取得する
ことによって、前記画像の前記現在のブロック(18)の前記イントラ予測信号(24-1、24-2)が判定される少なくとも1つのイントラ予測モードをサポートする、請求項1から11のいずれか一項に記載の装置。 - 再構成された信号(24-1、24-2)を取得するために前記予測(45-1、45-2)を逆変換(40-1、40-2、51-1)する
ように構成される、請求項12に記載の装置。 - 可変長コードを使用して前記データストリーム(12)からインデックス(70b)を復号し、
前記インデックス(70b)を使用して選択を実行する
ように構成される、請求項1から13のいずれか一項に記載の装置。 - イントラ予測モードのセット(72)のランキングを判定し、
その後、前記第2のテンプレート(60)を再サンプリングする
ように構成される、請求項1から14のいずれか一項に記載の装置。 - データストリーム(12)に画像(10)をブロック単位で符号化するための装置(14-1)であって、前記画像の所定のサイズのブロック(136、172)のイントラ予測信号が現在のブロックに隣接するサンプルの第1のテンプレート(130、170)を適用することによって判定される、少なくとも1つのイントラ予測モードをサポートする装置であって、前記所定のサイズとは異なる現在のブロック(18)に対して、
前記第1のテンプレートと一致する次元を有する再サンプリングされた第3のテンプレート(130、170)を取得するために、前記現在のブロック(18)に隣接する既に再構成されたサンプルの第2のテンプレート(60)を再サンプリング(134、166)し、
予備的イントラ予測信号(138、172、176)を取得するために、前記サンプルの再サンプリングされた第3のテンプレート(130、170)を適用(138a、170a、44-1、44-2)することによってイントラ予測を実行し、
前記現在のブロック(18)の前記イントラ予測信号(142、24-1、24-2)を取得(140)するために、前記現在のブロック(18)と一致する次元を有するように前記予備的イントラ予測信号(138、172、176)を再サンプリング(140、180)するように構成される、装置。 - 前記装置が、前記画像の所定のサイズのブロック(136、172)の前記イントラ予測信号が、前記現在のブロックに隣接するサンプルの第1のテンプレート(130、170)を適用することによって決定される、少なくとも1つのイントラ予測モードをサポートし、
前記装置が、さらに、前記予備的イントラ予測信号(138、172、176)を取得するために、前記サンプルの再サンプリングされた第3のテンプレート(130、170)をニューラルネットワーク(80)に適用(138a、170a、44-1、44-2)するように構成され、
前記装置が、さらに、前記予備的イントラ予測信号(138、172、176)を取得するために、前記サンプルの再サンプリングされた第3のテンプレート(130、170)を前記ニューラルネットワーク(80)に適用(138a、170a、44-1、44-2)するように構成される、請求項16に記載の装置。 - 前記第2のテンプレート(60)をダウンサンプリング(D)して前記再サンプリングされた第3のテンプレート(130、170)を取得することによって再サンプリング(134、166)するように構成される、請求項17に記載の装置。
- 前記予備的イントラ予測信号(138、172)をアップサンプリング(U、140)することによって前記予備的イントラ予測信号(138、172、176)を再サンプリング(140)するように構成される、請求項17または18に記載の装置。
- 前記予備的イントラ予測信号(138)を空間ドメインから変換ドメインに変換し、
前記変換ドメインにおいて前記予備的イントラ予測信号を再サンプリングする
ように構成される、請求項17から19のいずれか一項に記載の装置。 - 前記予備的イントラ予測信号(176)の係数をスケーリングすることによって、変換ドメインにおいて予備的イントラ予測信号(176)を再サンプリング(140)する
ように構成される、請求項20に記載の装置。 - 前記現在のブロック(18)と一致する次元を有するように前記イントラ予測信号(176)の次元を増やし、
前記予備的イントラ予測信号(176)の追加された係数であって、より高い周波数のビンに関連する前記追加された係数の係数をゼロパディングする
ことによって前記変換ドメインにおいて予備的イントラ予測信号(176)を再サンプリング(140)する
ように構成される、請求項20または21に記載の装置。 - 予測残差信号(34)の逆量子化バージョン(39-1、39-2)に前記変換ドメインにおいて予備的イントラ予測信号(176)を追加する(42-1、42-2)
ように構成される、請求項20から22のいずれか一項に記載の装置。 - 空間ドメインにおける前記予備的イントラ予測信号(138)を再サンプリング(140)する
ように構成される、請求項17から23のいずれか一項に記載の装置。 - 双一次補間を実行することによって前記予備的イントラ予測信号(138)を再サンプリング(140)する
ように構成される、請求項24に記載の装置。 - さらに、前記再サンプリングおよび/または異なる次元のニューラルネットワークの使用に関する情報をデータフィールドに符号化する
ように構成される、請求項17から23のいずれか一項に記載の装置。 - 現在のブロック(18)の隣接するサンプルの第1のセット(60)をニューラルネットワーク(80)に適用して、前記現在のブロック(18)の変換(34、39-1、39-2)の変換係数のセットの予測(45-1、45-2)を取得する
ことによって、前記画像の前記現在のブロック(18)の前記イントラ予測信号(24-1、24-2)が判定される少なくとも1つのイントラ予測モードをサポートする、請求項17から26のいずれか一項に記載の装置。 - 再構成された信号(24-1、24-2)を取得するために前記予測(45-1、45-2)を逆変換(40-1、40-2)する
ように構成される、請求項27に記載の装置。 - イントラ予測モードのセット(72)のランキングを判定し、
その後、前記第2のテンプレート(60)を再サンプリングする
ように構成される、請求項17から28のいずれか一項に記載の装置。 - データストリーム(12)から画像(10)をブロック単位で復号するための方法であって、前記画像の所定のサイズのブロック(136、172)のイントラ予測信号が現在のブロックに隣接するサンプルの第1のテンプレート(130、170)を適用することによって判定される、少なくとも1つのイントラ予測モードをサポートする方法であって、
再サンプリングされた第3のテンプレート(130、170)を取得するために、第1のテンプレート(130、170)と一致する次元を有するように、前記現在のブロック(18)に隣接するサンプルの第2のテンプレート(60)を再サンプリング(134、166)し、
予備的イントラ予測信号(138、172、176)を取得するために、前記サンプルの再サンプリングされた第3のテンプレート(60)を適用(138a、170a、44-1、44-2)することによってイントラ予測を実行し、
前記現在のブロック(18)の前記イントラ予測信号(142、24-1、24-2)を取得(140)するために、前記現在のブロック(18)と一致する次元を有するように前記予備的イントラ予測信号(138、172、176)を再サンプリング(140)することを備える、方法。 - 前記方法が、前記画像の所定のサイズのブロック(136、172)の前記イントラ予測信号が、前記現在のブロックに隣接するサンプルの第1のテンプレート(130、170)をニューラルネットワークに適用することによって決定される、少なくとも1つのイントラ予測モードをサポートし、
イントラ予測を実行することが、予備的イントラ予測信号(138、172、176)を取得するために、前記サンプルの再サンプリングされた第3のテンプレート(60)をニューラルネットワーク(80)に適用(138a、170a、44-1、44-2)することを含む、請求項30に記載の方法。 - データストリーム(12)に画像(10)をブロック単位で符号化するための方法であって、前記画像の所定のサイズのブロック(136、172)のイントラ予測信号が現在のブロックに隣接するサンプルの第1のテンプレート(130、170)を適用することによって判定される、少なくとも1つのイントラ予測モードをサポートする方法であって、
再サンプリングされた第3のテンプレート(130、170)を取得するために、第1のテンプレート(130、170)と一致する次元を有するように、前記現在のブロック(18)に隣接するサンプルの第2のテンプレート(60)を再サンプリング(134、166)し、
予備的イントラ予測信号(138、172、176)を取得するために、前記サンプルの再サンプリングされた第3のテンプレート(60)を適用(138a、170a、44-1、44-2)することによってイントラ予測を実行し、
前記現在のブロック(18)の前記イントラ予測信号(142、24-1、24-2)を取得(140)するために、前記現在のブロック(18)と一致する次元を有するように前記予備的イントラ予測信号(138、172、176)を再サンプリング(140)することを備える、方法。 - 前記方法が、前記画像の所定のサイズのブロック(136、172)の前記イントラ予測信号が、前記現在のブロックに隣接するサンプルの第1のテンプレート(130、17
0)をニューラルネットワーク(80)に適用することによって決定される、少なくとも1つのイントラ予測モードをサポートし、
イントラ予測を実行することが、予備的イントラ予測信号(138、172、176)を取得するために、前記サンプルの再サンプリングされた第3のテンプレート(60)をニューラルネットワーク(80)に適用(138a、170a、44-1、44-2)することを含む、請求項32に記載の方法。 - コンピュータによって実行されると、前記コンピュータに請求項30から33のいずれか一項に記載の方法を実行させる命令を備える、コンピュータ可読記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023008219A JP2023052578A (ja) | 2018-03-29 | 2023-01-23 | ブロック単位の画像符号化のためのイントラ予測モードの概念 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18165224.9 | 2018-03-29 | ||
EP18165224 | 2018-03-29 | ||
PCT/EP2019/057882 WO2019185808A1 (en) | 2018-03-29 | 2019-03-28 | Intra-prediction mode concept for block-wise picture coding |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023008219A Division JP2023052578A (ja) | 2018-03-29 | 2023-01-23 | ブロック単位の画像符号化のためのイントラ予測モードの概念 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021519542A JP2021519542A (ja) | 2021-08-10 |
JP7217288B2 true JP7217288B2 (ja) | 2023-02-02 |
Family
ID=61868352
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020552199A Active JP7217288B2 (ja) | 2018-03-29 | 2019-03-28 | ブロック単位の画像符号化のためのイントラ予測モードの概念 |
JP2023008219A Pending JP2023052578A (ja) | 2018-03-29 | 2023-01-23 | ブロック単位の画像符号化のためのイントラ予測モードの概念 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023008219A Pending JP2023052578A (ja) | 2018-03-29 | 2023-01-23 | ブロック単位の画像符号化のためのイントラ予測モードの概念 |
Country Status (7)
Country | Link |
---|---|
US (2) | US11601672B2 (ja) |
EP (1) | EP3777141A1 (ja) |
JP (2) | JP7217288B2 (ja) |
KR (2) | KR20230057481A (ja) |
CN (1) | CN112204963A (ja) |
TW (1) | TWI763987B (ja) |
WO (1) | WO2019185808A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3562162A1 (en) * | 2018-04-27 | 2019-10-30 | InterDigital VC Holdings, Inc. | Method and apparatus for video encoding and decoding based on neural network implementation of cabac |
US11418811B2 (en) | 2019-03-12 | 2022-08-16 | Apple Inc. | Method for encoding/decoding image signal, and device therefor |
EP4042681A1 (en) * | 2019-10-11 | 2022-08-17 | InterDigital VC Holdings France, SAS | Deep intra predictor generating side information |
EP4107945A1 (en) * | 2020-02-21 | 2022-12-28 | InterDigital VC Holdings France | Neural network-based intra prediction for video encoding or decoding |
US11652994B2 (en) * | 2021-01-19 | 2023-05-16 | Tencent America LLC | Neural image compression with adaptive intra-prediction |
US11595665B2 (en) * | 2021-02-11 | 2023-02-28 | Qualcomm Incorporated | Upsampling reference pixels for intra-prediction in video coding |
EP4278603A1 (en) * | 2021-04-01 | 2023-11-22 | Huawei Technologies Co., Ltd. | Configurable positions for auxiliary information input into a picture data processing neural network |
WO2022216051A1 (ko) * | 2021-04-08 | 2022-10-13 | 엘지전자 주식회사 | 영상 디코딩 방법 및 그 장치 |
WO2023165596A1 (en) * | 2022-03-03 | 2023-09-07 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for visual data processing |
WO2023200246A1 (ko) * | 2022-04-12 | 2023-10-19 | 엘지전자 주식회사 | 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체 |
WO2023200243A1 (ko) * | 2022-04-12 | 2023-10-19 | 엘지전자 주식회사 | Mvd 부호 예측에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체 |
WO2023200237A1 (ko) * | 2022-04-12 | 2023-10-19 | 엘지전자 주식회사 | 기하 분할된 블록에 대한 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체 |
WO2024058494A1 (ko) * | 2022-09-13 | 2024-03-21 | 엘지전자 주식회사 | 예측 모델의 학습에 기반한 피쳐 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010538520A (ja) | 2007-09-02 | 2010-12-09 | エルジー エレクトロニクス インコーポレイティド | ビデオ信号処理方法及び装置 |
WO2016199330A1 (ja) | 2015-06-12 | 2016-12-15 | パナソニックIpマネジメント株式会社 | 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置 |
WO2018199051A1 (ja) | 2017-04-25 | 2018-11-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法および復号方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007043651A (ja) * | 2005-07-05 | 2007-02-15 | Ntt Docomo Inc | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム |
US9467705B2 (en) * | 2009-12-30 | 2016-10-11 | Ariscale Inc. | Video encoding apparatus, video decoding apparatus, and video decoding method for performing intra-prediction based on directionality of neighboring block |
CN101854551B (zh) * | 2010-06-08 | 2012-08-15 | 浙江大学 | 帧内预测模式编解码方法及装置 |
KR101668583B1 (ko) | 2011-06-23 | 2016-10-21 | 가부시키가이샤 제이브이씨 켄우드 | 화상 인코딩 장치, 화상 인코딩 방법 및 화상 인코딩 프로그램, 및 화상 디코딩 장치, 화상 디코딩 방법 및 화상 디코딩 프로그램 |
PT2773118T (pt) * | 2011-10-24 | 2020-09-25 | Innotive Ltd | Método e aparelho para descodificação de imagens |
WO2017014412A1 (ko) * | 2015-07-20 | 2017-01-26 | 엘지전자 주식회사 | 비디오 코딩 시스템에서 인트라 예측 방법 및 장치 |
US10397569B2 (en) * | 2016-06-03 | 2019-08-27 | Mediatek Inc. | Method and apparatus for template-based intra prediction in image and video coding |
US20170374369A1 (en) * | 2016-06-24 | 2017-12-28 | Mediatek Inc. | Methods and Apparatuses of Decoder Side Intra Mode Derivation |
JP7343487B2 (ja) * | 2017-09-20 | 2023-09-12 | ヴィド スケール インコーポレイテッド | 360度ビデオ符号化におけるフェイス不連続の処理 |
KR102454936B1 (ko) | 2017-10-13 | 2022-10-17 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 블록 단위의 화상 코딩을 위한 인트라 예측 모드 개념 |
KR102595070B1 (ko) * | 2017-11-16 | 2023-10-27 | 인텔렉추얼디스커버리 주식회사 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
-
2019
- 2019-03-28 KR KR1020237013131A patent/KR20230057481A/ko not_active Application Discontinuation
- 2019-03-28 CN CN201980036297.8A patent/CN112204963A/zh active Pending
- 2019-03-28 JP JP2020552199A patent/JP7217288B2/ja active Active
- 2019-03-28 EP EP19712793.9A patent/EP3777141A1/en active Pending
- 2019-03-28 KR KR1020207030912A patent/KR102524593B1/ko active IP Right Grant
- 2019-03-28 WO PCT/EP2019/057882 patent/WO2019185808A1/en active Application Filing
- 2019-03-29 TW TW108111307A patent/TWI763987B/zh active
-
2020
- 2020-09-25 US US17/032,113 patent/US11601672B2/en active Active
-
2023
- 2023-01-09 US US18/094,975 patent/US20230254508A1/en active Pending
- 2023-01-23 JP JP2023008219A patent/JP2023052578A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010538520A (ja) | 2007-09-02 | 2010-12-09 | エルジー エレクトロニクス インコーポレイティド | ビデオ信号処理方法及び装置 |
WO2016199330A1 (ja) | 2015-06-12 | 2016-12-15 | パナソニックIpマネジメント株式会社 | 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置 |
WO2018199051A1 (ja) | 2017-04-25 | 2018-11-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法および復号方法 |
Non-Patent Citations (1)
Title |
---|
Jonathan Pfaff, et al.,Intra prediction modes based on neural networks,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-J0037-v1,10th Meeting: San Diego, US,2018年04月,pp.1-14 |
Also Published As
Publication number | Publication date |
---|---|
TWI763987B (zh) | 2022-05-11 |
US20210014531A1 (en) | 2021-01-14 |
JP2023052578A (ja) | 2023-04-11 |
US20230254508A1 (en) | 2023-08-10 |
CN112204963A (zh) | 2021-01-08 |
WO2019185808A1 (en) | 2019-10-03 |
US11601672B2 (en) | 2023-03-07 |
EP3777141A1 (en) | 2021-02-17 |
KR20200128586A (ko) | 2020-11-13 |
TW201946455A (zh) | 2019-12-01 |
JP2021519542A (ja) | 2021-08-10 |
KR20230057481A (ko) | 2023-04-28 |
KR102524593B1 (ko) | 2023-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7217288B2 (ja) | ブロック単位の画像符号化のためのイントラ予測モードの概念 | |
TWI794623B (zh) | 用於逐塊圖片編碼的幀內預測模式概念 | |
US10659804B2 (en) | Method and apparatus for encoding/decoding images using adaptive motion vector resolution | |
KR102622452B1 (ko) | 아핀 선형 가중 인트라 예측 | |
US11641481B2 (en) | Method and apparatus for encoding/decoding images using adaptive motion vector resolution | |
US10652541B2 (en) | Method and device for encoding video data | |
KR102059842B1 (ko) | 일반화된 그래프 파라미터를 이용하여 그래프 기반 변환을 수행하는 방법 및 장치 | |
US10735733B2 (en) | Method and device for encoding video data | |
WO2015068051A2 (en) | Method for encoding and decoding a media signal and apparatus using the same | |
US20240137500A1 (en) | Intra-prediction mode concept for block-wise picture coding | |
KR20190119459A (ko) | 변환 계수 부호 정보 Hiding을 이용한 비디오 신호 처리 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201125 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220107 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220331 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220408 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220706 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221027 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221129 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230123 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7217288 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |